Problemanalyse: 
- Korrekte Sprache nicht angegeben.
 
- Komposita mit Bindestrich werden nur am Bindestrich getrennt.
 
- \hyphenation offensichtlich nicht verstanden.
 
- [d]babel-german[/d]-Anleitung nicht gelesen.
 
Alles nachgeholt ergibt schon einmal: 
\documentclass[%
12pt,
ngerman,   
a4paper,
]{scrbook}
\usepackage[ngerman]{babel}
\usepackage{tabularx}
\usepackage{array}
\usepackage{booktabs} % nicer tables
\usepackage{rotating}
\newcommand\tabrotate[1]{\begin{turn}{90}\rlap{#1}\end{turn}}
\usepackage{varwidth}
\newcommand\tabvarwidth[2][3cm]{\begin{varwidth}[b]{#1}\centering #2\end{varwidth}}
\usepackage{colortbl}
\usepackage{multirow}
\hyphenation{Schlaf-sack-decke}
\begin{document}
   \tableofcontents             
   \clearpage   
   \chapter{Dies............... ist ein Test um zu zeigen, dass die Silbentrennung nicht funktioniert}
   \chapter{Blabblabatesttest Testtesttesttesttesttest test testtesttest Segelboot"=Schlaf"-sackdecke}
   \section{Dies ist ein Test um zu zeigen, dass die Silbentrennung nicht funktioniert}
   
\end{document}
Dann könnte man noch 
microtype laden, allerdings werden Features davon im Inhaltsverzeichnis aus gutem Grund, ganz bewusst abgeschaltet.
Und ja, wenn man das erweiterte optionale Argument für die Gliederungsbefehle nutzt, das in der 
KOMA-Script-Anleitung und im 
KOMA-Script-Buch dokumentiert ist, dann kann man auch harte Umbrüche in das Inhaltsverzeichnis schreiben, beispielsweise: 
\documentclass[%
12pt,
ngerman,   
a4paper,
headings=optiontotoc,
]{scrbook}
\usepackage[ngerman]{babel}
\usepackage{tabularx}
\usepackage{array}
\usepackage{booktabs} % nicer tables
\usepackage{rotating}
\newcommand\tabrotate[1]{\begin{turn}{90}\rlap{#1}\end{turn}}
\usepackage{varwidth}
\newcommand\tabvarwidth[2][3cm]{\begin{varwidth}[b]{#1}\centering #2\end{varwidth}}
\usepackage{colortbl}
\usepackage{multirow}
\usepackage{microtype}
\hyphenation{Schlaf-sack-decke}
\begin{document}
   \tableofcontents             
   \clearpage   
   \chapter{Dies............... ist ein Test um zu zeigen, dass die Silbentrennung nicht funktioniert}
   \chapter[Blabblabatesttest Testtesttesttesttesttest test testtesttest Segelboot-\\Schlafsackdecke]{Blabblabatesttest Testtesttesttesttesttest test testtesttest Segelboot-Schlafsackdecke}
   \section{Dies ist ein Test um zu zeigen, dass die Silbentrennung nicht funktioniert}
   
\end{document}