Problemanalyse:
- Korrekte Sprache nicht angegeben.
- Komposita mit Bindestrich werden nur am Bindestrich getrennt.
- \hyphenation offensichtlich nicht verstanden.
- [d]babel-german[/d]-Anleitung nicht gelesen.
Alles nachgeholt ergibt schon einmal:
\documentclass[%
12pt,
ngerman,
a4paper,
]{scrbook}
\usepackage[ngerman]{babel}
\usepackage{tabularx}
\usepackage{array}
\usepackage{booktabs} % nicer tables
\usepackage{rotating}
\newcommand\tabrotate[1]{\begin{turn}{90}\rlap{#1}\end{turn}}
\usepackage{varwidth}
\newcommand\tabvarwidth[2][3cm]{\begin{varwidth}[b]{#1}\centering #2\end{varwidth}}
\usepackage{colortbl}
\usepackage{multirow}
\hyphenation{Schlaf-sack-decke}
\begin{document}
\tableofcontents
\clearpage
\chapter{Dies............... ist ein Test um zu zeigen, dass die Silbentrennung nicht funktioniert}
\chapter{Blabblabatesttest Testtesttesttesttesttest test testtesttest Segelboot"=Schlaf"-sackdecke}
\section{Dies ist ein Test um zu zeigen, dass die Silbentrennung nicht funktioniert}
\end{document}
Dann könnte man noch
microtype laden, allerdings werden Features davon im Inhaltsverzeichnis aus gutem Grund, ganz bewusst abgeschaltet.
Und ja, wenn man das erweiterte optionale Argument für die Gliederungsbefehle nutzt, das in der
KOMA-Script-Anleitung und im
KOMA-Script-Buch dokumentiert ist, dann kann man auch harte Umbrüche in das Inhaltsverzeichnis schreiben, beispielsweise:
\documentclass[%
12pt,
ngerman,
a4paper,
headings=optiontotoc,
]{scrbook}
\usepackage[ngerman]{babel}
\usepackage{tabularx}
\usepackage{array}
\usepackage{booktabs} % nicer tables
\usepackage{rotating}
\newcommand\tabrotate[1]{\begin{turn}{90}\rlap{#1}\end{turn}}
\usepackage{varwidth}
\newcommand\tabvarwidth[2][3cm]{\begin{varwidth}[b]{#1}\centering #2\end{varwidth}}
\usepackage{colortbl}
\usepackage{multirow}
\usepackage{microtype}
\hyphenation{Schlaf-sack-decke}
\begin{document}
\tableofcontents
\clearpage
\chapter{Dies............... ist ein Test um zu zeigen, dass die Silbentrennung nicht funktioniert}
\chapter[Blabblabatesttest Testtesttesttesttesttest test testtesttest Segelboot-\\Schlafsackdecke]{Blabblabatesttest Testtesttesttesttesttest test testtesttest Segelboot-Schlafsackdecke}
\section{Dies ist ein Test um zu zeigen, dass die Silbentrennung nicht funktioniert}
\end{document}