Wenn bei dir \usepackage{tocstyle} keine Fehlermeldung ergibt, ist deine TeX-Installation veraltet. Das Paket wurde bereits in KOMA-Script 3.32 vor über einem Jahr entfernt und ist in keiner TeX-Distribution mehr enthalten. Schon seit längerem konfiguriert man bei KOMA-Script Verzeichnisse via tocbasic mit Hilfe von \setuptoc, \BeforeTOCHead, \AfterTOCHead, \BeforeStartingTOC, \AfterStartingTOC, \DeclareTOCStyleEntry (wahlweise auch via \RedeclareSectionCommand ansprechbar), \DeclareTOCStyleEntries bis hin zu \setkomafont, \addtokomafont. Die letzten beiden Anweisungen können übrigens auch verwendet werden, um die Grundschrift von Überschriften im Text zu konfigurieren.
Sollen hingegen einzelne Begriffe hervorgehoben werden, so sollte eine semantische Markup-Anweisung für die Begriffe definiert werden.
Und wie Bartman schon erwähnt hat: Es sind abhängig von der verwendeten Schrift nicht immer alle Schriftkombinationen verfügbar. So sind beispielsweise SmallCapitals für serifenlose Schriften höchst selten – umso mehr, wenn diese auch noch fett sein sollen. Deine Einstellungen mehr oder weniger sauber wären beispielsweise so zu erreichen:
\documentclass[ngerman]{scrreprt}
\usepackage{blindtext}% Spart Tipparbeit bei Demo-Dokumenten.
\newcommand{\abstand}{5pt} %Zeilenabstand im Inhaltsverzeichnis
\usepackage{babel}
%\usepackage{fontspec}% Benötigt LuaLaTeX oder XeLaTeX und schaltet u. a. auf
% Latin Modern als Fontfamilie(n) um.
%\usepackage[T1]{fontenc}% Für PDFLaTeX (und Sprachen mit Sonderzeichen wie
% Deutsch) unbedingt zu empfehlen.
%\usepackage{lmodern}% Würde für PDFLaTeX ebenfalls auf Latin Modern
% umschalten, nur nicht ganz so schön wie mit LuaLaTeX
% oder XeLaTeX und fontspec.
%\usepackage{libertinus}
\setcounter{secnumdepth}{\paragraphnumdepth}% → scrguide.pdf, Abschnitt 3.16
\setcounter{tocdepth}{\paragraphtocdepth}% → scrguide.pdf, Abschnitt 3.9
\DeclareTOCStyleEntries[% → scrguide.pdf, Abschnitt 15.3
beforeskip=\abstand,% → scrguide.pdf, Tabelle 15.1
entryformat=\textbf,% Es wird ein Argument erwartet.
% → scrguide.pdf, Tabelle 15.1
indent=0pt,% → scrguide.pdf, Tabelle 15.1
numwidth=3em,% → scrguide.pdf, Tabelle 15.1
]{section}{section,subsection}
\DeclareTOCStyleEntry[% → scrguide.pdf, Abschnitt 15.3
beforeskip=\abstand,% → scrguide.pdf, Tabelle 15.1
entryformat=\itshape\textbf,% Nicht ganz sauber, aber es geht.
% → scrguide.pdf, Tabelle 15.1
indent=2em,% → scrguide.pdf, Tabelle 15.1
numwidth=4em,% → scrguide.pdf, Tabelle 15.1
]{section}{subsubsection}
\DeclareTOCStyleEntry[% → scrguide.pdf, Abschnitt 15.3
indent=2em,% → scrguide.pdf, Tabelle 15.1
numwidth=4em,% → scrguide.pdf, Tabelle 15.1
% entryformat=\textsc,% Es wird ein Argument erwartet.
% → scrguide.pdf, Tabelle 15.1
]{section}{paragraph}
%\setkomafont{disposition}{\bfseries}% Keine Grotesk (aka Serifenlose) für Überschriften
\addtokomafont{paragraph}{\scshape}% Zu Demozwecken alle \paragraph in SmallCapitals
\begin{document}
\tableofcontents
\blinddocument
\end{document}
Wegen nicht vorhandener Fonts für die Kombinationen von serifenlos, fett und SmallCapitals, was an der Meldung
LaTeX Font Warning: Font shape `OT1/cmss/bx/sc' undefined
(Font) using `OT1/cmss/bx/n' instead on input line 46.
in der log-Datei erkannt werden kann, werden allerdings die \paragraph-Überschriften nicht in SmallCapitals gesetzt. Durch Aktivieren der Zeile für das Laden von Paket libertinus sind aber sogar fette, serifenlose Kapitälchen zu erreichen, aber natürlich insgesamt mit anderen Fonts. Ich habe noch ein paar andere Zeilen auskommentiert hinzugefügt, die zum Experimentieren einladen sollen.
Die Zeile mit den angeblichen Standardpaketen habe ich entfernt, weil sie für das Beispiel unerheblich ist. Es sei aber darauf hingewiesen, dass Paket float in der Regel mit KOMA-Script nicht benötigt wird. Seine Verwendung resultiert in der Warnung:
Class scrreprt Warning: \float@addtolists detected!
(scrreprt) Implementation of \float@addtolist became
(scrreprt) deprecated in KOMA-Script v3.01 2008/11/14 and
(scrreprt) has been replaced by several more flexible
(scrreprt) features of package `tocbasic`.
(scrreprt) Since Version 3.12 support for deprecated
(scrreprt) \float@addtolist interface has been
(scrreprt) restricted to only some of the KOMA-Script
(scrreprt) features and been removed from others.
(scrreprt) Loading of package `scrhack' may help to
(scrreprt) avoid this warning, if you are using a
(scrreprt) a package that still implements the
(scrreprt) deprecated \float@addtolist interface.
Das in der Warnung erwähnte Laden von Paket scrhack (möglichst direkt nach der Klasse) hilft in dem Fall (und in vielen ähnlichen Fällen) tatsächlich. Da das Paket float schon lange nicht mehr gepflegt wird, ist es auch die einzige Möglichkeit, die Warnung los zu werden.