Hallo Lydia,
willkommen im Forum!
Hier sind mehrere Problemchen drin.
Die Klammern sind nicht passend geschlossen:
\addto\captionsngerman{
\renewcommand{\tablename}{\small{Tab.}}} % <-- hier schließt du \addto schon
\captionsetup{tablewithin = section}
\captionsetup{font=small, labelfont=bf}} % <-- hier ist damit noch eine } zu viel
Wegen der Klammern kommt LaTeX total aus dem Tritt und dann kommen Folge-Fehlermeldungen, wie dass es nicht \begin{document} nicht findet.
\captionsetup (was Beschriftungen gestaltet) hat nicht direkt mit \addto\captionsngerman zu tun (was nur die Bezeichnungen ändert), kann also separat stehen.
\small schreibt man übrigens nicht \small{...}, weil das ein "Umschalter" ist, der für den nachfolgenden Text gilt. Solche Formatierungsbefehle brauchst Du innerhalb der (eigentlich) Bezeichnungen nicht, das macht dann schon \captionsetup.
Hier ist es mal so, dass es gut durchläuft:
\documentclass{article}
\usepackage[ngerman]{babel}
\usepackage{caption}
\usepackage{newfloat}
% Abbildungsverzeichnis
\addto\captionsngerman{\renewcommand{\figurename}{Abb.}}
% Tabellenverzeichnis
\addto\captionsngerman{\renewcommand{\tablename}{Tab.}}
% Eigenschaften der Captions/Beschriftungen
\captionsetup{font=small, labelfont=bf}
\captionsetup{figurewithin = section}
\captionsetup{tablewithin = section}
\begin{document}
\section{Beispiel}
Text im Dokument
\begin{table}[htbp!]
\centering
\caption{Eine Tabelle}
\begin{tabular}{lcr}
\ldots & \ldots & \ldots \\
\end{tabular}
\end{table}
\begin{figure}[htbp!]
\centering
% Platzhalter-Beispielgrafik
\fbox{\rule{0pt}{4cm}\rule{6cm}{0pt}}
\caption{Eine Abbildung}
\end{figure}
\end{document}
Stefan