Wenn Du nach Deiner \subsection auch \label{subsec:<name>} stehen hast und LaTeX (oder pdfLateX, LuaLaTeX, XeLaTeX) mindestens zweimal hast laufen lassen (am besten ohne Fehlermeldungen!), sollte es eigentlich gehen:
\documentclass[ngerman]{article}
\usepackage[T1]{fontenc}
\usepackage[utf8]{inputenc}
\usepackage{babel}
\usepackage{csquotes}
\begin{document}
\section{Lorem}\label{sec:lorem}
Ipsum dolor
\subsection{Sit}\label{subsec:sit}
Amet
Wie in Abschnitt~\ref{subsec:sit} erwähnt
\end{document}
Für solche Dinge ist \cref sehr praktisch, dann kann man es sich sparen, selbst das Abschnitt~ oder Tabelle~ davor zu setzen.
\documentclass[ngerman]{article}
\usepackage[T1]{fontenc}
\usepackage[utf8]{inputenc}
\usepackage{babel}
\usepackage{csquotes}
\usepackage{cleveref}
\begin{document}
\section{Lorem}\label{sec:lorem}
Ipsum dolor
\subsection{Sit}\label{subsec:sit}
Amet
Wie in \cref{subsec:sit} erwähnt
\end{document}