Die Überschriften nehmen jeweils einen Eintrag in die Datei mit der Endung \ext@toc vor. Wenn \ext@toc den Wert toc hat, erfolgt der Eintrag also in die .toc Datei und die Überschrift taucht dann (natürlich abhängig vom Wert von tocdepth) im Hauptinhaltsverzeichnis auf.
Ist der Wert dagegen atoc, dann kommt der Eintrag dagegen in die Datei mit der Endung .atoc. Analoges gilt für ptoc.
Den Wechsel der Werte von \ext@toc nimmst Du mit den \use...tocs Befehl vor, da diese \ext@toc jeweils passend umdefinieren.
Du musst \useappendixtocs also vor der ersten Überschrift positionieren, die im Anhangsverzeichnis stehen soll. \useprotocoltocs vor der ersten Überschrift, die statt dessen im Protokollverzeichnis stehen soll. Und dann wieder \useappendixtocs vor der ersten Überschrift, die dann wieder im Anhangsverzeichnis auftauchen soll.
Das wäre dann vermutlich etwas wie
\documentclass[listof=totoc]{scrartcl}
\usepackage{xltxtra}
\defaultfontfeatures{Mapping=tex-text}
\usepackage{polyglossia}
\setdefaultlanguage[spelling=new]{german}
\usepackage{mwe}% minimal working example
\usepackage{hyperref}
\usepackage{bookmark}
\DeclareNewTOC[%
owner=\jobname,
listname={Inhalt des Anhangs},% Titel des Verzeichnisses
]{atoc}% Dateierweiterung (a=appendix, toc=table of contents)
\DeclareNewTOC[%
owner=\jobname,
listname={Inhalt des Protokolls},
]{ptoc}% Dateierweiterung (p=protocol, top=table of contents)
\makeatletter
\newcommand*{\useappendixtocs}{%
\renewcommand*{\ext@toc}{atoc}%
\scr@ifundefinedorrelax{hypersetup}{}{% damit es auch ohne hyperref funktioniert
\hypersetup{bookmarkstype=atoc}%
}%
}
\newcommand*{\useprotocoltocs}{%
\renewcommand*{\ext@toc}{ptoc}%
\scr@ifundefinedorrelax{hypersetup}{}{% damit es auch ohne hyperref funktioniert
\hypersetup{bookmarkstype=ptoc}%
}%
}
\newcommand*{\usestandardtocs}{%
\renewcommand*{\ext@toc}{toc}%
\scr@ifundefinedorrelax{hypersetup}{}{% damit es auch ohne hyperref funktioniert
\hypersetup{bookmarkstype=toc}%
}%
}
\ifundefinedorrelax{ext@toc}{% damit es auch mit älteren KOMA-Script Versionen funktioniert
\newcommand*{\ext@toc}{toc}
\renewcommand{\addtocentrydefault}[3]{%
\expandafter\tocbasic@addxcontentsline\expandafter{\ext@toc}{#1}{#2}{#3}%
}
}{}
\makeatother
\begin{document}
% Hauptdokument
\tableofcontents
\blinddocument % #1
% Anhang
\appendix
\addpart{\appendixname}
\useappendixtocs% ab hier Eintrag ins Anhangsverzeichnis
\listofatocs
\blinddocument % #2
% Protokoll
\section{Protokoll}
\useprotocoltocs% ab hier Eintrag ins Protokollverzeichnis
\listofptocs
\blinddocument % #3
\section{Letzte Section im Protokoll}
% wieder Anhang
\useappendixtocs% ab hier wieder Eintrag ins Anhangsverzeichnis
\section{Section im Anhang (zweiter Teil)}
\blinddocument % #4
\end{document}
Wobei ich den Abschnitt Protokoll dann eher in Unterabschnitte unterteilen würde:
\documentclass[listof=totoc]{scrartcl}
\usepackage{xltxtra}
\defaultfontfeatures{Mapping=tex-text}
\usepackage{polyglossia}
\setdefaultlanguage[spelling=new]{german}
\usepackage{mwe}% minimal working example
\usepackage{hyperref}
\usepackage{bookmark}
\DeclareNewTOC[%
owner=\jobname,
listname={Inhalt des Anhangs},% Titel des Verzeichnisses
]{atoc}% Dateierweiterung (a=appendix, toc=table of contents)
\DeclareNewTOC[%
owner=\jobname,
listname={Inhalt des Protokolls},
]{ptoc}% Dateierweiterung (p=protocol, top=table of contents)
\setuptoc{ptoc}{leveldown}% Überschrift als Unterabschnitt statt als Abschnitt
\makeatletter
\newcommand*{\useappendixtocs}{%
\renewcommand*{\ext@toc}{atoc}%
\scr@ifundefinedorrelax{hypersetup}{}{% damit es auch ohne hyperref funktioniert
\hypersetup{bookmarkstype=atoc}%
}%
}
\newcommand*{\useprotocoltocs}{%
\renewcommand*{\ext@toc}{ptoc}%
\scr@ifundefinedorrelax{hypersetup}{}{% damit es auch ohne hyperref funktioniert
\hypersetup{bookmarkstype=ptoc}%
}%
}
\newcommand*{\usestandardtocs}{%
\renewcommand*{\ext@toc}{toc}%
\scr@ifundefinedorrelax{hypersetup}{}{% damit es auch ohne hyperref funktioniert
\hypersetup{bookmarkstype=toc}%
}%
}
\ifundefinedorrelax{ext@toc}{% damit es auch mit älteren KOMA-Script Versionen funktioniert
\newcommand*{\ext@toc}{toc}
\renewcommand{\addtocentrydefault}[3]{%
\expandafter\tocbasic@addxcontentsline\expandafter{\ext@toc}{#1}{#2}{#3}%
}
}{}
\makeatother
\begin{document}
% Hauptdokument
\tableofcontents
\blinddocument % #1
% Anhang
\appendix
\addpart{\appendixname}
\useappendixtocs% ab hier Eintrag ins Anhangsverzeichnis
\listofatocs
\blinddocument % #2
% Protokoll
\section{Protokoll}
\useprotocoltocs% ab hier Eintrag ins Protokollverzeichnis
\listofptocs
\subsection{Erster Unterabschnitt im Protokoll}
\Blindtext[10] % #3
\subsection{Letzter Unterabschnitt im Protokoll}
% wieder Anhang
\useappendixtocs% ab hier wieder Eintrag ins Anhangsverzeichnis
\section{Section im Anhang (zweiter Teil)}
\blinddocument % #4
\end{document}
Was jetzt noch nicht realisiert ist, weil ich mir auch nicht sicher bin, ob Du das tatsächlich willst, ist, dass die Überschrift "Protokoll" sowohl im Anhangsverzeichnis als auch im Protokollverzeichnis selbst eingetragen wird.
