Ich glaube nicht, dass \appendix die erste Überschrift erzeugt. Ich vermute eher, dass es das normale Verhalten von \chapter bei book oder report ist. Vermuten kann ich deshalb nur, weil Dein Codeschnippsel leider kein vollständiges Minimalbeispiel ist.
Ich kann aber beispielsweise die Verwendung einer KOMA-Script-Klasse empfehlen:
\documentclass{scrbook}
\usepackage[ngerman]{babel}
\usepackage{blindtext}
\begin{document}
\frontmatter% Siehe Anmerkung
\tableofcontents
\mainmatter
\blinddocument
\appendix
\cleardoubleoddpage\pagenumbering{Roman}% Siehe Anmerkung
\chapter{Anhang}
\section{Abschnitt}
\blindtext
\section{Abschnitt}
Man kann auch schlicht \chapter{Anhang} weglassen und aus allen \section \chapter machen. Das wäre eigentlich das normale Vorgehen, wenn man mehrere Kapitel im Anhang hat.
Ggf. kann man auch über \setchapterpreamble vor dem ersten Anhangskapitel ein "Anhang" in irgend einer Form einfügen oder dies für jedes Anhangskapitel mit Option headings erreichen. Näheres dazu ist der
KOMA-Script-Anleitung zu entnehmen. Bestimmt gibt es hier in den Foren oder auf komascript.de auch diverse Beispiele zum Stichwort "Anhang", mit den unterschiedlichsten Möglichkeiten.
Anmerkung: Die getrennte Seiten-Nummerierung des Vorderteils stammt aus der Zeit des Hand- oder Bleisatzes. Damals war es für den Setzer sehr aufwändig, eine durchgehende Nummerierung zu machen, weil er dabei sehr gut abschätzen musste, wieviele Seiten er für diesen Teil mit Verzeichnissen und Vorwort braucht. Das war schon deshalb schwer, weil das Vorwort oft erst geschrieben wurde, wenn der restliche Satz fertig war. Im Zeitalter des Computersatzes ist die durchgehende Nummerierung jedoch kaum noch ein Problem und daher sollte man sie im Sinne des Lesers auch verwenden. Im Deutschen Satz ist sie daher inzwischen auch üblich und schon so selbstverständlich, dass Setzer die Nase rümpfen, wenn jemand das offensichtlich oder scheinbar nicht kann. Gar die hinteren Seiten noch einmal anders zu nummerieren ist absolut unüblich. Weil in jenem Bereich außerdem der Index ist, ist das zusätzlich für den Leser eher problematisch. Daher empfehle ich, die oben entsprechend markierten Zeilen auszukommentieren.