Wow, da sind gleich eine ganze Reihe von Fehlern drin. Zunächst einmal kennt papertex keine Option a5paper. Deshalb wird die Option auch als unused global option(s) gemeldet.
Dann zeichnet TikZ natürlich in der Voreinstellung ausgehend vom Textbereich und nicht ausgehend von den Papiergrenzen. Wie man mit TikZ Material (beispielsweise als overlay) in den Hintergrund der Seite legt, entnimmst du bitte dessen Anleitung. Eine andere Möglichkeit, das zu tun, ist die Verwendung eines Pakets, das darauf spezialisiert ist, beispielsweise scrlayer, textpos oder eso-pic.
Dann verwendest du ein \special, das vermutlich gar nicht ausgewertet wird, weil es nämlich spezifisch für DVI-Treiber ist. Das ist aus der absoluten Mottenkiste. Wenn man das erste Problem (siehe ganz oben) dadurch löst, dass das Paket geometry geladen wird, wird das Papierformat ohnehin automatisch an das Backend gemeldet. Dieses von einer bestimmten Verarbeitung abhängige \special-Gemurkse lässt man also besser ganz sein.
Dann berücksichtigst du bei \draw nicht, dass die Linie eine Dicke hat und deshalb ggf. an der einen oder anderen Seite ganz oder teilweise außerhalb liegt.
Den letzten Fehler habe ich bei
\documentclass[10pt,a5paper]{papertex}
\usepackage{geometry}% Ohne wird das kein A5, weil papertex keine Option a5paper kennt.
\usepackage{tikz}
%\special{papersize=148mm,210mm}% Bringt nix, weil es nur von DVI-Treibern, nicht aber vom PDF-Backend von pdfLaTeX ausgewertet wird.
\usepackage{eso-pic}
\begin{document}
\AddToShipoutPicture{%
\AtPageLowerLeft{%
\begin{tikzpicture}
\draw[red, line width=1mm] (0mm,0mm) -- (0mm,210mm) -- (148mm,210mm) -- (148mm,0mm) -- (0mm,0mm);
\end{tikzpicture}%
}
}
\mbox{}
\thispagestyle{empty}
\end{document}
Mal noch ignoriert. Da du eine bestimmte Liniendicke vorgegeben hast, kannst du das leicht selbst anpassen.
Übrigens: Es gibt bereits Pakete, die Randeinstellungen etc. illustrieren können. Da wäre beispielsweise showframe, das ebenfalls eso-pic verwendet, oder layouts.
Statt selbst an einzelnen Low-Level-Einstellungen zu fummeln, würde ich schlicht empfehlen, die oben bereits genannten und verlinkten Pakete zu nutzen.