Moin Bastian!
Eins vorweg: Erstelle zukünftig doch bitte ein vollständiges
Minimalbeispiel.
Nachdem ich Dein angestrebtes Layout verstanden habe, habe ich es mal so realisiert, denn es scheint so, daß multirow nicht in einer align-Umgebung funktioniert?
Zumindest aber wird die letzte Zeile einer mehrzeiligen Umgebung nicht mit Schrägstrichen abgeschlossen (die nehmen einen Zeilenwechsel vor) - genau das hast Du aber gemacht.
\documentclass[
12pt, % Schriftgröße
german, % Deutsch
a4paper, % Papierformat
]{scrreprt}%Link zu KoMa-Optionen: http://www.komascript.de/betaoptions
\usepackage{amsmath} % AMS-Mathe
\usepackage{amsfonts} % AMS-Schrift
\usepackage{amssymb} % AMS-Symbole
\usepackage[amssymb]{SIunits} % AMS-Einheiten
\usepackage{babel} % Anpassung der Überschriften und der
% Silbentrennung an die def. Sprache
\usepackage{multirow} % Tabellenzellen über mehrere Zeilen
\begin{document}
\begin{tabular}{rc}
I & \multirow{3}{4cm}{$\left(\begin{array}{ccc|c}
3 & 6 & 1 & 2\\
-2 & -7 & 2 & -5\\
5 & 3 & -1 & 12
\end{array}\right)$} \\
II & \\
III &
\end{tabular}
\end{document}
Ist zwar nicht 100%ig sauber, da die über drei Zeilen gestreckten Dollar-Zeichen außerhalb der großen Klammern eine overfull-Box ergeben. Damit kann man aber zur Not wohl leben.
Achso, nochwas: Hättest Du geschrieben, daß Du einen klassischen Gauß-Algorithmus setzen willst, wär' mir auch schneller klar gewesen, was Du willst.
Gruß, Marx.