''n'' 次正方行列 ''A'' があるとします。 ''n'' 次正則行列 ''P'' を上手くとり、 ''P'' とその逆行列とをそれぞれ右と左から掛けることで（このようにサンドイッチにすることを相似変換といいます）、
のように ''n'' 次上三角行列 ''U'' にすることを、行列 ''A'' の三角化といいます。
対角化はできる場合とできない場合がありましたが、三角化に関しては、成分が複素数でもよい（実数にこだわらない）ならば、常に可能であることがわかっています。
三角化も対角化と同じく、固有値と深い関係があります。
次の行列の三角化を試みます。
4 & -8  & 1 \\
1 & -5  & 1 \\
-9 & 8 & -6 \end{pmatrix}
まず、固有値と固有ベクトルを求めてみましょう（なぜそうするのかは後で明かされます）。固有値を \lambda とすると、固有方程式は
4 - \lambda & -8  & 1 \\
1 & -5 - \lambda & 1 \\
-9 & 8 & -6- \lambda \end{pmatrix}
& = \{ (4 - \lambda)(-5 - \lambda)(-6- \lambda)+72+8 \} \\
& -\{ -9(-5 - \lambda)-8(-6- \lambda)+8(4 - \lambda) \} \\
& = - \lambda^3 -7\lambda^2 +5\lambda +75 =0 \end{align}
よって
\lambda_1 = -5 、\lambda_1 = 3 とします。\lambda_1 に対応した固有ベクトルを
x \\
y \\
z  \end{pmatrix}
とすると、
9 & -8 & 1 \\
1 & 0  & 1 \\
-9 & 8 & -1 \end{pmatrix}
\begin{pmatrix}
x \\
y \\
z  \end{pmatrix}
=\begin{pmatrix}
9x & -8y & z \\
x & 0  & z \\
-9x & 8y & -z \end{pmatrix}
=\begin{pmatrix}
0 \\
0 \\
0  \end{pmatrix}
ここで、1行目と3行目は同値なので、''x'' , ''y'' , ''z'' に対する独立な1次条件式は2つです。よって、 \lambda_1 に対する固有空間の次元は1です固有方程式における重複度2を下回ってしまったので、この時点で、対角化は不可能だということがわかります。詳しくは、「固有値と固有ベクトル」、「行列の対角化」等を参照のこと。。
スカラー倍を除いた唯一の固有ベクトルは、例えば、
1 \\
1 \\
-1  \end{pmatrix}
のようにとれます。
ここで、もう一方の固有値のことはいったん忘れて、 \vec{{\mathbf v}_1} と線形独立な列ベクトル2本を何でもいいから持ってきます。例えば、
 = \begin{pmatrix}
1 \\
0 \\
0  \end{pmatrix}, 
 = \begin{pmatrix}
0 \\
1 \\
0  \end{pmatrix}
これらを横に並べて3次の正方行列を作ります。
\end{pmatrix}
P_1 は正則行列なので逆行列が存在します。そこで {P_1}^{-1} A P_1 を作ると、1列目は (1,1) 成分を除いて0になります。つまり、1列目に限っては「上三角化」ができたということです。
これを確かめるため、行列を単位ベクトル
1 \\
0 \\
0  \end{pmatrix}
に（左から）掛けることで1列目だけを取り出すと、
\end{pmatrix} \vec{{\mathbf e}_1} = {P_1}^{-1} A \vec{{\mathbf v}_1} = \lambda_1 {P_1}^{-1} \vec{{\mathbf v}_1}
\end{pmatrix} \vec{{\mathbf e}_1} = \lambda_1 {P_1}^{-1} P_1 \vec{{\mathbf e}_1} = \begin{pmatrix}
\lambda_1 \\
0 \\
0  \end{pmatrix}
実際計算してみると、
0 & 0 & -1 \\
1 & 0  & 1 \\
0 & 1 & 1 \end{pmatrix}
-5 & 9 & -8 \\
0 & -5  & 0 \\
0 & -8 & 3 \end{pmatrix}
次は、右下の2×2の小行列 \tilde{A} =\begin{pmatrix}
-5 & 0 \\
-8 & 3 \end{pmatrix} に注目します。ここまでの流れと全く同じようにして、2次正則行列を使って、この小行列を1列目に限っては「上三角化」ができることがわかります。手順は全く同じなので省略すると、例えば、 \tilde{P_2} = \begin{pmatrix}
1 & 1 \\
1 & 0 \end{pmatrix} のようにとると、
^{-1} \tilde{A} \tilde{P_2} = \begin{pmatrix}
-5 & -8 \\
0 & 3 \end{pmatrix}
となるので、これを3次行列に「拡大」して、
1 & \begin{matrix}
0 & 0 \end{matrix} \\
\begin{matrix}
0 \\
0 \end{matrix} & \tilde{P_2} \end{pmatrix} ,
{P_2}^{-1} = \begin{pmatrix}
1 & \begin{matrix}
0 & 0 \end{matrix} \\
\begin{matrix}
0 \\
^{-1} \end{pmatrix}
とすれば、
-5 & 9 & -8 \\
0 & -5  & 0 \\
0 & -8 & 3 \end{pmatrix}
 P_2
1 & \begin{matrix}
0 & 0 \end{matrix} \\
\begin{matrix}
0 \\
^{-1} \end{pmatrix}
\begin{pmatrix}
-5 & 9 & -8 \\
0 & -5  & 0 \\
0 & -8 & 3 \end{pmatrix}
\begin{pmatrix}
1 & \begin{matrix}
0 & 0 \end{matrix} \\
\begin{matrix}
0 \\
0 \end{matrix} & \tilde{P_2} \end{pmatrix}
-5 & \begin{matrix}
\star & \star \end{matrix} \\
\begin{matrix}
0 \\
^{-1} \tilde{A} \tilde{P_2} \end{pmatrix}
=\begin{pmatrix}
-5 & \star & \star \\
0 & -5  & -8 \\
0 & 0 & 3 \end{pmatrix}
"\star" は、計算すればわかる何らかの定数です（上三角化が完了したことに注意を向けたかったのであえて明示しませんでした）。
これら2段階を組み合わせれば、まさに行いたかった三角化が達成されます。つまり、
1 & 1 & 1 \\
1 & 1  & 0 \\
-1 & 0 & 0 \end{pmatrix}
とおけば、
-5 & 9 & -8 \\
0 & -5  & 0 \\
0 & -8 & 3 \end{pmatrix}  P_2
-5 & 1 & 9 \\
0 & -5  & -8 \\
0 & 0 & 3 \end{pmatrix}
上記の長い例題で行った手順は、行列がどんな大きさであろうと実行できます。標語的に書けば、
「 ''n'' 次正方行列の1列目だけを上三角化」→「 (''n-1'') 次正方行列の1列目だけを上三角化」→…→「2次正方行列の1列目だけを上三角化」
と (''n-1'') 回の同様な作業を反復して、出てきた正則行列をすべて掛け合わせれば、必ず上三角化ができるわけです。
この証明をきちんと書き下すには数学的帰納法を使う必要がありますが、何をすべきかはほとんど明らかになっているので明記はしないでおきます。