GMRES法
解くべき方程式を
A x = b . {\displaystyle Ax=b.\,}
とする。ただし行列Aは正則なm次正方行列、bは正規化された(ユークリッドノルム||·||に関して||b|| = 1となる)ベクトルとする。
この問題のn次クリロフ部分空間は
K n = span { b , A b , A 2 b , ... , A n − 1 b } . {\displaystyle K_{n}=\operatorname {span} \,\{b,Ab,A^{2}b,\ldots ,A^{n-1}b\}.\,}
である。GMRES法では、残差Axn − bを最小化するベクトルxn ∈ Knによって、Ax = bの厳密解を近似する。
b, Ab, ..., Abは線形従属に近いため、これを用いる代わりに、アーノルディ法を用いてKnの基底を構成する正規直交化ベクトル列
q 1 , q 2 , ... , q n {\displaystyle q_{1},q_{2},\ldots ,q_{n}\,}
を計算する。すなわち、xn ∈ Knはyn ∈ Rを用いてxn = Qnynと書くことができる。ただしQnはq1, ..., qnにより構成されるm×n行列とする。
アーノルディ過程では、
A Q n = Q n + 1 H ~ n {\displaystyle AQ_{n}=Q_{n+1}{\tilde {H}}_{n}}
を満たす(n+1)×n次上ヘッセンベルグ行列 H ~ n {\displaystyle {\tilde {H}}_{n}} が生成される。