此，求使得残量的范数最小的formula_15。这是一个"m"阶线性最小二乘问题。这就是GMRES方法。在迭代的每一步中：在每一步迭代中，必须计算一次矩阵向量积"Aq"。对于一般的"n"阶稠密矩阵，这要计算复杂度大约2"n"次浮点运算。但是对于稀疏矩阵，这个计算复杂度能减少到O("n")。进一步，关于矩阵向量积，在"m"次迭代中能进行O("m" "n")次浮点运算。
收敛性.第"m"次迭代获得在Krylov子空间"K"下的最小残量。因为每个子空间包含于下一个子空间中，所以残