，我们无法找到直接解法（例如五次以及更高次的代数方程没有解析解，参见阿贝尔定理），这时候或许可以通过迭代法寻求方程（组）的近似解。最常见的迭代法是牛顿法。其他还包括最速下降法、共轭迭代法、变尺度迭代法、最小二乘法、线性规划、非线性规划、单纯型法、惩罚函数法、斜率投影法、遗传算法、模拟退火等等。
线性系统.求解线性方程系统的迭代方法主要分为两类，分别是定常迭代法和Krylov子空间法。
定常迭代法.这种方法易于推导，方便实现和分析，但只能保证某些特定形式