线性。线性的最小平方问题发生在统计回归分析中；它有一个封闭形式的解决方案。非线性的问题通常经由迭代细致化来解决；在每次迭代中，系统由线性近似，因此在这两种情况下核心演算是相同的。最小平方法所得出的多项式，即以拟合曲线的函数来描述自变量与预计应变量的变异数关系。当观测值来自指数族且满足轻度条件时，最小平方估计和最大似然估计是相同的。最小平方法也能从动差法得出。以下讨论大多是以线性函数形式来表示，但对于更广泛的函数族，最小平方法也是有效和实用的。此外，迭代地将局部的二次近似应用于或然性（借由费雪信息