最小二乘法 最小二乘法英語least squares method又称最小平方法是一种數學優化建模方法它通过最小化誤差的平方和尋找數據的最佳函數匹配 利用最小二乘法可以簡便的求得未知的數據並使得求得的數據與實際數據之間誤差的平方和為最小 最小平方法是對線性方程組即方程個數比未知數更多的方程組以迴歸分析求得近似解的標準方法在這整個解決方案中最小平方法演算為每一方程式的結果中將殘差平方和的總和最小化 最重要的應用是在曲線擬合上最小平方所涵義的最佳擬合即殘差殘差為觀測值與模型提供的擬合值之間的差距平方總和的最小化當問題在自變量x變量有重大不確定性時那麼使用簡易迴歸和最小平方法會發生問題在這種情況下須另外考慮變量誤差擬合模型所需的方法而不是最小平方法 最小平方問題分為兩種線性或普通的最小平方法和非線性的最小平方法取決於在所有未知數中的殘差是否為線性線性的最小平方問題發生在統計迴歸分析中它有一個封閉形式的解決方案非線性的問題通常經由迭代細緻化來解決在每次迭代中系統由線性近似因此在這兩種情況下核心演算是相同的 最小平方法所得出的多項式即以擬合曲線的函數來描述自變量與預計應變量的變異數關係 當觀測值來自指數族且滿足輕度條件時最小平方估計和最大似然估計是相同的最小平方法也能從動差法得出 以下討論大多是以線性函數形式來表示但對於更廣泛的函數族最小平方法也是有效和實用的此外迭代地將局部的二次近似應用於或然性藉由費雪信息最小平方法可用於擬合廣義線性模型 最小平方法通常歸功於高斯Carl Friedrich Gauss但最小平方法是由阿德里安马里勒让德AdrienMarie Legendre首先發表的