最小二乘法

最小二乘法 （ least squares method ） ， 又稱 - { zh - hans: 最小平方法; zh - hk: 最小平方法; zh - tw: 最小二乘法 } - ， 是一種數學優化建模方法 。 它通過最小化誤差的平方和尋找數據的最佳函數匹配 。 利用最小二乘法可以簡便的求得未知的數據 ， 並使得求得的數據與實際數據之間誤差的平方和爲最小 。 “ 最小平方法 ” 是對線性方程組 ， 即方程個數比未知數更多的方程組 ， 以迴歸分析求得近似解的標準方法 。 在這整個解決方案中 ， 最小平方法演算爲每一方程式的結果中 ， 將殘差平方和的總和最小化 。 最重要的應用是在曲線擬合上 。 最小平方所涵義的最佳擬合 ， 即殘差 （ 殘差爲 ： 觀測值與模型提供的擬合值之間的差距 ） 平方總和的最小化 。 當問題在自變量 （ x變量 ） 有重大不確定性時 ， 那麼使用簡易迴歸和最小平方法會發生問題 ； 在這種情況下 ， 須另外考慮變量 - 誤差 - 擬合模型所需的方法 ， 而不是最小平方法 。 最小平方問題分爲兩種 ： 線性或普通的最小平方法 ， 和非線性的最小平方法 ， 取決於在所有未知數中的殘差是否爲線性 。 線性的最小平方問題發生在統計迴歸分析中 ； 它有一個封閉形式的解決方案 。 非線性的問題通常經由迭代細緻化來解決 ； 在每次迭代中 ， 系統由線性近似 ， 因此在這兩種情況下核心演算是相同的 。 最小平方法所得出的多項式 ， 即以擬合曲線的函數來描述自變量與預計應變量的變異數關係 。 當觀測值來自指數族且滿足輕度條件時 ， 最小平方估計和最大似然估計是相同的 。 最小平方法也能從動差法得出 。 以下討論大多是以線性函數形式來表示 ， 但對於更廣泛的函數族 ， 最小平方法也是有效和實用的 。 此外 ， 迭代地將局部的二次近似應用於或然性 （ 藉由費雪信息 ） ， 最小平方法可用於擬合廣義線性模型 。 最小平方法通常歸功於高斯 （ Carl Friedrich Gauss ， 1795 ） ， 但最小平方法是由阿德里安 - 馬裏 · 勒讓德 （ Adrien - Marie Legendre ） 首先發表的 。