最小二乘法，又稱 zhhans 最小平方法；zhhk 最小平方法；zhtw 最小二乘法，是一種數學最佳化建模方法。它透過最小化誤差的平方和尋找資料的最佳函式匹配。 利用最小二乘法可以簡便的求得未知的資料，並使得求得的資料與實際資料之間誤差的平方和為最小。 最小平方法 是對線性方程組，即方程個數比未知數更多的方程組，以迴歸分析求得近似解的標準方法。在這整個解決方案中，最小平方法演算為每一方程式的結果中，將殘差平方和的總和最小化。 最重要的應用是在曲線擬合上。最小平方所涵義的最佳擬合，即殘差（殘差為：觀測值與模型提供的擬合值之間的差距）平方總和的最小化。當問題在自變數（x 變數）有重大不確定性時，那麼使用簡易迴歸和最小平方法會發生問題；在這種情況下，須另外考慮變數 誤差 擬合模型所需的方法，而不是最小平方法。 最小平方問題分為兩種：線性或普通的最小平方法，和非線性的最小平方法，取決於在所有未知數中的殘差是否為線性。線性的最小平方問題發生在統計迴歸分析中；它有一個封閉形式的解決方案。非線性的問題通常經由迭代細緻化來解決；在每次迭代中，系統由線性近似，因此在這兩種情況下核心演算是相同的。 最小平方法所得出的多項式，即以擬合曲線的函式來描述自變數與預計應變數的變異數關係。 當觀測值來自指數族且滿足輕度條件時，最小平方估計和最大似然估計是相同的。最小平方法也能從動差法得出。 以下討論大多是以線性函式形式來表示，但對於更廣泛的函式族，最小平方法也是有效和實用的。此外，迭代地將區域性的二次近似應用於或然性（藉由費雪資訊），最小平方法可用於擬合廣義線性模型。 最小平方法通常歸功於高斯（Carl Friedrich Gauss，1795），但最小平方法是由阿德里安 馬裡勒讓德（AdrienMarie Legendre）首先發表的。 歷史背景 最小平方法發展於天文學和大地測量學領域，科學家和數學家嘗試為大航海探索時期的海洋航行挑戰提供解決方案。準確描述天體的行為是船艦在大海洋上航行的關鍵，水手不能再依靠陸上目標導航作航行。 這個方法是在十八世紀期間一些進步的集大成： 不同觀測值的組合是真實值的最佳估計；多次觀測會減少誤差而不是增加，也許在 1722 年由 Roger Cotes 首先闡明。 在相同條件下採取的不同觀察結果，與只嘗試記錄一次最精確的觀察結果是對立的。這個方法被稱為平均值方法。託馬斯馬耶爾（Tobias Mayer）在 1750 年研究月球的天平動時，特別使用這種方法，而拉普拉斯（PierreSimon Laplace）在 1788 年他的工作成果中以此解釋木星和土星的運動差異。 在不同條件下進行的不同觀測值組合。該方法被稱為最小絕對偏差法，出現在 Roger Joseph Boscovich 在 1757 年他對地球形體的著名作品，而拉普拉斯在 1799 年也表示了同樣的問題。 評定對誤差達到最小的解決方案標準，拉普拉斯指明瞭誤差的機率密度的數學形式，並定義了誤差最小化的估計方法。為此，拉普拉斯使用了一雙邊對稱的指數分佈，現在稱為拉普拉斯分佈作為誤差分佈的模型，並將絕對偏差之和作為估計誤差。他認為這是他最簡單的假設，他期待得出算術平均值而成為最佳的估計。可相反地，他的估計是後驗中位數。 最小平方法 1801 年，義大利天文學家朱塞普皮亞齊發現了第一顆小行星穀神星。經過 40 天的追蹤觀測後，由於穀神星執行至太陽背後，使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測資料開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。當年 24 歲的高斯也計算了穀神星的軌道。奧地利天文學家海因裡希奧伯斯根據高斯計算出來的軌道重新發現了穀神星。 高斯使用的最小平方法的方法發表於 1809 年他的著作《天體運動論》中，而法國科學家勒壤得於 1806 年獨立發現 最小平方法，但因不為世人所知而默默無聞。兩人曾為誰最早創立最小平方法原理發生爭執。 1829 年，高斯提供了最小平方法的最佳化效果強於其他方法的證明，見高斯 馬爾可夫定理。 示例 某次實驗得到了四個資料點 x y：1 6、2 5、3 7、4 10（右圖紅色的點）。我們希望找出一條和這四個點最匹配的直線 ybeta_2 xbeta_1，即找出在某種「最佳情況」下能夠大致符合如下超定線性方程組的 beta_1 和 beta_2： begin alignat4 beta_1 1beta_2 6 beta_1 2beta_2 5 beta_1 3beta_2 7 beta_1 4beta_2 10 end alignat 最小平方法採用的方法是盡量使得等號兩邊差的平方最小，也就是找出這個函式的最小值： begin align S beta_1 beta_2 left 6beta_11beta_2right2left 5beta_12beta_2 right2 left 7beta_1 3beta_2right2left 10beta_1 4beta_2right2 end align 最小值可以透過對 S beta_1 beta_2 分別求 beta_1 和 beta_2 的偏導數，然後使他們等於零得到。 frac partial Spartial beta_108beta_1 20beta_2 56 frac partial Spartial beta_2020beta_1 60beta_2 154 如此就得到了一個只有兩個未知數的方程組，很容易就可以解出： beta_135 beta_214 也就是說直線 y3514x 是最佳的。 方法 人們對由某一變數 t 或多個變數 t_1t_n 構成的相關變數 y 感興趣。如彈簧的形變與所用的力相關，一個企業的盈利與其營業額，投資收益和原始資本有關。為了得到這些變數同 y 之間的關係，便用不相關變數去構建 y，使用如下函式模型 y_m f t_1dots t_qb_1dotsb_p q 個獨立變數或 p 個係數去擬合。 通常人們將一個可能的、對不相關變數 t 的構成都無困難的函式型別稱作函式模型（如拋物線函式或指數函式）。引數 b 是為了使所選擇的函式模型同觀測值 y 相匹配。（如在測量彈簧形變時，必須將所用的力與彈簧的膨脹係數聯絡起來）。其目標是合適地選擇引數，使函式模型最好的擬合觀測值。一般情況下，觀測值遠多於所選擇的引數。 其次的問題是怎樣判斷不同擬合的質量。高斯和勒讓德的方法是，假設測量誤差的平均值為 0。令每一個測量誤差對應一個變數並與其它測量誤差不相關（隨機無關）。人們假設，在測量誤差中絕對不含系統誤差，它們應該是純偶然誤差 有固定的變異數，圍繞真值波動。除此之外，測量誤差符合正態分佈，這保證了偏差值在最後的結果 y 上忽略不計。 確定擬合的標準應該被重視，並小心選擇，較大誤差的測量值應被賦予較小的權。並建立如下規則：被選擇的引數，應該使算出的函式曲線與觀測值之差的平方和最小。用函式表示為： min_vec b sum_i1ny_m y_i2 用歐幾里得度量表達為： min_vec b vec y_m vec b vec y 2_2 又因為 vec y_m vec b vec y _2 0 所以也可以表示為 min_vec b vec y_m vec b vec y _2 最小化問題的精度，依賴於所選擇的函式模型。 線性函式模型 典型的一類函式模型是線性函式模型。最簡單的線性式是 y b_0 b_1 t，寫成矩陣式，為 min_b_0b_1leftbegin pmatrix 1 t_1 vdots vdots 1 t_n end pmatrix begin pmatrix b_0 b_1end pmatrix begin pmatrix y_1 vdots y_nend pmatrixright_2 min_bAbY_2 直接給出該式的引數解： b_1 frac sum_i1n t_iy_i n cdot bar t bar ysum_i1n t_i2 n cdot bar t2 和 b_0 bar y b_1 bar t 其中 bar t frac 1n sum_i1n t_i，為 t 值的算術平均值。也可解得如下形式： b_1 frac sum_i1n t_i bar ty_i bar ysum_i1n t_i bar t2 簡單線性模型 y b0 b1t 的例子 隨機選定 10 艘戰艦，並分析它們的長度與寬度，尋找它們長度與寬度之間的關係。由下面的描點圖可以直觀地看出，一艘戰艦的長度（t）與寬度（y）基本呈線性關係。散點圖如下： 以下圖表列出了各戰艦的資料，隨後步驟是採用最小二乘法確定兩變數間的線性關係。 編號 長度 m 寬度 m ti t yi y i ti yi ti yi tiyi titi yiyi 1 208 216 402 319 128238 161604 101761 2 152 155 158 291 45978 24964 84681 3 113 104 548 801 438948 300304 641601 4 227 310 592 1259 745328 350464 1585081 5 137 130 308 541 166628 94864 292681 6 238 324 702 1399 982098 492804 1957201 7 178 190 102 059 6018 10404 03481 8 104 104 638 801 511038 407044 641601 9 191 190 232 059 13688 53824 03481 10 130 118 378 661 249858 142884 436921 總和（Σ） 1678 1841 00 000 3287820 2039160 5748490 仿照上面給出的例子 bar t frac sum_i1n t_in frac 167810 167 8 並得到相應的 bar y 18 41 然後確定 b1 b_1 frac sum_i1n t_i bar ty_i bar ysum_i1n t_i bar t2 frac 3287 820 20391 60 0 1612 可以看出，戰艦的長度每變化 1m，相對應的寬度便要變化 16cm。並由下式得到常數項 b0： b_0 bar y b_1 bar t 18 41 0 1612 cdot 167 8 8 6394 在這裡隨機理論不加闡述。可以看出點的擬合非常好，長度和寬度的相關性大約為 9603％。 利用 Matlab 得到擬合直線： 一般線性情況 若含有更多不相關模型變數 t_1 t_q，可如組成線性函式的形式 y t_1dotst_qb_0 b_1 dots b_q b_0 b_1 t_1 cdots b_q t_q 即線性方程組 begin matrix b_0 b_1 t_11 cdots b_j t_1j cdots b_q t_1q y_1 b_0 b_1 t_21 cdots b_j t_2j cdots b_q t_2q y_2 vdots b_0 b_1 t_i1 cdots b_j t_ij cdots b_q t_iq y_i vdots b_0 b_1 t_n1 cdots b_j t_nj cdots b_q t_nq y_n end matrix 通常人們將 tij 記作資料矩陣 A，引數 bj 記做引數向量 b，觀測值 yi 記作 Y，則線性方程組又可寫成： begin pmatrix 1 t_11 cdots t_1j cdots t_1q 1 t_21 cdots t_2j cdots t_2q vdots 1 t_i1 cdots t_ij cdots t_iq vdots 1 t_n1 cdots t_nj cdots t_nq end pmatrix cdot begin pmatrix b_0 b_1 b_2 vdots b_j vdots b_q end pmatrix begin pmatrix y_1 y_2 vdots y_i vdots y_n end pmatrix 即 Ab Y 上述方程運用最小二乘法匯出為線性平方差計算的形式為： min_bAbY_2。 最小二乘法的解 min_b left boldsymbol Ab boldsymbol Y right _2boldsymbol Ainmathbf Cntimes mboldsymbol Yinmathbf Cn 的特解為 A 的廣義逆矩陣與 Y 的乘積，這同時也是二範數極小的解，其通解為特解加上 A 的零空間。證明如下： 先將 Y 拆成 A 的值域及其正交補兩部分 boldsymbol Yboldsymbol Y_1boldsymbol Y_2 boldsymbol Y_1boldsymbol Aboldsymbol Adaggerboldsymbol Yin Rleft boldsymbol A right boldsymbol Y_2left boldsymbol I boldsymbol Aboldsymbol Adagger rightboldsymbol Yin Rleft boldsymbol A rightbot 所以 boldsymbol Abboldsymbol Y_1in Rleft boldsymbol A right，可得 left boldsymbol Ab boldsymbol Y right 2left boldsymbol Ab boldsymbol Y_1 left boldsymbol Y_2right right 2left boldsymbol Ab boldsymbol Y_1 right 2left boldsymbol Y_2 right 2 故當且僅當 boldsymbol b 是 boldsymbol Ab boldsymbol Y_1 boldsymbol Aboldsymbol Adaggerboldsymbol Y 解時，boldsymbol b 即為最小二乘解，即 boldsymbol bboldsymbol Adagger boldsymbol Y left mathbf AHmathbf A right 1mathbf AHmathbf Y。 又因為 Nleft boldsymbol ArightNleft boldsymbol Adagger boldsymbol ArightRleft boldsymbol Iboldsymbol Adagger boldsymbol Arightleftleft boldsymbol Iboldsymbol Adagger boldsymbol A right boldsymbol hboldsymbol hinmathbf Cn right 故 boldsymbol Abboldsymbol Aboldsymbol Adaggerboldsymbol Y 的通解為 boldsymbol bboldsymbol Adaggerboldsymbol Yleft boldsymbol Iboldsymbol Adagger boldsymbol A right boldsymbol hboldsymbol hinmathbf Cn 因為 begin align left boldsymbol Adaggerboldsymbol Yright 2 left boldsymbol Adaggerboldsymbol Y right 2 left left boldsymbol Iboldsymbol Adagger boldsymbol A right boldsymbol h right 2 left boldsymbol Adaggerboldsymbol Y left boldsymbol Iboldsymbol Adagger boldsymbol A right boldsymbol h right 2left boldsymbol Iboldsymbol Adagger boldsymbol A right boldsymbol hneqboldsymbol 0 end align 所以 boldsymbol Adagger boldsymbol Y 又是二範數極小的最小二乘解。 參考文獻 書籍 外部連結 3 種統計學點估計的理論推演：動差法，最小平方法，最大概似估計法 httpwwwphysicscsbsjuedustatsleast_squareshtml httpswebarchiveorgweb20200218162523httpwwwzunzuncom httpwwworbitalscomselfleastleasthtm Z Z Z Category 迴歸分析 Category 計量經濟學