在統計學中，線性迴歸是利用稱為線性迴歸方程的最小平方函式對一個或多個自變數和因變數之間關係進行建模的一種迴歸分析。這種函式是一個或多個稱為迴歸係數的模型引數的線性組合。只有一個自變數的情況稱為簡單迴歸，大於一個自變數情況的叫做多元迴歸。 線上性迴歸中，資料使用線性預測函式來建模，並且未知的模型引數也是透過資料來估計。這些模型被叫做線性模型。最常用的線性迴歸建模是給定 X 值的 y 的條件均值是 X 的仿射函式。不太一般的情況，線性迴歸模型可以是一箇中位數或一些其他的給定 X 的條件下 y 的條件分佈的分位數作為 X 的線性函式表示。像所有形式的迴歸分析一樣，線性迴歸也把焦點放在給定 X 值的 y 的條件機率分佈，而不是 X 和 y 的聯合機率分佈（多元分析領域）。 線性迴歸是迴歸分析中第一種經過嚴格研究並在實際應用中廣泛使用的型別。這是因為線性依賴於其未知引數的模型比非線性依賴於其未知引數的模型更容易擬合，而且產生的估計的統計特性也更容易確定。 線性迴歸有很多實際用途。分為以下兩大類： 如果目標是預測或者對映，線性迴歸可以用來對觀測資料集的和 X 的值擬合出一個預測模型。當完成這樣一個模型以後，對於一個新增的 X 值，在沒有給定與它相配對的 y 的情況下，可以用這個擬合過的模型預測出一個 y 值。 給定一個變數 y 和一些變數 X_1X_p，這些變數有可能與 y 相關，線性迴歸分析可以用來量化 y 與 Xj 之間相關性的強度，評估出與 y 不相關的 X_j，並識別出哪些 X_j 的子集包含了關於 y 的冗餘資訊。 線性迴歸模型經常用最小二乘逼近來擬合，但他們也可能用別的方法來擬合，比如用最小化 擬合缺陷 在一些其他規範裡（比如最小絕對誤差迴歸），或者在橋迴歸中最小化最小二乘損失函式的懲罰。相反，最小二乘逼近可以用來擬合那些非線性的模型。因此，儘管 最小二乘法 和 線性模型 是緊密相連的，但他們是不能劃等號的。 線性迴歸的「迴歸」指的是。 簡介 理論模型 給一個隨機樣本 Y_i X_i1 ldots X_ip i 1 ldots n ，一個線性迴歸模型假設迴歸子 Y_i 和迴歸量 X_i1 ldots X_ip 之間的關係是除了 X 的影響以外，還有其他的變數存在。我們加入一個誤差項 varepsilon_i （也是一個隨機變數）來捕獲除了 X_i1 ldots X_ip 之外任何對 Y_i 的影響。所以一個多變數線性迴歸模型表示為以下的形式： Y_i beta_0 beta_1 X_i1 beta_2 X_i2 ldots beta_p X_ip varepsilon_i qquad i 1 ldots n 其他的模型可能被認定成非線性模型。一個線性迴歸模型不需要是自變數的線性函式。線性在這裡表示 Y_i 的條件均值在引數 beta 裡是線性的。例如：模型 Y_i beta_1 X_i beta_2 X_i2 varepsilon_i 在 beta_1 和 beta_2 裡是線性的，但在 X_i2 裡是非線性的，它是 X_i 的非線性函式。 資料和估計 區分隨機變數和這些變數的觀測值是很重要的。通常來說，觀測值或資料（以小寫字母表記）包括了 n 個值 y_i x_i1 ldots x_ip i 1 ldots n 我們有 p 1 個引數 beta_0 ldots beta_p 需要決定，為了估計這些引數，使用矩陣表記是很有用的。 Y X beta varepsilon 其中 Y 是一個包括了觀測值 Y_1 ldots Y_n 的列向量， varepsilon 包括了未觀測的隨機成份 varepsilon_1 ldots varepsilon_n 以及迴歸量的觀測值矩陣 X ： X begin pmatrix 1 x_11 cdots x_1p 1 x_21 cdots x_2p vdots vdots ddots vdots 1 x_n1 cdots x_np end pmatrix X 通常包括一個常數項。 如果 X 列之間存線上性相關，那麼引數向量 beta 就不能以最小二乘法估計除非 beta 被限制，比如要求它的一些元素之和為 0。 古典假設 樣本是在母體之中隨機抽取出來的。 因變數 Y 在實直線上是連續的， 殘差項是獨立且相同分佈的 iid，也就是說，殘差是獨立隨機的，且服從高斯分佈。 這些假設意味著殘差項不依賴自變數的值，所以 varepsilon_i 和自變數 X（預測變數）之間是相互獨立的。 在這些假設下，建立一個顯式線性迴歸作為條件預期模型的簡單線性迴歸，可以表示為： mbox EY_i mid X_i x_i alpha beta x_i 最小二乘法分析 最小二乘法估計 迴歸分析的最初目的是估計模型的引數以便達到對資料的最佳擬合。在決定一個最佳擬合的不同標準之中，最小二乘法是非常優越的。這種估計可以表示為： hatbeta XT X1 XT y 迴歸推論 對於每一個 i1ldotsn ，我們用 sigma2 代表誤差項 varepsilon 的方差。一個無偏誤的估計是： hat sigma2 frac S np 其中 S sum_i1n hat varepsilon_i2 是誤差平方和（殘差平方和）。估計值和實際值之間的關係是： hatsigma2 cdot frac npsigma2 sim chi_np2 其中 chi_np2 服從卡方分佈，自由度是 np 對普通方程的解可以寫為： hat boldsymbolbetamathbf XTX1 XTy 這表示估計項是因變數的線性組合。進一步地說，如果所觀察的誤差服從正態分佈。引數的估計值將服從聯合正態分佈。在當前的假設之下，估計的引數向量是精確分佈的。 hatbeta sim N beta sigma2 XTX1 其中 N cdot 表示多變數正態分佈。 引數估計值的標準差是： hatsigma_jsqrt frac Snpleft mathbf XTX1right_jj 引數 beta_j 的 100 1alpha 置信區間可以用以下式子來計算： hat beta_j pm t_frac alpha2n p hat sigma_j 誤差項可以表示為： mathbf hat r yX hat boldsymbol beta yX XTX1 XTy 單變數線性迴歸 單變數線性迴歸，又稱簡單線性迴歸（simple linear regression SLR），是最簡單但用途很廣的迴歸模型。其迴歸式為： Y alpha beta X varepsilon 為了從一組樣本 y_i x_i（其中 i 1 2 ldots n ）之中估計最合適（誤差最小）的 alpha 和 beta ，通常採用最小二乘法，其計算目標為最小化殘差平方和： sum_i 1n varepsilon_i2 sum_i 1n y_i alpha beta x_i2 使用微分法求極值：將上式分別對 alpha 和 beta 做一階偏微分，並令其等於 0： leftbegin arraylcl n alpha sumlimits_i 1n x_i beta sumlimits_i 1n y_i sumlimits_i 1n x_i alpha sumlimits_i 1n x_i2 beta sumlimits_i 1n x_i y_i end arrayright 此二元一次線性方程組可用克萊姆法則求解，得解 hatalpha hatbeta： hatbeta frac n sumlimits_i 1n x_i y_i sumlimits_i 1n x_i sumlimits_i 1n y_i n sumlimits_i 1n x_i2 left sumlimits_i 1n x_iright2 frac sumlimits_i 1n x_ibar xy_ibar ysumlimits_i 1n x_ibar x2frac text covXYtext varX hatalpha frac sumlimits_i 1n x_i2 sumlimits_i 1n y_i sumlimits_i 1n x_i sumlimits_i 1n x_iy_i n sumlimits_i 1n x_i2 left sumlimits_i 1n x_iright2 bar ybar x hatbeta S sumlimits_i 1n y_i hat y_i2 sumlimits_i 1n y_i2 frac n sumlimits_i 1n x_i y_i2 sumlimits_i 1n y_i2 sumlimits_i 1n x_i2 2 sumlimits_i 1n x_i sumlimits_i 1n y_i sumlimits_i 1n x_i y_i n sumlimits_i 1n x_i2 left sumlimits_i 1n x_iright2 hat sigma2 frac S n2 協方差矩陣是： frac 1n sum_i 1n x_i2 left sum_i 1n x_iright2begin pmatrix sum x_i2 sum x_i sum x_i n end pmatrix 平均響應置信區間為： y_d alphahatbeta x_d pm t_frac alpha2 n2 hat sigma sqrt frac 1n frac x_d bar x2sum x_i bar x2 預報響應置信區間為： y_d alphahatbeta x_d pm t_frac alpha2 n2 hat sigma sqrt 1frac 1n frac x_d bar x2sum x_i bar x2 方差分析 在方差分析（ANOVA）中，總平方和分解為兩個或更多部分。 總平方和 SST sum of squares for total 是： text SST sum_i1n y_i bar y2 ，其中： bar y frac 1n sum_i y_i 同等地： text SST sum_i1n y_i2 frac 1nleft sum_i y_iright2 迴歸平方和 SSReg sum of squares for regression。也可寫做模型平方和，SSM，sum of squares for model 是： text SSReg sum left hat y_i bar y right2 hat boldsymbolbetaT mathbf XT mathbf y frac 1nleft mathbf yT u uT y right 殘差平方和 SSE sum of squares for error 是： text SSE sum_i left y_i hat y_i right2 mathbf yT y hat boldsymbolbetaT XT y 總平方和 SST 又可寫做 SSReg 和 SSE 的和： text SST sum_i left y_ibar y right2 mathbf yT yfrac 1nleft mathbf yTuuTyrighttext SSReg text SSE 迴歸係數 R2 是： R2 frac text SSRegtext SST 1 frac text SSEtext SST 其他方法 廣義最小二乘法 廣義最小二乘法可以用在當觀測誤差具有異方差或者自相關的情況下。 總體最小二乘法 總體最小二乘法用於當自變數有誤時。 廣義線性模式 廣義線性模式應用在當誤差分佈函式不是正態分佈時。比如指數分佈，伽瑪分佈，逆高斯分佈，泊松分佈，二項式分佈等。 穩健回歸 將平均絕對誤差最小化，不同於線上性回歸中是將均方誤差最小化。 線性回歸的應用 趨勢線 一條趨勢線代表著時間序列資料的長期走勢。它告訴我們一組特定資料（如 GDP、石油價格和股票價格）是否在一段時期內增長或下降。雖然我們可以用肉眼觀察資料點在坐標系的位置大體畫出趨勢線，更恰當的方法是利用線性回歸計算出趨勢線的位置和斜率。 流行病學 有關吸菸對死亡率和發病率影響的早期證據來自採用了迴歸分析的觀察性研究。為了在分析觀測資料時減少偽相關，除最感興趣的變數之外，通常研究人員還會在他們的迴歸模型裡包括一些額外變數。例如，假設有一個迴歸模型，在這個迴歸模型中吸菸行為是我們最感興趣的獨立變數，其相關變數是經數年觀察得到的吸菸者壽命。研究人員可能將社會經濟地位當成一個額外的獨立變數，已確保任何經觀察所得的吸菸對壽命的影響不是由於教育或收入差異引起的。然而，我們不可能把所有可能混淆結果的變數都加入到實證分析中。例如，某種不存在的基因可能會增加人死亡的機率，還會讓人的吸菸量增加。因此，比起採用觀察資料的迴歸分析得出的結論，隨機對照試驗常能產生更令人信服的因果關係證據。當可控實驗不可行時，迴歸分析的衍生，如工具變量回歸，可嘗試用來估計觀測資料的因果關係。 金融 資本資產定價模型利用線性回歸以及 Beta 係數的概念分析和計算投資的系統風險。這是從聯絡投資回報和所有風險性資產回報的模型 Beta 係數直接得出的。 經濟學 線性迴歸是經濟學的主要實證工具。例如，它是用來預測消費支出，固定投資支出，存貨投資，一國出口產品的購買，進口支出，要求持有流動性資產，勞動力需求、勞動力供給。 參考文獻 引用 來源 書籍 刊物文章 延伸閱讀 參見 方差分析 安斯庫姆四重奏 橫截面迴歸 曲線擬合 經驗貝葉斯方法 邏輯斯蒂迴歸 M 估計 非線性迴歸 非引數迴歸 多元自適應迴歸樣條 Lackoffit sum of squares 截斷迴歸模型 刪失迴歸模型 簡單線性迴歸 分段線性迴歸 外部連結 LeastSquares Regression PhET Interactive simulations University of Colorado at Boulder Category 迴歸分析 Category 估計理論