統計學中，貝葉斯多元線性迴歸是一種多元線性迴歸（預測結果為相關隨機變數向量，而非標量隨機變數的線性迴歸）的貝葉斯推斷方法。這種方法的更一般論述見最小均方誤差。 細節 考慮一回歸問題，其中需要預測的自變數不是實標量而是相關實陣列成的 m 維向量。與標準迴歸設定一樣，有 n 個觀測值，其中每個觀測 i 包含 k1 個解釋變數，歸為 k 維向量 mathbf x_i（新增值為 1 的虛擬變數，以允許截距係數）。對每個觀測 i，可以視作 m 個相關回歸問題： begin align y_i1 mathbf x_imathsf Tboldsymbolbeta_1 epsilon_i1 vdots y_im mathbf x_imathsf Tboldsymbolbeta_m epsilon_im end align 其中誤差集 epsilon_i1 ldots epsilon_im 都是相關的。等價地，也可以視作單一回歸問題，其中結果是行向量 mathbf y_imathsf T，迴歸係數向量排在一起： mathbf y_imathsf T mathbf x_imathsf Tmathbf B boldsymbolepsilon_imathsf T 係數矩陣 B 是 k times m 矩陣，其中每個迴歸問題的係數向量 boldsymbolbeta_1ldotsboldsymbolbeta_m 垂直排列在一起： mathbf B begin bmatrix begin pmatrix boldsymbolbeta_1 end pmatrix cdots begin pmatrix boldsymbolbeta_m end pmatrix end bmatrix begin bmatrix begin pmatrix beta_11 vdots beta_k1 end pmatrix cdots begin pmatrix beta_1m vdots beta_km end pmatrix end bmatrix 每個觀測 i 的噪聲向量 boldsymbolepsilon_i 服從聯合正態分佈，因此給定觀測的結果是相關的： boldsymbolepsilon_i sim N 0 boldsymbolSigma_epsilon 可以將整個迴歸問題寫成矩陣形式： mathbf Y mathbf Xmathbf B mathbf E 其中 Y、E 是 n times m 矩陣。設計矩陣 X 是 n times k 矩陣，觀測如標準線性迴歸垂直排列： mathbf X begin bmatrix mathbf xmathsf T_1 mathbf xmathsf T_2 vdots mathbf xmathsf T_n end bmatrix begin bmatrix x_11 cdots x_1k x_21 cdots x_2k vdots ddots vdots x_n1 cdots x_nk end bmatrix 經典頻率學派解利用摩爾－彭若斯廣義逆，簡單地估計迴歸係數矩陣 hat mathbf B： hat mathbf B mathbf Xmathsf Tmathbf X1mathbf Xmathsf Tmathbf Y 求貝葉斯解，要先指定條件似然，再找到適當的共軛先驗。與線性貝葉斯迴歸不同，可以指定一個自然的條件共軛先驗（與規模相關）。 把條件似然寫成 Peter E Rossi Greg M Allenby Rob McCulloch Bayesian Statistics and Marketing John Wiley Sons 2012 p 32 rho mathbf EboldsymbolSigma_epsilon propto boldsymbolSigma_epsilonn2 expleft tfrac 12 operatorname trleft mathbf Emathsf T mathbf E boldsymbolSigma_epsilon1right right 誤差 mathbf E 表為 mathbf Ymathbf Xmathbf B，則有 rho mathbf Ymathbf Xmathbf BboldsymbolSigma_epsilon propto boldsymbolSigma_epsilonn2 exp tfrac 12 operatorname trmathbf Ymathbf X mathbf Bmathsf T mathbf Ymathbf X mathbf B boldsymbolSigma_epsilon1 尋找一個自然共軛先驗 聯合密度 rho mathbf BSigma_epsilon，其泛函形式與似然相同。由於似然在 mathbf B 中是二次的，因此我們重寫似然使其在 mathbf Bhat mathbf B（與經典樣本估計的差）是正態的。 用與相同的技術，可用矩陣形式的平方和分解指數項。不過此處還要用到矩陣微分（克羅內克積和向量化變換）。 首先，應用平方和得到新的似然表示式： rho mathbf Ymathbf Xmathbf BboldsymbolSigma_epsilon propto boldsymbolSigma_epsilonnk2 exp operatorname trtfrac 12mathbf Smathsf T mathbf S boldsymbolSigma_epsilon1 boldsymbolSigma_epsilonk2 exp tfrac 12 operatorname trmathbf Bhat mathbf Bmathsf T mathbf Xmathsf T mathbf Xmathbf Bhat mathbf B boldsymbolSigma_epsilon1 mathbf S mathbf Y mathbf Xhat mathbf B 我們想開發一種先驗的條件形式： rho mathbf BboldsymbolSigma_epsilon rho boldsymbolSigma_epsilonrho mathbf BboldsymbolSigma_epsilon 其中 rho boldsymbolSigma_epsilon 服從逆威沙特分佈，rho mathbf BboldsymbolSigma_epsilon 是矩陣 mathbf B 中某種形式的正態分佈。這是透過向量化變換實現的，它將似然從矩陣 mathbf B hat mathbf B 的函式變換為向量 boldsymbolbeta operatorname vecmathbf B hat boldsymbolbeta operatorname vechat mathbf B 的函式。 operatorname trmathbf B hat mathbf Bmathsf Tmathbf Xmathsf T mathbf Xmathbf B hat mathbf B boldsymbolSigma_epsilon1 operatorname vecmathbf B hat mathbf Bmathsf T operatorname vecmathbf Xmathsf T mathbf Xmathbf B hat mathbf B boldsymbolSigma_epsilon1 令 operatorname vecmathbf Xmathsf T mathbf Xmathbf B hat mathbf B boldsymbolSigma_epsilon1 boldsymbolSigma_epsilon1 otimes mathbf Xmathsf Tmathbf X operatorname vecmathbf B hat mathbf B 其中 mathbf A otimes mathbf B 表示矩陣 A、B 的克羅內克積，其是外積的推廣。 則 begin align operatorname vecmathbf B hat mathbf Bmathsf T boldsymbolSigma_epsilon1 otimes mathbf Xmathsf Tmathbf X operatorname vecmathbf B hat mathbf B boldsymbolbeta hat boldsymbolbetamathsf TboldsymbolSigma_epsilon1 otimes mathbf Xmathsf Tmathbf X boldsymbolbetahat boldsymbolbeta end align 產生的似然在 boldsymbolbeta hat boldsymbolbeta 中正態。 有了更易理解的似然，就可以找到自然的（條件）共軛先驗了。 共軛先驗分佈 由向量化的 boldsymbolbeta 得到的自然共軛先驗形式為 rho boldsymbolbeta boldsymbolSigma_epsilon rho boldsymbolSigma_epsilonrho boldsymbolbetaboldsymbolSigma_epsilon 其中 rho boldsymbolSigma_epsilon sim mathcal W1mathbf V_0boldsymbolnu_0 rho boldsymbolbetaboldsymbolSigma_epsilon sim N boldsymbolbeta_0 boldsymbolSigma_epsilon otimes boldsymbolLambda_01 後驗分佈 利用上述先驗與似然，可得到後驗 begin align rho boldsymbolbetaboldsymbolSigma_epsilonmathbf Ymathbf X propto boldsymbolSigma_epsilonboldsymbolnu_0 m 12exp tfrac 12operatorname trmathbf V_0 boldsymbolSigma_epsilon1 timesboldsymbolSigma_epsilonk2exp tfrac 12 operatorname trmathbf Bmathbf B_0mathsf TboldsymbolLambda_0 mathbf Bmathbf B_0boldsymbolSigma_epsilon1 timesboldsymbolSigma_epsilonn2exp tfrac 12operatorname trmathbf Ymathbf XBmathsf Tmathbf Ymathbf XBboldsymbolSigma_epsilon1 end align 其中 operatorname vecmathbf B_0 boldsymbolbeta_0。 記 boldsymbolLambda_0 mathbf Umathsf Tmathbf U，涉及 mathbf B 的項可以分類為 begin align left mathbf B mathbf B_0rightmathsf T boldsymbolLambda_0 left mathbf B mathbf B_0right left mathbf Y mathbf XBrightmathsf T left mathbf Y mathbf XBright left begin bmatrixmathbf Y mathbf U mathbf B_0end bmatrix begin bmatrixmathbf X mathbf Uend bmatrixmathbf Brightmathsf T left begin bmatrixmathbf Y mathbf U mathbf B_0end bmatrixbegin bmatrixmathbf X mathbf Uend bmatrixmathbf Bright left begin bmatrixmathbf Y mathbf U mathbf B_0end bmatrix begin bmatrixmathbf X mathbf Uend bmatrixmathbf B_nrightmathsf Tleft begin bmatrixmathbf Y mathbf U mathbf B_0end bmatrixbegin bmatrixmathbf X mathbf Uend bmatrixmathbf B_nright left mathbf B mathbf B_nrightmathsf T left mathbf Xmathsf T mathbf X boldsymbolLambda_0right left mathbf Bmathbf B_nright left mathbf Y mathbf X mathbf B_n rightmathsf T left mathbf Y mathbf X mathbf B_nright left mathbf B_0 mathbf B_nrightmathsf T boldsymbolLambda_0 left mathbf B_0 mathbf B_nright left mathbf B mathbf B_nrightmathsf T left mathbf Xmathsf T mathbf X boldsymbolLambda_0rightleft mathbf B mathbf B_nright end align 其中 mathbf B_n left mathbf Xmathsf Tmathbf X boldsymbolLambda_0right1left mathbf Xmathsf T mathbf X hat mathbf B boldsymbolLambda_0mathbf B_0right left mathbf Xmathsf T mathbf X boldsymbolLambda_0right1left mathbf Xmathsf T mathbf Y boldsymbolLambda_0 mathbf B_0right 現在可以用更有用的形式來寫後驗： begin align rho boldsymbolbetaboldsymbolSigma_epsilonmathbf Ymathbf X propto boldsymbolSigma_epsilonboldsymbolnu_0 m n 12exp tfrac 12operatorname trmathbf V_0 mathbf Ymathbf XB_nmathsf T mathbf Ymathbf XB_n mathbf B_nmathbf B_0mathsf TboldsymbolLambda_0 mathbf B_nmathbf B_0boldsymbolSigma_epsilon1 timesboldsymbolSigma_epsilonk2exp tfrac 12operatorname trmathbf Bmathbf B_nmathsf T mathbf XTmathbf X boldsymbolLambda_0 mathbf Bmathbf B_nboldsymbolSigma_epsilon1 end align 其形式為逆威沙特分佈乘以矩陣正態分佈： rho boldsymbolSigma_epsilonmathbf Ymathbf X sim mathcal W1mathbf V_nboldsymbolnu_n rho mathbf Bmathbf Ymathbf XboldsymbolSigma_epsilon sim mathcal MN_kmmathbf B_n boldsymbolLambda_n1 boldsymbolSigma_epsilon 此後驗的引數由下式給出 mathbf V_n mathbf V_0 mathbf Ymathbf XB_nmathsf Tmathbf Ymathbf XB_n mathbf B_n mathbf B_0mathsf TboldsymbolLambda_0 mathbf B_nmathbf B_0 boldsymbolnu_n boldsymbolnu_0 n mathbf B_n mathbf Xmathsf Tmathbf X boldsymbolLambda_01mathbf Xmathsf T mathbf Y boldsymbolLambda_0mathbf B_0 boldsymbolLambda_n mathbf Xmathsf T mathbf X boldsymbolLambda_0 另見 矩陣正態分佈 參考文獻 Category 貝葉斯推斷