贝叶斯多元线性回归
细节

考虑一回归问题，其中需要预测的自变量不是实标量而是相关实数组成的m维向量。与标准回归设置一样，有n个观测值，其中每个观测i包含k−1个解释变量，归为k维向量 \mathbf {x} _{i}（添加值为1的虚拟变量，以允许截距系数）。对每个观测i，可以视作m个相关回归问题：
 {\begin{aligned}y_{i,1}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{1}+\epsilon _{i,1}\\&\;\;\vdots \\y_{i,m}&=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}_{m}+\epsilon _{i,m}\end{aligned}}
其中误差集 \{\epsilon _{i,1},\ldots ,\epsilon _{i,m}\}都是相关的。等价地，也可以视作单一回归问题，其中结果是行向量 \mathbf {y} _{i}^{\mathsf {T}}，回归系数向量排在一起：
 \mathbf {y} _{i}^{\mathsf {T}}=\mathbf {x} _{i}^{\mathsf {T}}\mathbf {B} +{\boldsymbol {\epsilon }}_{i}^{\mathsf {T}}.
系数矩阵B是 k\times m矩阵，其中每个回归问题的系数向量 {\boldsymbol {\beta }}_{1},\ldots ,{\boldsymbol {\beta }}_{m}垂直排列在一起：
 \mathbf {B} ={\begin{bmatrix}{\begin{pmatrix}\\{\boldsymbol {\beta }}_{1}\\\\\end{pmatrix}}\cdots {\begin{pmatrix}\\{\boldsymbol {\beta }}_{m}\\\\\end{pmatrix}}\end{bmatrix}}={\begin{bmatrix}{\begin{pmatrix}\beta _{1,1}\\\vdots \\\beta _{k,1}\end{pmatrix}}\cdots {\begin{pmatrix}\beta _{1,m}\\\vdots \\\beta _{k,m}\end{pmatrix}}\end{bmatrix}}.
每个观测i的噪声向量 {\boldsymbol {\epsilon }}_{i}服从联合正态分布，因此给定观测的结果是相关的：
 {\boldsymbol {\epsilon }}_{i}\sim N(0,{\boldsymbol {\Sigma }}_{\epsilon }).
可以将整个回归问题写成矩阵形式：
 \mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {E} ,
其中Y、E是 n\times m矩阵。设计矩阵X是 n\times k矩阵，观测如标准线性回归垂直排列：
 \mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}\\\mathbf {x} _{2}^{\mathsf {T}}\\\vdots \\\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}={\begin{bmatrix}x_{1,1}&\cdots &x_{1,k}\\x_{2,1}&\cdots &x_{2,k}\\\vdots &\ddots &\vdots \\x_{n,1}&\cdots &x_{n,k}\end{bmatrix}}.
经典频率学派线性最小二乘（英语：）解利用摩尔－彭若斯广义逆，简单地估计回归系数矩阵 {\hat {\mathbf {B} }}：
 {\hat {\mathbf {B} }}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Y} .
求贝叶斯解，要先指定条件似然，再找到适当的共轭先验。与线性贝叶斯回归不同，可以指定一个自然的条件共轭先验（与规模相关）。
把条件似然写成
 \rho (\mathbf {E} |{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp \left(-{\tfrac {1}{2}}\operatorname {tr} \left(\mathbf {E} ^{\mathsf {T}}\mathbf {E} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}\right)\right),
误差 \mathbf {E} 表为 \mathbf {Y} ,\mathbf {X} ,\mathbf {B} ，则有
 \rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-n/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {Y} -\mathbf {X} \mathbf {B} )^{\mathsf {T}}(\mathbf {Y} -\mathbf {X} \mathbf {B} ){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),
寻找一个自然共轭先验——联合密度 \rho (\mathbf {B} ,\Sigma _{\epsilon })，其泛函形式与似然相同。由于似然在 \mathbf {B} 中是二次的，因此我们重写似然使其在 (\mathbf {B} -{\hat {\mathbf {B} }})（与经典样本估计的差）是正态的。
用与贝叶斯线性回归（英语：）相同的技术，可用矩阵形式的平方和分解指数项。不过此处还要用到矩阵微分（克罗内克积和向量化变换）。
首先，应用平方和得到新的似然表达式：
 \rho (\mathbf {Y} |\mathbf {X} ,\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })\propto |{\boldsymbol {\Sigma }}_{\epsilon }|^{-(n-k)/2}\exp(-\operatorname {tr} ({\tfrac {1}{2}}\mathbf {S} ^{\mathsf {T}}\mathbf {S} {\boldsymbol {\Sigma }}_{\epsilon }^{-1}))|{\boldsymbol {\Sigma }}_{\epsilon }|^{-k/2}\exp(-{\tfrac {1}{2}}\operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})),
 \mathbf {S} =\mathbf {Y} -\mathbf {X} {\hat {\mathbf {B} }}
我们想开发一种先验的条件形式：
 \rho (\mathbf {B} ,{\boldsymbol {\Sigma }}_{\epsilon })=\rho ({\boldsymbol {\Sigma }}_{\epsilon })\rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon }),
其中 \rho ({\boldsymbol {\Sigma }}_{\epsilon })服从逆威沙特分布， \rho (\mathbf {B} |{\boldsymbol {\Sigma }}_{\epsilon })是矩阵 \mathbf {B} 中某种形式的正态分布。这是通过向量化变换实现的，它将似然从矩阵 \mathbf {B} ,{\hat {\mathbf {B} }}的函数变换为向量 {\boldsymbol {\beta }}=\operatorname {vec} (\mathbf {B} ),{\hat {\boldsymbol {\beta }}}=\operatorname {vec} ({\hat {\mathbf {B} }})的函数。
\operatorname {tr} ((\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}\operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})
令
 \operatorname {vec} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} (\mathbf {B} -{\hat {\mathbf {B} }}){\boldsymbol {\Sigma }}_{\epsilon }^{-1})=({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }}),
其中 \mathbf {A} \otimes \mathbf {B} 表示矩阵A、B的克罗内克积，其是外积的推广。
则
 {\begin{aligned}&\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )\operatorname {vec} (\mathbf {B} -{\hat {\mathbf {B} }})\\&=({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})^{\mathsf {T}}({\boldsymbol {\Sigma }}_{\epsilon }^{-1}\otimes \mathbf {X} ^{\mathsf {T}}\mathbf {X} )({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})\end{aligned}}
产生的似然在 ({\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}})中正态。
有了更易理解的似然，就可以找到自然的（条件）共轭先验了。