逆威沙特分佈

逆威沙特分布，也叫反威沙特分布作是统计学中出现的一类概率分布函数，定义在实值的正定矩阵上。在贝叶斯统计中，逆威沙特分布會用作多变量正态分布协方差矩阵的共轭先验分布。 如果一个正定矩阵 B {\displaystyle {\mathbf {B} }} 的逆矩阵 B − 1 {\displaystyle \mathbf {B} ^{-1}} 遵从威沙特分布 W ( Ψ − 1 , m ) {\displaystyle W({\mathbf {\Psi } }^{-1},m)} 的话，那么就说矩阵 B {\displaystyle {\mathbf {B} }} 遵从逆威沙特分布： B ∼ W − 1 ( Ψ , m ) {\displaystyle \mathbf {B} \sim W^{-1}({\mathbf {\Psi } },m)} 逆威沙特分布的概率密度函数是： | Ψ | m / 2 | B | − ( m + p + 1 ) / 2 e − t r a c e ( Ψ B − 1 ) / 2 2 m p / 2 Γ p ( m / 2 ) , {\displaystyle {\frac {\left|{\mathbf {\Psi } }\right|^{m/2}\left|\mathbf {B} \right|^{-(m+p+1)/2}e^{-\mathrm {trace} ({\mathbf {\Psi } }{\mathbf {B} }^{-1})/2}}{2^{mp/2}\Gamma _{p}(m/2)}},} 其中 B {\displaystyle {\mathbf {B} }} 和 Ψ {\displaystyle {\mathbf {\Psi } }} 都是 p × p {\displaystyle p\times p} 的正定矩阵，而Γp(·) 则是多变量伽马分布（英语：Multivariate gamma function）。函数 t r a c e : M → t r a c e ( M ) {\displaystyle \mathrm {trace} \;:\quad \mathbf {M} \quad \rightarrow \quad \mathrm {trace} (\mathbf {M} )} 指的是迹函数。 设矩阵 A ∼ W ( Σ , m ) {\displaystyle {\mathbf {A} }\sim W({\mathbf {\Sigma } },m)} 并且 Σ {\displaystyle {\mathbf {\Sigma } }} 是 p × p {\displaystyle p\times p} 的矩阵，那么 B = A − 1 {\displaystyle {\mathbf {B} }={\mathbf {A} }^{-1}} 遵从逆威沙特分布： B ∼ W − 1 ( Σ − 1 , m ) {\displaystyle {\mathbf {B} }\sim W^{-1}({\mathbf {\Sigma } }^{-1},m)} 。它的概率密度函数是： p ( B | Ψ , m ) = | Ψ | m / 2 | B | − ( m + p + 1 ) / 2 exp ⁡ ( − t r ( Ψ B − 1 ) / 2 ) 2 m p / 2 Γ p ( m / 2 ) {\displaystyle p(\mathbf {B} |\mathbf {\Psi } ,m)={\frac {\left|{\mathbf {\Psi } }\right|^{m/2}\left|\mathbf {B} \right|^{-(m+p+1)/2}\exp \left({-\mathrm {tr} ({\mathbf {\Psi } }{\mathbf {B} }^{-1})/2}\right)}{2^{mp/2}\Gamma _{p}(m/2)}}} 其中 Ψ = Σ − 1 {\displaystyle \mathbf {\Psi } =\mathbf {\Sigma } ^{-1}} ，而 Γ p ( ⋅ ) {\displaystyle \Gamma _{p}(\cdot )} 是多变量伽马分布。 设矩阵 A ∼ W − 1 ( Ψ , m ) {\displaystyle {\mathbf {A} }\sim W^{-1}({\mathbf {\Psi } },m)} 遵从逆威沙特分布。并且假设矩阵 A {\displaystyle {\mathbf {A} }} 和 Ψ {\displaystyle {\mathbf {\Psi } }} 都有相适合的分块矩阵表示方式： A = [ A 11 A 12 A 21 A 22 ] , Ψ = [ Ψ 11 Ψ 12 Ψ 21 Ψ 22 ] {\displaystyle {\mathbf {A} }={\begin{bmatrix}\mathbf {A} _{11}&\mathbf {A} _{12}\\\mathbf {A} _{21}&\mathbf {A} _{22}\end{bmatrix}},\;{\mathbf {\Psi } }={\begin{bmatrix}\mathbf {\Psi } _{11}&\mathbf {\Psi } _{12}\\\mathbf {\Psi } _{21}&\mathbf {\Psi } _{22}\end{bmatrix}}} 其中子矩阵 A i j {\displaystyle {\mathbf {A} _{ij}}} 和 Ψ i j {\displaystyle {\mathbf {\Psi } _{ij}}} 是 p i × p j {\displaystyle p_{i}\times p_{j}} 的矩阵，那么会有： 甲） A 11 {\displaystyle {\mathbf {A} _{11}}} 和 A 11 − 1 A 12 {\displaystyle {\mathbf {A} }_{11}^{-1}{\mathbf {A} }_{12}} 与 A 22 ⋅ 1 {\displaystyle {\mathbf {A} }_{22\cdot 1}} 相互独立，其中 A 22 ⋅ 1 = A 22 − A 21 A 11 − 1 A 12 {\displaystyle {\mathbf {A} _{22\cdot 1}}={\mathbf {A} }_{22}-{\mathbf {A} }_{21}{\mathbf {A} }_{11}^{-1}{\mathbf {A} }_{12}} 是子矩阵 A 11 {\displaystyle {\mathbf {A} _{11}}} 在 A {\displaystyle {\mathbf {A} }} 中的舒尔补。 乙） A 11 ∼ W − 1 ( Ψ 11 , m − p 2 ) {\displaystyle {\mathbf {A} _{11}}\sim W^{-1}({\mathbf {\Psi } _{11}},m-p_{2})} ; 丙） A 11 − 1 A 12 | A 22 ⋅ 1 ∼ M N p 1 × p 2 ( Ψ 11 − 1 Ψ 12 , A 22 ⋅ 1 ⊗ Ψ 11 − 1 ) {\displaystyle {\mathbf {A} }_{11}^{-1}{\mathbf {A} }_{12}|{\mathbf {A} }_{22\cdot 1}\sim MN_{p_{1}\times p_{2}}({\mathbf {\Psi } }_{11}^{-1}{\mathbf {\Psi } }_{12},{\mathbf {A} }_{22\cdot 1}\otimes {\mathbf {\Psi } }_{11}^{-1})} ，其中 M N p × q ( ⋅ , ⋅ ) {\displaystyle MN_{p\times q}(\cdot ,\cdot )} 是矩阵正态分布。 丁） A 22 ⋅ 1 ∼ W − 1 ( Ψ 22 ⋅ 1 , m ) {\displaystyle {\mathbf {A} }_{22\cdot 1}\sim W^{-1}({\mathbf {\Psi } }_{22\cdot 1},m)} 假设要求先验分布 p ( Σ ) {\displaystyle {p(\mathbf {\Sigma } )}} 为逆威沙特分布 W − 1 ( Ψ , m ) {\displaystyle W^{-1}({\mathbf {\Psi } },m)} 的协方差矩阵 Σ {\displaystyle {\mathbf {\Sigma } }} 。如果观测值 X = [ x 1 , … , x n ] {\displaystyle \mathbf {X} =[\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}]} 是从互相独立的 p-变量正态分布 N ( 0 , Σ ) {\displaystyle N(\mathbf {0} ,{\mathbf {\Sigma } })} 的随机变量得到的，那么条件分布 p ( Σ | X ) {\displaystyle {p(\mathbf {\Sigma } |\mathbf {X} )}} 遵从的是逆威沙特分布： W − 1 ( A + Ψ , n + m ) {\displaystyle W^{-1}({\mathbf {A} }+{\mathbf {\Psi } },n+m)} 。其中 A = X X T {\displaystyle {\mathbf {A} }=\mathbf {X} \mathbf {X} ^{T}} 是样本协方差矩阵的 n {\displaystyle n} 倍。 因此，逆威沙特矩阵是多变量正态分布的共轭先验分布。 期望值： E ( B ) = Ψ m − p − 1 . {\displaystyle E(\mathbf {B} )={\frac {\mathbf {\Psi } }{m-p-1}}.} 矩阵 B {\displaystyle \mathbf {B} } 的每一个系数的方差： var ( b i j ) = ( m − p + 1 ) ψ i j 2 + ( m − p − 1 ) ψ i i ψ j j ( m − p ) ( m − p − 1 ) 2 ( m − p − 3 ) {\displaystyle {\mbox{var}}(b_{ij})={\frac {(m-p+1)\psi _{ij}^{2}+(m-p-1)\psi _{ii}\psi _{jj}}{(m-p)(m-p-1)^{2}(m-p-3)}}} 对角系数的方差是在上式中令 i = j {\displaystyle i=j} 得到，化简后变成： var ( b i i ) = 2 ψ i i 2 ( m − p − 1 ) 2 ( m − p − 3 ) . {\displaystyle {\mbox{var}}(b_{ii})={\frac {2\psi _{ii}^{2}}{(m-p-1)^{2}(m-p-3)}}.} 当变量数目减到一个的时候，逆威沙特分布会变成特例：逆伽马分布（英语：Inverse-gamma distribution）。也就是说，当 p = 1 {\displaystyle p=1} 、 α = m / 2 {\displaystyle \alpha =m/2} 、 β = Ψ / 2 {\displaystyle \beta =\mathbf {\Psi } /2} 以及 x = B {\displaystyle x=\mathbf {B} } 的时候，逆威沙特分布的概率密度函数是： p ( x | α , β ) = β α x − α − 1 exp ⁡ ( − β / x ) Γ 1 ( α ) . {\displaystyle p(x|\alpha ,\beta )={\frac {\beta ^{\alpha }\,x^{-\alpha -1}\exp(-\beta /x)}{\Gamma _{1}(\alpha )}}.} 这正是逆伽马分布。其中 Γ 1 ( ⋅ ) {\displaystyle \Gamma _{1}(\cdot )} 是通常的伽马函数。 而逆威沙特分布也有推广，其中一个是正态逆威沙特分布（英语：Normal-inverse-Wishart distribution）。 威沙特分布 矩阵正态分布 A. O'Hagan, and J. J. Forster. Kendall's Advanced Theory of Statistics: Bayesian Inference 2B 2. Arnold. 2004. ISBN 0-340-80752-0.  Kanti V. Mardia, J. T. Kent and J. M. Bibby. Multivariate Analysis. Academic Press. 1979. ISBN 0-12-471250-9.