二次型 (统计)

在多元变量统计中，如果 ε {\displaystyle \varepsilon }  为  n {\displaystyle n} 维随机向量， Λ {\displaystyle \Lambda } 是一个 n {\displaystyle n} 维对称矩阵，则随机变量 ε T Λ ε {\displaystyle \varepsilon ^{T}\Lambda \varepsilon }  称为  ε {\displaystyle \varepsilon } 的二次型。 二次型的期望可表示为， E ⁡ [ ε T Λ ε ] = tr ⁡ [ Λ Σ ] + μ T Λ μ {\displaystyle \operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=\operatorname {tr} \left[\Lambda \Sigma \right]+\mu ^{T}\Lambda \mu } 其中， μ {\displaystyle \mu } 和 Σ {\displaystyle \Sigma } 分别表示 ε {\displaystyle \varepsilon } 的期望值 和方差-协方差矩阵， tr 为矩阵的迹。其结果仅仅取决于是否存在 μ {\displaystyle \mu } 和 Σ {\displaystyle \Sigma } ；并且， ε {\displaystyle \varepsilon }  的正态性不是必要条件。 关于随机变量的二次型参考书籍  由于二次型是标量，所以二次型的迹就是它本身 E ⁡ [ ε T Λ ε ] = tr ⁡ ( E ⁡ [ ε T Λ ε ] ) {\displaystyle \operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=\operatorname {tr} (\operatorname {E} [\varepsilon ^{T}\Lambda \varepsilon ])} 。 由于矩阵的迹是其对角线元素之和（即矩阵元素线性组合的结果），因此服从期望的线性，有 tr ⁡ ( E ⁡ [ ε T Λ ε ] ) = E ⁡ [ tr ⁡ ( ε T Λ ε ) ] . {\displaystyle \operatorname {tr} (\operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right])=\operatorname {E} [\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )].} 利用迹的可交换性， E ⁡ [ tr ⁡ ( ε T Λ ε ) ] = E ⁡ [ tr ⁡ ( Λ ε ε T ) ] . {\displaystyle \operatorname {E} [\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )]=\operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})].} 由期望的线性可得 E ⁡ [ tr ⁡ ( Λ ε ε T ) ] = tr ⁡ ( Λ E ⁡ ( ε ε T ) ) . {\displaystyle \operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})]=\operatorname {tr} (\Lambda \operatorname {E} (\varepsilon \varepsilon ^{T})).} 由方差的标准属性可知： tr ⁡ ( Λ ( Σ + μ μ T ) ) . {\displaystyle \operatorname {tr} (\Lambda (\Sigma +\mu \mu ^{T})).} 再次应用迹的可交换性可得： tr ⁡ ( Λ Σ ) + tr ⁡ ( Λ μ μ T ) = tr ⁡ ( Λ Σ ) + tr ⁡ ( μ T Λ μ ) = tr ⁡ ( Λ Σ ) + μ T Λ μ . {\displaystyle \operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\Lambda \mu \mu ^{T})=\operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\mu ^{T}\Lambda \mu )=\operatorname {tr} (\Lambda \Sigma )+\mu ^{T}\Lambda \mu .} 通常情况下，二次型的方差在很大程度上取决于 ε {\displaystyle \varepsilon } 的分布。 然而，如果 ε {\displaystyle \varepsilon }  服从多元正态分布，则二次型的方差的求解非常容易。假设  Λ {\displaystyle \Lambda } 是一个对称矩阵，则有， var ⁡ [ ε T Λ ε ] = 2 tr ⁡ [ Λ Σ Λ Σ ] + 4 μ T Λ Σ Λ μ {\displaystyle \operatorname {var} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=2\operatorname {tr} \left[\Lambda \Sigma \Lambda \Sigma \right]+4\mu ^{T}\Lambda \Sigma \Lambda \mu } . 事实上，这可以推广到同一向量  ε {\displaystyle \varepsilon }  的两个二次型的协方差计算中 (注意, Λ 1 {\displaystyle \Lambda _{1}} 和 Λ 2 {\displaystyle \Lambda _{2}} 必须都是对称矩阵): cov ⁡ [ ε T Λ 1 ε , ε T Λ 2 ε ] = 2 tr ⁡ [ Λ 1 Σ Λ 2 Σ ] + 4 μ T Λ 1 Σ Λ 2 μ {\displaystyle \operatorname {cov} \left[\varepsilon ^{T}\Lambda _{1}\varepsilon ,\varepsilon ^{T}\Lambda _{2}\varepsilon \right]=2\operatorname {tr} \left[\Lambda _{1}\Sigma \Lambda _{2}\Sigma \right]+4\mu ^{T}\Lambda _{1}\Sigma \Lambda _{2}\mu } 。 在某些参考资料中，在  Λ {\displaystyle \Lambda } 为非对称矩阵情况下，也错误地得到了上述方差/协方差的结果。 在一般情况下， Λ {\displaystyle \Lambda } 可以通过下面方式得到： ε T Λ T ε = ε T Λ ε {\displaystyle \varepsilon ^{T}\Lambda ^{T}\varepsilon =\varepsilon ^{T}\Lambda \varepsilon } 因此 ε T Λ ~ ε = ε T ( Λ + Λ T ) ε / 2 {\displaystyle \varepsilon ^{T}{\tilde {\Lambda }}\varepsilon =\varepsilon ^{T}\left(\Lambda +\Lambda ^{T}\right)\varepsilon /2} 但是，这是一个二次型的对称矩阵 Λ ~ = ( Λ + Λ T ) / 2 {\displaystyle {\tilde {\Lambda }}=\left(\Lambda +\Lambda ^{T}\right)/2} ，所以其均值和方差表达式相同，只是将 Λ {\displaystyle \Lambda } 替换为 Λ ~ {\displaystyle {\tilde {\Lambda }}} 。 设有观测值的集合 y {\displaystyle y} 和运算矩阵 H {\displaystyle H} ，则 y {\displaystyle y} 的残差平方和可表示为其二次型： RSS = y T ( I − H ) T ( I − H ) y . {\displaystyle {\textrm {RSS}}=y^{T}(I-H)^{T}(I-H)y.} 其中，矩阵  H {\displaystyle H}  为对称和等幂的，其误差为协方差矩阵为 σ 2 I {\displaystyle \sigma ^{2}I} 的高斯分布, RSS / σ 2 {\displaystyle {\textrm {RSS}}/\sigma ^{2}}  为自由度是  k {\displaystyle k} 的卡方分布，参数为  λ {\displaystyle \lambda } ，有 k = tr ⁡ [ ( I − H ) T ( I − H ) ] {\displaystyle k=\operatorname {tr} \left[(I-H)^{T}(I-H)\right]} λ = μ T ( I − H ) T ( I − H ) μ / 2 {\displaystyle \lambda =\mu ^{T}(I-H)^{T}(I-H)\mu /2} 如果 H y {\displaystyle Hy}  在估计  μ {\displaystyle \mu }  时没有偏差，则参数  λ {\displaystyle \lambda }  为零且  RSS / σ 2 {\displaystyle {\textrm {RSS}}/\sigma ^{2}} 服从中心卡方分布。 Douglas, Bates. Quadratic Forms of Random Variables (PDF). STAT 849 lectures. [August 21, 2011]. （原始内容存档 (PDF)于2016-03-04）.  Mathai, A. M. & Provost, Serge B. Quadratic Forms in Random Variables. CRC Press. 1992: 424. ISBN 978-0824786915.  1934-, Rencher, Alvin C.,. Linear models in statistics. Schaalje, G. Bruce., Wiley InterScience (Online service) 2nd ed. Hoboken, N.J.: Wiley-Interscience. 2008. ISBN 9780471754985. OCLC 212120778.  引文格式1维护：冗余文本 (link) 二次型 协方差矩阵