system: [SYSTEM]

user: 3. 贝叶斯分析 3.1. 先验分布 为了应用贝叶斯方法来估计模型(1)中的未知参数，需要给出未知参数的先验分布信息。为了简便，假设 β ， γ 和 λ 相互独立且具有正态先验分布，分别为 β ~ N ( β 0 ， ∑ β ) ， γ ~ N ( γ 0 ， ∑ γ ) ， λ ~ N ( λ 0 ， τ 2 I K ) ， τ 2 ~ I G ( a τ ， b τ ) ，其中“IG”表示逆gamma分布，并且假设超参数 β 0 ， γ 0 ， λ 0 ， ∑ β ， ∑ γ 和 a τ ， b τ 是已知的。 3.2. Gibbs抽样和条件分布 基于式子(3)，按照以下过程用Gibbs抽样从后验分布 p ( θ | Y ， X ， Z ， H ， U ) 中进行抽样，其中 θ = ( β T ， γ T ， λ T ) T 。 步骤 1. 令参数的初值 θ ( 0 ) = ( β ( 0 ) T ， γ ( 0 ) T ， λ ( 0 ) T ) T 。 步骤 2. 基于 θ ( l ) = ( β ( l ) T ， γ ( l ) T ， λ ( l ) T ) T ，计算 ∑ ( l ) = d i a g { σ 1 2 ( l ) ， ⋯ ， σ n 2 ( l ) } 。 步骤 3. 基于 θ ( l ) = ( β ( l ) T ， γ ( l ) T ， λ ( l ) T ) T 按照以下抽取 θ ( l + 1 ) = ( β ( l + 1 ) T ， γ ( l + 1 ) T ， λ ( l + 1 ) T ) T ； · 抽样 τ 2 ( l + 1 ) ： p ( τ 2 | λ ) ∝ ( τ 2 ) − K 2 − a τ − 1 exp { − 1 2 ( λ − λ 0 ) T ( λ − λ 0 ) − b τ τ 2 } (4) · 抽样 λ ( l + 1 ) ： p ( λ | Y ， X ， Z ， H ， U ， β ， γ ) ∝ exp { − 1 2 ( λ − λ * ) T Σ λ ∗ − 1 ( λ − λ * ) } ， (5) 其中 λ * = Σ λ ∗ ( Ω T ∑ − 1 ( Y − X β ) + τ − 2 I K λ 0 ) ， Σ λ ∗ = ( τ − 2 I K +   Ω T Σ − 1 Ω ) − 1 ， Ω = ( B 1 T ， ⋯ ， B n T ) T 。 · 抽样 β ( l + 1 ) ： p ( β | Y ， X ， Z ， H ， U ， γ ， λ ) ∝ exp { − 1 2 ( β − b * ) T B * − 1 ( β − b * ) } ，(6) 其中 b * = B * ( X T ∑ − 1 ( Y − Ω λ ) + ∑ β − 1 β 0 ) ， B * = ( ∑ β − 1 + X T Σ − 1 X ) − 1 。 · 抽样 γ ( l + 1 ) ： p ( γ | Y ， X ， Z ， H ， U ， β ， λ ) ∝ exp { − 1 2 ∑ i = 1 n h i T γ − 1 2 ∑ i = 1 n ( y i − x i T β − B i T λ ) 2 exp ( h i T γ ) − 1 2 ( γ − γ 0 ) T ∑ γ − 1 ( γ − γ 0 ) } (7) 步骤4。重复步骤2和3。 这样就通过以上算法产生了样本序列 ( β ( l ) ， γ ( l ) ， λ ( l ) ， τ 2 ( l ) ) ， l = 1 ， 2 ， ⋯ 。从(4)~(7)式中很容易发现，条件分布 p ( τ 2 | λ ) ， p ( β | Y ， X ， Z ， H ， U ， γ ， λ ) ， p ( λ | Y ， X ， Z ， H ， U ， β ， γ ) 是熟悉的正态分布和逆gamma分布。从这两个分布抽取随机数是比较容易的。但是条件分布 p ( γ | Y ， X ， Z ， H ， U ， β ， λ ) 是一不规则且相当复杂的分布，如何从这个分布中抽取随机数有点困难。在这里主要应用MH算法抽取随机数。选择正态分布 N ( γ ( l ) ， σ γ 2 Ω γ − 1 ) 作为建议分布，其中通过选择 σ γ 2 ，来使得接受概率在0.25与0.45之间，且取 Ω γ = ∑ γ − 1 + 1 2 ∑ i = 1 n ( y i − x i T β − B i T λ ) 2 exp ( h i T γ ) h i h i T 。 3.3. 贝叶斯估计 利用以上提出的计算过程来产生观测值来获得参数 β ， γ 和 λ 的贝叶斯估计。令 { θ ( j ) = ( β ( j ) ， γ ( j ) ， λ ( j ) ) : j = 1 ， 2 ， ⋯ ， J } 是通过上述混合算法从联合条件分布 p ( β ， γ ， λ | Y ， X ， Z ， H ， U ) 中产生的观测值，那么 β ， γ 和 λ 的贝叶斯估计为： β ^ = 1 J ∑ j = 1 J β ( j ) ， γ ^ = 1 J ∑ j = 1 J γ ( j ) ， λ ^ = 1 J ∑ j = 1 J λ ( j ) 。 根据文献 [ 11 ] 有，当J趋于无穷时， θ ^ = ( β ^ ， γ ^ ， λ ^ ) 是对应后验均值向量的相合估计。类似地，后验协方差矩阵 V a r ( θ | Y ， X ， Z ， H ， U ) 的相合估计可以通过观测 { θ ( j ) : j = 1 ， 2 ， ⋯ ， J } 的样本协方差矩阵来获得，即 V a r ( θ | Y ， X ， Z ， H ， U ) = ( J − 1 ) − 1 ∑ j = 1 J ( θ ( j ) − θ ^ ) ( θ ( j ) − θ ^ ) T 。 这样，后验标准误就可以通过该矩阵的对角元素来获得。 3.4. 贝叶斯诊断 在贝叶斯统计诊断分析中已存在许多诊断统计量用来评价个体观测对参数后验分布的影响，在这主要基于K-L距离研究贝叶斯数据删除影响的统计诊断方法。对任意的 i = 1 ， ⋯ ， n ，记 { y i ， x i ， z i ， h i ， u i } 是第i个个体观测数据点， D = { Y ， X ， Z ， H ， U } 为完全数据集， D − i 为完全数据集D删除第i个个体观测数据点得到的数据集， L ( θ | D ) 与 L ( θ | D − i ) 分别表示基于数据D与 D − i 的似然函数，则 θ 于数据D与 D − i 的后验分布分别为 p ( θ | D ) ∝ L ( θ | D ) p ( θ ) ， p ( θ | D − i ) ∝ L ( θ | D − i ) p ( θ ) 。根据Cho等 [ 7 ] 的讨论，定义K-L距离为： K ( P ， P − i ) = ∫ p ( θ | D ) log { p ( θ | D ) p ( θ | D − i ) } d θ ， (8) 其中P与 P − i 分别表示 θ 基于数据D与 D − i 的后验分布，注意到K-L距离 K ( P ， P − i ) 是完全数据集D删除第i个数据点前后对参数 θ 后验分布影响的一种很好的度量。经过简单的计算(8)式变为： K ( P ， P − i ) = log E θ [ L ( θ | D − i ) L ( θ | D ) | D ] + E θ [ log L ( θ | D ) L ( θ | D − i ) | D ] ， (9) 其中 E θ [ . | D ] 表示 θ 基于数据D的后验期望。由Gibbs抽样算法抽取的随机观测序 { θ ( j ) : j = 1 ， 2 ， ⋯ ， J } ，可以得到K-L距离 K ( P ， P − i ) 的估计为： K ( P ， P − i ) = log [ 1 J ∑ j = 1 J L ( θ ( j ) | D − i ) L ( θ ( j ) | D ) ] + 1 J ∑ j = 1 J log [ L ( θ ( j ) | D ) L ( θ ( j ) | D − i ) ] 。 (10) 对任意的 i = 1 ， ⋯ ， n ，当 K ( P ， P − i ) 很大时，可以诊断第i个个体观测数据点为异常点。