system: [SYSTEM]

user: 3. 有序数据模型 有序数据的分位数回归模型能够用连续的潜变量 t i 来表示 t i = x ′ i β p + ϵ i ，   i = 1 ， ⋯ ， n (8) 其中， x i 是 j 维的协向量， β p 是 j 维的未知参数向量，误差项 ϵ i ∼ A L D ( 0 ， 1 ， p ) 。 n 表示观测值的个数。潜变量与我们观测到的响应变量 y i 存在一定的关系，且响应变量有 K 个指标。我们用割点向量 γ p 来反应 t i 和 y i 的关系： γ p ， k − 1 < t i < γ p ， k ⇒ y i = k ，     i = 1 ， ⋯ ， n ;   k = 1 ， ⋯ ， K 其中 γ p ， 0 = − ∞ ， γ p ， K = ∞ 。一般而言 γ p ， 1 常被设定为0 [ 4 ] 。对于给定的数据 y = ( y 1 ， ⋯ ， y n ) ′ ，模型的似然函数能够用包含有未知参数 ( β p ， γ p ， σ ) 的函数表示 f ( β p ， γ p ， σ ; y ) = ∏ i = 1 n ∏ k = 1 K P ( y i = k | β p ， γ p ， σ ) I ( y i = k ) = ∏ i = 1 n ∏ k = 1 K [ F A L ( γ p ， j − x ′ i β p σ ) − F A L ( γ p ， j − 1 − x ′ i β p σ ) ] I ( y i = k ) 其中 F A L ( ⋅ ) 表示非对称拉普拉斯分布的分布函数。 I ( y i = k ) 为示性函数。 为了在分位数回归中得到吉布斯算法，关于非对称拉普拉斯分布，Kozumi和Kobayashi在2011年 [ 5 ] 给出了一个基于指数分布和正态分布的混合表达式。若 ϵ i ∼ A L D ( 0 ， 1 ， p ) ，则有 ϵ i = θ ω i + τ ω i u i ，     i = 1 ， ⋯ ， n (9) 其中 ω i 和 u i 相互独立， u i ∼ N ( 0 ， 1 ) ， ω i ∼ E ( 1 ) ， E 表示指数分布。式(9)中的常数项 ( θ ， τ ) 为 θ = 1 − 2 p p ( 1 − p ) ，     τ = 2 p ( 1 − p ) . 非对称拉普拉斯分布的混合表达式使得在研究过程中，可以直接利用正态分布的性质。而这将对有序数据分位数回归模型的分析起到重大的作用。 贝叶斯方法来估计分位数回归模型运用到了潜变量表达式 (8)与非对称拉普拉斯分布的混合表达式(9)， p 分位回归模型能够表示为 t i = x ′ i β p + θ ω i + τ ω i u i ，     i = 1 ， ⋯ ， n (10) 上式中可以看出潜变量的条件分布服从正态分布，即 t i | β p ， ω i ∼ N ( x ′ i β p + θ ω i ， τ 2 ω i ) 。这使得我们在估计 过程当中，能够利用正态分布的性质来进行研究。 考虑结果拥有三个指标的情况，回归模型能够用下式表示 { t i = x ′ i β p + σ p ϵ i = x ′ i β p + θ ω i + τ ω i u i ，     i = 1 ， ⋯ ， n γ k − 1 < t i ≤ γ k y i = k ，                                                               i = 1 ， ⋯ ， n (11) 其中 σ p 是 p 分位水平下的尺度参数，割点向量 ( γ 0 ， γ 1 ， γ 2 ， γ 3 ) 满足条件 γ 0 = − ∞ ， γ 3 = ∞ ，且 γ 1 ， γ 2 为某固定常值。 对于回归模型(11)，潜变量 t i 的条件期望包含了尺度参数 σ p ，这导致模型不能直接利用吉布斯抽样方法进行估计，但对模型进行简单的变形之后就能消除尺度参数的影响从而能利用吉布斯抽样方法来进行估计。模型(11) 能表示为 t i = x ′ i β p + θ ν i + τ σ p ν i u i (12) 其中 ν i = σ p ω i ，因此潜变量的条件分布服从正态分布，即 t i | β p ， σ p ， ν i ∼ N ( x ′ i β p + θ ν i ， τ 2 σ p ν i ) 。接下来， 就是要设定参数的先验分布来获得参数的后验分布。设定参数的先验分布为： { β p ∼ N ( β p 0 ， B p 0 ) σ p ∼ I G ( n 0 / 2 ， d 0 / 2 ) ν i ∼ E ( σ p ) 其中 I G 和 E 分别表示逆伽玛分布与指数分布。通过贝叶斯定理，参数 ( t ， β p ， ν ， σ p ) 的联合后验密度为： π ( t ， β p ， ν ， σ p | y ) ∝ f ( y | t ， β p ， ν ， σ p ) π ( t | β p ， ν ， σ p ) π ( ν | σ p ) π ( β p ) π ( σ p ) ∝ { ∏ i = 1 n f ( y i | t i ， σ p ) } π ( t | β p ， ν ， σ p ) π ( ν | σ p ) π ( β p ) π ( σ p ) . 当切割点与潜变量已知的情况下，观测值 y i 不依赖于 ( β p ， ν ) ，根据式(12)，潜变量 t i 的条件密度 π ( t | β p ， ν ， σ p ) 满足 π ( t | β p ， ν ， σ p ) = ∏ i = 1 n N ( x ′ i β p + θ ν i ， τ 2 σ p ν i ) 。待估参数的后验密度为 π ( t ， β p ， ν ， σ p | y ) ∝ { ∏ i = 1 n ∏ k = 1 3     I ( γ k − 1 < t i ≤ γ k ) N ( t i | x ′ i β p + θ ν i ， τ 2 σ p ν i ) E ( ν i | σ p ) }     × N ( β p 0 ， B p 0 ) I G ( n 0 / 2 ， d 0 / 2 ) ， 据此，我们就能根据后验密度来导出我们感兴趣的参数的条件后验密度。 β p 的条件后验密度 π ( β p | t ， σ p ， ν ) 正比于 π ( β p ) × f ( t | β p ， σ p ， ν ) π ( β p | t ， σ p ， ν ) ∝ exp [ − 1 2 { ∑ i = 1 n ( t i − x ′ i β p − θ ν i τ σ p ν i ) 2 + ( β p − β p 0 ) ′ B p 0 − 1 ( β p − β p 0 ) } ] = exp [ − 1 2 { β ′ p ( ∑ i = 1 n x i x ′ i τ 2 σ p ν i ) β p − β ′ p ( ∑ i = 1 n x i ( t i − θ ν i ) τ 2 σ p ν i ) − ( ∑ i = 1 n x ′ i ( t i − θ ν i ) τ 2 σ p ν i )     + ( ∑ i = 1 n ( t i − θ ν i ) 2 τ 2 σ p ν i ) + ( β p − β p 0 ) ′ B p 0 − 1 ( β p − β p 0 ) } ] ∝ exp [ − 1 2 { β ′ p ( ∑ i = 1 n x i x ′ i τ 2 σ p ν i + B p 0 − 1 ) β p − β ′ p ( ∑ i = 1 n x i ( t i − θ ν i ) τ 2 σ p ν i + B p 0 − 1 )     − ( ∑ i = 1 n x ′ i ( t i − θ ν i ) τ 2 σ p ν i + β ′ p B p 0 − 1 ) β p } ] 设 B ˜ p − 1 = ( ∑ i = 1 n x i x ′ i τ 2 σ p ν i + B p 0 − 1 ) ， β ˜ p = B ˜ p ( ∑ i = 1 n x i ( t i − θ ν i ) τ 2 σ p ν i + B p 0 − 1 β p 0 ) 则有 π ( β p | t ， σ p ， ν ) ∝ exp [ − 1 2 { β ′ p B ˜ p − 1 β p − β ′ p B ˜ p − 1 β ˜ p − β ′ ˜ p B ˜ p − 1 β p } ] 经过简单的变形有 π ( β p | t ， σ p ， ν ) ∝ exp [ − 1 2 { β ′ p B ˜ p − 1 β p − β ′ p B ˜ p − 1 β ˜ p − β ˜ ′ p B ˜ p − 1 β p + β ˜ ′ p B ˜ p − 1 β ˜ p − β ˜ ′ p B ˜ p − 1 β ˜ p } ] 因此 π ( β p | t ， σ p ， ν ) ∝ exp [ − 1 2 { ( β p − β ˜ p ) ′ B ˜ p − 1 ( β p − β ˜ p ) } ] 结果表明， β p 的条件后验分布为正态分布，即 β p | t ， σ p ， ν ∼ N ( β ˜ p ， B ˜ p ) 。 尺度参数 σ p 的条件后验密度 π ( σ p | t ， β p ， ν ) 正比于 f ( t | β p ， ν ， σ p ) π ( ν | σ p ) π ( σ p ) π ( σ p | t ， β p ， ν ) ∝ ∏ i = 1 n { σ p − 1 / 2 exp [ − 1 2 ( t i − x ′ i β p − θ ν i τ σ p ν i ) 2 ] × σ p − 1 exp ( − ν i σ p ) } exp [ − d 0 2 σ p ] σ p − ( n 0 2 + 1 ) ∝ σ p − ( n 0 2 + + 3 n 2 + 1 ) exp [ − 1 σ p { ∑ i = 1 n ( t i − x ′ i β p − θ ν i ) 2 2 τ 2 ν i + d 0 2 + ∑ i = 1 n     ν i } ] 其中 n ˜ = n 0 + 3 n ， d ˜ = ∑ i = 1 n ( t i − x ′ i β − θ ν i ) 2 / τ 2 ν i + d 0 + 2 ∑ i = 1 n   ν i 。 σ p 的条件后验分布为逆伽玛分布即 σ p | t ， β p ， ν ∼ I G ( n ˜ / 2 ， d ˜ / 2 ) 。 ν 的条件后验密度 π ( ν | t ， β p ， σ p ) 正比于 f ( t | β p ， ν ， σ p ) π ( ν ) 且 ν i 有如下形式 π ( ν i | w ， β p ， σ p ) ∝ ν i − 1 / 2 exp [ − 1 2 ( w i − x ′ i β p − θ ν i τ σ p ν i ) 2 − ν i σ p ] ∝ ν i − 1 / 2 exp [ − 1 2 σ p ( ( w i − x ′ i β p ) 2 + θ 2 ν i 2 − 2 θ ν i ( t i − x ′ i β p ) τ 2 ν i + 2 ν i ) ] = ν i − 1 / 2 exp [ − 1 2 { ( t i − x ′ i β p ) 2 τ 2 σ p ν i − 1 + ( θ 2 τ 2 σ p + 2 σ p ) ν i − 2 θ ( t i − x ′ i β p ) τ 2 σ p } ] ∝ ν i − 1 / 2 exp [ − 1 2 { ( t i − x ′ i β p ) 2 τ 2 σ p ν i − 1 + ( θ 2 τ 2 σ p + 2 σ p ) ν i } ] 设 λ ˜ i = ( t i − x ′ i β p ) 2 τ 2 σ p ， η ˜ = ( θ 2 τ 2 σ p + 2 σ p ) 则有 π ( ν i | t ， β p ， σ p ) ∝ ν i − 1 / 2 exp [ − 1 2 { λ ˜ i ν i − 1 + η ˜ ν i } ] ν i 的条件后验分布为广义逆伽玛分布，即 ν i | t ， β p ， σ p ∼ G I G ( 0.5 ， λ ˜ i ， η ˜ ) 。