修士論文 要旨

線形回帰における馬蹄型事前分布を用いた
ベイズ予測のリスクの不偏推定量

数理情報学専攻 48216229
指導教員

福田 健一郎

駒木 文保 教授

α の最小二乗推定量を α̂ とすると，リッジ回帰や主1 はじめに線形回帰モデルは，目的変数 y ∈ R , 説明変数 xi ∈nRn (i = 1, . . . , p) を並べた行列である計画行列 X ∈Rn×p , 未知パラメータ β ∈ Rp , および誤差項 ε ∈ Rnを用いて次式で表される：

y = Xβ + ε, ε ∼ N(0, σ 2 In ).

パラメータ β をスパースな量と仮定し推定する手法は多く考えられており，ベイズ統計では縮小事前分布を用いる方法がある．その中でも，馬蹄型事前分布 [2] は優れた推定が可能な事前分布として知られている [2, 4]．
また，予測のリスクの推定量として，[5] は未知である成分回帰といった大域的な縮小推定手法の SURE は，

SURE =i=1 SUREi として次式で与えられる：$nSUREi =α̂i2 d2i
τ 2 λ2i d2i2+2σ.
22(1 + τ 2 λi di )2(1 + τ 2 λ2i d2i )

大域的な縮小推定手法において λi は定数であり，単一のパラメータ τ によって各 SUREi の値を適切に小さくすることは難しい．そこで，τ だけでなく局所的な縮小パラメータ λi を持つ馬蹄型事前分布の適用を考える．

定理 2 (馬蹄型事前分布を用いたときの SURE [1]).

SURE =i=1 SUREi として，$n%&2真のパラメータを含まない計算可能な量を導き，これはSUREi = 2σ 2 − σ 4 d−2iSURE) として知られている．

また，m$ (α̂i )/m(α̂i ) = −α̂i d2i E[Zi ]/σ 2 , およびの不偏推定量へと拡張するとともに，線形回帰においり立つ．ただし，Zi は compound confluent hyper-

リスクの不偏推定量 (Stein’s Unbiased Risk Estimate,

本論文では，SURE を一般のノルムにおけるリスクて馬蹄型事前分布を用いたベイズ予測について，計画行列が別の計画行列に変わるという問題設定におけるSURE を導出し，それを用いたリスクの評価について提案する．

2 既存研究[5] は，未知パラメータを含まない，観測値 y に基づいて計算可能なリスクの不偏推定量を導いた．

定理 1 (Stein’s unbiased risk estimate (SURE)). y ∼N(µ, σ In ) を n 次元の観測値，弱微分可能な関数 µ̂ :2Rn → Rn を未知パラメータ µ の推定量とする．このと!
"き，リスク E $µ − µ̂$2 の不偏推定量 (SURE) は，
SURE = −nσ 2 + $y − µ̂$2 + 2σ 2n#∂ µ̂i.
∂yii=1

馬蹄型事前分布を用いたときの SURE についての研究 [1] について概説する．計画行列 X について X =U DW " と特異値分解し，Z = U D, α = W " β とおくと，もとの線形回帰モデルは次式で表される：
2y = Zα + ε, ε ∼ N(0, σ In ).

m$ (α̂i )m(α̂i )+ 2σ 4 d−2im$$ (α̂i ).
m(α̂i )

m$$ (α̂i )/m(α̂i ) = −d2i E[Zi ]/σ 2 + α̂i2 d4i E[Zi2 ]/σ 4 が成geometric 分布 [3] CCH(p = 1, q = 1/2, r = 1, s =α̂i2 d2i /2σ 2 , ν = 1, θ = 1/τ 2 d2i ) に従う確率変数である．

3 提案手法計画行列が変化する線形回帰における SURE を導く．

定理 3 (SURE の一般のノルムへの拡張). 正定値対称行列 B に対して，ノルム $µ̂−µ$B := (µ̂−µ)" B(µ̂−µ)とする．y ∼ N(µ, σ 2 In ) を n 次元の観測値，弱微分可能な関数 µ̂ : Rn → Rn を未知パラメータ µ の推定量とする．また，正定値対称行列 B は直交行列 P を用いて， B = P " DP と対角化されるとする．このとき，リスク E[$µ̂ − µ$B ] の不偏推定量は，SURE = −n#i=1+ 2σ211σ 2 di + $D 2 P y − D 2 P µ̂$2n#i=11di∂(D 2 P µ̂)i1∂(D 2 P y)i.

定理 4 (計画行列が変化する線形回帰モデルへの適用).

y = Z α̂ ∼ N(Zα, σ 2 In ) を n 次元の観測値，未知パラメータ α の推定量を α̃ として ỹ = Z α̃ と表記する．

線形回帰における馬蹄型事前分布を用いたベイズ予測のリスクの不偏推定量 (福田 健一郎)

また，行列 (Z + )" Z̃ " Z̃Z + は直交行列 P を用いて，(Z + )" Z̃ " Z̃Z + = P " D$ P と対角化されるとする．このとき，リスク E[$Z̃ α̃ − Z̃α$2 ] の不偏推定量は，SURE = −n#i=1+ 2σ 211σ 2 d$i + $D$ 2 P y − D$ 2 P ỹ$2n#d$ii=1$ 12∂(D P ỹ)i(a) 真の値.

1∂(D$ 2 P y)i

定理 5 (馬蹄型事前分布の適用). 馬蹄型事前分布を用いたとき，リスク E[$Z̃ α̃ − Z̃α$2 ] の不偏推定量は，SURE =n#σ 2 d$ii=14+ σ (∇α̂ log m(α̂))" D−2 Z̃ " Z̃D−2 ∇α̂ log m(α̂)+ 2σ4n#∂2j=1∂ α̂j2log m(α̂j )n#(D$ 12P U D −1 )2i,j .

i=1

また，m$ (α̂i )/m(α̂i ) = −α̂i d2i E[Zi ]/σ 2 , およびm$$ (α̂i )/m(α̂i ) = −d2i E[Zi ]/σ 2 + α̂i2 d4i E[Zi2 ]/σ 4 が成り立つ．ただし，Zi は CCH(p = 1, q = 1/2, r = 1, s =α̂i2 d2i /2σ 2 , ν = 1, θ = 1/τ 2 d2i ) に従う確率変数である．
以上より，将来の計画行列を含んだリスクの評価が可能となり，またこの SURE を小さくするパラメータを用いることで優れた予測が可能になると考えられる．

4 数値実験

(b) 既存手法

図 1. (a) は真のパラメータ α の値，(b), (c) は各手法による α の推定値（横軸：要素番号，縦軸：値）．

トランスポーター遺伝子の発現量を目的変数として予測を行った．表 2 の結果から，いずれの遺伝子についても提案手法による予測が優れていることが確認された．
表 2. 既存手法，提案手法による予測の平均二乗誤差（平均二乗誤差の標準偏差）の結果の比較の一部．
目的変数

A1

計画行列が変化するような人工データについて，既存A2るようなパラメータ τ を用いてパラメータ α の推定，A3

手法および提案手法による SURE をそれぞれ最小化すおよび予測の二乗誤差を計算した．表 1 の結果から，提案手法による予測の性能が優れていることが確認できる．また，図 1 から，提案手法による推定値が真のシグナルをうまく捉えられている様子が読み取れる．

表 1. 既存手法，提案手法それぞれの SURE および予測の二乗誤差 (二乗誤差の標準偏差) の結果の比較.
既存手法

提案手法

SURE

二乗誤差

SURE

二乗誤差

163.3511203.03

1311.28

1551.05(214.25)(72.35)

また，実データとして，癌細胞株についての研究データを用いた．癌細胞株に使用した化合物および薬剤の濃度レベルを説明変数とし，癌細胞株におけるヒト ABC(c) 提案手法

参考文献

MSE（既存手法） MSE（提案手法）
3.28

2.16(0.72)(0.30)

1.13

0.74(0.18)(0.17)

25.8823.64(4.32)(3.16)[1] A. Bhadra, J. Datta, Y. Li, N. G. Polson, andB. Willard. Prediction risk for the horseshoe regression. The Journal of Machine Learning Research,
Vol. 20, No. 1, pp. 2882–2920, 2019.
[2] C. M. Carvalho, N. G. Polson, and J. G. Scott. The
horseshoe estimator for sparse signals. Biometrika,Vol. 97, No. 2, pp. 465–480, 2010.
[3] M. B. Gordy. A generalization of generalized beta
distributions. In Finance and Economics Discussion
Series. Division of Research and Statistics, Divison ofMonetary Affairs, Federal Reserve Board, 1998.
[4] N. G. Polson and J. G. Scott. Shrink globally, act
locally: sparse Bayesian regularization and prediction.
Bayesian Statistics, Vol. 9, pp. 501–538, 2010.
[5] C. M. Stein. Estimation of the mean of a multivariate normal distribution. Annals of Statistics, Vol. 9,
No. 6, pp. 1135–1151, 1981.