INLAによる時空間の従属性を考慮した頻度モデル

2021年11月13日
佐野 誠一郎（共栄火災海上保険）
1

目次
〇 課題
〇 使用するデータ〇 条件付き自己相関(Conditional Autoregressive: CAR)モデル〇 時空間モデル〇 Integrated Nested Laplace Approximation（INLA）〇 モデルの実装と評価〇 まとめとさらなる課題2

課題〇 例えば料率算定に使う、GLMによる頻度モデルを考える○ 一般統計には地域を変数に持つものがよくある• 患者調査（厚生労働省）• 地域がん登録（国立がん研究センター）○ 地域間に何らかの傾向が見られることもよくある
厚生労働省 患者調査
平成29年 第17表より入院受療率（病院）

厚生労働省 医療施設調査
平成29年 第13表より
人口10万人当たり病床数（病院）〇 しかし、地域を変数に用いることは単純ではない
3

課題
〇 なぜか
使わない場合使う場合〇 地域間の差異が明確な場合、説明力が不十分〇 各地域を独立に見るため、地域間の影響を反映しない〇 精度が低い〇 地域という構造を客観性を保持して表現するのが難しい

どっちもどっち

地域間の従属性を考慮したモデリングがしたい4

課題〇 料率算定の場合、変数の追加とは更なる料率細分化

金融庁
火災保険水災料率に関する有識者懇談会（第1回）資料3より

財務省
地震保険制度等研究会第3回
資料2より
5

課題
〇 さらに、地域間の従属性だけでなく時系列のトレンドも反映したい
厚生労働省 感染症発生動向調査事業年報2019年度 第10-1表より
手足口病の発生率（週ごと）⇒ 時空間モデルで、地域間と時系列の従属性を考慮する
6

使用するデータ〇 都道府県別・性別・年齢区分別のがん死亡者数・・・地域がん登録（国立がん研究センター）〇 母数として人口推計（厚生労働省）
人口（上）と死亡者数（下）の占有率
がん死亡率（箱ひげ図）

がん死亡率(年齢・性別)7使用するデータ〇 モデリングの前に、地域間の従属性の有無を探索する〇 空間自己相関・・・近くにある地域間の観測値が持つ相関がん死亡率（年度ごと)

負の相関

相関なし

正の相関

8

使用するデータ〇 隣接関係を定義する・・・Rパッケージ「spdep」より

ルーク型

ドロネー三角網

クイーン型

近隣4ゾーン

適用する
隣接関係
9

使用するデータ〇 モランI統計量（MORAN 1950）
σ𝑖 σ𝑗 𝑤𝑖𝑗 𝑦𝑖 − 𝑦ത 𝑦𝑗 − 𝑦ത𝑛𝐼=σ𝑖 σ𝑗 𝑤𝑖𝑗σ𝑖 𝑦𝑖 − 𝑦ത 2
• 𝑦𝑖 ：地域𝑖（= 1,2, ⋯ , 𝑛 ）の観測値• 𝑦：観測値の平均
ത• 𝑤𝑖𝑗 ：地域𝑖と地域𝑗が隣接する場合は1、そうでない場合は0• 概ね-1（負の相関）～1（正の相関）の値を取る

がん死亡率のモランI統計量（年度ごと）
10条件付き自己相関（CAR）モデル〇 𝒖 = 𝑢1 , 𝑢2 , ⋯ , 𝑢𝐾 𝑇 を、地域ごとの確率変数からなるベクトルとする○ 地域𝑘（ 𝑘 = 1, ⋯ , 𝐾 ）の値𝑢𝑘 に、次式の条件付き独立を仮定
𝑝 𝑢𝑘 ȁ𝒖−𝑘 = 𝑝 𝑢𝑘 ȁ𝑢𝑗 , 𝑗 ∈ 𝒩 𝑘• 𝒖−𝑘 ：𝑢𝑘 以外の𝒖の成分• 𝒩 𝑘 ：地域𝑘に近接する地域の集合〇 このような𝒖をMRF（マルコフ確率場）という
𝑥3
𝑥1

𝑝 𝒙 = 𝑝 𝑥1 𝑥2 , 𝑥3 𝑝 𝑥2 𝑥3 𝑝 𝑥3𝑥2

= 𝑝 𝑥1 𝑥3 𝑝 𝑥2 𝑥3 𝑝 𝑥3
11

条件付き自己相関（CAR）モデル〇 𝑢𝑘 が次式の条件付き分布に従うものをCARモデルという𝑢𝑘 ȁ𝒖−𝑘 ~𝑁 𝜇𝑘 + ෍ 𝑐𝑘𝑗 𝑢𝑗 − 𝜇𝑗 , 𝜎𝑘 2𝑗∈𝒩 𝑘• 𝑐𝑘𝑗 ：定数、𝑐𝑘𝑘 = 0・・・地域間の従属関係を表す• 𝜇𝑘 、𝜎𝑘 2 ：平均、条件付き分散〇「𝑢𝑘 は周辺地域の値𝑢𝑗 と従属性𝑐𝑘𝑗 で決まる」という事前情報を与えている○ 正規分布に従うMRFをGMRF（ガウスマルコフ確率場）という12条件付き自己相関（CAR）モデル〇 𝒖の同時密度関数が一意に存在する（Brook’s lemma）

𝒖 ~ 𝑁𝐾𝜇1⋮ , 𝐼𝐾 − 𝐶 −1 𝑀𝜎𝜇𝐾

• 𝐶 = 𝑐𝑘𝑗 ：𝐾 × 𝐾行列• 𝑀𝜎 ： 𝑀𝜎 𝑘𝑘 = 𝜎𝑘 2 の𝐾 × 𝐾対角行列• 𝑐𝑘𝑗 𝜎𝑘 2 = 𝑐𝑗𝑘 𝜎𝑗 2 を満たす

〇 𝒖の分散構造（の逆行列（精度行列））が決まっていて、かつ疎であることにより計算効率がいいモデル〇 この条件の中で色々なモデルが存在する・・・例えば
13

条件付き自己相関（CAR）モデル〇 かんたんなCARモデルの例
・・・Intrinsic CARモデル（ICAR）+ 混合モデル

𝑦𝑘 = 𝒙𝑘 𝑇 𝜷 + 𝑢𝑘 , 𝑘 = 1, ⋯ , 𝐾
固定効果

変量効果

σ𝑗 𝑤𝑘𝑗 𝑢𝑗 𝜎𝑢2𝑢𝑘 ȁ𝒖−𝑘 ~𝑁,𝒩𝑘𝒩𝑘• 𝑤𝑘𝑗 ：地域𝑘と地域𝑗が隣接する場合は1、そうでない場合は0• 𝒩𝑘 ：地域𝑘と隣接する地域の数• 𝜎𝑢2 ：分散パラメータ⇒「各地域は隣接する地域の加重平均」と考える
14

Spatio-Temporal（時空間）モデル〇 CARモデルと同様の考え方で、時系列のトレンドを反映する• 例えば自己相関（AR）モデルはGMRFのひとつ• AR(1)（𝑥𝑡 = 𝜙𝑥𝑡−1 + 𝜀𝑡 , 𝜀𝑡 ~𝑁 0, 𝜎 2 ）を条件付き分布で表すと
𝑥𝑡 ȁ𝑥1 , 𝑥2 , ⋯ , 𝑥𝑡−1 ~𝑁 𝜙𝑥𝑡−1 , 𝜎 2〇 ただしモデルが複雑になるので、効率の良い計算方法が必要• CARモデルを含めた時空間モデルは、ベイズ推定でモデル化する• ベイズ推定で一般的な推定手法はMCMC• されどサンプリングを繰り返すMCMCは複雑なモデルには向かない⇒ そこでINLAを使う
15

Integrated Nested Laplace Approximation（INLA）〇 潜在ガウスモデルにラプラス近似を用いるベイズ推定の手法〇 潜在ガウスモデル• 𝑦𝑖 ȁ𝜂𝑖 , 𝝍（∈ 𝒚 = 𝑦1 , 𝑦2 , ⋯ , 𝑦𝑛 ）：確率変数、平均𝜇𝑖
𝐿• 𝑔 𝜇𝑖 = 𝜂𝑖 = 𝛽0 + σ𝑀
𝑚=1 𝛽𝑚 𝑥𝑚𝑖 + σ𝑙=1 𝑓𝑙 𝑧𝑙𝑖 ：潜在パラメータ• 𝜷 = 𝛽1 , 𝛽2 , ⋯ , 𝛽𝑀 ：固定効果のパラメータ• 𝒇 = 𝑓1 , 𝑓2 , ⋯ , 𝑓𝐿 ：変量効果のパラメータ• 𝝍 = 𝜓1 , 𝜓2 , ⋯ , 𝜓𝐾 ： 𝒚の分散や𝒇の分散を表すハイパーパラメータ〇 𝒚に条件付き独立を仮定する
𝑝 𝒚 𝜽 = 𝛽0 , 𝜷, 𝒇 , 𝝍 = ෑ𝑛𝑖=1

𝑝 𝑦𝑖 𝜽, 𝝍〇 𝜽に条件付き独立を仮定し、事前分布として正規分布を設定する⇒𝜽はGMRF
16

Integrated Nested Laplace Approximation（INLA）〇 𝑦𝑖 に関するパラメータの周辺事後分布を求める〇 𝜽、𝝍における各成分の周辺事後分布𝑝 𝜃𝑖 𝒚 = න 𝑝 𝜃𝑖 , 𝝍 𝒚 𝑑𝝍 = න 𝑝 𝜃𝑖 𝝍, 𝒚 𝑝 𝝍 𝒚 𝑑𝝍𝑝 𝜓𝑘 𝒚 = න 𝑝 𝝍 𝒚 𝑑𝝍−𝑘
〇 𝑝 𝝍 𝒚 、𝑝 𝜃𝑖 𝝍, 𝒚 を近似した𝑝෤ 𝝍 𝒚 、𝑝෤ 𝜃𝑖 𝝍, 𝒚 を求める

17

Integrated Nested Laplace Approximation（INLA）〇 𝑝෤ 𝝍 𝒚 の算出
𝑝 𝒚 𝜽, 𝝍 𝑝 𝜽 𝝍 𝑝 𝝍𝑝෤ 𝝍 𝒚 ∝ቤ𝑝෤ 𝜽 𝝍, 𝒚𝜽=𝜽∗ 𝝍・ 𝑝 𝜽 𝝍, 𝒚 をラプラス近似により正規分布𝑝෤ 𝜽 𝝍, 𝒚 に近似する・左式から𝜽は任意なので、𝑝෤ 𝜽 𝝍, 𝒚 のモード𝜽∗ 𝝍 で計算する〇 𝑝෤ 𝜃𝑖 𝝍, 𝒚 の算出
𝑝 𝒚 𝜽, 𝝍 𝑝 𝜽 𝝍 𝑝 𝝍𝑝෤ 𝜃𝑖 𝝍, 𝒚 ∝ቤ𝑝෤ 𝜽−𝑖 𝜃𝑖 , 𝝍, 𝒚𝜽∗−𝑖 =𝜽−𝑖 𝜃𝑖 ,𝝍

・ 𝑝 𝜽−𝑖 𝜃𝑖 , 𝝍, 𝒚 を正規分布𝑝෤ 𝜽−𝑖 𝜃𝑖 , 𝝍, 𝒚 に近似する
・𝑝෤ 𝜽−𝑖 𝜃𝑖 , 𝝍, 𝒚 のモード𝜽∗−𝒊 𝜃𝑖 , 𝝍 で計算する
18

Integrated Nested Laplace Approximation（INLA）〇 𝑝 𝜃𝑖 𝒚 の算出
𝑝 𝜃𝑖 𝒚 ≈ න 𝑝෤ 𝜃𝑖 𝝍, 𝒚 𝑝෤ 𝝍 𝒚 𝑑𝝍○ 𝑝෤ 𝝍 𝒚 を表す点の集合𝝍 𝑗 を用いて積分式を下式で近似する
𝑝 𝜃𝑖 𝒚 ≈ ෍ 𝑝෤ 𝜃𝑖 𝝍 = 𝝍 𝑗 , 𝒚 𝑝෤ 𝝍 = 𝝍 𝑗 𝒚 𝛥𝑗𝒋𝑝෤ 𝝍 𝒚 を算出して
𝝍 𝑗 を取得

各𝝍 𝑗 に対して𝑝෤ 𝜃𝑖 𝝍 = 𝝍 𝑗 , 𝒚 を算出

𝑝෤ 𝜃𝑖 𝝍 = 𝝍 𝑗 , 𝒚 𝑝෤ 𝝍 = 𝝍 𝑗 𝒚 を積み上げて𝑝 𝜃𝑖 𝒚 を算出
19

モデルの実装〇 GLMに時空間の変量効果を組み込んだモデル
𝑦𝑖 ~𝑃𝑜𝑖𝑠𝑠𝑜𝑛 𝜆𝑖𝑔 𝜆𝑖 = log 𝜆𝑖 = 𝜂𝑖
𝜂𝑖 = log 𝐸𝑖 + 𝛽0 + 𝛽𝑔𝑒𝑛𝑑𝑒𝑟 𝑥1𝑖 + 𝛽𝑎𝑔𝑒 𝑥2𝑖 + 𝑢𝑘 𝑖 + 𝛾𝑡 𝑖
• 𝑦𝑖 （ 𝑖 = 1,2, ⋯ , 𝑛 ）：がんによる死亡者数• 𝐸𝑖 ：人口（オフセット項）• 𝛽0 ：切片（事前分布には𝑁 0,0 を設定）
• 𝛽𝑔𝑒𝑛𝑑𝑒𝑟 ：性別（固定効果）• 𝛽𝑎𝑔𝑒 ：年齢区分（固定効果）• 𝛽𝑔𝑒𝑛𝑑𝑒𝑟 ・𝛽𝑎𝑔𝑒 の事前分布には𝑁 0,0.001 を設定
20

モデルの実装〇 GLMに時空間の変量効果を組み込んだモデル• 𝑢𝑘 𝑖 ：CARモデルによる変量効果
・・・Lerouxモデル（Leroux, Lei, and Breslow 1999）
𝜏𝑢−1
𝑢𝑘 𝑖 ห𝒖−𝑘 𝑖 ~ 𝑁,𝜌𝒩𝑘 𝑖 + 1 − 𝜌 𝜌𝒩𝑘 𝑖 + 1 − 𝜌𝜌 σ𝑗 𝑤𝑘 𝑖 𝑗 𝑢𝑗

• 𝛾𝑡 𝑖 ：時系列に関する変量効果・・・二次のランダムウォーク
Δ2 𝛾𝑡 𝑖 = 𝛾𝑡 𝑖 − 𝛾𝑡 𝑖 +1 − 𝛾𝑡 𝑖 +1 − 𝛾𝑡 𝑖 +2 ~ 𝑁 0, 𝜏𝛾−1𝑝 𝜸 = 𝛾1 , 𝛾2 , ⋯ , 𝛾𝑇𝑇 ȁ𝜏𝛾

𝑇−2∝ 𝜏𝛾 2 exp

𝑇−2
𝜏𝛾− ෍
Δ2 𝛾𝑡 22𝑡=1• 𝜌：ハイパーパラメータ（log 𝜌Τ 1 − 𝜌 ~𝑁 0,0.45 を設定）
• 𝜏𝑢 ：ハイパーパラメータ（log 𝜏𝑢 ~𝐿𝑜𝑔𝐺𝑎𝑚𝑚𝑎 1,0.0005 を設定）
• 𝜏𝛾 ：ハイパーパラメータ（log 𝜏𝑢 ~𝐿𝑜𝑔𝐺𝑎𝑚𝑚𝑎 1,0.0005 を設定）
21

モデルの実装〇 比較するモデル（計算はRパッケージ「R-INLA」を用いる）• GLM（1）：固定効果のみ
𝜂𝑖 = log 𝐸𝑖 + 𝛽0 + 𝛽𝑔𝑒𝑛𝑑𝑒𝑟 𝑥1𝑖 + 𝛽𝑎𝑔𝑒 𝑥2𝑖• GLM（2）： GLM（1）に地域を固定効果として変数に入れる
𝜂𝑖 = log 𝐸𝑖 + 𝛽0 + 𝛽𝑔𝑒𝑛𝑑𝑒𝑟 𝑥1𝑖 + 𝛽𝑎𝑔𝑒 𝑥2𝑖 + 𝛽𝑟𝑒𝑔𝑖𝑜𝑛 𝑥3𝑖• 空間モデル：変量効果をCARのみとする
𝜂𝑖 = log 𝐸𝑖 + 𝛽0 + 𝛽𝑔𝑒𝑛𝑑𝑒𝑟 𝑥1𝑖 + 𝛽𝑎𝑔𝑒 𝑥2𝑖 + 𝑢𝑘 𝑖

〇 下記の統計量を用いてモデルを確認する• 逸脱度情報量（DIC）、WAIC：当てはまりの良さ• CPO、加重平方平均二乗誤差（WRMSE）：予測精度〇 2014～2018年度のデータを使用、2019年度のデータで評価
22

モデルの評価（結果）• パラメータ推定値（抜粋）GLM（1）

GLM（2）

空間モデル

時空間モデル

Mean

Sd

Mean

Sd

Mean

Sd

Mean

Sd

Intercept-10.7207

0.0491-10.6085

0.0492-10.7249

0.0527 -10.7350

0.0521

Age 40~44

2.84110.04982.84040.04982.84040.04982.84030.0498

Age 45~49

3.43140.04953.43060.04953.43060.04953.43230.0495

Age 50~54

4.04230.04944.04100.04944.04100.04944.04210.0494

Age 55~59

4.61770.04934.61580.04934.61580.04934.61640.0493

Female-0.6994

0.0015-0.7006

0.0015-0.7006

0.0015-0.7009

0.0015• 時空間モデルの時系列に関する変量効果23

モデルの評価（結果）• 都道府県間ごとの予測値（2019年度のデータに対して）• 統計量によるモデル比較（小さいほど当てはまりまたは精度がよい）
DIC

WAIC

CPO

WRMSE

GLM（1）

76,63576,87738,43896.22

GLM（2）

72,27872,61636,309

86.25

空間モデル

72,277

72,61336,30786.13

時空間モデル71,122

71,44235,72265.89
24

モデルの評価（CARによる地域間の平滑化）• CARモデルによる地域間格差の平滑化を確認する• 「𝑢𝑘 𝑖 の予測値」(CAR)と「𝛽𝑟𝑒𝑔𝑖𝑜𝑛 の推定値」(GLM)を見ることで 、性別・年齢区分別のポートフォリオを除いた地域間の格差を比較する• より明確な比較のため、年齢区分50~54歳のみのデータを用いる

都道府県ごとに横に並べた場合

地図プロットで見た場合
25

モデルの評価（未知の地域の予測）• CARモデルは、観測されていない地域に対して、その地域の予測値を周辺地域の情報で補間することができる• 各都道府県の𝑦𝑖 を欠測とし、その地域に対する予測を評価する

WRMSE
96.22

WRMSE
86.13

q-qプロット（2019年のデータに対する予測）

WRMSE
65.89

神奈川県を欠測とした場合の予測
26

まとめ〇 通常のGLMでは難しい、地域間および時系列の従属性という多面的な構造を反映したモデルとして時空間モデルを提案した○ また、複雑なベイズ推定に柔軟かつ効率的に対応する手法として、INLAを提案した〇 今回のケースでは、時空間モデルは、地域と時系列の相関を持つデータに対して通常のGLMよりも高い予測精度を示した〇 アクチュアリー業務は納得感のある前提の説明が求められるケースが多いため、時空間モデルは、一定の条件に対して主体性はあるが無理のない事前情報を持つ特性から、使い勝手のよい手法であると考えられる
27

さらなる課題〇 今回は、GLMに変量効果を加えるというアプローチで時空間モデルを提案するため、固定効果が既に一定の強さを持っているデータを使用した○ したがって時空間モデルの変量効果に使うモデルの比較は、結果が大きく変わらなかったので行っていない〇 一般的には、時空間モデルは地域および時系列で集約されたデータを対象としている〇 この場合、提案モデルを更に発展させて、地域と時系列の交互作用を組み込むことで、時間の経過とともに地域間の従属性が変化するモデルを適用することなどが考えられる
28

参考文献
•Banerjee, Sudipto, Bradley P Carlin, and Alan E Gelfand. (2014). Hierarchical Modeling and Analysis for Spatial Data. CRC press.

•Besag, Julian, Jeremy York, and Annie Mollié. (1991). “Bayesian Image Restoration, with Two Applications in Spatial Statistics.” Annals of theInstitute of Statistical Mathematics 43 (1): 1–20.

•Bivand R, Wong DWS (2018). “Comparing implementations of global and local indicators of spatial association.” TEST, 27(3), 716–748.

•Blangiardo, Marta & Cameletti, Michela & Baio, Gianluca & Rue, Håvard. (2013). Spatial and spatio-temporal models with R-INLA. Spatial andspatio-temporal epidemiology. 4C.

•BRECHMANN, E., and C. CZADO. (2014). Spatial Modeling. Edited by Edward W Frees, Richard A Derrig, and Glenn Meyers. Vol. 1. Predictive
Modeling Techniques. Cambridge University Press.

•C. Brunsdon, L. Comber, 湯谷啓明(訳), 工藤和奏(訳), 市川太祐 (訳) (2018) Rによる地理空間データ解析入門. 共立出版.

•Leroux, B.G., Lei, X. and Breslow, N. (1999) Estimation of Disease Rates in Small Areas: A New Mixed Model for Spatial Dependence. In:
Statistical Models in Epidemiology, the Environment and Clinical Trials, Springer-Verlag, New York

•Luke, Tierney, and B. Kadane Joseph. (1986). “Accurate Approximations for Posterior Moments and Marginal Densities.” Journal of theAmerican Statistical Association 81 (393): 82–86.

•MORAN, P. A. P. (1950). “NOTES ON CONTINUOUS STOCHASTIC PHENOMENA.” Biometrika 37 (1-2): 17–23.

•Rue, Håvard, and Leonhard Held. (2005). Gaussian Markov Random Fields: Theory and Applications. CRC press.

•Rue, Håvard, Sara Martino, and Nicolas Chopin. (2009). “Approximate Bayesian Inference for Latent Gaussian Models by Using Integrated
Nested Laplace Approximations.” Journal of the Royal Statistical Society: Series b (Statistical Methodology) 71 (2): 319–92.

•Ver Hoef, Jay, Erin Peterson, Mevin Hooten, Ephraim Hanks, and Marie-Josee Fortin. 2017. “Spatial Autoregressive Models for StatisticalInference from Ecological Data.” Ecological Monographs 88 (November).

29