予測・プロジェクションの評価の仕方

2021年12月20日

仲田泰祐（東京大学）

1

背景
 コロナ禍において感染の予測・プロジェクションは多くの人々の注目を集めた
 予測は「こうなるのでは」を提示


例：平田研究室（名古屋工業大学）

 プロジェクションは「こういう仮定を置くとこうなるのでは」を提示
What if…の例
「何も対策を取らないと」42万人死亡「ワクチン接種ペースが1日100万本だと」再度宣言回避「人流5割削減しないと」感染減少は起きない

例：藤井仲田研究室（東京大学）、倉橋研究室（筑波大学）、西浦研究室（京都大学）

2

予測・プロジェクションの評価の仕方
 ここでは、予測・プロジェクションの評価の仕方を説明


政策分析としての有用性に関する評価基準を説明



筆者の中央銀行での政策分析経験に基づく


中央銀行は数理モデルを政策分析に活用してきた経験が非常に長いため、他の世界での数理モデルの政策活用にも何かしらの示唆は与えうると、個人的には感じている

もちろん、中央銀行・経済分析の世界での評価基準を別の分野に当てはめることは必ずしも理にかなっているとは言えない事には留意 理解を深めるために「評価の仕方」を4つのチームの予測・プロジェクションに応用

筑波大学倉橋研究室（AI-K）

東京大学藤井仲田研究室（AI-FN）

京都大学西浦研究室（AB-33）

名古屋工業大学平田研究室（AI-H）



この4チームは2021年を通して定期的にモデルによる予測・プロジェクションを提示してきた3プロジェクション・予測の評価の仕方
 AI-K

2020年11月から定期的に中長期プロジェクションを公表。ほぼ毎週、もしくは隔週

 AI-FN

2021年1月から定期的に中長期プロジェクションを公表。9月まではほぼ毎週、9月以降隔週もしくは隔月

 AB-33

2021年3月から定期的に短期実効再生産数プロジェクションを公表。ほぼ毎週

6月30日から9月16日までは中期病床プロジェクションを毎週公表



1月13日、6月9日には中長期プロジェクション



12月8日から中長期の次世代行列の最大固有値プロジェクション AI-H

2021年8月から定期的に中長期予測を公表。ほぼ毎週

4

考えられる評価ポイント
 再現性

使用しているモデルは過去のデータをどのくらい説明出来るか。プロジェクション開始時点での現実との乖離はどのくらいか

パラメターを毎回推定・調整しているか

 透明性


モデル・パラメターの値・コード・過去の分析は公開されているか モデルの点検・過去の分析の検証・（条件付き）予測精度の記録


過去の予測・プロジェクションと現実の乖離を定期的に検証しているか

予測と現実の乖離は「予測誤差」、プロジェクションと現実の乖離は「条件付き予測誤差」で測定できる



条件付き予測誤差：「変数Aがこうなったら変数Bはこうなる」の「変数Aがこうなったら」の部分に変数Aの実現値を入れた時のモデルのプロジェクションと変数Bの実現値の乖離

例：変数Aが人流、変数Bが新規感染者数「人流の実現値を正しく仮定していたら、感染プロジェクションはこうであった」と試算と現実の感染者数の推移の違いを計算

その違いが何故生まれるかを考えることで、モデルを改善するヒントを得ることが出来る

5考えられる評価ポイント
 感染症分野における学術的価値出しているプロジェクションは感染症分野の学術雑誌に掲載されうる質であるか 置いている仮定が妥当か否か


尤もらしい仮定を置いているか。悲観的・楽観的なケースで置かれていた仮定は悲観的・楽観的と言えたか。推定していないパラメター設定の根拠の説得力

 予測精度・条件付き予測精度

6

まとめ
AI-K

AI-FN

AB-33

AI-H

再現性

高い

高い

高い

高い

透明性

高い

高い

中

高い

*コード

要請ベースで公開

HPで公開

学術雑誌掲載までは
原則非公開

要請ベースで公開*過去の分析の記録

有

有

有

有

点検・検証

中

高い

低い

高い

*予測精度の記録

無有

無有*過去の分析の検証

有

有

無有

学術的価値

中低い

高い

中

仮定の妥当性（条件付き）予測精度

評価はある程度主観的
N/A

MAE約1,600人（1週間先・全国・21年2月-11月）

N/AMAE約2割
7（1か月先・東京・21年2月-6月）

参考資料：モデルの違い
AI-K

AI-FN

AB-33

AI-H*

ワクチンの影響

Yes

Yes

Yes/No*Yes

変異株の影響Yes

Yes

Yes/No*

No

人流データ

Yes

Yes

Yes/No*

経済データ

No

Yes

NoNo

年齢別異質性*Yes

Yes/NoYes/NoNo

Yes/No

No

No

No

No

Yes/No

No

No

べき乗則*
医療逼迫によるリスク回避行動*

Yes*年齢別異質性：AI-FNはパラメター調整で考慮。最近の分析では必要に応じて明示的に考慮したモデルを使用。AB-33は病床プロジェクションでは考慮、実行再生産数プロジェクションでは考慮せず*AB-33は9月10月に一時的にワクチンの影響を考慮、8月-10月に一時的にデルタ株の影響を考慮、7月-9月に一時的に人流の影響を考慮。12月8日からの次世代行列最大固有値予測ではワクチンを考慮*べき乗則：内閣官房AI-Simの大澤モデル、栗原モデルではべき乗則が存在（複雑系ネットワークが考慮されているから）。倉橋の2本柱のもう一つであるマルチエエージェントモデルではべき乗則を考慮*医療逼迫によるリスク回避行動： AI-FNはYabu and Watanabe分析等を根拠にシナリオとして頻繁に考慮* AI-Hモデルは機械学習モデルなので、過去の感染の推移が変異株・年齢別異質性・べき乗則・リスク回避行動を反映している限りにおいて、それは予測に反映される

8

再現性
 AI-K：高い

毎回パラメターを推定。時には使用する人流データを変更

 AI-FN：高い

毎回パラメターを推定

パラメターがTime-Varyingなので定義的に過去のデータは完全に説明 AB-33：高い


毎回Scalingパラメターを推定（病床プロジェクション）

毎回過去の実効再生産数パスを推定（実効再生産数プロジェクション） AI-H：高い

毎回パラメターを推定

9

AI-K

10
https://www.covid19-ai.jp/ja-jp/presentation/2021_rq3_countermeasures_simulation/articles/article142/

AI-FN

過去のTime-Varyingパラメターを毎回推定

https://covid19outputjapan.github.io/JP/files/FujiiNakata_Outlook_20211101.pdf

11AB-3312https://www.mhlw.go.jp/content/10900000/000812898.pdf

AI-H

https://www.covid19-ai.jp/ja-jp/presentation/2021_rq3_countermeasures_simulation/articles/article150/

13

透明性
 AI-K：高い

コードは要請ベースで公開。過去の分析は本人HPと内閣官房HPに

https://www.covid19-ai.jp/ja-jp/researcher/setsuya-kurahashi/ AI-FN：高い

HPでコードを公開。過去の分析は本人HPと内閣官房HPに

https://covid19outputjapan.github.io/JP/, https://github.com/Covid19OutputJapan/Covid19OutputJapan.github.io/tree/main/archives/ AB-33：中

コードは原則非公開（将来分析が論文として学術雑誌に掲載された場合は公開）。過去の分析はアドバイザリーボードHPに

コードの公開方針をご教示して頂いた西浦教授に感謝しております

https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/0000121431_00294.html

 AI-H：高い

コードは要請ベースで公開。過去の分析は内閣官房HPに

https://www.covid19-ai.jp/ja-jp/researcher/akimasa-hirata/14点検・検証 AI-K：中

過去のプロジェクションと実現値の誤差を適宜検証

https://www.covid19-ai.jp/ja-jp/presentation/2021_rq3_countermeasures_simulation/articles/article186/ AI-FN：高い

条件付き予測精度を毎回記録・時おり過去のプロジェクションと実現値の誤差の検証

過去まで遡ったモデルの予測精度検証、https://covid19outputjapan.github.io/JP/nationwide.html

（8月17日）過去の見通し検証、https://covid19outputjapan.github.io/JP/files/FujiiNakata_PastProjections_20210817.pdf

（8月20日）五輪開催の感染への影響：振り返り、https://covid19outputjapan.github.io/JP/files/FujiiNakata_OlympicsReview_Slides_20210820.pdf

（12月14日）基本シナリオと実現値の乖離、https://covid19outputjapan.github.io/JP/files/FujiiNakata_ProjectionReview_20211214.pdf

 AB-33：低い
 AI-H：高い

予測精度を検証（8月15日）・過去の予測と実現値の誤差を頻繁に分析

https://www.covid19-ai.jp/ja-jp/presentation/2021_rq3_countermeasures_simulation/articles/article175/

https://www.covid19-ai.jp/ja-jp/presentation/2021_rq3_countermeasures_simulation/articles/article200/

15

AI-K
「東京都第2次緊急事態宣言効果の推定値と観測値の比較」「人流と感染変化率との関係（東京都）」
https://www.covid19-ai.jp/jajp/presentation/2021_rq3_countermeasures_simulation/articles/article186/

16

AI-FN
「（8月17日）過去の見通し検証」「（8月20日）五輪開催の感染への影響：振り返り」

https://covid19outputjapan.github.io/JP/files/FujiiNakata_PastProjections_20210817.pdf

https://covid19outputjapan.github.io/JP/files/FujiiNakata_OlympicsReview_Slides_20210820.pdf「（12月14日）基本シナリオと実現値の乖離」
https://covid19outputjapan.github.io/JP/files/FujiiNakata_ProjectionReview_20211214.pdf

17

AI-H
「7-9月における新規陽性者数の増加と減少について」
https://www.covid19-ai.jp/ja-jp/presentation/2021_rq3_countermeasures_simulation/articles/article175/「新規陽性者数の高精度化に向けて」
https://www.covid19-ai.jp/ja-jp/presentation/2021_rq3_countermeasures_simulation/articles/article200/

18

コメント
（１）定期的なモデルの点検、（２）過去の（条件付き）予測誤差の検証/可視化、（３）それらによって得られた学びによるモデルの改善、はモデルを中長期に渡って運用する世界では当たり前のように行われている
例：中央銀行

19

中央銀行


予測誤差の可視化



図は「スパゲティーチャート」と呼ばれる

https://www.federalreserve.gov/econres/feds/files/2020065pap.pdf

20

中央銀行


予測の記録

https://www.federalreserve.gov/
monetarypolicy/files/FOMC201
51216tealbooka20151209.pdf

21

中央銀行


過去の予測誤差に基づく信頼区間の計算

https://www.federalreserve.gov/
monetarypolicy/files/FOMC201
51216tealbooka20151209.pdf

22

中央銀行


定期的な戦略検証

https://www.federalreserve.gov/monetarypolicy/review-of-monetary-policy-strategy-tools-and-communications.htm23

感染症分野における学術的価値 AI-K：中

ある程度Richなモデルを使用

 AI-FN：低い（非常に）シンプルなモデルを使用

 AB-33：高い


感染症数理モデル専門

 AI-H：中

ある程度Richなモデルを使用

24

仮定の妥当性 ある程度主観的に判断せざるを得ない


その後結局どうなったかではなく、当時の情報と照らし合わせて判断する必要

分析の目的と照らし合わせて評価することが必要

悲観的なシナリオと楽観的なシナリオでは違う仮定が使われていて当然「悲観的なシナリオ」として提示されていたシナリオで置かれていた仮定は悲観的と言えたか？

「楽観的なシナリオ」として提示されていたシナリオで置かれていた仮定は楽観的と言えたか？

変異株・ワクチン接種その他様々な現実的な要素を考慮しているか

アルファ株・デルタ株の今後の推移・感染力の根拠は妥当だったか

ワクチン接種ペースの仮定は妥当か



ワクチンの効果に関するパラメターの根拠は妥当か

感染予防効果減退スピードの仮定は妥当か

25

予測精度・条件付き予測精度
 AI-K・AB-33


条件付き予測精度が記録されていないので、検証できず


上述した通り、AI-Kはスナップショットで条件付き予測精度を何度か検証 AI-FN

更新の度に（条件付き）予測精度を記録



1週間先の全国での新規感染者数：MAE（Mean Abosolute Error）は約1,500人（2021年1月末から11月上旬まで）


実現値の一日平均は約5,000人

 AI-H

10月19日のレポートで過去の予測精度の記録を提示

1か月先の東京都での新規感染者数：MAEは約2割（2021年1月末から6月末まで）

26

AI-FN27
https://covid19outputjapan.github.io/JP/nationwide.html

AI-H

https://www.covid19-ai.jp/ja-jp/presentation/2021_rq3_countermeasures_simulation/articles/article175/28 火曜日に分析更新・Zoom説明会：https://Covid19OutputJapan.github.io/JP/
 参考資料：https://covid19outputjapan.github.io/JP/resources.html
 Zoom説明会動画：https://covid19outputjapan.github.io/JP/recording.html
 経済セミナー連載https://note.com/keisemi/n/n9d8f9c9b72af、https://note.com/keisemi/n/n7f38099d0fa2



https://note.com/keisemi/n/nd1a6da98f00e 、https://note.com/keisemi/n/n430f8178c663

 論文：https://link.springer.com/article/10.1007%2Fs42973-021-00098-4
 Twitter: https://twitter.com/NakataTaisuke 質問・分析のリクエスト等
taisuke.nakata@e.u-tokyo.ac.jp

29