経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)

使えるものは何でも使って EBPM を

Use whatever you can to promote EBPM
渡部睦 1∗ 北澤正樹 1 高橋聡 2 吉川厚 1

Mutsumi Watanabe1 , Masaki Kitazawa1 ,Satoshi Takahashi2 and Atsushi Yoshikawa1
1
1

立教大学大学院人工知能科学研究科

Graduate School of Artificial Intelligence and Science, Rikkyo University
2
2

関東学院大学理工学部

School of Science and Engineering, Kanto Gakuin University

Abstract: Evidence Based Policy Making (EBPM) has been attracting attention for policy
making in Japan. In order to realize EBPM, it is essential to have data as evidence. However, it
is costly to collect such data, and it is diﬃcult to design data and analysis to determine what kindof data is best. we cannot wait until we have enough usable data to implement EBPM. Therefore,
it is necessary to combine empirical research methods such as quasi-experiments and theoreticalresearch such as Agent Based Simulation (ABS), and to develop a method to analyze the data.
In this paper, we will discuss the concept and how it can be applied to the analysis of EBPM
even when suﬃcient data is not available. This paper presents the concept and the results of theanalysis using a prefectural dental health ordinance as a case study.

1 はじめに

日 本 の 政 策 立 案 に Evidence Based Policy Making(EBPM) が注目を集めている。EBPM 実現のためには証拠となるデータが不可欠であるが、そのデータを集めるにはコストがかかり、かつ、そもそもどのようなデータなら良いのか、データ設計や分析の設計をすることが難しい。しかし、使えるデータが充実するまで EBPM の取り組みを待つわけには行かない。そこで、擬似実験等の実証的研究手法と Agent BasedSimulation(ABS) 等の理論的研究を組み合わせ、データが十分に得られない場合でも EBPM に資する分析を行うことを構想している。本論文ではその構想と、都道府県歯科健康条例を事例とした分析の結果を示す。

2 研究の背景Opinion Base, Episode Base の客観的証拠に乏しい政策決定プロセスを見直す動きは、英米ではブレア政権、オバマ政権の頃から本格化し、現在ではエビデンスによる政策評価報告は政府予算編成時の必須要件となっている。イギリス財務省は、数理モデルやシミュレーションによる理論ベースのインパクト評価、ランダム化比較試験 (RCT) や傾向スコア分析などの実験・擬似実験ベースのインパクト評価などを体系的に整理したガイドライン [1] を策定している。

日本では 2016 年に経済財政諮問会議により「統計改革の基本方針」の一環として「EBPM 推進体制の構築」が決定された。統計改革と EBPM 推進は両輪で進めなければならないという問題認識がなされており、中央省庁での試行やガイドライン作成の検討などが進められている。[2][3][5]∗ 連絡先：立教大学大学院人工知能科学研究科〒171-8501 東京都豊島区西池袋 3-34-1

E-mail: 20vr039r@rikkyo.ac.jp

EBPM 推進の問題点に関する独立行政法人経済産業研究所（RIETI）の調査結果を表 1 に示す。EBPM の阻害要因が複数が挙げられているが、本論文では 5 番目の「政策形成に役立つデータや調査研究が少ない」問題

経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)に着目する。

その整備状況に応じて 4 種類に整理できる。近年、総3 研究の構想「地域経済分析システム (RESAS)」などで公的な統計情られない政策評価課題に対し、実証的研究と理論的研町村別の統計分野別集計データであり、集計の元となっいる。

政策評価で使用されるデータについては、表 2 の通り

務省の「政府統計の総合窓口 (e-Stat)」や経済産業省の報の充実が図られているが、主に全国、都道府県別、市た個票データについては一般公開されていない。個票

日本の EBPM 推進のために、大量の個票データが得究を効果的に組み合わせた分析方法の研究を構想して実験・擬似実験といった実証的研究による一次分析のデータの研究者向け利用申請の条件が緩和されるなど環因果推論の結果を、数理モデルやシミュレーション等のく時間を要すると考えられる。良質な個票データとして時にデータが少量しか得られない場合、実証分析結果の境の整備が進めらているが、個票データの充実には今暫は自治体が保有する行政記録データがあり、2016 年に官民データ活用推進基本方が施行されるなどその活用が望まれているが、個人情報保護の観点とのバランスやデータ整備作業の負荷などから取り組みの進展は緩やかである。

中央省庁や地方自治体の現場の政策実務者が今すぐにでも EBPM を実践するためには、集計データを中心とする現在入手可能なデータを用いた政策評価研究の充実が必要である。

（RIETI シンポジウム資料 [4] より引用）
1. 日常業務が忙しく時間がない統計的有意性が不十分となることが予想されるため評価の実施自体が見送られがちである。これが EBPM が進まない要因の一つとなっている。このような場合でも、一次分析の結果を活用した ABS 等の理論的研究による二次分析を行うことでアウトカムの生成プロセス解明に貢献することができる。また、個別ではなく、事象的研

究と理論的研究を常にセットで用いることは、ABS 等のシミュレーションを政策評価の場により活用する糸口にもなる。EBPM では因果関係の分析が重要になるが、実証的研究、統計分析では一定量のデータ数が必要とな

表 1: EBPM の阻害要因阻害要因（複数回答）

理論的研究による二次分析で検証する（図 1）
。政策評価

政策実務者

2. そのような慣行や組織風土がない

33.9%
62.4%

るため政策評価の研究事例はどうしてもデータが得やす
研究者

51.0%
45.1%

3. 政策がエビデンスと関係なく

72.5%

51.0%

4. 統計データの解析や研究を理

67.0%

68.6%

5. 政策形成に役立つデータや調

41.3%

43.1%

6. その他

6.4%

21.6%

政治的に決まる

解するスキルが職員に不足
査研究が少ないい政策に偏ってしまう。一方で ABS であればモデル設計の工夫により、大量データがなくても政策評価に資する分析結果が得られる可能がある。逆に、ABS の結果だけでは因果関係を主張し政策担当者を納得させることは、EBPM が実証研究中心に進められている現状ではなかなか難しい。両手法を同時に用いてそれぞれの長所を生かした研究手法が進展すればその価値は非常に高いであろう。

実証的研究
実験・擬似実験
統計分析

理論的研究
ABS

表 2: 政策評価データの整備状況による分類

分類a) 公開データb) 限定公開データc) 非公開データd) データなし

例e-Stat,RESAS 等 政 府 の 公 的統合化⼿法

研究者のみ公開の政府統計の

図 1: 統合化手法

統計。主に集計データ。
個票データ。

行政記録データ。自治体の独自統計。公的統計以外の統計
個票データ。

次章以降では、例として自治体施策の効果分析を擬似実験手法で行い、その結果に対し ABS でどのように二次分析が可能であるかの考察を行う。

経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)

4 都道府県歯科保健条例の効果検証

現在のオープンデータによる政策評価の分析事例として都道府県歯科保健条例を取り上げる。条例の施行が、6 歳児及び 12 歳児の未処置う歯保有率の減少にどの程度寄与したのかを推定する。また、複数団体と複数年齢層で比較分析を行い、それらの推定介入効果の違いから政策がアウトカムに与えるプロセスについても考察を行う。

都道府県の歯科保健条例 [6] は、歯・口腔の健康増進を目的に 2008 年に新潟県で初めて制定された。これを契機に全国の都道府県や市町村で相次いで条例が制定され、2011 年には後を追う形で国の法律が制定された。条

例の内容は似通っており、都道府県や都道府県民は歯・口腔の健康に努めなければならないという基本理念を示し、市町村との連携、啓蒙活動や指導等の活動、基本計画の策定、財政的措置を講じることなどを努力目標としている。罰則などを伴わない理念条例である。先行研究
としては条例制定後の各都道府県の予算確保状況を調査した研究 [12] などがあるが、条例が都道府県民の歯・口腔の健康へもたらした定量効果に対する研究は見当たらない。

この政策を分析対象として選んだ理由として、今後ニーズが高まると予想される自治体の政策効果検証であること、大量とは言えないが、集計データが e-Stat からオープンデータで入手できること、複数の団体がほぼ同内容の政策を相次いで実施したことで、導入時期の違いによる効果検証が可能であることなどが挙げられる。

5 分析の計画

5.1 分析データの設計

2006 年以降の都道府県別の年齢別疾病・異常被患率が公開されている e-Stat の学校保健統計調査データを使用する。学校保健統計調査では目標精度 5% 以内として毎年 6 月頃に都道府県当たり 200 校前後を層化集落抽出法により選択し調査を行っている。

時系列の政策効果検証に必要となる介入前の期間と対象群の数をある程度確保できるように介入群と対象群の選択を行った。効果検証対象の介入群となる団体は、新潟県についで 2009 年 4 月 1 日に条例を制定した北海道と静岡県とした。対象群となる条例未制定の団体は、条例施行が 2012 年以降である 19 団体とした。その一覧を表 3 に示す。

分析対象政策が理念条例であるため、政策の効果は、条例に基づいた予算が策定され事業が開始される翌年からと想定し、介入開始期間は条例施行の翌年である 2010年からとした。介入期間の終了を長くとると、その間に対象群となる団体が条例を相次いで制定しているため対象群が少数となってしまう。そこで、介入終了期間は2012 年として 3 年間を分析した。

この結果、分析データの介入前期間は 2006 年から2009 年までの 4 年間、介入期間は 2010 年から 2012 年の 3 年間となった。
図 2 に分析期間の 6 歳児と 12 歳児の未処置う歯保有者率について、介入群 2 団体の値と対象群の平均値を示す。

介入群対象群

表 3: 介入群 2 団体と対象群 19 団体
北海道, 静岡県

青森県, 山形県, 群馬県, 東京都, 神奈川県,富山県, 石川県, 福井県, 山梨県, 岐阜県, 愛知県, 滋賀県, 大阪府, 奈良県, 鳥取県, 福岡県, 大分県, 鹿児島県, 沖縄県

経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)50
2道県で条例施⾏

未処理う⻭保留者率（%）

4540「⻭科⼝腔保健の推進に関する法律」
施⾏

3530
2520
1510
2006 年

2007年

2008年

2009年

2010 年

2011年

20012年

北海道6歳児静岡県6歳児北海道12歳児

静岡県12歳児6歳児対象群平均

12歳児対象群平均

図 2: 介入群の未処置う歯保有率の推移

経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)

5.2 分析の手法

分 析 に は 差 の 差 分 法 (Diﬀerence in Diﬀrence,DID)[8] の 改 善 手 法 で あ る Synthethic Diﬀerence inDiﬀrence(SDID)[9] を使用した。
地域内全域の個体に影響を及ぼす政策の効果検証では個票データを得ることは難しく、時系列の集計データで分析が可能な DID が適した擬似実験手法である。DIDは介入群のアウトカムの単なる前後比較である「介入後ストは、対象群中の 1 団体を擬似的に介入群とみなして分析を実施し、実際の介入群の推定値と比較するものである。条例による歯の健康に対する効果が、プラセボテストの平均値より十分大きなものであるか、プラセボテストの標準偏差と比較して有意であるかといった点を分析した。

なお、SDID は R の synthdid パッケージ [13] を使用した。の差」ではなく、介入群が介入されなかった場合の差で6 分析結果と考察の差 − 介入後の差」を政策の処置効果として推定する。

から 7 に、プラセボテストの結果を表 5 に示す。

ある「介入前の差」を対象群のデータから求め、「介入前国内で DID を用いた政策研究として、保育所の整備状

況が女性の就業率へ及ぼす影響の分析 [11] などがある。

DID が有効であるための条件には、介入群と対象群とでトレンドが同一である平行トレンド仮定と、アウトカムに大きな影響を及ぼす事象が二群の片方のみに起きていないという共通ショック仮定がある。SDID は DIDの回帰式とは別に、介入群データに対する対象群の個体別と期間別の重みを計算することで平行トレンド仮定を緩和し、より信頼区間の小さい推定結果を得ることができる。

また、SDID の特徴である 2 種類の重みは、二次検証で使用する ABS によるシミュレーションモデルのパラメータ設計に活用することが期待できる。

時系列集計データによる介入効果推定が可能であること、従来手法より高精度の因果推論が可能であること、個体別・期間別の 2 種類の重みという二次検証に有用なデータが得られること、の３点が SDID を採用した理由である。

DID の代替手法としてもう一つ Causal Inmact[10]がある。ベイズ構造時系列モデルにより介入群の過去データのみで介入効果を推定する。利点として対象群が不要となるが、その分共変量も含めた大量の介入群のデータが必要になる前提条件と、介入後に政策効果に大きな影響を与えるショックがあると使えないという制限があり、今回の事例では 2011 年に歯科口腔保健に関する法律が施行されているため使用を見送った。

SDID の推定結果の信頼性の検証には、対象群 19 団体のプラセボテストの集計結果を使用した。プラセボテ分析による推定介入効果を表 4 に、そのグラフを図 4
北海道６歳児の推定介入効果は 1.26 ポイントの改善が見られた。プラセボテストの平均-0.106 よりは大きな値である。しかしプレセボテストの標準偏差は 1.615 であり、統計的に有意と言えるほどの結果ではない。静岡

県 6 歳児と北海道 12 歳児ではそれぞれ-0.850 と-0.348とより小さな効果しか認められなかった。また、静岡県

12 歳児は 1.04 ポイント悪化しており、条例が児童の未処置う歯の改善に与える効果が測定できていないことが示唆される。介入群が 19 件、介入前期間が 4 年というのは頑健な検証結果を得るにはデータ数が不足していると言えよう。

表 4: SDID による未処置う歯保有率への推定介入効果（ポイント）

対象

団体

6 歳児

北海道

12 歳児

北海道

静岡県
静岡県

2010 年-0.194-2.985-0.4432.150

2011 年-2.729-0.3911.323-0.3882012 年-0.9550.826-1.9241.362

平均-1.293-0.850-0.3481.041

表 5: 対象群プラセボテストの結果（ポイント）N=19
対象

６歳児

12 歳児

平均

-0.106-0.007

標準偏差

1.615
2.099

最小-4.020-4.574

中央値-0.0800.447

最大2.583
3.140

今回の結果を考察すると、北海道と静岡県の差異については、図 2 にあるように北海道はもともと静岡県の倍近くう歯の多い地域だったので、伸びしろがあった分改善量が大きくなったからだと考えられる。また、北海道は条例にフッ化物洗口の実施を明記しており、それが効果を発揮した可能性もある。8020 財団の調査 [6] によれ経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)

ば、配下の市町村独自の歯科健康条例の制定数は 2020の関係、役所と個人の関係、フッ化物洗口や歯磨き指導る。静岡県はもともと歯の健康には熱心な県であり、そミュレーション行い、北海道と静岡県の違い、6 歳児と年 10 月 1 日時点で静岡県が 15 団体、北海道 0 団体であのため条例施行の前後での差は出にくいと考えられる。

12 歳児の方が 6 歳児より効果が小さいのは、12 歳児の方が元々の未処置う歯が少ないために介入効果が出になどの複数の具体的施策の相違など複数のモデルでシ12 歳児の違いを生み出すプロセスを分析できる可能性がある。

また、SDID の推定介入効果をシミュレーション結果

くかったからだとみなせる。の検証（接地）に使うのか、モデル内に取り込むのかの査である。目標精度 5% でサンプル数の設計はされてい実験の推定値を接地で使う場合、設置の結果の信頼区間

学校健康保健調査は悉皆調査ではなくサンプリング調るものの、それは全国調査としてであり、都道府県別の比較分析用としてはサンプル数が少ないとも考えられる。そのため、北海道 12 歳児が 2006 年から 2007 年にかけて約 8 ポイントも悪化しているのも何か特別な原因があったとうよりサンプリングの統計的な揺らぎであった可能性が高い。

今回の SDID の分析では、静岡県 12 歳児が悪化する

とった解釈が難しい結果を解析する十分な情報は得ることができない。これらの問題を補う手法が必要である。

7 ABS による二次検証方法の考察
都道府県Agent検討が必要である。今回のような信頼区間の大きい擬似も大きなものになると考える場合には ABS のモデル内のパラメータ設計に使用することが有効であると考えられる。

さらに、表 6 と表 7 に掲載した SDID が生成する対象群の重みは、今までにない情報として ABS のモデル設計で有効に活用できる可能がある。

今後は ABS のモデルに対し、今回の SDID 以外の分析も加え、実証的研究、統計分析と関連させ、両輪で分析する手法の研究を進めようと考えている。
対象

表 6: SDID による対象群団体に対する重み

6 歳児

介入群
北海道・県民性設定値（歯ブラシ消費金額などから計算した健康への熱心さ）など
・SDID等の手法で得られた重み

・予算
・施策
：

静岡県

市町村
Agent・年齢・年齢別のう歯保有率基準値
：

市⺠
Agent

・予算・施策：図 3: 想定される ABS モデルの構想
今回の SDID による歯科保健条例は効果分析の結果を踏まえ、代表的な理論的分析の手法である ABS による二次分析、補足分析がどのように行えるのかを、またその場合の注意点について考察する。

今回の分析では頑健とは言えないまでも政策効果の推定量を得ることができたが、団体間の効果の相違を解釈できるまでの十分な分析結果は得られなかった。そこ

で、ABS 用いて条例の効果が生まれるプロセスの分析、検証行うことを考えている（図 3）。都道府県と市町村

12 歳児

北海道

静岡県

対象群（カッコ内は重み）

鹿 児 島 県 (0.239), 東 京 都(0.193), 富山県 (0.131), 愛知県(0.127), 青森県 (0.081), 滋賀県(0.052), 石川県 (0.048), 岐阜県(0.038)鹿 児 島 県 (0.159), 富 山 県(0.109), 東京都 (0.092), 石川県(0.079), 愛知県 (0.074), 山梨県(0.072), 岐阜県 (0.059), 青森県(0.053), 山形県 (0.049), 滋賀県(0.044), 大阪府 (0.036), 奈良県(0.033), 福井県 (0.030), 神奈川県 (0.026)
沖縄県 (0.223), 福岡県 (0.203),
鹿 児 島 県 (0.161), 鳥 取 県(0.159), 山形県 (0.142), 福井県(0.056)
滋賀県 (0.136), 愛知県 (0.124),
神 奈 川 県 (0.123), 青 森 県(0.099), 鹿児島県 (0.086), 奈良
県 (0.062), 東京都 (0.061), 山梨
県 (0.058), 岐阜県 (0.044), 山形県 (0.043), 富山県 (0.040), 鳥取県 (0.037)

経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)

対象

表 7: SDID による介入前期間に対する重み

6 歳児
12 歳児

介入群
北海道
静岡県
北海道
静岡県

2006 年
0.186
0.183
0.148
0.146

2007 年
0.002
0.002
0.057
0.058

2008 年
0.385
0.386
0.3760.376

2009 年
0.427
0.428
0.419
0.420

8 おわりに

本論文では EBPM を推進するための実証的研究と理論的研究を組み合わせる研究の構想を説明し、事例として都道府県歯科保健条例の効果分析を行った。日本でもEBPM は今後ますます重要になると思われる。使えるデータと使える政策評価事例を待ち望む政策実務者のために、使える手法、研究を目指して行きたい。

untreated cavities holder ratio (%)

経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)

sdid control

Hokkaido 6 age

454035

2006

2008

2010

2012year

図 4: 北海道 6 歳児の推定介入効果グラフ。青が介入群の実際の値を、赤が SDID により合成された対象群の数値を表す。図中央の二本の平行線はそれぞれの群のトレンドを表している。介入効果がなかった場合はこの二つの線は平行になる。その場合の介入群のトレンドが灰色の点線である。灰色の点線と実際の介入群のトレンドの線の縦方向のuntreated cavities holder ratio (%)

差が介入期間の推定平均処置効果量であり、黒の矢印として図示している。

sdid control

Shizuoka 6 age

403530252006

2008

2010year
図 5: 静岡県 6 歳児の推定介入効果グラフ

2012untreated cavities holder ratio (%)

経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)

sdid control

Hokkaido 12 age

2008

2010

403530252006

2012year

untreated cavities holder ratio (%)

図 6: 北海道 12 歳児の推定介入効果グラフ

sdid control

Shizuoka 12 age

25.0
22.5
20.017.5
15.0
2006

2008

2010

year
図 7: 静岡県 12 歳児の推定介入効果グラフ

2012経営課題にAIを!ビジネスインフォマティクス研究会 (第17回)
JSAI Special Interest Group on Business Informatics (SIG-BI #17)

参考文献
[1] Her Majesty Treasury:
Magenta Book: Central Government guidance on
evaluation, https://www.gov.uk/government/
publications/the-magenta-book, （2021 年 1月 9 日閲覧）
[2] 大橋弘編:EBPM の経済学:エビデンスを重視した政策立案. 東京大学出版会,(2020)[3] 三輪芳朗 et al.: 日本政府の EBPM 推進の取り組
み, その開始から現状に至る過程: 大橋弘編 [2020]『EBPM の経済学:エビデンスを重視した政策立案』(東京大学出版会) の刊行を契機に . 經濟學論集
The Journal of Economics, Vol.83.1 (2020), pp.
55 ‒ 122.
[4] 森川正之: EBPM に関するエビデンス. 2019 年
12 月 25 日 RIETI EBPM シンポジウム「エビデンスに基づく政策立案を進展させるために」配

布資料, https://www.rieti.go.jp/jp/events/19122501/pdf/4-4_morikawa.pdf, （2021 年 1月 9 日閲覧）
[5] 内山融: EBPM の行政への実装に向けて. 2019 年
12 月 25 日 RIETI EBPM シンポジウム「エビデンスに基づく政策立案を進展させるために」配

布資料, https://www.rieti.go.jp/jp/events/19122501/pdf/3-2_yamauchi.pdf, （2021 年 1
月 9 日閲覧）[6] 8020 推 進 財 団: 都 道 府 県 歯 科 保 健 条 例 制 定マップ, https://www.8020zaidan.or.jp/map/,（2021 年 1 月 9 日閲覧）
[7] 文 部 科 学 省: 学 校 保 健 統 計 調 査-調 査 の 概 要,
https://www.mext.go.jp/b_menu/toukei/chousa05/hoken/gaiyou/chousa/1268648.
htm, （2021 年 1 月 9 日閲覧）
[8] Ashenfelter, Orley and Card, David: Using thelongitudinal structure of earnings to estimate theeﬀect of training programs, National Bureau of
Economic Research Wroking Paper,(1984)[9] Dmitry Arkhangelsky, Susan Athey, et al.: Synthetic diﬀerence in diﬀerences, National Bureauof Economic Research Working Paper Series,w25532, https://arxiv.org/pdf/1812.09970.
pdf[10] Brodersen, K. H. et al.: Inferring causal impact using Bayesian structural time-series mod-els, The Annals of Applied Statistics, Vol. 9,pp. 247–274, (2015)[11] Asai, Yukiko and Kambayashi, Ryo and Yamaguchi, Shintaro: Childcare availability, household structure, and maternal employment, Journal of the Japanese and International Economies,
Vol. 38, pp. 172–192, (2015)[12] 神 光一郎 et al.: 歯科保健条例および歯科口腔保健法制定後の地域歯科口腔保健推進体制の実態について, 日本公衆衛生雑誌 Vol. 62, No. 6, pp. 294–299,(2015)[13] https://github.com/synth-inference/synthdid