Silviase/jgov_v1.4_full_ann huggingface dataset:
## 健康長寿社会の実現

I 予防・健康管理の推進等

<59億円>

（1）データヘルス（医療保険者等によるデータ分析に基づく保健事業）の効果的な実施の推進（一部新規）【推進枠】

【19億円】

☐ 医療保険者等がPDCAサイクルに沿った効率的・効果的な保健事業の実施を推進するため、医療保険者等において策定した「データヘルス計画」及び計画に基づく事業の実施結果について、評価・分析等を行う。また、データヘルス計画を策定した医療保険者等が実施している先進的な保健事業のうち、特に効果がある事業について横展開を図る。

（２）医療保険者等による健診・保健指導の推進（一部新規）【推進枠】

【23億円】

○ 受診率が低い被扶養者の特定健診（メタボ健診）の受診率向上を図るため、医療保険者が実施する、連続して未受診とならない取組や、オプションナル項目（骨密度測定等）の追加の取組等を支援する。

○ 歯科口腔保健の推進の観点から、医療保険者が実施する歯周疾患に着目した歯科保健指導の実施や、後期高齢者医療広域連合が実施する高齢者の特性を踏まえた歯科健診の実施等について支援を行う。

（３）先進事業等の好事例の横展開等（一部新規）【推進枠】【一部創生】

【15億円】

○ 医療保険者による、医療機関と連携した糖尿病性腎症患者の重症化予防を実施するとともに、後発医薬品の使用促進について取組を徹底する。

○ 糖尿病が疑われる者等を対象として、いわゆるメタボの改善等を図るため、健康増進施設やホテル・旅館等を活用し、「宿泊型新保健指導プログラム（仮称）」を試行することにより、疾病予防とともに、ヘルスケア産業の活性化を図る。

☐ レセプト等情報により選定した重複・頻回受診者等に対して、保健師等による訪問指導を実施することにより、適正受診の促進を図る。また、重複・多量投薬者等に対して、地域薬剤師会の協力を得て、薬剤師等による訪問指導及びその結果を処方医、薬局へのフィードバックを行うことにより、医薬品の適正使用の推進を図る。

（４）薬局・薬剤師を活用した健康情報拠点の推進（一部新規）【推進枠】

【2.5億円】

○ セルフメディケーション推進のため、薬局・薬剤師を活用した健康情報拠点（健康ナビステーション（仮称））の整備や在宅医療に関するモデル事業を実施するとともに、当該拠点の基準の作成等を行う。
(難病対策の推進のための患者データ登録整備等) （一部新規） 【7億円】

○ 難病患者データの質の向上・有効活用を図るため、患者・医療現場に成果を還元できる患者データ登録システムを構築するとともに、更なるデータの蓄積等を行う。

## （２）医療情報の共有・連携の推進等【推進枠】

<29億円>

(医療情報の利活用等の推進) （一部新規） 【26億円】

○ DPCデータ（※）の一元管理及び利活用に向けたデータベースの構築を行う。

※ DPCデータ：急性期入院医療を担う医療機関より提出され、診療報酬改定に活用される臨床情報と診療行為のデータ。

☐ レセプト情報・特定健診等情報を収集するためのソフトウェアの改修を行い、収集した情報の質の向上を図ることにより正確な分析の実現を目指すとともに、国民健康保険団体連合会等がレセプト等データを国へ提供するためのシステムの機器の更改を行う。また、レセプトから得られる医療に関する情報について、地域別等に集計した「NDB（※）白書（仮称）」にとりまとめて公表することで、レセプトから得られる情報に対する国民の理解を深めるとともに、レセプト情報の利活用を促進する。

※ レセプト情報・特定健診等情報データベース

日々の診療行為及びアウトカムデータ（診療行為の効果）を一元的に蓄積・分析・活用するための情報基盤を整備する関係学会等の取組を支援する。

(医療情報を活用した搬送治療体制の構築) （新規） 【2．1億円】

○ 救命救急センター等への救急患者の搬送情報や搬送先医療機関内での治療情報を収集・解析し、適切な搬送治療体制の構築に活用する。

(予防接種の安全性の確保) （新規） 【68百万円】

○ 予防接種後の重篤な事例や異常な副反応をリアルタイムに解析し、異常な集積を速やかに検出するソフトウェアの構築等を行い、信頼度の高いワクチン接種の推進を図る。

## Ⅲ 革新的医薬品・医療機器の実用化等

1 世界に先駆けた革新的医薬品・医療機器等の実用化等 <748 億円>

（１）医療分野の研究開発の促進等＜５６６億円＞

（医療分野の研究開発の促進等）【一部推進枠】【5 12 億円】

☐ 世界最高水準の医療の提供に必要な医療分野の研究開発について、基礎から実用化まで一貫して推進し、その成果を円滑に実用化する。
○ 薬事法改正に伴い、「軽微変更届出」の届出件数の増加が見込まれることから、当該届出の確認業務等に必要な人員を助成する。

☐ 医療情報データベースを活用した医薬品等の安全対策に関する取組を推進するため、電子カルテなどの医療情報を収集・分析するための医療情報データベースシステムの試行運用を実施し、引き続きデータの整備を進めるとともに、利活用の高度化を推進するため、安全対策のための医療機関横断的な医療情報の実践的利活用のための手法開発と体制整備を行う。また、国民に対する安全性情報等の質の向上を図るため、再生医療等製品の患者登録システムの整備等を行う。

(がんに関する臨床研究の充実) （新規）

【2 億円】

○ 基幹的な機能を有するがん診療連携拠点病院に対し、臨床研究コーディネーターを配置し、国際基準に対応した質の高い多施設共同臨床研究の実施基盤を強化する。

## 2 医療関連産業の活性化等

## （1） 医療の国際展開等（一部新規）【推進枠】

【20億円】

☐ 医療・保健分野における協力覚書を結んだ9箇国を中心として、医師・看護師等の人材育成や公的医療保険制度整備の支援を行うため、我が国の医療政策等に見識を有する者や医師等医療従事者の諸外国への派遣、または諸外国からの研修生の受入れを国立国際医療研究センターを拠点として実施する。また、日本で承認された医薬品・医療機器の諸外国での許認可を迅速化・簡素化するため、海外展開している日系企業及び当該国での課題等の把握並びに保健省等との協議・交渉を行う。

〇 ユニバーサル・ヘルス・カバレッジ（UHC：全ての人々が質の担保された保健医療サービスを享受でき、サービス使用者に経済的困難を伴わない状態を指す概念）の達成のため、指導官の養成を継続するとともに、日本のUHCや高齢化等に関する経験・知見を世界と共有し、特にアジア・太平洋地域のUHCの達成に主導的な役割を果たすため、保健医療政策に関する人材育成プログラムを作成・実施する。また、新興国における日本発の医療機器販売促進のため、必須医療機器リストの作成を支援するとともに、新興国へ専門家を派遣し、又は新興国人材を先進国へ派遣することで、保健医療人材を育成し、感染症対策を推進する。

外国人が安心・安全に日本の医療サービスを受けられるよう、医療通訳等が配置されたモデル拠点の整備、外国人患者受入れ医療機関認証制度の周知を図るなど、外国人患者受入体制の充実を図る。

○ 国際労働機関（ILO）への拠出を通じて、アジア地域の社会保险制度の整備と適切な施行のための支援を行い、近年日本企業の進出が大幅に増えている事業対象国の安定等につなげる。

(2) 新たな医薬品・医療機器開発の促進(一部新規)【推進枠】【一部創生】

【98百万円】

☐ 医療機器の研究開発の経験が豊富な医療機関で、医療機器を開発する企業の人材を受け入れ、市場性を見据えた製品設計の方法に関する研修等を実施することにより、開発人材の育成や国内外の医療ニーズを満たす開発等を推進する。

○ 保険適用希望書提出の窓口となる職員を地方に定期的に派遣し、医薬品・医療機器開発企業や研究機関を対象として保険適用に関する相談会を現地で開催する。
## （２）危険ドラッグ対策の推進【推進枠】

【11億円】

○ 社会問題化している危険ドラッグの販売を実態的に抑えこんでいくため、薬事法に基づく検査命令や販売停止命令を積極的に実施することとし、それに対応するため、現在の10倍の検査に対応できるよう国立医薬品食品衛生研究所の分析体制を強化するとともに、民間検査機関への分析業務の委託などを進める。また、麻薬取締部においては、危険ドラッグ販売店舗の多い地区では専任チームを倍増し、その他の地区では専任の体制を設けるなどの体制強化を図る。

## （3） 医薬品等インターネット販売監視体制の整備【推進枠】

【1.3億円】

○ 平成26年6月に施行された薬事法の一部改正により、全ての一般用医薬品がインターネット上で販売できるようになったことを踏まえ、偽造医薬品、危険ドラッグなどを含む違法な広告・販売を行うサイトへの監視を強化する。

## （４）防災・減災等の取組の推進【一部推進枠】【一部創生】

<1,094億円>

## （安全で持続可能な水道の構築）（一部新規）

【658億円】

○ 運営基盤が脆弱な小規模水道事業の統合等を進めるため、平成36年度末までに計画等を策定し、着工した事業を対象とする「水道事業広域化等推進費補助（仮称）」を創設する。これにより、水道事業の広域化を推進することで、運営基盤の強化を図るとともに、水道施設の耐震化対策等を推進し、将来にわたり持続可能かつ強靭な水道を構築する。

## （災害医療体制の充実等）（一部新規）

【197億円】

○ 地域において必要な救急医療が適時適切に提供できる体制の構築を目指し、早期の治療開始、迅速な搬送を可能とするドクターへリの運航体制を拡充する。

○ 災害派遣医療チーム（DMAT）の派遣調整等を行うDMAT事務局の強化、DMATに関する研修の実施、第2次救急医療機関等が参加する災害対応訓練の開催や地域の対応体制の検証を支援することにより災害医療体制の充実を図る。

○ 東日本大震災や今後、発生が想定される南海トラフ地震等を踏まえ、未耐震の災害拠点病院や救命救急センター等の耐震整備等を行う。

〇 国立病院機構において、災害時の医療を確実に実施するため、初動医療班の派遣体制の整備等を行い、災害医療体制の強化・充実を図る。

## （医療・介護施設等における防災の取組の推進）（新規）

【240億円】

○ 入院患者が安心して医療を受けることができるよう、有床診療所や中小病院に対する火災発生時に初期消火を行うスプリンクラー等の整備を、高いニーズを踏まえて支援する。

○ スプリンクラー設備等が未設置となっている介護施設等に対し、その設置を計画的に推進する。
# 平成27年度概算要求の「新しい日本のための優先課題推進枠」(概要)

## I 女性・若者等の活躍推進

<1>女性の活躍推進と少子化対策

(1)「待機児童解消加速化プラン」の更なる展開

(2) 妊娠・出産包括支援事業の展開

(3)女性の健康支援の充実のためのがん検診

(4)女性活躍推進加速化助成金等事業(仮称)

<2>若者・高齢者・障害者等の活躍

推進など

(1) 地域若者サポートステーション事業の拡充

(2) 障害者の社会参加・就労支援

(3) 生活困窮者等に対する支援の強化

(4)刑務所出所者等に対する就労支援の拡充

(5)難病患者に対する支援の強化

## <3>働き方改革の実現

・持続的な経済成長に向けた最低賃金の引上げのための環境整備

<4>地域に応じた良質な雇用機会の確保・創出等

・「地域しごと創生プラン(仮称)」の推進

## Ⅱ 健康長寿社会の実現

<1>予防・健康管理の推進等

(1) データヘルス (医療保険者等によるデータ分析に基づく保健事業) の効果的な実施の推進

(2) 医療保険者等による健診・保健指導の推進

(3) 先進事業等の好事例の横展開等

(4)薬局・薬剤師を活用した健康情報拠点の推進

<2>安心で質の高い医療・介護サービス提供体制の構築等

1. 安心で質の高い医療・介護サービス提供体制の構築等

(1)チーム医療の推進

(2)女性医師が働きやすい環境の整備

(3)地域における医療・介護の連携強化の調査研究

(4)専門医に関する新たな仕組みの構築に向けた支援

(5)医療事故調査制度の実施

2. 健康・医療分野のICT化

(1) 健康・医療分野におけるICT化の推進及び基盤整備

(2)医療情報の共有・連携の推進等

<3>革新的医薬品・医療機器の実用化等(1)食の安全・安心の確保

1. 世界に先駆けた革新的医薬品・医療機器等の実用化等

2. 医療関連産業の活性化等

(1)医療の国際展開等

(2) 新たな医薬品・医療機器開発の促進

3. 医療最先端の医療技術・医薬品等への

迅速なアクセス確保

(1) 最先端医療技術の迅速・適切な評価の推進

(2)ウイルス性肝炎に係る医療の円滑化の推進

<4>安全・安心な暮らしの確保等

(2)危険ドラッグ対策の推進

(3)医薬品等インターネット販売監視体制の整備

(4) 防災・減災等の取組の推進

(5)人口減少に応じた地域福祉のまちづくり等

(6)その他
(3)生活困窮者等に対する支援の強化【一部創生】【71億円】·40歳代、50歳代の生活保護受給者等に対する就労支援の強化を図るため、福祉事務所等に「就労支援体制整備推進員(仮称)」を配置し、地域における就労支援の連携体制の構築や就労の場の開拓等を行う。·「貧困の連鎖」の防止を図るため、福祉事務所に「子ども健全育成支援員(仮称)」を配置し、子どもを有する生活保護受給世帯等の抱える課題に即した個別支援を継続的に行う。·生活保護(医療扶助)の適正化を更に推進するため、福祉事務所への医療扶助相談・指導員の配置を進め、後発医薬品の使用促進や健康管理支援を行う。·(4)刑務所出所者等に対する就労支援の拡充【3.2億円】再犯防止対策の観点からも重要な刑務所出所者等の就労支援については、ハローワークの支援体制の整備や刑務所出所者等を雇用する事業主への支援充実など、「刑務所出所者等就労支援事業」の拡充を行う。·(5)難病患者に対する支援の強化【創生】【1.9億円】都道府県が新たに指定する難病医療拠点病院に、「難病医療コーディネーター(仮称)」を配置し、難病患者の医療提供支援や就労支援をはじめとした社会参加を支援するとともに、保健所が中心となり、医療機関や福祉関係機関と連携し、難病患者の不安解消・在宅医療の質の向上を図る。	14
<3>働き方改革の実現	持続的な経済成長に向けた最低賃金の引上げのための環境整備全ての所得層での賃金上昇と企業収益向上の好循環が持続・拡大されるよう、最低賃金の引上げに向けた中小企業・小規模事業者に対する支援の充実を図る。	331
<4>地域に応じた良質な雇用機会の確保・創出等	「地域しごと創生プラン(仮称)」の推進【創生】地域ごとに異なる課題の解決や資源の活用などを通じて、良質かつ安定的な雇用機会の創出等が可能となるよう、地方自治体の産業政策・地域振興策等と連携しつつ、地域の自発的な「しごと創生」の取組を総合的に支援する。また、意欲ある自治体の取組と連携し、大都市圏から各地方へ、地域経済を支える人材の確保のために地域への人材還流を促す総合的な取組を行う。	59
Ⅱ 健康長寿社会の実現
<1>予防・健康管理の推進等	(1)データヘルス(医療保険者等によるデータ分析に基づく保健事業)の効果的な実施の推進【19億円】医療保険者等がPDCAサイクルに沿った効率的・効果的な保健事業の実施を推進するため、医療保険者等において策定した「データヘルス計画」及び計画に基づく事業の実施結果について、評価・分析等を行う。また、データヘルス計画を策定した医療保険者等が実施している先進的な保健事業のうち、特に効果がある事業について横展開を図る。(2)医療保険者等による健診・保健指導の推進【23億円】·受診率が低い被扶養者の特定健診(メタボ健診)の受診率向上を図るため、医療保険者が実施する、連続して未受診とならない取組や、オプションナル項目(骨密度測定等)の追加の取組等を支援する。·歯科口腔保健の推進の観点から、医療保険者が実施する歯周疾患に着目した歯科保健指導の実施や、後期高齢者医療広域連合が実施する高齢者の特性を踏まえた歯科健診の実施等について支援を行う。	59
2. 医療関連産業の活性化等
(1) 医療の国際展開等
· 医療・保健分野における協力覚書を結んだ9箇国を中心として、医師・看護師等の人材育成や公的医療保険制度整備の支援を行うため、我が国の医療政策等に見識を有する者や医師等医療従事者の諸外国への派遣、または諸外国からの研修生の受入れを国立国際医療研究センターを拠点として実施する。また、日本で承認された医薬品・医療機器の諸外国での許認可を迅速化・簡素化するため、海外展開している日系企業及び当該国での課題等の把握並びに保健省等との協議・交渉を行う。
· ユニバーサル・ヘルス・カバレッジ(UHC:全ての人々が質の担保された保健医療サービスを享受でき、サービス使用者に経済的困難を伴わない状態を指す概念)の達成のため、指導官の養成を継続するとともに、日本のUHCや高齢化等に関する経験・知見を世界と共有し、特にアジア・太平洋地域のUHCの達成に主導的な役割を果たすため、保健医療政策に関する人材育成プログラムを作成・実施する。また、新興国における日本発の医療機器販売促進のため、必須医療機器リストの作成を支援するとともに、新興国へ専門家を派遣し、又は新興国人材を先進国へ派遣することで、保健医療人材を育成し、感染症対策を推進する。
· 外国人が安心・安全に日本の医療サービスを受けられるよう、医療通訳等が配置されたモデル拠点の整備、外国人患者受入れ医療機関認証制度の周知を図るなど、外国人患者受入体制の充実を図る。
· 国際労働機関(ILO)への拠出を通じて、アジア地域の社会保险制度の整備と適切な施行のための支援を行い、近年日本企業の進出が大幅に増えている事業対象国の安定等につなげる。
(2) 新たな医薬品・医療機器開発の促進【一部創生】
· 医療機器の研究開発の経験が豊富な医療機関で、医療機器を開発する企業の人材を受け入れ、市場性を見据えた製品設計の方法に関する研修等を実施することにより、開発人材の育成や国内外の医療ニーズを満たす開発等を推進する。
· 保険適用希望書提出の窓口となる職員を地方に定期的に派遣し、医薬品・医療機器開発企業や研究機関を対象として保険適用に関する相談会を現地で開催する。
3. 最先端の医療技術・医薬品等への迅速なアクセス確保
(1) 最先端医療技術の迅速・適切な評価の推進
患者申出療養（仮称）の創設等、保険外併用療養における新たな展開に対応するため、患者のニーズや海外での評価状況に関する調査等を行う。さらに、医療保険制度への医療技術の費用対効果評価の試行的導入に向けた指標開発等に関する調査等を行う。
(2) ウイルス性肝炎に係る医療の円滑化の推進
経口抗ウイルス薬を医療費助成の対象に追加し、高齢や合併症等の理由によりインターフェロン治療を見合わせてきた患者や一部の肝硬変患者の受療機会を確保する。
(1) 食の安全・安心の確保
EU向けに水産物を輸出するための水産加工物のEU向けHACCP（※）認定の迅速かつ適正な実施を確保するため、事例集の作成・普及等を通じた必要な体制整備を行う。
※ HACCP (Hazard Analysis Critical Control Point) : 微生物による汚染、金属の混入等の危害を予測した上で、危害の防止につながる特に重要な工程を継続的に監視・記録する工程管理のシステム
1,146※一部再掲
Cabinet Office

# ESRI Discussion Paper Series No.302

# Evaluating Density Forecasts with Applications to ESPF

Kanemi Ban, Masaaki Kawagoe and Hideaki Matsuoka

September 2013

Economic and Social Research Institute

Cabinet Office

Tokyo, Japan

The views expressed in “ESRI Discussion Papers” are those of the authors and not those of the Economic and Social Research Institute, the Cabinet Office, or the Government of Japan. (Contact us: https://form.cao.go.jp/esri/en_opinion-0002.html)
# Evaluating Density Forecasts with Applications to ESPF

Kanemi Ban $ ^{*} $

Masaaki Kawagoe $ ^{†} $

Hideaki Matsuoka $ ^{™} $

September 2013

## Abstract

This paper evaluates density forecasts using micro data from the ESP forecast (ESPF), a monthly survey of Japanese professional forecasters. The ESPF has collected individual density forecasts since June 2008. We employ two approaches: Probability Integral Transform (PIT) and Ranked Probability Score (RPS). First, we apply Berkowitz's (2001) test to individual density forecasts produced every June. We fail to reject the independency in FY 2010 and 2011 real GDP growth rates. As for CPI inflation rates, we reject the independency in all the samples during FY 2008 to 2011, but fail to reject it if the sample is limited to a half with better forecast performance. The result may ensure that individual densities coincide with the unobserved true data generation process of the actual outcomes. Second, we calculate RPS, following Kenny, Kostka, and Masera (2012), and compare the Mean Probability Distribution (MPD), the average of individual densities, with three benchmarks -- Uniform, Normal and Naïve distributions -- and individual density forecasts. The MPD turns out to be a "good" density: it beats the benchmarks in most cases and ranks about fifth out of around 35 participants every year. Subjective judgments added to the MPD are likely to deteriorate the performance in the case of CPI inflation rate, but to improve in the case of real GDP growth rate.

JEL classification: C22, C53

Keywords: Density Forecast, Probability Integral Transform, Scoring the Densities

*: Osaka University.

†: Economic and Social Research Institute, Cabinet Office, Japanese Government.

∥: Japan Center for Economic Research.

The authors owe gratitude to participants at the ESRI-JCER conference held on February 21 and the 30 $ ^{th} $ meeting of Society of Applied Economic Time Series Analysis held on July 6, especially Kazumi Asako (Hitotsubashi University) and Yoshinori Kawasaki (Institute of Statistical Mathematics). The views expressed herein are our own and in no way represent those of the organizations we belong to.
### 1. Introduction

The ESP Forecast (ESPF, hereafter), a monthly survey of Japanese professional forecasters, was launched in 2004 and has been established as a valuable information source $ ^{1} $ . The ESPF’s consensus forecasts (CF) are covered by the media and widely quoted in government and central bank documents. Its quality is confirmed by annual performance reviews. The annual review announces the top-five forecasters out of roughly 30 on average every year. Table 1 shows how many times a forecaster has been selected for the best five. Only 6 out of 50 in total were awarded three times or more. In fact, the CF belongs to this group: the CF would have been awarded three times if it had been evaluated as a participant in the past reviews from FY 2004 to 2011.

Table 1 Record of Best 5

Record of Best 5	0	1	2	3	4	5	total
Number of forecasters	30	10	4	3	2	1	50

(source) Kawagoe (2012)

Note that CF’s good performance is relative when compared with individual forecasts. That is, it still may be subject to a substantial forecast error. In fact, as for real GDP growth rate, the actual outcomes were often seen as “outliers” in terms of distribution of point forecasts (Komime, et al. 2009). However, also note dispersion of point forecasts across survey respondents may underestimate overall uncertainties surrounding the actual outcomes because each point forecast itself represents an underlying subjective distribution each forecaster has in his mind, as Zarnowitz and Lambros (1987) pointed out. Therefore, it is essential to collect data on individual subjective distributions to correctly measure the overall uncertainties.

Thus, the ESPF has asked participants to submit their density forecasts of real GDP growth and CPI inflation rates for both the current and the next fiscal year every month.
since June 2008. A density forecast is an estimate of the complete probability distribution of the possible future values of a given target variable, which provides a description of forecast uncertainty. The ESPF publishes the Mean Probability Distribution (MPD), the average density forecast across individuals', which is intended to indicate the uncertainty of the CF. Such risk information should be valuable to ESPF users, and it is, therefore, important to examine the performance of MPD.

This paper employs two approaches to evaluate density forecasts, Probability Integral Transform (PIT) and Ranked Probability Score (RPS). PIT is used to examine whether our observed individual density forecasts can be regarded to coincide with its true data generating process. Because our small sample disallows Diebold, Gunther and Tay’s (1998) graphical methods, we will resort to Berkowitz’s (2001) proposal. After confirming the consistency between the two, we will go on to calculate RPS following the procedures Boero, Smith and Wallis (2011) and Kenny, Kostka, and Masera (2012) proposed. We will run horse races between MPD and three benchmarks as well as individual density forecasts.

The rest of the paper is organized as follows. Section 2 explains the two approaches to evaluate the densities, PIT and RPS. In Section 3, we will examine the density forecast data the ESPF has accumulated over the past four years. Section 4 shows empirical results and, finally, Section 5 concludes with our assessment of density forecasts.
### 2. Methodology

There are two approaches to the density forecasts, PIT (Probability Integral Transform) and RPS (Ranked Probability Score), which will be briefly explained in this section.

### 2.1 PIT (Probability Integral Transform)

The probability integral transform proposed by Diebold, Gunther and Tay (1998) is based on the relationship between the data generating process, $ f(y_{t}) $ , and the sequence of density forecasts, $ p(y_{t})^{2} $ . The probability integral transform $ z_{t} $ is the cumulative density function corresponding to the density $ p_{t}(y_{t}) $ evaluated at $ y_{t} $ .

$$ z_{t}=\int_{-\infty}^{y_{t}}p(u)du=P\big(y_{t}\big) $$

Let $ q_{t}(z_{t}) $ denote the density of $ z_{t} $ . Assuming that $ \partial P^{-1}(z_{t}) / \partial z_{t} $ is continuous and nonzero over $ y_{t} $ , $ z_{t} \in (0,1) $ with density

$$ q\big(z_{t}\big)=\left|\frac{\partial P^{-1}\big(z_{t}\big)}{\partial z_{t}}\right|f\big(P^{-1}\big(z_{t}\big)\big)=\frac{f\big(P^{-1}\big(z_{t}\big)\big)}{p\big(P^{-1}\big(z_{t}\big)\big)}. $$

If $ p(y_{t}) = f(y_{t}) $ , $ q(z_{t}) $ is a density of uniform distribution, $ U(0,1) $ .

Diebold, Gunther and Tay (1998) characterise both the density and dependence structure of the entire $ z_{t} $ sequence when $ p \left( y_{t} \right) = f \left( y_{t} \right) $ . Suppose that $ \left\{ y_{t} \right\}_{t=1}^{m} $ is generated from $ \left\{ f \left( y_{t} \mid \Omega_{t} \right) \right\}_{t=1}^{m} $ where $ \Omega_{t} = \left\{ y_{t-1}, y_{t-2}, \ldots \right\} $ . If a sequence of density forecasts $ \left\{ p \left( y_{t} \right) \right\}_{t=1}^{m} $ coincides with $ \left\{ f \left( y_{t} \mid \Omega_{t} \right) \right\}_{t=1}^{m} $ , the sequence of probability integral transforms of $ \left\{ y_{t} \right\}_{t=1}^{m} $ with respect to $ \left\{ p \left( y_{t} \right) \right\}_{t=1}^{m} $ is identical, independent uniform distribution with $ U(0,1) $ . Thus we have

$$ q\big(z_{m},z_{m-1},...,z_{1}\big)=\frac{f\big(P^{-1}\big(z_{m}\big)\big|\Omega_{m}\big)}{p\big(P^{-1}\big(z_{m}\big)\big)}\cdot\frac{f\big(P^{-1}\big(z_{m-1}\big)\big|\Omega_{m-1}\big)}{p\big(P^{-1}\big(z_{m-1}\big)\big)}...\frac{f\big(P^{-1}\big(z_{1}\big)\big|\Omega_{1}\big)}{p\big(P^{-1}\big(z_{1}\big)\big)}. $$
If $ p(y_{t}) = f(y_{t}) $ , each of ratio is a $ U(0,1) $ and the product of a m-variate $ U(0,1) $ for $ \left\{ z_{t} \right\}_{t=1}^{m} $ is distributed iid $ U(0,1) $ .

A simple nonparametric test such as a Kolmogorov-Smirnov test is available to assess whether the probability integral transform series is iid $ U(0,1) $ . as Diebold, Gunther and Tay (1998) point out, such test is not so informative. Rather than testing, they suggest visual assessment using the graphical tools and the correlogram supplemented with the usual confidence interval. They demonstrate that histograms of transformed forecast data can reveal useful information about model failure.

Berkowitz (2001) suggests that it is more fruitful to take the inverse normal CDF transformation of $ z_{t} $ to $ z_{t}^{*} $ . If $ p(y_{t}) = f(y_{t}) $ , a sequence of $ z_{t}^{*} $ becomes iid standard normal. Berkowitz argues the more powerful tools can be applied to testing iid N(0,1). Here we will use a one-degree of freedom test of independence against a first-order autoregressive structure represented in the equation,

$$ x_{i,t}-\mu_{i}=\rho\big(x_{i,t-1}-\mu_{i}\big)+\varepsilon_{i,t}. $$

Although Berkowitz (2001) also proposes a three-degree of freedom test of zero-mean, unit variance and independency, we will try the simple test.

A problem in this paper is that the ESPF has short history of density forecasts. If we use a sequence of mean average density forecasts, the number of sample is not more than four, too small to test independency and normality. Fortunately, individual density forecasts are available in the case of the ESPF, which allows us to resort to dynamic panel techniques.

Thus, we will follow the below procedures for testing independency, where i and t denote individual forecaster and time, respectively.

(1) Probability integral transform with respect to the individual density forecasts

$$ z_{i,t}=\int_{-\infty}^{y_{t}}p_{i,t}(u)d u $$

(2) If $ z_{i,t}=0 $ or $ z_{i,t}=1 $ , then those data are dropped for testing

(3) The inverse normal CDF transformation of $ z_{i,t} $ to $ x_{i,t} $

$$ x_{i,t}=\Phi^{-1}\big(z_{i,t}\big) $$

(4) Test of $ H_{0} $ : $ \rho = 0 $ in the autoregressive model
$$ x_{i,t}-\mu_{i}=\rho\big(x_{i,t-1}-\mu_{i}\big)+\varepsilon_{i,t} $$

(5) If $ H_{0}:\rho=0 $ is rejected, the same procedure is undertaken by using subgroup of individual density forecasts.

Note the second step is added to deal with “outliers,” which will be examined in Section 3. If actual outcomes are outside individual density forecasts, $ z_{i,t} $ is equal to zero or one, i.e. $ x_{i,t} = -\infty $ or $ x_{i,t} = +\infty $ , thereby causing a computational difficulty. We decide to proceed by just dropping such failure data.

### 2.2 Scoring the Densities

RPS was proposed by Boero, Smith and Wallis (2011) and was applied to the ECB SPF densities by Kenny, Kostka, and Masera (2012).

RPS is a kind of squared error of cumulative distribution functions (CDF) for a density forecast and a binary outcome variable. The density forecast $ p_{i,t-\tau}(B_{jt}) $ is produced by a forecaster i at time $ t-\tau $ ( $ t=1,\ldots,T,\tau=1,\ldots,D $ ) for the outcome available at time t, and $ B_{jt} \left( j=1,\ldots,K \right) $ is a bin for which probability is placed. Therefore,

$$

\sum_{j=1}^{K} p_{i,t-\tau}(B_{jt}) = 1. \quad \text{In the case of outcome, } y_t \text{ is the binary variable taking a value of } 1 \text{ in } B_{it} \text{ covering the actual value, and zero otherwise. The CDFs of } p_{i,t-\tau}(B_{it}) \text{ and } y_t \text{ are } P_{it}(B_{it}) \text{ and } Y_t \text{, respectively. Kenny, Kostka, and Masera (2012) calculates the following,}

$$

$$ R P S_{i\tau}=\frac{1}{T}\sum_{t=1}^{\mathrm{T}}\sum_{j=1}^{K}\left(P_{i,t-\tau}(B_{j t})-Y_{t}\right)^{2}. $$

However, here is an assumption that the uncertainty the forecasters face is of the same magnitude if the forecast horizon, $ \tau $ , is the same. This assumption may fail to hold in our data: the uncertainty is much greater in forecasting FY 2008 outcomes in the midst of the Great Recession than in forecasting FY 2011 counterparts in its recovery phase,
for example. Average deviation values are derived to cope with this difficulty $ ^{3} $ : first, $ RPS_{i,t-\tau} $ are calculated for each t and $ \tau $ ; second, their deviation values $ (DV_{i,t-\tau}) $ are obtained for each t so that the mean $ \mu_{t-\tau} $ and the standard deviation $ \sigma_{t-\tau} $ are normalized to 50 and 10, respectively; and finally, we take an average of deviation values across t and $ \tau $ .

$$ R P S_{i,t-\tau}=\sum_{t=1}^{K}\left(P_{i,t-\tau}(B_{j t})-Y_{t}\right)^{2}, $$

$$ D V_{_{i,t-\tau}}=50+10\times(R P S_{_{i,t-\tau}}-\mu_{_{t-\tau}})/\sigma_{_{t-\tau}} $$

$$ A D V_{i}=\frac{1}{T}\sum_{t=1}^{T}\frac{1}{D_{t}}\sum_{\tau=1}^{D_{t}}D V_{i,t-\tau} $$
### 3. Data

The ESPF has collected density forecasts of real GDP growth and CPI inflation rates of both the current and the next fiscal year $ ^{4} $ made by professional forecasters every month since June 2008. Each forecaster is requested to attach probabilities that growth and inflation rates fall to each bin. MPD (Mean Probabilities Distribution), the average of individual densities, are published every month.

Developments of the MPDs for GDP growth and CPI inflation rates are respectively shown as box plots by target and period (Figure 1). The boxes represent their 50% inter-quartile ranges, and the tails represent the upper and lower quartiles. The horizontal dot lines indicate realisations. Note the actual real GDP growth rates in FY 2008 and 2009 turned out to be unexpectedly low, locating below many MPDs, especially in long forecast horizons. This suggests many forecasters tended to underestimate negative effects on the output growth of the Great Recession. However, the bias is less visible in case of CPI inflation rate, especially in FY 2008, thanks to the sticky nature of price movements.

June forecasts will be used for the independence test because they are the first forecasts based on a set of actual outcomes in the previous fiscal year $ ^{5} $ . A series of June forecasts represent an unbroken sample of one-year density forecasts with no overlapping information. Fan charts in Figure 2 illustrate every June MPD for the current and the next fiscal year, providing visually a set of prediction intervals covering 10, 25, 50, 75 and 90 percentiles.
## Figure 1 MPDs and Realised Values (1) Real GDP Growth Rates

2010 GDP Density Forecast by Periods

2011 GDP Density Forecast by Periods

(2) CPI Inflation Rates

2009 CPI Density Forecast by Periods

2010 CPI Density Forecast by Periods
Figure 2 Fan Charts (1) Real GDP Growth Rates

(2) CPI Inflation Rates