解説

ESP フォーキャスト調査の評価について
ESP フォーキャスト調査委員会委員 河越正明 (社) 経済企画協会発行「ESP」2006 年 9 月号 pp.60-64

はじめに
本稿の目的は、9 月 5 日に (社) 経済企画協会から発表された「ESP フォーキャスト調査の評価について」に関し、その評価方法を解説することである。この評価方法については、ESP フォーキャスト調査委員会（委員長：小峰隆夫法政大学教授）において議論され了承されたものである1 。さらに ESP フォーキャスト調査（以下、ESPF と呼ぶ。）の参加予測者の評価作業の延長として、ESPF が計算している予測総平均 (いわゆるコンセンサス) のパフォーマンスを自己点検し、その総合評価がベスト 10 に入る精度であることを示す。

 評価の概要
予測者 i が指標 k について時点 j に作成した t 期の予測値を ŷkijt とし、その実現値を ytk とすれば、その予測誤差は

ekijtytk  ŷkijt(1)とあらわすことができる。
評価対象として、調査項目の中から (a) 年度予測として実質 GDP 成長率、(b) 四半期予測として実質 GDP成長率 (季調済前期比年率)、CPI 上昇率 (前年同期比) 及び失業率（季調値）の計 4 項目を取り上げる。予測時
点は、(a) については、後述するデータの利用可能性から 2004 年度については 2004 年 4 月以降、2005 年度については 2005 年 1 月以降とした。(b) については、公表直前から原則 6 ヶ月分とした。予測対象期間は、(a)については 2004,05 年度の 2 年度分、(b) は 2004 年 4-6 月期から 2006 年 1-3 月期までである。
予測の評価を具体的に数式で示そう。実質 GDP 成長率の年度値については、年度別に

RMSEitGDPFY

1
wGDPFY
eGDPFY2jt
i jt
Nt ∑j1 2t

FY 2004 05;i1  37(2)のように RMSE(Root Measn Square Error, 平均予測誤差自乗和の平方根) を計算する。四半期予測についても、

RMSEitk

14 Q∑¾t

1wkjQ ekijQ2NQ ∑j1 2tFY 2004 05;kGDPQ CPIQ UNQ(3)

 内閣府経済社会総合研究所特別研究員
1 紙幅の制約から評価方法の詳細は割愛せざるをえないが、詳細についてはご興味がある場合は、経済企画協会までお問い合わせ下さい。

1

「ESP」2006 年 9 月号

2のように、年度別に計算する。式 (2),(3) の wkjt は予測時点の違いを反映したウェイトである (後述)。また、調査対象月数 Nt 又は NQ で除して、対象月数の違いを調整している。次にこれらの 4 指標を年度別に、

T T Lt

1RMSEtk  MeanRMSEtk 50  10 ∑4 kStdRMSEtk t

FY 2004 05(4)を計算し、それぞれの指標のいわば偏差値 (平均 50, 標準偏差 10) の平均値をもって総合評価とする。そしてこの年度毎に求めた平均偏差値を用いて、各予測者のランキングを行った。ただし、通常の成績の偏差値と異なり、偏差値が小さいほど成績が良い。以上の計算を行う上での詳細を以下で述べる。
■実績値

式 (1) の計算にあたり、実績値が後で改訂されるため、どの実績値を使うか実は自明ではない。そこで、まず一番最初に公表される値を「実績値」として用いることとした。さらに、GDP 統計については、固定価格方式から連鎖価格方式への移行 (2004 年 12 月)、基準年の 1995 年から 2000 年への変更 (2005 年 12月) といった大きなデータ系列の変更があって予測値との対応関係が複雑であるため、実質 GDP 成長率の年度値について表 1 のように整理した。

(表 1 予測値と実績値の対応： 実質 GDP 伸び率の年度値)■予測値 予測値については、調査対象の予測者のうち無回答数が多い者を 2004,05 年度それぞれ 3 つ除いた
結果、両年度とも 37 機関 (人) となった2 。難しいのがこれら 37 予測者の回答で散見される無回答の扱いである。無回答の回数が多い者が成績良好とならないためにはペナルティを課すことが望ましいが、それは一体どの程度とすべきか。ここでは、当該月の有効回答の wkjt ekijt 2 の平均を計算し、その 1.5 倍の数値で代用した。
■予測時点の違い

ESPF では毎月調査しているので、一つの実績値に対して予測時点の異なる複数の予測値が存在する。そして、予測時点と公表時点が近いほど予測者が直面する不確実性は小さく、精度の高い予測値となるはずであり、この点を調整する必要がある。例えば 2005 年度の実質 GDP 成長率を同じ 0.1 ポイントだけ外した２人の予測者がいた場合に、2005 年 1 月時点 (2004 年 7-9 月期の実績まで利用可能) の予測で外した予測者と、2006 年 5 月時点 (2005 月 10-12 月期の実績まで利用可能) で外した予測者を同じように扱うのは適当ではない。このウェイトは、次節で述べるように推計式を用いて求めた。
■



予測の精度を評価するために MSE(Mean Squared Error) を計算し、もとのデータと単位をあわせるために平方根をとった RMSE を指標として用いている。ただし、これ以外にも種々の指標がありえ3 、異なる指標を用いれば違った評価となる可能性がある点には注意が必要である。理論的には、指標は予測者の損失関数 (またはコスト関数) 次第であり、RMSE(または MSE) を用いるのは、暗黙のうちに損失関数が、予測誤差の 2 次関数であることを仮定していることになる。

 ウェイト計算の詳細■自己回帰モデルの活用

年度の実質経済成長率並びに四半期の CPI 上昇率及び失業率については、実績値

ytk が次のような自己回帰過程に従って発生していると想定し、予測作成時点が異なる予測誤差に与えるウェイ
2 ESPF では、必ずしも「機関」として回答を得ているわけではなく、中には個人として回答している場合もある点に注意されたい。
3 経済予測についてのテキスト、例えば Diebold (1998) には MSE, RMSE のほかに、予測誤差の絶対値に基づくもの (MAD)、誤差率に基づくもの (MAPD, MSPE, RMSPE) 等が挙げられている。

「ESP」2006 年 9 月号

3トを計算した。

α k  ∑ βmk ytk m  utkytkutk  iidN 0 σk2 m(5)2005 年度の実質経済成長率を例に考えると、年度の成長率は毎四半期の前年同期比の平均として計算でき、
yGDPFY2005

1
y2005Q2  y2005Q3  y2005Q4  y2006Q1 4(6)と表せる (右辺の上添え字の GDPQ は簡単化のために省略)。予測時点 j で利用可能な実績値に基づく条件付き期待値が、予測値である。そこから求められる予測誤差は、utk の線形結合で表され、その係数はβmk m1 2  の関数である。その結果、予測時点 j の予測誤差の分散は一般的に、
VareGDPFYj 2005 2
Φ j β σGDPQ(7)と表せる。式 (5) を推計して式 (7) の β を β̂ で置き換え、ウェイトを

wGDPFYj 2005

 12

Φ j β̂ (8)と定義する。これを予測誤差に乗じることで、予測時点にかかわらず予測誤差の分散を一定化することが可能となる。
式 (5) を推計すると m2 となり、その推計結果に基づき計算したウェイトは表 2 の通りである。また、以上と同様のやり方で CPI 上昇率及び失業率の四半期予測におけるウェイトを計算できる。ただし四半期値であるので、式 (6) では月次データの 3 ヶ月分の平均をとることになる。それぞれの推計結果から、式 (8) と同様の計算を行い、その結果を 4-6 月期を例に示せば、表 3 の通りである。

(表 2(表 3年度成長率に用いる予測時点別ウェイト)

CPI 上昇率及び失業率（四半期）に用いるウェイト：4-6 月期の例)

■若干の拡張 四半期の実質 GDP 成長率については、式 (5) の右辺に他の説明変数 xt j j

0 1  も加えたモデルを考えた。こうした若干の拡張形を用いるのは、自己回帰モデルを用いてウェイトを計算すると、ウェイトの減少スピードが極めて緩やかで、予測実務の実感からすると緩やか過ぎるという感が否めないからである4 。GDP 統計は二次統計という性格上、同時期の結果を示すさまざまな統計が出た後に公表される。
予測の実務においては、こうした種々の統計を使って、四半期の実質 GDP 成長率を推計しているのが実態だと推測される。つまり時間の経過とともに、他の指標が利用可能となることから、当該四半期の結果についての不確実性は減少していくが、自己ラグのみを説明変数としている自己回帰モデルでは、使用する情報に対する制約が厳しすぎるために、こうした点を考慮できない。
そこで具体的には以下のように、t 期に観察可能である xt を yt の予測に使うことができると想定する (式(9) の上添え字 GDPQ は簡単化のために省略)。
ytxt

MNm 1Pn 0αy  ∑ βm yt m  ∑ ζn xt n  utαx  ∑ η p xt p  vtput  iidN 0 σy2 vt  iidN 0 σx2 4 例えば 4-6 月期の予測については、8 月時点のウェイト 1.0 から半年前の 2 月時点でのウェイトは 0.962 である。

(9)(10)「ESP」2006 年 9 月号
より具体的に 44

 6 月期の実質 GDP 成長率の予測する場合について検討する。xt として鉱工業生産指数 (季調済前期比伸び率) を用いることを考えると、予測誤差の分散は、

VareGDPQj 2005Q2 22Ψ j β σGDPQ Θ j β ζ η σIIPQ
2Ω j β ζ η r σGDPQ

r

22σIIPQ
σGDPQGDPQ(11) と計算される。式 (9) 及び (10) の推計結果から Ω j β̂ ζ̂ η̂ r̂ を計算し、w jt
Ω j β̂ ζ̂ η̂ r̂ 1 2 を求める。この結果が表 4 である。2,5,8 月のウェイトは推計結果から直接から与えられ、その間の月のウェイトは一定の比率で補間している。1995 年基準の連鎖価格、固定価格の系列の場合も同様に計算できる。

(表 4四半期実質 GDP 成長率に用いるウェイト: 4-6 月期の例)■留意点 以上のようなウェイトの計算方法は、次のような点から必ずしも正確ではない点に留意が必要である。まず、推計に用いたデータは、データの事後的な改定によって、毎月の調査時点で予測者が予測を作成するのに用いたデータとは異なっていることである。二番目に、上の方法はパラメータの推計誤差、さらには定式化のミスに起因する予測誤差を無視していることである。三番目に、予測時点の違いから生じるウェイトの違いから明らかなように、四半期予測における CPI 上昇率や失業率では、公表直前月の誤差が極めて重要である。しかし、ESPF では予測値を小数点第 1 位までしか求めていないために、大まかな計算となってしまっている。

 コンセンサスの評価
今回行った各予測者の評価作業の延長として、同様のやり方で、ESPF で毎回算出している「予測総平均」、いわゆるコンセンサス予測のパフォーマンスを評価してみよう。その結果は表 5 が示す通り、個別の指標では概ね 10 位前後であり、総合評価では 2004 年度 5 位、2005 年度 8 位となる。なお、評価対象期間中ずっと強気派 (または弱気派) であったならどのようなパフォーマンスとなるかは、同表の「上位平均」(または「下位平均」) の数字を見ることでわかる。

(表 5 コンセンサスの評価)注目すべきは、コンセンサス予測が割合よい成績であることである。なぜ、37 者中 18 位程度より良い成績を収めることができるのであろうか。その理由は、直観的には、どこにも完全な予測はないということに求められる。各予測は実態のある一面を捉えているが、見逃している点もあるに違いない。種々の予測を集めてきて平均をとるということは、個々の予測が見逃しているリスクの分散化を図ることに他ならず、その有効性はポートフォリオ理論の分散投資のアナロジーから考えることが可能である。コンセンサスを計算する際のウェイトの付け方については、理論的に最適ウェイトを求めることができるが、既存の研究によれば5 、最適ウェイトによるコンセンサスが、単純な算術平均より優れたパフォーマンスとなるとは限らず、むしろ後者の方が優れている場合も少なくない。
以上から私見であるが、予測総平均とは決して単なる平均ではなく、その総合評価がベスト 10 に入るそれ自体が一つの優れた予測である。毎月 40 弱の予測者の予測を集約して公表するということはそれ自体大きな意義のある事業であるけれども、さらに調査結果として出される「予測総平均」にも積極的な意義を認めることができると考えている。
5 Clemen (1989) などを参照せよ。

「ESP」2006 年 9 月号

5

参考文献
Clemen, Robret T. (1989) “Combining Forecasts: A Review and Annotated Bibliography.” International Journalof Forecasting. Vol. 5. pp. 559–583.
Diebold, Francis X. (1998) Elements of Forecasting. Cincinnati, Ohio: South-Western College Publishing.

「ＥＳＰ」2006 年 9 月号

6

図表

表１ 予測値と実績値の対応： 実質ＧＤＰ伸び率の年度値
予測時点

予測している系列

2004年4-12月
1995年基準1995年固定価格
2005年1－12月
1995年基準連鎖価格(2000年参照価格)
2006年1月以降
2000年基準連鎖価格(2000年参照価格)(A)
注１：2005年4-6月期で実績値の公表が終了
注２：2005年7-9月期で実績値の公表が終了表２ 年度成長率に用いる予測時点別ウェイト
2000年基準
予測時点
連鎖価格
t年3-5月1.000
t-1年12月～t年2月
0.433
t-1年9-11月
0.270
t-1年6-8月
0.200
t-1年3-5月
0.177
t-2年12月～t-1年2月
0.171

表３ ＣＰＩ上昇率及び失業率（四半期）に用いるウェイト：4-6月期の例
予測時点
CPI上昇率
失業率
7月
1.000
1.000
6月
0.495
0.480
5月
0.303
0.297
4月
0.243
0.241
3月
0.205
0.209
2月
0.180
0.189

1995年基準
連鎖価格
1.000
0.443
0.280
0.209
0.186
0.180

2004年度実績○○ (1-5月)-

2005年度
実績
対応
n.a. (注1) 評価せず
n.a. (注2) (A)で評価○

1995年基準
固定価格
1.000
0.4820.309
0.225
0.200
0.191

「ＥＳＰ」2006 年 9 月号

7

図表

表4 四半期実質ＧＤＰ成長率に用いるウェイト
1995年基準
2000年基準
予測時点
連鎖価格
連鎖価格
8月
1.000
1.000
7月
0.957
0.955
6月
0.915
0.913
5月
0.876
0.872
4月
0.837
0.831
3月
0.800
0.792
2月
0.765
0.755

1995年基準
固定価格
1.000
0.952
0.907
0.863
0.809
0.759
0.712

表5 総平均及び上位・下位平均の評価
2004年度
上位平均

年度予測

総平均

2005年度
下位平均 上位平均

実質ＧＤＰ成長率 ランキング
3510
14
6
偏差値平均
60.63
44.57
45.23
41.60
四半期予測 実質ＧＤＰ成長率 ランキング
26827
2
偏差値平均
52.47
41.70
55.63
38.76
ＣＰＩ上昇率ランキング
3416
176
偏差値平均
62.15
44.53
46.19
40.47
失業率
ランキング
35
11
15
27
偏差値平均
63.75
43.71
45.26
51.69
総合評価
ランキング
36
5
15
5
偏差値平均(*) 59.75
43.63
48.05
43.13
*： ベスト5の優秀フォーキャスターの平均は2004年度41.54、2005年度41.81である。

総平均

下位平均

16
46.92
14
45.15
6
42.10
13
44.80
8
44.74

34
56.32
37
66.81
35
66.82
31
55.37
35
61.33