統計的推測の基礎 (ver. 0.1)
かしゃるふぁ2021 年 6 月 5 日
概要
このノートは渡辺澄夫先生のベイズ統計の教科書[1]の勉強ノートです。

1 統計的推測の枠組み
1.1 統計的推測の外観
まず、 統計的推測を最尤推定やベイズ推定を含む一般的な枠組みで議論しよう。 統計的推測では、ある未知の確率分布関数q(x)が存在して、これが我々が根本的には求めたい確率分布関数であると仮定する。この分布q(x)を真の分布と呼ぶことにする。例えば、 q(x)は我々が得ているデータを生成している未知の分布であり、それを今持っているデータから推測したいという状況を考えている。このとき一般には、真の分布は「何らかのパラメトリックな確率モデルp(x|θ)と真のパラメータθ? が存在して、 q(x) = p(x|θ? )となっている」とは限らないし、 また「パラメータがθ が何らかの確率分布ϕ(θ)で生成されていて、 q(x) =Rp(x|θ)ϕ(θ)dθのようになっている」とも限らない。

このノートではq(x)について上記のような仮定は一切置かない。
次に統計的推測を行うために使うサンプルについて説明をする。このサンプルとはすでに得られているデータに相当している。統計的推測では、サンプルはある確率変数の実現値であると考える。
そこでサンプルの個数をnとして、それらのサンプルを表す確率変数をX n = (X1 , X2 , . . . , Xn )とする。 一般にはこれらは独立であるとは限らないし、 確率変数Xi が真の分布q(x)に従っているとは限らない。 しかし、 このサンプルX n について何らかの仮定を置かなければ、 統計的推測について議論をすることは不可能である。 そこで多くの教科書で行われているように、 このノートではサンプルX n は真の分布q(X)に従う独立な確率変数であるという強い仮定を置く。
以上の設定のもとで議論を進めいてく。 未知の分布q(x)について、我々がサンプルX n をもとにして推定した分布のことを予測分布と呼び、 ppred (x|X n )で表す。 この時点では、 ppred (x|X n )は一般の確率分布であるとする。あとの節で、統計的推測を行う上で便利な予測分布の形について言及する。

1

1.2 予測分布と汎化損失予測分布ppred (x|X n )は何らかの意味で、 q(x)を近似していなければならない。 そこで近似度合いを評価する指標について考えていく。 2つの分布ppred (x|X n )とq(x)の相違度、つまり2つの確率分布の相違度を定量化する指標は複数あるが、 よく使われるのはKullback–Leibler divergenceである。一般に分布q とpのKullback–Leibler divergenceはZD(qkp) :=q(x) logq(x)dxp(x)(1)で定義される。 Kullback–Leibler divergenceを変形すると、

ZZ

q(x) log q(x)dx − q(x) log p(x)dx
Z= −S(q) − q(x) log p(x)dx

D(qkp) =(2)(3)となる。 ここで右辺の第一項目はq だけに依存するから、相対的な差を考える上では第二項目だけを考えれば良い。そこで予測分布ppred (x|X n )によるq(x)の推測の精度を議論するためにZ
Gn := −q(x) log ppred (x|X n )dx(4)を考える。 これを汎化損失と呼ぶ。 汎化損失の最小値はS(q)であり、これはppred (x|X n )がq(x)に一致する場合に実現される。汎化損失を統計的推測の精度指標として用いるのであれば、統計的推測とは汎化損失が小さくなるような予測分布ppred (x|X n )を求めることである。 そこで以下のような疑問が生まれる。
疑問 1

与えれれたq に対してlimn→∞ Gn = S(q)となるような予測分布ppred (x|X n )の（必要）十分条件は何か？
この答えは???である。
統計的推測では、 Gn が小さくなるように予測分布ppred (x|X n )を試行錯誤して決めていけば良いが、ここには問題が生じる。 それはq(x)は未知の分布であるため、 Gn を直接的に計算することはできないことである。 そこで何らかの指標を使って、汎化損失Gn を推測する。 例えばq(x)をサンプルX n による経験分布で近似した経験損失n

Tn := −1X
log ppred (Xi |X n )n i=1(5)のような指標が考えられる。 では経験損失は、 汎化損失に対する良い推定量になっているのだろうか。残念ながら経験損失は汎化損失の不偏推定量ではない。つまり、一般にE[Tn ] 6= E[Gn ]である。ただし、いくつかの仮定の下で、 E[Tn ] = E[Gn ] + O(n−1 )が成り立つ[1]。つまりサンプル数が多い漸近的な領域であれば、経験損失の期待値は汎化損失の期待値とほぼ等しいとみなせる。

2汎化損失のよりよい推定量は、 WAIC（widely applicable information criterion）である。 ここではWAICの定義は述べないが、 WAICをWn で表すと、 E[Wn ] = E[Gn ] + o(n−1 )となる。

1.3 確率モデルと事後分布
さて、今までの議論では一般の形の予測分布を考えていたが、予測分布がq(x)に近づくように最適化する上では、一般の分布を考えるよりも特定のクラスの確率分布を考えるほうが都合が良い。
そこで、予測分布を調整するためのパラメータw ∈ W を導入して、次の形の分布を考える。

ppred (x|X n ) =Zpmodel (x|w)ppost (w|X n )dw(6)

W

ここで条件付き確率pmodel (x|w)を（パラメトリックな）確率モデルと呼び、 ppost (w|X n )をパラメータwの事後分布（posterior distribution）と呼ぶ。 ここで確率モデルpmodel (x|w)が予測分布を探索するためのクラスを定め、パラメータwをサンプルX n からどのように求めるのかを決めているのが事後分布ppost (w|X n )である。
例えば最尤推定法の場合は、パラメータwのサンプルX n による最尤推定量をwML (X n )として、ppost (w|X n ) = δ(w − wML )となる。ここでδ(w)はデルタ分布である。この枠組みでは、最尤推定もベイズ推定も同じようにより扱うことができるし、パラメータwはサンプルX n に依存した確率変数となる。もちろん、最初に設定したようにサンプル、つまりデータも確率変数である。ここで登場した確率モデルとの事後分布2つを調整するのが統計モデリングである。
渡辺ベイズ本[1]では事後分布の形として、

ppost (w|X n ) =Y
1
ϕ(w) {pmodel (Xi |w)}βZn (β)i(7)というのを考えている。この形の事後分布を考えると多くの有益な性質を示すことができる。このノートでは後の節で、なぜこの形が理論的な解析を行う上で便利なのかについて説明する。

1.4 確率モデルの評価
前の節で予測分布を確率モデルと事後分布という2つの部分に分けた。 この節では、ひとまず事後分布についてはおいておき、確率モデルに焦点を当て、真の分布q(x)と確率モデルpmodel (x|w)の関係を評価しよう。この節ではパラメータは確率変数ではなく、ただの変数である。
さて平均対数損失関数をZL(w) := −q(x) log pmodel (x|w)dx(8)で定義する。 平均対数損失関数は、 汎化損失と同じやり方で真の分布と確率モデルの違いを定量化し、 それを確率モデルのパラメータw ∈ W の関数として見たものである。 汎化損失と同様に、q(x)は未知の分布であるから、我々は平均対数損失関数を直接的に計算することはできない。そこ3

で経験対数損失関数を
nLn (w) := −1Xlog pmodel (Xi |w)
n i=1(9)で定義する。経験対数損失関数は、平均対数損失関数の定義に現れる真の分布を経験分布で置き換えたものである。このとき定義から明らかなように、 E[Ln (w)] = L(w)が成立する。つまり、経験対数損失関数は平均対数損失関数の不偏推定量となっている。これは汎化損失と経験損失の関係とは、異なっている。
確率モデルpmodel (x|w)の中で、最も上手く真の分布q(x)を近似していると言えるのは、平均対数損失関数が最小値を取るうようなパラメータを使ったモデルである。 そこで、 パラメータの集合W0 を

W0 := arg min L(w)w∈W(10)で定義し、 真の分布に対して最適なパラメータの集合と呼ぶ。 ここで任意の最適なパラメー
タw0 ∈ W について、確率モデルpmodel (x|w0 )がユニークな確率分布を表すとき、真の分布に対して最適な確率分布は実質的にユニークであるという。 最適な確率分布が実質的にユニークのとき、そのユニークな確率分布をp0 (x) := pmodel (x|w0 )と書くことにする。 p0 (x)の定義から、平均対数損失関数について

Z
L(w) ≥ −q(x) log p0 (x)dx =: L0(11)が成り立つ。ここで等号が成立するのは、 wが真の分布に対して最適なパラメータの場合のみである。平均対数損失関数を最小値が0になるように定数分調整した量をK(w) := L(w) − L0(12)として、これを平均誤差関数と呼ぶ。平均誤差関数は変形するとZ
K(w) = −q(x) log

pmodel (x|w)
dxp0 (x)(13)と表すこともできる。ここでも真の分布を経験分布で置き換えた量nKn (w) = −1X
pmodel (Xi |w)log
n i=1p0 (Xi )(14)を考え、これを経験誤差関数と呼ぶ。定義から明らかなように、経験誤差関数は平均誤差関数の不偏推定量である。

1.5 事後確率の考慮
さてパラメータwが事後分布ppost (w|X n )に従う確率変数だと考えよう。 このときの経験誤差関数Kn (w)の振る舞いが知りたい。 ここではKn (w)も確率変数である。 そこでKn (w)のモーメント4

母関数

Ze−αKn (w) ppost (w|X n )dw

Kn (α) :=(15)Wを考える。
ここで事後分布ppost (w|X n )が一般的な形の場合だと議論が難しいので、 Kn (α)の計算が簡単になるような事後分布ppost (w|X n )を考えたい。そこで、次のような分布を考える。

ppost (w|X n ) =1exp(−βKn (w))ϕ(w)Zn (β)(16)

このときϕ(w)はパラメータwの事前分布と呼ばれる。ここで規格化定数Zn (β)はZ
Zn (β) :=exp(−βKn (w))ϕ(w)dw(17)

Wである。この特殊形の場合、 Kn (w)のモーメント母関数は

1Kn (α) :=Zn (β)

Ze−(α+β)Kn (w) ϕ(w)dw =W

Zn (α + β)
Zn (β)(18)となり、規格化定数Zn (β)だけの関数となる。つまり経験誤差関数Kn (w)の振る舞いを調べることは、規格化定数Zn (β)の振る舞いを調べることに帰着される。経験誤差関数の定義をZn (β)に代入
すると、

Z
Zn (β) =βn Ypmodel (Xi |w)

W i=1

ϕ(w)dw(19){pmodel (Xi |w)}β(20)p0 (Xi )であることが分かる。同様に事後分布を計算すると、ppost (w|X n ) ∝ ϕ(w)nYi=1となる。これは渡辺ベイズで議論している事後分布の形に他ならない。

参考文献[1] 渡辺澄夫, 『ベイズ統計の理論と方法』

5