変分推論の理論
宮本崇

2018/5/2
本資料は，ベイズの定理などの基本的な確率計算を既知として，確率モデリングされた問題のベイズ推論による解き方と，ベイズ推論の近似手法であり MAP 推定・最尤推定の一般化である変分推論の理論を参考文献[1] に従って整理する．特に，ベイズ推論に関するキーワードを，確率モデリングや変分推論といった方法論に位置づけられる概念と，共役事前分布や平均場近似・勾配法による KL ダイバージェンスの最小化など，モデリングされた問題を実際に解析的/近似的に解くための具体的なテクニックに位置づけられる概念の区別に主眼をおき，ここでは主に変分推論に至るまでの方法論に関する部分を詳述する．

1 ベイズ推論
1.1 ベイズ推論の例題
ベイズ推論を説明するためによく用いられる例題として，次のようなものがある．

• 袋 A には赤球が 3 つと白球が 1 つ，袋 B には赤球が 1 つと白球が 3 つ入っている．今，A か B か分
からない袋を 1 つ選び，選択した袋から球を 1 個取り出して袋に戻す操作を 4 回繰り返したところ，出現した球の色は順に { 赤，白，赤，赤 } となった．このとき，最初に選んだ袋は A と B のどちらと思われるか．
直感的には，赤の方が多く出たため袋は赤球が多く入っている袋 A が選ばれたように予想される．あるいは，もう少し確率的に
27
1. 袋 A を選んだときに { 赤，白，赤，赤 } となる確率： 34 × 14 × 34 × 43 = 256
3
2. 袋 B を選んだときに { 赤，白，赤，赤 } となる確率： 14 × 43 × 14 × 14 = 256と計算し，「観測した結果が起こる確率は袋 A を選んだ時の方が高いので，選ばれた袋 A と思われる」と答える，最尤推定の考え方を用いることもできる．
これらに比較して，ベイズ推論では「袋 A（もしくは B ）が選ばれた確率」を，観測データに基づいてベイズの定理に従って計算する．袋 A（もしくは B ）が選ばれたことを x = A（もしくは x = B ），k 回目に赤が出たことを yk = r ，白が選ばれたことを yk = w と表すこととすると，観測結果 y = {y1 , y2 , y3 , y4 } = {r, w, r, r}の下で各袋が選ばれたと思われる確率はp(x = A|y) =27( 34 · 14 · 34 · 34 ) · 21
· 12p(y|x = A) · p(x = A)9=∑
= 27 2561
3
1 = 10
p(y)
p(y|x
=
E)
·
p(x
=
E)
·
+
·
E=A,B
256 2
256 2

(1)

p(x = B|y) =3( 14 · 43 · 14 · 41 ) · 12
· 12p(y|x = B) · p(x = B)1=∑
= 27 2561
3
1 = 10
p(y)
p(y|x
=
E)
·
p(x
=
E)
E=A,B
256 · 2 + 256 · 2(2)となる．ただし，上式の式変形においてはベイズの定理

p(x|y) =p(y|x)p(x)p(y|x)p(x)p(y|x)p(x)
=∫
=∫
p(y)
p(x, y)dxp(y|x)p(x)dx1(3)

を用いており，最初にどちらの袋を選んだかはランダムだとして p(x = A) = p(x = B) = 12 であると設定している．
したがって，事前分布 p(x = A) = p(x = B) = 12 という設定と観測結果 y に基づくと，袋 A が選ばれていた確率の方が 9 倍高く，袋 A が選ばれたと結論付ける方が妥当であると考えられる．

1.2 確率モデリング
上記の例題は，ベイズの定理を用いた計算の典型的な例題であるが，ある観測データ D（上記の例題では球を 4 回取り出した結果 y ）に基づいて，求めたい別のパラメタ θ （上記の例題では x）を決定的な値（x = Aor x = B ）として求めるのでなくその確率分布 p(θ)（p(x = A) および p(x = B)）を求めようとする，問題
設定そのものが特徴的であり，そのような問題のモデル化の考え方を確率モデリングと呼ぶ．確率モデリングされた問題において実際に変数の確率分布を求める際に，ベイズ推論では事前分布 p(θ) を設定したうえで，
データ D が観測された後の事後分布 p(θ|D) をベイズの定理に従って求めている．
確率モデリングでは，ある観測データ D に基づいて，求めたい別のパラメタ θ の確率分布 p(θ) を求める問題を設定する．問題を抽象化してパラメタの確率分布を設定することによって，例えば以下のような問題も確率モデリングによって定式化することができる．

• 確率分布のパラメータ推定：ある確率分布 p(x|θ) に従って生起した n 個のサンプル X = {x1 , · · · , xn }から，元の分布のパラメータ θ の値を推定する問題• 線形回帰：入力値 X = {x1 , · · · , xn } と出力値 Y = {Y1 , · · · , Yn } から，入出力関係を表す線形モデ
ル y = wT x の係数 w を求める問題• ニューラルネットワーク：入力値 X = {x1 , · · · , xn } と出力値 Y = {Y1 , · · · , Yn } から，入出力関係を再現するニューラルネットワーク y = f (x|θ) のモデルパラメタ θ を求める問題
上記の問題はそれぞれ，最尤推定法や最小二乗法，勾配降下法などの決定論的なアルゴリズムを用いて解く
ことによって，求めるパラメタを確定値として得ることも可能である．こうした問題に対してあえて確率的な問題設定を行い，変数の確率分布を求める手順を経ることが確率モデリングのアプローチであり，問題の不確実性や解の信頼度を定量的に表現できるなどのメリットを有している．

1.3 ベイズ推論における求解の手順
確率モデリングされた問題をベイズ推論によって解く手順は，以下のように整理される．

1. 観測データ D と求めたいパラメタ θ の同時確率分布 p(D, θ) を問題に応じてモデリングする
2. 事前情報などに応じて事前確率分布 p(θ) を設定する
3. ベイズの定理に基づいて事後確率分布 p(θ|D) を求める．
p(D|θ)p(θ)
p(D|θ)p(θ)
p(θ|D) = ∫=∫p(D, θ)dθp(D|θ)p(θ)dθ4.（必要な場合）未観測のデータ Dnew に関する予測分布を求める．
∫
p(Dnew ) = p(Dnew |θ)p(θ|D)dθ

(4)

(5)

以下に，それぞれの手順を詳細に解説する．

1.3.1 同時分布のモデリング
1. におけるデータとパラメタの同時分布のモデリングとは，パラメタとデータの関係性を具体的に定式化することを意味している．例として，あるデータ D が平均 µ，分散 σ の正規分布から生成される問題で，求めたいパラメタが µ であれば，同時分布はp(D, µ) = N (D|µ, σ)p(µ)2(6)

としてモデル化される（ただし，この段階ではまだ事前分布 p(µ) は具体化されていない．）
別の例として，入力ベクトル X = {x1 , · · · , xn } が線形変換によって出力スカラー y = {y1 , · · · , yn } に変換される線形回帰の問題を考える．線形変換時には，平均 0，分散 σ の正規分布に従うわずかなノイズ ϵ が出
力に乗るとし，求めたいパラメタは線形変換の係数 w であるとすると，同時分布はp(X, y, w) = Πnk=1 N (yk |wxk , σ)p(w)(7)とモデル化することができる（ここでも，同様にまだ事前分布 p(w) は具体化されていない．
）なお，ここでは分かりやすさのために X と y を分けて記述しているが，両者はともに観測されるデータなので D = {X, y}とまとめて書くこともできる．したがって，ベイズ推論で求めるべき事後確率分布は p(w|X, y) となる．
上の 2 つの例のように，同時分布のモデリングとは，物理現象を数式を用いてモデリングするように，観測
データとパラメタの関係性を数式や確率の考え方を用いてモデリングすることを意味している．

1.3.2 事前確率分布の設定
2. における事前確率分布 p(θ) は，自動的に決まるものではなく設定に任意性を有している．どのような確率分布の形状を設定するか，その確率分布のパラメタの初期値をどのようにするか，自由に設定することができる．
この事前確率分布の設定には，パラメタについて元から知っていたことを数理的に反映させることができる
ため，事前知識を明示的に表現できるという意味で事前確率分布の設定の任意性はメリットとなる．もし，パラメタの分布について何も情報がなければ無情報分布と呼ばれる確率分布を用いることができる．冒頭の例題に即すと，袋 A と袋 B を選ぶ事前確率にそれぞれ 21 を設定することは，どちらが選ばれやすいかは完全に分からない無情報分布を設定することに相当する．あるいは，A の方が若干選ばれやすいことが例えば過去の経験から知られているようなケースであれば，p(x = A) = µ > 12 と設定することにより，そのような知識を反映させることができる．
モデリングされた問題を実際に解くときは，次のステップである事後確率分布の計算が解析的に行えるように都合のよい事前分布を設定したり，パラメタが取りうる値の範囲に応じて決まる自然な確率分布形状を設定したりすることによって，問題を扱いやすくする．そのような設定の下でも，十分な数の観測データの下では得られる事後確率分布の形状は似たものとなっていき，妥当な結論を得ることができる．

1.3.3 事後確率分布の計算
ベイズの定理に従って事後確率分布 p(θ|D) を求めるプロセスは，冒頭の例のような簡単な例であれば直接計算することができるが，実際の問題では式内の積分が解析的に計算できなかったり，あるいは計算量が膨大で現実的でなかったりすることが多い．そのため，この計算を解析的/効率的に行うためのテクニックが様々に開発されており，共役事前分布の利用やギブスサンプリング，変分近似による近似解の導出はそうしたテク
ニックに位置づけることができる．

1.3.4 予測分布の導出
予測分布の導出は，観測データ D によって更新された事後確率分布 p(θ|D) とモデリングした同時分布

p(D, θ) を用いて未知の観測データ Dnew に関する知見を確率分布 p(Dnew ) として得ることを意味している．
内部パラメタに関する知見を得ることが目的となる場合はこのプロセスは行わないが，線形回帰やニューラル
ネットワークのように未知の入力データに対する出力をモデルから得たい場合は，出力が取りうる値の範囲や確率を確率分布として得ることができる．

3

2 変分近似と変分推論
2.1 変分推論による求解パラメタと観測可能なデータの関係が複雑なモデルでは，ベイズの定理式 (4) が解析的に計算できず，求めたい事後確率分布 p(θ|D) の解析解が求められない場合が多くある．そのような場合において解を近似的に求める手法の 1 つとして変分近似がある．
求めたいパラメタ θ に関する確率分布 q(θ) を考え，この確率分布によって本来の事後確率分布 p(θ|D) を近似することを考える．このとき，最良の近似関数 qopt (θ) は次の変分問題を解くことで得ることができる．

qopt (θ) = arg min KL[q(θ)||p(θ|D)]q(8)

ただし，KL[q(x)||p(x)] は，次式で表される KL ダイバージェンスである．

∫

q(x)
dx
p(x)
= < ln q(x) >q(x) − < ln p(x) >q(x)KL[q(x)||p(x)] =q(x) ln(9)

ここで，< f (x) >q(x) は，関数 f (x) に関する確率分布 q(x) についての期待値を表している．KL ダイバー
ジェンスは，確率分布間の相違度を定量化した量であり，確率分布間の一種の距離を表している．
式 (8) には本来求めたい p(θ|D) が表れており，近似解を求める計算に本来の解が含まれているのは不思議に見えるが，後述する平均場近似の例のように近似確率分布 q(θ) をうまく置くことによって，事後確率分布を陽に用いることを回避できる．
式 (8) の変分問題の解 qopt (θ) によって本来の事後確率分布を近似することを変分近似と呼び，確率モデリ
ングされた問題を変分近似によって解くことを変分推論と呼ぶ．

2.2 平均場近似による変分推論の例
変分近似の一例として，ここでは平均場近似と呼ばれる方法を説明する．
事後確率分布 p(θ|D) の近似分布として，θ = {θ1 , · · · , θn } の n 個のパラメタが互いに独立であることを仮定した q(θ) = q1 (θ1 ) · q2 (θ2 ) · · · · · qn (θn ) という分布をおく．この分布を変分問題 (8) を解くことによって求める．このような，パラメタ間の独立性を仮定した近似を平均場近似と呼ぶ．
式 (8) を解くために，今，qi (θi ) 以外の確率分布が所与で固定されているとし，qi (θi ) のみを最適化する場合を考える．θ から変数 θi のみを除いた集合を θ\i とおき，q1 (θ1 ) · · · · qi−1 (θi−1 ) · qi+1 (θi+1 ) · · · · qn (θn ) = q(θ\i )と表すこととすると，変分問題は次のように式変形できる．

4

q( θi ) = arg min KL[qi (θi ) · q(θ\i )||p(θ|D)]qi⟨⟩qi (θi ) · q(θ\i )= arg min ln
qip(θ|D)q(θ)⟨⟨⟩⟩
qi (θi ) · q(θ\i )= arg minlnqip(θ|D)q(θ\i ) q (θ ))
i i
⟩
⟨
⟨
⟩
= arg min ⟨ln qi (θi )⟩q(θ\i ) + ln q(θ\i ) q(θ ) − ⟨ln p(θ|D)⟩q(θ\i )\iqiqi (θi )⟨⟩= arg min ln qi (θi ) − ⟨ln p(θ|D)⟩q(θ\i )+ const.
qiqi (θi )⟩⟨qi (θi ){} − ln C+ const.
= arg min ln
qi

exp <ln p(θ|D)>q(θ\i )C

qi (θi ){}
exp < ln p(θ|D) >q(θ\i )= arg min KL qi (θi )||
qi
C


ただし，
Cは

{
}
exp <ln p(θ|D)>q(θ\i )Cが確率分布となるような正規化係数であり，C =

(10)
∫

{
}
exp < ln p(θ|D) >q(θ\i ) dθiである．
したがって，式 (10) を最小化する qi (θi ) は以下のように得られる．

qi (θi ) ={}exp < ln p(θ|D) >q(θ\i )C∴ ln qi (θi ) = < ln p(θ|D) >q(θ\i ) +const.
⟨⟩p(D, θ)+ const.
= lnp(D) q(θ\i )(11)= ⟨ln p(D, θ)⟩q(θ\i ) − ⟨p(D)⟩q(θ\i ) + const.
= ⟨ln p(D, θ)⟩q(θ\i ) + const.

(12)

式 (12) における定数部分は確率分布を正規化する項であり，1 項目の期待値計算を解析的に行うことによって qi (θi ) の具体的な分布形状が得られる．qi (θi ) を式 (12) によって更新する手続きを，i を変更しながら KL
ダイバージェンスが収束するまで十分な回数繰り返すことによって，平均場近似による変分推論の解を得ることができる．
なお，q(θ) = q1 (θ1 ) · q2 (θ2 ) · · · · · qn (θn ) の qi (θi ) 以外の関数を固定し，qi (θi ) を最適化する手続きを繰り返すことによって目的の関数 (すなわち，KL ダイバージェンス KL[q||p]) を最適化する手続きは座標降下法と呼ばれている他，モデルにおける潜在変数とパラメタに独立性を仮定して同様の定式化を行うことで得られる
アルゴリズムは拡張 EM アルゴリズムや変分 EM アルゴリズムと呼ばれる．

2.3 尤度下限最大化としての変分推論
上記のように，変分推論とは事後確率分布 p(θ|D) を KL ダイバージェンスの意味で最良近似する確率分布

q(θ) を求める問題として定式化・解釈される．一方で，変分推論を周辺尤度の下限値を最大化する確率分布を求める問題として定式化されることもあるため，本節ではそのような定式化の手続きとその解釈を説明する．

2.3.1 変分問題の定式化
ある確率モデル p(D, θ) と観測データ D が与えられた時，この観測データの周辺尤度について次のような式が成り立つ．

5∫ln p(D) = lnp(D, θ)dθ∫p(D, θ)= ln q(θ)dθq(θ)∫
p(D, θ)≥ q(θ) lndθq(θ)= L[q(θ)](13)

ここで 3 行目の不等号は，上に凸な関数 f (·) と確率分布 p(x) に関する以下のイェンセンの不等式から成立し∫∫f ( y(x)p(x)dx) ≥ f (y(x))p(x)dx

ている．

(14)

式 (13) より，L(q(θ)) は周辺尤度（エビデンスとも呼ばれる）の対数値の下限となっているため，q(θ) に対する ELBO(evidence lower bound) や変分下限 (variational lower bound, VLB) と呼ばれている．
次に，周辺尤度の対数と ELBO の差分を以下のように計算する．

∫

p(D, θ)dθq(θ)∫
p(θ|D)p(D)= ln p(D) − q(θ) ln
dθ
q(θ)
∫
= ln p(D) − q(θ) {ln p(θ|D) + ln p(D) − ln q(θ)} dθ∫∫= ln p(D) − ln p(D)dθ + q(θ) {ln q(θ) − ln p(θ|D)} dθln p(D) − L[q(θ)] = ln p(D) −q(θ) ln= KL[q(θ)||p(θ|D)](15)

上式より，周辺尤度の対数と ELBO の差分は q(θ) と p(θ|D) の間の KL ダイバージェンスとなっていることが分かる．また，対数尤度 ln p(D) は q(θ) に依存しない一定値を取るため，上式の KL ダイバージェンスを最小化する q(θ) は同時に ELBO を最大化する．

qopt (θ) = arg max L[q(θ)]
q= arg max {ln p(D) − KL[q(θ)||p(θ|D)]}q= arg min KL[q(θ)||p(θ|D)]q(16)

式 (16) は式 (8) と同じ形であり，以上のように変分推論を周辺尤度の下限を最大化する変分問題として定式化することができる．また，解析力学などにおける定理の再定式化と同様に，ベイズ推論を汎関数の最小化問題として定式化するという発想の下で∫−L[q(θ)] =q(θ) lnq(θ)
dθp(D, θ)(17)を変分自由エネルギーと呼び，これを最小化する q(θ) を求める問題として変分推論が説明されることもある．

2.3.2 変分問題の解釈
ELBO を最大化する q(θ) を用いることによって，周辺尤度を ELBO で近似することができる．周辺尤度の近似値として計算された ELBO の大小は確率モデルが複数設定されうるときに，モデルの良し悪しを選択する定量的な基準として用いることができる．
ただし，ここで変分問題が最大化しているものは周辺尤度 p(D) の下限値であり，周辺尤度そのものを最大化しようとしていないことに注意する必要がある．この点は，最尤推定の概念，特に EM アルゴリズムとの類推から変分推論の意味を理解しようとしたときに混乱を招く部分である（この変分問題の本質的な意味を，

2.4.2 節で詳述する．）
6

これまでにも述べたように，周辺尤度は現象のモデル化としての p(D, θ) と事前分布 p(θ) を設定すると一意に決まるものであり，そもそも q(θ) には依存していない．したがって，ELBO を最大化する q(θ) を求めても，モデルによる観測データの周辺尤度そのものは変化していない．
変分推論による q(θ) を用いて求めた周辺尤度の近似値 p(D) ≈ L[q(θ)] は，近似分布 q(θ) の良し悪しの尺度ではなく，予め設定した確率モデル p(D, θ) と事前分布 p(θ) の組がどれくらい観測データにフィットしているかという尺度となる．また，近似事後分布を構成した後に，新しいデータに対する尤度を近似的に求める場合にも ELBO が計算される．

2.3.3 例題を通した変分問題の意味の確認
上記のような，ELBO の最大化としての変分問題の意味を，具体例を通して確認してみる．再び冒頭の例に戻り，赤球 3 つと白球 1 つの入った袋 A と，赤球 1 つと白球 1 つの入った袋 B のどちらが選ばれたか分からない状況で観測結果 D = {r, w, r, r} が観測されたとき，袋 A と袋 B のどちらが選ばれたか，その確率を推定する問題を考える．これは，事前確率を冒頭と同様に p(θ = A) = p(θ = B) = 21 と設定し，求めたい確{µ (θ = A)q(θ) =
1 − µ (θ = B)

率分布を

(18)

として，µ を 0 ≤ µ ≤ 1 の範囲で ELBO を最大化（すなわち KL ダイバージェンスを最小化）する変分問題と定式化することができる．確率分布 q(θ) は変数 µ にのみ依存しているため，この変分問題は実際には µ に関する最適化問題となる．
はじめに，計算に必要な各種の確率を以下のように整理しておく．

12
1p(θ = B) =2

p(θ) : p(θ = A) =(19)

3 1 3 327
× × × =
4 4 4 4256
1 3 1 13
p(D|θ = B) = × × × =4 4 4 4
256
∑
27 1
3 1
15
p(D|θ)p(θ) =p(D) : p(D) =· +· =256 2 256 2
256p(D|θ) : p(D|θ = A) =

(20)
(21)

θ

p(D|θ = A) · p(θ = A)
9
=
p(D)
10
p(D|θ = B) · p(θ = B)1p(θ|D) : p(θ = B|D) =
=
p(D)
10
p(θ|D) : p(θ = A|D) =(22)

以上のもとで，このモデルにおける変分近似 q(θ) に対する周辺尤度下限 L[q(θ)]，KL ダイバージェンス

KL[q(θ)||p(θ|D)] を定義に従って計算すると以下のようになる．
L[q(θ)] =∑q(θ) · lnθp(D, θ)q(θ)= q(θ = A) · lnp(D, θ = A)p(D, θ = B)
+ q(θ = B) · lnq(θ = A)q(θ = B)
3

27

= µ · ln 256 + (1 − µ) · ln 256µ1−µKL[q(θ)||p(θ|D)] =∑q(θ) · ln

θ

(23)

q(θ)
p(θ|D)q(θ = A)q(θ = B)+ q(θ = B) · lnp(θ = A|D)p(θ = B|D)µ1−µ
= µ · ln 9 + (1 − µ) · ln 1
= q(θ = A) · ln

10

10

7

(24)

このような L[q(θ)]，KL[q(θ)||p(θ|D)] を，0 ≤ µ ≤ 1 の範囲で実際に計算したものを図 1 に示す．同図には，ln p(D) = L[q(θ)] + KL[q(θ)||p(θ|D)] として計算される周辺尤度と，式 (21) のように直接求めた周辺尤
15
度の値 ln p(D) = ln 256を同時にプロットしている．図からは，µ = 0.9，すなわち変分近似した q(θ) が事後確率分布に一致するときに KL ダイバージェンスが最小値の 0 となり，このときに ELBO が最大化され周辺
尤度に一致していることが分かる．また，ELBO と KL ダイバージェンスの和は常に一定値で，モデルの周辺尤度と等しいことが確認できる．

(a) 全体図(b)µ = 0.9 付近：KL ダイバージェンス(c)µ = 0.9 付近：ELBO

2.4 MAP 推定・最尤推定と変分推論
ベイズ推論以外に確率モデルのパラメタを求める方法として，最尤推定と MAP 推定が知られている．ここでは，これらの手法が変分推論の特殊なケースとして定式化されることを確認する．

2.4.1 KL ダイバージェンスからの導出
今，変分近似に用いる確率分布として，クロネッカーのデルタ関数 q(θ) = δ(θ − θ̂) という確率分布を考える．これは，特定の値 θ = θ̂ で無限に鋭い確率分布を考えていることに相当する．このとき，近似分布と事
後分布の間の KL ダイバージェンスは∫KL[δ(θ − θ̂)||p(θ|D)] =δ(θ − θ̂) ln∫

δ(θ − θ̂)dθp(θ|D)

δ(θ − θ̂) ln δ(θ − θ̂)dθ −=∫δ(θ − θ̂) ln p(θ|D)dθ= ln δ(θ̂ − θ̂) − ln p(θ̂|D)= ln δ(θ̂ − θ̂) − lnp(D|θ̂)p(θ̂)p(D)= −(ln p(D|θ̂) + ln p(θ̂)) + const.

(25)と変形できる．ただし，q(θ) によらない部分は定数項 const. と表現している．q(θ) = δ(θ − θ̂) はパラメタ θ̂
にのみ依存する関数であり，したがって上記の KL ダイバージェンスを最小化する θ̂ を求めることが，変分近似した確率分布を求めることに等しい．

θ̂ = arg min −(ln p(D|θ̂) + ln p(θ̂)) + const.
θ̂= arg max ln p(D|θ̂) + ln p(θ̂)θ̂= arg max ln p(D|θ̂)p(θ̂)θ̂= arg max p(D|θ̂)p(θ̂)

(26)

θ̂

と変形され，最後の式は MAP 推定の式と等しくなる．
また，式 (26) において更に事前情報分布を p(θ̂) = c と仮定する．これは，θ̂ が取りうる範囲で確率分布が8

一様であり，θ̂ について事前情報がない無情報分布を用いることに相当する．すると，上式は

θ̂ = arg max p(D|θ̂) · cθ̂= arg max p(D|θ̂)

(27)

θ̂

と変形され，これは最尤推定の式と等しくなる．
以上のことから，MAP 推定は変分推論において無限に鋭い確率分布を仮定したケース，すなわち θ が確定
値のみをとるケースを定式化したものに相当し，最尤推定は更に MAP 推定において事前確率分布を設けない
ケースに相当していることが分かる．

2.4.2 変分下限からの導出と変分推論の本質
また，変分推論において最大化の対象となる変分下限 L[q(θ)] は，以下のように分解される．

∫

p(D, θ)dθq(θ)∫
p(D|θ)p(θ)= q(θ) lndθq(θ)∫= q(θ) (ln p(D|θ) + ln p(θ) − ln q(θ)) dθ∫∫q(θ)= q(θ) ln p(D|θ)dθ − q(θ) ln
dθ
p(θ)
∫
= q(θ) ln p(D|θ)dθ − KL[q(θ)||p(θ)]

L[q(θ)] =q(θ) ln(28)

変分推論では変分下限 L[q(θ)] を最大化する q(θ) を求めるが，そのためには式 (28) の最下段における第 1 項
はなるべく大きく，かつ第二項はなるべく小さくなる必要がある．このことは，変分推論の本質に関わる非常に大きな示唆を含んでいる．
第 1 項は，観測データ D の θ に関する条件付き分布の，近似分布 q(θ) による期待値となっており，これは近似分布 q(θ) による観測データの尤度の対数値を表している．これを最大化するような確率分布 q(θ) を求めようとすることは，尤度を最大化するパラメタを求める最尤推定の発想と一致しており，この項のみを最大化する近似分布は ln p(D|θ) が最大となる θ̂ で値が立つデルタ関数を考えれば良い．
これに対し，第 2 項は事前分布と近似分布の KL ダイバージェンスを表している．この項を小さくしようとすることは，近似分布 q(θ) が事前分布 p(θ) から大きく離れることを防ぐ．そのため，第 1 項で近似分布が無限に尖ろうとすることに対して第二項は設定された事前分布を通してペナルティを与える正則化の効果を与えている．これは MAP 推定において事前分布を考慮することと同じ効果であり，その結果，変分推論の解は第1 項と第 2 項のバランスの取れたポイントとして得られることとなる．
また，上式における第 1 項が最尤推定の発想を，第 2 項が MAP 推定の発想を定式化したものであることを
以下のように実際に確認する．先ほどと同様に，近似分布に q(θ) = δ(θ − θ̂) という仮定をおく．すると，式(28) は∫L[δ(θ − θ̂)] =δ(θ − θ̂) ln p(D|θ)dθ − KL[δ(θ − θ̂)||p(θ)](∫)∫∫= δ(θ − θ̂) ln p(D|θ)dθ −δ(θ − θ̂) ln δ(θ − θ̂)dθ − δ(θ − θ̂) ln p(θ)dθ= ln p(D|θ̂) − ln δ(θ̂ − θ̂) + ln p(θ̂)= ln p(D|θ̂) + ln p(θ̂) + const.

(29)= ln p(D|θ̂)p(θ̂) + const.

(30)と変形できる．式 (30) の最大化は MAP 推定にほかならない．また，式 (28) の第 1 項に由来し最尤推定に等
しい式 (29) の第 1 項のみで最適値が決定されないように，式 (28) の第 2 項に由来する式 (29) の第 2 項が正

9則化の役割を与えている．ここから更に事前分布に無情報分布の仮定をおくと，式 (29) における第 2 項が定数項に吸収され，変分問題は最尤推定に一致する．
以上のことから，尤度を最大化するパラメタを確定的に求める最尤推定に対して，事前分布を通した自然な正則化項の追加によって極端にデータにフィットする過剰適合を防いだのが MAP 推定であり，更にパラメ
タの確率分布を考慮することによってデータに基づく推論の不確実性を定量化した手法が変分推論（ひいてはベイズ推論）であると解釈することができる．このように，変分推論が最尤推定や MAP 推定の自然な拡張理論となっているという式 (28) の意味するところからは，変分推論が 1 つの近似手法にとどまらず重要な意義を持った方法論であることが示唆される．

参考文献[1] 須山敦志：ベイズ推論による機械学習入門，講談社，2017．
[2] 中島伸一，杉山将：変分ベイズ学習理論の最新動向, 日本応用数理学会論文誌，Vol.23，No.3，pp.453-483，
2013．
[3] C.M. ビショップ：パターン認識と機械学習（上・下），丸善出版，2012．
[4] 中島伸一：変分ベイズ学習，講談社，2016．

10