いざなτ -情報幾何学への 誘 い田中勝

ver.1.0
概要
これは，コロナ社から刊行されている「エントロピーの幾何学」で紹介した τ -情報幾何学について，より直感的な導入を与えたものである。また，別に用意した「図解版 τ -情報幾何学」と合わせて読まれることで，τ -情報幾何学がどういうものか理解しやすくなることを期待して作成したものでもある。
「図解版 τ -情報幾何学」の方には，敢えて説明をつけることはしなかったので，演習問題のつもりで各図の説明を試みてもらいたい。もちろん解答は，この小論と「エントロピーの幾何学」を読んでいただければわかるものと思う。

τ -情報幾何学では，最初に双対アファイン空間を構成してから幾何学的量を導入していく。したがって，必然的に双対平坦な状況が実現されることになる*1 。さらに，一般化ピタゴラスの定理を使うだけでよいのなら，ここで与えた「case 0 と case 1の組合せ」が「甘利流の情報幾何」または「江口流の情報幾何」であると考えても差し支えない。

1 2 つの確率分布の違いを測る
任意の 2 つの確率分布 p1 (x) と p2 (x) の違いを知りたい。どうしよう？

1.1 case 0: p2 (x) = p1 (x) + u(x)差をとってみよう。このとき，p2 (x) − p1 (x) の差が確率変数の実現値すべてについて出てくるので，総和を取ると，∑x∈Xu(x) =∑(p2 (x) − p1 (x)) =x∈X∑x∈X

*1 アファイン空間は平坦である。

1p2 (x) −∑x∈X

p1 (x) = 1 − 1 = 0(1)

となり差が無いことになってしまう。
別の視点からもう一度確認してみよう。そのために，一般の確率分布ではなく確率分布がパラメータの組みと 1 対 1 に対応するようなものを考える。つまり，そのパラメータの組みを確率分布の座標とみなそう。
このとき，p2 (x) を p1 (x) の周りで展開したときの近似誤差として 2 つの確率分布の違いを捉えることにしてみよう。つまり，p2 (x) − p1 (x) =∂p1 i 1 ∂ 2 p1dθ +dθi dθj + · · ·∂θi2 ∂θi ∂θj(2)を考える。ただし，同じ添え字（i, j, . . .）が上下に繰り返し現れたときには和の記号が省略されていることに注意する。
確率変数のすべての実現値についてこの近似誤差の和を取ると，パラメータによる微分と和を取る操作が通常は交換するために，例えば，∑ ∂p1x∈X∂dθi = ii∂θ∂θ(∑)
p1dθi =x∈X

∂1 idθ = 0∂θi(3)となり，やはり当然ながら差が無いことになってしまう。
そこで，2 つの分布の違いを評価するためには，他の方法を考える必要がある。

1.2 case 1: p2 (x) = eu p1 (x)2 つの確率分布の比で，その違いを評価してみることにしょう。しかし，両辺の対数を取るとlog p2 (x) − log p1 (x) = u(x)(4)のように対数尤度の差になるので，比を考えるということは，やはり差を考えることになる。
ところが，今度は case 0 とは違い，以下のように確率変数のすべての実現値に対する対数尤度の差の和が 0 になるとは限らない。

∑x∈Xu(x) =∑(log p2 (x) − log p1 (x)) =x∈X

∑x∈X

これは一見，良さそうに見えるが，今度は log

p2 (x)
p1 (x)(5)p2 (x)の値が正とは限らないため，せっかp1 (x)く得られた差が打ち消されてしまうかもしれない。

2log

そこで，case 0 のときと同様に別の視点からもう一度確認してみよう。つまり座標系を導入して考えてみよう*2 。このとき，log p2 (x) − log p1 (x) =∂ log p1 i 1 ∂ 2 log p1 i jdθ +dθ dθ + · · ·∂θi2 ∂θi ∂θj(6)

ここでも，同じ添え字（i, j, . . .）が上下に繰り返し現れたときには和の記号が省略されていることに注意する。
もちろん，パラメータによる微分と和を取る操作が通常は交換するために，例えば，∑ ∂ log p1x∈X∂θi∂dθi = i∂θのようになる。しかし，ここに現れる∑(∑)
log p1dθi(7)x∈Xlog p1 (x) が有限の値をとる保証が無いため，

x∈X

対数尤度の差が有限の値*3 になるとは限らない。つまり，高々 1 次か 2 次で近似しようとしているので，ある程度近いという期待をしているにも関わらず，得られる値が期待通り小さくなる補償がない。
結局，case 0 も case 1 もうまくいかない。そこで case 0 と case 1 を組み合わせることを考えてみよう。

2 case 0 と case 1 の組合せ：双対アファイン空間の導入
まずは，座標系を導入した後の違いを並べて見てみよう。確率分布の差については

p2 (x) − p1 (x) =∂p1 i 1 ∂ 2 p1dθ +dθi dθj + · · ·∂θi2 ∂θi ∂θj(8)のようになり，確率分布の比については対数尤度の差としてlog p2 (x) − log p1 (x) =∂ log p1 i 1 ∂ 2 log p1 i jdθ +dθ dθ + · · ·∂θi2 ∂θi ∂θj(9)のようになる。
さて，それぞれの 1 次の項を組合せてみよう*4 。

*2 ここでは，パラメータに関して 1 次か 2 次の近似で十分な場合を考えたい。
*3 もし，p1 (x) = 0 となることがあれば負の無限大に発散してしまう。
*4 このことを S1B1 と表すことにしよう。後でわかるように，S は Soul の S のことであり，B は Bodyの B のことである。

3∑ ( ∂p1 ) ( ∂ log p1 )
x∈X

∂θi

∂θjdθi dθj =∑p11 ∂p1 ∂ log p1 i jdθ dθp1 ∂θi ∂θjp1∂ log p1 ∂ log p1 i jdθ dθ = gij dθi dθjij∂θ∂θx∈X=∑x∈X(10)

今度は，なんとフィッシャー情報行列が出てきた。つまり，S1B1 はフィッシャー情報行列を与えることがわかった。
これまでのことを整理してみよう。まず，case 0 も case 1 もそれぞれアファイン空間になっている。ここで，アファイン空間とは，次のようなものである。

• 空間 A の要素とベクトル空間 U の要素との間に，以下のような “平行移動”++ :A × U → A : (a, u) 7→ a++ u が定義された 3 つ組 (A, U, ++ ) または単に A のことをア
ファイン空間という：(1) (a++ u1 ) ++ u2 = a++ (u1 + u2 )（繰り返された平行移動は，1 回の平行移動で表すことができる。）(2) 任意の A の要素 a1 , a2 に対して，a2 = a1 ++ u となるような U の要素 u が一意に存在する（A のどの要素からも平行移動で好きな A の要素へ移動できる。）
確認してみよう：• case 0 の場合は，A として確率分布からなる空間 P ，U として∑x∈X u = 0 となる要素で構成されるベクトル空間，++ として通常の足し算 + を取ることで，(p + u1 ) + u2 =p + (u1 + u2 ) が成り立ち，p2 = p1 + u のとき，u = p2 − p1 と一意に決めることができるので，P はアファイン空間である。そこで，このアファイン空間を P 0 と表すことにする。

• case 1 の場合は，A として確率分布からなる空間 P を拡張して∑x∈X p(x) < ∞ であるような要素から構成される P̃ を選び，U として適当な関数からなる空間を選び，++ として eu · のような演算を選ぶと，eu2 · (eu1 · p) = eu1 +u2 · p が成り立ち，また p2 = eu · p1のとき，u = log p2 − log p1 となるような要素が一意に存在するので，この拡張された P̃
はアファイン空間である*5 。そこで，このアファイン空間を P 1 と表すことにする。このP 1 から P を得るためには∑x∈X p(x) < ∞ なので，その大きさで割るだけでよい。

通常，気安く対数尤度などを考えるが，実はそれがアファイン空間を構成するためのベクトル空間の要素であるという立場からは，確率分布の空間 P を大きさが有限であるよ*5 測度が零になるような箇所での振る舞いを一つ定めているものとする。

4

うな非負の可測関数からなる空間 P̃ へ拡張すると扱いやすくなる*6 。また，これは指数型分布族の場合には十分統計量の定義とも関わっている。そもそも，case 0 で任意の 2 つの確率分布の差が 0 になるのは確率分布である（大きさが 1）ということから起こる問題である。
また，フィッシャー情報行列は，対数尤度の 1 次の差として P̃ で得ることができなかった確率分布の差を P に射影（S1B1）することで捉えている*7 。
つまり，これら 2 つのアファイン空間 P 0 と P 1 を組合せることで，フィッシャー情報行列（S1B1）が 2 つの確率分布の違いとして現れてきた，ということである。この際にポイントとなるのは，平行移動の定義である。平行移動の定義が変わっても 2 つの確率分布の違い（フィッシャー情報行列（S1B1））は変化しないという要請をすれば，どのようなことが可能になるのだろうか。

3 case s（Body と Soul）：τ -情報幾何学への入り口
ここでは，確率分布の空間 P を拡張した P̃ で考えていく*8 。平行移動 ++ を
1{1 + (1 − s) u} 1−s ⊗s(11)に取る。ここで，u ∈ U であり*9 ，{} 1f ⊗s g = f 1−s + g 1−s − 1 1−s(12)である。これらは，次のような性質を持っている：
1lim {1 + (1 − s) u} 1−s = 1 + u(13)lim f ⊗s g = f + g − 1(14)s→0s→01

lim {1 + (1 − s) u} 1−s = eu(15)lim f ⊗s g = f g(16)s→1s→1*6 もちろん，平行移動の度に規格化を保つように（確率になるように）調整してもよい（P 0 ）が，平行移動が済んだ後に必要になってから規格化する（確率に戻す）ことにしてもよい（P 1 ）。
*7 この射影は逆向きでもよい。つまり，P で得ることができなかった確率分布の違いを P̃ に射影することで捉えているとみてもよい。
*8 これを正錐（positive cone）という。
*9 ベクトル空間 U は平行移動のパラメータ s に応じて適切なものが選択される必要がある。

5

平行移動の仕方を決定しているパラメータ s の値で区別されるようなアファイン空間
sP を一つ選ぶと，選ばれたアファイン空間 P s の要素は互いに1p2 = {1 + (1 − s) u} 1−s ⊗s p1(17)のような関係で繋がっている。
このように定義しておくと，例えば s → 0 のとき，式 (13) と (14) を用いると

p2 = (1 + u) + p1 − 1 = p1 + u(18)のようになり，P 0 での状況を再現する。
また，s → 1 のとき，式 (15) と (16) を用いると

p2 = eu p1(19)のようになり，P 1 での状況を再現する。
したがって，先ほどの case 0 と case 1 はここで定義されたアファイン空間の特殊な場合ということになる。
さて，p2 を p1 で近似したときの状況が知りたい。そのために τ -対数尤度を考えると

lns p2 = lns p1 + uのようになる。ただし，lns f =)
1 ( 1−sf−11−s(20)(21)である。また，

lim lns f = log fs→1(22)である。
このとき，lns p2 − lns p1∂ lns p1 i 1 ∂ 2 lns p1 i jdθ +dθ dθ + · · ·∂θi
2 ∂θi ∂θj ()1 1−s ∂ 2 log p1∂ log p1 ∂ log p1
1−s ∂ log p1idθ + p1+ (1 − s)dθi dθj + · · · (23)
= p1
∂θi2
∂θi ∂θj
∂θi
∂θj=

ここで，

∂ 2 log p1∂ log p1 ∂ log p11 ∂ 2 p1=+iji
jp1 ∂θ ∂θ∂θ ∂θ∂θi∂θj6(24)

であることに注意すると，s → 0 のとき，

(p2 − 1) − (p1 − 1) = p2 − p1 =∂p1 i 1 ∂ 2 p1dθ +dθi dθj + · · ·∂θi2 ∂θi ∂θj(25)を再現する。
また，s → 1 のとき，log p2 − log p1 =∂ log p1 i 1 ∂ 2 log p1 i jdθ +dθ dθ + · · ·∂θi2 ∂θi ∂θj(26)が再現される。

P 1 の相棒が P 0 だったので，P s の相棒を P 1−s に選んでみよう*10 。このとき，
ln1−s p2 − ln1−s p1∂ ln1−s p1 i 1 ∂ 2 ln1−s p1 i jdθ +dθ dθ + · · ·i ∂θ j
∂θi2 ∂θ()1 s ∂ 2 log p1∂ log p1 ∂ log p1is ∂ log p1dθ + p1+s= p1dθi dθj + · · ·iijij∂θ2∂θ ∂θ∂θ∂θ=(27)のようになる。
すぐにわかるように，P s 側と P 1−s 側の dθ i の 1 次の項を組合せる（S1B1）と∑(∂ log p1
ps1i∂θx∈X=∑x∈X)(p1∂ log p1
p1−s1j∂θ)dθi dθj∂ log p1 ∂ log p1 i jdθ dθ∂θi∂θj= gij dθi dθj(28)が得られ，フィッシャー計量が平行移動のパラメータ s に依らずに不変な量になっていることが確認できる。
そこで，P s と P 1−s の組みを τ -アファイン構造（双対アファイン構造）と呼ぶことにする。実は，このような双対性の下で情報幾何学を展開するのが τ -情報幾何学である。
ちなみに，τ -情報幾何学では，エントロピーは Body と Soul の対応する原点（始点）の組合せ（S0B0）で求めることができる。しかし，発散する項が現れるのでちょっとした工夫（くり込み）が必要になる。また，ダイバージェンスは，Body（P s ）側で p2 を uで 1 次近似したときの誤差，つまり 2 次以上の誤差の期待値を取ることで得られる。
*10 P s を Body と呼び，P 1−s を Soul と呼ぶ。

7

実際，p2 を u で直接展開することで，1{} 1−sp2 = p1−s= p1 + ps1 u + F (2) (x)+(1−s)
u1(29)となるので，u = lns p2 − lns p1 を利用して F (2) (x) を評価すると，

F (2) (x) = (p2 − p1 ) − ps1 (lns p2 − lns p1 )が得られる。これに

∑1x∈X

s(30)

1を掛けて確率変数の取り得るすべての値について和を取ると
s1∑{p2 − p1 − ps1 (lns p2 − lns p1 )}sx∈X∑{}
1=(1 − s) p2 + sp1 − ps1 p1−s2s (1 − s)

F (2) (x) =(31)x∈Xのようになる。これがダイバージェンスである。

甘利または江口流の情報幾何学で有名な双対接続は，実は，Body （P s ）側での dθ i の2 次の項と Soul（P 1−s ）側での dθi の 1 次の項の組合せ（S1B2），または Body 側でのdθi の 1 次の項と Soul 側での dθi の 2 次の項の組合せ（S2B1）により簡単に得ることができる。このとき，S1B2 の組合せは甘利または江口流での α = 1 の場合の接続に対応しており，S2B1 の組合せは α = −1 の場合の接続に対応している。

以上で，この「τ -情報幾何学への誘い」を終えることにする。この続きはコロナ社より刊行された「エントロピーの幾何学」で是非お楽しみ頂きたい。

8