数理解析研究所講究録
第 1560 巻 2007 年 109-120

109

Gradient modeling and information geometry
東京大学・情報理工学系研究科 清智也 (Tomonari SEI)
School of Information Scienece and Technology,
The University of Tokyo
概要

量的データのための統計的モデリングとして, 勾配モデリングを提案する. 勾配モデ
リングでは, 確率密度を勾配写像で表現する. 指数型モデルとの大きな違いは, 正規化定数が不要であることである. 勾配写像が一っ定まると, 対応する確率密度に従うサンプ
ルの発生は容易に行なえる. この点も従来のモデルにはない大きな特徴である. また,
平坦モデルを定義し, 砕平坦モデルに対する最尤法が凸最適化問題であることを述べる.
情報幾何学的な側面として, -平坦性と相対エントロピーから導かれる -計量を導入し,酔計量に基づくスコア法を提案する.
$g-$

$g$

$g$

キーワード逆関数法, 高次相互作用, 勾配表現, -平坦モデル, スコア法, 凸関数.
$g$1

はじめに :3 次の相互作用を持つ多変量分布

多変量の連続分布で最も扱いやすい分布は (多変量) 正規分布であろう. ところ力\nwarrow 正規分
布は 3 次以上の相互作用を表現することができない. 例えば, 図 1 の (b) と (c) のように,
第 3 変数の正負によって第 1, 第 2 変数の相関が変わるような分布を, 正規分布で表現することは不可能である. このような制約は, 量的データの解析において必ずしも現実的ではない(例えば宮川 1997, 73 節).
ここでは 3 次の相互作用を測る基準として 3 次のキュムラントを用いる. 正規分布では 3次以上のキュムラントは になる. すなわち, $m$ 変量正規分布の密度関数を$0$$\phi(x|\mu, \Sigma)=(2\pi)^{-m/2}(\det\Sigma)^{-1/2}\exp(-\frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu))$,$\mu\in \mathbb{R}^{m}$,$\Sigma\in \mathbb{R}^{mxm}$

とおくと,

log
となり,

$[ \int e^{it^{T}x}\phi(x|\mu, \Sigma)dx]=i\mu^{T}t-\frac{1}{2}t^{T}\Sigma t$

に関する 3 次以上の項は現れない.
3 次の相互作用を持たせたければ, 例えば$t$$p(x_{1},x_{2},x_{3})=\exp(;(x_{1},x_{2},x_{3})-C)$,$f(x_{1},x_{2},x_{3})$$:= \frac{1}{2}||x||^{2}+$($x_{1}x_{2}x_{3}$A 1) V $(-1)$のような分布を考えればよいかもしれないが, 正規化定数 $C$ が陽に求まらないという欠点がある.

そこで, 3 次の相互作用を持つ多変量分布で, しかも密度関数が陽に書けるようなものを構成しよう. 天下り的だが, 次のような上の関数を考える.
$\mathbb{R}^{3}$,$\psi_{*}(x)=\frac{1}{2}\Vert x||^{2}+\epsilon\sum_{\lambda=1}^{4}\arctan(e_{\lambda}^{T}x)$$(e_{1}, e_{2}, e_{3}, e_{4})=(\begin{array}{ll}1l -1-ll-l -l1l-l-1 l\end{array})$

.

110

パラメータ

$\epsilon$

が十分

$0$

に近いとき

$\psi_{\epsilon}$

は凸だから, その勾配写像$\nabla\psi_{\epsilon}=(\partial\psi_{\epsilon}/\partial x_{i})_{i=1}^{3}$は全単射である. そこで, 方程式$\nabla\psi_{\epsilon}(X)\sim N(0,I_{3})$によって確率変数 $X$ の分布を定める. 図 1 は, $X$ の散布図の例である. $X$ の密度関数の形
は, 変数変換の公式から$p_{e}(x):=\phi(\nabla\psi_{e}(x))\det[\nabla\nabla^{T}\psi_{\epsilon}(x)]$と陽に書ける ( は標準正規分布の密度). また,を漸近展開すると,$\phi$$\kappa_{1\mathfrak{B}}=0.1237\epsilon+O(\epsilon^{2})$,$\epsilonarrow 0$の下で $X$ の 3 次キュムラント

$\prime 4jk$$\kappa_{111}=\kappa_{112}=\cdots=O(\epsilon^{2})$のオーダーの 3 次キュムラントを持っていることが分かる.
このように, 勾配写像を用いて新しい確率密度関数を作ると, これまであまり解析できなかった高次の相互作用を表現することができる. 2 節では, 勾配写像に基づいた統計的モデルの性質を簡単に述べる. 3 節では情報幾何との関連を述べ, また 4 節で最尤推定アルゴリ
ズムについて考察する.
となり (Sei $2m6$ ), $X$ は$\epsilon$

$X1$

(a)

(b)

図 1: 散布図の例 $(\epsilon=0.35)$.

(c)$(a)p(x_{1},x_{2}),$ $(b)p_{e}(x_{1},x_{2}|x_{3}>0),$ $(c)p_{*}(x_{1},x_{2}|x_{3}<0)$.

勾配衰現と -平坦モデル

2$g$

この節では, 確率密度の勾配表現と酔平坦モデルを定義し, その性質を見る. 詳しくは Sei(2006) を参照のこと.

2.1

確串密度の勾配表現

まず, 任意の密度関数が勾配写像を用いて表現できることを述べた次の定理を紹介する.
ここで$\nabla=(\partial/\partial x_{1}, \ldots,\partial/\partial x_{m})^{T}$

である.

111
定理 1 (Brenier 1991, McCann 1995).
$q(x)$が与えられたとき, ある凸関数$\mathbb{R}^{m}$$\psi(x)$上のルベーグ測度に対する任意の密度関数 $p(x)$ ,

が存在して

(1)

$p(x)=q(\nabla\psi(x))\det[\nabla\nabla^{T}\psi(x)]$が成り立つ. 言い換えれば, 任意の連続分布を持つ確率変数 $X$ と $Y$ に対し, ある凸関数$\psi(x)$ が存在して $\nabla\psi(X)$ と $Y$ の分布は等しくなる.
また,は定数を除いて一意的に定ま$\psi$る口(1) 式は $Monge- Amp\grave{e}re$ 方程式と呼ばれ, 偏微分方程式や輸送問題の観点からよく調べられている (詳しくは Villani 2003 を参照). 定理 1 を精密化した, 次の定理もある.
定理 2 (Villani 2003, $Th\infty rem4.14$ ). もし $p(x),$ $q(x)$ がいたるところ正の密度を持ち, 有界かつ級 ( はヘルダー指数を表す) ならば, 定理 1 の
は
口
級となる.
$\sigma^{\alpha}$$\psi$$\alpha$$C^{2,\alpha}$

定理 1 において,$q(x)=\phi(x)$ $:=(2\pi)^{-m/2}\exp(-||x||^{2}/2)$(標準正規分布)と固定すると, とを の勾配表現と呼ぷことにしは一対一に対応する. そこで,よう. 統計的モデルとは, 確率密度関数の集合であった. 密度関数の集合を考える代わりに,その勾配表現の集合を考えてもよい. 本研究の目的は, 勾配写像の集合としての統計的モデルの性質を調べることである.
勾配表現のクラスとして, 本稿では$\nabla\psi$$P$$\mathcal{G}_{ALL}$$\nabla\psi$$:=\{\nabla\psi|\psi$: convex,$\psi\in C^{2},$$P$$\nabla\psi(\mathbb{R}^{m})=\mathbb{R}^{m},$$\nabla\nabla^{T}\psi\succ 0\}$(2)を用いる. 定理 2 より,は十分広いクラスである. 任意の $g\in Q_{ALL}$ に対して, 勾配表
現が となるような密度関数は$\mathcal{G}_{ALL}$$g$$p[g](x):=\phi(g(x))\det[G(x)]$ ,$G(x);=\nabla g(x)^{T}$と陽に表される.
次の定理は, 勾配表現が与えられたとき, 対応する密度関数からの標本は容易に得られることを示したものである. これは乱数発生における逆関数法の一般化と見なすことができる.

定理 3(逆関数法). $Y$ を $m$ 次元標準正規分布に従う確率変数とする. このとき, 次の最適化問題の解 $X$ は $p[\nabla\psi](x)$ に従う :$X= \arg\min_{x\in R^{m}}[\psi(x)-Y^{T}x]$.

$P\mathfrak{w}of$

2.2$Y=\nabla\psi(X)$が成り立つので明らか.

-平坦モデル$g$

まず, (2) で定義した$\mathcal{G}_{ALL}$が凸集合であることを示そう.

補題 1. $g_{ALL}$ は凸集合である.

口

112
Proof. 任意の$g_{1},$ $g_{2}\in \mathcal{G}_{ALL}$との定義より, ある凸関数$\mathcal{G}_{ALL}$$g_{i}=\nabla\psi_{i}$,$c_{1},$$\psi_{1},$に対して$c_{2}>0$$\psi_{2}\in C^{2}$$\nabla\nabla^{T}\psi\succ 0$$c_{1}g_{1}+c_{2}g_{2}\in \mathcal{G}_{ALL}$であることを示す.

が存在して

,

$(i=1,2)$$\nabla\psi_{i}(\mathbb{R}^{m})=\mathbb{R}^{m}$を満たす. $\psi=c_{1}\psi_{1}+c_{2}\psi_{2}$ とおけば, $\psi\in C^{2}$ かつであることは明らかなので,を示せばよい. 勾配写像 $x\mapsto\nabla\psi(x)$ が全射であるための必要十分条件は$\nabla\nabla^{T}\psi\succ 0$$\nabla\psi(\mathbb{R}^{m})=\mathbb{R}^{m}$$\psi$

が次の条件 (super-linearlity) を満たすことである :$\forall x\in \mathbb{R}^{m}\backslash \{0\}$$\psi_{1},$ $\psi_{2}$が super-linearlity を満たすので$\psi$,$\lim_{\lambdaarrow\infty}\frac{\psi(\lambda x)}{\lambda}=$科科

も super-linearlity を満たす. よって示された.

口の有限次元部分凸集合を -平坦モデルと呼ぶ. つまり, -平坦モデルとは次の形を持つ統計的モデルのことである :$g$$\mathcal{G}_{ALL}$$g$$\mathcal{M}=\{p[g](x)|g=\sum_{1=1}^{d}\theta^{1}g_{i},$ただし$\Theta$は$\mathbb{R}^{d}$$\theta\in\Theta\}$,$g_{i}\in \mathcal{G}_{ALL}$の凸部分集合とする.

例 1(正規分布). 多変量正規分布全体は, 次の形で与えられる砕平坦モデルである.
$\mathcal{M}=\{p[g](x)|g(x)=Ax+b, A\in Sym_{+}(\mathbb{R}^{m}), b\in \mathbb{R}^{m}\}$

実際, $p[Ax+b](x)$ は平均 $-A^{-1}b$ , 分散

例 2(3 次の相互作用). 1 節の$p_{e}$

は,$\epsilon$$A^{-2}$の正規分布に等しい.

口をパラメータとする砕平坦モデルである.

口

g’ 平坦モデルの特長として, 特に次の性質は著しい.
定理 4. g. 平坦モデルの負の対数尤度は凸である.

Proof.

-平坦モデルを $g(x|\theta)=\theta^{i}g_{1}(x)$ と書くと, 直接計算により$g$$\frac{\partial^{2}}{\partial\theta^{:}\partial\theta^{j}}(-\log p[g](x))=g_{i}(x)^{T}g_{j}(x)+tr[G(x|\theta)^{-1}G_{1}(x)G(x|\theta)^{-1}G_{j}(x)]$となる. これは非負定値である.

口

この結果から, -平坦モデルの最尤推定量は比較的容易に求まることが分かる. その他, $g-$
平坦モデルは, 独立性の記述や錐型モデルへの拡張においても良い性質を持っていることが知られている (Sei $2m6$ ).
$g$

3

勾配モデリングと情報幾何

情報幾何学 (Amari 1985) では, 統計的モデル ( 確率密度の集合) を多様体と見なす. すなわち, 1 つ 1 っの確率密度を「点」 とみなし, 情報量の観点から距離や平行移動などを定義する. 本節では, 勾配表現と情報幾何学の関連性を考察する.
便宜上, $-n$ の統計モデルのパラメータを $u=(u^{a})$ , 何らかの意味で平坦なモデルのパラ
メータをと表すことにする. また, アインシュタインの縮約規則など) を用いる.
$=$$\theta=(\theta^{:})$$(u^{a}v_{a}$$;= \sum_{a=1}^{d}u^{a}v_{a}$

113
3.1

接空間の勾配表現

統計モデルを $\{p(x|u)|u\in U\}$ とする. 多様体の各点 $p=p(\cdot|u)$ における接空閥は, スコ

ア関数の張るベクトル空間として定義される :$\tau_{u}^{\{c)}=8pan${ log $p(x|u),$$\partial_{1}$$\ldots,\partial_{d}$log $p(x|u)$ }.

ここで, $u=(u^{a})$ は局所座標を表し,と定義する. 数学的には, 接空間は微分作
用素の張るベクトル空間であり, 上の定義はその具体的な表現の 1 つにすぎない.
$\partial_{a}$$:=\partial/\partial u^{a}$$\{\partial_{a}\}_{a=1}^{d}$

したがって他にも表現方法はあり, 例えば$F:\mathbb{R}+arrow \mathbb{R}$を単射な関数として$\tau_{u}^{(F)}=span\{\partial_{1}F(p(x|u)), \ldots,\partial_{d}F(p(x|u))\}$

を接空間と考えてもよい.
ここでは, 勾配表現に基づいて接空間を表してみよう. すなわち, 確率密度 $p(x|u)$ を勾配
表現 $g(x|u)$ で表し, 接空間を$\tau_{u}^{\langle g)}=span\{\partial_{1}g(x|u), \ldots,\partial_{d}g(x|u)\}$と表してみる.

が一対一かどうかは自明ではない ( $arrow 5$ 節) が, とりあえず一対一と仮定して以下は議論する. 接空間の勾配表現は次節で -計量を定義する際に用いられる.
$\tau_{u}^{\langle g)}$と$\tau_{u}^{(c)}$

$g$

3.2

フィツシャー計量, preferred point 計量と砕計量

フィッシャー計量は次式で定義されるテンソル量であった.
$J_{ab}( u):=\int p(x|u)[\frac{\partial}{\partial u^{a}}$ここで $dx$ は基準測度である.

log $p(x|u)][ \frac{\partial}{\partial u^{b}}logp(x|u)]dx$.

フィッシャー計量は, 以下のような性質を持ち, 情報量と呼ぷにふさわしいものである.
$\bullet$

観測値$\bullet$$n$$\bullet$$\bullet$$x$の変数変換に対して不変である.

個の独立同一標本の情報量は 1 個の情報量の

$n$

倍である.

データ圧縮に対して情報量は単調減少である. つまり, 任意の (単射とは限らない) 関
数 $t(x)$ に対して, 確率変数 $X$ の情報量は $t(X)$ の情報量より大きい.
Cram\’er-Rao 不等式を満たす : $E.[T^{a}]=u^{a}$ ならば $Cov[T^{a},T^{b}]\succeq J^{ab}$ である.

一方, 情報量という観点を一旦忘れれば, 多様体上の計量としては様々なものを考えることができる. 上記の性質をいくつか犠牲にして新しい計量を作ってみよう. 新しい計量を導入する利点は 4 節で明らかになる.
まず議論の出発点として, 指数型モデルと相対エントロピーのなすヘッセ構造を利用して,任意のモデルのフィッシャー計量を導く. 指数型モデルとは次の形をもつ統計的モデルであった.
$p(x|\theta)=\exp(\theta^{l}t_{i}(x)-C(\theta))$,$\theta\in\Theta\subset \mathbb{R}^{d}|$$C(\theta)$$:= \log\int\exp(\theta^{1}t:(x))dx$.

114
任意の確率密度関数 $po(x)$ を固定すると, 相対エントロピー (Kullback-Leibler divergence)$D(p_{0}\Vert p(\cdot|\theta))$は$\theta$$:= \int p_{0}(x)\log\frac{p_{0}(x)}{p(x|\theta)}dx=\int p_{0}(x)[\log p_{0}(x)-\theta^{i}t_{i}(x)]dx+C(\theta)$

について凸である 1. 実際,$\partial_{1}\partial_{j}D(p_{0}||p(\cdot|\theta))=\partial_{:}\partial_{j}C(\theta)=\int[\partial_{j}\log p(x|\theta)][\partial_{j}1ogp(x|\theta)]p(x|\theta)dx\succeq 0$となり, これはフィッシャー計量そのものである. 次に, 指数型とは限らない一般のモデル{$p(x|u)|u\in U\rangle$ を考える. 各点 における計量は, 指数型モデルで一次近似することにより自然に導かれる. このことを説明しよう. いま任意の点を固定する.
におけるスコア (対数尤度の 1 回微分) を
log $p(x|u_{0})$ とおく. ここで, をパラメータとする
指数型モデル $q(x|u)=p(x|u_{0})\exp((u-u_{0})^{a}t_{a}(x)-C(u))$ を新たに定義すれば, そのスコ
$u$$u_{0}$$t_{a}(x)=\partial_{a}$$u_{0}$$u$アは$\partial_{a}$log $q(x|u)|_{u\approx u_{0}}=t_{a}(x)-C(u_{0})=t_{a}(x)$となり, もとのモデルのスコアと一致する. つまり二つのモデル $\{p(x|u)\},$ $\{q(x|u)\}$ の $u0$ における接空間は同一視できる. このイメージを図 2 に示す. いま指数型モデル 倒のには計量が定義されていたから, もとのモデル $p(x|u)$ にも同じ計量を使えばよく, これがフィッ$q$

シャー計量に一致する :$\int\partial_{a}\log q(x|u_{0})h\log q(x|u_{0})q(x|u_{0})dx=\int t_{a}(x)t_{b}(x)p(x|u_{0})dx=J_{ab}(u_{0})$.

図 2: 共通の接空間を持つ平坦モデルの構成.

ここまでの議論をまとめると,$\bullet$$\bullet$$\iota_{P0}$指数型モデルについては, 相対エントロピーが凸関数となり, そのヘッセ形式からフィツ
シャー計量が導かれる.
一般のモデル $p(x|u)$ については, 各点において接空間が共通となるような指数型
モデル $q(x|u)$ を用意する. その指数型モデルのフィッシャー計量を計算すると, 元のモデルのフィッシャー計量に一致する.
$u_{0}$

は任意なので, 「負の対数尤度が凸である」 と言い換えても同じことである.

115

上の手順において, 指数型モデルの代わりに別のモデルを考えれば, 別の計量が導かれる.
例として混合型モデル$p(x|\theta)=p(x|0)+\theta^{i}t_{i}(x)$を考えると, その相対エントロピーは\partial i\partial jD0 石$\theta$,$\int t_{i}(x)dx=0$に関して凸である :$||p( \cdot|\theta))=\int p_{0}(x)\frac{t_{1}(x)t_{j}(x)}{\{p(x|0)+\theta^{*}t_{1}(x)\}^{2}}dx\succeq 0$.

このヘッセ形式は混合型モデルの計量として使える. 次に, 混合モデルとは限らない一般のモデル $\{p(x|u)\}$ を考える. 新たに混合モデル $q(x|u)=p(x|u_{0})+(u-u_{0})^{a}t_{a}(x)(t_{a}(x)$ $:=$

を考えれば, 2 つのモデル $\{p(x|u)\},$ $\{q(x|u)\}$ のよって, 後者の計量から前者の計量が導かれる :$\partial_{a}p(x|u_{0}))$$J_{ab}^{\{m)}(u_{0}):= \int n(x)\frac{t_{a}(x)t_{b}(x)}{p(x|u_{0})^{2}}dx=\int p_{0}(x)$[$\partial_{a}$$u_{0}$

における接空間は一致する.

log $p(x|u_{0})a$ log $p(x|u_{0})$ ] $dx$

この計量は Preferred-point 計量 (Critchley et al. 1993) と呼ばれる.

最後に -平坦モデルから計量を導こう. 前節までに述べたとおり, 砂平坦モデルとは$g$$p(x|\theta)=\phi(g(x|\theta))\det(G(x|\theta))$,$g(x|\theta)=g(x|0)+\theta^{i}t_{i}(x)$の形で書けるモデルであった. 相対エントロピーは$\theta$に関して凸になる :$\partial_{1}\partial_{j}D\omega||p(\cdot|\theta))=\int p_{0}(x)[t_{t}(x)^{T}t_{j}(x)+tr[G(x|\theta)^{-1}T_{1}(x)G(x|\theta)^{-1}T_{j}(x)]]dx\succeq 0$

ただし $G$ $:=\nabla g^{T},$て使える.
$t_{a}(x)$$T_{i}$$:=\nabla t_{i}^{T}$

とおいた.

.

このヘッセ形式は砕平坦モデルの計量とし-平坦でないモデルについては, その勾配表現を $g(x|u)$ とおき, 接ベクトルが共通となるような砕平坦モデルを新たに用意する :$g$$:=\partial_{a}g(x|uo)\in\tau_{u_{0}}^{(g)}$$q(x|u)=\phi(g(x|u_{0})+(u-u_{0})^{a}t_{a}(x))\det(G(x|u_{0})+(u-u_{0})^{a}T_{a}(x))$.

対応する計量は$J_{ab}^{\{g)}(u)$$:= \int p_{0}(x)[\partial_{a}g(x|u)^{T}hg(x|u)+tr[G(x|u)^{-1}(\partial_{a}G(x|u))G(x|u)^{-1}(\ G(x|u))]] dx$となる. これを $g$-計量と呼ぷことにする.

簡単のため, フィッシャと表す.

$J_{ab}^{(c)},$$\underline{‘}$計量, preferred Point 計量をそれぞれ -計量, $m$-計量と呼び,$e$$J_{ab}^{\langle m)}$補題 2. $M(x)=p(x|u)$ のとき, Ja(;)(u)=Ja{j)(u)=Ja(gb)(u)=(フィッシャー計量).

Prvof. $s\in\{e,m,g\}$ とする. 点吻で接空間が共通な -平坦モデルを $q(x|u)$ とおけば, -計$s$$\epsilon$

量の定義より$J_{ab}^{\langle\epsilon)}(u_{0})$

と書ける.

$=$

$\int q(x|u_{0})[-\frac{\partial^{2}}{\partial u^{a}\partial u^{b}}$log $q(x|u_{0})]dx$$\int q(x|u_{0})[\frac{\partial}{\partial u^{a}}$log$q(x|u_{0}) \frac{\partial}{\partial u^{b}}$log $q(x|u_{0})]dx$$\int p(x|u_{0})[\frac{\partial}{\partial u^{a}}$log$p(x|u_{0}) \frac{\partial}{\partial u^{b}}$log $p(x|u_{0})]dx$
口

116
33

$g$

-計量に関する双対接続

微分幾何において大切な概念としてベクトル場の平行移動, あるいは接続係数がある. ここでは, -計量にともなう接続係数として, 以下で -接続を導入し, またその双対接続を求め
$g$

てみる.

$g$

-接続の統計学的な利用価値は今のところ定かではない力 “’ 数学的には興味のある$g$

対象であると思われる.

砕平坦モデルに対しては, ベクトル場の平行移動は自然に定義される. つまり, -平坦モデルのアファイン座標に対する接続係数をと定義すればよい. この を -接続と呼ぶことにする. また一般に, 平坦な多様体にヘッセ計量が与えられているとによって定義される (例えば志磨 2001). -平坦モデル
き, 双対接続が$g$$\Gamma_{1j,k}’=0$$\Gamma$$g$$\partial_{1}\partial_{j}\varphi(\theta)$$\tilde{\Gamma}_{ij,k}=\partial_{i}\partial_{j}\partial_{k}\varphi(\theta)$$g(x|\theta)=g(x|0)+\theta^{i}t_{i}(x)$の$\ovalbox{\tt\small REJECT}$

rD,

$g$

$G=\nabla g^{T},$$\tilde{\Gamma}_{ij,k}=-2\int p_{0}$$T_{i}$$:=\nabla t_{i}^{T}$として

tr $[G^{-1}T_{1}G^{-1}T_{j}G^{-1}T_{k}]dx$と表される. 一般の座標系に対する接続係数は,$g_{ab}$$:=\partial_{a}hg(x|u)$などと略記すると$\Gamma_{ab,c}=\int p_{0}[g_{ab}^{T}g_{c}+tr[G^{-1}G_{ab}G^{-1}G_{e}]]dx$となり, また双対接続は,$\tilde{\Gamma}_{ab,c}=\Gamma_{ab,c}-2\int p_{0}$tr $[G^{-1}G_{a}G^{-1}G_{b}G^{-1}G_{c}]dx$となる.

勾配表現 $g(x|u)$ に対して, その双対勾配表現を$\tilde{g}(x|u)=p_{0}(x)g(x|u)+\sum_{:}\frac{\partial}{\partial x^{1}}(p_{0}(x)G(x|u)^{-1})_{i}$と定義する. このとき,などと略記すると, 部分積分を用いて。:$=\partial$$\int g_{a}^{T}\tilde{g}_{b}dx$$=$$\int g_{a}^{T}[p_{0}g_{b}-\sum_{i}\frac{\partial}{\partial x^{i}}(p_{0}G^{-1}G_{b}G^{-1})_{t}]dx$$=$$\int p_{0}[g_{a}^{T}g_{b}+tr$ $G$$g$$g(x|u),\tilde{g}_{a}$ $:=\partial_{a}\tilde{g}(x|u)$

。

$=$

[

$G^{-1}G_{b}G^{-1}$。

] $]dx$$J_{ab}^{t\epsilon)}$同様に$\int(\partial_{a}h^{g})^{T}(\partial_{c}\tilde{g})dx=\Gamma_{ab,c}$,$\int(\partial_{c}g)^{T}(\partial_{a}\ \tilde{g})dx=\tilde{\Gamma}$が成り立つ. 特に, 双対勾配表現がアファイン関係となる.
モデルでは, 双対接続が

$b$
。
,。

$\tilde{g}(x|\theta)=\tilde{g}(x|0)+\theta^{i}t_{t}(x)$となるような$\tilde{\Gamma}_{ij,k}=0$4-計量を用いた最尤推定アルゴリズムの大域的性質$g$

フィッシャー計量を利用した最尤推定アルゴリズムとしてフィッシャーのスコア法がある.
を利用した最尤推定アルゴリズムを考えてみる.
この節では, -計量$g$$\text{」_{}ab}^{\langle g)}$

117
4.1

g スコア法まず, 任意の密度関数を加 (x) とおき, 相対エントロピー$D(p_{0} \Vert p(\cdot|u))=\int p_{0}(x)\log\frac{p_{0}(x)}{p(x|u)}dx$の最小化問\sim を考える. 最尤法は, 個の標本の経験密度を Po とした場合に相当するので, 以下では一般に $P0$ のまま話を進めることにする. スコア$n$$X_{1},$$\ldots,X_{n}$$\hat{p}_{\mathfrak{n}}(x)=n^{-1}\sum_{k=1}^{n}\delta x_{:}(x)$関数を$S_{a}= \int p_{0}(x)\partial_{a}$とおく.

$\triangleright,$

log $p(x|u)dx$

m-, -計量はそれぞれ$g$,$J_{ab}^{(c)}(u)$$=$$\int p(x|u)\partial_{a}\log p(x|u)h1ogp(x|u)dx$$J_{\text{。}b}^{(m)}(u)$$=$$\int p_{0}(x)\partial_{a}\log p(x|u)\ 1 ogp(x|u)dx$$J_{ab}^{t\epsilon)}(u)$$=$$\int p_{0}(x)[(\partial_{a}g)(a_{9})+tr[G^{-1}\partial_{a}GG^{-1}hG]]dx$,と定義されていた.
m-, g-スコア法$\triangleright,$

次式によるパラメータ
と呼ぶ.
$u$

$u$

の更新方法を, それぞれ \sim スコア法, m-スコア法, g-スコア法$u+\Delta u^{(c)}$$arrow$$u$$arrow$$u$$arrow$,$u+\Delta u^{\langle m)}$$u+\Delta u^{(g)}$,$\Delta u^{(c)}:=(J^{(c)})^{-1}S$

,

,

,

$\Delta u^{\langle m)}:=(J^{(m)})^{-1}S$.

$\Delta u^{(g)}:=(J^{(g)})^{-1}S$\leftarrow スコア法はフィッシャーのスコア法と呼ばれるアルゴリズムと同じである.
補題 3. $s\in\{e, m,g\}$ とする. -平坦モデルに対する s-スコア法はニュートン法に一致する.
$s$

Proof.

-平坦モデル $\{p(x|\theta)\}$ の -計量は
$S_{1}=$
であるから, 更新則-腕に対するニュートン法に一致する.
$s$

$s$

$[\partial_{1}\log p(x|\theta)]$$E_{p0}[-\partial_{1}\partial_{j}\log p(x|\theta)]$$\Delta u^{\langle e)}=(J^{(\epsilon)})^{-1}S$

仮に真のパラメータを吻とすれば, 経験密度で定義されていた. または目的関数仮, $[-\log p(x|\theta)]$口$\hat{p}_{\mathfrak{n}}(x)$は $n$ が大きいとき $p(x|uo)$ に収束するから, 以後は極限 $Po(x)=p(x|u_{0})$ を考えることにする. 補題 2 から, が真のパラメータ
吻に近いときはどのアルゴリズムの挙動も大差はない. 問題は, と鞠が大きく異なる場合である. 普通, アルゴリズムの初期値は真値恥から大きく異なるはずだから, そのような場合での挙動を調べておくことには意味があるだろう.
$u$

$u$

118
42

位置母数モデルの場合

簡単のため, 1 次元の位置母数モデルを考える. つまり, 密度関数が$p(x|u)=f(x-u)$ ,$f(x)=\phi(g(x))g’(x)$.

のように書けるものとする. $g(x)$ は $f(x)$ の勾配表現である. 1 次元の場合は $f$ からに求まる :$g(x)=\Phi^{-1}(F(x))$ ,$\Phi(y)=\int_{-\infty}^{y}\phi(\eta)d\eta$

,

$g$

が陽

$F(x)= \int_{-\infty}^{x}f(\xi)d\xi$によらず定数になることに注意しまた, 位置母数モデルの場合, フィッシャー計量ておく.
まず, 分布の裾が軽い場合 (short ta のについて考えると次の定理を得る.
$J^{(c)}\text{は^{}\backslash }u$

定理 5 (short tail). $f$ は偶関数で, 次の性質を満たすと仮定する 2.
$\exists C,\gamma>0$$u_{0}=0$,$f(x)\sim e^{-C|x|^{\gamma}}$$(|x|arrow\infty)$.

(3)のとき, $uarrow\infty$ の下で$\Delta u^{\langle c)}$$\Delta u^{(m)}$$\Delta u^{(g)}$$\sim$$-C\gamma(J^{(c)})^{-1}u^{\gamma-1}$$\sim$$-(C\gamma)^{-1}u^{1-\gamma}$$\sim$$-2\gamma^{-1}u$,,が成り立つ. それぞれについて, スコア法が発散しない十分条件 $(\exists U>0,\forall u\geq U,$ $-2<$$\Delta u/u<0)$ , 大域的に一次収束する必要条件 $(-2< \lim_{uarrow\infty}\Delta u/u<0)$ は以下の通りである.

Proof まず, $f’(x)/f(x)\sim-sgn(x)C\gamma|x|^{\gamma-1}$ より, スコア関数は$uarrow\infty$のとき$S=-/f(x) \frac{f’(x-u)}{f(x-u)}dx\sim-\frac{f’(-u)}{f(-u)}\sim-C\gamma u^{\gamma-1}$となる. また, $m$-計量は$J^{(m)}= \int f(x)(\frac{f’(x-u)}{f(x-u)})^{2}dx\sim(\frac{f’(-u)}{f(-u)})^{2}\sim(C\gamma)^{2}u^{2\gamma-2}$となる. よって $(J^{\{m)})^{-1}S\sim-(C\gamma)^{-1}u^{-\gamma+1}$ を得る. 次に, $g(x)\sim(2C)^{1/2}|x|^{\gamma/2}$ を示すことができる. よって, -計量は$g$$J^{(g)}= \int f(x)((g’(x-u))^{2}+((\log g’)’(x-u))^{2})dx\sim g’(-u)^{2}\sim 2^{-1}C\gamma^{2}u^{\gamma-2}$となり, $(J^{(g)})^{-1}S\sim-2\gamma^{-1}u$ を得る.
2 厳密には, 漸近的同値性$\sim$$\square$と微分の順序が交換可能, などの条件も仮定しなければならない力\nwarrow 省略する.

119
裾が重い場合 (long tail; ただし期待値の存在は仮定) については, 次の定理が成り立つ.
定理 6 (long tail). $f$ は偶関数かつ次の性質を満たすと仮定する.
$\exists A>0,$$v_{0}=0$$\exists\alpha>2$,$f(x)\sim A|x|^{-\alpha}$$(|x|arrow\infty)$.

のとき, $uarrow\infty$ の下で$\Delta u^{(c)}$$\Delta u^{(m)}$$\Delta u^{(g)}$$\sim$$-A\alpha(J^{(c)})^{-1}u^{-1}$$\sim$$-(A\alpha)^{-1}u$$\sim$$-\alpha u$,,が成り立つ. それぞれの適用可能範囲は以下の通りである.

Prvof まず $f^{j}(x)/f(x)\sim-sgn(x)\alpha|x|^{-1}$ より, スコア関数は$uarrow\infty$のとき$S=-’ \int f(x)\frac{f’(x-u)}{f(x-u)}dx\sim-\frac{f’(-u)}{f(-u)}\sim-\alpha u^{-1}$となる. また, $m$-計量は$J^{(m)}= \int f(x)(\frac{f’(x-u)}{f(x-u)})^{2}dx\sim(\frac{f’(-u)}{f(-u)})^{2}\sim\alpha^{2}u^{-2}$となる. よって $(J^{(m)})^{-1}S\sim-\alpha^{-1}u$ を得る. また, $g(x)\sim sgn(x)\sqrt{2(\alpha-1)\log|x|}$ を示すことができる. よって -計量は$g$$J^{\langle g)}= \int f(x)((g’(x-u))^{2}+((\log g’)’(x-u))^{2})dx\sim((1ogg’)’(-u))^{2}\sim u^{-2}$となるが示される. よって $(J^{(g)})^{-1}S\sim-\alpha u$ を得る.

口

以上, 2 つの定理から, 裾が軽い分布には g-スコア法が, 裾が重い分布には m-スコア法がよく機能することが示された.

5

今後の躁題

今後解決すべき数学的な問題を列挙してみる. なお, 筆者の不勉強により, 簡単な問題も含まれているかと思われるので注意されたい.

120
問題 (接空間の勾配表現)

勾配写像をパラメータ微分してできる関数は, 接空間と一対一であるか? つまり, $g(x|u)$$(a=1, \ldots , d)$ が一次独立ならばを統計モデルの勾配表現とするとき,$\partial_{a}g\in\tau_{u}^{(g)}$$\partial_{a}$log $p[g]=-g^{T}\partial_{a}g+tr[G^{-1}\partial_{a}G]\in\tau_{u}^{(c)}$$(a=1, \ldots,d)$は一次独立か ?

参考文献[1] Amari, S. (1985). Differential-Geometrical Methods in Statistics, Springer-Verlag,
Tokyo.

[2] Brenier, Y. (1991). Polar factorization and monotone rearrangement of vector-valued
functions, Comm. Pure Appl. Math., 44, 375-417.
[3] Critchley, F., Marriott, P. and Salmon, M. (1993). Preferred point
statistical manifolds, Ann. Statist., 21, 1197-1224.

$g.\infty$

metry and[4] McCann, R. J. (1995). Existence and uniqueness of monotone measurepreserving
maps, Duke Math. J., 80, 309-323.
[5] 宮川雅巳 (1997). グラフィカルモデリング, 朝倉書店.

[6] Sei, T. (2006). Parametric modeling based on the gradient maps of convex functions,Technical Report METR2006-51, Department of Mathematical Engineering and Infomation Physics, The University of Tokyo.
[$\eta$

志磨裕彦 (2001). ヘッセ幾何学, 裳華房.

[8] Villani, C. (2003). Topics in $Opt|mdRan\varphi onation$, AMS, Providence.