数理解析研究所講究録
第 822 巻 1993 年 1-131

非線形可積分系の応用解析の進展–ニューロダイナミクスにおける可積分系の視点–

中村佳正 (Yoshimasa Nakamura)

岐阜大教育数学「可積分系の応用解析」 とは耳慣れない言葉だが “Applied analysis based upon thetheory of nonlinear integrable systems” の意味の造語である. 解説 $[1, 2]$ で初めて用いられたもので,

まだ定着した表現ではない. この数年間に 「可積分系の応用解析」 の対象となったテーマや問題を列記しよう.

1)

確率過程の線形予測問題一 Riemann-Hilbert 変換法一 (論文 [3])2)行列の固有値問題一スペクトル保存変形一 (解説 [2])3)線形システム理論 (有理関数の空間の幾何学)

4)

最小 2 乗法最尤推定法 (解説 [1])5)

数理計画問題一 Karmarkar の力学系一 (解説 [2])6)

情報幾何学 (確率分布族のなす Riemann 多様体)

(解説 [1])(解説 [2])

これらの文献が手に入りにくい場合は直接著者まで請求されたい. 講演では,

テーマ 5),

6) に加えて, 「可積分系の応用解析」 における最新の話題として,(神経回路網の確率モデル)

7)

ニューロダイナミクス

8)

散逸力学系, 特に非線形振動論

において設定可能な可積分系の視点について報告した.

$1$)$\sim 6$

) と 7), 8) の違いは,前者が本来力学系とは関連の薄い問題に可積分系の切り口を与えたのに対して, 後者はこれまで可積分系の視点から議論されることはなかったが, ともかくも力学系の問題である

点であろう.

7), 8) について, ともになんらかの意味での平均化 “averaging” を経て,ある場合, 系は可積分系に移行することがわかった. 言い替えれば,これまで可積分系とは程遠いとされてきた力学系においても, 平均的な量を問題とすれば, 可積分系によって

2
特徴づけられる可能性があることになる. この小論では, 5) については解説 [2] に譲り,

6) は付録で基礎事項と結果を補足するにとどめ, 7) を中心に解説する.

8) については機会を改めて論じたい.

脳を形作るニューロン (神経細胞) を右図

のように
り,

$z$

$n$

個の入力信号$x_{1},$ $\cdots,$ $x_{n}$を受け取を出力する情報処理装置と考える [4],$0\leq x_{i}\leq 1$,$0\leq z\leq 1$. ここに,$s_{1},$ $\cdots,$ $s_{n}$は入力信号の影響度を表すシナプス結合効率,$h$はしきい値,$f$$z=f(2s_{i}x_{i}-h)$は $[0,1]$ に値をとる単調増$==-$ 。

$J^{\backslash }\emptyset$

数$\not\in\doteqdot\overline{\tau}^{y\triangleright}$

加関数である. 脳における記憶と学習を多数のニューロンからなるネットワークのダイナミクス, 具体的には,ニューロン間の結合の強さ (シナプス結合効率 si) の変化と考える. ただし, 自由度は一つのニューロンについしかも,て $n\approx O(10^{2\sim 4})$ ,$x_{1}$

, si,

$z$

は確率変数と考えるのが自然で, 従来力学系の理論が対象としていたものとはかなりかけ離れている.
シナプス結合効率$s_{i}$の変化を特徴づけるルールに Hebb の法則 (1949) がある. これはあるニューロンが興奮しているとき ( : 大) , その原因となった入力信号 $Xj$ との結合の$z$

強さ $Sj$ を強めていくというものである.

率の定数として,$s_{j}$

この法則のもとで,

$t$

を時刻,

$\gamma>0$を学習効のダイナミクスは(1)$\dot{s}_{j}(t)=\gamma z(t)x_{j}(t)$と表される. これを Hebb 型学習方程式という. また, 入出力関係式 $z=f( \sum s_{i}x_{1}-h)$を簡単化して $z=\Sigma$ sixi としたものを線形ニューロンモデルという. このときシナプス効率の変化も線形方程式に従う.
単純な Hebb 則のもとでは, 時間の経過後一つのニューロンが多くの入力信号に対して反応し易くなり不合理である. そこで, ある信号に対して反応しやすくなったとき, 他の信号に対する反応性を減少させる必要がある. この機構を競合学習 [4] という. 具体的には von der Malsburg[5] により,$\sum s_{j}=$一定,$Oja[6]$ により,$\sum s;^{2}=$一定などが提案されている.

以上の準備のもとで,この小論で考察するのは, 線形ニューロンモデルにおける記憶の3
減衰項つきの Hebb 型学習方程式$\dot{s}_{j}(t)=-\gamma z^{2}(t)s_{j}(t)+\gamma z(t)x_{j}(t)$,(2)$z(t)= \sum_{i=1}^{n}s_{i}(t)x_{i}(t)$である. 通常の学習方程式, 例えば [4, p.115], では減衰項は一 $Sj$ となっており, 入力信

号がなければシナプス結合効率$s_{j}$

はゆっくり減衰する.

しかるに (2) では,

出力信号

$z$

の

2 乗に比例して減衰する. これは記憶がいったんアウトプットされればより減衰し易いことを表している. また, 入出力関係は線形であるが, シナプス効率のダイナミクスは 3 次の非線形性をもつことに注意する. ベクトル $S(t)=(s_{1}, \cdots, s_{n})^{T},$ $X(t)=(x_{1}, \cdots, x_{n})^{T}$を用いて (2) を(3)$\dot{S}(t)=-\gamma(S^{T}XX^{T}S)S+\gamma XX^{T}S$と表す. 先に述べたように

$S$

,

$X$

は確率変数である. ここで, シナプス結合効率 $S$ と入力信号 $X$ が統計的に独立, すなわち $E$ を可能な入力についての期待値作用素として$E[X^{T}S]=E[X^{T}]E[S]$を仮定する.

$E[S]$ などが存在するとして,学習方程式 (3) は$\dot{E}[S]=-\gamma(E[S^{T}]E[XX^{T}]E[S])E[S]+\gamma E[XX^{T}]E[S]$

となる.

(4)

(5)

これは平均学習方程式の一種である. 平均学習方程式は特定の入力信号 $X$ を使

うのではなく, 入力信号の分布をもとに平均化したものだから, 入力信号の分布と出力信号$z$を決めればシナプス結合効率の期待値 $E[S]$ だけの方程式とみなせる $[4, p.118]$ . 問題

は $E[S]$ が学習によってどんな値に収束していくかを調べることである.
の $S$ については,

平均化を行う前

確率収束性を論じることになる.

実対称行列 $E[XX^{T}]$ を適当な直交行列 $G$ で対角化し$C=($$c0^{1}$$c0_{n})=\gamma GE[XX^{T}]G^{T}$(6)と表す. 一般性を失うことなく$c_{1}\leq c_{2}\leq\cdots\leq c_{n}$

(7)

4
さらに,

とできる.

を導入すると,$R=(\begin{array}{l}r_{1}\vdots r_{n}\end{array})=GE[S]$(8)$\dot{R}=-(R^{T}CR)R+CR$ ,(9)$\dot{\Gamma}j=-r_{j}\sum_{k=1}^{n}c_{k}r_{k^{2}}+c_{j}r_{j}$

(10)

(5) は

あるいは,

となる.

$r_{j}(0)=0$ ならば $r_{j}(t)=0$

. また,
(11)

$( \sum r_{J^{2}})=2\sum c_{k}r_{k^{2}}(1-\sum r_{J^{2}})$だから初期値を $\sum r_{j^{2}}(0)=1$ ととれば, 任意の

$t$

において

$|R|^{2}= \sum_{j=1}^{n}r_{j^{2}}(t)=1$

.

(12)

これは力学系 (10) の第 1 積分である. 同時に (7) を通じて $\sum E[s_{j}]^{2}=1$ を意味し $Oja[6]$による競合学習の条件 (の平均値版) に一致する.

力学系 (10) は関数(13)$V(r, c)=- \frac{\sum c_{k}r_{k^{2}}}{2\sum r_{j^{2}}}$についての勾配 (最急降下) 方程式ある. 従って,なせる.

$\dot{\Gamma}j=-\partial V/\partial r_{J}$を単位球 $\sum r_{j^{2}}=1$ に制限したもので$V(r, c)$ は平均学習方程式 (10) の学習のポテンシャル関数 [4,また, 渦心点のような平衡点は存在しない. 平衡点を調べるため,

p.119] とみ(13) を微分

し (10) および Cauchy-Schwarz の不等式を用いると.

$\dot{V}=-\frac{\Sigma r_{j^{2}}\Sigma c_{k^{2}}r_{k^{2}}-(\Sigma c_{k}r_{k^{2}})^{2}}{(\Sigma r_{j^{2}})^{2}}\leq 0$

等号は,

$h$

を定数として$r_{J^{2}}=hc_{j^{2}}r_{j^{2}},$$j=1,$$\cdots,$ $n$のとき. ゆえに,(14)
もし最大固有値$c_{n}$

が重複度 1 ならば, 平衡点は
$R=(0, \cdots,0, \pm 1)^{T}$と表される.

,

$h=$

歩

(15)

5
別の視点から (10) を考察しよう. 行列 $A$ ,$B$の交換子積 AB–BA を $[A, B]$ と表す.

適当な行列を選ぶと $\dot{L}=[B, L]$ の形に表される非線形力学系は Lax 表示を許容するとい
われる.

$L$

,

$B$

は線形微分作用素でもよい. この表示は可積分系であるための十分条件と考えられている. 平均学習方程式 (10) は以下の 2 重括弧の Lax 表示をもつ,$\dot{L}=[[\frac{1}{2}C, L],$

$L$

の固有値は

$0$

,

または 1. 通常,

1 積分が得られる. 特に,
だから,

$L]$

$tr(L^{2})$$L=RR^{T}=(\begin{array}{llll}r_{1^{2}} r_{1}r_{2} r_{1}r_{n}r_{1}r_{2} r_{2^{2}} \vdots\vdots \ddots \vdots r_{1}r_{n} r_{n^{2}}\end{array})$Lax 表示からは $tr(L^{k}),$ $k=1,2,$は Hamilton 関数.

$\cdots,$ $n$

.

(16)

として独立な第

しかしながら, この場合は $L^{k}=L$$trL=\sum r_{j^{2}}=1$ 以外の第 1 積分は得られない.

Hamilton 関数の存在もこのままではよくわからない. そこで, 以下 (10) を拘束条件つきの Hamilton 系とみなせることを明らかにしよう.

$r_{j}(0)=0$ ならば $r_{j}(t)=0$ なので,ここでは初期値 $\{r_{j}(0)\}$ を$R^{n}$の単体 $\{x_{j}|\Sigma_{j}^{n_{=1}}x_{j}=1, x_{j}\geq 0\}$ の内部にとる, ただし,
$x_{j}(t)=r_{i^{2}}(t)$

.

(17)

吻に加えてらも力学変数とみなし, (10) を書き直して$\dot{x}_{j}=-2x_{j}\sum_{k=1}^{n}c_{k}x_{k}+2c_{j}x_{j}$を考える. ここに,
次に,$R^{n}\oplus R_{+}^{n}$$R+=\{y\in R|y>0\}$,$R^{n}\oplus R_{+}^{n}$

上の力学系

(18)

$\dot{c}_{j}=0$.

上にシンプレクテイック 2 形式

(19)$\omega=-\sum_{i=1}^{n}\frac{dc_{i}\wedge dx_{i}}{x_{i}}$を導入する. 付随する Poisson 括弧は(20)$\{f, g\}=\sum_{i=1}^{n}x_{i}(\frac{\partial f}{\partial x}\frac{\partial g}{\partial q}-\frac{\partial g}{\partial x_{i}}\frac{\partial f}{\partial c_{i}}I\cdot$$R^{n}\oplus R_{+}^{n}$

上の Hamilton 関数 $H_{0}=\Sigma c_{k^{2}}$ を考える. 運動方程式は $\dot{C}j=\{c_{j}, H_{0}\}=0$ ,$\dot{X}j=\{x_{j}, H_{0}\}=2x_{j}c_{j}$$\phi_{1}=\Sigma x;-1,$. これより,$\phi_{2}=\Sigma c_{i}-c_{0}$$\ddot{x}_{i}=4$

とおく.

ci

$2_{X;}$

このとき,(斥力の調和振動子)$\{\phi_{1}, \phi_{2}\}=\phi_{1}+1,$.

$c_{0}$

を定数として$\{\phi_{1}, H_{0}\}=2\Sigma c_{i}x_{i}$,6$\{\phi_{2}, H_{0}\}=0$$0,$$\phi_{2}=0$. Hamilton 関数} に制限して,るように定める. 結果は,を $2n-2$ 次元部分空間 $M=\{(c, x)\in R^{n}\oplus R_{+}^{n}|\phi_{1}=$$H_{0}$$H_{0}=H+\alpha_{1}\phi_{1}+\alpha_{2}\phi_{2}$$\alpha_{2}=2\sum$$\alpha_{1}=0,$

とおく.

ここに,

$\alpha_{j}$は $\{\phi_{j}, H\}=0$ な

cixi. ゆえに,

(21)

$H= \sum_{k=1}^{n}c_{k^{2}}-2\sum_{j=1}^{n}c_{j^{X}j}(\sum_{k=1}^{n}c_{k}-c_{0})$を Hamilton 関数とする運動方程式は第 1 積分をもち自由度 $n-1$ である. 運動方程式を書き下すと$\dot{x}_{j}$

$j$

となり,

$=$

$\{x_{j}, H\}=-2x_{j}\sum_{k=1}^{n}c_{k}x_{k}+2c_{j}x_{j}-2x_{j^{2}}(\sum_{k=1}^{n}c_{k}-c_{0})$$=$$\{c_{j}, H\}=-2c_{j^{X}j}(\sum_{k=1}^{n}c_{k}-c_{0})$,$\Sigma c_{j}(0)=c_{0}$$\Sigma x_{j}(0)=1$

,

(22)
(23)

ととれば (18) に帰着する.

以上をまとめると, ニューロダイナミクスの平均学習方程式 (10) は単体の頂点を平衡点とする勾配系であると同時に斥力の調和振動子を偶数次元部分空間に制限するという意
味で拘束づけられた可積分な Hamilton 系であると結論される.

Lax 表示をもつ可積分な勾配系の例としては, この他解説 [2] で扱っている Karmarkarの力学系や確率分布空間上の勾配系 (43) があるが, このクラスの最も基本的な力学系はやはり Moser[7] が考察した有限非周期戸田方程式であろう.

しかも,この戸田方程式は

平均学習方程式 (10) の特殊化と位置づけられる. 以下このことを述べよう.

Moser による戸田方程式は Flaschka の変数を用いて$\dot{a}_{k}=a_{k}(b_{k+1}-b_{k})$$k=1,$$\cdots,$ $n$,$\dot{b}_{k}=2(a_{k^{2}}-a_{k-1^{2}})$

,

(24)

と表される. ただし, 物理的な要請から$a_{0}=0$,$a_{n}=0$なる付帯条件が課せられている.

,$a_{k},$$a_{j}(t)>0$$b_{k}$

for $j=1,$

は正準変数ではないが,$\cdots,$

$n-1$

(25)

これを使うと戸田格子のHamilton 関数は$H_{TL}=4 \sum_{k=1}^{n-1}a_{k^{2}}+2\sum_{k=1}^{n}b_{k}^{2}$

(26)

7
と書かれる. また, 運動方程式 (24) の Lax 表示として$M]$$\dot{M}=[M_{U}-M_{U}^{T},$がよく知られている. ここに,作用角変数を求める過程で$\lambda$,$M=(\begin{array}{llll}b_{1} a_{1} 0a_{1} b_{2} \ddots \ddots \ddots a_{n-1}0 a_{n-1} b_{n}\end{array})$

は $M$ の強上 3 角部をとるの意.

$M_{U}$$M$と一意に部分分数展開される.
$\lambda_{j}$

は

$t$

,

$e_{n}=(\begin{array}{l}0\vdots 01\end{array})$(28)

において条件 (25) より $f(\lambda;t)$ は$f( \lambda;t)=\sum_{j=1}^{n}\frac{r_{j^{2}}(t)}{\lambda-\lambda_{j}}$ろん,Moser[7] は (24) のについての有理関数$f(\lambda;t)=e_{n^{T}}(\lambda I-M)^{-1}e_{n}$を導入した.

(27)に依らない.

,$M$$f(\lambda;t)$$\lambda_{1}>\lambda_{2}>\cdots>\lambda_{n}$

の固有値
を

$t$

$\lambda_{j}$,$\sum_{j=1}^{n}r_{j^{2}}=1$について等号がないことに注意する.

もちで微分して (24) を用いると(30)$\dot{r}_{j}=r_{j}\sum_{k=1}^{n}\lambda_{k}r_{k^{2}}-\lambda_{j}r_{j}$を得る. これは $\lambda_{j}arrow-c_{j}$ とすれば,(29)$c_{i}\neq c_{j}$である場合の (10) に一致する, cf. (7).

Moser の方程式 (30) の勾配系としての側面や拘束づけられた Hamilton 系の構造はそれぞれ [7], [8] で論じられている.

また,

$t$

の指数関数を用いて求積できることもわかっている

[7].
まとめ

この小論では, 線形ニューロンモデルにおける記憶の減衰項つきの Hebb 型学習

方程式 (2) が, 入力信号についての平均化を行うことで,

Moser による戸田方程式を一般化した可積分な勾配系 (10) となることを明らかにした. さらに,

この平均学習方程式の平衡点や Hamilton 構造などを考察した. 特に, 第 1 積分の存在はニューロンモデルに対する競合学習の条件となっていることを示した.
なお,

この研究の一部は文部省科研費 03804005, 04804005 の援助を受けている.

8
付録

–

情報幾何学における双対平坦構造と可積分系–「情報幾何学」 とは情報のなす集合を連続的な位相をもつ空間とみなし, 微分幾何学的考察を適じてその本質をとらえようという試みである. 統計的推論における高次の漸近展
開や線形非線形システムの空間への応用における成功 (小原氏の講演参照) に加え, 双対 affine 接続という微分幾何学として新しい概念をもたらすなど興味深い対象と考えられる. 成書として主唱者の甘利氏による [9] がある.

[10] において, 空間の双対平坦

最近,性に起因してパラメータの最尤推定値に収束する可積分な勾配系が存在することが示された.

ここでは情報幾何学を 「確率分布族のパラメータ空間の微分幾何学」 として少し狭い[9] に従って特にその双対平坦構造について解説する.

意味でとらえ,ある確率分布の密度関数を $p(x, \theta)$ とする. 確率変数
い.

$\theta=(\theta^{1}, \cdots, \theta^{k})$$x$は連続離散多変数を問わなは平均, 標準偏差など個々の分布を特定する$k$次元パラメーターである. 考察する確率分布の全体を $S=\{\theta|p(x, \theta)\}$ とかく. 簡単な例として,$p(x, \theta)=\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(x-\mu)^{2}}{2\sigma^{2}})$

$0\}$

もし,

となる.

$x$

につい

Gauss 分布をとりあげよう. 密度関数はて 1 次元の)

である.

(

$S$

$\theta$

を $\theta=(\mu, \sigma)$ ととれば,2 次元空間$S$,は上半面 $S=\{(\mu, \sigma)|\mu\in R,$の分布間の (統計的意味での) 分離度を計る際, たとえいての差が同じであっても$\sigma$(31)$x\in R$$\sigma$

が同一で

$\mu$

$\sigma>$につの値いかんで分離度が変化する. 従って $S$ における距離は

Euclid 計量では都合が悪く個々の確率分布に内在する構造を反映したものとして導入されねばならないことがわかる.

$p(x, \theta)$に基づいて期待値をとる操作を $E[]$ と表し,

$x$

の空

間の適当な support 上で $p(x, \theta)>0$ などの仮定のもとで, 対数尤度関数 $\ell=\log p(x, \theta)$を導入する. このとき,$<\partial_{i},$は Fisher 情報量と呼ばれる,$=<\partial_{i},$ $\partial_{j}>$

ただし,

(32)

$\partial_{j}>=E[\partial_{i}\ell\cdot\partial_{j}\ell]$$\partial_{i}=\partial/\partial\theta^{i}$を採用することを提案し,.

Rao(1945) は$S$の計量として $gij(\theta)$

Chentsov(1972) はこの計量 (Fisher 計量) が$x$のスケール変換 $xarrow x’=h(x)$ のもとで不変な唯一の計量であることを示した. 今日では, 多くの確率分布についてその族のなすパラメーター空間 $S$ か s

とする

$k$

次元の Riemann 多様体となることが知られている.

$g_{ij}(\theta)$

を Riemann 計量

Gauss 分布の例では当な選択により $gij(\theta)$ は Poincar\’e 計量と表せ, その結果 $S$ は擬球とみなされる.

$\theta$の適9Riemann 多様体 $(S, g)$ について Levi-Civita 接続

次に,

(33)

$\Gamma_{1jk}=\frac{1}{2}(\partial_{ig_{jk}}+\partial_{jg_{ik}-\partial_{kg_{ij})}}$

を準備する.

$\theta$を固定したときの基底をなし,$T_{\theta}$$d\theta)$

が$T_{\theta}$$E$と$\partial_{:}$$\partial_{i}\ell$の線形独立性を仮定する.

$\partial_{i}l(\theta)$

は$\theta$における接空間が可換であれば $E[\partial;\ell]=0$ を満たす. 平行移動によりに移されるためには, 接続を Levi-Civita 接続に限る必要はなく,$\alpha$$\partial_{i}\ell(\theta+$

をパラメー

タとして
$\Gamma_{ijk}^{\langle\alpha)}=\Gamma_{1jk}-\frac{\alpha}{2}T_{1jk}$が Levi-Civita 接続.
-

接続,

意の

$\alpha$$\nabla^{*}$

についてゼロである.

$\alpha$ -接続という.

$\alpha=0$に相当するのの場合は, 情報幾何学では特別な意味をもち, それぞれ,$\alpha=\pm 1$接続と呼ばれている. また,

-

(34)

$T_{ijk}=E[\partial_{1}l\cdot\partial_{j}l\cdot\partial_{k}l]$

この affine 接続の 1- パラメータ族をであればよい.

$\nabla$,さらに,$\alpha$ -接続に関して定まるねじれ率テンソルは任Riemann-Christoffel の

曲率テンソル$\alpha$ -(35)$R_{ijkm}^{(\alpha)}=(\partial_{i}\Gamma_{jk}^{(\alpha)n}-\partial_{j}\Gamma_{ik}^{(\alpha)n})g_{nm}+(\Gamma_{inm}^{(\alpha)}\Gamma_{jk}^{(\alpha)n}-\Gamma_{jnm}^{(\alpha)}\Gamma_{ik}^{(\alpha)n})$を導入する.
$S$は$\alpha$ -Einstein の総和則を用いている.

平坦という. このとき$\Gamma_{jkm}^{\langle\alpha)}(\theta)=0$

布では曲率テンソルはゼロもしくは

$S$

なる

の任意の点で$\alpha$$R^{t_{jkm}^{\alpha)}}(\theta)=0$-affine 座標系$R_{1212}^{(\alpha)}=(1-\alpha^{2})/\sigma^{4}$$\theta$は, それぞれ,

標系を$\eta=(\eta_{1}, \cdots, \eta_{k})$とき, 座標系の組$(\theta, \eta)$とかき,$\partial^{j}=\partial/\partial\eta_{j}$と約束する. また,$\partial_{i}=g_{ij}\partial^{j}$以下,,-l-affine 座$<\partial;,$ $\partial^{;}>=\delta_{i^{j}}$である. 双対座標系の存在と$\alpha-$[9] よりいくつかの基本定理を引用する.

Riemann 多様体 $(S, g)$ が affine 接続

ソルがゼロならば, それぞれ,$\theta=(\mu/\sigma^{2}, -1/(2\sigma^{2})$$-1-$ affine 座標系である.

は双対的という. このとき,平坦性は深く結びついている.

定理 1

l-affine,

Gauss 分のみによって表すことができ,スカラー曲率は $\kappa=-(1-\alpha^{2})/2$ となる. 明らかに $\alpha=\pm 1$ 平坦.
$\theta’=(\mu, \mu^{2}+\sigma^{2})$が存在する.

であるとき$\pm 1$$\nabla$,$\nabla^{*}$

に関しともに平坦でねじれ率テン-affine であるような双対座標系$(\theta, \eta)$が存在する.

多くの確率分布族のなす Riemann 多様体が $\alpha=\pm 1$ で双対平坦であることがわかっている.

双対平坦性は情報幾何学の核心部分と考えられる. 実際,

定理 2Riemann 多様体 $(S, g)$ が双対座標系(i) 関数$\psi(\theta)$,$\phi(\eta)$$(\theta, \eta)$

をもつならば,

で関係式$\psi(\theta)+\phi(\eta)-\theta^{i}\eta_{i}=0$

(36)

10
を満たすものが存在する, ただし,(ii) 座標系$(\theta, \eta)$$\theta^{i}\eta_{i}=\sum_{i=1}^{k}\theta^{i}\eta;$.

で定まる点において Fisher 計量は$g_{ij}(\theta)=\partial_{i}\partial_{j}\psi(\theta)$

,

(37)

$g^{ij}(\eta)=\partial^{i}\dot{\Psi}\phi(\eta)$と表される.
この結果, 各座標系は$\eta$$\theta^{i}=\partial^{i}\phi(\eta)$,$\eta_{i}=\partial_{i}\psi(\theta)$と書かれる.

(36) の定める変換$\thetarightarrow$は一種の Legendre 変換である. よく知られているように Legendre 変換は, 古典力学では Lagrange 形式から Hamilton 形式への書き換え,れる操作である. また,$\psi(\theta)$

熱力学では状態変数の変換で用いらは分布の $(-1)\cross$ エントロピーとみなせる.

ここで 2 つの分布間の 「距離」 について論じる. 双対平坦な Riemann 多様体 $S$ の 2 点を$P(\theta_{P,\eta_{P})}$,$Q(\theta_{Q,\eta_{Q})}$

とする.

$P$

から $Q$ への \nabla -divergence を(38)$D(P, Q)=\psi(\theta_{P})+\phi(\eta_{Q})-\theta_{P}^{i}\eta_{Qi}$と定義する. ただちに,$D(P, Q)\geq 0$ ,$D(P, Q)=\psi(\theta_{P})-\psi(\theta_{Q})-(\theta_{P}^{i}-\theta_{Q}^{i})\eta_{Qi}$

等号は $P=Q$ に限られる. しかし,が従う. さらに,$D(P, Q)=D(Q, P)$ や 3 角不等式

は一般には成り立たないので $D(P, Q)$ は正確な意味での距離関数とはいえない. 定理 2 より$\partial^{2}D(P, Q)/\partial\theta_{P}^{i}\partial\theta_{P}^{j}=g_{ij}(\theta_{P})$

がわかる.

$P$

と $Q$ が近く$\theta_{Q}=\theta_{P}+d\theta_{P}$とかけるとき(39)$D(P, Q)= \frac{1}{2}gij(\theta_{P})d\theta_{P}^{i}d\theta_{P}^{j}+o(|d\theta_{P}|^{3})$と表され,Fisher 計量による分離度と関係づけられる. \nabla -divergence は距離ではないも一種の Pythagoras の定理や射影定理が成り立つ.

のの,

定理 3

$\pm 1$ -平坦な曲線を, それぞれ,

ついて $P$ と $Q$ を結ぶ$\nabla$-$\nabla$-測地線,$\nabla^{*}$

測地線という. 3 点 $P,$ $Q,$ $R$ に-測地線が $Q$ と $R$ を結ぶ *- 測地線と点 $Q$ で直交するとき$D(P, Q)+D(Q, R)=D(P, R)$ .
$S$の部分集合 $W$ が -l-convex であるとは任意の 2 点

結ぶ$\nabla$

定理 4
$W$

り

-

$P_{1}$,(40)$P_{2}\in W$$P_{1}$と$P_{2}$

を測地線が一意に存在することをいう.
$S$の閉部分集合 $W$ が -l-convex で滑らかな境界$\partial W$

をもつとする. このとき,の外点 $P$ の $W$ における \nabla -divergence の意味での最良近似は,$\partial W$についてに射影した点である.

$P$を$\nabla^{*}$ -

測地線によ

1
さらに, 一方の仮説の確からしさを表す$p_{1}(x, \theta_{1})$を他方の仮説の確かさを表す$p_{2}(x, \theta_{2})$から区別するための尺度 (分離度) として仮説検定で用いられる Kullback-Leibler diver-gence を準備する.

これは $p_{1}(x, \theta_{1}),$$p_{2}(x, \theta_{2})$に対応する $S$ の点を, それぞれ,$P_{1},$$P_{2}$とするとき,$K(P_{1}, P_{2})=E[\log(p_{1}.(x,\theta_{1})/p_{2}(x, \theta_{2}))]$と書かれる, ただし, 期待値はとパラメータ$=x_{i}$$\theta$$p_{1}(x, \theta_{1})$(41)についてとるものとする. 密度関数が確率変数$x$の適当な選択の結果$p(x, \theta)=\exp(\theta^{i}x_{i}-\psi(\theta))$と表される分布を指数関数族 (exponential family) に属するという.

(42)

Gauss 分布を含む非

常に多くの確率分布がこのクラスに入るが, 指数分布族については Kullback-Leibler di-vergence $K(P_{1}, P_{2})$ は$\nabla$-divergence $D(P_{2}, P_{1})$ に一致する.-

さて、 双対平坦構造をもつ確率分布族のなす Riemann 多様体 $(S,g, \nabla, \nabla^{*})$ を議論の舞台としよう. ポテンシヤル$\psi(\theta)$に対する $S$ 上の勾配系(43)$\frac{d\theta^{i}}{dt}=-g^{ij}(\theta)\partial_{j}\psi(\theta)$を考える. 講演で述べたように以下の事実が明らかになっている [10].

I.

勾配系は

$\theta$の双対座標系 $\eta=(\eta_{1}, \cdots, \eta_{k})$ により常に線形化可能, ゆえに可積分. 流

れはエントロピー

II.

特に,

$S$

$\psi(\theta)$の最大点に指数関数的に収束する.

が偶数次元, すなわち $k=2m$ であれば, 勾配系は完全積分可能な Hamil-

ton 系をなし, その等エネルギー曲面は Euclid 空間$R^{m}$に微分同相である. 奇数次元の場

合も本質的には適当な射影により偶数次元の場合に帰着できる.
なお,$\psi(\theta)$の代りに Kullback-Leibler divergence を用いれば, 指数分布族の場合常に線形化可能で,

しかも統計学的意味が明確となる. この点については, 藤原氏の講演で詳しく述べられた.

情報幾何学において設営が可能にみえる可積分系の視点の前進基地としてはこのほか次のような地点が有望であろう.

(i) 同じく, 凸領域や凸関数が現れ, Legendre 変換により線形化可能な力学系のクラス
として,Dikin や Karmarkar 等による線形計画問題の内点流がある. ある場合には Lax

$[$

12
対表示が報告されている [2]. ある凸関数の勾配方向に交互に双対 affine 座標系をたどる

ことで内点アルゴリズムの大域的収束性を実現している点など舞台設定は情報幾何学と共通している.

(ii)$\psi(\theta)$

は K\"ahler ポテンシャルの類似であるから,

hyper K\"ahler 計量をその特殊解にもつ自己双対 Einstein 方程式を通じて非線形可積分系の理論とかかわると予想される.
実際, 多項分布の場合, 双対ポテンシャル
また,$\phi(\eta)$

は Fubini-Study 計量に他ならない [10].

Hitchin 等 (1987) により, ある種の K\"ahler ポテンシャルと Legendre 変換を用いて多重 Eguchi-Hanson 解, Taub-NUT 型の自己双対インスタントン解や Calabi 計量を含む

hyper K\"ahler 計量が構或されている.

参考文献[1] 中村佳正, 非線形可積分系の応用解析の試み

一力学的対称性による非線形問題へのアプローチー, 計測と制御 31(1992), 872-877.

[2] 中村佳正, 非線形可積分系の応用解析の展開, 応用数理 2(1992), 330-342.
[3] Nakamura, Y., A new approach to the linear prediction problem for infinite station-

ary processes in terms of Riemann-Hilbert transformation theory, IMA J. Math.

Control&Inform., 6(1989), 347-358.
[4] 甘利俊一, 神経回路網モデルとコネクショニズム, 東大出版,

1989.

[5] von der Malsburg, C., Self-organization of orientation sensitive cells in the striate
cortex, Kybernetik,14(1973), 85-100.
[6] Oja, E., A simplified newron model as a principal component analyzer, J. Math.

Biology, 15(1982), 267-273.
[7] Moser, J., Finitely many mass points on the line under the influence of an ex-

ponential potential-

An integrable system, in: Dynamical Systems, Theory andApplications, (ed. J. Moser), Springer-Verlag, 1975, pp. 467-497.
[8] Deift, P., Lund, F., and $Tr$ ubowitz, E., Nonlinear wave equations and constrainted

harmonic motion, Commun. Math. Phys. 74(1980), 141-188.

13[9] Amari, S., Differential-Geometric Methods in Statistics, Lec. Notes in Statist. Vol.

28, Springer-Verlag, Berlin, 1985.
[10] Nakamu $ra$ , Y., Completely integrable gradient systems on the manifolds of Gaus-

sian and multinomial distributions, to be published in Japan J. Indust. Appl. Math.,
1993.