数理解析研究所講究録
第 1980 巻 2016 年 220-233

220

学習理論と学習係数
青柳美輝，岡田憲相

日本大学理工学部数学科

Miki Aoyagi and Kensuke Okada
Department of Mathematics, College of Science & Technology, Nihon University,

aoyagi.miki@math.cst.nihon-u.ac.jp; cskn15001@g.nihon-u.ac.jp;
Abstract
統計学分野の学習理論における目的は，真の分布から発生する多量のデータセットから，そのデータを発している情報源の真の分布を再生推測することである．generalization error は，推定された分布と真の分布とのエントロピーに関する誤差を表している．従って，与えられたデータから求められる training error から，generalization error を推定することは重要である．
機械学習における文字認識，画像認識，音声認識，遺伝子解析などでは，データの情報源の確率分布は，正規分布に従うような単純なものではない．それらの機械学習においては，特異学
習モデルと呼ばれる複雑な確率分布を表現できる階層構造内部構造をもつ神経回路網，混合
正規分布や縮小ランクなどが利用されている．
モデル選択法である，“Widely applicable information criterion” (WAIC), は，Akaike information criterion (AIC) を一般化したもので，特異学習モデルにも適用可能である．ベイズ
推測における学習係数は，特異学習モデルの学習効率をあたえるもので WAIC 法の重要な役割を果たしている．学習係数は，代数幾何の分野では，カルバック関数の log canonical thresholdとして知られている．この論文では，近年得られた学習係数に関する結果とそれらを得るために必要な定理を紹介する．

1

はじめに

を滑らかな多様体， $Z$ を $Y$ の closed subscheme, $Y$ 上のcanonical threshold は解析的に複素数体上$Y${

is locally{is locally$c_{Z}(Y, f)= \sup$ $c:|f|^{-c}$$L^{2}$$0$

でない解析函数 $f$ に対して， $\log$

in a neighborhood

$Z$

},

in a neighborhood

$Z$

},

実数体上
$c_{Z}(Y, f)= \sup$ $c:|f|^{-c}$$L^{1}$と定義される． $c_{Z}(Y, f)$ は $f$ に関するゼータ関数の最大の極でもある．代数幾何代数解析では
主に代数閉体上での $\log$ canonical threshold の研究が行われている．また，低次元での研究が主である (Koll\’ar[13], Mustata[15]). 例えば，複素体上での $\log$ canonical threshold は，代数解析における $f$ の Bernstein-Sato 多項式 $b(s)$ の最大の根であることが知られている．

一方，学習理論における学習係数は，ある情報量の実数体上の $\log$ canonical threshold とその位数で与えられる．従ってそのまま複素体上の定理を学習係数に適用することができない．例えば，複素数体上の $\log$ canonical threshold は 1 より小さいが，実数体上ではそうとは限らない．学
習理論における情報量の $\log$ canonical threshold は，ほとんどが 1 より大きい．ある関数族に関しては，実数体上の $\log$ canonical threshold の方が多くの情報を持っていることが知られている．
このように学習係数を求めることは，数学的観点からも興味のある問題である．
この論文では，学習理論においてよく用いられる混合正規分布，三層ニューラルネットワーク，
混合二項分布のベイズ推測に関する学習効率を与える Vandermonde matrix singularities と，線形回帰モデルに ARD 法を適用した場合における log canonical threshold に関する結果を述べる．

221
canonical threshold は広中の特異点解消定理により，原理的には有限の手続きにより求められるが，具体的に求めるのは難しいとされている．計算機で代数計算により行う方式も提案されているが，Vandermonde matrix singularities は，パラメータを含んでいるため，確定された多項式の特異点解消よりも高度な面を含んでいる．更なる困難な問題点として，特異点が孤立していないニュートン図形が退化している等があげられる ([12], [25]).
$\log$

2

WAIC 法と学習理論

を確率変数， $q(x)$ を真の確率密度関数とし， $q(x)$ に従う 個の独立なサンプルを $x^{n}:=${xi}矩 1 とする．学習モデル $p(x|w)$ とその事前分布 $\psi(w)$ が与えられているものとする．ここで，から $p(x|w)$ を用
パラメータ空間は $W(\ni w)\subset R^{d}$ とする．学習理論の目的は，データセット
いて，真の分布 $q(x)$ を再生推定することである．
ベイズ学習では，事後確率 $p(w|x^{n})$ を$x\in R^{N}$$n$$x^{n}$$p(w|x^{n})= \frac{1}{Z_{n}}\psi(w)\prod_{i=1}^{n}p(x_{i}|w)$で定義する．ここで$Z_{n}$

は正規化定数$Z_{n}= \int_{W}\psi(w)\prod_{i=1}^{n}p(x_{i}|w)dw$

である．

ここで，定数$\beta$をもちいて，$E_{w}[f(w)]= \frac{\int dwf(x)\psi(w)\prod_{i--1}^{n}p(x_{i}|w)^{\beta}}{\int dw\psi(w)\prod_{i=1}^{n}p(x_{i}|w)^{\beta}}$と定義する． は，inverse temperature とよばれ，通常 $\beta=1$ である．
これよりベイズ推測を $p(x|X^{n})=E_{w}$「$p(x|w)$ ] と定義する．
$\beta$

確率密度関数 $p(x)$ , $q(x)$ に対して，カルバック距離 $K(q||p)$ を$K(q||p)= \sum_{x}q(x)\log\frac{q(x)}{p(x)},$

経験カルバック距離 $K_{n}(q||p)$$K_{n}(q||p)= \frac{1}{n}\sum_{i=1}^{n}\log\frac{q(x_{i})}{p(x_{i})}$で定義する． $K(p||q)$ は，常に非負関数で， $q(x)=p(x)$ の時に限り $K(q||p)=0$ となる．

, Bayesian training error,
ここで，4 個の誤差，Bayesian generalization error,を次のように定義する．
, and Gibbs training error,
generalization error,$B_{9}$$G_{9}$$B_{t}$, Gibbs$G_{t}$$B_{g}=K(q(x)||E_{w}\lceil p(x|w)]))$$B_{t}=K_{n}(q(x)|E_{w}\lceil p(x_{i}|w)])$$G_{g}=E_{w}[K(q(x)||p(x|w))]$$G_{t}=E_{w}[K_{n}(q(x)||p(x|w))]$

Bayesian generalization error は，真の分布を予測分布がどのくらい近似しているかを表したもの
で最も重要な値である．

222
を learning coeﬃcient(学習係数), $\nu\in R$ を singular fluctuation とする．これらは，birational invariant な数である．正則モデルでは，パラメータの次元を とすると， $\lambda=\nu=d/2$$\lambda\in Q$$d$が成立する．
論文 [22, 23, 24] において以下の関係が示されている:$E[B_{g}]= \frac{\lambda+\nu\beta-\nu}{n\beta}+o(\frac{1}{n})$$E[B_{t}]= \frac{\lambda-\nu\beta-\nu}{n\beta}+o(\frac{1}{n})$$E[G_{g}]= \frac{\lambda+\nu\beta}{n\beta}+o(\frac{1}{n})$$E[G_{t}]= \frac{\lambda-\nu\beta}{n\beta}+o(\frac{1}{n})$これらは，特異点解消および超関数を用いて示される．
従って，$E[B_{g}]=E[B_{t}]+2 \beta(E[G_{t}]-E[B_{t}])+o(\frac{1}{n})$および$E[G_{g}]=E[G_{t}]+2 \beta(E[G_{t}]-E[B_{t}])+o(\frac{1}{n})$を得る．
真の分布の期待値を除いたものを$BL_{g}=- \sum_{x}q(x)\log E_{w}\lceil p(x|w)]$$BL_{t}=- \frac{1}{n}\sum_{i=1}^{n}\log E_{w}\lceil p(x_{i}|w)]$$GL_{g}=-E_{w}[ \sum_{x}q(x)\log p(x|w)]$$GL_{t}=-E_{w}[ \frac{1}{n}\sum_{i=1}^{n}\log p(x_{i}|w)]$とする．このとき，$E[BL_{g}]=E[BL_{t}]+2 \beta(E[G_{t}]-E[B_{t}])+o(\frac{1}{n})$$E[GL_{g}]=E[GL_{t}]+2 \beta(E[G_{t}]-E[B_{t}])+o(\frac{1}{n})$となる．
この 2 式が WAIC 法である．Bayesian および Gibbs generalization error が，真の分布の情報を用いずに，Bayesian および Gibbs training error から推測できることを示している．Training
error は，観測データ および学習モデル を用いて求められる．実際の応用や実験では，通常，真の分布が不明で，観測データのみが得られている．したがって観測データからの真の分布の推定やモデル選択に WAIC 法は有効である．
Bayesian および Gibbs training error の差は，
$x_{i}$$P$$n\beta(E[G_{t}]-E[B_{t}])arrow\nu$

となる．

223
学習係数

$\lambda$

は $K(q(x)||p(x|w))$ の $\log$ canonical threshold であり，れらの値を用いて，値$\nu$$\theta$

をその位数とすると，そは，理論的に次で与えられる．

$\nu=\frac{1}{2}E_{\xi}\frac{\int_{0}^{\infty}dt\sum_{u^{*}}\int du\xi(u)t^{\lambda-1/2}e^{-\beta t+\beta\sqrt{t}\xi(u)}}{\int_{0}^{\infty}dt\sum_{u^{*}}\int dut^{\lambda-1/2}e^{-\beta t+\beta\sqrt{t}\xi(u)}}$,(1)

ここで， $\xi(u)$ は，特異点解消した空間上で定義された経験過程で，平均 $0$ 分散 2 のガウス分布となる確率変数である．

$\sum_{u^{*}}$は，$\lambda$

および$\theta$が得られる局所座標の和である．

今まで，特異モデルの学習係数は，数例においてその上限が得られていたにすぎず情報科学において長い間未解明であったが，近年，縮小ランクモデルの場合 [8] や，出力層が 1 個である三層ニューラルネットワークの場合 [7, 1], 1 次元の混合正規分布の場合 [3], Restricted Boltzmann
machine [5] の場合の学習係数について解明された．
論文 [6, 4] では，帰納的に行う特異点解消の中心となる多様体の適当な選択によって，Vandermonde matrix 型特異点の学習係数のバウンドが得られている．
また，論文 [20, 21, 27] においては naive Bayesian networks や directed tree models withhidden variables における学習係数が得られている．
得られた結果は複雑な学習モデルの選択やハイパーパラメータの設計において，周辺尤度の値の理論値を与えるため，MCMC 法の精度を解明することや [16, 17], 精度の改良法，モデル選択解析に応用されている [10, 11].

3$*$${\rm Log}$

canonical thresholdを付加した記号$a^{*},$$b^{*},$$w^{*}$などは定数を表すものとする．

または
定義 1
における
の十分小さな近傍を $U,$ $f$ を $U$ 上の でない正則関数または実解析関数とする． $\psi(w)$ をコンパクトサポートを持つ関数で， $\psi(w^{*})\neq 0$ を満たすものとすおよびる．このとき， $f$ のに関する $\log$ canonical threshold を，上では，$\mathbb{C}^{d}$$\mathbb{R}^{d}$$w^{*}$$0$$c\infty$$w^{*}$$\mathbb{R}^{d}$$\mathbb{C}^{d}$$\psi$$c_{w^{*}}(f, \psi)=\sup${ $c:|f|^{-c}$ is locally$c_{w^{*}}(f, \psi)=\sup${ $c:|f|^{-c}$ is locally$L^{2}$

in a neighborhood of$w^{*}$

in a neighborhood of$w^{*}$}

上では，$L^{1}$と定義する．また，をその位数とする．
$\psi(w^{*})\neq 0$ ならば，特に， $c_{w^{*}}(f)=c_{w^{*}}(f, \psi)$ およびw (f)はに依存しないからである．

}$\theta_{w^{*}}(f, \psi)$$\theta$$*$$=\theta_{w^{*}}(f, \psi)$

とおく．これらの値$\psi$

次の定理 1 は，複素数体において，関数を超平面に制限したときの log canonical threshold 値に関する定理である．

定理 1([19], [13]) $f(w_{1}, \cdots, w_{d}, w_{d+1})$ を原点の近傍における正則関数とする． を $g=f|_{w_{d+1}=0}$
とおく．すなわち， を $w_{d+1}=0$ に制限した関数を とする (または， $H$ を超曲面として， を$H$ に制限した関数を $g=f_{H}$
とする).
$g$

$f$

$f$

$g$

このとき， $c_{0}(g)\leq c_{0}(f)$ .

この定理は，実解析関数では成り立たない．たとえば，反例として，例 1 があげられる．
例1$f(w_{1}, w_{2}, w_{3}, w_{4}, w_{5}, w_{6})=(w_{1}^{2}+w_{2}^{2}+w_{3}^{2}+w_{4}^{2}+w_{5}^{2}+w_{6}-1)^{2}$.

(2)

とおく．このとき， $c_{(0,0,0,0,0,1)}(f)=1/2$ , であるが， $c_{0}(f(w_{1}, w_{2}, w_{3}, w_{4}, w_{5},1))=5/4$ となる．

しかし，斉次多項式の場合は，以下の様に成立する．

224のに対する斉次多項式,,
定理 2 ([4]) $fi(w_{1}, \ldots, w_{d})$ , . . ., $f_{m}(w_{1}, \ldots, w_{d})$ を次数とする． $f_{1}’(w_{2}, \ldots, w_{d})=fi(1, w_{2}, \ldots, w_{d})$ , .. ., $f_{m}’(w_{2}, \ldots, w_{d})=f_{m}(1, w_{2,\ldots,d}w)$ とおく．
であれば
$n_{i}$$w_{d}$$w_{1}$$w_{1}^{*}\neq 0$$c_{(wi,\cdots,w_{d}^{*})}(f_{1}^{2}+\cdots+f_{m}^{2})=c_{(w_{2}^{*}/w_{1}^{*},\cdots,w_{d}^{*}/w_{1}^{*})}(f_{1}^{\prime 2}+\cdots+f_{m}^{\prime 2})$.

また，斉次多項式の場合は，以下の定理が成り立つ．

定理 3([4]) $fi(w_{1}, \ldots, w_{d})$ , . . ., $f_{m}(w_{1}, \ldots, w_{d})$ を項式とする．さらに，$\psi$

の近傍で
,
このとき，
$w_{1}$を$C^{\infty}$関数で，$w_{1},$$\cdot\cdot,$$wj(j\leq d)$ に対する次数$\psi_{(0,\cdots,0,w_{j+1}^{*},\cdots,w_{d}^{*})}\geq\psi(w_{1}^{*},\cdots,w_{\dot{d}})$$n_{i}$の斉次多

および $(0, , 0, w_{j+1}^{*}, \cdots, w_{d}^{*})$, $wj$ に関して，斉次であるとする．

$c_{(w_{d}^{*})}0,\cdots,0,w_{j+1}^{*},\cdots,(f_{1}^{2}+\cdots+f_{m}^{2}, \psi)\leq c_{(w_{1}^{*},\cdots,w_{j}^{*},wj_{+1},\cdots,w_{d}^{*})}(f_{1}^{2}+\cdots+f_{m}^{2}, \psi)$が成り立つ．
一般にが$w_{0}\in \mathbb{R}^{d}$$f_{i}(w_{0})= \frac{\partial f_{i}}{\partial w_{j}}(w_{0})=0, 1\leq i\leq m, 1\leq j\leq d$を満たしたとしても$c_{w0}(f_{1}^{2}+\cdots+f_{m}^{2}, \psi)\leq c_{w}*(f_{1}^{2}+\cdots+f_{m}^{2},\psi)$が成り立つとは限らない．
例 2 $fi=x(x-1)^{2},$ $f_{2}=(y^{2}+(x-1)^{2})((y-1)^{6}+x)$ , $f_{3}=(z^{2}+(x-1)^{2})((z-1)^{6}+x)$ とす
る．このとき， $x=1,$ $y=0,$ $z=0$ の時に限り，$fi=f_{2}=f_{3}=\not\simeq^{\partial_{x}}\underline{1}=\neq^{\partial_{y}}2_{-}=\neq^{\partial_{x}}2_{-}=\#_{z}^{\partial_{3_{-=}}}\neq^{\partial_{x}}3_{-}=0$

であるが， $c_{(1,0,0)}(f_{1}^{2}+f_{2}^{2}+f_{3}^{2})=1/4+1/4+1/4>c_{(0,1,1)}(f_{1}^{2}+f_{2}^{2}+f_{3}^{2})=1/2+1/12+1/12.$

4

Vandermonde matrix 型特異点の補題 4 ([2,3, 14]) $U$ をるイデアルとする．

(1)(2)$g_{1}^{2}+.$$g_{1}$

..

,...,

元ならば
定義 2

$w^{*}\in \mathbb{R}^{d}$

の近傍，

$J$

canonical threshold

を $U$ で定義された実解析関数 $fi$ , . . . ,ならば $c_{w*}(g_{1}^{2}+\cdots+g_{m}^{2})\leq c_{w*}(f_{1}^{2}+\cdots+f_{n}^{2})$ .
ならば $c_{w*}(g_{1}^{2}+\cdots+g_{m}^{2})\leq c_{w*}(f_{1}^{2}+\cdots+f_{n}^{2})$ . 特に， , . . . ,$f_{n}$

で生成され$+g_{m}^{2}\leq f_{1}^{2}+\cdots+f_{n}^{2}$$g_{m}\in J$$g_{1}$$c_{w*}(f_{1}^{2}+\cdots+f_{n}^{2})=c_{y\bullet}(9_{1}^{2}+\cdots+g_{m}^{2})$$w^{*}$${\rm Log}$の近傍 $U$ で定義された実解析関数 $fi,$$\cdots,$$f_{m}$

から生成されるイデアルを

この定義は，Lemma 4 より矛盾なく定義できる．

定義 3 $Q\in N$ を固定する．
$b_{i}^{*}\neq 0$のとき，$\gamma_{i}=\{\begin{array}{l}1 Q が奇数に対して，|b_{i}^{*}|/b_{i}^{*} Q が偶数\end{array}$$[b_{1}^{*}, b_{2}^{*}, \cdots, b_{N}^{*}]_{Q}=\gamma_{i}(0, \cdots, 0, b_{i}^{*}, \cdots b_{N}^{*})$

定義 4 $Q\in N$ を固定する．

が $J$ の生成.

のとき， $c_{w^{*}}(J)=c_{w^{*}}(f_{1}^{2}+\cdots+f_{m}^{2})$ とする．

$b_{1}^{*}=\cdots=b_{i-1}^{*}=0,$$g_{m}$と定義する．

$J$とする．

$arrow$

225$A=(\begin{array}{llllll}a_{11}\cdots \cdots\cdots a_{1H}\cdots a_{2,H+1}^{*}a_{1,H+1}^{*}\cdots \cdots a_{2,H+r}^{*}a_{1,H+r}^{*}a_{21}\cdots \cdots\cdots a_{2H}\cdots \cdots \cdots \cdots a_{M1} \cdots a_{MH} a_{M,H+1}^{*} \cdots a_{M,H+r}^{*}\end{array}),$$I=(\ell_{1}, \ldots, \ell_{N})\in N_{+0^{N}}$$B_{I}=( \prod_{j=1}^{N}b_{1j}^{\ell_{j}},\prod_{j=1}^{N}b_{2j}^{\ell_{j}}, \cdots,\prod_{j=1}^{N}b_{Hj}^{\ell_{i}},\prod_{j=1}^{N}b_{H+1,j^{\ell_{j}}}^{*},\prod_{j=1}^{N}b_{H+r,j}^{*\ell_{j}})^{t}$$B=(B_{I})_{\ell_{1}+\cdots+\ell_{N}=Qn+1,0\leq n\leq H+r-1}$$=(B(B\cdots, BB, \cdots)$とする ( は行列の転置を表す).
$t$$a_{ki},$$b_{ij}(1\leq k\leq M, 1\leq i\leq H, 1\leq i\leq N)$は，定数$a_{ki}^{*},$$b_{ij}^{*}$の近傍で定義された変数と

する．
$J$

$J$

を $AB$ のすべての成分から生成されるイデアルとする．
で定められる特異点を Vandermonde matrix 型特異点とよぶ．簡単のため， $1\leq i\leq r$ #こ対して，$(a_{1,H+j}^{*}, a_{2,H+j}^{*}, \cdots, a_{M,H+j}^{*})^{t}\neq 0, (b_{H+j,1}^{*}, b_{H+j,2}^{*}, \cdots, b_{H+j,N}^{*})\neq 0$

および $j\neq j’$ に対して，$[b_{H+j,1}^{*}, b_{H+j_{)}2}^{*}, \cdots, b_{H+j,N}^{*}]_{Q}\neq[b_{H+j,1}^{*},b_{H+j,2}^{*}, \cdots, b_{H+j,N}^{*}]_{Q}$を仮定する．
この論文では，次のように定義する．

$A_{M,H}= (\begin{array}{llll}a_{11} a_{12} \cdots a_{1H}a_{21} a_{22} \cdots a_{2H} a_{M1} a_{M2} \cdots a_{MH}\end{array}), B_{H,N,1}=(\prod_{\prod_{j=1}^{N}}^{N}j=1_{b_{Hj^{p_{j}}}}b_{2j^{\ell_{j}}}\prod_{j_{N}=1}b_{1j^{l_{j}}})$$B_{H,N}^{(Q)}=(B_{H,N,I})_{\ell_{1}+\ldots+\ell_{N}=Qn+1,0\leq n\leq H-1}.$

さらに$a^{*}=(\begin{array}{l}a_{1,H+1}^{*}\vdots a_{M,H+1}^{*}\end{array})$および$(A_{M,H}, a^{*})= (a_{M1}a_{21}a_{11} a_{M2}a_{22}a_{12} \cdot\cdot.\cdot a_{MH}a_{2H}a_{1H} a_{M,H+1}^{*}a_{2,H+1}^{*}a^{*}1,H+1)$としておく．
次の定理は $c_{0}(||A_{M,H}B_{H,N}^{(Q)}||^{2})$ および $c_{0}(||(A_{M,H-1}, a^{*})B_{H,N}^{(Q)}||^{2})$ の値がわかれば，すべてのVandermonde matrix 型特異点の $\log$ canonical threshold がわかることを示している．

定理 5([3]) $U$ を$w^{*}=\{a_{ki}^{*}, b_{ij}^{*}\}_{1\leqq k\leqq M,1\leq i\leq H,1\leq j\leq N}$の近傍とし，変数 $w=\{a_{ki},$$b_{ij\}_{1\leqq k\leqq M,1\leq i\leq H,1\leq j\leq N}}$

は $U$ 内に値を取るとする．

226$(b_{01}^{**}, b_{02}^{**}, \cdots , b_{0N}^{**})=(0, \ldots, 0)$

とおく．

ここで
$[b_{i1}^{*}, b_{i2}^{*}, \cdots, b_{iN}^{*}]_{Q}\neq 0$の中で，異なるベクトルを$(bi_{1}^{*}, b_{12}^{**}, \cdots, b_{1N}^{**})$$\{(b_{11}^{**}, \cdots, b_{1N}^{**}), .

.

.

, for $i=1$ , . . . , $H+r$, . . .,とする．すなわち，$(b_{r1}^{**}, b_{r2}^{**}, \cdots, b_{rN}^{**})$, (b_{r1}^{**}, \cdots, b_{rN}^{**});[b_{i1}^{*}, \cdots, b_{iN}^{*}]_{Q}\neq 0, i=1, \cdots, H+r\}.$

このとき〆は，-意的に定まり，仮定より $r’\geq r$ である．
$1\leq i\leq r$に対して， $(b_{i1}^{**}, \cdots, b_{iN}^{**})=[b_{H+i,1}^{*}, , b_{H+i,N}^{*}]_{Q}$ , とする．

$[b_{i1}^{*}, \cdots, b_{iN}^{*}]_{Q}=\{\begin{array}{ll}0, 1\leq i\leq H_{0}(b_{11}^{**}, \cdots, b_{1N}^{**}) , H_{0}+1\leq i\leq H_{0}+H_{1},(b_{21}^{**}, \cdots, b_{2N}^{**}) , H_{0}+H_{1}+1\leq i\leq H_{0}+H_{1}+H_{2},:(b_{r1}^{**}, \cdots, b_{rN}^{**}) , H_{0}+\cdots+H_{r’-1}+1\leq i\leq H_{0}+\cdots+H_{r’},\end{array}$

および $H_{0}+\cdots+H_{r’}=H$ としておく．
このとき$c_{w^{*}}(||AB||^{2})= \frac{Mr’}{2}+c_{w_{1}^{(0)^{*}}}(||A_{M,H_{0}}B_{H_{0},N}^{(Q)}||^{2})$$+ \sum_{\alpha=1}^{r}c_{w_{1}^{(\alpha)}}*(||(A_{M,H_{\alpha}-1}, a^{(\alpha)^{*}})B_{H_{\alpha},N}^{(1)}||^{2})+\sum_{\alpha=r+1}^{r’}c_{w_{1}^{(\alpha)^{*}}}(||A_{M,H_{\alpha}-1}B_{H_{\alpha}-1,N}^{(1)}||^{2})$

ここで，

.

(0)
$w_{1}$$=\{a_{k,i}^{*}, 0\}_{1\leq i\leq H_{0}},$$w_{1}^{(\alpha)^{*}}=\{a_{k,H_{0}+\cdots+H_{\alpha-1}+i}^{*}, 0\}_{2\leq i\leq H_{\alpha}}$およひ$a^{(\alpha)^{*}}=(\begin{array}{l}a_{1,H+\alpha}^{*}\vdots a_{M,H+\alpha}^{*}\end{array})$for$\alpha\geq 1.$以下の定理は，学習係数の上界を与える．
定理 6([4])boundl$= \min\{\frac{(H-i+1)N+d_{i}(s)+d_{i}’(s)+d_{i}"(s)}{2(count(i,s,k(s))-1)Q+2}:1\leq i\leq s, 1\leq k(1), \cdots, k(s)\leq N, 1\leq s\leq H\}$

ここで

count $(i, s, j)=\#\{i_{1} : i\leq i_{1}\leq s, k(i_{1})=j\},$ $C(i, s)=\#\{count(i, s, j)=0, 1\leq j\leq N\},$$d_{i}(s) = (N-1)Q \sum_{s1^{=i}}^{s}(count(i, s_{1}, k(s_{1}))-1)$$d_{i}’(s) = M(i-1)\{(count(i, s, k(s))-1)Q+1\}$$+QM \sum_{s_{1}=i}^{s-1},(count(i, s, k(s))-count(i, s_{1}, k(s_{1})))count(i,s,k(s))>count(i,s_{1},k(s_{1}))$ ’$d_{i}"(s)$$=$$\{\begin{array}{l}0, if count (i, s, k(s))=1,(H-s)\{C(i, s)Q+(N-1)Q(count(i, s, k(s))-2if count (i, s, k(s))\geq 2, N-1\leq M,(H-s)\{C(i, s)Q+MQ(count(i, s, k(s))-2if count (i, s, k(s))\geq 2, C(i, s)\leq M<N-1,(H-s)\{MQ(count(i, s, k(s))-1if count (i, s, k(s))\geq 2, M\leq C(i, \mathcal{S}) .\end{array}$

227
とする。

さ t らに， $bound_{2}=\frac{NH+\sum_{i}^{k’-1}MQ(k’-i)\langle^{N+Qi}\rangle}{2+2Qk}$ とする．
ここで $k’= \max\{i\in \mathbb{Z};NH\geq M\sum_{i=0}^{i-1}(1+Qi’)\langle^{N+Qi’}N-1\rangle\}$ である．

また$bound_{3}=\frac{MH}{2}$

とする．
このとき
$c_{0}(||A_{M,H}B_{H,N}^{(Q)}||^{2}) \leq\min\{bound_{1}, bound_{2}, bound_{3}\}$$c_{0}(||(A_{M,H-1}, a^{*})B_{H,N}^{(Q)}||^{2})\leq\min\{bound_{1}, bound_{2}\}$

次に， $H=1$ , 2, 3 の場合の真の値を与える．
る．また，$\lambda’=c_{0}(\Vert(A_{M,H-1}, a^{*})B_{H,N}^{(Q)}\Vert^{2})$$\lambda=c_{0}(\Vert A_{M,H}B_{H,N}^{(Q)}\Vert^{2})$, および$\theta$’

をその位数とする．

定理 7 Case 1 $H=1.$

1.

$\lambda=\min\{\frac{M}{2}, N\},$ $\theta=\{\begin{array}{l}1, if M\neq N,2, if M=N,\end{array}$2.

$\lambda’=\frac{N}{2},$$\theta’=1.$

Case 2 $H=2.$
1. $M>N+1$ ならば $\lambda=\lambda’=N,$$\theta=\theta’=1.$

2. $M=N+1$ ならば $\lambda=\lambda’=N,$$\theta=\theta’=2.$

3. $M=N$ ならば$\lambda=\lambda’=\frac{2N+Q(2N-1)}{2(Q+1)},$

4. $M\leq N-1$ ならば$\lambda=M,$$\theta=\theta’=1.$$\theta=1.$

5. $N-Q+1\leqq M\leq N-1$ ならば$\lambda’=\frac{2N+Q(2N-1)}{2(Q+1)},$

6. $M=N-Q$ ならば$\theta’=2.$$\lambda’=\frac{N+M}{2},$7. $M\leq N-Q-1$ ならば$\lambda’=\frac{N+M}{2},$$\theta’=1.$$\theta’=1.$

Case 3 $H=3.$

1. $M>N+2$ ならば$\lambda=\lambda’=\frac{3N}{2},$$\theta=\theta’=1.$

2. $M=N+2$ ならば$\lambda=\lambda’=\frac{3N}{2},$$\theta=\theta’=2.$

3. $M=N+1$ ならば$\lambda=\lambda’=\frac{3N+(3N-1)Q}{2(Q+1)},$

4. $M=N$ ならば$\lambda=\lambda’=\frac{3N+(3N-2)Q}{2(Q+1)},$

5. $M=N-1$ ならば, とし，$\theta=\theta’=1.$$\theta=\theta’=2.$$\{\lambda\lambda\lambda\frac{3-Q+3M(Q+1)}{\frac {}{}33M^{2(Q+1)}\theta=1\frac{}{},\theta=2h_{4},2},\theta=1forQ>3forQ=3forQ<3’$$\theta$

をその位数とす228
6. $M<N-1$ ならば$\lambda=\frac{3M}{2},$$\theta=1.$

7. $M=N-S(S=1,2, \cdots)$ ならば$\{\begin{array}{l}\lambda’=\frac{S(3+Q)-2Q+3M(Q+1)}{2(Q+1)}, \theta’=1 for Q>S,\lambda’=\frac{}{}\lambda’=\frac{2M+N}{2M^{2}+N,2}, \theta’=1forQ<S\theta’=2forQ=S,\end{array}$$N=1$ の場合は，次のような結果が得られている．

定理 8 ([2]) $N=1$ のとき $\lambda=\lambda’=\frac{MQk(k+1)+2H}{4(1+kQ)}$ .

’こで、 $k= \max\{i\in \mathbb{Z};2H\geq M(i(i-$$1)Q+2i)\}$ である．
$\theta=\{\begin{array}{ll}1, if 2H>M(k(k-1)Q+2k)2, if 2H=M(k(k-1)Q+2k)\end{array}$$\theta’=\{\begin{array}{ll}1, if M=H=11, if 2H>M(k(k-1)Q+2k)2, if 2H=M(k(k-1)Q+2k) , H>1\end{array}$

5

ARD 法

次に，ARD 法を適用した場合の学習係数について考察する．特に，脳活動の計測における MEG(Magnetoencephalography) 線形モデルに ARD 法を適用した場合の学習係数を求める．

5.1

MEG

脳活動の計測においては fMRI, EEG, MEG といった様々な計測方法が行われている．MEG とは脳磁図・脳磁計と呼ばれ，脳内神経活動により発生する磁場を観測し神経活動を観測する装置である [26].
MEG の特徴として，
1. 非侵襲的である．

2. 高い時間分解能を有する．

3. 電流源推定のための逆問題を解く必要がある．
ということが挙げられる．逆問題を解くにあたって，計測に用いるセンサ数に対し，電流源が膨大な数であるため不良設定問題になってしまう．そのため不要な電流源を削減することが必要になるが，この対策として考えられているのが，ARD 法である．
次の様な MEG 線形回帰モデルを考える．
$y=Va’+\epsilon$$y\in \mathbb{R}^{L}, V\in \mathbb{R}^{L\cross M}, a’\in \mathbb{R}^{M}, \epsilon\in \mathbb{R}^{L}$

ここで $y,$$a’,$$\epsilon$

はそれぞれ観測磁場，電流源，観測誤差である． $V$ はリードフィールド行列と呼ばれるもので，センサ，電流双極子の位置や方向によって求められる．ここに次で述べる
ARD(Automatic Relevance Determination) 事前分布を導入することで不必要な電流源の削除を試みる．

ARD とは関連度自動決定と呼ばれるものであり，一部のパラメータを(sparce) な解を得る方法である [9].
次の様な時系列データセット$D=\{a^{\prime(u)}, y^{(u)}u=1, 2, \cdots, U\}$

$0$にすることにより疎229が与えられたとき，入力と出力との間に不必要な変数 (重み) が存在するとき，それを削除することを考える．
先の MEG モデルに次の様な事前分布を導入する．

$p(a’|a)= \prod_{i=1}^{M}\mathcal{N}(a_{i}’|0, \alpha_{i}^{-1})$

ここで$\alpha$はハイパーパラメータ，
ま各重みに対応するハイパーパラメータであり，分散の正規分布を表す．
$|$$\alpha_{i}$

で平均 ,
$0$

$\mathcal{N}(a_{i}’|0, \alpha_{i}^{-1})$$\alpha_{i}^{-1}$

これらのハイパーパラメータについての周辺尤度を最大化することにより多くの束し，結果として不要な重みが削除されることとなる．
MEG モデルの確率密度関数は，$\alpha_{i}$が$p(y|a’)=\mathcal{N}_{L}(y;Va\prime, \sigma_{y}^{2}I_{L})$で与えられる．ここで論文 [18] の結果より，$p( \{y^{(n)}\}|\{a^{(u)}\}, b)=\prod_{u=1}^{U}\mathcal{N}_{L}(y^{(u)};V\sum_{m=1}^{M}b_{m}a_{m}^{(u)}e_{m}, \sigma_{y}^{2}I_{L})$となる．ここでは $m$ 次成分が 1, 他の成分は の単位ベクトルである．
を $V$ のランクとする． , . . . , $v_{M}$ を $V$ の構成列ベクトルとする :$0$$e_{m}$$l$$v_{1}$$V=(v_{1}, \ldots, v_{M})$$R(i_{1}, \ldots, i_{k})$を$v_{i_{1}}$,...,$v_{i_{k}}$.

で生成されるベクトル空間:$R(i_{1}, \ldots, i_{k})=\{c_{i^{V}i_{1}}+\cdots+c_{k^{V}i_{k}}:c_{1}, .

.

.

, c_{k}\in R\}$

として，その $R(i_{1}, \ldots, i_{k})$ に含まれる $V$ の列ベクトルの個数を $L(i_{1}, \ldots, i_{k})$ とおく :$L(i_{1}, \ldots, i_{k})=\#\{v_{i}$: $v_{i}\in R(i_{1},$$i_{k}$$\ldots,$

ここで$M_{k}= \max_{1i,\ldots,i_{k}}L(i_{1}, \ldots, i_{k})$

.

とする．

定理 9 $\sum_{u=1}^{U}||V\sum_{m=1}^{M}b_{m}a_{m}^{(u)}e_{m}||^{2}$ の $\log$ canonical threshold は$\min\{\frac{(\ell-1)U+M-M_{\ell-1}}{2}:\ell=1, .

.

.

, 1+1\}.$

ここで， $M_{0}=\#\{v_{k}:v_{k}=0\}$ および $M_{l}=M.$(証明)に関する帰納法によって，ブローアップを行い，以下の関数が得られることを示す．
$k$$(*) \Psi^{*}(k)=w_{1}^{2}\cdots w_{k}^{2}\sum_{u=1}^{U}(a_{1u}^{\prime 2}+\cdots+a_{ku}^{;2}+||V_{k}(\begin{array}{l}b_{k+1}a_{k+1,u}\vdots b_{M(k)}a_{M(k)u}\end{array})||^{2})$ヤコビアンは$\prod_{l=1}^{k}w_{\ell}^{(\ell-1)U+M’(\ell-1)-(\ell-1)-1}$dbdada’dw.

$0$

に収

230
$M’(\ell)$は，以下の証明内で現れる Eq. (3) および Eq.(4) で順次定義される．

(Step 1)$v_{1}\neq 0$, . . . , $V_{M-M_{。}}\neq 0,$ $v_{M-M_{0}+1}=0$ , . . . , $v_{M}=0$ と仮定する．
$M’(O)=M’=M-M_{0}$

(3)

とおく．

を部分多様体 $\{b_{i}=0, 1\leq i\leq M’\}$ に沿ってブローアップする．
$b_{1}=w_{1},$ $b_{i}=w_{1}b_{i},$ $i=2$ , . . . , M’ とおく．
$\Psi$$v_{1}\neq 0$

より， $M\cross M$ 正則行列君が存在して，$(\begin{array}{l}v_{1i}(1)v_{i}(1)\end{array})=P_{1^{V}i},$$0$$P_{1}v_{1}=(\begin{array}{l}10\vdots 0\end{array}).$$i=2$ , . .. , $M’$ , とおく． $v_{i}(1)$ は $M-1$ 次元ベクトルである． $v_{2}(1)\neq$, . . . , $v_{M’(1)}(1)\neq 0,$ $v_{M’(1)+1}(1)=\cdots=v_{M’}(1)=0$ を仮定する． $M’(1)\leq M’$ は明らか．
$V_{1}=(v_{2}(1), \ldots, v_{M’(1)}(1))$とすると，$P_{1}V(\begin{array}{l}a_{1u}b_{2}a_{2u}\vdots b_{M},a_{Mu}\end{array})=(a_{1u}+(v_{12}(1),\ldots, v_{1M’}.(1))(b,a_{Mu})V_{1}(b_{M(1)}b_{2}a_{2u}a_{M(1)u})^{M}b_{2}a_{2u},)\cdot$$a_{1u}$から $a_{1u}’$ へ $a_{1u}’=a_{1u}+(v_{12}(1), \ldots, v_{1M’}(1))(\begin{array}{l}b_{2}a_{2u}\vdots b_{M},a_{Mu}\end{array})$ により変数変換する．

補題 4 より， は次の式$\Psi$$\Psi^{*}(1)$を考察すればよい :$(*) \Psi^{*}(1)=w_{1}^{2}\sum_{u=1}^{U}(a_{1u}^{\prime 2}+||V_{1}(\begin{array}{l}b_{2}a_{2u}\vdots b_{M’(1)}a_{M(1)u}\end{array})||^{2})$.

ここでヤコビアンは$\prod_{\ell=1}^{k}w_{1}^{M’-1}$

dbdada’dw.

(Step 2)を部分多様体 $\{a_{ui}=0, i=1, 2, . . . , k, u=1, . . . , U, b_{k+1}=\ldots=b_{M’(k)}=0\}$ こ沿って
ブローアップする．
$\Psi^{*}(k)$$a_{ui}=w_{k+1}a_{ui},$ $b_{k+1}=w_{k+1}b_{k+1}$$\ovalbox{\tt\small REJECT}$, . . . , $b_{M’(k)}=w_{k+1}b_{M’(k)}$ とおく．

$a_{11}=1$ ならば， $\frac{(\ell-1)U+M’(l-1)-(\ell-1)}{2},$ $\ell=1,$ $\cdots,$ $k+1$

は， $\log$ canonical threshold の候補となる．
$b_{k+1}=1$ とおく． $v_{k+1}(k)\neq 0$ なので， $(M-k)\cross(M-k)$$P_{k+1}v_{k+1}(k)=(\begin{array}{l}10\vdots 0\end{array}).$正則行列 $P_{k+1}$ が存在して，

231$(v_{k+1,i}(k+1)v_{i}(k+1))=P_{k+1}v_{i}(k)$, $i=k+2$ , . . . , $M’(k)$ , とおく． $v_{i}(k+1)$$|$

ま$M-k-1$ 次元

ベクトル．

$v_{k+2}(k+1)\neq 0$, . . . , $v_{M’(k+1)}(k+1)\neq 0,$ $v_{M’(k+1)+1}(k+1)=\cdots=v_{M’(k)}(k+1)=0$

(4)

とおく．
$V_{k+1}=(v_{k+2}(k+1), \ldots, v_{M’(k+1)}(k+1))$とすれば，$P_{k+1}V_{k}(\begin{array}{l}a_{k+1,u}b_{k+2}a_{k+2,u}\vdots b_{M(k)}a_{M(k)u}\end{array})$$= (a_{k+1,u}+(v_{k+1,k+2_{V_{k+1()^{(}}}}(k+1), \ldots,v_{k+1,.’..M’}(k+1))b_{M’(k+1)}a_{M’(k+1)u}b_{k+2}a_{k+2,u}b_{M(k)}a_{M(k)u}b_{k+2}a_{k+2,u}) )$.

となる． $a_{k+1,u}$ から $a_{k+1,u}’$ へ$a_{k+1u}’=a_{k+1u}+(v_{k+1,k+2}(k+1), \ldots, v_{k+1,M’(k)}(k+1))(\begin{array}{l}b_{k+2}a_{k+2,u}\vdots b_{M(k)}a_{M(k)u}\end{array})$

によって変数変換すれば，同様に補題 4 より，$\Psi^{*}(k+1)$ を考察すればよい．
(Step 3)
最後に $M’(k)-k$ の値を次のように変換する．
を $M-k$ 次元 ベクトルとする．
$0$

$0$

$(\begin{array}{lllll}1 0 0 \cdots 00 1 0 \cdots 0\vdots \vdots \vdots 0 0 0 \cdots P_{k}\end{array})\cdots(\begin{array}{lll}1 0 00 1 00 0 P_{3}\end{array})(\begin{array}{ll}1 00 P_{2}\end{array})P_{1}V$$=$$(00001$$v_{12,.\cdot.\cdot 1}(.1)00$$v_{23.1}(2)v_{13}.(1)00$$v_{1M}(1)0^{0})$な...
$\cdot\cdot 0^{1}$$v_{kM_{0^{(k-1)}}’}(k)$$v_{k+1}(k)v_{kM}(k)$$\ldots$

ので $R(1, \ldots, k)=\{c_{i^{V}1}+\cdots+c_{k^{V}k} :c_{1}, .

.

.

$v_{M’(k)}(k)$, c_{k}\in R\}$

.

$0.$

とおけば， $v_{k+1}$ , . . . , $v_{M’(k)}\not\in R(1, \ldots, k)$

および $v_{M’(k)+1}$ , . . . , $v_{M}\in R(1, \ldots, k)$ .

従って $M-(M’(k)-k)=\#\{v_{i}:v_{i}\in R(1, \ldots, k)\}$ である．

Q.E.D.

謝辞
この研究は科学研究費補助金 22540224 を受けた．

232
References[1] M. Aoyagi. The zeta function of learning theory and generalization error of three layered
neural perceptron. RIMS Kokyuroku, Recent Topics on Real and Complex Singularities,

1501:153-167, 2006.
canonical threshold of Vandermonde matrix type singularities and general[2] M. Aoyagi.
ization error of a three layered neural network. International Journal of Pure and Applied
Mathematics, 52 (2): 177-204, 2009.
${\rm Log}$[3] M. Aoyagi. A Bayesian learning coeﬃcient of generalization error and Vandermonde matrixtype singularities. Communications in Statistics- Theory and Methods, $39(15):2667-2687,$

2010.
[4] M. Aoyagi. Consideration on singularities in learning theory and the learning coeﬃcient.
Entropy, $15(9):3714-3733$ , 2013.
[5] M. Aoyagi. Learning coeﬃcient in Bayesian estimation of restricted Boltzmann machine.
Journal of Algebraic Statistics, $4(1):30-57$ , 2013.

[6] M. Aoyagi and K. Nagata. Learning coeﬃcient of generalization error in Bayesian estimation
and Vandermonde matrix type singularity. Neural Computation, $24(6):1569-1610$ , 2012.
[7] M. Aoyagi and S. Watanabe. Resolution of singularities and the generalization error with
Bayesian estimation for layered neural network. IEICE Trans. J88-D-II, 10:2112-2124,$2005a.$[8] M. Aoyagi and S. Watanabe. Stochastic complexities of reduced rank regression in Bayesianestimation. Neural Networks, 18:924-933, $2005b.$[9] C. M. Bishop. Pattern Recognition and Machine Learning. Springer-Verlag, New York,
LLC, 2006.

[10] M. Drton. Conference lecture: Reduced rank regression. Workshop on Singular Learning
Theory, AIM 2011, $http.\cdot//math$ . berkeley. $edu$ critch/slt2011/, 2011.
[11] M. Drton.
Conference lecture: Bayesian information criterion for singular models. Algebraic Statistics 2012 in the Alleghenies at The Pennsylvania State University,$http.\cdot//$jasonmorton. $com/aspsu2012/$, 2012.

[12] H. Hironaka. Resolution of singularities of an algebraic variety over a field of characteristic
zero. Annals of Math, 79:109-326, 1964.
[13] J. Koll\’ar. Singularities of pairs. Algebraic geometry-Santa Cruz 1995, Proc. Symp. Pure
Math., American Mathematical Society, Providence, $RI,$ , 62:221-287, 1997.

[14] S. Lin. Asymptotic approximation of marginal likelihood integrals. (preprint), 2010.
[15] M. Mustata. Singularities of pairs viajet schemes. J. Amer. Math. Soc., 15:599-615, 2002.
[16] K. Nagata and S. Watanabe. Exchange Monte Carlo sampling from Bayesian posterior
for singular learning machines. IEEE Transactions on Neural Networks, $19(7):1253-1266,$$2008a.$[17] K. Nagata and S. Watanabe. Asymptotic behavior of exchange ratio in exchange Monte
Carlo method. International Journal of Neural Networks, 21 (7) $:980-988,$ $2008b.$233[18] S. Nakajima and S. Watanabe. Analytic solution of hierarchical variational bayes in linear
inverse problem. In Proceedings of the ICANN2006, LNCS, volume 4132, pages 240-249,

2006.

[19] T. Ohsawa and K. Takegoshi.
Zeitschrift, 195:197-204, 1987.

On the extension of$L^{2}$

holomorphic functions.

Math.

[20] D. Rusakov and D. Geiger. Asymptotic model selection for naive Bayesian networks. Proceedings of the Eighteenth Conference on Uncertainty in Artificial Intelligence, pages 438-

445, 2002.

[21] D. Rusakov and D. Geiger. Asymptotic model selection for naive Bayesian networks. Journalof Machine Learning Research, 6:1-35, 2005.
[22] S. Watanabe. Algebraic analysis for nonidentifiable learning machines. Neural Computation,$13(4):899-933,$ $2001a.$[23] S. Watanabe. Algebraic geometrical methods for hierarchical learning machines. Neural
Networks, $14(8):1049-1060,$ $2001b.$[24] S. Watanabe. Equations of states in singular statistical estimation.
23(1):20-34, 2010.

Neural Networks,[25] S. Watanabe, K. Hagiwara, S. Akaho, Y. Motomura, K. Fukumizu, M. Okada, and M. Aoyagi. Theory and Application of Learning System. Morikita Press, 2005.
[26] T. Yoshioka, M. Sato, S. Kajiwara, and K. Toyama. Estimation of current distribution
in brain from meg data based on variational bayes. Technical report of IEICE, C2003,
149:95-100, 2003.

[27] P. Zwiernik. An asymptotic behavior of the marginal likelihood for general Markov models.
Journal of Machine Learning Research, 12:3283-3310, 2011.