人工知能×特異点論＝？
日本大学理工学部数学科
青柳 美輝

1

はじめに

現在，社会は大きな変革を遂げ始めていると言われている．人工知能（AI）を用いて様々な場面で判断を行ったり，自宅の家電の操作をスマートホンなどからインターネットとの連携で可能とする IoT が利用されたりする Society5.0 とも呼ばれる新たな時代の到来が，社会や生活を大きく変えていくとの予測もある (図 1)．
本稿では学習理論の数理的な研究の立場から，人工知能に必要な機械学習に対する，代数幾何学とくに「特異点理論」の寄与について述べる．
計測して得られた多量のデータから，そのデータを発している情報源の確率分布（真の分布）を推測することを学習といい，学習の仕組みをまとめて体系化したものを「学習理論」と呼ぶ．パラメータを変化させることによって多くの確率分布を表現できる階層構
造・内部構造をもつモデルは特異モデルと呼ばれ，複雑な構造を持っている．例えば画像
音声認識・遺伝子解析・時系列予測・データマイニングに用いられる学習データは，正規分布に従うような単純なものではなく，その殆どが極めて複雑な構造を持つ．これらは，古典的理論の枠組みでは捉えることができないため，急速に多くの新理論の研究が始まった．とくに，学習効率を表す学習係数という概念においては，特異点解消定理との関係に着目する研究が重要となっている．

図 1: Society 5.0 : 狩猟社会 (Society 1.0), 農耕社会 (Society 2.0), 工業社会 (Society3.0), 情報社会 (Society 4.0) に続く, 新たな社会 (Society 5.0). 出典：内閣府ホームペー
ジ (https://www8.cao.go.jp/cstp/society5_0/index.html)

(a)

(b)

(c)

図 2: (a) 生物の神経細胞 (b) 電気パルス (c) 神経細胞のモデル

2

ニューラルネットワーク

人工知能のモデルの一つとして，ニューラルネットワークについて紹介する．ニューラ
ルネットワークは，生物の神経細胞の回路で行われている情報処理のモデル化である．神
経細胞は，細胞体と呼ばれる本体，本体からつきだした樹状突起，他の細胞へつながる
軸索からなる．軸索は，その末端が他の神経細胞の樹状突起に付着しており，軸索と他の神経細胞との結合部分をシナプスという．樹状突起で，他の細胞や感覚細胞から入力信号を受け，細胞体で信号処理をし，軸索，シナプスを通して，他の神経細胞に出力信号を出す (図 2 (a))．
脳の神経細胞の数は 10 の 10 乗個から 10 の 11 乗個程度と言われている．これらの細胞を組み合わせて，各神経細胞が並列で分散して情報処理を行い，とても複雑で高度な処理が行われている．ひとつの細胞の出力は，10 から数百に分岐した軸索を通して，シナプ
スから他の細胞に伝えられる．ひとつの細胞が受けるシナプスの結合の数は，数百から数万に及ぶ．これらのすべてのシナプス結合が神経細胞間の信号の伝達に寄与している．
神経細胞では，他の神経細胞から信号が到着すると，その影響で膜電位が変化し，ある
閾値を超えると電位が正の値に変化して興奮した状態になる．そして，他の神経細胞に信号を送る．このグラフの形は，入力された値に依存せず，ほぼ同一の波形であり，一度閾値を超えれば，形や大きさが一定の電気パルスが出る．したがって，ニューラルネット
ワークにおいて情報を担っているのは，電気パルスの波形ではなく，電気パルスの発生頻度であると考えられている (図 2 (b))．
閾値以上の入力があれば，電気パルスを出し，閾値以下であれば，出さないという，細胞体の閾値作用は，入力から出力への非線形変換効果をもつ．また，シナプスには，入力側の神経細胞を興奮しやすくする伝達物質を放出する興奮性シナプスと，逆に入力側の神経細胞を興奮しにくくさせる抑制性シナプスがある．受ける側の入力側神経細胞では，
各出力側神経細胞からの入力の総和を受け取ると考えることができる．
ニューラルネットワークの数理モデルは，神経細胞の観察から生まれている．
1943 年，マッカロとピッツは，形式ニューロンモデルを提案した．図 2(c) の丸は，一つの神経細胞のモデルを表す．xk は，0 と１の値を取り，この神経細胞が受け取るシナプ

(a)

(b)

(c)

図 3: (a) ステップ関数, (b) 区分線形関数, (c) シグモイド関数

ス前神経細胞の出力を表す．興奮した前神経細胞の出力 xk = 1 が，この神経細胞に伝えられる．wk はシナプス結合荷重，すなわちシナプス伝達効率とも呼ばれる．wk > 0 のとき，興奮性シナプスに対応し，wk < 0 のとき，抑制性シナプスに対応する．|wk | の値が大きければ，wk xk として積で情報が伝達されるので，この神経細胞の電位に大きく影響を与える．
∑nk=1 wk xk は，他の神経細胞からこの神経細胞が受ける電位変化の総和を表しており，
閾値 h を超えると，この神経細胞は興奮し出力 y = 1 {となり，次の細胞に情報を伝達
1, u > 0 のときする．閾値を超えない場合は，y = 0 である．f (u) =とおけば，0, u ≤ 0 のとき∑
y = f ( nk=1 wk xk − h) と表される．
その後の研究においては，関数 f として，形式ニューロンモデルで用いられたステップ関数 (図 3(a)) 以外にも，連続な区分線形関数や微分可能な関数であるシグモイド関数
1f (u) =, (ϵ > 0) などが用いられている (図 3(b),(c))
1 + exp(−ϵu)
ニューラルネットワークには，階層型ニューラルネットワークや相互結合型ニューラ
ルネットワークなどのモデルがある (図 4). 階層型ニューラルネットワークは，心理学者
ローゼンブラットにより提案されたモデルであり，入力層と出力層，中間層からなる．外部からの入力を入力層のニューロンが受け，出力層のニューロンが外部に出力を出す．相互結合型ニューラルネットワークは，物理学者のホップフィールドなどによって提案されたモデルであり，構成要素である各ニューロンは，他のすべてのニューロンと結合しており，各ニューロンの出力が平衡な値に収束することで情報処理が完了する．
階層型ニューラルネットワークの応用例として，画像認識がある．例として，ひらがなの文字認識の場合を考察する．適当な升目に区切られた文字に対して，一つ一つの小さな升目に文字の一部が入っている場合は，その升目に対応する入力層のニューロン値を１，
そうでなければ，0 とする. 出力層には順番にそれぞれのひらがなに対応するニューロンを決定しておく．
図 5 は，「あ」という文字の認識の例である．この例では，20 × 20 個の升目に区切り，
この小さな升目が入力層のニューロンに対応する．小さな枡の中に「あ」の文字の一部が入っている場合は１，そうでなければ 0 とする．すなわち，400 個の 0 と 1 のデータに変換する．図 5 の右端の「あ」の画像の升目が灰色のところに 1 という数値が入る．また，

(a)

(b)

図 4: (a) 階層型ニューラルネットワーク，(b) 相互結合型ニューラルネットワーク

図 5: 文字認識の例

升目が白いところに 0 という数値が入る．その 400 個の 0 と 1 のデータを第一層の入力層に与える．最後の出力層では，1 番目を「あ」という文字に対応させ，2 番目を「い」という文字に対応させるというように順に決定する．
この機械を訓練する．ひらがなの文字を見せて，「あ」であれば，出力層の 1 番目のニューロンのみが出力１となるように，結合係数 w を適当な初期値から，あるアルゴリズムに従って変化させる．結合係数とは，ニューロン間の結びつきの強さを表している．画像を見せながら学習を繰りかえす．同様に，「い」などの他のひらがなについても訓練をする．
それぞれのひらがなの訓練が終われば，この機械は，ひらがなの認識が可能になっている．これが機械学習の一つの例である．

3

学習理論

3.1

簡単な例

ここでは簡単な学習理論の例について考察する．x を入力，y を出力，w をパラメータとする．一般には，これらは多次元のベクトルである．学習モデルを y = f (x, w) とする．
階層型ニューラルネットワークでは x は入力層，y は出力層に対応し，w は結合係数である．真の関数 y = h(x) から得られたデータを用いて，真の関数を学習する．すなわち最図 6: y = sin x+ ノイズ

からのデータ 10 個

適なパラメータを見つけ，y = f (x, w) が y = h(x) になるべく近くなることを目指す．
この節では，評価関数として，最小二乗法を考える．
{(x1 , y1 ), (x2 , y2 ), · · · , (xn , yn )} を真の関数から得られたデータ yi = h(xi ) + ノイズ で∑あるとする．Error = n1 ni=1 (yi − f (xi , w))2 が最小になるように w を決めることが最小二乗法である．
例として，y = sin x(0 ≤ x ≤ 2π) を真の関数として，y = sin x + ノイズ により 10 個のデータが得られるとする（図 6)．
∑i学習関数を y = m
i=0 wi x とし，m 次の多項式で近似することを考える．ここで，x, yは一次元，w = (w0 , w1 , . . . , wm ) は m + 1 次元である．m = 2, 3, . . . , 9 場合に Error =1 ∑n2
i=1 (yi − f (xi , w)) が最小になるように w を決め，w̃ とする．図 7 は関数 f (x, w̃) をn描いたものである．m = 9 の場合はすべてのデータの点を通っているが，sin x のグラフから離れてしまっている．
′ )} を真次に，汎化性を考察する．テストデータとして，{(x′1 , y1′ ), (x′2 , y2′ ), · · · , (x′10 , y10∑の関数から新たに得られたデータとする．このデータに対して，w̃ を用いて n1 ni=1 (yi′ −f (x′i , w̃))2 をそれぞれ計算する．学習データの最小二乗誤差は小さくなっているが，テストデータの最小二乗誤差は m = 3 以降大きくなっている．すなわち，このモデルでは
m = 3 を選ぶのが妥当だと思われる．このように，実際にどのモデルを選ぶか，この場
合は，m の値をどのように決定するかは，汎化性が重要なポイントである．

3.2

ベイズ法による学習理論

この節では，ベイズ法による学習理論について考察する．確率密度関数 q(x, y) を真の分布，パラメータ w 付きの確率密度関数 p(x, y|w) を学習モデルとする．
例えば，y = h(x)+「正規ノイズ」で得られるデータは，|y − h(x)|21q(x, y) = √ exp(−
)q(x)
2
2π
から発生していると考えることができる．ここで，q(x) は x の密度関数である．節 3.1 に図 7: 最小二乗法による近似関数:degree = 2 ∼ 9

図 8: テストデータの最小二乗誤差 (点線）と，学習データの最小二乗誤差（実線）おける例では，0 から 2π の一様分布とした．また，学習モデルは

1|y − f (x, w)|2p(x, y|w) = √ exp(−
)q(x)
2
2π
である．
確率密度関数 q(x, y)，p(x, y|w) に対して，∫
q(x, y)dxdy
K(w) = q(x, y) log
p(x, y|w)
とおく．カルバック距離と呼ばれる相対エントロピーである．これは，q(x, y) と p(x, y|w)1
|y − h(x)|2の「差」を表す．例えば，q(x, y) = √ exp(−)q(x)，
22π
1|y − f (x, w)|2p(x, y|w) = √ exp(−)q(x) の場合，y で積分することにより，
22π∫∫q(x, y)1
K(w) = q(x, y) log
dydx =(f (x, w) − h(x))2 q(x)dxp(x, y|w)
2となり，二乗誤差が現れる．
以降，(x, y) をまとめて，x と表す．
カルバック距離は，K(w) ≥ 0 を満たし，p = q のときのみ，K(w) = 0 という性質を持つ．証明は以下である．関数 S(t) = exp(−t) + t − 1, t ∈ R は S(t) ≥ 0 を満たす．また，
(
)
)
∫ (
∫
p(x|w)
q(x)
q(x)
S(log
)q(x)dx =exp log+ log− 1 q(x)dxp(x|w)q(x)p(x|w))∫ (p(x|w)q(x)+ log− 1 q(x)dx=q(x)
p(x|w))∫ (q(x)=q(x) log+ p(x|w) − q(x) dx
p(x|w)
∫
∫
q(x)
q(x)
= q(x) log
dx + 1 − 1 = q(x) log
dx.
p(x|w)
p(x|w)

∫
したがって，任意の t に対して，S(t) ≥ 0 であるから，S(f (x, w))q(x)dx ≥ 0 である．

また，等号が成り立つときは p(x|w) = q(x) のときである．
統計学分野の学習理論における目的は，真の分布から発生する多量のデータセットから，そのデータを発している情報源の真の分布を再生・推測することである．汎化誤差は，推定された分布と真の分布とのエントロピーに関する誤差，カルバック距離を表している．従って，与えられたデータから求められる学習誤差から，汎化誤差を推定することは重要である．機械学習における文字認識，画像認識，音声認識，遺伝子解析などでは，データの情報源の確率分布は，正規分布に従うような単純なものではない．それらの機械学習においては，複雑な確率分布を表現できる階層構造・内部構造をもつニューラルネッ
トワーク，混合正規分布や縮小ランクなどが利用されている．これらは，正規分布のような よい性質 を持つ統計的正則モデルと区別するため，特異モデルと呼ばれている．古
典的な理論の枠組みの中では捉えることができず，近年急速に多くの理論の研究が始まった．その中の一つとして，学習効率を表す学習係数の研究では，代数幾何の特異点解消（広中定理）との関係が指摘され，２つの異なる分野が融合し発展を始めている．
以下，それらの概要について説明する．
x ∈ RN を確率変数，q(x) を真の確率密度関数とし，q(x) に従う n 個の独立なサンプ
ルを xn := {xi }ni=1 とする．学習モデル p(x|w) とその事前分布 ψ(w) が与えられているものとする．ここで，パラメータ空間 (w ∈)W ⊂ Rd はコンパクトとする．学習理論の目的
は，データセット xn から p(x|w) を用いて，真の分布 q(x) を推定することである．
ベイズ学習では，事後確率 p(w|xn ) を

∏
1
ψ(w)
p(xi |w)β ,Zn (β)
np(w|xn ) =i=1で定義する．ここで Zn は正規化定数∫
Zn (β) =

ψ(w)
W

n
∏

p(xi |w)β dw,

i=1である．β > 0 は，逆温度とよばれ，通常 β = 1 である．確率密度関数 p(w|xn ) は，得られたデータをもとにした，パラメータ w の確率である．学習モデル p(x|w) は，w の値によって分布を変え，真の分布に近ければ，p(xi |w) は大きな値になり，p(x|w) が真の分布からかけ離れていれば，p(xi |w) は 0 に近くなる．
ここで，
∫
∏
∫
dwf (w)ψ(w) ni=1 p(xi |w)ββn∏,Ew [f (w)] = f (w)p(w|x )dw = ∫dwψ(w) ni=1 p(xi |w)βおよびVwβ [f (w)] = Ewβ [f (w)2 ] − Ewβ [f (w)]2 .

βと定義する．この時，得られたデータ xn から予測されたベイズ推測は p(x|xn ) = Ew [p(x|w)]と定義される．
改めて，上記で述べたように確率密度関数 p(x), q(x) に対して，カルバック距離 K(q||p)を∫q(x)K(q||p) = q(x) log
dx,p(x)また，経験カルバック距離 Kn (q||p) を

q(xi )1∑log
Kn (q||p) =,np(xi )ni=1で定義する．
ここで，汎化誤差 Bg , 学習誤差 Bt を次のように定義する．

Bg = K(q(x)∥p(x|xn )),Bt = Kn (q(x)∥p(x|xn )).
汎化誤差は，真の分布を予測分布がどのくらい近似しているかを表したものである．また，汎化損失，経験損失をそれぞれ以下で定義する．
∫
Gn = − q(x) log p(x|xn )dx,

1∑
log p(xi |xn ).
= −
n
n

Tn

i=1

このとき，真の分布のみに依存する平均エントロピー S = −∑経験エントロピー Sn = − n1 ni=1 log q(xi ) に対して，∫

q(x) log q(x)dx および

Bg = Gn − S,
Bt = Tn − Sn ,が成り立つ．
λ ∈ Q を learning coeﬃcient(学習係数)，ν ∈ R を singular fluctuation とする．正規分布のような正則モデルでは，パラメータの次元を d とすると，λ = ν = d/2 が成立する．
渡辺 [16] により以下の関係が示されている:
(
)
1
1 λ−ν
+ ν + o( ),E[Gn ] = L(w0 ) +
n
β
n
(
)
1 λ−ν
1
E[Tn ] = L(w0 ) +− ν + o( ).
nβnここで，L(w) = −Ex [log p(x|w)] および w0 ∈ W0 = {w ∈ W |L(w) = minw′ ∈W L(w′ )}である．
学習係数 λ は，節 4 で詳しく述べるが，Ex [log(p(x|w0 )/p(x|w))] の log canonical threshold であり，θ をその位数とすると，それらの値を用いて，値 ν は，理論的に次で与えられる．
√∫∞ ∑ ∫
λ −βt+β tξ(u)1u∗ duξ(u)t e
0 dt√
ν = Eξ ∫ ∞ ∑ ∫.
(1)2
dt u∗ dutλ−1/2 e−βt+β tξ(u)0

ここで，ξ(u) は，特異点解消した空間上で定義された経験過程で，平均０分散２のガウ∑ス分布となる確率変数である． u∗ は，λ および θ が得られる局所座標の和である．

3.3

モデル選択

次にモデル選択について説明する．

3.3.1

sBIC および WBIC について

ベイズ推測においてモデルの選択を行う場合には，自由エネルギー

Fn (β) = −

1
log
β

∫ ∏
n

p(xi |w)β ψ(w)dw

i=1を観測して比較する方法がある．
汎化誤差 と自由エネルギーには以下の関係がある. n ≥ 1, β = 1 とする. このとき

E[Gn ] = E[Fn+1 (1)] − E[Fn (1)], E[Fn (1)] =n−1∑

E[Gi ] + E[F1 (1)].

i=1

渡辺 [16] により

λθ−1log(n) −log log(n) + Op (1)ββ∑が成り立つ事が証明されている．ここで，Ln (w) = − n1 ni=1 log p(xi |w), w0 ∈ W0 .
Drton[10] らは，β = 1 のときの，この関係式に対して「不動点方程式システム」により，近似計算する “singular Bayesian information criterion” (sBIC) 法を得た．これは学習係数 λ の理論値を用いる方法である．
一方，“widely applicable Bayesian information criterion” (WBIC) [17] 法は，理論値
を用いず
n
∑
β
W BIC = −Ew [p(xi |w)], (β = 1/ log n),
Fn (β) = nLn (w0 ) +i=1

と定義される．
モデル選択では，候補となるモデルに対して，これらの値を計算し，値の小さいモデル
を選ぶ．この数値計算結果は最後の節 6 で紹介する．

3.3.2

WAIC およびクロスバリデーションについて

データ xn に対して，xn \xi = {x1 , . . . , xi−1 , xi+1 , . . . , xn } とおく．“widely applicable
information criterion” (WAIC) [16] はβ∑ β
Vw [log p(xi |w)]nn

Wn = Tn +i=1と定義され，クロスバリデーションは1∑
log p(xi |xn \xi ) (n ≥ 2)nn

Cn = −

i=1と定義される．これらは以下の関係が示されている:

1
E[Wn ] = E[Gn ] + o( ),n1E[Cn ] = E[Gn ] + o( )．
n
前節 3.3.1 と同じように，モデル選択の場合，候補となるモデルに対して，これらの値を計算し，値の小さいモデルを選ぶ．これらは，汎化損失を，真の分布の情報を用いずに，観測データ xi および学習モデル p を用いて推測できることを示している．

4

学習係数と log canonical threshold

学習係数は，代数幾何の分野では，カルバック関数の log canonical threshold として知られている．ここでは，近年得られた学習係数に関する結果とそれらを得るために必要な定理を紹介する．これらの理論値が求まると自由エネルギーと汎化誤差の理論値が明らかになるので，確率モデルの評価をするときに重要な役割を果たす．理論値は，数値計算の正しさを確認する手段ともなる．
定義 1 Cd または Rd における w∗ の十分小さな近傍を U ，f を U 上の 0 でない正則関数
または実解析関数とする．ψ(w) をコンパクトサポートを持つ C ∞ 関数とする．このとき，
f の w∗ および ψ に関する log canonical threshold を，実数体上では，∫cw∗ (f, ψ) = sup{c :|f |−c ψ(w)dw < ∞}U

複素数体上では，∫cw∗ (f, ψ) = sup{c :|f |−2c ψ(w)dwdw < ∞}Uと定義する．また，θw∗ (f, ψ) をその位数とする．
ψ(w∗ ) ̸= 0 ならば，特に，cw∗ (f ) = cw∗ (f, ψ) および θw∗ (f ) = θw∗ (f, ψ) とおく．これ
らの値は ψ に依存しないからである．
例 1 実数体上で，f (x) = x3 であれば，cw∗ (f ) = 1/3, θw∗ (f ) = 1 である．なぜなら，∫ 1 −3cdx < ∞ になるためには，−3c + 1 > 0 であればよい．よって c < 1/3 である．
0 x
例 2 実数体上で，f (x, y) = x2 + y 2 であれば，cw∗ (f ) = 1, θw∗ (f ) = 1 である．なぜ∫ 1 ∫ 2πなら，x = r cos θ, y = r sin θ と極座標表示すれば， 0 0 r−2c rdrdθ < ∞ となるので，−2c + 2 > 0 であればよい．よって c < 1 である．
例 3 実数体上で，f (x, y, z) = (xy)2 z であれば，cw∗ (f ) = 1/2, θw∗ (f ) = 2 である．なぜ∫1∫1∫1
なら， 0 0 0 x−2c y −2c z −c dxdydz < ∞ となるには，x, y の積分に注目して −2c + 1 > 0
であればよい．よって c < 1/2 であり，位数は 2 である．

∫
log canonical threshold は f に関するゼータ関数 J(z) = U |f |z dw(z ∈ C) の最大の極でもある．代数幾何・代数解析では主に代数閉体上での log canonical threshold の研究が行われている．また，低次元での研究が主である ([12], [14]). 例えば，複素体上での log
canonical threshold は，代数解析における f の Bernstein-Sato 多項式 b(s) の最大の根であることが知られている．
一方，学習理論における学習係数は，ある情報量の実数体上の log canonical thresholdとその位数で与えられる．従ってそのまま複素体上の定理を学習係数に適用することができない．例えば，複素数体上の log canonical threshold は 1 より小さいが，実数体上ではそうとは限らない．学習理論における情報量の log canonical threshold は，ほとんどが 1より大きい．ある関数族に関しては，実数体上の log canonical threshold の方が多くの情報を持っていることが知られている．このように学習係数を求めることは，数学的観点からも興味のある問題である．
log canonical threshold は広中の特異点解消定理により，原理的には有限の手続きにより求められるが，具体的に求めるのは難しいとされている．計算機で代数計算により行う方式も提案されているが，学習理論における特異点はパラメータを含んでいるため，確定された多項式の特異点解消よりも高度な面を含んでいる．更なる困難な問題点として，特異点が孤立していない・ニュートン図形が退化している等があげられる ([11], [18])．
今後 ∗ を付加した記号 a∗ , b∗ , w∗ などは定数を表すものとする．

補題 1 ([2, 3, 13]) U を w∗ ∈ Rd の近傍，⟨f1 , · · · , fn ⟩ を U で定義された実解析関数
f1 , . . . , fn で生成されるイデアルとする．
2 ) ≤ c ∗ (f 2 +· · ·+f 2 ). 特に，g , . . . , g
g1 , . . . , gm ∈ ⟨f1 , · · · , fn ⟩ ならば cw∗ (g12 +· · ·+gm
w
1
m
n
1
2 ).
が ⟨f1 , · · · , fn ⟩ の生成元ならば cw∗ (f12 + · · · + fn2 ) = cw∗ (g12 + · · · + gm
定義 2 w∗ の近傍 U で定義された実解析関数 f1 , · · · , fm から生成されるイデアルを ⟨f1 , · · · , fn ⟩2 ) とする．
とする．このとき，cw∗ (⟨f1 , · · · , fn ⟩) = cw∗ (f12 + · · · + fm
この定義は，Lemma 1 より矛盾なく定義できる．
次の定理 2 は，複素数体において，関数を超平面に制限したときの log canonical threshold 値に関する定理である．
定理 2 ([12],[15]) f (w1 , · · · , wd , wd+1 ) を原点の近傍における正則関数とする．g を g =f |wd+1 =0 とおく．すなわち，f を wd+1 = 0 に制限した関数を g とする (または，H を超曲面として，f を H に制限した関数を g = fH とする)．
このとき，c0 (g) ≤ c0 (f ).
この定理は，実解析関数では成り立たない．たとえば，反例として，例 4 があげられる．
例4

f (w1 , w2 , w3 , w4 ) = (w12 + w22 + w32 + w4 )2 ,とおく．このとき，c0 (f ) = 1/2 であるが，c0 (f (w1 , w2 , w3 , 0)) = 3/4 となる．
しかし，斉次多項式の場合は，以下の様に成立する．
定理 3 ([4]) f1 (w1 , . . . , wd ), . . ., fm (w1 , . . . , wd ) を 次数 ni の w1 , · · · , wd に対する斉次多′ (w , . . . , w ) = f (1, w , . . . , w )項式とする．f1′ (w2 , . . . , wd ) = f1 (1, w2 , . . . , wd ), . . ., fm
2
m
2
d
d
∗
とおく．w1 ̸= 0 であれば′
c(w1∗ ,··· ,wd∗ ) (⟨f1 , · · · , fm ⟩) = c(w2∗ /w1∗ ,··· ,wd∗ /w1∗ ) (⟨f1′ , · · · , fm⟩).

また，斉次多項式の場合は，以下の定理が成り立つ．
定理 4 ([4]) f1 (w1 , . . . , wd ), . . ., fm (w1 , . . . , wd ) を w1 , · · · , wj (j ≤ d) に対する次数 ni∗の斉次多項式とする．さらに，ψ を C ∞ 関数で，ψ(0,··· ,0,wj+1,··· ,wd∗ ) ≥ ψ(w1∗ ,··· ,wd∗ ) および∗∗(0, · · · , 0, wj+1 , · · · , wd ) の近傍で w1 , · · · , wj に関して，斉次であるとする．
このとき，
∗
∗
c(0,··· ,0,wj+1,··· ,wd∗ ) (⟨f1 , · · · , fm ⟩, ψ) ≤ c(w1∗ ,··· ,wj∗ ,wj+1,··· ,wd∗ ) (⟨f1 , · · · , fm ⟩, ψ)が成り立つ．

一般に w0 ∈ U がfi (w0 ) =∂fi(w0 ) = 0, 1 ≤ i ≤ m, 1 ≤ j ≤ d∂wjを満たしたとしてもcw0 (⟨f1 , · · · , fm ⟩, ψ) ≤ cw∗ (⟨f1 , · · · , fm ⟩, ψ), w∗ ∈ Uが成り立つとは限らない．
例 5 f1 = (x + 1)x2 , f2 = (y 2 + x2 )((y − 1)6 + x + 1), f3 = (z 2 + x2 )((z − 1)6 + x + 1)
∂f2
∂f2
1
とする．このとき，x = 0, y = 0, z = 0 の時に限り，f1 = f2 = f3 = ∂f∂x = ∂y = ∂x =∂f3
∂f3
∂z = ∂x = 0 であるが，c(0,0,0) (⟨f1 , f2 , f3 ⟩) = 3/4 > c(−1,1,1) (⟨f1 , f2 , f3 ⟩) = 2/3.

これらの定理は，実数体上の log canonical threshold である学習係数を求めるために重要な役割を果たす．log canonical threshold を得る最良の特異点を得ることや，変数の追加により blow-up プロセス内で行われる変数変換の簡略化，blow-up プロセス数を減少させるのに有効である．

5

これまで得られている学習係数の結果

ここでは，学習理論においてよく用いられる混合正規分布，三層ニューラルネットワーク，
混合二項分布のベイズ推測に関する学習効率を与える Vandermonde matrix singularitiesの場合 [1, 4, 5, 6, 7, 8] と，学習係数がすべての場合に明らかになっている縮小ランクモデルの場合 [9] における log canonical threshold に関する結果を述べる．

5.1

縮小ランクモデルの log canonical threshold

縮小ランクモデルは，学習係数 λ の理論値が以下のようにすべて解明されている [9]．
パラメータの集合を {w = (A, B) | A ∈ N × H 行列, B ∈ H × M 行列 } とする．入力
x ∈ RM を密度関数 q(x) から生成されるものとし，出力を y = ABx + 正規ノイズ ∈ RNとする．学習モデルは，

11p(x, y|w) = √exp(− ||y − ABx||2 )q(x)
N
2
( 2π)
となる．

定理 5 真のパラメータを w = (A0 , B0 ). r を A0 B0 のランクとするとき，λ，θ は次で与えられる:
(1) N + r ≤ M + H, M + r ≤ N + H, H + r ≤ M + N .
(a) M + H + N + r が偶数ならば， θ = 1，

λ=−(H + r)2 − M 2 − N 2 + 2(H + r)M + 2(H + r)N + 2M N.
8(b) M + H + N + r が奇数ならば, θ = 2,
λ=−(H + r)2 − M 2 − N 2 + 2(H + r)M + 2(H + r)N + 2M N + 1.
8

HM − Hr + N r.
(2) M + H < N + r ならば，θ = 1，λ =2HM − Hr + N r(3) N + H < M + r ならば θ = 1，λ =.
2MN(4) M + N < H + r ならば θ = 1，λ =
.
2

5.2

Vandermonde matrix 型特異点の log canonical threshold

定義 3 Q ∈ N を固定する．

{

1,
sign(b∗i )（符号）,
∗
∗
∗
∗
∗
[b1 , b2 , · · · , bN ]Q = γi (0, · · · , 0, bi , · · · , bN ) と定義する．
b∗1 = · · · = b∗i−1 = 0, b∗i ̸= 0 のとき，γi =

Q が奇数
に対して，
Q が偶数

定義 4 
Q ∈ N を固定する．

a11 · · · a1H a∗1,H+1 . . . a∗1,H+r a21 · · · a2H a∗2,H+1 . . . a∗2,H+r 
, I = (ℓ1 , . . . , ℓN ) ∈ N+0 N
A=
..
..


.
.


∗
∗
aM 1 · · · aM H aM,H+1 . . . aM,H+r
N
N
N
N
N
∏
∏
∏
∏
∏
ℓj
ℓj
ℓj
ℓj
∗
BI = (b1j ,
b2j , · · · ,bHj ,bH+1,j , · · · ,b∗H+r,j ℓj )t
j=1

j=1

j=1

j=1

j=1

B = (BI )ℓ1 +···+ℓN =Qn+1,0≤n≤H+r−1= (B(1,0,··· ,0) , B(0,1,··· ,0) , · · · , B(0,0,··· ,1) , B(1+Q,0,··· ,0) , · · · )とする (t は行列の転置を表す)．
aki ，bij (1 ≤ k ≤ M, 1 ≤ i ≤ H, 1 ≤ j ≤ N ) は，定数 a∗ki ，b∗ij の近傍で定義された変数とする．

J を AB のすべての成分から生成されるイデアルとする.
J で定められる特異点を Vandermonde matrix 型特異点とよぶ．簡単のため，1 ≤ j ≤ rに対して，(a∗1,H+j , a∗2,H+j , · · · , a∗M,H+j )t ̸= 0, (b∗H+j,1 , b∗H+j,2 , · · · , b∗H+j,N ) ̸= 0
および j ̸= j ′ に対して，[b∗H+j,1 , b∗H+j,2 , · · · , b∗H+j,N ]Q ̸= [b∗H+j ′ ,1 , b∗H+j ′ ,2 , · · · , b∗H+j ′ ,N ]Qを仮定する．
例 6 N = r = 1, M = Q = 2, H = 3 の場合，


3
5
7
b
b
b
b
11
11
11
11
)
(

 b
a11 a12 a13 a∗14
 21 b321 b511 b721 
A=
,
B
=


 b31 b331 b511 b731 
a21 a22 a23 a∗24b∗41 b∗41 3 b∗41 5 b∗41 7となる．Q = 2 の場合は，入力層ニューロンの個数 M ，中間層ニューロンの個数 H ，出力層ニューロンの個数 N の三層ニューラルネットワークに対応する．
例 7 Q = M = r = 1, H = N =(2 の場合，()
b11 b12 b211∗
b21 b22 b221
A = a11 a12 a13 , B =
b∗31

b∗32

b∗31 2b11 b12b21 b22b∗31 b∗32

b212
b222
b∗32 2b311
b321
b∗31 3b11 b212
b21 b222b∗31 b∗32 2

b211 b12
b221 b22b∗31 2 b∗32

b312
b322
b∗32 3

Q = 1, M = 1 の場合は，峰の個数 H の混合正規分布に対応する．

a11 a12 · · · a1H a21 a22 · · · a2H ,
以下，次のように定義する: AM,H = 
..


.


aM 1 aM 2 · · · ∏N
BH,N,I = 

b1j ℓj∏j=1Nℓj
j=1 b2j..
.
ℓj
j=1 bHj

∏N



aM H



 (Q)
, B
 H,N = (BH,N,I )ℓ1 +...+ℓN =Qn+1,0≤n≤H−1 .
a11 a12 · · ·
a22 · · ·


 a
..
 および (AM,H , a∗ ) =  21
さらに a∗ = 
..
.



.

∗
aM,H+1
aM 1 aM 2 · · ·とおく．
a∗1,H+1

a1H
a2H
aM H


a∗1,H+1a∗2,H+1 
∗aM,H+1).

次の定理は c0 (||AM,H BH,N ||2 ) および c0 (||(AM,H−1 , a∗ )BH,N ||2 ) の値がわかれば，す
べての Vandermonde matrix 型特異点の log canonical threshold がわかることを示して
いる.
(Q)

(Q)

定理 6 ([3]) U をw∗ = {a∗ki , b∗ij }1≦k≦M,1≤i≤H,1≤j≤Nの近傍とし，変数 w = {aki , bij }1≦k≦M,1≤i≤H,1≤j≤N は U 内に値を取るとする．
∗∗
∗∗
(b∗∗
01 , b02 , · · · , b0N ) = (0, . . . , 0) とおく．
ここで[b∗i1 , b∗i2 , · · · , b∗iN ]Q ̸= 0, i = 1, . . . , H + r
∗∗
∗∗
∗∗
∗∗
∗∗
の中で，異なるベクトルを (b∗∗11 , b12 , · · · , b1N ), . . ., (br′ 1 , br′ 2 , · · · , br′ N ) とする．すなわち，
∗∗
∗∗
∗∗
∗
∗
{(b∗∗
11 , · · · , b1N ), . . . , (br′ 1 , · · · , br′ N ) ; [bi1 , · · · , biN ]Q ̸= 0, i = 1, . . . , H + r}.

このとき r′ は，一意的に定まり，仮定より r′ ≥ r である．
∗∗
1 ≤ i ≤ r に対して，(b∗∗, · · · , b∗∗iN ) = [bH+i,1 , · · · , bH+i,N ]Q , とする．
 i1
0,1 ≤ i ≤ H0




∗∗
∗∗


 (b11 , · · · , b1N ), H0 + 1 ≤ i ≤ H0 + H1 ,
∗∗
∗
∗
(b∗∗
H0 + H1 + 1 ≤ i ≤ H0 + H1 + H2 ,[bi1 , · · · , biN ]Q =21 , · · · , b2N ),

..



.


 ∗∗
(br′ 1 , · · · , b∗∗r′ N ), H0 + · · · + Hr′ −1 + 1 ≤ i ≤ H0 + · · · + Hr′ ,および H0 + · · · + Hr′ = H としておく．
このとき
M r′
(Q)
+ cw(0) ∗ (||AM,H0 BH0 ,N ||2 )cw∗ (||AB||2 ) =
2
1

+

r
∑
α=1

cw(α) ∗ (||(AM,Hα −1 , a

(α) ∗

1

′

(1)
)BHα ,N ||2 ) +

r
∑
α=r+1

(0) ∗
ここで，w1 = {a∗k,i , 0}1≤i≤H0 ,(1)cw(α) ∗ (||AM,Hα −1 BHα −1,N ||2 ).
1a∗1,H+α


∗
(α) ∗
..
 (α ≥ 1).
w1 = {a∗k,H0 +···+Hα−1 +i , 0}2≤i≤Hα および a(α) = .
a∗M,H+αN = 1 の場合は, 次のような結果が得られている.
定理 7 ([2]) N = 1 のとき λ = λ′ =. ここで，k = max{i ∈ Z; 2H ≥4(1+kQ)
M (i(i − 1)Q + 2i)} である．
{
1, if 2H > M (k(k − 1)Q + 2k)θ=2, if 2H = M (k(k − 1)Q + 2k)
M Qk(k+1)+2H

また，



 1,
′
θ =
1,

 2,

if M = H = 1
if 2H > M (k(k − 1)Q + 2k)
if 2H = M (k(k − 1)Q + 2k), H > 1

次の定理は，学習係数の上界を与える．
定理 8 ([4])
bound1= min{(H − i + 1)N + di (s) + d′i (s) + d′′i (s): 1 ≤ i ≤ s, 1 ≤ k(1), · · · , k(s) ≤ N, 1 ≤ s ≤ H}
2(c(i, s, k(s)) − 1)Q + 2

ここで
c(i, s, j) = #{i1 : i ≤ i1 ≤ s, k(i1 ) = j}, C(i, s) = #{c(i, s, j) = 0, 1 ≤ j ≤ N },di (s)(N − 1)Q=s∑(c(i, s1 , k(s1 )) − 1)s1 =id′i (s)M (i − 1){(c(i, s, k(s)) − 1)Q + 1}

=

s−1
∑

+QM

(c(i, s, k(s)) − c(i, s1 , k(s1 ))),

s1 =i,
c(i,s,k(s))>c(i,s1 ,k(s1 ))d′′i (s)0,if c(i, s, k(s)) = 1,





(H − s){C(i, s)Q + (N − 1)Q(c(i, s, k(s)) − 2)},

if c(i, s, k(s)) ≥ 2, N − 1 ≤ M,
=(H − s){C(i, s)Q + M Q(c(i, s, k(s)) − 2)},

if c(i, s, k(s)) ≥ 2, C(i, s) ≤ M < N − 1,





(H
−
s){M Q(c(i, s, k(s)) − 1)},
if c(i, s, k(s)) ≥ 2, M ≤ C(i, s).

とする．

∑ ′ −1⟩
N H + ki=0
M Q(k′ − i)⟨ NN+Qikk!
−1
さらに，⟨ ⟩ =に対して，bound2 =とする．
ll!(k − l)!
2 + 2Qk′∑i−1′ N +Qi′′
ここで k = max{i ∈ Z; N H ≥ M i′ =0 (1 + Qi )⟨ N −1 ⟩} である．
またMH
bound3 =
2
とする．
このとき
(Q)

c0 (||AM,H BH,N ||2 ) ≤ min{bound1 , bound2 , bound3 }c0 (||(AM,H−1 , a∗ )BH,N ||2 ) ≤ min{bound1 , bound2 }
(Q)

(Q)

次に，H = 1, 2, 3 の場合の真の値を与える．λ = c0 (∥AM,H BH,N ∥2 ) とし，θ をその位数とする．また，λ′ = c0 (∥(AM,H−1 , a∗ )BH,N ∥2 ), および θ′ をその位数とする．
(Q)

定理 9 Case 1 H = 1.

{N
1. λ = min{ M
2 , 2 }, θ =1, if M ̸= N,
2, if M = N,

2. λ′ = N2 , θ′ = 1.
Case 2 H = 2.
1. M > N + 1 ならば λ = λ′ = N ，θ = θ′ = 1.
2. M = N + 1 ならば λ = λ′ = N ，θ = θ′ = 2.
−1)
3. M = N ならば λ = λ′ = 2N +Q(2N，θ = θ′ = 1.
2(Q+1)

4. M ≤ N − 1 ならば λ = M ，θ = 1.
−1)
5. N − Q + 1 ≦ M ≤ N − 1 ならば λ′ = 2N +Q(2N，θ′ = 1.
2(Q+1)′
6. M = N − Q ならば λ′ = N +M
2 ，θ = 2.
′
7. M ≤ N − Q − 1 ならば λ′ = N +M
2 ， θ = 1.

Case 3 H = 3.
′
1. M > N + 2 ならば λ = λ′ = 3N
2 ，θ = θ = 1.
′
2. M = N + 2 ならば λ = λ′ = 3N
2 ，θ = θ = 2.
−1)Q
3. M = N + 1 ならば λ = λ′ = 3N +(3N，θ = θ′ = 1.
2(Q+1)−2)Q，θ = θ′ = 2.
4. M = N ならば λ = λ′ = 3N +(3N
2(Q+1)

3−Q+3M (Q+1)
，θ = 1 (Q > 3),
 λ=2(Q+1)
3M
5. M = N − 1 ならば
λ = 2 ，θ = 2 (Q = 3),
λ = 3M
2 ，θ = 1 (Q < 3).
6. M < N − 1 ならば λ = 3M
2 ， θ = 1.
7. M = N − S (S = 1, 2, · · · ) ならばS(3+Q)−2Q+3M (Q+1)′
，θ′ = 1 (Q > S), λ =2(Q+1)λ′ = 2M +N ，θ′ = 2 (Q = S), ′ 2M2+N
λ = 2 ，θ′ = 1 (Q < S).

図 9: 論文 [10] から引用：Frequencies of rank estimates in reduced rank regression byusing Schwarz’s BIC (□), WBIC (■) and sBIC (■) (results from 200 simulations with
10× 15 matrices of true rank 5): (a) n = 50; (b) n = 100; (c) n = 200; (d) n = 300; (e)n = 500; (f) n = 1000
論文 [5] では，M = 4 の場合まで得られている．
Vandermonde matrix 型特異点は，今日の実世界データに比較的頻繁に応用される，混合正規分布，三層ニューラルネットワーク，混合二項分布の学習係数を与えるものである．
異なるモデルから共通の特異性が現れたことから，学習理論において本質的ではないかと考えられている．また，縮小ランクそのものも応用範囲が広いが，近年，ニューラルネッ
トワークではシグモイド関数ではなく区分線形関数を用いる事も多い．したがって，その結果は，そのままニューラルネットワークに応用できる可能性が高い．

6

数値計算

論文 [10] から縮小ランクモデルに対する数値計算を引用する．数値実験では，N = 10,
M = 15 とし，適当なランク５の真の分布を 200 個用意する．真の分布から，n 個のデー
タをランダムに生成する．実験では，正則モデルの場合に利用される Schwarz’s BIC 法と，節 3.3.1 で紹介した Drton らによる sBIC 法，および，渡辺による WBIC 法を比較している (図 9). 理論値 λ を利用した sBIC は比較的 n の値が小さくても，正しくモデル選
択を行っていることが分かる．また，sBIC は定理 8 で求めたような上界でも利用できることが証明されている．

7

最後に

λ
1
+ o( )，自由エネルギーは，Fn (1) =nnnLn (w0 ) + λ log(n) − (θ − 1) log log(n) + Op (1) となる．これらは，学習理論において代表的な指標であり，大変重要な値である．これらの主要項は，代数幾何などで定義された
log canonical threshold (= λ) から得られ，この理論値が求まれば，汎化損失や自由エネ
ルギーの挙動を知ることができる．真の分布が分からないという状況においては，これらの理論値は解析のための重要な礎となる．また，理論値が分かっていれば，確率モデルの評価はもちろん，事後分布を数値的に実現したときに，その実現アルゴリズムが事後分布をよく近似しているかどうかを確認することができる．このように，理論値は，数値計算の正しさを確認する手段ともなる．
このような特異点論からの考察はベイズ推測と他の推測法の精度の違いを明らかにすることができるため，特異モデルの場合，最尤推測，事後確率最大化推測は適切ではなく，ベイズ推測が適していることも証明されている．
人工知能は，現在，応用面では急速に発展している．しかし，実験的経験的な観点から議論されることは多いが，理論的な解析はまだ多くの部分で進んでいないように思われる．したがって，特異点論を取り入れた学習理論を用いて解析をしていく方法は，これから非常に重要な役割を果たすのではないだろうか．
β = 1 のとき，汎化損失は，E[Gn ] = L(w0 ) +新型コロナウィルスの影響で，講演はなくなりましたが，このように原稿を書く機会を与えていただき大変感謝しております．

参考文献[1] M. Aoyagi. The zeta function of learning theory and generalization error of threelayered neural perceptron. RIMS Kokyuroku, Recent Topics on Real and Complex
Singularities, 1501:153–167, 2006.
[2] M. Aoyagi. Log canonical threshold of Vandermonde matrix type singularities andgeneralization error of a three layered neural network. International Journal ofPure and Applied Mathematics, 52(2):177–204, 2009.
[3] M. Aoyagi. A Bayesian learning coeﬃcient of generalization error and Vandermondematrix-type singularities. Communications in Statistics - Theory and Methods,
39(15):2667–2687, 2010.
[4] M. Aoyagi. Consideration on singularities in learning theory and the learning
coeﬃcient. Entropy, 15(9):3714–3733, 2013.

[5] M. Aoyagi. Learning coeﬃcient of vandermonde matrix-type singularities in model
selection. Entropy (Information Theory, Probability and Statistics), 21(6-561):1–12,
2019.
[6] M. Aoyagi. Learning coeﬃcients and information criteria. Frontiers in Artificial
Intelligence and Applications, pages 351–362, 2019.
[7] M. Aoyagi and K. Nagata. Learning coeﬃcient of generalization error in Bayesianestimation and Vandermonde matrix type singularity. Neural Computation,
24(6):1569–1610, 2012.
[8] M. Aoyagi and S. Watanabe. Resolution of singularities and the generalization
error with Bayesian estimation for layered neural network. IEICE Trans. J88-D-II,
10:2112–2124, 2005a.
[9] M. Aoyagi and S. Watanabe. Stochastic complexities of reduced rank regression in
Bayesian estimation. Neural Networks, 18:924–933, 2005b.
[10] M. Drton and M. Plummer. A bayesian information criterion for singular models.
J. R. Statist. Soc. B, 79(2):1–38, 2017.
[11] H. Hironaka. Resolution of singularities of an algebraic variety over a field of
characteristic zero. Annals of Math, 79:109–326, 1964.
[12] J. Kollár. Singularities of pairs. Algebraic geometry-Santa Cruz 1995, Proc. Symp.
Pure Math., American Mathematical Society, Providence, RI,, 62:221–287, 1997.
[13] S. Lin. Asymptotic approximation of marginal likelihood integrals. (preprint),
2010.
[14] M. Mustata. Singularities of pairs via jet schemes. J. Amer. Math. Soc., 15:599–615,
2002.
[15] T. Ohsawa and K. Takegoshi. On the extension of L2 holomorphic functions. Math.
Zeitschrift, 195:197–204, 1987.
[16] S. Watanabe. Algebraic Geometry and Statistical Learning Theory, volume 25.
Cambridge University Press, New York, USA, 2009.
[17] S. Watanabe. A widely applicable bayesian information criterion. Journal of Machine Learning Research, (14):867–897, 2013.
[18] S. Watanabe, K. Hagiwara, S. Akaho, Y. Motomura, K. Fukumizu, M. Okada, and
M. Aoyagi. Theory and Application of Learning System. Morikita Press, 2005.