連載簡座1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111
111111111111111111111
111111111111
1111111111111111111111

ニューラノレネットの基礎数理 (2)
上坂吉則
川
11川
11川
11l川
川
11川
11川
11l川
川
11川
11川
11川
11川
11l川
1111
川
川
11川
11111
川
111
川
川
11l川
川
11川
11川
11l川
l川
川
11111
川
1111
附
1111
川
川
11川
11川
11川
11川
11111
川
川
111111
川
l川
I川
川
11l川
川
11川
11l川
11111
川
11111
川
川
11川
11川
11川
11川
11川
11川
11川
11川
111111
川
11111
川
川
11川
11川
11川
11川
11川
11川
11川
11川
11附
1111111
川
111
川
附
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11111
川
川
11川
11川
11111
川
川
11I川
l川
川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11l川
I川
111
川
川
11川
11川
11川
11川
11川
11削
11川
11111
附
川
11111
川
川
11I川
川
11川
11川
11川
11川
111111
川
111
川
川
11111
川
川
11川
11川
11l川
川
11川
1111川
川
11川
11川
111川
川
11川
11川
11川
11川
11川
11l川
川
11l川
川
111111
川
1111
川
川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11111
川
川
111111
川
l川
川
11川
11川
1111が用いられる.ここに IIxll はベクトル z のユークリッド

3. 学習の問題点

ノルムである.

前節で紹介した誤差逆伝搬法は確かに強力な学習法ではあるが3 つの大きな問題をかかえている.

この学習は本質的には最急降下法であるから，一般に

式 (3.3) の行列 A が対角化でき，その固有値がすべて正であることに注意すると，上の減衰率は A の最大および最小固有値 ÀM， À冊を用いては誤差 E の極小点が求まってしまう.しかし，欲しいの(3.
5)は最小点であるから，重みの初期値をどのように選べばよ L 、かを考えなければならない.これが第 i の課題であと計算される.

一方，式 (3.3) の漸化式に少し手を加えて ， k=l , …

る.しかし，理論的には現在のところお手上げであり，多くの初期値を試みてその中から相対的に最良なものを

λM ー Àm= ﾀM+ﾀmに対して選んで我慢するしかない.

(3.
6)

x(k+1)=x(k) ーム IA(x(k)-x本)+~2(x(k)-x(k-1))

第 2 の問題点は学習が達成されるまでの，つまり，誤差の極小点に到達するまでの時間が，時には異常に長くとかかるという点である.この難点については，いわゆる減衰率:

数値解析の観点から現在さまざまな形で研究されている(3.7)(たとえば，文献 [1 ，1 7]参照).

誤差 E は重み切り ， Vj の無限団連続微分可能な多変数わすことにしよう.

いま

(3.7)

(3.
1)

E(x)=す (x-x*) 山 -x*)+E( ポ)と近似できる.

ここに A=[aij] は n 次の対称な正定値

この 2 つの減衰率を比較すると容易にわかるように，つまり，手を加えた漸化式による学習の方が一般に速く極小点に収束すると考えられる.このような学習速度の改良の試みが数値解析の立場

17].

り重要な課題を考えなければならない.

}=1

この関数に前節の誤差逆伝搬法を用いると，学習の漸化式は k=O ， 1 ， 2 ， 3 ・…-に対して

(3.
3)

‑.
;ﾀM+.
;ﾀm

ε' :5:: ô が成り立っている.

E !
!となる.

ô' 一、ほ-;i-.rI;;;

さらに，第 3 の問題点として“学習"機械としてのよ(3.2)τァ = L;atj(xj‑xj*)に注意して，Ilx(k)-x事11からいろいろ試みられている [1 ，行列である.そこでUXi

ム h~2 k叩と計算される.

E が z事 ERn で極小になっているとすると ， E はこの点の近傍で 2 次関数によって)‑
x*11=inflimsupIIx(k+1'l主の関数であるから，これを一般に Rn から R への必要な回数までの連続微分可能な関数とし，その変数を z で表2 階の差分方程式にしてみると，このときの誤差のx(k+1)=x(k) ーム A(x(k)-x*)
この漸化式によって x(k) が極小点日に近づ“学習"が行なっていることは，
タ2 節で紹介した

数学的には，学習デー(S とその上の d の値)をできるだけ満たすようにニューラルネット h で目標関数 d を近似することに他ならない.しかし，本音はそれだけではなく ，X-S の上でく速さを表わすのに，通常眼差の減衰寧:も d を近似したいという淡い期待をもっている.

(3 .4 )ε=inf limsupJIx(k+1)-x本 11り，学習時に教えられていないパターンに対しても回路

ム

うえさか

k刊

よしのり

干 278 野田市山崎 2641

344(56)

IIx(k)-x州

東京理科大学理工学部

つまが正しく応答してくれること，すなわち，学習の汎化性を期待している.これが単なる関数近似と学習を区別する重要なポイントである.

© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リサーチ

n)t)ti z((ぬ,力。
入，.爪

x (t)
出カy(t)
~.(t)

図 4.1

~I(t)

アナログ型動的決定論的ユユーロンモデル

しかし，有限個のパターンに対する d の値が与えられただけでは，それ以外のパターンにおける d の値を知るすべは一般に存在しない.目標関数 d に関して何らかの

x.
(t)

予備知識(モデル)が必要である.われわれの学習では，“重みを種々変えて得られるすべての h の族に d が属している"と暗に仮定していると考えられる.この仮定を満たす d を相手にしているときには ，d の推定はあ図 4.2る程度成功すると期待できる.しかし，そうでないときはお手上げである.

決定論的最小値探索機械を実現するフィー
ドパック型ニューラルネット

ことは過去の入力の状況にも依存する.この意味で，こそこで隠れ素子の数 m をうんと増やしておいてニューのニューロンモデルは記憶をもっているということもでラルネット h の族，すなわち，モデルを初めから大きくきる.また，出力 y は内部電位が非線形に変換されて生とっておくことになる

じその値は開区間(ー 1 ，(m →∞でほとんどすべての関数+1)の値をとる.このよう(回路)が実現できることが知られている [4 J). このな情報処理素子をアナログ型動的決定論的モデルといときは，しかし，上で指摘したように学習(推定)がきう.

わめて困難になる.

いま，このようなユユーロン素子を n 個用意し，そのこうして目標関数とそれに対するモデルの規模と学習

各出力をすべての素子の入力にフィードパックすることサンプルの大きさとの関連を議論することが本質的に重によって得られる回路，すなわち，相互結合型の回路を要な課題となってくる.層状回路についてのこの種の課考える(図 4.2). そうするとこのニューラルネットの動題に対する本格的な研究はこれからではあるが，もっと作は次のような力学系(連立の微分方程式系い広い枠組みのなかではすでに情報量基準 (A 1C) によるシステムの構造推定 [IIJ ，万能学習機械の理論 [8 ，10J ，学習機械の複雑さと学習可能性の関係 [2， 3, 15J ,学習可能性の一般論 [12 ， 13J ，計算論的学習可能性の理論 [5 ，nfl'U.

(付4.2幻)川札n)λ,
うす
i!-=一一子+守Eftt.内 +b; (i=何凡=吋叫
Iしバ刈川(4.
3)

xi=tanhu
i (i=し1 一….一.
….一'， 川n)で表わされることになる[ 7]. ここに atj は t 番目の素子の j:番目の入力に対する重みであり，19J など展開されている.

b j は t 番目の素子のしきい値(の符号を反転したもの)であり，時4. 決定論的最小値探索機械
時間 t の実数値関数 X \， …… ， x n を入力したとき，内部電位 u と出力 F が次の微分方程式と関数 tanh:

(4.
1)

"'11n

言一 ??+Ziw内+加。

y= 加lhu

定数 T は共通の値をとることにしている.
ここで n 次元ユークリッド空間 Rn で定義された実数値関数:

(4.
4)

n.
t. i , }=1数，却t や Wo は重みやしきい値(の符号を反転したもの)と呼ばれる定数"は時定数と呼ばれる正の定数である.この微分方程式からわかるように，重み叩 t が正(負)のときは入力的の正負に応じて内部電位 u は上昇または下降(下降または上昇)する傾向があり，この1991 年 7 月号

i=11 n r~ <l+ろL:
tanh‑1(x)dx¥‑.にしたがうようなニューロンモデんを考える(図 4.1).
ここに u はニューロンの内部電位と呼ばれる時間の関偽E(x\， …… ， X n )= ー士L: aijxixj‑L:bixi

τi=I J Oを用意し，各ニューロンの重み係数に関して(4.
5)

aii=O , i*j今 aij=aji

を仮定して ，(4.
6)

E を引で偏微分してみると
ôE旦

1

可=一五向 jX}-bi+~Uiが得られる.

したがって X \， … "'， X旬が上の微分方程式© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

(57)345の解ならば，式 (4.2) から明らかなように ，=dUi/ dt となり，また‑ﾔE/ xi

はじめに，次の定理が示すように，多くの場合この制

E は X t. …… ， X n を通して時約を容易に取り外すことができることを注意しておこ間の関数となる.この E を時間で微分してみると.
4( ‑.
1:=‑7)dE

旬。 /う.

E¥2定理 4.1L;(1 -xm τ:-1 到i=lと計算されることがわかる.したがって関数 E は力学系の軌道上で時間の進行に伴って非増加であり，式 (4.7)の等号が成立するのは E の極小点においてである.
いまt"を十分大きくとっておくと ，が超立方体[ー 1 ，S から定まる 2 次関数 G:X→R でI、 υ .;.(;iすなわ(4.
13)X={xlx=(x t. …… ， Xn )， Xi= ーし +1}

とおくと

xm!n=argmin{H(x)lxEX}

n二?Xm!n=arg min{F(xl)xES}が成り立つような定数 c が存在する.

2 値をとる変数の 2 次関数:

(4.
9)

x ft; S のとき

H(x)=F(x)+cG(x)

(4.
14)

することになる.したがって集合:で定義された関数，すなわち(>0 ,を満たすものが存在するとする.このとき，正の定数 c

ち，この立方体の頂点の近くで上の力学系の状態は停留(4.
8)

XES のとき，を用いてE の多項式部分+IJn 上で極小値をとる点，(=0 ,G(xH(4.
12)

次に，目的関数 F の変数引は::t 1 しかとらないことに注意すると，係数 aiJ は，一般性を失うことなく，式nF(xt......., X n )= 一七五 1atjZ戸j-zb内の極小値(の正確な定義は後述)あるいは最小値がこの力学系の平衡点として求められることが推察される.これがニューラノレネットによる最小値探索機械の基本的な(4.5) を満たしているとしてよいことが容易に示される.

さらに，式 (4.9) から 1 次の項を次のようにして落とすことができる.すなわち，仕組みである.

5)
A=
[:;;
JJ
J:;
jb=[;iこれまでの議論からわかるようにt"が有限の値をとっている限り，最小値ないしは極小値が得られる可能性を厳密に保証するのは難しい.そこで以下では式 (4.2)

において T を無限大にした極限での理論から探索の可能性を正確に見ることにしよう.なおt"を無限大にするということは，式 (4. 1)からわかるように内部電位向が正負の無限大になり得るわけで、，その電位に耐えるよから

r0 btl

B=I: .
1Lb AJ(4.
16)

なる n+1 次の正方行列を作り，この 2 次形式:

G(F)=-÷vaBg， p( 拘 ， X l， ......, xn)t

(4 川

うな理想的なニューロン素子から成るニューラルネットを考える.このとき次の定理が成り立つことを容易に示の力学系を考察することに相当する.事態をこのようにすことができる.

理想化することによって，後にわかるように，事の本質が厳密な形で見えてくるのである [14，定理 4.2

16J.

x!)t
(x:，.
x~
0'.
.
.
.
.
.
1'…… '.
.
.
.
.
.
nI

それではこれから扱う最小値問題を整理しておくこと

(4.
18)

=argmin{G( 智 )lyE{ ー 1 ， +I}xX}にする.巡回セールスマン問題や n クイーン問題など多二手 arg min{F(x)lxEX}=x:(xt ， …・ー ， x:) ε

くの組合せ的最適化問題は 2 値をとる多変数の実数値以上のことから，ほぼ一般性を失うことなく次の間題関数の制約付き最小値問題に帰着させることができる[16J.

そこで次のような最小値問題を考えることから議を考えればよいということになる.

問題 4.2論を始めることにしよう.

問題 4.1

F を X上で定義された 2 次関数(式 (4.9)

参照)とし

S を X の部分集合とする.このとき，

(4.
10)

Fmin=min{F(x)lxES },

(4.
11)

Xmin=argmin{F(x)!xES}

346 (58)

F(x)= ーすが Axの X 上での最小値 Fm!n と最小点 Xmln を求めよ.

ここに A=[aiJJ において，式 (4.5) が満たされているとでの F の最小値と最小点:

を求めよ.

S上(4.
19)

X から R への関数:する.

問題 4.2 を解くために ，F の定義域を n 次元ユーグリッド空間に拡大して得られる関数 E を用意し，この E を© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リサーチ

1 F の極小点は漸近安定である;
0

用 L 、て次の微分方程式系，すなわち，力学系:

(4.
20)

du ,iJE
Ef= 一石:....

を考える.

このとき

20 F の広義極小点は安定なことも不安定なこともあxi=tanh(ui)る;

ネルギーと呼ぶ.
(4.2)

E を目的関数 F から導かれたエこれを Hopfield らが扱った力学系と較べると，減衰項 -uJ. が落ちているが，これはさきに述べたようにニューロン素子をある意味で理想化したことに相当する.

関する方程式を作るとJ 伊・..

iJE

目的関数 F から導かれるエネルギ -E をもではない.

1=1

叫 &υ “"tが得られる.いま，素子の出力引の n 組 X=(X"oZη) に着目すると，これは上の力学系の状態を表わしており，式 (4.20) の第 2 の式からわかるようにn 次元

立方体 C=[-I ， +IJ の中を時間とともに移動し，さまざまな軌道を描くことになる.この微分方程式系は非線形でもあり，解析的に解くことは難し~、.しかし，いわゆる微分方程式の定性的理論 [6 J を援用することによっていくつかの重要な性質を明らかにすることができるが，以下でその主なものをまとめておこう[14 ，して多くの場合実際そうである)，式 (4.22) によれば，立方体 C の内部には平衡点としては原点があるだけであπ竺去1.==ー (l- x n 三工ナ= (l-x~) .L: aijxj

定理 4.3定理 4.6

っ上の力学系において，立方体 C の内部の点は漸近安定

いま，目的関数 F の係数行列 A が正則だとすると(そさて，式 (4.20) において引を消去して引だけに

(4.
21)

30 F の非極小点は不安定である.

16].

力学系 (4.2 1)において時刻 0 で立方体 Cの中から出発するとき，エネルギ -E は時間に関して非増加であり ， dE/dt=O となるのは i=l ， …… ， n に関しる.したがって，上の定性的性質を考慮すれば，立方体内の原点以外の任意の点を初期値として出発すれば，ほとんどの場合，その漸近安定点として目的関数 F の極小点、を求めることはできる.

しかし，われわれが欲しいのは F の最小点である.極小点の中には当然最小点が存在するから，うまい初期値を選ぶことにより最小値を得る可能性はある.
以下では最小値を与えてくれる初期値をどう選んだらよ L 、かについて検討してみよう.この問題を初期値設定問題というが，これがユューラルネットによる最小値探索法の唯一のしかも最大の難点である.
X* を漸近安定点とし，この日に近づいていくようなすべての軌道の和集合を X* のたらいと呼んでいる.

この意味では，最小点のたらいの中から出発すれば，必ずて

(4.
22)

xi= 土 1 ま Tこはn最小値が得られることになる.しかしこのたらいを具体j=l的に求めることは上の微分方程式を解くのと同程度に困.
L:aijxj=Oのときかっこのときに限る.
定理 4.4

難である.

立方体 C の相隣り合った頂点における目的関数 F の値の差:

(4.
23)

F(v"…… , Vi , … ・・ ， vn)

n=10 の目的関数から導かれるエネルギーを持つ力学系-F(v" ……，一円，…… ， vn)
は力学系 (4.21) のヤコビ行列の固有値に等しい.

ここで目的関数 F の極小に関する概念を明確にしておこう.立方体 C の頂点 v=( 九…・・・ ， v n )( 列=:t 1 )が Fの極小点であるとはを考え，目的関数の係数行列 A をランダムに選んで固定しておく.そして，初期値を集合:

(4.
25)

S(d)={(x" …… , xn)1 VI
Xil:s:;d}の中からランダムに選んで力学系を駆動する試行を多数回行ない，最小値が得られた割合を記録する.この値はVi:F(v" …… , vn)

(4.
24)

そこで初期値をランダムに選んで，どの程度の割合で最小値が得られるかを実験的に調べてみることにする.

一般に S(d) の大きさ d に依存する.実際，<F(v" …… , Vi- t, ‑v vi+h ・回目… ， vn)

1000 回の試行を種々の d に対して行なってみると d=0.9， 0.8，が成り立つことをいう.また，式 (4.24) において少な-…， 0.1 に対して探索の成功率は，くとも 1 つのくが ζ になっている場合

61.4%, 65.4%, 71.5%, 79.2%, 88.6%, 96.1%,というv を広義極小点

v が極小点でも広義極小点でもないとき，非極小点であるという.

定理 4.5

る，目的関数 F から導かれるエネルギ -E をもつ上の力学系において1991 年 7 月号

99.8%, 100.0% と得られる.

それぞれ 53.3% ，

このように d が小さくな

すなわち ， S(d) が狭くなるほど高い確率で最小値が得られる.い L 、かえれば，最小値を与えるたらいの点が S(d) に含まれる割合が ，© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

d の増加とともに多くなる(59)347ということである.この傾向は多くの種類の目的関数に[7J Hopfield , J.J. andTank , D.W.:“ Neural"

対して実際観測され，このことは次の予想を示唆していcomputationofdecisionsi
noptimizationpro.

るように思われる:

iol. Cybern. , 52 (1985) , 141‑
152.
blems., B

状態空間の原点を中心とする小立方体 S[8J Kovalevsky, V. A.:Recent advances , in(d) の中からランダムに初期値を選んだとき，目的関数‑thInt'lstatisticalpatternrecognition , Proc.4の最小点が得られる確率を P(d) で表わす.このときJointConf.onPatternRecognition , (1978) ，ト予想 4.1

limP(d)=1(4.
26)

12.

d‑+O

[9J 大須賀，佐伯編:知識の獲得と学習，オーム社，が成り立つ.

1987.
参芳文献

[10J 尾関:万能学習機械は存在するか，数理工学研究[1J 麻生:誤差逆伝搬学習の数理的性質，電子情報通信学会技術報告，

PRU89‑14 (1989).

会シンポジウム，

1979‑01.

[l1J 坂元他:情報量統計学，共立出版， 1983.

[2J Baum , E.B.& Haussler, D.:Whatsizenet
givesvali
dgeneralization?, NeuralComputa.

tion , 1 (1989) , 151‑
160.

.etal.:A theoryoflearnability ,[12J Uesaka , Y
Kybernetik , 13 (1973) , 123‑
131.
[13J 上坂:学習可能性と線形空間，電子通信学会論文[3J Cover., T. M.:Geometrical and statisticalproperties of systems oflinearinequalities誌，

J66‑A (1983). 12, 1151‑
1158.

[14J 上坂: 2 値変数の実数値関数から導かれるエネル

with applications in pattern recognition ,ギーを持つニューロン回路網の安定性について，電IEEETrans.onElectronicComputers , (1965) ,子通信学会技術研究報告，

326‑
334.

[15J 上坂:ニューラルネットと学習可能性，[4J Funahashi , K.:On the approximate reali.
zatio
nofcontinuousmappingsbyneuralnet.
works , NeuralNetw抑止s ， 2 , 3 (1989).

報通信学会技術報告 ，電子情CAS89-103, NLP89‑
47(1989) , 69‑
74.
[16J 上坂，尾関:パターン認識と学習のアルゴリズ.M.:Languageidentificationinthe[5J Gold , Elimit , InformationandControl , 10(1967), 447‑

1990.

ム，文一総合出版，[17] 浦浜:ニューラルネットの最急降下学習法の収束
速度，電子情報通信学会論文誌， J72‑D‑II(1989) ,474.

[6J Hirsch , M.W. & Smale , S.:力学系入門，岩波，

PRU88‑6 (
1988)
.

298‑
301.

1974.

-・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・.・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・........・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・圃・・・・・・・・・・・・・・・...

5

第 1 回理事会際題

月会合記録

3‑5‑2110名

1. 平成 2 年度評議員会議事録の件

5 月 15 日(水)庶務幹事会

9名

2. 平成 2 年度第 7 回理事会議事録の件

5 月 20 日(月)OR 誌編集委員会

14名

3. 平成 2 年度通常総会議事録の件

FMES シンポジウム実行委員会

5 名

4. 入退会の件

5 月 14 日(火)OR 事例j集編集委員会

5 月 21 日(火)理事会

16名

5. 各支部総会報告の件

5 月 24 日(金)国際委員会

8名

6. 平成 2 年度支部長会議開催報告・議事録の件

7. 平成 2 年度秋季研究発表会予算(案)の件
8. CEMIT‑CECOIA 3 協賛の件
9. 平成 3 年度委員会委員・幹事委嘱の件

348(60)© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リサーチ