連川

座州
鶴川
載州

ニューラノレネットの基礎数理(1)上坂吉則
1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111川1"'111111111"'"'11剛1"'"'"'
川11川剛
1111111目111
刷川川
川
11111刷1111111
刷111111
附111目刷
11IIII11U
聞1111附H帥11附附1111剛11捌H聞H川
1111111
附H附l側1111側11111111111111刷1111111111川川
1111
川
11川川
111川
川
111111川川川
11IIMIIIIIIIIIIIIII刷 1
111011111111111111111111111111111111.

わるものではない.このブィーパーが多くの人々の関心はじめにを呼び，ふたたび多数の研究者を呼び寄せているが，再ニューラルネットに関する研究は約半世紀前の Mc­

度氷河期に陥らないためには，扱っている課題が内包しCuIloch and P
itts[9J に遡ることができる.この論ている困難さをよ〈認識しておくことが肝要だと思われ

文 11 ，ニューロンを論理素子と見立てたとき，ニューラる.

ノレネットはどんな論理関数をも実現できるという，ニュ

それはともかく，今日ニューラルネットの研究は非常ーロンの万能性を示したものである.と同時に，数学者に活発化している.その結果，ニューラルネットの F イと生理学者の共同研究によるもので，今日で L 、う学際的プも多岐にわたり，したがってその様相を一口で捉えるな仕事のはしりでもある.

ことは難しくなってきている.そこで，この小文では種その後， 60年代にパーセプトロンと呼ばれる世界最初々のニユ}ラルネットをその原理的側面から眺めることの学習機械が心理学者 Rosenblatt[12J によって提唱さによって分類し，その中から基本的な 3 つのニューラル

れると，ニューラルネットへの関心が世界的な規模で高ネット:学習認識機械，決定論的最小値探索機械，確率まることになる.日本でも多くの研究者がこの分野に参論的最小値探索機械を取り上げることにする.そして，入し，パターン認識，学習，認知，記憶，生体情報，本誌の読者は数理的な取扱いにも慣れ親しんでおられる

イオニックスといった言葉が通信工学や計算機工学のなと思われるので，これらのニューラルネットの数理的枠かで頻繁に聞かれるようになった.しかし，約 10年後に組みを紹介することによってその基本的な仕組みを理解はひと握りの研究者を残して，大部分は当時興隆しつつすることを手助けできればと考えている.紙数の制約かあった人工知能 (A I)やコンピュータサイエンスへとら詳細な証明などは一部省略せざるを得ないが，これら移っていく.

については拙書 [17J を参照していただきたい.

その主たる原因は Minsky and Papart の書物 [10J

人工のニューラルネットは“ニューロンモデル"と呼の初版においてパーセプトロン限界説が唱えられたからばれる多入力一出力の情報処理素子から成っている.こだとよくいわれているが，これは必ずしも当を得ていな

れは生体がもっている本物のニューロンのある種の性質い.実際，彼らが論じたのはごく特殊なパーセプトロンを取り入れ，他の性質を捨象することによって得られるの族の能力評価であり，後にふれるように，ニューラルいわば“ニューロンもどき"であり，次のように 3 つのネットは H煩序機械としても万能性をもっていることが古観点から分類することができる.

くから知られている [8J のである.むしろ，パーセプトロンに代表されるこの種の研究が狙った課題が，認識や学習などいわゆるプレイン・サイエンスの中でも難問中の難問に属していたからだといえよう.こうした課題は一朝一夕で片がつくとは考えられない.
この事情は， 80年代に入ってからのいくつかの新しいアプローチの提唱に始まるニューロブームにおいても変01扱う情報が 2 値をとるデジタルタイプと連続値をとるアナログタイプ，

20

情報の伝達に遅れのなし、静的タイプと内部に記憶をもっ動的タイプ，

30

出力が入力に対して一意に定まる決定論的タイプとランダムに定まる砲率論的タイプ.
したがって原理的には 8 種類のニューロンモデルを考えることができる(個々のニューロンモデルの動作の詳
うえさか

よしのり

干 278 野悶市山崎 2641

280(32)

東京理科大学理工学部

細はそれらが使われるニューラルネットのところで説明するのでそちらを参照されたし、 ).
© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リサーチ

一方，回路のトポロジーあるいはアーキテクチャから(d) アナログ型動的確率論的モデルを用いたもの

見ると，ニューラルネットは情報が入力側から出力側へ・最小値探索機械としてのガウシアンマシンと一方向に流れるフィードフォワード型とループを持つ(Akiyamaet a 1., 1988)

フィードパヴク型に大きく分けることができる.
フィードパック型のニューラルネットに静的モデルをこれらのニューラルマシンを数理的なシステムとして考えたとき，その原理的側面が浮かび上がってくる.デ

用げても，情報が回路の中を一瞬の内にかけめぐってしジタル型静的決定論的モデルで織成される学習機械は多まうので，議論のしよ、うがない.また，フィードフォワ変数の論理関数であり，任意の論理関数がこのシステムード型のニューラルネットに動的モデルを用いてもあまによって実現できることがわかっている [9 J.デジタル

り面白いことは期待できない.とし、うわけで，静的モデ型動的決定論的モデルによる連想記憶マシンは本質的にルを素子とするフィードフォワード型回路が 4 種類と動は有限オートマトン(あるいは離散力学系)であり，任的モデルを素子とするフィードパック型回路が 4 種類，意のオートマトンがこのシステムによって実現できるこZ十 8 種類のニューラルネットが原理的に考えられることとがずいぶん前から知られている [8 J.になる.

確率論的モデルを用いた最小値探索機械は数学的には有デジタル型動的

この 8 種類のニューラルネットによってできる典型的限マルコフ連鎖であり [18J ，“焼きなまし"と呼ばれるなマシン，つまり，ニューロコンビュータとしては次の物理現象に由来するシミュレーティッドアニーリングのものを挙げることができる.

手法の範膚に入る[ 1J.

アナログ型静的決定論的モデんから成る学習認識機械は多変数の実数値関数であり，任(1) フィードフォワード型回路(a) デジタル型静的決定論的モデルを用いたもの
・学習認識機械としての古典パーセプトロン

意の多変数関数が任意の精度でこのシステムによって近似できることがわかっている [5 J.

アナログ型動的決定論的モデルによる最小値探索機械は勾配系と呼ばれる古(Rosenblatt , 1961)
・静的連想記憶としてのアソシアトロン

くから知られた力学系(あるいは微分方程式系)によく似たシステムである [15J.

(Nakano., 1972)(b) デジタル型静的確率論的モデんを用いたもの

そしてこれにガウシアンノイズを加えて改良した，アナログ型動的確率論的モデルに・(信頼性の低い部品から信頼性の高い、ンステムよる最小値探索機械は確率微分方程式で記述されるタイを構築できるという理論 (von Neumann ,プのシステムである [3 J.この他に，主として甘利によ1956))って精力的に展開されてきた統計力学的アプ戸ーチがあ(c) アナログ型静的決定論的モデルを用いたもの
・学習認識機械としての現代パーセプトロン(Rumelhart et a 1., 1986)
・静的連想記憶としての一般化されたアソシアトロン(Uesaka& Ozeki , 1972)(d) アナログ型静的確率論的モデルを用いたもの

るが，これについては文献 [4J に優れた解説を見ることができる.
このように，ニューラルネットはさまざまな数理的側面を持っているが，ここでは関数近似としての現代パーセプトロン，力学系としてのホップフィールドマシンおよび有限マルコフ連鎖としてのボルツマンマシン(とアニーリング)の 3 つについて，その基本的な仕組みを紹・(特になし)

介し，今後解かれるべき課題について考えてみたいと思(2) フィードパ.~ク型回路(a) デジタノレ型動的決定論的モデルを用いたもの

う.

・動的連想記憶としてのアトラクタマシン (Hop­
五 eld ，(b) デジタル型動的確率論的モデルを用いたもの
・最小値探索機械としてのボルツマンマシン(Ackley eta 1., 1985)
・最小値探索機械としてのホップフィールドマシ(Hop五 eld1991 年 6 月号

関区間 (0， 1 )の n 個の直積集合を X で表わす.つまり，X の元 z は値が (0， 1) に属する n 個の実数の組(x }， … ， x n ) として書くことができる.

(c) アナログ型動的決定論的モデルを用いたもの

ン

2. 学習認識機械

1982)& Tank , 1985)

ように定められる X から(2.
1)

このとき，次の(0 ， 1) への関数:

f(x)= σ( 加。+叩 l X l+ …十叩 n Xη)を考える.ここに， σ は実数全体 R から (0， 1 )への関数:© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

(33)281XlXlX2

入力

出力j(x)x入x.

z 出カ力局

図 2. 1 アナログ型静的決定論的エユーロンモデル(2.2)σ (u)= .̲.̲1l+exp(‑u)

Tn,であり，加。， Wh … ， W偽は実数を値に持つ定数である.

図 2.2

この関数 f をアナログ型静的決定論的ニューロンモデ

n 入力 l 出力を持つ 2 段のフィードプオワ
ード型ニューラルネット

ルという.情報処理素子としては入力 X=(Xh '''， x n ) を出力 f(x) に変換するプロセッサと見ることができる(図2.
1).

パーセプトロンとは“ perception ぺすなわち，“知覚"という心理学用語に由来した名称であって，図形なこのような関数をどうしてニューロンのモデルと考えどのパターンを認識する機械のことである.たとえば，

るかはユユーロンの生理学的性質による.つまり，生体関数 h の値域 (0 ， 1) を (0 ， 0.5) と [0.5 ，1)の 2 つに分割のニューロンは多入力一出力の情報処理素子であり，情し，その h による逆像:

報はニューロンの活動を表わすインパルスの頻度で表現(X1= ド ((0， O.5}}={xlh(x) ε(0 ， 0 列}(2.
6)

X2=h‑1([0.5, 1) )={xlh(x) ε[0.5 ， 1 )}されていると考えられているからである.加えて，入力はニューロン固有の定数却0 ，叩1.…，叩π によって重み付をとると，きで加算され，それがニューロンの内部電位を定め，内割する.したがって ，これらは X を 2 つの部分集合 X 1 と X 2 に分部電位は関数 σ によって非線形に変換されて出力される

h(x) の値を見ることによって，ことが知られている.つまり ， f(x) は入力 z によってテゴリ X h X 2 のいずれに属しているかがわかる.このX をパターンの集合と考えると，パターン z が 2 つのカ引き起こされた出力としてのパルス頻度である.この意

ことは h によってパターン露織ができることを意味して味で叩 h …，叩η をニューロンの重み係数，却。(の符号をおり

h はしばしば認織関数と呼ばれる(図 2.3). たと変えたもの)をしきい値と呼んでいるが，ここでは簡単

えば，

X 1 が文字パターン“ A" の集合であり，に両者を重みと呼ぶことにする.

“ A" 以外のパターンの集合であればこのようなニューロンの出力を他のニューロンの入力に接続することによってニューロンを素子とする回路，すなわちューラルネ .
，卜ができる.

ここでは簡単のため回路を考える(図 2.2).

逆に，文字“ A" を認識できる関数 h を作ることを考えてみよう.この場合，実際的場面ではカテゴリ X 1 が陽に与えられることはなく ，すなわちX 1 や X 2 の元であると L 、う事例が得られるに過ぎない.

m 個のニューロンt 、くつかの文字パターンがいいかえれば，パターン集合 X の“有限"部分集合 S と的=乃 (X)= σ (WOj+ 叩 lj X l+ … +WnjX n )が層状に並んでおり認識できることになる.

n 個の入力と 1 個の出力を持つ

j=l ， … ， m に対して:

(2.3)

X2 が

h は文字“ A" をS に属するパターンのカテゴリ名が与えられ，それをもn 個の入力が各ニューロンに入り，それらの出力 Yb "'， y閉がもう 1 つのニューロン:(2.
4)

z=g(y)= σ( 町 +VIY1+ … +VmYm)の入力となって，そこから出力 z が出ると考える.
これは典型的な 2 段のフィードフォワード裂ユューラ
ルネットであり，その入出力関係は式 (2.3) と (2.4) から

明らなように関数 fh "'，j，日と g の合成として

(2.
5)

ハタ/集合

ノ〈ーセ 7叫トロンの出力

h(X)=g (fl(X) , ….!m(X))と与えられ，X から (0 ， 1) への関数となっている.このh はパーセプトロンとも呼ばれる.

282 (34)

図 2.3

認識関数 h によってパターン集合は 2 つのカテゴリ X h X 2 Vこ分割される© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リサーチ

とにして認識関数を作り上げるということを考えなければならない.

このことを数学的に捉えれば， X から (0 ， 1) への未知の関数 d があり，有限集合 S ç; X の各元 z に対する d の値 d(x) だけが与えられたとき， X 全体にわたって d をできるだけよく近似する関数 h: X → (0， 1) を求めよという，関数補聞の問題に帰着される .

d を目標関数，S
重み加ij ，を学習パターンの集合という.
関数 h の目標関数 d に対する近似の良きとしては，通図 2.4

常，学習パターンにおける両者の値の平均 2 乗誤差:

(2.7)

ーVj(乃空間誤差 E の曲面上を移動して力学系の状態はE の極小点に到達する

E:::.
J"I:[h(x)‑d(x)J2I
SI.
.
"e's

この漸化式はより具体的に ，が用いられる.ここに I SI は S の元の個数である.学習

対してパターンから認識関数 h を設計するには，この誤差 E が(2.13)最小となるように，重み Wij と町を決めればよい.しかし ， E の形から明らかなように，望ましい重みは解析的には求めようがない.そこで逐次的に近似解を求める

i=O , …, n; j=l ， ・ ..， m に四ijn 仰 ‑=uげld_~主I:
Olj(x)x‑'J
ISI "，~s-'J

j=O , …, m に対して

(2.14)

町n 間 =V;otd_~主，I:
δ2(x)f白 (x)‑J
ISI :r~s-&.\-'JJことになるが，その 1 つの数値計算法を与えるのが眼差逆伝徹法 [13] であり，解を求めるプロセスを学習と呼んと計算される.ここにでいる.この種のニューラルネットが学習機繊と呼ばれ

(2.
15)

01j(X)= ゐ (X) 町 fj(x) (1 ーん (X)) ，(2.16)ゐ (x)=[h(x)-d(x)]h(x) (I‑h(x))

であり ，Xo 三fo(x) 三 O と既約しである.この偏微分のるのはこのことに由来している.

具体的には，非線形な関数の最小解を求める手法として古くから知られている勾配法ないしは最急降下法を用いればよい.すなわち，重み Wijo Vj.を時間 t の関数と考え，誤差 E をポテンシャルとする力学系:(2.
8)

豆竺!L:::(1t‑‑E

ﾒWij'

豆丘 =_3 Edt

ﾒVjを用意する.このとき ， E は却 i J> Vj を介して時間の関数となるが，却り， Vj が上の微分方程式系の解であれば，(2.
9)

dE(wuz) ，川)孟 O

AE

一一OWijV=0 ，

弓竺=σ(u) (1 ーσ (u))
auで与えられることを積極的に利用していることを注意しておし
ここでゐをみると，これはパーセプトロンの出力 h(x)の目標関数 d(x) に対する誤差にほぼ相当しており，まり，入力側の重み叩 ij の修正に出力側の誤差を利用している.このように重みの修正のさいに誤差が，入力情報Eの流れとは逆に，出力側から入力側に伝搬していくこと

τ十 =0OVjが誤差逆伝搬法の命名の由来になっているわけである.

で与えられることが容易に示される.

したがって，ムを十分小さい正の定数にとり，適当な初期値町 0(0) ， 円 (0) から出発して漸化式:

E

(2.
11)

町j(t+ ム)=町 j (t)ーム百玩7(2.
12)

町(t+ム )=Vj(t) ーム石7を用いて点列切り (k ð.)，(2.
17)

た δ lj を求めるのに δz を用いていることがわかる.つまが成り立ち，等号が成り立つ条件は

(2.
10)

計算の過程で式 (2.2) の導関数がE

ここでは典型的な 2 段のパーセプトロンを取り上げたが，こうした考えは段の数がもっと多くても通用する.

また回路が層状になっていなくても，回路にループが存在しない任意のフィードフォワード型のニューラルネッ

トに適用することができる.

この意味では誤差逆伝搬法は万能の学習法だということができる.そしてこのこと

vj(kム) (k:::l , 2, 3 ，…)を生成

が 80年代にふたたび爆発的な関心がニューラルネットにすると，これは誤差 E の最小点(一般には極小点)に収寄せられたことの大きな要因の 1 つになっているといっ束することになる(図 2.4).てよいであろう.

いま，偏微分 òE/ò即りと òE/òVj を実行してみると，1991 年 6 月号

© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

(35)283[9J McCulloch , W.S. and Pitts , W.H.:A参芳文献

logicalc
alculusof the ideas immanent in[1J Aarts , E.and Korst , J.:Simulated annea‑ull. Math. Biophys. , 5(1943) ,neural nets , Bling and Boltzmann machines:A stochasticaρþroach

115‑
133.
[10J Minsky, M.L.and Papert , S.A.:Percep‑

to combinatorial optimization andneuralcomputing , Wiley , 1988.

trons , Ani
ntroductiont
o computational geo‑
metry , expanded edition , The MIT Press ,[2J Ackley , D.H. , Hinton , G. E. and Sejnow‑ski , T.J.:A learning algorithm for Boltz‑

1987.

mannmachines , CognitiveScience , 9(1985 ),[IIJ Nakano , K.:Associatron‑amodelofass‑ociative memory , IEEE Trans. on SMC ,147‑
169.
[3J 秋山，山下，梶浦，安西，相磯:ガウシアンマシ

SMC‑2(1972) , 380‑388.
[12J Rosenblatt. , F.:Principles of neurodyna一ンによる組合せ最適化，電子情報通信学会技術研究
報告，

MBE88‑183(1988).

mics-Perceρtrons[4J 甘利:神経回路網の数理一脳の情報処理様式ー
産業図書，Mechanisms ， Spartan.,

1961.

[13J Rumelhart , D.E. , Hinton , G.E. and W i
1l‑

1978.

[5J Funahashi , K.:Ontheapproximate rea1i‑iams , R. J.:Learning representations byzatio
n of continuous mappings by neuralback‑propagating errors ,networks , NeuralNetworks , 2 , 3(1989).

[14J 上坂，尾関:連想型記憶の二，三の性質，電子通sicalsystemswith emergent collectiv
e com一信学会論文誌，atl. Acad. Sci.
putationalabilities , Proc. N[15J 上坂• 2558.

USA , 79(1982) , 255

55-D(1972) , 223‑230.

2 値変数の実数値関数から導かれるエネル

ギーを持つニューロン回路網の安定性について，電[7] Hopfield , J.
J. andTank , D.W.:“ Neural"

子通信学会技術研究報告，

computation ofdecisionsin optimization
problems , Biol. Cybern. , 52(1985) , 141‑
152.

ための受理関数の族について，電子情報通信学会技術報告，

NC89‑66(1990) , 3 ト 36.

[17] 上坂，尾関:パターン認識と学習のアルゴリズ

nervenetsand 五 nite automata , in“ Shannon ,C. E. and McCarthy , J.(eds.
):AutomataÅ.

Studies , Annals of Mathematical Studies

文一総合出版，

1990.

[18J 上坂:ニューロダイナミックスの数理，電子情報

No.34 , PrincetonUniv." (1956) , 3‑41.

ﾗPRU88‑6(1988).

[16J 上坂，塚田:シミュレーティッドアニーリングの[8J Kleene , S.C.:Representation ofevents inﾗNature , 323 , 9(1986) , 533‑
536.

[6J Hopfield , J.J.:Neural networks and phy‑284(36)and the theory ofBrain

通信学会誌，

ﾗ73 , 2(1990) , 1
31‑
1
36.

ﾗ© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

ﾗオベレーションズ・リサーチ