論文

選択的不感化法を適用した層状ニューラルネットの情報統合能力森田 昌彦† a)

村田 和彦†

諸上 茂光†

末光 厚夫†

Information Integration Ability of Layered Neural Networks with
the Selective Desensitization Method
Masahiko MORITA†a) , Kazuhiko MURATA† , Shigemitsu MOROKAMI† ,and Atsuo SUEMITSU†

あらまし 伝統的な層状ニューラルネットは，入出力関係が文脈に強く依存する場合や二つの独立な入力情報を統合する必要がある場合，学習及び汎化の性能が著しく低下する．これは，「1 対多対応による荷重の平均化」という本質的な問題に起因すると考えられ，学習アルゴリズムをどのように改良しても解決することはできない．
この限界を乗り越えるために，先に筆者らが提案した「選択的不感化」という手法を層状ニューラルネットに適用し，その情報統合能力について検証した．その結果，このモデルは文脈依存的連合課題に関して，優れた学習能力をもつだけでなく，これまでにない高い汎化能力を示すことが分かった．これは，前述の平均化の問題が解
消するとともに，2 種類の分散表現が局所表現を経ることなく統合されるためだと考えられ，ニューラルネット
による情報処理の可能性を大きく広げるものである．
キーワード

神経回路網，多層パーセプトロン，分散表現，文脈修飾，汎化能力

子や膨大な量の計算が必要な上，しばしば無限に長い

1. ま え が き

学習時間がかかる．

人間が普段行っているような知的情報処理は，文脈筆者ら [2] は，このような難点が「1 対多対応によに大きく依存する場合が多い．つまり，与えられる情る荷重の平均化」という本質的な問題に起因するもの報が同じであっても，その場の様々な状況に応じて異であって，古典的なニューラルネットの枠組みでは解なる結果を出力する必要がある．ここで「文脈」を種決が困難であることを指摘するとともに，「選択的不感類の異なる情報と考えれば，より一般的に，2 種類の化」という文脈修飾の手法を用いた文脈依存的連想モ

情報を統合してその組合せに応じて適切な出力を選ぶ

デルにおいて，この問題が解決されていることを示し

ような処理が必要ということもできよう．

た．ただし，このモデルは非単調素子を用いた回帰型

ところが，ニューラルネット（以下，人工神経回路

ニューラルネットであり，一般的なニューラルネット

網の意味で用いる）の最も基本的なものといえる，入とはかなり異なるため，従来のモデルの問題点や，導力層と出力層からなる 2 層モデル（単層パーセプトロ

入した手法の効果があまり明確ではなかった．そこで，ン）は，このような文脈依存的処理や情報統合の能力

本論文では，層状のニューラルネットモデルに選択的が極めて乏しい．この欠点に対処するため，中間層を不感化による文脈修飾を適用し，それによる情報統合

設けて誤差逆伝搬法 [1] などにより学習する，いわゆ

能力の向上について検証する．

る多層パーセプトロンが一般に用いられている．しかし，この方法は，ネットワークの規模が大きくなり学
習すべき入出力関係が複雑になると，多数の中間層素

2. 多層パーセプトロンの情報統合能力
2. 1 単層パーセプトロンと平均化の問題
以下の課題を考える．まず，p(≥ 2) 個のパターン†

筑波大学大学院システム情報工学研究科，つくば市
Graduate School of Systems and Information Engineering,
University of Tsukuba, 1–1–1 Ten-nodai, Tsukuba-shi, 305–
8573 Japana) E-mail: mor@bcl.esys.tsukuba.ac.jp2242

電子情報通信学会論文誌

S 1 , . . . , S p の ほ か に ，q (≥ 2) 通 り の パ タ ー ン
C 1 , . . . , C q があるとき，両者の組合せ (S µ , C ν ) に応
じて出力すべき目標パターン T µ,ν が与えられるという課題である．ここで，T µ,ν はすべて異なっていて

D–II Vol. J87–D–II No. 12 pp. 2242–2252 2004 年 12 月

論文／選択的不感化法を適用した層状ニューラルネットの情報統合能力もよいし，重複があってもよいが，当面はすべて全く異なるパターンとする．また，以下では特に断りのな
い限り，情報はすべて 2 値 (±1) パターンによって分散表現されており，その次元 n は十分に大きいものとする．
この課題は，S と C という 2 種類の情報を統合して目標パターン T を連想する課題とみなすこともできるし，通常の連想課題のように入力パターン S に
よって T が一意に決まるのではなく，C で表される(a) Single-layer perceptron

文脈に依存して S と T との関係が変化する課題と見ることもできる．以下では，便宜上 S を入力パター
ン，C を文脈パターンと呼ぶが，ここでいう「文脈」とは「入出力関係に影響を与える情報」という程度の意味である．
さて，最初に 2 層のニューラルネットについて考えよう．この場合，図 1 (a) のように S と C に対してそれぞれ n 個の素子を割り当て，2n 個の素子からなる入力層から n 個の素子からなる出力層への結合荷重を学習する（以下，これを直和型モデルと呼ぶ）のが一般的である．ところが，この学習は，p 及び q が(b) Multilayer perceptron

図 1 層状ニューラルネットの構造
Fig. 1 Architecture of layered neural networks.

十分小さくない限りうまくいかない（3.2 参照）．その理由を簡単に説明すると，次のようになる．

2. 2 3 層 BP モデルの学習容量

今，各パターンについて均等に学習を行った結果，では，図 1 (b) のように，中間層を加えた 3 層のうまく学習ができたとしよう．このとき，仮に C を

ニューラルネットはどうであろうか．この場合，入力表す部分（以下，文脈部と呼ぶ）と出力層との結合を層から中間層への結合荷重を学習するため，誤差逆伝すべて切断したとする．すると，出力されるパターン

搬 (BP) 法 [1] を用いるのが一般的である．そこで，直は，文脈パターン C ν に関係なく S µ のみによって決和型モデルにこの方法を適用した場合（以下，BP モ

まるから，T µ,1 , . . . , T µ,q を平均化したパターン T̄ µデルと呼ぶ）について，数値実験を行った．

かそれに近いパターンになっているはずである．

各部の素子数（パターンの次元）は n であり，入力

ところが，T µ,ν は独立なパターンであるから，T̄ µパターン S µ 及び文脈パターン C ν は同数 (p = q) ず

は q が大きくなるにつれて µ によらないある一定のパ

つ，目標パターン T µ,ν は m = pq 個，それぞれラン

ターンに近づいていく．つまり，文脈パターン数 q がダムに作成するものとする．学習は，出力の平均二乗十分大きければ，入力パターンが何であっても出力パ

誤差を見ながら十分な回数（平均約 10000 回）行った

ターンはほぼ同じパターンとなる．これは，入力部かが，誤差が十分に減少しない場合には，結合荷重の初ら出力層への結合荷重が無意味になるということであ期値を変えて最大 10 回までやり直し，その最良値をり，この問題を 1 対多対応による平均化と呼んでいる．

採用した．なお，学習時には，中間層及び出力層の出同様に，文脈部から出力層への結合も，入力パター

力関数として −1 から 1 の連続値をとるシグモイド関

ン数 p が大きくなると無意味になる．したがって，p数を用いたが，最終的な出力結果を得る際には各素子及び q が十分大きいとき，結合荷重をどんな学習則をの出力を ±1 に 2 値化した．

用いてどんな値に設定しても，すべての T µ,ν を正し

図 2 に結果を示す．(a) のグラフの縦軸は，2 値化しく出力することはできない．また，p や q がそれほどた出力パターン Y と目標パターン T µ,ν との類似度µ,ν

大きくなくても，Tの ν または µ に関する平均がµ または ν によらず一定の場合には，同じ議論が成り（両ベクトル間の方向余弦で定義する）の平均値，横立つ．

数 l は 25, 100, 400 の 3 通りに変えた．一方 (b) は，

軸は m/n である．n は 100 に固定し，中間層の素子

2243

電子情報通信学会論文誌 2004/12 Vol. J87–D–II No. 12

れば学習できたとみなすならば，容量は比較的大きく，

l から 2l 程度はあるといえる．しかし，この誤差は，十分に学習したパターンに関する誤差，すなわちサン
プル誤差に相当するものであって，未学習のパターンに関する誤差（汎化誤差）ではないことに留意すべきであろう．

2. 3 3 層 BP モデルの汎化性能
では，多層パーセプトロンの汎化誤差はどの程度であろうか．ここでは，ごく簡単な 2 変数関数の近似，具体的には二つの角度 θ1 と θ2 からその差 θ3 = θ1 − θ2(a) n = 100を求めるという課題を例にとって論じる．普通の数値ではなく角度としたのは，値域に端がないようにするためであり，360◦ の整数倍の違いは無視（例えば −10◦は 350◦ と同一視）して 0 ≤ θk < 360 (k = 1, 2, 3)とする．

θk はそれぞれ n 次元の 2 値パターン Θ(θk ) で表現するが，汎化が起き得るよう，角度を連続的に変えると対応するパターンも連続的に変化しなくてはならない．ここでは最も単純に，Θ の n 個の成分を円環状に配置したとき，連続する半数を 1，残りを −1 とし，両者の境界を θk の値に応じて徐々に変えることにした．例えば n = 360 の場合，θ が 1◦ 変わるごと(b) l = 100
Fig. 2図 2 BP モデルの学習性能
Learning performance of the BP model.

l = 100 に固定して n を 50, 100, 200, 400 の 4 通りに変えたグラフであり，横軸は m/l である．

に Θ(θ) の成分が 2 個ずつ変化することになる．
この課題を 2 層の直和型モデル及び 3 層の BP モデ
ルに学習させる．学習用サンプルは，(θ1 , θ2 ) の組を
m 個ランダムに選んで作成した．直和型モデルに関しては，直交学習を各サンプルにつき 30 回行ったが，学習回数を増やしても結果はほとんど同じであった．

この図から，いくつかの興味深い事実が読み取れる．

BP モデルの学習回数は，各サンプルにつき 10000 回（ 1 ） 学習能力は，主に中間層の素子数 l に依存すとしたが，こちらも学習回数の増加による結果の違い

る．また，l が一定ならば，n が大きいほど性能が低は見られなかった．

下する．
（ 2 ） 単純に考えて l が大きいほど学習容量は大き

図 3 に，n = 360，m = 100 の場合の結果を示す．
これは，θ1 を 0◦ に固定し，θ2（横軸）を 0◦ 〜360◦ ま

いはずであり，実際その傾向は見られる．ただし，lで変えた場合の出力パターン Y と正解パターン Θ(θ3 )が増えると学習がローカルミニマムに陥りやすくなり，との類似度（縦軸）を示したものであり，破線は直和

誤差が 0 に収束することはない．意外なことに，学習型モデル，実線は BP モデル (l = 200) を表す．

パターン数 m が少ないとき，その傾向が顕著である．

グラフから，直和型モデルでは，出力パターンがほ（ 3 ） その結果として，平均類似度が 1 となる，つとんどでたらめに変化していること，また BP モデル

まりすべてのパターンを完全に学習できるのは，ごくも，たまたま入力パターンが学習したものに近いとき

限られた場合だけであった．つまり，平均類似度が 1には正解に近いパターンを出力するが，それ以外ではとなる最大の m を学習容量と定義し，有限の学習時

正解と大きく異なるパターンを出力していることが分間で考えるならば，l 及び n が十分大きいときの学習

かる．学習した 100 個のサンプルに関する平均類似度

容量はほとんど 0 といえる．

は，直和型モデルが 0.56，BP モデルが 0.96 であった

もちろん，類似度が 1 でなくても誤差が十分小さけ2244のに対し，すべての入力パターンに関する平均類似度

論文／選択的不感化法を適用した層状ニューラルネットの情報統合能力

Fig. 3図 3 学習後のモデルの出力結果
Output of the model after learning.

図 4 BP モデルの汎化誤差とサンプル数の関係
Fig. 4 Relationship between generalization error andsample size for the BP model.

は，両モデルとも 0.01 未満であった．
この大きな汎化誤差は，いわゆる過学習によるもの
では全くない．なぜなら，中間層の素子数や学習回数

アルゴリズムなどとの「相性」が悪かったから，とみなされていたように感じられる．

を減らしても，サンプル誤差が増えるだけで結果はほ

しかし，上記の結果は，このような見方に強い疑問

とんど同じだったからである．では，サンプル数が少を投げかける．すなわち，「二つの変数の差を求める」

なすぎたからであろうか．

という単純な課題であっても，学習サンプルを完全にそこで，次に BP モデルについて学習サンプル数 m

学習するのは困難であるし，学習できたとしても汎化と平均誤差角 E の関係を調べた．ここで，Θ(θ) と Y

誤差が非常に大きい．もしすべての入力に対して誤差との類似度が最大となる θ を θ̂ としたとき，|θ̂ − θ3 |を抑えようとするならば，非常に多数の学習サンプル

を誤差角と定義する（Y と Θ(θ3 ) の類似度が 1 でな及びそれとほぼ同数の中間層素子，そして気の遠くな◦

くても誤差角は 0 となる場合がある）．ランダムに選るような学習回数と計算量が必要である．

んだ 1000 通りのテスト入力に関する誤差角の平均値

果たして，このような性能の悪さは，たまたまこのを求めて E としたが，これらのテスト入力に学習サ

課題に限ったことであろうか．あるいは，最も基本的ンプルはほとんど含まれないから，E はほぼ汎化誤差

な BP 学習則ではなく，様々に改良された学習アルゴと見てよい．なお，n = 360, l = 200 では計算時間がリズムのどれかを用いればこのようなことはなかった

かかりすぎるため，n = 90, l = 100 で実験した．

のであろうか．

結果を図 4 に示す．グラフの横軸は m，縦軸は E

そうではない．上記の課題は，確かに従来の方法のである．この図が示すように，サンプル数 m を増や弱点が極端に現れる例ではあるが，決して特殊な場合

しても，平均誤差は約 90◦ のまま全く減らない．つまではない．2 変数の関数近似課題など，独立な 2 種類

り，少なくともこの課題に関して，多層パーセプトロの情報の広範な統合が必要な課題一般について，サンンの汎化能力はほとんどないといえる．

プル学習効率と汎化性能とはそもそも両立しないので

2. 4 多層パーセプトロンの限界

ある．

これまで，3 層 BP モデルを代表とする多層パーセ

その根本的な原因は，2 層モデルの場合と同様に 1プトロンは，中間層をもたない単層パーセプトロンに対多対応による平均化の問題にある．つまり，出力パは学習できない XOR 課題を学習できること，理論的ターンは中間層のパターンによって一意に定まるから，には任意の連続関数を任意の精度で近似できることな

異なるパターンを出力するためには，中間層のパター

どから，高い学習能力を有すると考えられてきたようンが異なっていなければならない．すると，入力層かに思われる．経験的に多層パーセプトロンが苦手とすら中間層への結合に関して，2 層モデルの場合と同じる課題があることも知られているが，それは問題が難議論が成り立つから，平均化の問題が生じないようなしすぎたから，あるいはモデルの構造，素子数，学習

表現，すなわち ν (µ) に関する平均が µ (ν) ごとに大2245

電子情報通信学会論文誌 2004/12 Vol. J87–D–II No. 12

きく異なるような表現を中間層に形成することが必要

よる文脈修飾法である．

となる．
そうとするだけで，特にそのような表現を選ぶ働きが

3. 1 選択的不感化
ここでは，2 層モデルへの適用を前提として，この手法について説明する．まず，入力部の i 番目の素子あるわけではない．また，中間層の素子ができるだけの出力 xi は，入力パターン S の i 番目の要素 si そ

多い方がそのような表現を作りやすいが，一方で素子のものではなく，

しかし，BP 学習は単に出力の誤差を局所的に減ら数の増加は，一般に学習がローカルミニマムに陥る確率を高める．そのため，この種の課題ではサンプルの学習が難しいのである．
更にこのことは，サンプルがうまく学習できたとき

xi = gi (si − x̄i ) + x̄i(1)で与えられるものとする．ここで，gi はこの素子のゲインであり，入力の変化に対する感度を表す．また，には，各中間層素子が限られた (S µ , C ν ) の組合せのx̄i はこの素子の平均出力レベル，すなわちすべての入みをコードしている，つまり中間層の表現が局所表現力に対する出力の平均値であるが，gi と si の間に相に近いことを意味する．その極端な場合として，中間関がなければ，si の平均と置き換えられる（両者が厳層の表現を最初から局所表現にしてしまえば，少なく密に一致していなくてもほとんど問題ない）．例えば

とも中間層素子数と同数のサンプルを完全に学習することが可能である．しかし，そうすると，入出力関係

si が 1 と −1 を等確率でとり，gi が si とは独立に決まるとき，x̄i = 0 としてもよい．このとき xi = gi sµiに特定の構造があってもそれが中間層に反映されないと表されるが，以下ではこのような場合について扱う．

し，入力が多少変化すると中間層のパターンががらり素子のゲイン gi は通常 1 であるが，これを 0 にすと変わるから，学習したサンプルのごく近傍を除いてることを「不感化」といい，n 個の素子のある一部分

汎化がほとんど生じないことになる．

だけを不感化することを「選択的不感化」と呼ぶ．そ

したがって，学習アルゴリズムを改良してサンプル

して，不感化する素子の組合せを文脈ごとに変えると学習能力を高めようとすれば汎化能力が低下するし，いうのが選択的不感化に基づく文脈修飾法である．以

汎化能力を保とうとすればサンプルがうまく学習でき

下，これを積型文脈修飾と呼び，C ν で積型修飾されない．そして，課題が複雑になり，ネットワークの規た S µ を S µ (C ν ) で表す．なお，「積型」というのは

模が大きくなるほど，このジレンマは顕著になる．

「直和型」に対する略称であって，単に積の項を導入

これまで BP モデルに様々な改良や拡張を加えたモ

すればよいというものではない．各素子の感度が文脈

デルが提案されてきたが，このような限界がはっきりに依存する点が本質的である．また，素子の出力が単と認識されていたかどうかは疑問である．学習アル

純な積の形で表されるのは，平均出力が 0 の場合だけゴリズムだけでなく，リカレント結合を含めてネット

であることに注意されたい．

ワークの構造をどう変えても，問題の本質的な解決に

次に，不感化される素子の決め方であるが，一つのはならないからである．このことは，古典的なニュー素子が複数の文脈で不感化されるべきである．そうでラルネットの枠組みに属さないモデル，具体的には素なければ，文脈の数だけ神経回路を用意し，それを切子の出力が f (

wi xi ) の形で表現できない場合にはり換えて用いるのと同じになってしまうからである．

必ずしも当てはまらないが，今のところこの限界を越

また，文脈を表現する能力を最大にするために，あえられることが明確に示されたものは見当たらない．

る素子が不感化を受ける文脈は素子ごとに独立に選

3. 選択的不感化法を適用したモデル

ばれるべきである．そうすると，文脈は n 次元のゲインベクトル G = (g1 , . . . , gn ) によって分散表現さ以上の議論は，多層パーセプトロンの限界を示すとれることになる．そして，そのような G の最も簡単

ともに，局所表現を用いることなく 1 対多対応によるな決め方は，文脈パターン C と同一視して，例えば平均化の問題を解消できれば，ニューラルネットの情

gi = (1 + ci )/2（ci は C の成分）とすることである．

報統合能力が飛躍的に向上する可能性があることを示

なお，以下ではこのように G と C を同一視するしている．そして，筆者ら [2] は先に，非単調神経回が，入力パターンが文脈パターンとしても使われ，し路網において，比較的簡単な方法で平均化の問題が解ばしば S  C となる場合には注意が必要である．な

消されることを明らかにした．それが選択的不感化にぜなら，このとき si と ci の間に相関が生じるため，

2246

論文／選択的不感化法を適用した層状ニューラルネットの情報統合能力x̄i = 0 が成り立たなくなってしまうからである．このような場合には，G の成分を適当にシャッフルするなど，gi と si が無相関になるよう対策をとる必要がある．
ところで，積型文脈修飾を用いると，なぜ 1 対多対応による結合荷重の平均化が生じないのだろうか．これを議論することは本研究の直接の目的ではないが，(a) Product-type modification model

簡単に説明するならば次のようになる．
まず，入力層のパターンは S が同じでも C によって異なるから，直和型修飾の場合のように同一の S が
複数の T と連合されることはない．これは，S 全体だ
けでなく，m/2 個以上の成分からなるどの部分パターンについてもいえる．また，C は入力層の感度を変えるだけであって，文脈部と出力層との間に直接結合があるわけではない．そして S µ (C ν ) (µ = 1, . . . , p) とC ν との相関は 0 であり，間接的にも C が T と 1 対多に連合しているとはいえないから，平均化は生じないのである．

(b) Mutual modification model

なお，不感化された素子が平均値以外の値（例えば，素子が 0〜1 の値をとるときに 0) を出力したならば，
S µ (C ν ) と C ν の間に相関が残るため，平均化の問題

図 5 選択的不感化法を適用したモデルの構造
Fig. 5 Architecture of the models with the selective
desensitization method.

は解消しない．ここでいう不感化とは入力の変化に対する感度を 0 にすることであって，単に素子を不活化する（出力を 0 にして計算から除外する）のとは意味が異なるゆえんである．

3. 2 モデルの構造と学習容量2 層のニューラルネットに選択的不感化法を適用したモデル（以下，積型モデルと略称）の構造を図 5 (a)に示す．出力パターン Y = (y1 , . . . , yn ) は，
yj = sgn線）である．比較のため，直和型モデルについての結果も点線で示した．
グラフから，直和型モデルの学習容量がほとんど 0
であるのに対し，積型モデルはそれより圧倒的に大きwji xi(2)

な容量をもつことが分かる．また，学習回数が 100 回のとき 1.4n， 1000 回のときは 1.7n と容量が増加しiで与えられる．wji は入力層の i 番目の素子から j 番
目の出力素子への結合荷重，関数 sgn(u) は u > 0 のとき 1，それ以外で −1 をとる符号関数である．
本モデルでは，入力層のパターン間の直交性が低い
ため，学習則として直交学習を用いる．すなわち，パ
ターンを入力するたび∆wji = ε(tµ,ν−j

このモデルに関して，2.2 と同じ数値実験（ただしn = 1000）を行った．m/n に対して Y と T との平均類似度をプロットした結果を図 6 に示す．学習回数
は各パターンにつき 100 回（実線）または 1000 回（破ており，学習回数を更に増やしていけば，2 層ニュー
ラルネットの最大学習容量である 2n に限りなく近づくと思われる．このことは，積型モデルが 1 対多対応
による平均化の問題から完全に逃れていることを示している．

3. 3 相互修飾モデル
直交学習では，入力層のパターン間に相関があって

wjk xk )xi(3)k

もかまわないが，類似したパターンが多いほど，そしてその類似度が高いほど必要な学習回数が増える．積µ,νに従って結合荷重を更新する．ここで，tj

は目標パ

型修飾の場合，S が同じで C だけが異なるとき，類似

ターン T µ,ν の成分，ε は正定数（以下の実験では 0.3)

度の期待値が 0.25 となるが，この程度の値でも m/nである．

が大きければかなりの学習回数を要する．しかもこれ
2247

電子情報通信学会論文誌 2004/12 Vol. J87–D–II No. 12

Fig. 6

図 6 積型修飾モデルの学習容量
Learning capacity of the product-type modification model.

Fig. 7図 7 相互修飾モデルの学習速度
Learning rate of the mutual modification
model.

は異なる C の間に相関がない場合であり，C が類似も隣り合う成分間の相関が強いので，3.1 で述べた理しているような場合には S(C) の類似度が更に高く

由から ci と gi の対応を完全にランダムに組み換える

なって，学習がより難しくなる．

必要がある．

この問題を緩和するために考案したのが，図 5 (b)

実験方法は 2.3 と同じであるが，学習回数は各サンに示す相互修飾モデルである．これは，S を C で積プルにつき 30 回とした．m の値によってはもっと多型修飾すると同時に，C を S によって積型修飾し，数回の学習をしないとサンプル誤差が 0 にはならない

両者を連結したパターン (S(C), C(S)) を入力層に与が，汎化誤差に関しては，これ以上学習回数を増やしえるというものである．こうすると，S または C のても同じかわずかに減少する程度であった．

一方が同じときの入力層のパターン間の類似度が平均

図 8 に，n = 360，m = 100 の場合の結果を示す．
(a) は θ1 を固定して θ2 を変えた場合，(b) は θ2 を固定して θ1 を変えた場合である．比較のため，2.3 における BP モデルの結果も破線で示した．学習サンプル
数 m = 100 というのは (S, C) が取り得る 360 × 360

0.125 まで低下するため，前述の積型モデルよりも学習しやすいと考えられる．また，S と C の対称性がよいため，一方を文脈として扱うのではなく，2 種類の情報を対等に統合するモデルとして見たとき，より適切であろう．
図 7 は，相互修飾モデル（実線）と積型モデル（点線）の学習速度を，m = 1.6n の場合について比較し通りのパターンの約 0.08%にすぎないが，相互修飾モ
デルは常に正解に近いパターンを出力しており，強い汎化が生じていることが分かる．

たものである．縦軸は平均類似度，横軸は学習回数を

表 1 に各モデルの平均類似度をまとめた．この表か表す．この図から，相互修飾モデルの方が積型モデル

ら，相互修飾モデルと従来のモデルとの間には，特によりも学習速度が速いことが分かる．ただし，前者は汎化能力において大きな差があることが分かる．

後者に比べて入力層の素子数及び結合荷重の数が 2 倍

次いで学習サンプル数 m と平均誤差角 E の関係をである一方，冗長性が高いため学習容量はそれほど増

図 9 に示す．(a) は m を横軸，E を縦軸としてプロッえないから，入力層の素子数 (2n) に対する相対容量トしたグラフ，(b) は (a) の横軸を平均サンプル間隔は低い．このように，両者には一長一短があるが，性質に大きな違いはない．

3. 4 汎 化 性 能
2.3 と同様の実験を相互修飾モデルについて行い，√∆θ ≡ 360◦ / m に変えてプロットし直したものである．実線は n = 360 の場合，破線は n = 90 とした場合である（点線は BP モデル）．この図から，BP モ
デルとは異なり，相互修飾モデルの誤差 E は，m の積型モデルでも結果に大差があるわけではない．なお，

増加とともに減少することが分かる．しかも，m が約
50 以上のとき，E の値は平均サンプル間隔 ∆θ にほぼ比例しており，n = 360 の場合で E  0.2∆θ といS 及び C として用いるパターンが共通であり，しかう関係であった．

その汎化能力を調べた．相互修飾モデルを用いたのは，この課題では S と C が同種の情報だからであるが，2248

論文／選択的不感化法を適用した層状ニューラルネットの情報統合能力(a) Vs. number of samples(a)(b) Vs. average sample interval(b)Fig. 8図 8 学習後のモデルの汎化性能
Generalization performance of the model after
learning.

Table 1

表 1 各モデルの平均類似度
Mean similarity for each model.
サンプルパターン 全パターン

直和型モデル

0.56

0.00

BP モデル

0.96

0.00

相互修飾モデル

1.00

0.88

図 9 汎化誤差とサンプルサイズの関係
Fig. 9 Relationship between generalization error andsample size.

4. 考

察

4. 1 選択的不感化法の効果
なぜ選択的不感化法によって汎化能力が向上するのだろうか．実は，これは適切な問いかけではない．ななお，グラフからも読み取れるように，n を 360 から 90 に減らしても，誤差はそれほど増えない（増加分は，量子化誤差の差と思われる）．一方 n を大きくしても，実験した範囲では差はほとんど見られず，必要な学習回数にも差はなかった．したがって，量子化誤差が問題となるほど m を増やさない限り，これ以
上 n を増やすことには意味がない．逆に，多少の誤差を許容するならば，素子数もサンプル数もかなり少な
くてよいといえる．

ぜなら，ニューラルネットに汎化能力をもたらしているのは分散表現であって，選択的不感化ではないからである．
つまり，入出力に分散表現を用いることによって期待される汎化能力が，BP モデルでは情報統合の過程で失われていた，という見方が妥当であろう．これに対して選択的不感化法を用いたモデルでは，分散表現
された 2 種類の入力情報が，局所表現やそれに近い表
現を経由することなく分散表現のまま統合されるため，本来の汎化能力が失われないのである．
この議論から分かるように，積型モデルはすべての課題に対して高い汎化性能を示すわけではない．例え2249

電子情報通信学会論文誌 2004/12 Vol. J87–D–II No. 12ば，不連続点を含む関数の近似や，特定の入力のとき現可能である）がある場合，Hebb 型の学習則によっ

出力が例外的な値をとる場合には，うまく学習できて近似的に直交学習が実現できる [5], [6]．

なかったり，汎化誤差が増大する．このような課題に（ 2 ） 選択的不感化による文脈修飾を行うために必対しては，積型モデルに中間層を導入する，あるいは要な信号線の数は，素子数 n のオーダであって，n2

BP モデルの入力層や中間層で選択的不感化を行うこではない．脳では離れた領域にあるニューロン同士のとが有効かもしれない．

結合がごく限られていることを考えると，このことはこのように，選択的不感化法の一つの大きな効果は，重要な意味をもつ．

従来の層状ニューラルネットが発揮できなかった分散（ 3 ） 選択的不感化の神経メカニズムには，シナプ表現に基づく情報処理の潜在的能力を引き出す点にあス前抑制や神経修飾物質など，いくつもの候補が挙げるが，同様のことが回帰型のニューラルネットについられる．また，脳で選択的不感化が行われているといてもいえる．例えば Elman ネット [3] のように 3 層う仮説に反する生理学的知見は，今のところ全く見当

ニューラルネットに回帰結合を加えたモデルは，理論たらない．

上は任意の有限オートマトンを学習し模擬する能力を（ 4 ） 前頭葉には刺激が同じでも文脈に依存して活もつ．しかし実際には，1 対多対応による平均化の問

動が変化するニューロンがよく見られるが，これらの題から逃れられないため，オートマトンが複雑かつ大多くは選択的不感化によって説明することができる．

規模になると，必要な素子数が増大して有限時間で学

また，文脈依存的記憶課題実行時の下側頭葉ニューロ

習に成功することはまずないし，仮に学習できたとしンに関するデータ [7] は，選択的不感化法に基づくモても汎化が生じない．

デルの挙動と非常によく合致する．

この問題に対しても，選択的不感化法は有効である．

（ 5 ） 2.3 や 3.4 で取り上げた課題は，実は脳におすなわち，非単調神経回路網に適用すれば分散表現のける自己中心座標から他者中心座標への変換問題を念みに基づいて任意の有限オートマトンが模擬できるこ頭に置いたものでもある．例えば眼球がサッケード運とが既に示されている [2] し，Elman ネットに適用し動を行ったとき，視覚的注意の外部空間における位置ても大きな効果があると考えられる．

は，眼球運動の前後で変わらない，すなわち網膜座標

そのほか，選択的不感化法には，パターン間の距離

上では眼球の移動角だけ逆側にシフトすることが知ら的関係を文脈に依存して変化させるという効果がある

れている [8]．眼球運動の方向と大きさは上丘の 2 次（直和型修飾では，距離的関係は変えられない点に注

元神経場における局在興奮によって表現されると考え意）．このことは分散表現に基づく情報処理にとってられているが，仮に視覚的注意の網膜座標における位非常に重要であるが，詳しくは別の機会に論じたい．

置も同様に表現されており，両者の引き算で眼球運動

4. 2 脳との関連性

後の注意の位置が求められているとするならば，このニューラルネットの工学的な価値は，脳がどのよう問題は先の課題とほぼ同じである（この仮定の妥当性な原理に基づいているかと直接的には関係ない．しかは疑問であるが，いずれにせよ座標がニューロン集団

し，もし選択的不感化による文脈修飾が脳でも行われの活動パターンで表現されているならば，計算には本ているとすれば，この手法の有効性やそれを用いたモ

質的に同じ困難さがある）．これ以外にも，本論文でデルの高い将来性を間接的に示すことになるであろう．

扱ったような課題は脳の情報処理の至るところで現れ

そして，筆者らは実際この仮説は正しいと考えている．

る．脳はこれらを解いているわけであり，その手段とただし，本論文は脳の解明を直接の目的とするものでして選択的不感化法を用いている可能性は十分にあるはないので，ここではその根拠となる事柄を簡単に列といえよう．

挙するにとどめたい．なお，下記の項目 (2)〜(4) につ（ 6 ） 脳において，異なる種類の情報の統合に関係いては，別の論文 [4] でより詳しく論じている．

すると見られる領域の一つに，海馬がある．例えば，（ 1 ） 積型及び相互修飾モデルで用いている直交学

ラット海馬のいわゆる場所ニューロンは，場所だけでな

習は，BP 学習に比べるとはるかに単純であり，生物く課題や状況によって反応が変化するし，海馬を破壊し学的妥当性も高い．直交学習を式 (4) に従ってそのまた動物は，複数の情報の組合せを学習する課題や文脈ま実行するのは無理だとしても，例えば素子の入出力ごとに異なる連合を学習する課題がうまくできない [9]．

特性に非単調性（単調な素子の組合せでも等価的に実そして，嗅内野 (EC)→ 歯状回 (DG)→CA3→CA1 と2250

論文／選択的不感化法を適用した層状ニューラルネットの情報統合能力

いう海馬体の層状構造（ただし EC から CA3 へは直接投射もある）は，相互修飾モデル（図 5）との整合性

文[1]が高い．しかも，DG から CA3 へ投射する苔状線維はかなり特殊な性質をもっており，CA3 ニューロンの感“Learning representations by back-propagating errors,” Nature, vol.323, pp.533–536, 1986.
[2]

森田昌彦，松沢浩平，諸上茂光，“非単調神経素子の選択
的不感化を用いた文脈依存的連想モデル，” 信学論 (D-II)，[3]

J.L. Elman, “Finding structure in time,” Cognitive

度を調節するのに好都合である．例えば，ニューロンの興奮性を調節する作用があると考えられる Zn2+ を大量に含有し，シナプス活動に伴い放出する [10]．また，1 個の DG ニューロンは巨大なシナプスを介してvol.J85-D-II, no.10, pp.1602–1612, Oct. 2002.
Science, vol.14, pp.179–211, 1990.
[4]

末光厚夫，諸上茂光，森田昌彦，“下側頭葉における文脈依
存的連想の計算論，” 信学論（D-II），vol.J87-D-II, no.8,[5]

森田昌彦，吉澤修治，中野 馨，“非単調ダイナミクスを用いた構造をもつパターンの連想記憶，” 信学論 (D-II)，

ごく少数の CA3 ニューロンとだけ結合している．これらの事実は，CA3 において選択的不感化による文
脈修飾が行われている可能性を示唆する．

5. む す び

pp.1665–1677, Aug. 2004.

vol.J75-D-II, no.11, pp.1884–1891, Nov. 1992.
[6]

大本智幸，小泉耕二，岡田真人，“非単調ニューロンを用
いて相関学習された連想記憶モデルの S/N 解析，” 日本神

従来の多層パーセプトロンは，2 種類の独立な情報の統合が必要な課題に関して，サンプルの学習容量と献

D.E. Rumlehart, G.E. Hinton, and R.J. Williams,

経回路学会誌，vol.8, no.3, pp.86–93, 2001.
[7]

Y. Naya, K. Sakai, and Y. Miyashita, “Activity of pri-

汎化性能の両方を高くすることはできない，という限mate inferotemporal neurons related to a sought tar-

界があることを示した．また，層状ニューラルネット

get in pair-association task,” Proc. Natl. Acad. Sci.

に選択的不感化による文脈修飾を適用したモデルは，この限界を越えられることを示した．特に汎化性能にUSA, vol.93, pp.2664–2669, 1996.
[8]

関して，二つの分散表現を分散表現のまま統合していvoluntary mechanisms,” Cognitive Brain Research,

るため 2 次元的な汎化が生じ，課題によっては学習に必要なサンプル数を大幅に減らせることが分かった．
本研究の結果は，選択的不感化法の有効性を示すとともに，ニューラルネットによる情報処理の可能性を大きく広げるものである．筆者らは，これによって分散表現の利点を生かし，記号処理に基づく古典的人工知能の限界を打破することも視野に入れている．また，

4.2 で述べたことなどから，選択的不感化による情報

O. Hikosaka, S. Miyauchi, and S. Shimojo, “Orientingof spatial attention—its reflexive, compensatory, andvol.5, pp.1–9, Dec. 1996.

[9]

A.D. Redish, Beyond the Cognitive Map, MIT Press,[10]

S. Ueno, M. Tsukamoto, T. Hirano, K. Kikuchi,

1999.
M.K. Yamada, N. Nishiyama, T. Nagano, N. Matsuki, and Y. Ikegaya, “Mossy fiber Zn2+ spillover
modulates heterosynaptic N-methyl-D-aspartate receptor activity in hippocampal CA3 circuits,” J. Cell
Biol., vol.158, pp.215–220, 2002.

（平成 16 年 1 月 5 日受付，5 月 30 日再受付）

統合が脳の神経回路でも行われていると考えているが，もしそうであるならば，そこには脳のように高度かつ柔軟な知能システムを実現する一つの重要な鍵があるに違いない．
今後，本モデルの学習及び汎化能力について更に解析を進めるとともに，上述したような可能性について，
ニューラルネットの工学的研究と脳の計算論的研究の両面から追求していきたいと考えている．また，本モ
デルの特長を生かした応用や，三つ以上の情報を統合するための具体的方法の検討も今後の課題である．
謝辞 本研究の一部は，文部科学省の科学技術振森田昌彦 （正員）昭 61 東大・工・計数卒．平 3 同大大学
院博士課程了．日本学術振興会特別研究員，
東京大学工学部助手を経て，平 4 筑波大学
電子・情報工学系講師．現在，同大大学院
システム情報工学研究科助教授．生体の情報処理機構及び神経回路網の研究に従事．
平 5 日本神経回路学会研究賞，平 6 同学会論文賞，平 11 日本
心理学会研究奨励賞受賞．

興調整費による「文脈主導型，認識・判断・行動機能実現のための動的記憶システムの研究」の一環として行われた．また，同科学研究費補助金基盤研究(B)(No.15300068) 及び特定領域研究 (No.16016207)の補助を受けた．
2251

電子情報通信学会論文誌 2004/12 Vol. J87–D–II No. 12村田

和彦 （学生員）

平 14 筑波大・工学システム学類卒．平
16 同大大学院システム情報工学研究科博

士前期課程了．現在，PFU（株）勤務．在学中，神経回路モデルの研究に従事．

諸上

茂光 （学生員）

平 12 筑波大・工学システム学類卒．現在，同大大学院博士課程システム情報工学研究科在学中．神経回路モデルの研究に従事．

末光厚夫 （正員）平 10 筑波大・工学システム学類卒．平15 同大大学院博士課程了．現在，同大学院

システム情報工学研究科研究員．神経回路
モデルによる脳の記憶機構の研究に従事．

2252