論文

自己増殖型ニューラルネットワークを用いたパターン情報ベースの推論機
須藤 明人†

張

晨犁†

坪山

学†

佐藤 彰洋†

長谷川 修†† a)

Pattern Based Reasoning Using Self-Organizing Incremental Neural Network
Akihito SUDO† , Chenli ZHANG† , Manabu TSUBOYAMA† , Akihiro SATO† ,and Osamu HASEGAWA††a)

あらまし ロボットの知能に関する研究の突破口となり得るパターン情報ベースの推論について，新たな手法を提案する．シンボルをベースとした既存の推論機を知能ロボットに適用する際には，（ 1 ）シンボル化装置の性能に限界があるという問題，（ 2 ）自律的なシンボルを生成する際に生じる問題，（ 3 ）シンボル化になじまないタイ
プのパターン情報が存在するという問題がある．本論文では，これらの問題の解決のためにパターン情報ベースの推論機が必要となることを指摘し，新しいパターン情報ベースの推論機を提案する．提案手法は，「連言，選言，否定を含む任意の形の論理式を扱うことができる」，「パターン情報を多値ベクトルで表現する」，「汎化性能をもつ」，「推論結果の重複を回避する」，「雑音への耐性をもつ」といった知能ロボットに適用する際に重要な機能を併せ持っている．これらの機能を実現するために，提案手法はオンライン教師なし学習手法である Self-organizing
Incremental Neural Network（SOINN）や連想記憶モデルである SOINN Associative Memory を拡張したア
ルゴリズムを採用している．
キーワード

自己増殖型ニューラルネットワーク，パターン情報，推論，知能ロボット

1. ま え が きある．既存の推論システムが不十分である理由はいく

人工知能分野における論理・推論に関する研究の歴

ンボル化された知識のみを操作する推論しか行えない

つかあるが，筆者らは既存のシステムのほとんどがシ史は長い．人間の知能を計算機上で実現する上で，推ことが重要な理由の一つであると考えている．

論は人間の思考プロセスとして極めて重要な機能であシンボルを操作する推論機として代表的なものにると考えられ，多くの研究がなされてきた．推論に関プロダクションシステムがあるが，これは事前に人間する研究は多様であるが，あえて共通項でくくろうとの専門家が if-then ルールの形でシステムにシンボル

すれば，知識をシンボルで表現しそれを利用して新し

ベースの知識を与えておく必要がある．システムの扱い知識を生成する記号処理の仕組みの研究であるというタスクの範囲が限定されていれば，必要とされる知えるだろう [1]．しかし非定常な実環境下において汎用識を事前にシステムに与えることでタスクを解決でき的なタスクを扱う必要のある知能ロボット等にとって，る．一方，非定常な実環境下で自律的に活動すること

このような既存の推論システムの枠組みでは不十分でを要求される知能ロボット等にとっての十分な知識を†††事前にすべて列挙することは不可能であり，新たな環
東京工業大学総合理工学研究科知能システム科学専攻，横浜市
Department of Computational Intelligence and System Sci-

境に適応するために自律的に知識を追加学習していく

ence, Tokyo Institute of Technology, 4259 Nagatsuta-cho,ことが必要となる．このようなシステムが実世界から

Midori-ku, Yokohama-shi, 226–8503 Japan

センサを通じて獲得する情報はパターン情報であり，東京工業大学像情報工学研究施設，横浜市
Imaging Science and Engineering Laboratory, Tokyo In-

シンボル化はされていない．この情報を利用してシン

stitute of Technology,

ボルを操作する推論機によって推論を行うためにはパ4259 Nagatsuta-cho,

Midori-ku,

Yokohama-shi, 226–8503 Japana) E-mail: hasegawa@isl.titech.ac.jp1634

電子情報通信学会論文誌 D Vol. J91–D

ターン情報をシンボル化する必要があるが，現在のパc （社）電子情報通信学会 2008
No. 6 pp. 1634–1647 

論文／自己増殖型ニューラルネットワークを用いたパターン情報ベースの推論機

ターン識別機の性能はまだまだ不十分であり，例えば

2 値ベクトルとして扱い，2 値ベクトル間の関係を非

猫と犬を識別することすら簡単なことではない．その単調神経回路網に学習させることで構成される大自由ため現在のところパターン情報をシンボル化する装置

度力学系のダイナミックスを利用した推論をパターンと従来のシンボルベースの推論機を組み合わせても性

ベース推論として提案した [3]．月本の手法が連言（か能に限界がある．

つ），選言（または），否定を扱えることは，これらをもし将来的に人間と同等の能力を有する識別機が開発されたとしても，二つの理由からシンボルベースの扱うことができない山根らの手法に比べて大きな優位点である．

推論機だけでは不十分である．第 1 にシステムが自分一方，知能ロボットへの応用を視野に入れたとき，

でシンボルを生成する際に生じる問題がある．非定常

パターン情報を関数とみなし，その入出力関係を学習な環境ではシステムに事前にすべてのシンボルを与えしたフィードフォワード型ニューラルネットワークをることは不可能であり，システムは環境に対応して自命題として扱う月本の手法よりも，2 値ベクトルをそらシンボルを生成することが求められる．このときシのまま命題として扱う山根らの手法の方がよい．月本

ステムによるシンボル化が人間が普段行っているようの手法では異なるパターンごとに新しくフィードフォ

に対象を用いた行動や思考の結果なされるものである

ワード型ニューラルネットワークを用意する必要があとすれば，シンボルを操作する推論機しかもたないシるが，知能ロボットのセンサ情報は時間的にも空間的ステムが適切なシンボル化を行うことは困難となってにも連続的なものであるから新しいニューラルネット

しまう．第 2 にシンボル化になじまないパターン情報

ワークを用意するタイミングを決めることが非常に難が存在するという問題がある．例えば風景や絵などのしい．これを失敗すると，ニューラルネットワークの画像の色彩や構図は我々人間にとってもシンボル化す数が爆発し知識の学習にもそれを用いた推論にもばくることは難しく，恐らくパターン情報のまま処理され大な時間がかかってしまうか，知識として全く異なるているものと考えられる．

パターンを同じ命題として扱ってしまうことにより学

以上のように，非定常な実環境下において汎用的な習した知識が無意味なものになってしまうおそれがあ

タスクを扱う将来の知能ロボットにとって，シンボル

る．一方，山根らの 2 値ベクトルでパターン情報を表を操作する推論機だけでは不十分であり，センサ情報

現するアプローチでは，単一の非単調神経回路網に複であるパターン情報をシンボル化することなく推論を数の知識を学習することになるためこのようなことは行うパターン情報ベースの推論を実現する必要がある．

避けられる．これら両手法の利点をともに満たすよう

ここまで述べてきたような観点以外にも，計算機上で熟練者の模倣を行うエキスパートシステムを実現する際に生ずる知識獲得問題の解決のためという観点 [2]な手法はこれまで提案されてこなかった．

3. 提案手法の特徴

回避という観点 [3] からもパターン情報ベースの推論

3. 1 従来研究を踏まえた提案手法の利点
本論文では [2] 及び [3] の利点をかんがみ，連言，選の実現は現在の人工知能の研究の限界を克服できる可言，否定を扱うことができ，かつ，実数値ベクトルと能性をもっている．

して扱われるパターン情報を命題とする if-then ルール

2. 関 連 研 究を自己増殖型ニューラルネットワークで学習するシス

上述のように大きな可能性を秘めているパターン情ワークはベクトルとして表現されたパターン情報を原報ベースの推論であるが，実現するためのアプローチ

子命題とし，これらの原子命題に連言，選言，否定を付として定まったものはまだ存在しない．

加した命題を含意（ならば）で結ぶことで作られる任や，シンボルグランディング問題及びフレーム問題のテムを提案する．すなわち，提案するニューラルネット

理である中間論理 LC を用いることで，関数ととらえ意の if-then ルールを学習することができる．例えば，
A から F をパターン情報を表現するベクトルとしたとたパターン情報の入出力関係を学習した 3 層のフィー

き，「A→B」や「((A∧B)∨C)→(D∧¬E∧F)」といったドフォワード型ニューラルネットワークを命題として知識が学習の対象となる（注 1）．このような if-then ルー

月本はパターン情報を関数としてとらえ，非古典論

扱う推論が行えることを詳細に示し，これをパターン推論として提案した [2]．また山根らはパターン情報を（注 1）：本論文では連言，選言，否定，含意を ∧，∨，¬，→ を用いて
表す．

1635

電子情報通信学会論文誌 2008/6 Vol. J91–D No. 6
表 1 提案手法と従来手法の比較．括弧内の○△×は知能
ロボットへの応用を見据えたときの利点及び欠点．
Table 1 Comparative table between the propsed
method and the relative works.

ムを採用しているため，追加学習で既存の知識が破壊

論理演算子のパターン情報の
取扱い
取扱い
提案手法
含意，連言，選言， 実数値ベクトルとして扱う
否定を扱える（○）（○）
月本 [2]
含意，連言，選言，
関数ととらえニューラル
否定を扱える（○） ネットワークに学習させる（×）
山根ら [3]
連言，選言，
2 値ベクトルとして扱う
否定を扱えない（×）（△）

者の性能が追加学習をする上で重要なことはもちろんされることはなく，また既存の知識と同じか類似した知識は新たに知識として追加することは行わない．前だが，後者の性能も，知識量や推論時にかかる計算量の爆発を防ぐ上で重要な性能である．

3. 2. 2 汎 化 性 能
知能ロボットが環境から得るセンサ情報は，たとえ同じ対象であっても全く同じであるということは考えづらい．提案手法は学習後に得たデータが学習データと多少異なっていても対応可能である．しかも，どのルを学習したシステムに対しファクトにあたるパター

程度の違いを許容するかを，パラメータの調整によっン情報が入力されると，学習した if-then ルールを利用て変化させることができるという柔軟性をもっていして演繹推論を行い，いくつかの結果を導き出すことる．[3] の手法も汎化性能をもっているが，学習データができる．もし「(A∧B)→(C∨D)」と「C→(E∧¬F)」からどの程度の違いを許容するかを変化させることはを学習したニューラルネットワークに対し「A∧B」をできない．

入力すると「C∨D」「(E∧¬F)∨D」を出力することが

3. 2. 3 推論結果の重複の防止できる．提案手法が扱う範囲はシンボルベースの推論

汎化性能を利用し，獲得した知識と類似したデータ

でいえば命題論理の枠組みで演繹推論を行うことに対を用いて推論を行えるにしても，当然限界は存在する．

応する．パターン情報を実数値ベクトルとして表現し，そのため，シンボルに落とせば単一の if-then ルール

連言，選言，否定を扱うことのできるパターンベース

で表すことができる知識もパターン情報ベースでは複の推論機はこれまでに提案されていない．参考までに，数の if-then ルールとして蓄積することが必要になっ提案手法と従来研究の比較を表 1 にまとめた．

てくるだろう．これは，パターン識別の教師付き学習

3. 2 知能ロボットへの応用を見据えた提案手法の利点

で，汎化性能をもつ識別機であっても，あるラベルをもつパターンを複数用意してそれらを学習する必要がパターン情報ベースの推論機を将来の知能ロボットあることに対応する（教師なし学習では，ある分布に等へ応用する場合，上段で述べた機能に加えて追加学

属するデータを複数用意して学習しなければならない

習，汎化性能，雑音耐性，推論結果の重複を防ぐ仕組

ことに対応する）．しかし，このことによって推論結みの 4 点も必要になる．提案手法はこれら 4 点も実現

果に重複が生じてしまうおそれがある．例えばシステ

している．

ムが環境から {ai → bj |i, j = 1, 2, 3, · · ·} といった複3. 2. 1 追加学習性能

数の if-then ルールを学習したとする．これらが別々システムが学習すべき if-then ルールを人間が事前の知識であるとシステムが認識すると，ファクトとしにすべて用意し与えることはできないため，システムて a1 を入力すれば推論結果として b1 , b2 , · · · が得られは知識を追加的に学習する必要がある．その際，新たる．b1 , b2 , · · · が本当に別の推論結果として解釈されな知識を学習することで既存の知識が破壊されてはなるべきであればそれでよいが，そうでなければ推論結らないし，知識量や推論時間の爆発を防ぐために既存果の重複を避けて一つだけ推論結果を出力することがの知識と同じか極めて似ている知識は排除されなけれできた方がよい．[3] では非単調神経回路網の性質によばならない．[3] では，既存の知識の再学習による知識

りこの問題を回避可能であり，提案手法では学習する

量の爆発を防ぐことはできるが，新たな知識の学習に

if-then ルールをクラスタリングしながら蓄積するこよる既存の知識の破壊が生じてしまう．[3] で提示されとで推論結果の重複を回避している．

ている実験によれば，既学習知識の約 2 倍を追加学習

3. 2. 4 雑 音 耐 性

すると 20%弱の推論が失敗してしまう．提案手法は知実環境下ではシステムへの入力に雑音が混じること識の追加に伴って自律的にノードが増えていく自己増は避けがたく，一定の雑音耐性をもっていることが求

殖型ニューラルネットワークに基礎をおくアルゴリズ

められる．実環境における雑音には 2 種類あると考1636

論文／自己増殖型ニューラルネットワークを用いたパターン情報ベースの推論機

(a)

(b)

図 1 2 種類の雑音
Fig. 1 Two types of noise.

えられる [5]．一つは，もとのデータに混入するケー
スであり，もう一つはもとのデータとは無相関なデー
タが入力されてしまうケースである．それぞれの例が
図 1 (a) 及び (b) に示されている．[3] は図 1 (a) に示

図 2 知識工学の観点でのアーキテクチャ
Fig. 2 The architecture.

されるタイプの雑音に対しての耐性はもっているが，(b) に示されるタイプの雑音が入力された場合は無意
味な出力をしてしまう．提案手法はどちらのタイプの雑音に対しても耐性をもっていることが特徴である．

3. 1 及 び 3. 2 で 述 べ た よ う な 機 能 を 実 現 す る
た め ，提案 手 法 は ク ラ ス タ リ ン グ や ト ポ ロジ ー 学
習 を 目 的 と し た ニュー ラ ル ネット ワ ー ク モ デ ル で
あ る Self-organizing Incremental Neural Network（SOINN）[4] や連想記憶モデルである SOINN As-

sociative Memory（SOINN-AM）[5] のアルゴリズムを拡張して用いている．提案手法の詳細を説明する

4. 1 及び 4. 2 においては，アルゴリズムを厳密に説明するために，ニューラルネットワークモデルからの観点ではなく知識工学の観点でモデルを説明するが，4. 3 で提案手法が [4] や [5] を拡張した自己増殖型のニューラルネットワークとして解釈できることを示す．

4. 提 案 手 法
図 2 に示したように，提案手法のアーキテクチャは

図 3 学習フェーズのフローチャート
Fig. 3 The flowchart of the learning phase.

短期記憶，長期記憶，学習機，推論機からなる．短期
記憶には入力データが一時的に保存される．長期記憶

記憶の if-then ルールは学習中にクラスタリングされには学習した if-then ルールがエッジで結ばれることる．これらの機能により追加学習及び推論結果の重複でクラスタリングされながら蓄積されていく．提案手の回避を同時に行うことができる．入力された if-then

法は，if-then ルールを獲得する学習フェーズと，獲ルールのすべてをただ長期記憶に蓄積していくのでは

得した if-then ルールと入力されたファクトをもとにこれらを実現することはできない．

推論を行う推論フェーズに分けることができる．学習

4. 1 学習フェーズ

フェーズでは実数値ベクトルで表現されるパターン情

ここでは，図 3 のフローチャートで表される学習報を命題とする if-then ルールが入力され，所定のアフェーズのアルゴリズムの詳細を述べる．

ルゴリズムに従ってそのデータをオンラインで学習す学習データとして if-then ルールが入力されると，る．その際，学習データを長期記憶に追加すべきかど

前処理として入力された if-then ルールを「リテラルうかや，既に長期記憶にあるデータで削除すべきものの連言 → リテラルの連言」の形をした複数の if-then

があるかどうかを判断することができる．また，長期ルールに分解する．分解するために，まず入力され1637

電子情報通信学会論文誌 2008/6 Vol. J91–D No. 6

た if-then ルールの条件部と結論部をそれぞれ選言標

ここで，SM , SN , SM̃ , SÑ はそれぞれ M 次，N 次，

準形に変形する．任意の命題論理式は選言標準形にM̃ 次，Ñ 次の対称群，D はパターン情報を表現する

変形できることに注意されたい．次に，選言標準形

ベクトルの次元であり，また，学習データをに変形された if-then ルールの条件部と結論部の選言
肢を一つずつ選びそれらを含意で結んだ if-then ルー
ルをすべての組合せについて作ると「リテラルの連
言 → リテラルの連言」の形の if-then ルールを複数得ることができる．もし選言標準形に変形したとき

M


i=1

→

→ リテラルの連言」の形の if-then ルールが得られる．例えば，条件部と結論部を選言標準形に変形した結果が (A∧¬B)∨C∨(D∧E∧F)→ ¬G∨(H∧I) であ

D∧E∧F→ ¬G, D∧E∧F→H∧I という 6 個の if-then
ルールを得ることになる．このように分解された ifthen ルールは一時的に短期記憶に保存される．
以上の前処理を行った後，以下の手順を分解された

if-then ルールすべてについて実行する．本節ではこれ以後分解された if-then ルールのそれぞれを単に学
習データと呼ぶ．まず，学習データ ki と長期記憶のif-then ルール km との距離 d(ki , km ) を計算する．も

 M̃


j=1


P̃i

∧



¬Qj

 Ñ



¬Q̃j

(2)

j=1

長期記憶の if-then ルールを

M


i=1

れば，条件部と結論部の選言肢を組み合わせることで A∧¬B→ ¬G, A∧¬B→H∧I, C→ ¬G, C→H∧I,

∧

Pi

N


i=1

条件部と結論部の選言肢の数がそれぞれ M 個，N個であったとすると M × N 個の「リテラルの連言



→



Pi

 M̃

i=1

∧

N




¬Qj

j=1


P˜ i

∧

 Ñ



¬Q̃ j

(3)

j=1

とおいた．
このように距離計算を行った後，学習データと最も距離の小さい長期記憶の知識（第 1 勝者）と 2 番目に小さい知識（第 2 勝者）を見つけ（条件部と結論部の肯定命題及び否定命題の数が学習データと異なる

if-then ルールは距離が ∞ であるから，第 1 勝者や第2 勝者になることはない），本節の最後に述べる方法

し，ki と km の条件部と結論部の肯定命題及び否定命で学習データが長期記憶にある知識と同じクラスタに題の数が異なっていれば d(ki , km ) = ∞ とする．例

属するか判定される．もし長期記憶の知識と同じクラ

えば，ki が A∧¬B→C で，km が D∧E→F のときは，

スタには属さないと判定されれば，学習データを新た

ki の条件部の肯定命題が 1 個，否定命題が 1 個なのに長期記憶に追加し，その学習データについての処理に対し，km の条件部の肯定命題が 2 個，否定命題がを終了する．もし既存の知識と同じクラスタに属する

0 個であるので，d(ki , km ) = ∞ とする．一方，ki とkm の条件部と結論部の肯定命題及び否定命題の数が完全に一致するとき（例えば，ki が A∧¬B→C∧¬Dと判定されたなら，学習データの類似知識が既に長期で，km が E∧¬F→G∧¬H のとき）には，d(ki , km )距離の小さい長期記憶の知識（第 1 勝者）と 2 番目に


min

M


σ1 ∈SM

れらを同じクラスタとするためそれらの間に年齢 1 のエッジを生成する．もし既にエッジが存在していれば

Pi − Pσ 1 (i) 

そのエッジの年齢を 1 に戻す．第 2 勝者以外と第 1 勝

i=1者との間にエッジがあればそれらのエッジの年齢を 1

N

+ min

σ2 ∈SN+ min

σ3 ∈SM̃+ min

σ4 ∈SÑ

1638

ように長期記憶を更新する．まず，学習データと最も小さい知識（第 2 勝者）の間にエッジがなければ，そを次式で計算する．

1d(ki , km ) = √D

記憶にあると判断して長期記憶への追加はせず，次のQi − Qσ2 (i) 

増やす．このとき Λedge を超えたエッジはすべて削除

i=1
M̃

i=1
Ñ

i=1

される．学習回数がパラメータ λ の整数倍であるなら
ば，エッジをもたないか 1 本しかもたない知識を削除

P̃i − P˜ σ3 (i) する．

Q̃i − Q̃ σ4 (i) 

本節の最後に，入力された学習データが既存の知識(1)と同じクラスタに属するかを判断する方法を述べる．
学習データが入力されると，第 1 勝者及び第 2 勝者の

論文／自己増殖型ニューラルネットワークを用いたパターン情報ベースの推論機

それぞれのクラスタリング距離しきい値 s を次式で計ており，これらを選言で結んで作られる複数の選言標

算する．

準形を推論結果とみなすことができる．以下にアルゴs=⎧⎨ max d(k, kw )(if N = ∅)⎩ min d(k, kw )(if N = ∅)

k∈N

k∈A

リズムの詳細を述べる．なお，学習フェーズと同様に，(4)

ここで N は第 1(2) 勝者とエッジで結ばれている知識の集合，A は長期記憶に存在するすべての知識の集合，

kw は以前の手順で見つけた第 1(2) 勝者の知識を表す．
すなわち，第 1 勝者のクラスタリング距離しきい値を求める際には，kw を第 1 勝者として計算し，第 2 勝者のクラスタリング距離しきい値を求める際には，kw
を第 2 勝者として計算するということである．もしも
学習データと第 1 勝者の距離が第 1 勝者のクラスタリ
ング距離しきい値よりも小さく，かつ第 2 勝者についても同様のことが成り立てば，学習データは第 1 勝者
及び第 2 勝者と同じクラスタであると判断する．第 1
勝者または第 2 勝者のクラスタリング距離しきい値よりも入力ベクトルまでの距離が離れていれば，入力ベクトルは既存のノードとは同じクラスタではないと判断する．

4. 2 推論フェーズ
ここでは，図 4 のフローチャートで表される推論フェーズのアルゴリズムの詳細を述べる．

入力されたファクトは複数のリテラルの連言の形に前処理として分解される．以下で述べるアルゴリズムは
このような形に分解された後，個別のリテラルの連言の形の命題について行う．
まず，上記のように分解したファクトを根とし，それ以外の節はもたない木を生成する．次に，長期記憶に蓄えられている if-then ルールの条件部とファクトとの距離を計算し，しきい値 δr 以下の距離になった

if-then ルールの結論部のみを先の木に入力されたファ
クトの子ノードとして追加する．ここで，ファクト fと if-then ルールの条件部 c の距離 d(f, c) は次のように計算する．もし，f と c の肯定命題及び否定命題の数が異なっていれば d(f, c) = ∞ とする．例えば，fが A∧B で，c が C∧¬D であれば d(f, c) = ∞ とする．一方，f と c の肯定命題及び否定命題の数が一致するとき（例えば f が A∧¬B で c が C∧¬D のとき）
は d(f, c) を次式で計算する．

1
d(f, c) = √
D



M


min

σ1 ∈SM

i=1

N

推論フェーズではパターン情報に連言，選言，否定+ min

σ2 ∈SNを付与した論理式がファクトとして入力される．ファPi − Pσ 1 (i) Qi − Qσ2 (i) 

(5)

i=1

クトが入力されると，学習フェーズで長期記憶に保存された if-then ルールと入力されたファクトを利用して推論を行い，入力したファクトを根とする OR 木が

ここで，ファクトをM

出力される．この木の各節はリテラルの連言を保持し


∧

Pi

i=1

N



¬Qj

(6)

j=1

if-then ルールの条件部を

M

i=1


Pi

∧

N



¬Qj

(7)

j=1

とおいた．ただし，同一のクラスタから複数の if-then
ルールを追加することを避けるため，しきい値を下回る if-then ルールが同じクラスタに複数ある場合は距
離の最も小さい if-then ルールのみが子ノードに追加される．もし，しきい値以下の距離になるような if-then
ルールが長期記憶に存在しない場合は処理は終了する．
その後，追加された子ノードを入力されたファクトと図 4 推論フェーズのフローチャート
Fig. 4 The flowchart of the reasoning phase.

同様に扱い，次々に子ノードを生成していく．この手
順は，入力されたファクトと長期記憶の断片的な知識
1639電子情報通信学会論文誌 2008/6 Vol. J91–D No. 6

図 5 出力される OR 木の例
Fig. 5 An example of OR-tree.

図 6 提案手法のニューラルネットワークモデル
Fig. 6 The neural network model of the proposed
method.

を組み合わせて多段の推論を行っていることに相当する．例として，長期記憶として A∧B→C∨(D∧¬E)，

C →F∨G∨(H∧I)，D ∧¬E → ¬J を保持しているときに A ∧B がファクトとして入力されたときに出力される木を図 5 に示した．ここで (A, A )，(B, B )，(C, C )，(D, D )，(E, E ) はしきい値に対して十分に距離が小さいパターン情報のペアである．
出力される木の各節にはデータとしてリテラルの連言が保持されているが，これらは単独では推論結果として正しくない．なぜならば，各節はもともと選言で結ばれたものを分解して学習されたものだからであ

図 7 A→B を表現するノード
Fig. 7 A node representing A→B.

る．図 5 でいえば A∧B→C∨(D∧¬E) なのであって，A∧B→C ではない．そこで，出力された木を OR 木

ニューラルネットワークが，どのようにノードによっとして扱い，節を選言で結んだ選言標準形が推論結果て含意（ならば），選言（または），連言（かつ）を表として正しいものであるとみなす．例えば図 5 の木が現しているかを以下に述べる．提案手法のニューラル

出力された場合は，推論結果が C∨(D∧¬E)，C∨¬J，

ネットワークは，新たな if-then ルールを学習するこF∨G∨(H∧I)∨(D∧¬E)，F∨G∨(H∧I)∨¬J であったととで，以下で述べたような形で if-then ルールを表現みなす．このように，推論結果は選言標準形をしていするノード群が自己組織的に増えていく．

るが，これは提案手法が可能性についての推論を行っ

4. 3. 1 含意のみを含む if-then ルールの表現ていると解釈することができる．例えば現在地に関SOINN-AM の一つのノードは連想対に対応する実する情報をファクトとして入力した結果，出力として数値ベクトルのペアを重みとして保持している．新た「スーパーまたはコンビニエンスストアまたは薬局」にに学習すべき連想対が入力されたときは，SOINN-AM

相当する結果を得たとしよう．これは現在地からどのはこのノードを自己組織的に増やしていくことによっような場所に移動できるかという可能性を推論によって，学習すべき連想対を獲得していく．提案手法のて発見したと考えられる．
本手法は知識工学の視点では図 2 のようなアーキ

A→B といった形の if-then ルールの学習は，SOINNAM が学習する連想対を，二つの命題を含意で結んだ
if-then ルールと解釈し直して表現している．もし，パテクチャであるとみなせるが，SOINN-AM [5] を拡張

ターン情報が一次元であり，ノードの保持するベクト

4. 3 ニューラルネットワークモデルとしての解釈

した図 6 のようなニューラルネットワークモデルとルのペアをノードの位置する点の x 座標及び y 座標でしての解釈も可能である．このニューラルネットワー

表現することにすれば，A→B を表すノードは図 7 のクモデルは，SOINN-AM のように学習データの入力ようになる．推論フェーズにおいて A が入力されれに応じて，同じクラスタであることを表現するエッジ

ば，このノードが発火し B を出力する．そのときにはB を A の子ノードとして追加することになる．

でノードが結合されながら自律的にノードが増えていくモデルであるが，ノードによるデータの表現方法が

SOINN-AM と異なる．以下に提案手法の自己増殖型
1640

4. 3. 2 選言を含む if-then ルールの表現
選言を含む if-then ルールのノードによる表現は，

論文／自己増殖型ニューラルネットワークを用いたパターン情報ベースの推論機

SOINN-AM が多対多の連想対を学習できることを利用している．SOINN-AM は複数のノードを利用する

4. 3. 4 否定を含む if-then ルールの表現
上述のように，提案手法のニューラルネットワーク

ことで多対多の連想対を学習しているが，上と同様に，

は一つのノードが多次元ベクトルのペアを保持してい提案手法は連想対を含意で結んだ if-then ルールと解る．これらの多次元ベクトルで表されるパターン情報

釈し直すことで選言を含んだ if-then ルールを表現しが肯定なのか否定なのかを表現するために，各ノードている．例えば連想キー A に対して B と C を連想結に肯定・否定かを表すフラグを二つ設けることで否定果として出力することを表現しているノードによって，を含む if-then ルールを表現することが可能になる．

提案手法は A→B∨C を表現している．図 7 のときと同様の設定で A→B∨C，A∨B→C を表すノード群を
図 8 に示した．

5. 実

験

図 10 のような見取り図で表される建物から取得

4. 3. 3 連言を含む if-then ルールの表現した実画像を用い，環境の因果関係や可能性につい提案手法では，連言を含む if-then ルールを表現すて学習させ，学習した知識を用いて推論を行わせた．

るために，クラスタを表現するために SOINN-AM で学習の方法は，バッチ学習ではなく追加学習で行っ用いられていたエッジに加えて新たなエッジを導入した．学習時のパラメータは Λedge = 100, λ = 50 とている．このエッジは抑制性をもっており，結合されした．用いた画像は図 11 に示したような 56 × 46 ピている二つのノードが同時に発火しない限りそのノー

クセルの 14 種類の画像についてそれぞれアングルをドの発火を抑えるものである．これによって二つの命変えて撮影した画像を各 20 枚ずつ合計 280 枚を用意

題が同時に真になって初めて真になる連言を表現してした．20 枚の画像は，カメラのアングルをおよそ 1いる．例えば，A→B∧C，A∧B→C を表すノード群

度ずつ変化させながら撮影して得た．学習させた ifthen ルールは「A→B，B→D∨E，E→(C∧N)∨F∨M，(C∧N)→(G∧I)∨(H∧J)，(G∧I)→K，(H∧J)→L」である．これらをシンボルで書くならば「閉じたドア →開いたドア，開いたドア → 壁 ∨ 廊下，廊下 →（研究は，図 7 のときと同様の設定では図 9 のようになる．

室 ∧ 表札）∨ エレベータ ∨ 階段，（研究室 ∧ 表札）→
（机 1∧ 閉まった引出し 1）∨（机 2∧ 閉まった引出し2），（机 1∧ 閉まった引出し 1）→ 開いた引出し 1，（机2∧ 閉まった引出し 2）→ 開いた引出し 2」である．学
習データとして実際に入力されたデータは，各命題を(a) A→B∨C を表現する
ノード群(b) A∨B→C を表現する
ノード群

図 8 選言を含む if-then ルールを表現するノード群
Fig. 8 Nodes representing if-then rules including disjunction.

(a) A→B∧C を表現する
ノード群と連言を表す
エッジ

表す 20 枚の画像をそれぞれランダムに 1 枚ピックアッ
プしてできる if-then ルールであり，そのようにランダムに選択してできる if-then ルールの入力をそれぞれの if-then ルールについて 4400 回繰り返した．例(b) A∧B→C を表現する
ノード群と連言を表す
エッジ

図 9 連言を含む if-then ルールを表現するノード群と連言を表すエッジ
Fig. 9 Nodes and edges representing conjunction.

図 10 学習した環境の見取り図．円で囲まれたアルファ
ベットは図 11 と対応している．
Fig. 10 The layout of the building.

1641

電子情報通信学会論文誌 2008/6 Vol. J91–D No. 6

Table 2表 2 クラスタのメンバ数と圧縮率
The number of members in the clusters andcompression rate.

Cluster
No.
1
2
3
4
5
6
7
8
9
10
Total

If-then
rule
A→B
B→D
B→E
E→(C∧N)
E→F
E→M(C∧N)→(G∧I)(C∧N)→(H∧J)(G∧I)→K(H∧J)→L—

Number ofmembers
87
145
50
64
31
146
84
111
140
122
980

Compression
rate (%)
21.75
36.25
12.5
16
7.75
36.5
21
27.75
35
30.5
24.5

記憶に蓄積しないために導入したアルゴリズムがうまく働いていることを意味している．
ここで，上記の学習手順がバッチ学習ではなく追加
学習になっていることに注意されたい．上記の手順で正しく知識を学習できたことは，いったん学習が終了した後に新たな学習データが追加されたとしても以前に学習した知識を忘却することなく新たな知識を学習
Fig. 11

図 11 実験に用いた対象
Objects used in the experiment.

することや，同じか極めて類似したデータの長期記憶への追加によるメモリの浪費を避けることが可能であることを示している．

えば A→B を学習させる際には，A, B に対応する画

また，提案手法をニューラルネットワークとして解像をそれぞれ 20 枚の画像から 1 枚ずつ選び，それを釈したとき，学習によって自己組織的に増殖するノー

if-then ルールとして学習させることを繰り返した．
5. 1 学 習 結 果
学習によって 980 個の if-then ルールが長期記憶に蓄積され，それらは 10 個のクラスタに分類された．クラス
タに属する if-then ルールはそれぞれ「A→B，B→D，
B→E，E→(C∧N)，E→F，E→M，(C∧N)→(G∧I)，

ドの様子を図 12 に示した．図 12 のようにノードを可視化するため，まず各ノードの保持する多次元ベク
トルのペアを平均値を計算した．その後，図 7 のよ
うにノードの位置の横軸と縦軸の座標を，そのノードの保持するベクトルの平均値とした．図 12 でのノード間のエッジは，クラスタを表現するためのエッジで(C∧N)→(H∧J)，(G∧I)→K，(H∧J)→L」に対応するはなく，連言を表すためのエッジである．この図から，知識だけであった．これはシンボルベースで表せば単新たな知識を学習すると自己組織的にノードが増えて一のルールとなるような if-then ルールをうまくクラいく様子が分かる．

スタリングできていることを意味する．

5. 2 推 論 結 果

表 2 に各クラスタが保持する if-then ルールの数

学習後，ファクトとして図 13 (a) の画像を入力して（クラスタのメンバ数）とデータ圧縮率を示した．デー

4000 種類の if-then ルールが与えられたが，そのうち

δr = 0.3 として推論を行わせたところ，if-then ルー
ルとして断片的に学習したデータを組み合わせて図 14の OR 木が推論結果として出力された．これは入力したファクトと学習させた if-then ルールから得られるの 24.5%にあたる，980 個の if-then ルールが長期記

結果として不足も重複もない必要十分なものであると憶に蓄積されたことが表から分かる．つまり，75.5%

いえる．この結果は，閉じたドアから階段，エレベーにあたる 3020 個の if-then ルールは長期記憶には蓄積

タ，引出し等に到達可能であることと，それらの場所されなかったことになる．これは類似した知識を長期に至るまでの経路をシステムが推論によって見出すこ

タ圧縮率は “クラスタのメンバ数 ÷ 与えた学習デー
タの種類の数” で評価した．学習データとして合計で1642

論文／自己増殖型ニューラルネットワークを用いたパターン情報ベースの推論機

(a)

(b)

図 13 ファクトとして入力した画像
Fig. 13 The images for facts.

(a) A→B, H∧J→L の順に追加的に学習(b) A→B, H∧J→L に加え，G∧I→K を追加的に学習

図 14 雑音のない画像をファクトとして与えたときの推論結果
Fig. 14 The reasoning result when the noiseless image was provided as the fact.

出しの画像だけを学習することになり，異なる引出しでも見た目は同じであるため正しく推論を行うことができない．
また，推論結果に重複がないのは if-then ルールを
クラスタリングしながら学習できたためである．もし(c) A→B, H∧J→L，G∧I→K に加え，その他すべてのデータを順に追加的に学習

クラスタリング結果を無視して，しきい値よりも小さ

図 12 自己組織的に増殖するノードの様子
Fig. 12 Nodes growing in learning phase.

ようにして推論を行わせたところ，3,804,840,166 個

い if-then ルールの結論部をすべて節として追加するもの節が生成された．これらの節のうち，根の子ノードである節のもつ画像はすべて図 11 の B に対応すとができたと解釈できる．

る 20 枚の画像に一致し，シンボルベースで解釈する

引出しに関する推論の部分では提案手法が連言を扱ならば一つの節で表現すべき内容であった．この結果

うことができることが有効に働いている．もし連言をは if-then ルールをクラスタリングすることの有効性

扱えないと，机の画像を知識として与えずに閉じた引を示している．
1643

電子情報通信学会論文誌 2008/6 Vol. J91–D No. 6

図 15

雑音が加えられたファクトに対して正しく推論できた割合
Fig. 15 The ratio of correct reasoning when noisy
data given.

5. 3 雑音耐性と汎化性能
図 1 (a) のタイプの雑音への耐性を確かめるため，閉じたドアを異なったアングルで撮影した画像 20 枚にガウス雑音を加えたものを同一の雑音レベルについて 10 枚ずつ用意し，それらの画像をファクトとして与えた．各雑音レベルについて “正しく推論した回数

÷ 推論を試みた回数” をプロットしたところ，図 15のような結果を得た．図 15 の横軸は下式で定義される SN 比であり，数値が大きいほど雑音が少ないこと

図 16 雑音が加えられた画像をファクトとして与えたときの推論結果Fig. 16 The reasoning result when the noisy image
was provided as the fact.

を意味する．

SN 比 = 10 log10

S
σ

2

(8)

ここで S は入力画像の各ピクセルがとり得る値の幅で(a)あり，本実験では S = 2 である．また σ は加えたガウ

図 17 テストデータとして入力した画像
Fig. 17 Images used for test data.

ス雑音が従う正規分布の偏差である．図 15 に示した(b)

結果は，ある SN 比を境界にして，それより雑音の多い画像は未知画像だと判断されて推論が行われず，雑まうため注意が必要である．実際，δr ≥ 0.4 のときは音が少ない画像に対しては原画像のときと同様の正し

この現象が起きてしまうため，雑音の多寡によらず正い推論を行っていることを意味する．本手法は δr の設しい推論を行うことができない．

定で境界になる SN 比を調整できる柔軟性をもつ．パ

次に，図 1 (b) のタイプの雑音への耐性を確かめる

ターン推論機の先行研究である [3] はこのようなこと

ため，図 11 M の画像を入力したところ，システムはを行えない．参考までに，雑音が加えられた図 13 (b)入力画像を保持するノードを根とし，それ以外のノーに示されている画像をファクトとして入力した場合にドをもたない木を出力した．これは，学習していない

出力された OR 木を図 16 に示す．図 14 と図 16 を画像を未知画像として適切に判断できていることを示比較すると，雑音のある画像をファクトとしてもそのしている．[3] の手法では，学習していないデータを入SN 比が一定の値よりも大きければ，雑音のないファ力すると，無意味なデータが出力されてしまう．

クトからの推論と同様の結果を得られることが分かる．

なお，図 1 (a) のタイプの雑音の入力に対して正

なお，図 15 では δr を大きくすればするほど，より雑しい推論が行えることは，本システムが汎化性能を

音の多い画像に対して正しい推論が行えるという結果もっていることにほかならない．実際，[3] においては，になっているが，δr を大きくしすぎると，本来異なる

図 1 (a) のタイプの雑音の入力に対して正しく推論がはずの画像を正しいものと認識して推論を失敗してしできる実験を行うことで，汎化性能の有無を議論して1644

論文／自己増殖型ニューラルネットワークを用いたパターン情報ベースの推論機

図 20 新たに学習させた環境の見取り図．円で囲まれた
ギリシャ文字は図 19 と対応している．
Fig. 20 The layout of the environment newly provided to the system.
図 18 テストデータに対する推論結果
Fig. 18 Reasoning result for test data.

Fig. 19

図 19 新たに学習させた画像．
The images newly provided to the system.
図 21 新たに学習させた環境についての推論結果
Fig. 21 Reasoning result for the new environment.

いる．念のため，δr = 0.3 のもとで，学習データと類似してはいるが異なる画像である図 17 (a) を，テスト

ルを更に追加学習することを試みた．学習に用いた画データとして入力し，推論させてみたところ図 18 に像は図 19 に示したような 56 × 46 ピクセルの 5 種類示すような正しい推論結果を得た．ただし，学習デーの画像であり，それぞれの種類について角度を変えてタと同じ対象を撮影した画像であっても，アングルが20 枚ずつ画像を撮影した．20 枚の画像は，カメラのある程度以上異なると望ましい推論は行えない．例え

アングルをおよそ 1 度ずつ変化させながら撮影して得ば，δr = 0.3 のもとで，図 17 (b) の画像をファクトとた．画像を取得した環境は図 20 のような環境である．

して入力した場合の推論結果は，入力した画像を保持学習させた if-then ルールは「α → β ，β → γ ∧ δ ，γ ∧ δ → 」である．これらのルールをシンボルベー

するノードが生成されたのみであった．

5. 4 追加学習性能の確認

スで書くならば，「駅 → 校門，校門 → 掲示板 ∧ ポス

本手法の追加学習性能を確実に示すため，これまで

ト，掲示板 ∧ ポスト → エントランス」となる．学習の節で提示した実験に伴う学習や推論を行った後のシ

回数やパラメータは図 10 の環境を学習する際に用いステムに対して，別の環境から得られた if-then ルー

たものと同じとした．学習はバッチ学習でなく，追加
1645

電子情報通信学会論文誌 2008/6 Vol. J91–D No. 6

学習で行った．
学習後，新たに学習した環境から得られた画像であない場合は，雑音である知識がエッジをもつことはな
く，学習回数が λ の整数倍のときに実行される，エッる図 19 α をファクトとして推論を行わせたところ，

ジをもたないか 1 本しかもたないデータを削除すると

図 21 に示す推論結果を得た．また，最初に学習した

いうステップにおいて，そのデータが削除されると期環境から得られた画像である図 13 (a) をファクトと待されるからである．学習フェーズにおける図 1 (a)して推論を行わせたところ，図 14 の推論結果を得た．

のタイプの雑音への耐性を実現すること，及び，学習

これらは推論結果として妥当なものである．この結果フェーズにおける図 1 (b) のタイプの雑音にどの程度は，既存の知識を用いた推論を何度か行った後でも，の耐性があるかを確認する実験を行うことは今後の課提案手法が新たな環境を追加学習できることを示して

題である．

いる．

6. 今後の課題

7. む す び
非定常な実環境下で自律的に活動することが要求さ

6. 1 パラメータ及び学習回数の自動決定れるシステムにとって従来のシンボルベースの推論機本手法は，パラメータ Λedge , λ, δr 及び，学習回数が不十分であることを踏まえ，パターン情報ベースのを事前に設定しておく必要がある．Λedge , λ や学習回推論機の提案を行った．提案手法は，パターン情報を数を適切に設定しないと if-then ルールの学習がユー

命題としそれらの命題に連言・選言・否定を付与した

ザの望みどおりに行えず，また，δr の設定を適切に任意の形の if-then ルールを学習することができる．

行わないと推論を失敗してしまう．これらのパラメー

また学習した知識を利用して多段の推論を行うことがタの適切な値は学習する対象によって異なることが分できる．これら推論機としての基本的な機能以外にもかっているが，学習する対象がシステムに与えられた

if-then ルールの追加学習，不要な知識の削除，if-then

とき，その対象に対する適切なパラメータは，現時点

ルールのオンラインでのクラスタリングを実現していでは試行錯誤によって探すことになる．例えば，本論る．if-then ルールのクラスタリングは推論結果の重文で提示した実験においては，Λedge = 100, λ = 50，

複や計算量の爆発を防ぐために重要であるだけでなく，学習回数を 4400 回とすれば与えられた if-then ルール

システムの内部的なシンボル獲得につながる可能性もを正しく学習することができ，δr を 0.1 から 0.3 とすある．

れば正しく推論を行うことができたが，これらの値は

今後は，6. で述べた課題を解決するとともに，提案

試行錯誤によって見出したものであり，これらのパラ手法を知能ロボットに応用することを考えている．提メータがすべての問題に対して適用できるわけではな

案手法により，環境から自律的にパターン情報ベース

い．パラメータを試行錯誤によってではなく，学習対の if-then ルールを学習し，その知識をもとにした推象によって自動的に決定する手法を見つけることは今論によってタスクを解決する知能ロボットが開発でき後の課題として重要であると考えている．

るものと考えている．

6. 2 学習フェーズにおける雑音
本論文の実験では，推論フェーズにおける雑音への謝辞

本研究の実施にあたり NEDO 産業技術研究

助成事業から支援を頂きました．記して感謝致します．

耐性を確認したが，学習フェーズにおける雑音については実験を行っていない．学習フェーズに図 1 (a) のタ
イプの雑音が存在すると，雑音の混じったデータが長

文
[1]
[2]

られる．一方，学習フェーズに図 1 (b) のタイプの雑

[3]

[4]

learning,” Neural Netw., vol.19, no.1, pp.90–106,

記憶に蓄積されるが，もしも雑音が入力される頻度が1646

F. Shen and O. Hasegawa, “An incremental networkfor on-line unsupervised classification and topology

雑音が入力されたとき，いったんはそのデータが長期
正しい学習データが入力される頻度に比べて十分に少753, Feb. 2000.
山根 健，蓮尾高志，末光厚夫，森田昌彦，“軌道アトラク

タを用いたパターンベース推論，” 信学論（D），vol.J90-D,
no.3, pp.933–944, March 2007.

音が存在する場合にはある程度の耐性をもつことが予想される．というのも，学習時に図 1 (b) のタイプの

新田克己，知識と推論，サイエンス社，2002.
月本 洋，“パターン推論—ニューラルネットワークの論
理的推論，” 信学論（D-II），vol.J83-D-II, no.2, pp.744–

期記憶に蓄積されてしまい，推論フェーズにおいて雑音の混じった形で推論結果が出力されてしまうと考え

献

2006.
[5]

A. Sudo, A. Sato, and O. Hasegawa, “Associative論文／自己増殖型ニューラルネットワークを用いたパターン情報ベースの推論機
memory for online incremental learning in noisy environments,” Proc. 2007 International Joint Conference on Neural Networks (IJCNN’07), 2007.
[6]

B. Fritzke, “A growing neural gas network learns
topologies,” Advances in Neural Information Processing Systems (NIPS), pp.625–632, 1995.

（平成 19 年 7 月 3 日受付，12 月 20 日再受付）

長谷川

修 （正員）

1993 東京大学大学院博士課程了．博士（工 学）．同年 電子 技術 総 合研 究所 入所 ．
1999 年 6 月より 1 年間カーネギーメロン

大学ロボティクス研究所滞在研究員．2001
産業技術総合研究所主任研究員．2002 年
5 月東京工業大学大学院理工学研究科付属
像情報工学研究施設助教授．2002 から 3 年間科技団さきがけ

研究 21 研究員．パターン認識，ニューラルネット，認知ロボ
ティクスなどの研究に従事．人工知能学会，日本認知科学会，
日本顔学会，IEEE CS 等各会員．

須藤

明人 （学生員）

2002 早大・理工・物理卒．2004 同大大学院物理学及応用物理学専攻修士課程了．

現在，東工大大学院知能システム科学専攻
博士後期課程に在学中．ニューラルネット
ワーク，ヒューマノイドロボティクス，信
号処理に興味をもつ．

張晨犁

2006 清華大・工・自動車工学卒．現在，東工大大学院知能システム科学専攻修士課程在学中．時系列データの認識に興味を
もつ．

坪山

学

2007 東京農工大・電気電子工学卒．現在，東工大大学院知能システム科学専攻修士課程在学中．ニューラルネットワークとヒューマノイドロボティクスに興味をもつ．

佐藤彰洋 （学生員）

2006 電通大・電気通信・情報工学卒．現在，東工大大学院知能システム科学専攻修士課程在学中．ニューラルネットワークとヒューマノイドロボティクスに興味をもつ．

1647