ヒューマノイドによる発達的一般問題解決と常識の獲得○巻渕有哉 (東工大) 申富饒 (中国南京大) 長谷川修 (東工大)Developmental General Problem Solving and Common Sense Acquiring byHumanoids*Naoya MAKIBUCHI (Tokyo Institute of Technology), Furao SHEN (Nanjing University),
Osamu HASEGAWA (Tokyo Institute of Technology)
Abstract—In this paper, we propose an intelligent architecture that meets all the properties required for
the Autonomous Mental Development. In addition, we argue about a mechanism for robots to acquire andmanage common sense.
Key Words: Autonomous Mental Development, General Problem Solving, Common Sense

1.

Planning

はじめに

認知発達ロボティクス [1] の提唱に代表されるように，ロボットの知能化へ向けた研究が盛んに行われている．具体的には，従来の作り込みによるアプローチからの脱却を目指し，ニューラルネットワークなどの学習原理やインテリジェンス・モデルを組み込むことによる知能発達の実現が検討されてきた（e.g., [2–5]）．
しかし，これらの手法はロボットの動作パターンの認識，中間動作の生成，もしくはタスクの切り替えなどを実現しているものの，知能の創発や発達が実現できているとは言い難い．一方で，オペレータと呼ばれる基本動作を組み合わせる（プランニング）ことで，より複雑なタスクに対してロボットが自ら行動系列を導き出すシステムが提案されている [6]．しかし，そのシステムで扱う物体やオペレータは予め定義しなければならず，タスク依存という問題を抱えている．

1·1 Autonomous Mental Development
前述に関連して，Weng らによって AutonomousMental Development（AMD）が提唱されており，その実現には表 1 に示す性質 1〜5 が不可欠であるとしている [7]．AMD では，新しいタスクに関する知識をオンラインかつ追加的に獲得できる能力に加え，汎用のタスクに対して自ら知識を生成できる能力が重要視されている．提案手法と従来手法との比較を表 1 にまとめた．2 列目の性質 3 に関しては，先にも述べたように，中間動作の生成やタスクの切り替えがロボットが自律的にタスクの解決手段を生成しているとは言い難く，×とした．同列の性質 4，5 に関しては，原理的には可能としている手法もあるが，基本的にバッチ学習を想定したものが多く，追加学習の性能がネットワークの内部構造に大きく依存するため，いずれも△とした．また，3 列目に関しては，システムにオペレータの学習能力がなく，その組み合わせが設計者にとって既知であるため，性質 1，2 については×としたが，性質3 についてはプランニング能力を考慮して○とした．
1·2 常識の獲得
Weng らの示す 5 つの性質に加え，知能ロボットに必要な要件として，我々は性質 6（表 1）を導入する．

Planning
Operator (Knowledge)

Symbol Memory
Layer

WorldModel
preConddelListaddList
pred(A),… Attention pred(B),… pred(C),… pred(D),… Act1ModelACB
ImageSOINN

Pattern Memory

DLayerE
Sound SOINN… ActAct2 3Action Act1
Input Layer…

Symbol Grounding
Phase

…

Knowledge Acquisition
Phase

…

Problem Solving
Phase

Fig.1: 提案手法のアーキテクチャ

性質 3 において新しい知識を生成する（プランニング）
際，獲得された知識が多いほど計算時間が膨大になることが想定される．これに対する解決策としては，獲得した知識を整理・統合する方法と，過去に経験した同様のタスクに対して，その都度プランニングせず，以前の計算結果を再利用する方法が挙げられる．本研究ではその後者に着目し，過去の計算結果を常識として獲得し，運用するメカニズムについて議論する．ここで扱う常識とは，「一般的に用いる知識」から一歩踏み込み，「人が生活していく上で身につけた，もはや意識に上がってこないような認識や知識」である [8]．提案
手法への具体的な実装は現在構想段階であるため，表1 において（○）とした．

1·3 本研究の目的
本研究では，表 1 に示すように，AMD に必要な性質を全て満たす知能アーキテクチャの提案と，新たに導入した性質 6 の実現に向けたアーキテクチャの拡張方法について議論する．

2.

提案手法

2·1 発達的一般問題解決
提案手法のアーキテクチャを図 1 に示す．提案手法
は，聴覚や視覚といった各種センサ情報を用いた物体

Table 1: AMD の要件における提案手法と他手法との比較（○：満たしている，△：部分的に満たしてる，×：満たしていない，-：機能が実装されていない．
）
1. タスクに特有なシステムではない
2. タスクがシステムの設計者にとって未知である
3. 未知のタスクに対するアプローチを生成できる
4. オンライン学習が可能である
5. オープンエンド学習が可能である
6. 常識を獲得・運用できる[2–5] など
○○×
△△
-

[6]××
○
-

提案手法
○○○○
○
（○）

2·1.2 知識獲得フェーズ
知識獲得フェーズでは，ロボット自身の行動によって生じた実環境の変化から，その因果関係をオペレータとしてオンラインかつ追加的に獲得する．まず，実環境の観測に際し，ロボットの周囲環境から得られるパターンをそれぞれ 1-Nearest Neighbor Method によりシンボルに接地し（リジェクト判定の場合，−1 に接地する），物体 x が位置 y に存在することを表す At(x, y)と，物体 x の音が発生していることを表す Ring(x) と提案手法は，入力層（Input Layer），パターン記憶層いう 2 つの述語を用いて，各物体の状態を記述する．こ（Pattern Memory Layer），シンボル記憶層（Symbol
れら述語の集合を「環境モデル（World Model：WM）」
Memory Layer）の 3 層構造を成す．このうち入力層は，記号接地フェーズ（Symbol Grounding Phase）， と表現する．次に，実環境の変化をオペレータで表現
知識獲得フェーズ（Knowledge Acquisition Phase）， する手段として，オペレータ実行前後の環境モデルの差分を考えることでオペレータの構成要素を決定する
問題解決フェーズ（Problem Solving Phase）という 3「注意のモデル（Attention Model）」を導入する．具体つのフェーズから構成される．これら 3 つのフェーズ
的には，前提条件（preCond），削除リスト（delList），では，視覚や聴覚から得られる画像や音声のパターン追加リスト（addList）を式 (1)，(2) に従って計算する．
情報が入力される．これに加えて，記号接地フェーズ
なお，argx (pred) を述語 pred の引数 x とする．
における各パターンに付加する概念情報や，知識獲得フェーズにおけるロボットの関節角度の時系列データ
f (W M ) ≡ {pred ∈ W M | argx (pred) ≥ 0}
(1)
（Act1，Act2，Act3，...）も入力となる．パターン記憶層は入力層から送られるパターンを保持し，パターンpreCond = f (preW M )をシンボルにマップするインタフェースとして機能する．シンボル記憶層はパターン記憶層から送られるシ(2)delList = f (preW M − postW M )
ンボル（A，B，C，...）を引数にとる述語（pred）を
addList = f (postW M − preW M )要素に含む，実環境のモデル（World Model）やオペレータ（Operator）を保持し，これらはプランニング
2·1.3 問題解決フェーズ（Planning）に利用される．
問題解決フェーズでは，知識獲得フェーズで獲得しの概念形成に始まり，環境や人間との相互作用によるオペレータの獲得，獲得したオペレータを用いた問題解決に至るまで，システム全体を通して，物体の概念やオペレータをオンラインかつ追加的に獲得することにより，問題解決能力の発達を実現している．さらに，視覚や聴覚だけでなく，実装対象の機能に合わせたマルチモーダルな情報処理や，パターン認識に用いる学習器の高いノイズ耐性により，頑健な動作が可能である．

2·1.1

記号接地フェーズ

記号接地フェーズでは，実環境から得られるパターン入力を用い，後のフェーズで使用する物体の画像や音声の概念を形成する．これは各パターンの学習に自己増殖型ニューラルネットワーク（Self-Organizing Incremental Neural Network：SOINN [9]) を用いることで実現する．SOINN は，Shen と Hasegawa が提案したオンライン教師なし学習手法であり，追加学習が可能である，事前にネットワーク構造を決定する必要がない，高いノイズ耐性を持つ，といった特長を有する．
本研究では，画像と音声の学習のために 2 つの SOINN空間（Image SOINN，Sound SOINN）をパターン記憶層に用意した．ロボットによる概念（シンボル）の獲得をシンプルに実装するために，各パターンの学習には実験者によって教師ラベル (label ≥ 0, label ∈ Z)が与えられ，パターンをシンボルに接地する際にこのラベルを用いることにする．

たオペレータを運用して，実環境において汎用的な問題解決を行う．まず，実環境中で提示されたタスクの目標状態と初期状態をプランナに入力し，そのタスクが解決可能であるかどうかを判定する．本研究では既存のプランナとして，一般問題解決器 [10] の手段目標分析を複数のプランが生成可能なように拡張したものを使用した．ここで解決可能であると判定された場合，事前に指定された評価基準に従ってプランを選択し，そのプランを実環境において実行する実践ステップに移る．本研究では，オペレータ数，実行時間という 2 つの評価基準を用意した．実践ステップにおいては，オペレータの実行とそれによる実環境の変化の予測，および観測を，目標状態に到達するまで繰り返す．

2·2 常識の獲得
Minsky は，常識的知識・推論について，知識を的確に表現する新しい方法が重要であり，必要に応じて現在の目標に関連している知識だけを（少ない計算時間で）取り出すメカニズムが必要であるとしている [8]．

Planning

PlannerWorld Model

Symbol Memory
Layer

Operator

Reuse
Common Sense
LayerCFo om
rm mat on
io eSn nse

Common Sense
Pattern MemoryLayer
SOINN
Input

SOINN

ActionProblem Solving Phase

Input Layer

Fig.3: オペレータ 1 を獲得する様子

Output2

Fig.2: アーキテクチャの拡張例
Fig.4: オペレータ 3 を獲得する様子

筆者らは，提案アーキテクチャを図 2 に示すようにTable 2: ロボットが獲得したオペレータ一覧
拡張することにより，常識の獲得・運用を実現する．具
体的には，プランナの下位層として，常識を保持・運
オペレータ
前提条件 削除リスト 追加リスト用する常識層（Common Sense Layer）を新しく挿入(実行時間 [s])する．これにより，未経験のタスクが入力された場合，
op1 (18.68)
At(0, A)
Ring(4)2·1 で述べたように，その情報はアーキテクチャの最上op2 (20.16)
At(1, A)
Ring(5)op3 (23.93)
At(2, C)
At(2, C)
At(2, B)位に配置されているプランナにまで送られ，プランニ
Ring(4)Ring(4)
ングが行われる．その際，プランニング結果は出力さ
op4 (20.46)
At(3, C)
At(3, C)
At(3, B)
れるだけでなく，常識層に適切な表現で蓄積される．そRing(5)Ring(5)の後，同様のタスクが入力された場合，その情報はプ
op5 (16.34)
At(2, C)
ランナを介すことなく常識層だけで，もしくはプラン
op6 (16.31)
At(3, C)
ナと並行して処理され，以前より少ない計算時間で対op7 (74.88)
At(2, C)
At(2, C)
At(2, B)処できるようになる．
op8 (71.73)
At(3, C)
At(3, C)
At(3, B)
この構想は，Subsumption Architecture (SA) [11]op9 (20.06)
At(0, A)の考え方に影響を受けている．SA は，下位に低次のop10 (29.03)
At(1, A)
モジュール，上位に高次のモジュールを組み込み並列実行することで，システム全体として頑健な動作を実という教師ラベルを与えた．
現している．ロボットの入力−反射行動が事前に設計
次に，ロボットは「オペレータ 1（図 3）：ベルを押者に組み込まれる古典的 SA に対し，拡張アーキテクすと音が鳴る」「オペレータ3（図4）：ベルの音が鳴っ
チャではそれがロボットの経験を通して追加的に形成ているときに ちょうだい をするとりんごが目の前され，ここに知能発達が実現されている．また，プラ（位置B）に移動する」といった 4 つのオペレータ（オンナにおける推論を意識，常識層における推論を無意
ペレータ1〜4）を獲得した．獲得したオペレータの詳識と捉えれば，初めは意識的に実行していたタスクが細については表2 を参照されたい．
次第に無意識的に対処できるようになるということで最後に，「タスク1（図 7）：ベルを使って目の前（位置あり，これは我々人間が日常的に経験している 慣れB）にりんごを移動させる」といった，直接的に経験しを実現しているといえる．
たことのない 3 つのタスク（タスク 1〜3）をロボット以上より，常識を獲得・運用できるとする性質 6 のに提示した．その結果，ロボットはこれらのタスクに実現に対し，提案アーキテクチャの拡張は有効な手段対して適切に行動できることが確認できた（図 5）．
であると考え，筆者らはその具体的な実装に向けて議論を重ねていく予定である．
3·2 実験 2：知識のオンラインかつ追加的な獲得によ

3.

実験

本研究では，椅子に固定されたヒューマノイドロボッ
トと，その前に置かれたテーブルの上を実験環境とした．テーブルの上に図 3 に示すように 3 つの位置（左から順に位置 A，B，C とする）を定義し，各位置には一度に 1 つの物体しか置けないものとする．

3·1

実験 1：基本動作の確認

まず，ロボットはベル，ドラム，りんご，みかんという 4 つの物体から，4 つの視覚概念と 2 つの聴覚概念を形成した．具体的には，各特徴の学習時に，ベル（画像）：0，ドラム（画像）：1，りんご（画像）：2，みかん（画像）：3，ベル（音声）：4，ドラム（音声）：5る問題解決能力の向上
本実験では，実験 1 を経たロボットに対し，「オペレー
タ 5：右手を挙げるとりんごが手元（位置 C）に置かれる」「オペレータ 7： だだをこねる とりんごが目の前（位置 B）に移動する」「オペレータ 9：左手を挙げるとベルが手元（位置 A）に置かれる」といった 6 つのオペレータ（オペレータ 5〜10）を追加的に獲得させた．
その後，「タスク 4（図 8）：テーブルの上に何も置かれていない状態から目の前（位置 B）にりんごを置く」
といった，5 つのタスク（タスク 4〜7，3’）を提示した．このうち，タスク 4，5 は，実験 1 のタスク 1，2 と比較してオペレータの組み合わせ数が多く，さらに複数のプランが存在するものである．また，タスク 3’ はFig.5: タスク 1 において，ロボットが最終的に目標状態に到達できた様子

Fig.6: タスク 4 のプラン 2 において，ロボットが最終的に目標状態に到達できた様子

4.

Fig.7: タスク 1 の初期状態（左）と目標状態（右）むすび

本研究では，AMD に必要な性質を全て満たす知能アーキテクチャを提案した．また常識の獲得・運用能力を性質 6 として導入し，その実現に向けたアーキテクチャの拡張の具体案を示した．常識の獲得・運用メカニズムの実装と評価が今後の課題である．

謝辞
本研究は NEDO 産業技術研究助成事業から支援を頂きました．記して感謝致します．
参考文献
Fig.8: タスク 4 の初期状態（左）と目標状態（右）Table 3: タスク 4 に対するプランニング結果
ターム

1
2
3

45

WM，または適用するオペレータ
paln 1plan 2plan 3op5
op5
op9
At(2, C) At(2, C)
At(0, A)
op7
op9op1At(2, B) At(0, A)
At(0, A)
At(2, C)
Ring(4)
op1
op5
At(0, A)
At(0, A)
At(2, C)
At(2, C)
Ring(4)Ring(4)
op3
op3
At(0, A)
At(0, A)
At(2, B)
At(2, B)

実験 1 においてロボットが解決不可能と判定したタス
ク 3 と同じ内容である．その結果，ロボットは知識をオンラインかつ追加的に獲得したことにより自らの問題解決能力を向上させ，以前より複雑なタスクや，以前に実行できなかったタスクを実行できるようになることが確認できた（表 3，図 6）．

[1] M. Asada et al.: “Cognitive Developmental Robotics: A
Survey,” IEEE Trans. Autonomous Mental Development,
vol. 1, no. 1, pp. 12–34, 2009.
[2] 青山一美ら: “HMM-SOM に基づく認知行動の獲得とその学習”, 人工知能学会論文誌, vol. 22, no. 4, pp. 375–388, 2007.
[3] T. Inamura et al.: “Interpolation and Extrapolation ofMotion Patterns in the Proto-symbol Space,” in Proc. ofInternational Conference on Neural Information Processing, Part II, pp. 193–202, 2007.
[4] M. Ito, et al.: “Dynamic and interactive generation of object handling behaviors by a small humanoid robot using
a dynamic neural network model,” Neural Networks, vol.
19, pp. 323–337, 2006.
[5] K. Sabe et al.: “A Proposal of Intelligence Model, MINDY
for Open-ended Learning System,” in Proc. of IEEE International Workshop on Intelligence Dynamics at Humanoids, pp.18–23, 2005.
[6] K. Okada et al.: “Integrating Recognition and Action
Through Task-Relevant Knowledge for Daily Assistive Humanoids,” Advanced Robotics, vol. 23, no. 4, pp. 459–480,2009.
[7] J. Weng et al.: “Autonomous mental development byrobots and animals,” Science, vol. 291, no. 5504, pp. 599–600, 2001.
[8] M. Minsky: “ミンスキー博士の脳の探検−常識・感情・自己とは−”, pp. 187–251 , 共立出版, 東京, 2009.
[9] F. Shen et al.: “An Incremental Network for On-line Unsupervised Classiﬁcation and Topology Learning,” NeuralNetworks, vol. 19, pp. 90–106, 2006.
[10] G. W. Ernst et al.: “GPS: A Case Study in Generality
and Problem Solving,” Academic Press, New York, 1969.
[11] R. A. Brooks: “A Robust Layered Control System for a
Mobile Robot,” IEEE J. Robotics and Automation, vol. 2,no. 1, pp. 14–23, 1986.