HAI シンポジウム 2013
Human-Agent Interaction Symposium 2013

P18

発話意図に応じたモジュールの切替とモジュール自体の処理の同時学習
Concurrent Learning of Intention-Sensitive Module Combinations
and Processing in Each Module神山 薫 1∗ 深田 智 1 尾関 基行 1 岡 夏樹 1
Kaoru Kohyama1 Chie Fukada1 Motoyuki Ozeki1 Natsuki Oka1
京都工芸繊維大学
Kyoto Institute of Technology
11

Abstract: A robot receives questions such as “What color is this?” or “What shape is this?” Therobot then replies, “It is red” or “It is a square” etc. and receives rewards from the interlocutor.
Through this kind of interaction, the robot learns that it should reply when it receives a question,and that it should reply using Color Module when asked color, and Shape Module when asked
shape. At the same time, the robot learns the correspondence between colors and their names,and shapes and their names.

1

はじめに2

問題解決を行う知的エージェントにおいて，未知の環境や変動する環境に対処するには，ロボットに環境に対応した行動を学習させる必要があり，様々な研究が行われている．その実装モデルのひとつであるモジュール型学習モデル [1] においては，入力や状態に対して適切なモジュールをワーキングメモリに結合することが求められる．このモデルでは，知的エージェントの重要な機能をモジュール化し，使用するモジュールを切り替えることによりモジュールの組合せを実現し，環境に対応させることを目指す．
ここで問題となるのは，モジュールの数に対してそれらの組合せ方が爆発的に増えることである．よって，予め人の手ですべての組み合わせを設定することは不可能と考えられる．
そこで解決方法として考えられるのが，強化学習による最適なモジュール切替の学習である．これにより，膨大な組合せについて予め考慮しなくても，最適な組合せを知的エージェント自身が発見できるようになると考えられる．

提案方法

今回提案するモデルは、色と形が自動認識可能な単純な物体の画像と、それについての質問（「何色ですか」または「何という形ですか」）を入力として受け取る。この入力に対して、色モジュール、形モジュールのどちらを使って答えるべきかを学習するとともに、色モジュール、形モジュールのそれぞれにおいて、「色」とその名前の対応、「形」とその名前の対応を学習する(図 1)．
システムの流れとしては，まず，質問と画像を入力

図 1: システム概要∗ 連絡先： 京都工芸繊維大学として受け取り，その中の「色」もしくは「形」とい京都市左京区松ヶ崎橋上町
E-mail: kohyama@ii.is.kit.ac.jp120

う単語に対応して学習に使うモジュールを切り替える．
次に色モジュール，もしくは形モジュールを使って質問に対する応答を行う．そして，応答に対して「正解」「不正解」の評価を与える．この評価を切替モジュールと，色モジュールもしくは形モジュールの報酬として，各モジュールが同時に学習を行う．
また、本研究においては，強化学習を行う３つのモジュール (切替モジュール，色モジュール，形モジュール) 以外のモジュールについては組み込みまたは学習済
みで，理想的な応答を返すものとして考える (図 2)．

結果を得られることも示されている．
坂本らは単純な仮想空間上の迷路探索という比較的単純なタスクを用いて評価実験を行ったが，本研究の目的は，言語獲得というより複雑なタスクにおいてもモジュール組換えモデルが有効であることを示すことである．ただし，研究の第一段階として，タスクを単純化し，単純なモジュール組換えモデルを用いて有効性を確認することから始める．
また，Sylvester ら [2] は，モジュールの組み合わせ方をタスクに応じて変えることで，いくつかのタスクに応じた処理を実現するモジュール型システムを提案した．ただし，Sylvester らの研究では，モジュール結合の仕方はあらかじめ与えられていたのに対して，本研究では，モジュールの切換え方が直接教えられることは一切なく，報酬だけに基づいて獲得されることを目指す．

4

図 2: モジュール構成

2.1

特徴

本研究の特徴は次のとおりである。1) 「色」とその名前の対応，「形」とその名前の対応を学習すると同時に，質問に応じて色モジュール，形モジュールのうち，どちらのモジュールを使用するかを学習する．2) 「色」「形」という上位カテゴリの名前も学習する．3) 「色」「形」というカテゴリ名と，内部モジュールの制御 (内部モジュール名) を対応付けて学習する．

まとめと今後の展望

本研究では，色とその名称の対応，形とその名称の対応を学習すると同時に，それぞれの学習を，モジュールとして分けて行うことを学習し，さらに同時に，各モジュールが「色」「形」という名称で呼ばれることを学習することを目指している．
また，モジュール型学習モデルにおける “入力・状態に応じた使用モジュールの選択” をエージェント自身が行い，最適化することで，学習の高効率化を促すことができると考えられる．モジュール結合組合せはモジュール数の増加に応じて爆発的に増えるが，これにより膨大な組合せから最適な組合せを予めリストアップする必要がなくなると考えられ，よって，モジュール型学習モデルの実装が比較的楽になり，その応用範囲も広くなると考えられる．
現在，提案システムを実装中であり，実装後，学習機能の評価を行う計画である．

参考文献

3

関連研究

ここでは 2 つの関連研究をとりあげる．
坂本らの研究 [1] により，モジュールの機能の学習とモジュールの組換え系列の学習を同時に行うことで，モジュールの組換え系列の学習だけを行った場合より，エージェントがより安定した行動を学習できることが示された．また，モジュールの機能の学習，および，モジュールの組換え系列の学習を逐次的に行う方法と比較した場合，同時に学習を行う方法の方が良好な学習

121[1] 坂本裕太，坂戸達陽，尾関基行，岡夏樹: モジュール組換え型モデルにおけるモジュールの学習とモジュール組換え系列の学習, 2012 年度人工知能学会全国大会 (第 26 回) 論文集, 3B2-R-2-6 (2012)[2] Sylvester J.C., Reggia J.A., Weems S.A.,
Bunting M.F.: Controlling working memory withlearned instructions, Neural Networks, Vol. 41,
May 2013, pp. 23–38 (2013)