The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3D3-07制約の理論を用いた Infant Agent による概念獲得
Concept acquisition for an infant-agent using learning bias
小玉 智志*1, 田口 亮*1, 木村 優志*1, 桂田 浩一*1, 山田 博文*2, 新田 恒雄*1

Satoshi Kodama#1 Ryo Taguchi#1 Masashi Kimura#1 Kouichi Katsurada#1 Hirobumi Yamada#2 Tsuneo Nitta#1*1

豊橋技術科学大学 大学院工学研究科*2#1 Graduate School of Technology, Toyohashi University of Technology

岐阜工業高等専門学校#2 Gifu National College of Technology

This paper describes efficient concept acquisition for an infant agent (IA) based on learning bias, or constraint. Previous
concept acquisition systems calculate probabilities to identify the correct attributes that each object has, however, suchapproaches need much samples to achieve high accuracy. In this paper, firstly, we explain about three types of learning biases
to accelerate a learning process, and then formulate these biases to embed them into our concept acquisition system. The
experimental results show that the proposed method can achieve efficient learning.

1. はじめにIT 技術の発展・普及により，携帯端末，ナビゲーションシステ
ム，そしてロボットと，自然対話への社会的要請が芽生えつつある．人間とエージェントとの対話を考えると，音声認識などの入力モダリティ受理精度や出力メディアによる伝達表現といったユーザインタフェースとしての側面以上に，背景知識とその使い方に大きな課題が残されている．我々は，将来，エージェントの世界と人間の世界を区別しないコミュニティを形成することを目指している．この実現には (1) 現実世界の実体に関する知識の獲得 (現実世界との接地)，(2) 対話による知識の獲得 (相手およびその属するコミュニティとの接地) が必要である．一方，現在の人間-機械システムでは，対話に利用する背景知識を開発者が予め想定し，辞書や対話シナリオという形でエージェントに与える必要がある．このため開発者は大きな負担を強いられている．
近年，上記の課題に対して，エージェント自身が人間との対話を通して，音声と画像の対応関係，すなわち概念を獲得し発達していく機構の研究が始まった．先行研究では，概念学習の際に音声の一発話に対して複数の属性候補が与えられる，１対他学習を対象とする[中川][赤穂 97] [金 00] [小玉 04]．この場
合，ウサギの画像に対して「うさぎ」だけでなく，「白い」や「大きい」といった他属性の教示も許可し，画像オブジェクト特徴と音声との対応関係を学習させることができる．しかし，どの属性に対する教示かは不明のため，エージェントは対象とする属性を自ら判断しなければならない．先行研究は，対象属性ごとに確率を計算して決定する手法を採るが，これらは概念獲得までに多くの事例を必要とした．現実世界では，発話対象となりうる属性とその組み合わせが無限に存在するため，全ての確率を計算するのは現実的でない．
この問題は，発達心理学の分野でも議論がなされ，解の一つとして「学習バイアス(制約)」が提案されている[今井 97]．ここでの「制約」とは，語の意味として考えられる仮説に掛けられる生得的なバイアスのことで，それによって検証すべき仮説を予め少なくしておくことができるという理論である．[小林 99]では記号ベースの語彙獲得実験からその有効性を示した．本稿では，効率的に概念を獲得することを目指し，こうした制約の理論をInfant Agent (IA) に実装する手法を提案し，評価実験からその連絡先：新田 恒雄， 豊橋技科大，〒441-8580 豊橋市天伯町
雲雀ケ丘 1-1， (0532)44-6890， nitta@tutkie.tut.ac.jp

有効性を示す．

2. Infant Agent による概念獲得
2.1 Infant Agent
IA は人間の幼児が持つと推定される概念獲得機構をモデルに，知識を持たない状態から人間との対話を通して概念を学習するエージェントである．学習の際には教示者となる人間がオブジェクトを提示し，対応する概念を音声で教示する．IA はオブジェクト画像の持つ様々な属性の特徴を視覚情報とし，音声の特徴を聴覚情報として受け取り，両者の対応関係を概念として獲得する[新田 02]．

2.2 視聴覚情報(1) 視覚情報
視覚情報には，形状，色相，明度の３つの属性を用いる．具
体的には，オブジェクト画像を 2 値化し，細線化処理を施した画像から 25 次元の高次局所自己相関特徴[栗田 97]を求め，形状特徴として使用した．また，オブジェクト画像の RGB 情報を HSV 変換し，その H 成分を色特徴，V 成分を明度特徴として使用した．
(2) 聴覚情報
本稿では，認識誤りなどによる実験の煩雑化を避けるため，キーボード入力によるラベルを聴覚情報として使用する．

2.3 概念の獲得
IA はラベルと対で提示されるオブジェクト特徴の頻度から，属性ごとの確率分布を作成し，図１に示す概念辞書に格納する．
混合確率分布の学習には，Online-EM 法[石井 98]を用いた．
一方，教示が始まる以前にも，IA は人間の幼児と同様，様々な情報を知覚する。こうした情報を利用し、概念学習の段階に必要となる画像オブジェクトの属性同定に役立てることを検討する。
具体的には，教示以前に様々なオブジェクトを提示し、それらが持つ属性ごとに特徴分布を混合分布の形で学習する（以降，これを基準分布と呼ぶ）．基準分布は，各属性共に多くのオブジェクト特徴を加算するため，学習が進むにつれて一様分布に近づく．
次のラベル教示の段階では，属性を同定するために，対象となる属性（例えば“まる”という概念は，形状属性を対象とす-1-The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005る），および対象外の属性全てについて確信度Jiを計算する．このJiの算出に，それまでに獲得した基準分布（混合分布）を利用する．すなわち，提示オブジェクトの全属性と基準分布との距離を計算し，これを正規化したものを相違度（Ｄi : 0～1 i:属性）とする．例えば，形状を表現するラベル（まる等）の色相属性には様々な特徴が入力され，特定の色に偏らない分布が形成される．
従って，基準分布とラベル“まる”の色相との相違度Ｄiは，対象とされる属性（形状）のそれと比較して小さくなると期待される．
相違度は，次に述べる学習バイアス（制約）Bi と共に各属性の確信度を与える（制約を考慮しない場合はJi = Di ）．

(3) 形状類似性バイアス
形状類似性バイアスは「形の似通った事物同士が同じラベルを持つ可能性が高い」と定義される．これは，未知のラベルを学習する際に，形を優先的に利用する傾向があることを意味している．そこで，
Si = 1.0 （ｉ ＝ 形） Si = 0.5 （i ≠ 形）・・・(2)を与えることで形状を優先させる．但し，バイアス Si は，相互排他性バイアスにより，未知のラベルがある属性を指すとされた場
合，その働きを妨げないように無効とした．
(4) バイアスを考慮した確信度の算出

・・・

ラベル n・・・

形状属性： 混合確率分布
色相属性： 混合確率分布
明度属性： 混合確率分布

図１ 概念辞書

3. 幼児学習における制約の理論

上記 3.3.3 節，3.3.3 節に説明したバイアスを適用した際の各属性の確信度を次式で定義する．
Ji = Di ・ Bi・・・(3)但し，Bi = Ei ・ Si
上記バイアスは，教示手順次第では概念の獲得効率を低下させることがある（知識の無い状態で“赤”と教示を受けた場合，形状類似性バイアスが働くなど）．そこで以下の更新式を用いて，教示ラベルに対応した属性とそうでない属性を分離し，誤りを早期に修正できるよう調整する．

Bi (t ) = Bi (t − 1) +3.1 人間の持つ制約
未知の事物に対してラベル付け学習を行う場合，そのラベルが形，色，大きさ，素材など多数の属性のうち，どれを対象としているかを正確に学習するために多くの事例が必要である．しかし，幼児は少ない学習回数で正確に概念を獲得することが出来る．マークマンや今井らは，幼児が幾つかのバイアスを用いて学習することにより，これを実現していると説明している[今井97]．本稿ではそのうち，事物分類性バイアス，相互排他性バイアス，形状類似性バイアスの三つを定式化して IA の学習機構に組み込み，概念獲得の効率を改善することを目指す．

f (Di ) − f (∆Di )+ f (∆Di )1 + exp{α ( ∆Di − β )}・・・(4)f (Di ) =2 .0{} − 1 .0

1.0 + exp − α f ( Di ) (Di − 0.5 )f (∆Di ) =2 .0− 1 .01.0 + exp − α f (∆Di ) ⋅ ∆Di{}α : シグモイド関数の傾き
α f ( D ) : シグモイド関数の傾きiα f (∆D ) : シグモイド関数の傾きi3.2 制約の定式化と IA の学習機構への組み込み(1) 事物分類性バイアス
事物分類性バイアスは，「未知の事物に対して付けられたラベルを，その事物を含むカテゴリに対するラベルと判断する」と定義される．これによって，目の前の「リンゴ」をリンゴ一般に対するラベルと捉えることを意図している．このバイアス実現のために以下の処理を加える．各属性の基準分布（混合分布）を構成する各正規分布を，初期カテゴリと捉える．また，ラベル教示があった際には，それが入力特徴に近い分布に対するものとして処理する．
(2) 相互排他性バイアス
相互排他性バイアスは「相異なるラベルが同じ対象事物に関連付けられることは無い」と定義される． IA の判断と異なる教示ラベルが与えられたとき，そのラベルは自身の判断した概念とは異なる属性を指しているものとした．また，このバイアスには以下の式を用いた．
Ei = 1.0 - Ji ・ { 2.0 /( 1.0 + e-(N)) – 1.0 }・・・(1)
Ei : 相互排他性バイアス i : 属性
Ji : IAが判断した概念の属性尤度
Ｎ : IA が判断した概念の学習回数
ここで，右辺{ }内の項は，学習回数の少ない概念により，過度なバイアスが掛かるのを抑制するためのものである．

β : シグモイド関数の中心 地点
上式は，観測値である相違度Diの変化が，バイアスBiをコントロール可能な形式を与えている．

3.3 IA による概念判断
IAが概念の判断を行う際には，提示されたオブジェクトから取得した特徴x={xi}と，概念の持つ混合分布から生起確率Pi(xi)を計算すると共に，確信度Jiを考慮する．具体的にはIAが保持する全ての概念ごとに,各属性の持つ混合分布について次式のPk(x)を算出し，最大かつ閾値よりも大きい概念（のラベル）を提示する．閾値以下ならば“？”を提示する．
Pk(x) = Πi [{ (1.0-Pki(xi))/(1.0+e-α(Ji – 0.5) )} + Pki(xi)] ・・・(5)α：定数（=10.0） i：属性

4. 実 験
4.1 評価方法
本実験では，ラベル対象の属性と非対象の属性が分離するまでの学習回数と，提示されたオブジェクトに対する正解率を比較する．概念を正しく判断したかは，「正しいラベルを提示した」，および「判断できない（教示された経験が無い）場合に“？”を提示した」の２通りを正解とし，「間違ったラベルを提示した」および「判断できる（教示された経験のある）にも関わらず“？”を提示した」の２通りを不正解とした．

-2-

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

4.2 実験条件
実験では,画像オブジェクトの属性の組み合わせとして 108（形状）×100（色相）×100（明度）＝1,080,000 通りを用意した．
教示の際には，IA にオブジェクトをランダムに提示する. 教示ラベル（概念）は，21 個（各属性 7 通り×３）とした（形状については，「まる，さんかく，しかく，くるま，えんぴつ，けんだま，ぼう」）．
全ての概念は単一の属性を対象とし，包含関係も無いようにしている．教示手順は以下の 2 通りで行った．
① 内容をランダムに決定して教示する．
② 形状に関する概念から教示し，その後に残りの概念を教示する．
なお，教示ごとに画像オブジェクトをランダムに複数提示し，概念を正しく判断できるか否かを確認した．

1

確信度 Ji0.8
0.60.40.2001020304050

教示回数
bias無 必要属性
bias有 必要属性

bias無 不要属性
bias無 不要属性

4.3 実験結果
図 2 はバイアス（制約）を適用した場合と，適用しない場合について，教示回数と確信度Jiとの関係を示したものである．図の必要属性と不要属性とは，形状を例にとり説明すると，“まる”であれば必要属性，また色相，明度は不要属性のことである．
まず、バイアスを利用しない場合をみると，必要属性と不要属性との確信度の差が極く接近していることが分かる．この場合は，オブジェクトに対して確率値から計算される相違度のみを利用することになり，概念獲得までに多くの事例を必要とする．他方，バイアスを利用する場合には，必要属性と不要属性との確信度の差が大きく拡がり，確信度を有効に使用して概念学習を加速することが可能となる．
図 3 は概念正解率を示したものである．横軸はターン数，縦軸は正解率を示す．学習バイアスがない場合と比較し，バイアスを組み込むことの効果が大きいことが見て取れる．また，形状バイアスについては，画像オブジェクトをランダムに教示した場合，悪い影響が出ることが懸念されたが，図からランダム教示においても一定のターン数を経た後，安定することが分かる．ただし，形状を優先して教示することで，最も効率良い概念学習を達成することができる．

図２ バイアスの有無と確信度10.90.8正解率

0.70.60.50.40.30.20.1
00200

400600800

1000 1200 1400 1600 1800 2000
ターン数

ランダム-bias有ランダム-bias無形先-bias有図 3 概念正解率5. まとめ
本稿では IA の概念獲得に制約を利用する方法を提案した．
今回は三つの学習バイアスを定式化するとともに，システム実装による評価実験を行いその有効性を示した．今後は包含関係にある概念，複数属性を含む概念など，概念間の関係も考慮して，相互作用的に学習が進む方式についても検討を行いたい．

参考文献[赤穂 97] 赤穂，速水，長谷川，吉村，麻生，: EM 法を用いた
複数情報源から の概念獲得,信 学 会論 文誌， Vol.J80-A
pp.1546-1553 ，1997．
[石井 98] 石井，佐藤: オンライン EM アルゴリズムによる動的な関数近似，信学技報，NLP97-142，pp43-50，1998．
[今井 97] 今井: ことばの学習パラドックス，共立出版，1997．
[金 00] 金，岩橋: 知覚情報の統合に基づく言語音声単位の獲得アルゴリズム，信学技報，TL200-21，pp.9-16，2000．
[栗田 97] 栗田，小林，三島: PARCOR 画像の高次局所自己相関特徴を用いた背景変化および平行移動に強いジェスチャー
認識，信学技報，PRMU96-213 pp.159-164, 1997．

[小玉 04] 小玉，田口，桂田，岡部，新田: オンライン学習による
Infant Agent のための効率的概念獲得，人工知能学会全国大会，2004，3F3-03．
[小林 99] 小林，古川，今井，尾崎: 帰納論理プログラミングによる幼児の名詞語彙獲得のモデル化，電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション 99 (387),
29-36, 1999．
［中川 95］ 中川，升方: 視聴覚情報の統合化に基づく概念と文法の獲得システム，人工知能学会，Vol.10，No.4，pp.619627，1995．
[新田 02] 新田，越坂，桂田: Infant Agent 間での対話による概念知識獲得，人工知能学会全国大会，2002，1A1-07．

-3-