493

論 文 

Technical Papers

自己増殖型ニューラルネットワークを用いたヒューマノイドロボットの発達的言語獲得
Developmental Word Acquisition through Self-Organized Incremental Neural Network with A Humanoid Robot岡田 将吾
Shogo Okada

東京工業大学大学院総合理工学研究科知能システム科学専攻
Department of Computatinal Intelligence and Systems Science, Tokyo Institute of Thechnology

okada.s.ab@m.titech.ac.jp

賀 小淵

（同

上）

小島 量

（同

上）

長谷川 修

東京工業大学大学院理工学研究科像情報工学研究施設

Xiaoyuan He

Ryo Kojima

Osamu Hasegawa

Imaging Science and Engineering Lab.,Tokyo Insititute of Thecnology

hasegawa.o.aa@m.titech.ac.jp

keywords: robot, word grounding, language, mental models, interactive learning, incremental learning
SummaryThis paper presents an unsupervised approach of integrating speech and visual information without
using any prepared data(training data). The approach enables a humanoid robot, Incremental Knowledge
Robot 1 (IKR1), to learn words’ meanings. The approach is diﬀerent from most existing approaches in thatthe robot learns online from audio-visual input, rather than from stationary data provided in advance. In
addition, the robot is capable of incremental learning, which is considered to be indispensable to lifelong
learning. A noise-robust self-organized incremental neural network(SOINN) is developed to represent the
topological structure of unsupervised online data. We are also developing an active learning mechanism,
called ”desire for knowledge”, to let the robot select the object for which it possesses the least information
for subsequent learning. Experimental results show that the approach raises the eﬃciency of the learning
process. Based on audio and visual data, we construct a mental model for the robot, which forms a basis
for constructing IKR1’s inner world and builds a bridge connecting the learned concepts with current andpast scenes.

1. は じ め にた，シンボルグラウンディング問題への 1 つのアプロー
チを提案する．さらに提案メカニズムをヒューマノイド

人間は視覚情報を手がかりに，物事に関する概念を獲ロボットに搭載して稼動させる．本研究の目的をより明得することが可能である．この概念は先天的に与えられ確にするために，1・1 節で本研究に関連する研究を紹介るものではなく，人間自らが経験的に獲得していくもの

し，1・2 節において 1・1 節で述べた関連研究に対する本であり，もとの視覚情報と密接な対応関係を持つ．

研究の新規性・有用性について議論する．

一方，コンピュータが扱う記号には，実世界の物事との繋がりは存在しない．そのため，コンピュータ内に記

で近年，物体に関連する発話 (音声情報) とその物体から

1・1 関 連 研 究[Siskind 96, Siskind 00, Wachsmuth 00, Gorin 99,
Regier 96, Oates 00, Roy 02, Iwahashi 03, Iwahashi
04, Yu 04] では，音声情報と視覚情報から言語の意味を獲得するモデルが提案されている．まず [Siskind 96] で抽出した画像情報とを統合し，その物体の意味 (概念) をは，幼児が対面する単語の意味獲得問題を参考に，学習獲得する手法の研究が盛んである．

アルゴリズムが提案されている．しかしヒューマノイド

述されている記号と実世界に存在する物事との繋がりをどのように表現すれば良いかという問題 (シンボルグラ
ウンディング問題) が指摘されている [Harnad 90]．そこ

本研究では，音声情報および画像情報を統合的に用いロボットのような実システム上で，このアルゴリズムが

494

稼動可能かどうかの議論はなされていない．また，ここ

人工知能学会論文誌

22 巻 5 号 D（2007 年）

1・2 本 研 究 の 特 性で提案されたアルゴリズムは文法に関する予備知識を必本研究では，視聴覚情報から能動的・追加的に概念を要とするため，予備知識がない場合に文法の獲得は不可

獲得 (学習) 可能なシステムを提案し，これをヒューマノ能である．次に [Wachsmuth 00] では異なったレベルの

イドロボットに搭載し稼動させる．本研究で提案する手表現を使用することで視覚情報と音声情報を統合する手法は 1・1 節で述べた従来手法に比べて，以下の 3 点で異法が提案されている．ここでは，異なったレベル間の関なっている．

連性および，視覚情報と音声情報の関連性をモデル化する手法としてベイジアンネットワークが用いられている．

(1) 提案手法では，Self Organizing Incremental Neural Network(SOINN)[Shen 06] という自己増殖型[Regier 96] では独自のアルゴリズムにより空間的な概念(例えば, in, on, through) が獲得されている．この手法

ニューラルネットワークを用いることにより追加学

では学習時に教師付き訓練データを必要とする．

が実現されている．追加学習においては，どれだけ

習 incremental learning ([Elman 93, Thrun 95])

[Roy 02] では視覚情報と音声情報の相互情報量を定義

既学習の情報を温存して新しい情報を記憶するか (安し，これを最大化するアルゴリズムが提案されている．こ

定性/柔軟性ジレンマ) という基本的問題が存在する．

の研究では，幼児と擁護者との自然なインタラクションのSOINN はこの問題に対し，既学習のデータを忘却せ

音声データから言語獲得が行われている．ここで視覚デー

ず新規のデータを記憶することが可能である．またタには対象物体の静止画が用いられている．[Iwahashi 03]04] では能動学習と教師なし学習を用い，視覚概念と音SOINN は教師ラベル付き訓練データを必要としない．総じて SOINN は，教師ラベル付き訓練データを必要とする手法 ([Wachsmuth 00, Regier 96]) や追加学習が困難であるである手法 ([Yu 04]) と異な
り，教師なし追加学習を可能とする．加えて SOINN

声概念のペアを追加学習可能な方法が提案されている．

はノイズを含む入力データからノイズを除去するこでは，移動物体から得られる 2 次元動画像と，その動画像を表現する言語の組み合わせを入力として，動きの概
念と文法の獲得を行う手法が提案されている．[Iwahashi

以上をまとめて [Wachsmuth 00, Roy 02, Iwahashi

とも可能である．

03, Iwahashi 04] では，音声データ (言語データ) と画像(2) 提案システムでは，訓練データを事前に与えてバッ

データのどちらか，または両方が静的データである．こチ学習を行う必要がなく，事前知識のない状態からのうち [Wachsmuth 00, Iwahashi 03] では，あらかじめオンラインで追加的に視覚・音声データを学習 (教音声データと，それに対応する視覚データがセットとし師なしオンライン学習) 可能である他，視覚情報とて与えられ，学習が行われる．[Roy 02] では，自然なイ

音声情報の対応付けも完全にオンラインで行われる．

ンタラクションから得られた音声データが用いられてい(3) 提案システムを搭載したロボットは能動的に学習るものの，それらを用いたオンライン学習および追加学を行うことが出来る．

習は行われていない．[Iwahashi 04] では，追加的単語獲提案システムでは，学習対象の物体に関して十分な情報得（追加学習）を可能としている．この手法では，単語が得られたかどうかを判断し，足りない情報をパートナー

音声概念が，音素を表す Hidden markov model(HMM)(教示者) に要求する．具体的には，提案システムであるの結合によって，また視覚概念が Gaussian 関数によっ

物体に関する情報が足りないと判断された場合，ロボッてモデル化されている．この音素を表す HMM のセット

トはその物体を指し示す．ロボットの指示に従い，パーは，単語獲得を行う前に音声データを用いた教師なしバッ

トナーはその物体に関する情報をロボットに与える．結チ学習によって行われており，完全なオンライン学習は

果的に，ロボットは物体に関する情報を能動的に獲得す実現されていない．

ることが可能である．これに対し，既存のシステムやロ

次に [Yu 04] では，発話された物体の名称 (音声データ) と物体に関する視覚情報をグラウンディング可能なボットは受身に情報を学習するのみで，能動的に情報を得ることは出来ない．

マルチモーダル学習システムが提案されている．ここで提案アルゴリズムを搭載したヒューマノイドロボット

各物体 (視覚特徴空間ではクラスタとして表現されていが以上の 3 点を実現することを，複数の概念 (例えば，赤る) は，発話より得られた言語的ラベルに基づき分類さい，丸い) を持つ，72 種類の物体を用いた実験により検れる． しかしこのシステムでは，視覚特徴空間に未知の証する．

物体が入力された場合，新しいクラスタ (未知の物体) と既存のクラスタを混同してしまうため，新しいクラスタ

2. 提 案 シ ス テ ム

を追加的に獲得すること (追加学習) が困難である．

[Steels 97, Steels 03, Steels 02, Vogt 05] では人間と2・1 ロ ボット 環 境

ロボットの相互作用に基づいて概念を獲得するのでなく，本研究で用いたヒューマノイドロボットは，IKR1 とロボット同士の相互作用を通じた概念の獲得が試みられ呼ばれ上半身のみを持つ．IKR1 は自由度 2 の可動式ヘッている．

ド，およびステレオカメラで構成された目を持つ (図 1)．

自己増殖型ニューラルネットワークを用いたヒューマノイドロボットの発達的言語獲得

図 1

495

本研究で用いたロボット (IKR1)
図 2

IKR1 のワークスペースと学習対象例

また IKR1 はワークスペース全体を探索することが可能である．ここでワークスペースとは IKR1 の前に設置されたテーブルの一部であり，IKR1 が物をつかむことが可能な領域とする．IKR1 は 2 本のグリッパ (腕) を持ち (各5 自由度)，このグリッパを用いて物体を操作する．IKR1のワークスペースは様々な物体が無作為に置かれた状態となっている．ここで物体はおもちゃ，文房具，紙などであり，これらの物体は色，形状，サイズが異なる (図2)． パートナー (教示者) は，テーブルを挟んで IKR1の対面に座る． 最初に，IKR1 はワークスペースにある物体の概念に関する事前知識は保持しない．ここで概念とは物体の名前，色，および形状の 3 つとする．各々の概念は (1) 発話された単語 (音声情報)，(2) 視覚情報，の 2 種類から構成される．
まず学習を始める前に，IKR1 はメンタルモデルを初期化し，ワークスペースに注意を向ける．ここでメンタ
ルモデルとは，IKR1 が周りの環境を理解するために構モジュール (SOINN)，ロボット制御モジュール (Robot

Control)，そしてメンタルモデル (Mental Model) の 5種類である．
ここでシステムの処理の流れについて説明する．まずパートナーはロボットの前に数種類の物体を置く．ロボットはステレオカメラを用いて，視覚情報を画像処理モ
ジュールに送り，物体の切り出しおよび特徴抽出を行う．
次に，制御モジュールからはロボットの頭の水平角度と垂直角度 (Robot’s Status) が ，また画像処理モジュー
ルからは物体に関する情報 (色，形状，大きさ，位置座標)(Current Scene Information) がメンタルモデルに送信される．メンタルモデルでは，カメラから得られた画像
上での物体の位置座標がロボットの絶対位置座標に変換される．ここで物体の絶対位置座標 (x , y , z  ) は画像から得られる物体の位置座標 (x, y, z) を用いて，オイラー角の公式より以下の式で計算される．

内の物体を指差し，その物体についての情報を発話する．

⎡ ⎤ ⎡
⎤⎡
⎤⎡ ⎤
x
cos ϕ 0 − sin ϕ 100x⎢ ⎥ ⎢
⎥⎢
⎥⎢ ⎥
=
0
1
0
0
cos
θ
sin
θ
y
⎣ ⎦ ⎣
⎦⎣
⎦ ⎣ y ⎦ (1)sin ϕ 0 cos ϕ
0 − sin θ cos θzz

発話された音声情報は，音声処理モジュールに受け渡さ式 (1) で θ,ϕ はそれぞれｘ座標のオイラー角，ｙ座標のれる．この後に，IKR1 は単語テンプレートと入力音声

オイラー角を示す．メンタルモデルは，ロボットの視界築された IKR1 の内部モデルである (メンタルモデルの
詳細は 3 章で述べる)．次にパートナーはワークスペース

データを DTW(Dynamic Time Warping) により比較に映った物体の情報 (Current Scene Information) ，おし，入力音声データが既存の音声クラスに属するか未知

よびロボットの姿勢に関する情報 (Robot’s Status) を常の音声クラスかを識別する．未知であると識別した場合，に保持する．ロボットはこのメンタルモデルを持つこと

新しい音声クラステンプレートが作成される．

で，環境の変化に適応出来る．

視覚情報はステレオカメラより得られる．得られた視一方，画像処理モジュールで処理が行われた後に，物覚情報から画像処理によりノイズが除去され，物体の形体に関して 3 次元の色ベクトルと 8 次元の形状ベクト状特徴および色特徴が抽出される．

ル，及び色ベクトルと形状ベクトルを併せた 11 次元のベ

IKR1 はこれらの音声と視覚の特徴量を統合的に用いて，言葉の意味 (概念) を学習・獲得する．

クトルの計 3 種類のベクトルが抽出される (画像処理の詳細は 2・3 節で述べる)．これらのベクトルは，SOINNを用いてクラスタに分類される．SOINN ではニューロ

2・2 提案システムの処理過程

が自己増殖しながら入力ベクトルの分布が近似され，入提案システムは 5 つの機能を持つモジュール群により

力ベクトル群が分類される．また SOINN では入力デー構成される．各モジュール間の関係性を図 3 に示す．図タのオンライン追加学習が可能である (SOINN の詳細は

3 において太い円で囲まれた部分が各モジュールを示す．
各モジュールは，画像処理モジュール (Image Processing)，音声処理モジュール (Speech Processing)，SOINN

2・5 節で述べる)．この SOINN の機能により，入力画像
データは追加的に獲得される．
次にパートナーはロボットと向き合って特定の物体に

496

人工知能学会論文誌

図 3

22 巻 5 号 D（2007 年）

提案システムの概要 (各モジュール間の関係性を示す．)

対して音声を 1 つずつ発話していく．音声は DTW 法

域を構成する全画素の RGB 値の平均値を算出する．こにより分類される (音声処理の詳細は 2・4 節で述べる)．
DTW 法において閾値設定を行うことで，テンプレートする．物体の形状特徴ベクトル (Shape: 8 次元) は次のと入力音声の距離が閾値より大きい場合は，テンプレー

ように算出する．

トとは異なる単語であると認識し，その入力音声を新規のテンプレートとして構成する．この手法を用いること
で，簡易的に音声の追加学習を可能とした．最終的に，分類された画像データと分類された音声データが統合され，概念が獲得される (音声と画像の統合および概念の形成についての詳細は 2・6 節で述べる)．総じて提案手法では，別個に入力される音声データと視覚データを学習し，これらを関連付けることで追加的に概念を獲得する．
加えて，ロボットはパートナーが発話する単語を一方的に聞いて学習 (受動的な学習) するだけではない．ロボッ
トは，ある物体に対して音声が入力された際に，ワークス
ペース内にある物体全ての既知度を算出することで，既知度の低い物体を探索する．探索後にロボットはグリッの RGB の平均値を色特徴ベクトル (Color: 3 次元) と(1) 物体上の点で最も重心から離れている点を求め，重心からその点までの距離を r とする．
(2) 図 6 に示すように，物体の重心を中心として半径i×r(1 ≤ i ≤ 12) の同心円を描く．
12(3) 中心から順々に，隣り合う 2 つの同心円の間の領域 Pj の面積 Sj (内側から j 番目の円と j + 1 番目の円に挟まれた部分) を算出する．図 6 において，Sj
は赤い部分を示す．

(4) 領域 Pj (面積 Sj ) の中で物体が占める領域の面積
Tj を求める．図 6 において，面積 Tj は物体 (水色部分) と Sj (赤色部分) が重なった領域 (青色部分) の面積である．

(5) 形状特徴は次式から算出される．

パで指し示すことにより，人間にその物体に関する情報

Shape[j] =を要求すること (能動的な学習) が可能である．本研究でTj+3(1 ≤ j ≤ 8)
Sj+3

(2)

は，以上のようなロボットが能動的に情報を要求する機

ここで，中心に近い同心円 (i = 1, 2, 3) では Shape[i] ∼=能を 知識欲 と定義する．このような 知識欲 を持っ1.0 となることから， i = 1, 2, 3 についての形状特徴はたロボットがパートナーと相互的に学習を進めることに用いなかった．この手法では，位置の変化と面内の回転より，円滑に効率よく概念の獲得が行われる (知識欲に関する詳細は 2・7 節で述べる)．

2・3 画 像 処 理
提案システムではステレオカメラ (2 つの CCD カメラ) を用いて画像処理を行う．ここで図 4 に実際にカメラから得られた画像例を示す．最初に，画像処理を行って距離画像を算出する (図 5(a))．距離について閾値を設けた後，この閾値を用いて物体を抽出する．物体を抽出
後，物体ごとにラベルが付けられ，それらの物体のピクセルの数を算出する．ここでピクセル数が 100 以下の物
体はノイズであると見なす．この閾値は実験的に決定した．これらの処理を行った後に得られた画像を図 5(b) に示す．物体として抽出された画像の領域に関して，その領

図 4

ロボットに搭載したカメラから得られたカラー画像例

497

自己増殖型ニューラルネットワークを用いたヒューマノイドロボットの発達的言語獲得

(b)

(a)
図 5

(a) ステレオカメラから得られる距離画像，(b) 閾値処理を行った後に物体が抽出された様子に対して不変的な特徴を抽出しており，チェインコード[Myers 81] を用いた．本研究の目的より，ロボットは事前法よりも良い性能が得られた．結果的に対象物から抽出

知識なしの状態から，オンラインで音声情報を受け取り，された色，形状特徴は以下のように表される (Object:

音声処理を行う必要がある．したがって提案システムで11 次元)．

は，大量の訓練データを用いてバッチ学習を行う HMM

Object =

1
256 ColorShapeを用いず，DTW を用いた．

(3)

次に音声の特徴抽出手法について説明する．まずパー
トナーがマイクで単語を発話する．発話された単語から，パートナーは教示したい物体をロボットに理解させるた

1 フレームにつき 16 次元のメルケプストラム係数特徴

めに，物体を指し示す．ここで人間の指と物体を区別すを抽出する．このメルケプストラム係数特徴を用いて単るため，予め人間の指に類似した細長い肌色の物体を学

語間の距離を算出する場合，特徴量の次元数が大きいた習させる．またパートナーが指し示すものが，ワークス

め単語同士の比較が困難となる．これより，本研究ではペース上の物体かどうかを認識するために，指の位置とベクトル量子化法 (vector quantization (VQ))[Gersho
92] を用いて次元の削減を行う．次に DTW で用いる累積距離 D(i, j) と各フレーム間の距離 d(i, j) を定義する．
ここで i,j はそれぞれ比較対象の 2 つの音声入力パター
ンの i 番目および j 番目のフレームである．D(i, j) の算

物体の中心の間の距離が用いられる．

2・4 音声処理 (認識・生成)
提案システムでは，単語の音声処理に Speech Signal
Processing Toolkit (SPTK) [Imai 02] を用いた．また音出は以下の漸化式によって求める．

D(i, j) = minD(i − 1, j − 1)D(i − 1, j)
D(i, j − 1)+d(i, j)(4)

D(i, j) = minD(i − 1, j − 1) + 2d(i, j)
D(i − 1, j) + d(i, j)
D(i, j − 1) + d(i, j)(5)

声データの識別には，時系列パターン同士の距離を算出するための手法である Dynamic Time Warping (DTW)

漸化式 (4) では，対角，垂直，水平方向の全ての重みは等しい．これに対し漸化式 (5) では，対角方向の重みを，垂直・水平方向の重みの 2 倍としている．この 2 つの漸化式による識別性能を予備実験により検証したところ，
漸化式 (5) を用いた方が識別精度が高いことを確認した．
これより提案システムでは音声データの識別に漸化式 (5)を用いた．
図 6 形状特徴 (ベクトル要素 Shape[6]) の算出例 (Shape[6] =S1/(S1 + S2) とした場合，S1 は青い部分の面積，S2 は赤い部分の面積を示す．)

音声処理部では，まずパートナーがある単語を発話す
ると，その発話から得られる音声データがその単語のテンプレートとなる．以後このテンプレートと入力単語を

498

人工知能学会論文誌(a)
図 7

22 巻 5 号 D（2007 年）(b)(a)2 次元 の人工 データ セット (デ ータセット は 2 つの ガウス 分布 ，2 つの 同心円 及び Sin 曲線の 合計 5 つ の クラ ス に よって構成 さ れ て いる ．また デ ー タ セットに は ノ イズ が 含 ま れて い る ．)(b)SOINN に (a) の人 工デー タを入 力した 結果 (入 力デー タに含 まれる ノイズ は削除 され，入力データのクラスタ数とそのトポロジーが正しく抽出されている．)

照合することにより認識を行う．ここでテンプレートと線の合計 5 つのクラスによって構成されている．また，実入力音声の距離に対し，ある閾値を事前に定義した．テ

世界の環境を想定して，5 つのクラスから生起するデータ

ンプレートと入力音声の距離がこの閾値より小さい場合，に 10%の一様ノイズが加えられている．このデータセッ

その入力音声はそのテンプレートと同じ単語であると認トをオンラインで追加的に入力し，SOINN に教師なし識する．逆にテンプレートと入力音声の距離が閾値より分類を行わせた．

大きい場合は，テンプレートとは異なる単語であると認

この入力データが SOINN によって分類された後の出識し，その入力音声を新規のテンプレートとして構成す

力結果を図 7 (b) に示す．図 7 (b) より入力データに含まる．閾値は予備実験の結果より 6875 とした．

れるノイズは削除され，入力データのクラスタ数とそのトポロジーが正しく抽出されていることがわかる．SOINN

2・5 SOINN を用いた教師なし学習のアルゴリズムの詳細については [Shen 06] に記載され§ 1 SOINN の特徴ている．

Self Organizing Incremental Neural Network (SOINN)[Shen 06] は Growing Neural Gas(GNG)[Fritzke 95] を§ 3 画像データを用いた予備実験
さらに SOINN の基本的機能を検証するために，画像拡張した自己増殖型ニューラルネットワークと呼ばれるデータを用いた予備実験を行った．この実験では，追加

教師なし追加学習手法である．SOINN は連続的にオン的に入力される視覚情報 (画像データ) を SOINN へのラインで入力されるデータを，ニューロを自己増殖する

入力ベクトルとした．実験には，黒い背景の上に物体がことで追加的に学習可能である．SOINN を用いること映っている画像を用いた．2・3 節の手法を用いて，画像による主要な利点を，以下にまとめる．

から特徴抽出を行った．特徴抽出の後，これらの特徴を(1) 過去に学習したクラスタを破綻させずに，新規に入力される未知クラスのデータを追加的に学習し，新規のクラスタを構築することが出来る(2) 入力データに含まれるノイズを除去することが可能である(3) 追加的に入力される教師ラベルなしデータの位相構造を表現することが可能である

SOINN に入力した．
ワークスペースには何もない状態から実験を開始した．

[STEP 1.] まずワークスペースの中に 4 つの物体を順々に置く．ここで 4 つの物体はそれぞれ赤色の正方形，黄色の正方形，黄色の長方形，緑色の細長い長方形である．
次にこれらの物体が SOINN により教師なし分類される．
この教師なし分類過程を図 8 に示す．図 8(a) は 4 つの

(4) 入力データを近似するために用いる，ノード (ニューロ) 数や初期値を事前に設定する必要がない
以上の 4 点は，本研究で提案するロボットシステムが実

り 4 つの物体が学習された後の様子を示す．図 8(b) の下

環境下で稼動し，追加的に学習を行うための重要な機能

段より 4 つ全ての物体が置かれ SOINN により学習されである．この機能の有効性を検証するために，人工デー

た後に，色空間 (color vector space) で 3 つの，形状空タと実画像データを用いた 2 つの予備実験を行った．

間 (shape vector space) では 3 つの，物体空間 (object
vector space) では 4 つのクラスタがそれぞれ構成され§ 2 人工データを用いた予備実験
図 7(a) に示す 2 次元の人工データをオンラインで追加

物体が順々に置かれる様子 (上段) と，SOINN 空間でのニューロの様子 (下段) を示す．図 8(b) は SOINN によている．

的に入力した場合の SOINN の挙動を検証した．データ

なお図 8〜図 10 では共通して，上段の図はワークスペー

セットは 2 つのガウス分布，2 つの同心円，及び Sin 曲

ス上の様子を示し，下段の図はその時の SOINN 空間で

自己増殖型ニューラルネットワークを用いたヒューマノイドロボットの発達的言語獲得

499のニューロの様子を示している．

パラメータをそれぞれ λ = 100,agedead = 20 に設定した．

[STEP 2.] 新たに緑色の三角形の物体をワークスペー
スに置く．新しい物体 (緑色の三角形) が入力された際のSOINN 特徴空間の変化を図 9 に示す．ここで新しい物

λ,agedead の他に SOINN にはパラメータ c, α1 , α2, α3 , β, γが存在するが，これらについては [Shen 06] に示された値
c = 1, α1 = 1/6, α2 = 1/4, α3 = 1/4, β = 2/3, γ = 3/4 を体をワークスペースに置く際，パートナーの手が画面に使用した．

映りこむ．この手に反応してニューロ群の数が増加している (図 9(a))．しかし SOINN では一時的な情報はノイ2・6 概念の表現 (音声・視覚情報の統合）

ズとして解釈されるため，時間が経つとこのノイズは削提案システムでは，SOINN によって得られる物体に除される (図 9(b))．この結果より SOINN がノイズに対関する視覚情報 (2・3 節) と，その物体に関する発話からして頑健性を有することが示された． また，ノイズが消得られる音声情報 (2・4 節) が関連付けられる (統合され去された後，形状特徴空間および物体特徴空間に新しいる) ことで，物体の概念が獲得される．

クラスタが形成されている (図 10(a))． この新しいクラ視覚情報からの入力データの分類結果が安定した (SOINN

スタは，新たにワークスペースに置かれた物体に対応すでの学習が収束した) 後，パートナーはワークスペース

る．ここで注目すべきは，新規のクラスタの形成が既存上の任意の物体を指差しながら，マイクでその物体に関のクラスタに影響を与えていない点である．

する単語を発話する．次に，発話から得られる音声デー

実験の結果，提案システムでは既学習のクラスタを壊す

タを VQ コードに変換する．VQ コードを，音声処理モことなく，新規のクラスタが学習された．ここで新しいジュールで得られた各クラスの参照テンプレートと比較

形状 (三角形) および新しい物体 (緑色の三角形) に対応

して認識する．どのテンプレートとも入力 VQ コードがするクラスタは追加的に獲得されたが，緑色に対応する

異なる場合，この入力 VQ コードを新規の音声クラスのクラスタは既知 (STEP1. で学習済み) であるため，色特参照テンプレートとし，音声クラスのインデックス数を徴空間に変化は見られていない (図 10(b))．以上より提増やす．このインデックス数は視覚情報と統合するため

案システムではオンラインで追加的に視覚情報を学習可に用いられる．次に SOINN の 3 種類 (色，形状，物体)能であることを示した．

の特徴空間上で，指示された物体に関する発話がどのク§ 4 SOINN のパラメータ設定

ラスタ (例えば，黄色，正方形) と対応するかが認識され

SOINN の学習に必要な，パラメータ設定について説明する．SOINN において，各クラスタはニューロとニューロ間をつなぐエッジ (辺) で表現される (図 11)．このニューロとエッジは入力データに応じて生成・削除を繰り返す．ここでノイズに対してニューロを生成した場合，分類結果が悪化する．SOINN ではノイズ除去を行うために，ニューロとエッジの生成・削除に関するパラメータ λ,agedeadを導入している．これらのパラメータをいかに設定する
かが，SOINN の機能にとって重要となる．

る．例えばパートナーがワークスペースのレモンを指差すと同時に「黄色」と発話したとすると，3 種類の特徴
空間のそれぞれで，対応するクラスタに属するニューロの関連度 (関連度については 2・6・2 節で説明する) が変化
する．これは，学習の初期段階では「黄色」という発話が何の属性 (色の名称なのか，形状の名称なのか，物体の名称なのか) を示すのかがロボットにはわからないためである．
以上のように，物体をロボットに見せて，その物体に関する単語を発話する作業を繰り返し行う．この操作をまず λ はノイズとおぼしきニューロを削除する周期で通して，ロボットは「黄色」という言葉の意味が (物体のある．λ を小さな値に設定すると頻繁にノイズ処理が行わ

名称および形状の名称ではなく) 色の名称であるというれるが，極端に小さくすると実際はノイズではないニュー

ことを理解する．この理解が，本研究で定義する概念のロを誤って削除してしまう．逆に λ を極端に大きな値に獲得である．以下では，音声・視覚情報の統合により概設定するとノイズの影響で生成されたニューロを適切に念を獲得するアルゴリズムを説明する．このアルゴリズ

取り除くことができない．

ムは 5 つの主要な部分で構成される．

エッジを削除するために用いられる．agedead を小さな値§ 1 概念の定義
SOINN により形成されたクラスタに 4 つ以上のニューに設定するとエッジが削除されやすくなりノイズによるロが含まれている場合，本研究ではそのクラスタを概念影響を防ぐことができるが，極端に小さくすると頻繁にに対応付ける．ここでニューロの数 4 は実験的に決定しエッジが削除され学習結果が不安定になる．逆に agedead

た．クラスタに含まれるニューロの数が 4 つ未満の場合，次に agedead はノイズなどの影響で誤って生成されたを極端に大きな値に設定すると，ノイズの影響で生成さそのクラスタは除去される．

れたエッジを適切に取り除くことができない．したがっ§ 2 クラスタと概念の関連度の定義て学習対象のデータやタスクに応じて，これら 2 つのパラメータを設定する必要がある．
本研究では予備実験 (2・5・3 節) の結果から，SOINN のクラスタに含まれるニューロと発話された単語との関連性の度合い (関連度)S を S = {c1 , c2 , · · ·, cN } と定義する．ここで N は SOINN 空間上のニューロの総数を

500

人工知能学会論文誌(a)
図 8

22 巻 5 号 D（2007 年）(b)(a) ワークスペースに物体を置いた時の SOINN 空間の様子 (上段は，4 つの物体が順々にワーク
ス ペー ス に 置 か れ る様 子 を 表 し てい る ．下段 は 物 体 が 順々に置 か れ た 場 合 の，SOINN 空 間 でのニューロの様子を表している．下段は左からそれぞれ，色特徴空間 (color vector space) ，形状特徴
空間 (shape vector space) ，物体特徴 (色と形状を併せた特徴) 空間 (object vector space) を示す．)(b) SOINN により 4 つの物体が学習された後の様子 (色特徴空間で 3 つの，形状特徴空間では 3
つの，物体特徴空間では 4 つのクラスタがそれぞれ構成されている．)

(a)
図

(b)

9 (a) 新 し い 物 体 (緑 色 の 三 角 形) が 入 力 さ れ た 際 の SOINN 空 間 の 様 子 (新し い 物 体 を ワ ー ク ス ペ ー ス に 置 く 際 ，パ ー ト ナ ー の 手 が 画 面 に 映 り こ む (上段)．こ の 手 に 反 応 し て SOINN 空 間 の ニュー ロ 群 の 数 が 増 加 し て い る (下 段)．)(b)(a) の 状態 から 一 定時 間 が経 過し た 後の 様子 (SOINN で は一 時的 な 情報 はノ イ ズと し て解 釈
し，一定時間後に削除する)

501

自己増殖型ニューラルネットワークを用いたヒューマノイドロボットの発達的言語獲得

(a)
図

(b)

10 (a) ノ イ ズ が 消 去 さ れ た 後 の SOINN 空 間 の 様 子 (ノ イ ズ が 消 去 さ れ た 後 ，形 状 特 徴
空 間 お よ び 物 体 特 徴 空 間 に ，新 し い ク ラ ス タ (緑 色 の 三 角 形) が 形 成 さ れ て い る ．)(b) ニューロの増減が安定した後 (学習が終了した後) の SOINN 空間の様子 (新しい形状 (三角形) および新しい物体 (緑色の三角形) に対応するクラスタは追加的に獲得されたが，色特徴空間に変化は見られない．)

示し，ci は i 番目のニューロと各単語との関連度ベク

式 (6) で ap は p 番目のクラスタに含まれるニューロ niトルである．j を単語のクラスタ番号とすると，ci はの総数を示す．また関連度 ccp は，あるクラスタに含ま

ci = {di1, di2 , · · ·, dij } と表せる．ここで dij は初期値を0 とした正の値であり，i 番目のニューロと j 番目の単語の関連度である．また 1 つの概念は全ての単語との関連度を保持する．p 番目のクラスタ Cp (p 番目の概念) の関
連度 ccp は以下のように表せる．

れる全ニューロの関連度の平均値とする．

ccp =
=

1
ap
1
ap

る既知度の線形和として定義され，以下の手順で計算さni ∈Cp= {d˜p1 , d˜p2 , · · ·, d̃pj }.

(7)である．物体 ok に関する既知度は，3 種類の概念に関す{di1 , di2, · · ·, dij }ni ∈Cpmax(ccp )2(d˜pi )2

ここで max(cc p ) は {d˜p1 , d˜p2 , · · ·, d˜pj } の中での最大値

ni ∈Cp1
di1 , · · ·,
ap

kp =

i

ci

1
={
ap

§ 3 物体および概念に関する既知度の定義
各概念 Cp に関してロボットが知っている度合い (既知度)kp を以下の式で定義する．

れる．

dij }

まず，物体から画像処理により得られる色ベクトル (3ni ∈Cp次元)，形状ベクトル (8 次元)，及び物体そのものを表す(6)ベクトル (11 次元) のそれぞれが，どのクラスタに所属するものなのかを，ベクトルごとに最近傍決定則により決定する．特徴空間 (例えば色特徴空間) で，対応するクラ
スタが一つも存在しない場合，その属性 (色) に関する既
知度は 0 とする．一方 3 つの特徴ベクトルが，それぞれの空間内の p 番目と q 番目と r 番目の概念に最も近かった場合，これらの概念の関連度を cccp , ccsq , ccnr で表す．以下の式 (8),(9),(10) は一般的な概念の関連度を表す式 (6) を色や形状などの概念の関連度の式に直したものである．

図 11 SOINN による分類結果 (ここでデータ群は 3 クラス (青，緑，赤) に分類されている．各クラスタはニューロとエッジ (白色) で表現されている．)

˜ p1 , dc
˜ p2 , ..., dc
˜ pj }
cccp = {dc˜ q1 , ds
˜ q2 , ..., ds
˜ qj }
ccsq = {ds(9)

˜ r1 , dn
˜ r2 , ..., dn
˜ rj }
ccnr = {dn

(10)

(8)

提案システムでは，「色，形状，及び物体そのものの名称が一致することはない」と仮定している．そのため，

502

人工知能学会論文誌

arg max(cccp ) と arg max(ccs q ) と arg max(ccn r ) のい

22 巻 5 号 D（2007 年）§ 4 音声が入力された場合の関連度の変化

ずれかが一致する場合，物体の既知度を低く設定する必要ある物体に対して k(1 ≤ k ≤ j) 番目のクラスに分類さがある．そこで式 (7) に対して次式のような拡張を行う．

れた音声を入力したときの動作は以下のようになる (j は´ p )2max(ccc˜ pi )2(dc

音声クラスの数)．最初に，物体から色，形状，及び物体

kcp (a, b)

=

(11)

i

定則を用いて求める．このとき，各空間内に対応するク˜ pa , dc
˜ pb })´ p := cccp \ {dc(where ccc
ksq (a, b)=´ q )2max(ccs
˜ qi )2(ds

ラスタが一つも存在しなかったらその属性に関して音声(12)の k 番目の要素を次式のように 1 だけ増やす．

˜ qa , ds
˜ qb })´ q := ccsq \ {ds(where ccs=

は関連付けられない．一方，そのような概念 C が存在す
れば，その概念に所属するすべてのニューロ n の関連度

iknr (a, b)

そのものを意味する 3 つの特徴ベクトルを抽出し，これらのベクトルから最も近いクラスタをそれぞれ最近傍決´ r )2max(ccn
˜ ri )2(dn(13)

dik := dik + 1 (∀i{ni ∈ C})(21)

ここで k は k 番目の単語示す．

i§ 5 関連度の伝播

˜ ra , dn
˜ rb }),´ r := ccnr \ {dn(where ccn

2・5・4 節より，SOINN では一定時間ごとにノイズ処理

式 (11) で，a,b は単語のインデックスを示す．a,b が与のため，ニューロを削除している．この機能によって，ノえられない場合には，式 (7) を用いて直接 kcp が計算さイズ以外のニューロが誤って削除される場合がある．これる．

こである音声と関連度を持ったニューロが誤って削除さ

次に色，形状，及び物体そのものの概念が持つ既知度

ロ間で関連度を伝播することで回避する．i 番目のニュー(kcp , ksq , knr ) を以下のように定義する．
(1) When max(cccp ) ≥ max(ccsq ),kc´p = kcp (∅, ∅)´q = ksq (arg max(cccp ), ∅)ks

れた場合，音声情報が損失してしまう．この問題をニュー

(14)

(15)
´
knr = knr (arg max(cccp ),˜ q(arg max(ccc )) })) (16)arg max(ccs q \ {ds

ロを ni ，i 番目のニューロに隣接するニューロの集合を
Ni ，i 番目のニューロに隣接するニューロの数を ai とする．また時刻 t における i 番目のニューロの関連度 ci(t)を次式で表す．

ci(t+1) = (1 − α)ci(t) +

p

α
ai

cj(t)

(22)

nj ∈Ni

ここで α = 0.01 とした．短い周期 t ごとにこの操作を行(2) When max(cccp ) < max(ccsq ),´q = ksq (∅, ∅)ks
kc´p = kcp (arg max(ccs q ), ∅)

(17)
(18)

´ r = knr (arg max(ccs q ),kn
˜ p(arg max(ccs )) })) (19)arg max(cccp \ {dc

うことで，ニューロが消滅する前に周囲のニューロに音声情報との関連度を伝播することが可能となる．

§ 6 音声の識別提案手法では物体に対応している音声を以下のように

式 (14) において arg max(cccp ) は cccp の中で最大の要して求める．色に関する音声を si ，形状に関する音声を
sj ，物体そのものに関する音声を sk とする．まず，物体から 3 つの特徴ベクトルを抽出し，最近傍決定則を使っ

素のインデックスを表す．これは，cccp の中で最も関連てこれらのベクトルから最も近いクラスタをそれぞれ求度が大きい単語が arg max(cccp ) であることを意味する．

める．対応するクラスタが属性空間内に一つも存在しな

また arg max(ccsq ),arg max(ccnr ) に関しても同様に定かったら，その属性に関する音声は不明だと判断する．一

q

義する．

方属性ベクトルが，それぞれの空間内の p 番目と q 番目

最後に以下の式 (20) で，物体に関する総合的な既知度

ok を定義する．
ok =kcp + ksq + knr
3(20)

この既知度は，ロボットがその物体をどの程度知っているかの指標である．ある物体に対する既知度が小さければ，ロボットはその物体に関して情報が少ないと理解する．ロボットは既知度の小さい物体に関する情報を，能動的にパートナーに要求する．この機能を「知識欲」と定義し，後の 2・7 節で述べる．

と r 番目の概念に最も近かったら，色の概念に関する確信度を cccp ，形状の概念に関する確信度を ccsq ，物体そのものの概念に関する確信度を ccnr のように記す．そして以下のルールに基づいて各属性に結合している最適な音声を決定する．

(1) max(cccp ) ≥ max(ccs q ) のとき
i = arg max(cccp )

(23)
˜
(24)
j = arg max(ccsq \ {dsqi })˜ ri } \ {dn˜ rj })(25)
k = arg max(ccnr \ {dn自己増殖型ニューラルネットワークを用いたヒューマノイドロボットの発達的言語獲得

503(2) max(cccp ) < max(ccsq ) のとき
j = arg max(ccsq )(26)

˜ pj })(27)
i = arg max(cccp \ {dc
˜ ri } \ {dn˜ rj })(28)
k = arg max(ccnr \ {dnただし，各属性に関する既知度が 0 であるとき，すなわ
ち kcp = 0, ksq = 0, knr = 0 であるとき，その属性に関する音声は不明であるものとする．

2・7 知識欲を利用した概念獲得
人間は何も知らない物体を提示されたとき， これは何? や これの呼び名は何? といった質問をする．ロ
ボットにもこのような知識欲を持たせることが望まれる．
ロボットが知識欲を持つことで，能動的に学習に参加す
ればより効率的に学習が進むと考えられる．具体的には，システムが各物体に関する既知度 (式 (20)) を算出した

図 12 IKR1 のメンタルモデル (メンタルモデルでは IKR1 の前に置かれている物体の数や位置，物体の特徴 (色，形状) といった情報を記録している．)

後，既知度の低い物体 oi を選択し，この物体に関する情報 (発話) をパートナーに要求する．情報の要求は，ロな役割を果たしていることが [Piaget 56, Hsiao 03] で報ボットが特定の物体をグリッパで指し示すことで行われ告されている．

る．ここで，ロボットの指し示しが物体に関する発話をメンタルモデルには，ロボットの前に置かれている物

要求していることを，パートナーは理解しているものと体の数や位置，物体の特徴 (色，形状) といった情報や，する．

各物体に関して発話された音声情報が記憶される．また

上記の既知度の低い物体 oi は式 (29) に基づいて選択される．

メンタルモデルではロボットの視点から見た，パートナーと物体の位置関係の情報 (三次元座標) が記録される．こnE(Δ(okj , okj |(oi , s)))i = argi max

(29)

j=1
n

1
= argi max
Δ(okj , okj |(oi , s1 ))
t
+
1
j=1
+ Δ(okj , okj |(oi , s2 ))+···+ Δ(okj , okj |(oi , st ))+ Δ(okj , okj |(oi , st+1 ))れらの情報を保持することで，ロボットはパートナーと物体に関する知識 (例えば，ロボットと人間の間に置かれている物体の位置など) を共有することが可能となる(図 13)．さらにメンタルモデルは，時間が経つにつれて変化するワークスペースの状況 (例えば，ある時刻にロボットの前に新しい物体が置かれる状況など) を把握する役割を担う．まず，ステレオカメラ (ロボットの目) から連続的にワークスペースの情景が入力される．ここでロボットは異なるフレーム間で検出された物体が，同じ物体かどうかを認識する必要がある．このため提案手法

式 (29) において以前に記憶した単語を s，その単語の合では，前場面のフレームと現場面のフレームの差分を算計数を t，音声クラスの数を j ，i 番目の物体の既知度を出し，現場面の物体の特徴と前の場面の物体の特徴を比oki とする．また sj+1 は未知の音声を意味する．未知の音声が入力された場合，s の合計数が t から t + 1 になる．
なお E は t + 1 個の単語に関する期待値，Δ は変化量を意味する関数である．Δ は (oi , s) が与えられる前後での，okj の差分を示す．|(oi , s) は 「(oi , s) を与えられた

較する．特徴を比較して前フレームの物体の特徴と現フ場合に」 という意味を表す演算子である．

報は，カメラの座標系からロボットの絶対座標系に変換

レームの物体の特徴が異なっている場合，現場面の物体の特徴を新たなメモリとして更新する．
ここで物体の位置と視覚特徴の情報は，新しい物体が入力されるごとに更新される．観測された物体の位置情される．以上の操作により，ロボットは現在のワークス

3. メンタルモデル
ロボットの内部の世界を構築するために，メンタルモデ

ペースの状況を把握する．

4. 実

験

ルを定義する (図 12)．メンタルモデルは [Weng 01, Royれている．またメンタルモデルは人間の内部にも構築さ

4・1 追 加 学 習 実 験
本実験では，色が 9 種類，形状が 8 種類の合計 72 種類

れており，人間同士のコミュニケーションにおいて重要の物体を用いて，提案システムにおいてオンラインの追04] で提案されたロボットの内部世界の表現にも利用さ504

人工知能学会論文誌

表 1

物体と発話された言語が正しく関連付けられた割合 ( % ).

STAGE
NUMBER OF
OBJECTSCOLORSHAPEOBJECT

図 13 メンタルモデルの動作 (メンタルモデルにはロボットの視点から見た，パートナーと物体の位置関係の情報 (三次元座標) が記録される．これらの情報を保持することで，ロボットはワークスペース内の物体の位置などを理解する．)

22 巻 5 号 D（2007 年）

1st
12

2nd
20

3rd
30

4th
42

5th
56

6th
72

100
100
100

100
100
95.00

100
100
100

100
100
95.24

100
100
98.21

100
100
95.83

の名称：OBJECT) の関係の正当性を評価する．12 個の物体に関連する単語をロボットが正しく発話出来た場合に，概念を獲得したと見なし正答とする．表 1 の 1 列目に正答率の結果を示す．

[STEP 7.] 次に，色，形状ともに 1 種類ずつ増やし，計 5
種類の色，4 種類の形状を用意する (この操作で新しい 8個の物体が追加され，計 20 個の物体が用意される)．ここで新たに追加された 8 物体に対して，STEP 2 と STEP
3) を行う．
[STEP 8.] STEP 6. と同様に 20 個の物体と，それらに関する単語の関係の正当性を評価する．評価の結果を表

1 の 2 列目に示す．

図 14

追加学習実験で用いた学習対象の例[STEP 9.] さらに，色の数，形状の数をそれぞれ(6, 5), (7, 6), (8, 7), (9, 8) と増加させて，STEP 7 と STEP
8 を行う．最終的に，72 個の物体に対して認識率を算出した．

加的な学習が可能であることを示す．実験で用いた物体の例を図 14 に示す．以下に実験の具体的な手順を示す．

[STEP 1.] 72 の物体の中から，4 種類の異なる色と 3
種類の異なる形状を持つ 12 個の物体をランダムに選択

4・2 追加学習実験の結果
表 1 より最初の段階 (1st) では，学習した物体に関連する全ての単語を認識 (概念を獲得) した．実験の結果を総じて，多数の物体を追加的に学習した場合でも，シスする．

テムは物体を高い精度で認識しており，オンラインでの[STEP 2.] 選択された 12 個の物体から 4 個の物体を選追加学習機能を有することを示した．

択し，それをロボットに見せる．それぞれの物体について，パートナーは物体を指差しながら色，形状，名前 (3つの特性) を発話する．

また本実験では，ロボットが誤り続けた場合にも，1 物
体に付き 1 度の修正しか行わなかった．それにもかかわらず，本実験では物体の名称を誤答する場合があったものの，物体に関する色，形状に関する単語については一[STEP 3.] 物体が示されている状態で，ロボットは対応する言葉 (色，形状，名前) を発話することによって反応度も誤答しなかった．

する． ロボットが発話する内容が間違いだった場合，再度パートナーはその物体を指差しながら，正しい言葉を

4・3 知識欲の有効性に関する実験
次に 2・7 節で述べた「知識欲」の有効性に関する実験発話する．ここで，内容の修正を行うのは，1 物体に付を行った．この実験では，学習メカニズムに「知識欲」を

き 1 回限りとする．

導入することで学習効率にどのような影響を与えるかを[STEP 4.] 残り 8 個の物体から 4 個の物体を選択し，STEP 2 と STEP 3 の操作を行う．

検証した．使用した物体は図 15 に示す，色が 4 種類，形

[STEP 5.] 残りの 4 個の物体を選択し， STEP 2 とSTEP 3 の操作を行う．この時点で，12 個の物体に関連する 36(12 個× 3 個の特性) 単語が入力されたことになる．

[STEP 6.] 学習に用いた 12 個の物体と，それらに関連する 3 種類の単語 (色：COLOR，形状：SHAPE，物体状が 4 種類の合計 16 種類で，これらの物体から毎回ランダムに 4 種類の物体を選択しロボットの前に置いていく．
そして，ロボットの前に置いた 4 つの物体から，以下の戦略のもとに音声を入力する物体を一つだけ選択する．

(戦略 A) ロボットが，各物体についての既知度を基準
として 1 つの物体を選択する．
(戦略 B) 教示者が任意の物体をランダムに選択する．
選択した物体に対して，物体の色，形状，および物体

自己増殖型ニューラルネットワークを用いたヒューマノイドロボットの発達的言語獲得

図 15 知識欲を検証する実験で用いた学習対象の物体

図 16

505

認識率 (横軸は追加された物体の数，縦軸はその数の物体に対する認識率を示す．)の名称に関する教示 (発話) を行い，教示が完了したら，4 つの物体を一旦ワークスペースから外す．以上，16 種
類の物体の内から 4 種類の物体をランダムに選択するとムの課題について議論する．次に，日常生活環境下におころから，物体をワークスペースから外すまでの操作をいレベルの目標を実現するために，必要な機能について

1 サイクルと考え，全部で 16 サイクルの操作を行った．
ここでロボットの前に置いた 4 つの物体に対して音声を議論する．

教示する前に，既知度及び音声結合正確率の測定を毎回

5・1 提案システムの課題行った．さらに，16 サイクルの操作が完了した後に，全けるヒューマノイドロボットの言語獲得といったより高提案システムの機能は，音声情報処理モジュールと視ての物体に対して既知度と音声結合正確率を測定した．

覚情報処理モジュールの主要な 2 つの機能に依存する．

なおここで音声結合正確率とは，測定対象となっている

つまりこの 2 つの機能に問題が生じた場合，システムと複数の物体の色，形状，および物体の名称をロボットが発話という形状で正確に出力できた場合の割合である．

して破綻することになる．本研究では，比較的簡易な画
像 (背景が黒) および音声 (連続音声でなく分節化された単語を使用) を用いて実験を行った．このことにより起4・4 知識欲に関する実験結果
以上の実験を二回行った．二回の実験から得られた結果の平均を図 16 に示す．実線が (戦略 A) を取り続けたき得る問題および必要な機能を，音声情報処理モジュー
ルと視覚情報処理モジュールに分けて議論する．

§ 1 音声情報処理モジュールにおける課題

場合，点線が (戦略 B) を取り続けた場合の結果を示し

本研究の目的はロボットと教示者のインタラクションている．図 16 から，ロボットに教示の対象を求めさせを通じて，視覚情報および音声情報に関する事前知識をることが学習効率の向上に寄与していることが認められ全く持たない状態から (訓練データを学習に用いずに)，る．これは，ロボットがオンラインで追加的に言語獲得を行うことであった．こいる

自らの知識の範囲を理解してことを示している．

提案システムでは，ロボットにグリッパを用いた指し示しの機能を持たせることで，ロボットにも積極性およの目的を達成するために，音声に関して音素モデルの構
築や，訓練データを用いた学習器の構築を必要としない手法として DTW を用いた．

び能動性を備えさせ， より自然な 学習を行うことを試

音声情報処理に用いられる他の代表的な手法に HMM

みた．この結果，学習効率の向上を確認した．ここで注があるが，HMM では一般に多数の訓練データを用いた意したいのが，知識欲がなかった場合 ((戦略 B) をとりバッチ学習や，入力音声に応じたトポロジー (状態数な続けた場合) でも提案システムは追加的に概念を獲得可

どのパラメータ) の決定を必要とするため，本研究の目能であるということである．総じて知識欲は，提案シス的には適さないと考えた．[Roy 02, Iwahashi 04] など多テムの学習効率を向上させる役割を担っている．本研究

くの研究では HMM を用いて音声処理を行っているが，では今後のロボットの知能学習において，人間とロボッ本研究では上記の理由により HMM を用いなかった．

トの間に提案システムのような双方向的なコミュニケー

しかし DTW は，HMM と異なり特徴空間上の分布をションを導入することの重要性を主張しておきたい．

モデル化出来ないため，結果的に音声の認識精度が低下する．例えば [中川 93] では，言語獲得において連続音

5. 考

察

声データから単語を抽出する手法に DTW(DP マッチング) を用いた結果，充分な抽出精度が得られなかったと

実験 1,2 の結果より，事前知識のない状態からの追加報告されている．これらの背景を踏まえ，今後，事前知的概念 (言語) 獲得が可能であることを示した．以下では識のない状態からの連続音声の頑健な学習・認識，およ大きく 2 つの節に分けて考察を行う．まず，提案システ

び文法の獲得を実現する上で，DTW に代わる手法の導506

人工知能学会論文誌

22 巻 5 号 D（2007 年）

入を検討する必要がある．

のものの概念を追加的に学習・獲得させた．実験 2 では，§ 2 視覚情報処理モジュールにおける課題

ロボットから人間に積極的に情報を求めることがロボッ

特徴抽出部における課題

トの学習機能の効率化に役立つことを示した．

本研究では実験を室内で行った上，実験では黒い背景の今後，5 章で述べた課題を解決し，日常生活環境にお上に物体が映っている画像を用いた．しかし日常生活環

いて発達的に言語獲得を行えるシステム (ヒューマノイ

境では，物体の背景は多様であり，室外であれば日照条

ドロボット) の実現を目指す．

件も異なる．この場合，本実験のように物体の形状を正確に切り出すことが困難となる．よって日常生活環境下においても，物体を正確に切り出し，物体の特徴を抽出可能な画像処理手法が必要である．

謝

辞
本研究の実施にあたり NEDO 産業技術研究助成事業

から支援を頂きました．記して感謝いたします．

学習器 (SOINN) における課題
今回の実験で用いた入力視覚情報は簡易なものであり，各♦ 参 考 文 献 ♦クラスタは十分に分離可能であった．しかし一般に，日常生活環境で得られる視覚情報を，SOINN を用いてクラスタに分類することは容易ではない．これは，カメラから得られる画像情報に大量のノイズが含まれたり，クラスタ間に大きなオーバーラップが生じる可能性があるためである．こうした問題にも対処出来るよう，SOINNの機能を拡張する必要がある．

5・2 言語獲得における課題
今回の提案システムでは，名詞しか扱うことが出来な
い．これより今後，名詞以外の概念 (例えば，「近づける」，「遠ざける」，「またぐ」などの動詞) の獲得も可能とする
よう提案手法を拡張する必要がある．また提案システム
では予め分節化した単語を処理対象としており，連続的な発話に対応していない．よってこの点に関しても拡張を行い，連続した発話を単語単位に分節化し，単語の順
序から文法の構造を獲得可能なシステムの実現を目指す．
また本研究では，物体は 3 つの属性 (名称，形状，色)のみを有すると仮定し，パートナーもこの 3 つの属性のいずれかについて発話するとした．しかし一般に人間は，物体に対してこの 3 つの属性以外の呼称を用いる場合もある．こうした場合にも的確に対応出来るよう，システ
ムを拡張する必要がある．
これに加え，本研究では 1 つの属性に付き 1 つの単語が対応すると仮定した．しかし現実的には，ある属性とそれを表す単語が 1 対 1 に対応しない場合が想定される．
この場合，SOINN 空間の 1 つのクラスタに対し複数の音声を対応させる必要がある．今後，こうした問題にも対応出来るよう，システムを拡張する必要がある．

6. 結

論

本研究では，オンラインでリアルタイムに動作する概念獲得システムを提案した．このシステムでは，音声情
報と視覚情報を統合することにより，発達的に言語とその意味を学習する．
実験 1 では，パートナーとのコミュニケーション (指差しによる教示) を通じ，ロボットに色や形状や物体そ[Elman 93] Elman, J.: Learning and Development in Neural networks: The Importance of Starting Small, Cognition,
Vol. 48, pp. 71–99 (1993)[Fritzke 95] Fritzke, B.: A Growing Neural Gas Network
Learns Topologies, in neural information processing systems(NIPS), pp. 625–632 (1995)[Gersho 92] Gersho, A. and Gray, R. M.: Vector Quantization and Signal Compression, Kluwer, Boston (1992)[Gorin 99] Gorin, A. L., Petrovksa-Delacretaz, D., Riccardi, G., and Wright, J.: Learning Spoken Language without Transcriptions, IEEE Workshop Speech Recognition andUnderstanding (1999)[Harnad 90] Harnad, S.: The Symbol Grounding Problem,
Physica, Vol. D, No. 42, pp. 335–346 (1990)[Hsiao 03] Hsiao, K., Mavridis, N., and Roy, D.: Coupling
Perception and Simulation: Steps Towards Conversational
Robotics, in Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (2003)[Imai 02] Imai, S., Kobayashi, T., Tokuda, K., Masuko, T.,
and Koishida, K.: Speech Signal Processing Toolkit: SPTK
Version 3.0 (2002)[Iwahashi 03] Iwahashi, N.: Language Acquisition through A
Human-robot Interface by Combining Speech, Visual, andBehavioral Information, Information Sciences, pp. 109–121(2003)[Iwahashi 04] Iwahashi, N.: Active and Unsupervised Learning of Spoken Words through A Multimodal Interface, inProc. 13th IEEE Workshop Robot and Human Interactive
Communication, pp. 437–442 (2004)[Myers 81] Myers, C. S. and Rabiner, L. R.: A Comparative Study of Several Dynamic Time-warping Algorithms
for Connected Word Recognition, The Bell System Technical Journal, Vol. 60, No. 7, pp. 1389–1409 (1981)[Oates 00] Oates, T., Eyler-Walker, Z., and Cohen, P. R.:
Toward Natural Language Interfaces for Robotic Agents:
Grounding Linguistic Meaning in Sensors, in Proceedingsof the Fourth International Conference on Autonomous
Agents, pp. 227–228 (2000)[Piaget 56] Piaget, J. and Inhelder, B.: The Child’s Conception of Space, Routledge and Kegan Paul, London (1956)[Regier 96] Regier, T.: The Human Semantic Potential:
Spatial Language and Constrained Connectionism, MIT
Press, MA (1996)[Roy 02] Roy, D. and Pentland, A.: Learning Words from
Sights and Sounds: A Computational Model, Cognitive Science, Vol. 26, No. 1, pp. 113–146 (2002)[Roy 04] Roy, D., Hsiao, K., and Mavridis, N.: Mental
Imagery for a Conversational Robot, IEEE Transactions
On Systems, Man, And Cybernetics-PART B: Cybernetics,
Vol. 34, No. 3, pp. 1374–1383 (2004)[Shen 06] Shen, F. and Hasegawa, O.: An Incremental Network for On-line Unsupervised Classification and Topology Learning, Neural Networks, Vol. 19, No. 1, pp. 90–106507

自己増殖型ニューラルネットワークを用いたヒューマノイドロボットの発達的言語獲得(2006)[Siskind 96] Siskind, J.: A Computational Study of Crosssituational Techniques for Learning Word-to-meaning Mappings, Cognition, Vol. 61, No. 1-2, pp. 1–38 (1996)[Siskind 00] Siskind, J.: Learning Word-to-Meaning Mappings, in Broeder, P. and Murre, J. eds., Models of Language
Acquisition: Inductive and Deductive Approaches, pp. 121–
153, Oxford University Press (2000)[Steels 97] Steels, L. and Vogt, P.: Grounding Adaptive Language Games in Robotic Agents, in Harvey, I. and Husbands, P. eds., ECAL97, Cambridge, MA (1997), MIT Press[Steels 02] Steels, L., Kaplan, F., McIntyre, A., andVan Looveren, J.: Crucial factors in the origins of wordmeaning, in Wray, A. ed., The Transition to Language,
chapter 12, pp. 252–271, Oxford University Press, Oxford,
UK (2002)[Steels 03] Steels, L. and Baillie, J.-C.: Shared Grounding of
Event Descriptions by Autonomous Robots, Robotics andAutonomous Systems, Vol. 43, No. 2-3, pp. 163–173 (2003)[Thrun 95] Thrun, S. and Mitchell, T.: Learning One MoreThing, in Proceedings of IJCAI, Montreal (1995)[Vogt 05] Vogt, P.: The Emergence of Compositional Structures in Perceptually Grounded Language Games, Artificial
Intelligence, Vol. 167, No. 1-2, pp. 206–242 (2005)[Wachsmuth 00] Wachsmuth, S., Socher, G., BrandtPook, H., Kummert, F., and Sagerer, G.: Integration of Vision and Speech Understanding Using Bayesian Networks,
Videre: A Journal of Computer Vision Research, Vol. 1,
No. 4, pp. 61–83 (2000)[Weng 01] Weng, J., McClelland, J., Pentland, A.,
Sporns, O., Stockman, I., Sur, M., and Thelen, E.:
Autonomous Mental Development by Robots and Animals,
Science, Vol. 291, No. 5504, pp. 599–600 (2001)[Yu 04] Yu, C. and Ballard, D.: On the Integration of
Grounding Language and Learning Objects, in Nineteenth
National Conference on Artificial Intelligence (AAAI ’04)
(2004)[中川 93] 中川聖一, 中西宏文, 古部好計, 板橋光義：視聴覚情報の統合化に基づく概念の獲得, 人工知能学会論文誌, Vol. 8, No. 4,
pp. 449–508 (1993)〔担当委員：佐藤 理史〕

2006 年 10 月 18 日 受理

著

者

紹

介

岡田

将吾

2003 年横浜国立大学工学部知能物理工学科卒業，2005
年 東京工業大学大学院総合理工学研究科 知能システム科学専攻修士課程修了．現在，同大学博士課程在学中．

賀

小淵

2002 年浙江大学 情報工学科卒業， 2006 年 東京工業大学大学院総合理工学研究科 知能システム科学専攻修士課
程修了．人工知能，ヒューマノイドロボット，言語獲得に関する研究に従事，現在，日本電気（株）勤務．

小島量

2005 年 東京工業大学工学部情報工学科 計算工学専攻卒業，2005 年 東京工業大学大学院総合理工学研究科知能システム科学専攻修士課程修了．現在，みずほ証券（株）
勤務．

長谷川

修（正会員）

1993 年東京大学大学院電子工学専攻博士課程修了，博士（工学），同年電子技術総合研究所入所，1999 年から 1 年
間米国カーネギーメロン大学客員研究員，2001 年産業技術総合研究所主任研究員，2002 年 東京工業大学像情報工学研究施設助教授，JST さきがけ研究 21 研究者（兼任）．