日本ロボット学会誌 Vol. 30 No. 2, pp.213〜224, 2012

213

学術・技術論文

拡張モバイルマニピュレーションのための新規物体の学習
中 村 友 昭∗1 アッタミミ ムハンマド∗1 杉 浦 孔 明∗2 長 井岩 橋 直 人∗2 戸 田 智 基∗3 岡 田 浩 之∗4 大 森 隆

隆 行∗1
司∗4

An Extended Mobile Manipulation Robot Learning Novel Objects
Tomoaki Nakamura∗1, Muhammad Attamimi∗1 , Komei Sugiura∗2 , Takayuki Nagai∗1 ,Naoto Iwahashi∗2 , Tomoki Toda∗3 , Hiroyuki Okada∗4 and Takashi Omori∗4
It is convenient for users to teach novel objects to a domestic service robot with a simple procedure. In this paper,
we propose a method for learning the images and names of these objects shown by the users. The object images aresegmented out from cluttered scenes by using motion attention. Phoneme recognition and voice conversion are used
for the speech recognition and synthesis of the object names that are out of vocabulary. In the experiments conductedwith 120 everyday objects, we have obtained an accuracy of 91% for object recognition and an accuracy of 82% for
word recognition. Furthermore, we have implemented the proposed method on a physical robot, DiGORO, andevaluated its performance by using RoboCup@Home’s “Supermarket” task. The results have shown that DiGORO
has outperformed the highest score obtained in the RoboCup@Home 2009 competition.
Key Words: Mobile Manipulation, Object Learning, Object Recognition, Out-of-vocabulary, RoboCup@Home

複雑なタスクである．

1. は じ め に

特に，これまでのヒューマノイドロボットでは，物体の学習

モバイルマニピュレーションは，家庭内における基本的なタは専門的な知識を持っている者による操作が必要であった．例

スクの一つであり，生活支援ロボットにとって必要不可欠な能

えば，画像学習では画像中の物体領域を人手で切り出す必要が力である．そのため様々なモバイルマニピュレーション可能なあったり，物体名の学習では内部辞書へ物体名の音素列を登録

ヒューマノイドロボットが研究開発されている [1]〜[6]．さらに，する必要があった．このような操作を一般ユーザが行うのは困

RoboCup@Home [7] や Mobile Manipulation Challenge [8]，Semantic Robot Vision Challenge [9] などのように，そのよ難である．さらに，家庭内には，その家庭特有の物体があり，新うなロボットを評価する試みも行われている．

じめロボットへ登録することはできない．そのため，一般ユー

たな物体も日々増えていく．そのすべての画像と名前をあらか

本稿では，ロボットに関する専門的な知識を持たない一般ユー

ザが簡単な操作で物体をロボットへ教示できる必要がある．そザであっても扱える，音声指示による自然なインタラクション

こで，本論文では，新規物体を簡単なインタラクションで学習・を用いたモバイルマニピュレーションロボットの実現を目的と認識することのできる手法を提案する．提案手法ではユーザがする．このような音声指示によるモバイルマニピュレーション

ロボットに物体を見せながら，音声によって「これの名前は X」

を「拡張モバイルマニピュレーション」と呼ぶ．拡張モバイル（X は物体名）とロボットへ教示することを想定する（Fig. 1

マニピュレーションは，生活支援ロボットには必要不可欠な能左）．このような操作であれば，一般ユーザでも簡単にロボット力であり，ナビゲーション，マニピュレーション，物体名の学へ教示することができる．

習・認識，物体画像学習・認識など様々な能力の統合が必要な
原 2011 年 1 月 5 日
電気通信大学
情報通信研究機構∗3
奈良先端科学技術大学院大学
∗4
玉川大学
∗1
UEC Tokyo
∗2
NICT
∗3
Nara Institute of Science and Technology∗4
Tamagawa University
 本論文は有用性で評価されました．
∗1∗2

日本ロボット学会誌 30 巻 2 号

Fig. 1 Left: User teaches object to robot. Right: The robot
recognizes and utters OOV word

—97—

2012 年 3 月

214

中村友昭

アッタミミ ムハンマド

杉浦孔明

長井隆行

岩橋直人

戸田智基

岡田浩之

大森隆司

しかし，ロボットがこのようにして新規物体を学習する際にする研究が行われている [16]〜[18]．文献 [16] では，事前に切は，三つの問題が存在する．まず一つめの問題点として，物体り出す領域をおおまかに教示しなければならない．文献 [17] で名の認識が挙げられる．通常の音声認識では，あらかじめ単語

は，領域を自動的にセグメンテーションできるが，どのセグメの音素列を内部の辞書に登録することで認識を行っている．しントが覚える物体であるかは判断することができない．また，かし，固有名詞や，各家庭固有の呼び名なども存在しており，こ

文献 [18] では，色・三次元情報・動きを用いて高精度に切り出のような単語をあらかじめ登録することは困難である．本稿ですことができるが，物体領域の内部の点をあらかじめ与えなけは，このようなあらかじめ登録されていない未登録語を OOV

ればならず，さらに処理時間が長いといった問題点もある．ロ（Out-of-vocabulary）と表記する．二つめの問題点は，人手でボットが物体を学習する際には，様々な方向から物体を観察し，登録されていない単語の発話である．ロボットは「X を持って数十枚の画像を切り出す必要がある．そのため，すべての画像

来ます．いいですか？」というように物体名を発話し，人とイに対して物体領域を人手で与えるのは時間的コストが大きい．

ンタラクションをとれることが望ましい（Fig. 1 右）．特に拡張

一方，提案システムでは，人がロボットへ物体を教示するこモバイルマニピュレーションタスクでは，音声による指示を行とを想定しているため，人が物体を動かすことで覚えるべき領うため，音声認識の誤りが起こり得る．ロボットによる確認発域を示し，物体の切り出しを行う．切り出した画像から色ヒス

話をすることにより，この誤りを訂正することができる．しかトグラムと Scale Invariant Feature Transform（SIFT）を計し，音声の認識同様，通常のロボットの発話システムでは，内算しデータベースに登録する．認識時には，これらの情報のマッ部辞書に登録されていない単語を発話することはできない．三チングにより物体認識を行う．

つめの問題点として，物体学習時の画像中からの物体領域の抽

最終的にこれらの提案手法をロボットへ実装し，拡張モバイ

出が挙げられる．ロボットが物体を覚える際には，画像中のどルマニピュレーションタスクを行う．その際の評価として，世こに覚えるべき物体があるのかを判断し，背景の中から物体の界的に標準化されたタスクを用いることが重要であると考える．

みを切り出す必要がある．

本論文では，拡張モバイルマニピュレーションタスクとして，ロ

一つめの問題に対して，発話に含まれる未登録語を抽出する

ボカップ＠ホームリーグ [7] で行われているスーパーマーケッ

手法が提案されている [10] [11]．これにより，未登録語の音素

トタスクを評価タスクとして用いる．ロボカップ＠ホームリー

列を得ることができるが，正しい音素列が得られるとは限らな

グとは，日常環境で動作するロボットの能力を競う部門であり，い．すなわち，この音素列をそのまま発話に用いることはでき

スーパーマーケットタスクは，Fetch & Carry タスクを標準化ない．二つめの問題に対して，複数回言い直しをすることによっしたものである．

て，正しい音素列を得る研究が行われている [12] [13]．これにロボカップ＠ホーム以外にも，日常環境においてロボットを

より，音素認識誤りを低減できるが，必ずしも正しい音素列をが得られるとは限らない．さらに，一般ユーザが簡単な操作で評価するタスクが行われている [8] [9]．Semantic Robot Vision
Challenge [9] は，ロボットの物体探索の能力を評価している．

教示することを考えると，一度の発話から学習できることが望

しかし，このタスクはマニピュレーション能力に関しては評価

ましい．正しい音素列が学習できなかった場合に，ユーザにスしていない．さらに 2009 年の参加チームは 3 チームだけであペルを発話させることで未登録語を学習する研究も行われていして，テンプレート文からの未登録語の切り出しによりこれをり，世界標準のタスクとは言えない．一方，2010 年の International Conference on Robotics and Automation で開催された Mobile Manipulation Challenge [8] では，ロボットのモバ
イルマニピュレーション能力を評価している．しかし，Mobile
Manipulation Challenge への参加チームは 4 チームだけであ解決する．切り出された未登録語を物体名として学習することり，こちらも世界標準のタスクとは言い難い．さらに，ルールもで，その物体名の認識を行う．

厳密に規定されておらず，このタスクを評価タスクに使用するる [14]．しかし，日本語や中国語などの言語では，スペルの認識による未登録語の学習は時間的コストが大きい．
これに対して，我々の提案システムでは，一つめの問題に対二つめの問題に対しては，認識された音素列を Text-to-Speechことはできない．これらのタスクに対して，ロボカップ＠ホーム（TTS）システムを用いることで発話することが考えられる．しは，ルールや得点などが厳密に規定されており，公開されていかし，音素正解精度は 80%程度であり，正しい音素列を得るこる．さらにロボカップは世界最大規模の競技会であるため，他とは難しい．そのため，例えば「ブブゼラ」が「ウゼア」のよのタスクに比べ多くのチームが参加しており†，多くのロボット

うに発話されてしまう．もし，ユーザが「ブブゼラを持ってきと比較することができる．このような理由から，ロボカップ＠て」とロボットへ命令し，ロボットが「ウゼアを持ってきます．

ホームは世界標準の評価タスクに適していると考えられる．さいいですか？」という確認発話をした場合，ユーザは「ブブゼらに，ロボカップ＠ホームでは，モバイルマニピュレーション

ラ」が正しく認識されたかどうかを判断することが難しくなる．

能力だけでなく，人の追跡や顔の学習・認識など様々なロボット

そこで，切り出された未登録語の音声を，Eigenvoice Gaussianの能力を評価している．そのため，ロボカップ＠ホームは，ロMixture Models（EGMMs）[15] により声質変換することで，ボットの総合的な能力の評価として使用可能である．
本研究の新規性は以下の三つである．

人の声をロボットの声へと変換し，物体名を発話する．
また三つめの問題に対して，画像のセグメンテーションに関（1）動きアテンションによる物体領域の切り出し
人が物体をロボットへ教示する際に，動きを手がかりとし，†物体の切り出しを行う．詳細は 3 章で述べ，6. 1 節にてそ2010 年の世界大会では 24 チームが参加した．

JRSJ Vol. 30 No. 2—98—

Mar., 2012

拡張モバイルマニピュレーションのための新規物体の学習

215の精度を評価する．
（2）声質変換による未登録語の発話

Eigenvoice Gaussian Mixture Models（EGMMs）[15] により，人の音声をロボットの音声へと変換し，未登録語を発話する．これにより，単語の音素系列が正しく得られていない場合であっても，ロボットは一度聞いた単語を正しく発話することが可能となる．詳細は，4 章で述べ，6. 4 節にてその発話を評価する．
（3）スーパーマーケットタスクを用いたロボットの評価
日常環境におけるロボットの拡張モバイルマニピュレーショ
ンタスクとして，ロボカップ＠ホーム [7] で行われている
スーパーマーケットタスクを用いる．タスクの詳細は次章で述べ，7 章にてそのタスクを用いて，提案手法を実装したロボットの評価を行う．

2. 「スーパーマーケット」タスク
スーパーマーケットタスクはロボカップ＠ホームリーグ内の一つの競技で，Fetch & Carry タスクを標準化したものであFig. 2 Flowchart of Supermarket task

る．このタスクを評価タスクとして用いる利点は以下のとおりである．

• ルールとスコアが標準化されている• 世界大会での各チームのスコアが公開されている• 世界最大規模の大会であり† ，比較対象の数が十分である

おり，家庭用ロボットのベンチマークとして適していると考えられる．
具体的なタスクの流れを Fig. 2 に示す．また，公式のルール

すなわち，実際に世界大会に参加したチームのスコアと比較す

ブック [19] には以下のように記されている．
まず，審判がロボットの使用方法を知らないユーザをランダることで，ロボットの評価を行うことができる．
スーパーマーケットタスクの流れは次のとおりである．まず，ムに選択する．ユーザは，ロボットに 3 個の物体を棚から持っ事前にロボットが物体の画像と名前を学習する必要がある．実てくるよう指示を出し，ロボットは 10 分以内にそれらの物体を際のスーパーマーケットタスクでは，物体の教示方法は規定されユーザの元へ届けなければならない．ただし，ロボットはユーていない．しかし，ロボカップ＠ホームで使用する物体には，そザへ自身の使用方法の説明を行うことができる．また持ってくの国特有の物体なども含まれており，さらに物体をロボットへ教る三つの物体のうち一つは標準物体からチームが選択し，残り示する時間も限られているため，簡単な操作でロボットへ教示での二つは標準物体からランダムで選択される．物体は，審判がきる提案手法は有効であるといえる．本論文では，タスクの開始

選択した棚に置かれる．これらの棚はあらかじめチームが選択前にユーザが物体を見せながら，その名前を発話することで，ロしたロボットが把持可能な高さの棚から選択される．
配点は以下のとおりである．

ボットはその場で物体の見た目と名前の学習を行う．この際に，未登録語の学習と，シーンからの物体の切り出しが必要となる．
スーパーマーケットタスクが開始されると，まずユーザが特1）持ってくる物体の理解：ロボットが持ってくる物体を正しく理解することができれば，各物体につき 50 点が付与さ定の物体を持ってくるようにロボットへ指示をする．この際には，学習した未登録語の認識が必要となる．ロボットが，指定された場所へ行き，指定された物体を探し，その物体を把持し，ユーザの元に物体を届けることができればタスク成功となる．
また，タスク中には，「X を持ってきます．いいですか？」のよ
うな確認発話など，ユーザとのインタラクションのために未登録語の発話なども必要となる．タスクで使用される物体の中には，似た名前の物体が含まれることもあり，音声認識を誤ることがあるため，このような確認発話を正しく行えることも重要となる．このようにスーパーマーケットタスクは，物体学習・認識，未登録語の学習・認識・発話，ナビゲーション，マニピュ
レーションなど家庭用ロボットに必要不可欠な能力が含まれて†2010 年のロボカップ＠ホームの世界大会 [7] では 24 チームが参加した．
一方，Semantic Robot Vision Challenge [9] では 3 チーム，Mobile
Manipulation Challenge [8] では 4 チームのみの参加であった．

日本ロボット学会誌 30 巻 2 号

れる．

2）物体認識：物体を発見することができた場合，各物体につき 150 点が付与される．
3）把持：物体を把持することができれば各物体につき 100 点が付与される．また物体を 5 秒以上持ち上げることができ
れば各物体につきさらに 100 点が加算される．
4）受け渡し：ユーザの元へ正しく届けることができれば，各物体につき 100 点が付与される．
5）異なる高さの物体把持：異なる高さの棚から物体を把持することができれば，200 点が付与される．
6）マルチモーダル入力：音声に加えて，意味のあるジェスチャを使用した場合，300 点が付与される．
7）オンボードマイクロフォン：ヘッドセットなどを使用せず
オンボードのマイクロフォンで音声認識を行った場合，50—99—点が付与される．

2012 年 3 月

中村友昭

216

アッタミミ ムハンマド

杉浦孔明

長井隆行

岩橋直人

戸田智基

岡田浩之

大森隆司

ここでは，ジェスチャの認識は本論文の趣旨ではないため，6）問題が存在する．しかし，認識時には，人が物体を持っているは行わない．すなわち，本実験における得点の最大値は 1,750とは限らないため，動きアテンションによる抽出を使用するこ点となる．

とができない．そこで，まずロボットが見ているシーン中から平面領域を検出し，その平面上に置かれている物体を候補領域

3. 複雑な背景からの物体の切り出しとして切り出す．以下に，物体の抽出処理についてまとめる．

3. 1 動きアテンションによる未知物体の切り出し（1）シーン内の三次元座標を取得

人がロボットに物体を教示する際の画像処理の問題として，複（2） Randomized Hough Transform [20] により最大の平面を，雑な背景からの物体領域の切り出しが挙げられる．提案手法で天板や棚板として検出

は，ユーザが物体を持ちロボットへ見せることで，物体の学習（3）平面に対応する三次元座標を取り除くをすることを想定している．そのため，動きのあるひとかたま（4）残りの座標を，平面上へ射影するりの物体に注意を向けることで物体を抽出する動きアテンショ（5）射影した点群を，連結成分分析により塊に分離し，十分なンを用いる．これは，画像中の動きを検出し，その動きのある

大きさの塊を物体として抽出する

領域の色や奥行きの情報を基に最終的な物体領域を推定するもしかし，必ずしも物体が平面上に置かれているわけではなく，まのである．動きアテンションの概要を Fig. 3 に示す．まず，動た平面上に物体が複数置かれている場合などは平面の検出が困

き検出により画像中から物体の初期領域 M (x, y) を決め，色相難となる．そこで，色ヒストグラムと距離情報を用いたアクティ

画像 H(x, y) から色（Hue）ヒストグラム fH (h) と，距離画

ブ探索 [21] により物体の候補領域の切り出しを行う．得られた像 D(x, y) から距離のヒストグラム fD (d) を計算する．h と d

一つの候補領域に対して，データベース内の各物体の各フレー

はそれぞれヒストグラムのインデックスを表している．これら

ムの色情報の比較により物体の候補の限定を行う．色情報の比のヒストグラムは物体領域の距離と色の情報であるため，ヒス

較には，インターセクションを用いる．次に，残った候補物体のトグラムにおいて多く分布している成分を持つ画素は，物体領各フレームの SIFT 特徴量と，切り出された一つの候補領域の
SIFT 特徴量のマッチングにより，物体の認識を行う．物体の認識の評価値として，SIFT 特徴量の一致数，一致率，平均距離を用いる．候補物体 o のフレーム f の SIFT 特徴量の集合を S ofとし，抽出された領域内の SIFT 特徴量の集合を S̄ とすると，一致数 Mof ，一致率 Rof ，平均距離 Dof は次式となる．
˛j
ﬀ˛
˛
˛
Mof = ˛˛ s̄|s̄ ∈ S̄, min (dist(s, s̄)) < t ˛˛ （4）域である確率が高いことになる．そこで，それぞれの情報から，次式に従い，各画素における物体の確率を表す物体確率マップを作成する．

PD (x, y) = fD (D(x, y))（1）

PH (x, y) = fH (H(x, y))（2）

さらに，この二つの確率マップの加重和を取ることで物体確率s∈S of

マップ PO (x, y) が得られる．

Rof =

PO (x, y) = LPF[wd PD (x, y) + wh PH (x, y)] （3）

Dof =

Mof
|S̄|

1 X
min (dist(s, s̄))s∈S of
|S̄|

（5）
（6）

s̄∈S̄

ただし，wd ，wh は各情報に対する重みを表しており，各ヒス
トグラムの分散の逆数を用いる．また，LPF は，ローパスフィ

ただし，s と s̄ はそれぞれ SIFT 特徴量を表し，dist(s, s̄) はルタを表している．最終的に，この確率マップを二値化し，連結成分を抽出することで物体領域とする．学習時には，動きア

SFIT 特徴量間のユークリッド距離を表している．また，|A| は
集合 A の要素数であり，t は距離の閾値である．各評価値を用

テンションにより複数枚の画像をキャプチャし，その後に各画いた物体の認識結果は次式となる．

像から色ヒストグラムと SIFT 特徴量を計算する．これらの情報は，物体の検出と認識に用いられる．

OM = argmax Mof（7）

OR = argmax Rof（8）

OD = argmin Mof（9）o

3. 2 認識フェイズにおける物体の検出

o

物体の認識をする際にも，学習時と同様に物体の切り出しのo

OM ，OR ，OD のうち二つ以上が同一となった場合，その物体を最終的な認識結果とし，それ以外は未知物体とする．

4. 声質変換による未登録語の発話
Fig. 4 に，音声処理の概要を示す．音声処理において，フロ
ントエンド部および音声認識部では，hidden Markov model（HMM）に基づく音声認識システム ATRASR [22] を用いる．
まず，パーティクルフィルタに基づく非定常ノイズの逐次推定と MMSE（Minimum Mean Square Error）推定に基づく
Fig. 3 Segmentation of object region using motion attention

JRSJ Vol. 30 No. 2

ノイズ抑圧を行う [23]．発話区間の切り出しにおいては，フレー—100—

Mar., 2012

拡張モバイルマニピュレーションのための新規物体の学習

217

Fig. 4 Overview of the speech processing

ム内のエネルギーにより，Voice Activity Detection（VAD）「cleanを行う．音声認識（ASR）で用いる音響モデルのうち，Fig. 5 Developed robot: DiGORO

AMs」はクリーン音声のみで学習されたモデル（男声・女声），「clean & noisy AMs」はクリーン音声に雑音を重畳した音声により学習されたモデル（男声・女声）である．これにより，雑音下であっても頑健な音声認識を行うことが可能である．
音声認識部は，単語デコーダと音素デコーダにより構成されており，単語の認識だけでなく音素の認識が可能である．この音素デコーダにより，未登録語（OOV）の音素列を得ることができる．
Fig. 6 Networked software modules

本手法では，未登録語の学習は「これの名前は X」など決められた定型文で行うものとする．このような定型文を用いることができる．音声認識の結果，入力音声の音素列が得られるの

5. 2 モジュール型ネットワークシステム
Fig. 6 はロボットシステムの概略図である．ロボットを制御

で，音声と音素列から未登録語部分をそれぞれ切り出し，デーするシステムは五つのモジュールから構成されている（画像処

タベースへ登録する．未登録語の音素列は未登録語の認識に，未理，音声処理，ロボット制御，アーム制御，タスク制御）．各

登録語の音声は未登録語の発話に利用する．

モジュールは，TCP/IP によりサーバへ接続されており，すべとで，ユーザは実用的かつ容易にロボットへ単語を教示するこあらかじめ登録されている単語の発話は，Text-to-Speechての情報はサーバへと送られる．サーバは各モジュールの購読（TTS）システム XIMERA [24] により合成した音声を用いる．

情報に従い，モジュールが必要としている情報のみを，それぞ未登録語の発話には，データベースに登録されている未登録語のれのモジュールへ転送する．ロボットの行動は，タスク制御モ

音声を用いるが，この音声はユーザの声であり，そのままではロジュールにより制御されている．このように，機能をモジュー

ボットの発話として不自然である．そこで，Eigenvoice Gaus-

ルごとに分割し，独立したソフトウェアとすることで，多人数

sian Mixture models（EGMMs）[15] による声質変換を用い，でのシステム開発を容易にしている．
これらのモジュールは，ロボットに内蔵されているオンボー

未登録語の音声をロボットの声に変換し発話する．音素列を発話に用いることも可能であるが，音素正解精度は 80%以下であド PC 内で動作する．外部の計算機を用いる必要がないためスり，誤りのある音素をそのまま発話したのでは，不自然な発話

タンドアローンで動作することができ，内蔵バッテリーを用いとなってしまう．

て約 1 時間程度連続稼働可能である．

5. 3 画像処理

5. ロボットプラットフォーム：DiGORO

頭部に取り付けられた Time of Flight（TOF）カメラによ

5. 1 ハードウェア

り，高精度な三次元情報を得ることができる．しかし，TOF カ

我々が開発したロボット DiGORO（ダイゴロウ）を Fig. 5

メラのみでは，色情報を得ることができないため，CCD カメに示す．ロボットのハードウェア構成は以下のとおりである．

ラとのキャリブレーションにより，各画素の三次元情報と色情• Okatech 電動車椅子用台車• HOKUYO レーザーレンジファインダー UTM-30LX• KAWADA 上体ヒューマノイドロボット HIRO
• オンボード PC（Intel Core2Duo processor）× 5• Sanken ガンマイク CS-3e• YAMAHA スピーカー NX-U10• Mesa 赤外線 TOF カメラ Swissranger• Imaging Source CCD カメラ × 2
以下にロボットの詳細について記す．

日本ロボット学会誌 30 巻 2 号

報を取得できるセンサを実現した [25]．これにより，前節の提案手法により認識した物体の位置を測定することが可能である．
さらに，画像処理モジュールには，顔の学習・認識，男女判定，
笑顔度判定（OMRON OKAOVision [26]）などの機能も実装されており，今回想定しているスーパーマーケットタスク以外にも様々なタスクをこなすことができる．

5. 4 ロボット制御
家庭用ロボットは様々な場所での利用が求められ，設計者があらかじめすべての地図を設計することは困難である．そのた—101—

2012 年 3 月

218

中村友昭

アッタミミ ムハンマド

杉浦孔明

長井隆行

岩橋直人

戸田智基

岡田浩之

大森隆司

め，ロボットは未知の環境においても，地図を生成し自己位置を推定するオンライン SLAM（Simultaneous Localization and
Mapping）が必要とされる．開発したロボットにはレーザーレン
ジファインダが取り付けられており，その情報から ICP（Iterative Closest Point）[27] をベースとした地図生成と自己位置推定が可能である．また，生成された地図を基に，RRT（Rapidlyexploring Random Tree）[28] により目的地までの経路を生成することができる．これにより，障害物を避けながら，目的地

Fig. 7 Experimental environmentまで移動することが可能である．

5. 5 アーム制御
13 自由度の上半身により物体を把持することが可能である．物
体までアームの経路は，双腕の同時 RRT により計画される [29]．
この経路計画では，右腕 6 自由度，左腕 6 自由度，腰 1 自由度の計 13 自由度を，13 次元の情報とみなし，13 次元のコンフィ
ギュレーション空間で経路を生成する．これにより，経路の各ノードにおいて，両アームの姿勢が既知となるので，アーム同
Fig. 8 120 Objects used for experiments

士が衝突する姿勢を避けることができる．

5. 6 物体把持以上のようなモジュールを組み合わせ物体把持を行う．まず，画像処理モジュールにより提案手法である物体認識を行い，認識された物体の重心座標を計算する．ロボットは，物体の方向
へ体の正面を向けるように回転し，物体が遠い場合には前進を行う．次に，ハンドを開き，物体の手前まで移動させ，ハンドを閉じることで物体の把持を行う．このとき，腰軸を回転させ，上半身を物体の把持しやすい方向に向けることで，広範囲にハンドを移動させることができる．

6. 実験 1：提案手法による物体の学習と認識
Fig. 9 Examples of object segmentation

物体の学習・認識性能を検証する実験を行った．まず，物体画像の学習と認識の精度を評価し，次に物体名の認識と発話の評価を行った．これらの提案手法を実装したロボットは，7 章
にて評価を行う．

6. 1 物体の切り出し精度
ロボットが物体を学習する際に，複雑な背景から物体領域を切り出す必要がある．ここでは，提案手法である動きアテンショ
ンによる物体の切り出し精度を評価する．
実験は，Fig. 7 のリビングルームを模した環境で行った．実験には，Fig. 8 に示した 120 個の物体を用いた．ユーザが物体名を発話しながら，ロボットに対して物体を見せることで，物

(a)

(b)

Fig. 10 (a) Definitions of recall and precision (b) Results of object detection

体を教示する．ロボットは，各フレームから動きアテンションにより物体領域を切り出し，合計 40 フレームを保存する．Fig. 9に物体の切り出し例を示す．

の点が各物体の 10 フレームの平均値となる．全物体の平均は
再現率 76.2%，適合率は 95.8%となった．適合率が高いことか切り出しの精度は，正解となる物体領域を人手により決定
し，再現率（Recall）と適合率（Precision）により評価する．

Fig. 10 (a) に，再現率（Recall）と適合率（Precision）の定義

ら，物体領域以外を切り出すことは少ないことが分かる．

Fig. 11 に切り出しに失敗した例を示す．Fig. 11 (a) では，物体全体が TOF カメラの近赤外線を反射してしまい，三次元を示す．全物体の切り出された画像が非常に多いため，評価に情報を取得できず，物体を切り出すことができなかった．また，は切り出された画像の 40 フレームのうち，等間隔に 1，5，· · · ，33，37 枚目のフレーム，合計 10 フレームを用いた．ただし，Fig. 11 (b) では，黒い領域が近赤外線を吸収してしまい，黒以外の色が含まれている一部の領域のみ検出された．また，Fig. 11 (c)

これは切り出し精度の評価に用いたフレーム数であり，あとにも同様に，近赤外線の反射により物体領域の一部のみが検出さ示す実験では 40 フレームすべてを使用し物体の認識を行ってれた．このように，黒い領域を持つ物体や，金属製の物体は再いる．Fig. 10 (b) が各物体の再現率と適合率であり，グラフ内現率が低い傾向にあった．

JRSJ Vol. 30 No. 2—102—

Mar., 2012

拡張モバイルマニピュレーションのための新規物体の学習

(a)

(b)

(c)

Fig. 11 Examples of object segmentation failure. (a) Object
which could not be extracted (b) Left: Object Right:
Results of segmentation (c) Left: Object Right: Results of segmentation
Table 1 Object recognition rates
Recognition rate

Place 1
91%

219

Place 2
89%

(a)

(b)

Fig. 12 (a) Recognition results. (Condition 1: Recognition withcorrect phonemes. Condition 2: Teacher and user aresame person. Condition 3: Teachers taught the OOVwords.) (b) Evaluation of voice conversion

Place 389%

次に，教示者本人が「X を持ってきて」と発話し，物体名の認識を行った．

3．複数人で教示した未登録語の認識：120 単語を 8 人の被験者

6. 2 物体の画像認識精度にランダムで割り当て，各被験者がその単語をロボットへ先の実験で学習した 120 個の物体を正しく認識できるか検証
した．モバイルマニピュレーションタスクでは，学習時と認識教示した．次に，各被験者が「X を持ってきて」と 120 単時で照明条件が異なる可能性がある．そこで，環境内の照明条語が含まれる文章を発話し，物体名の認識を行った．すな

件が異なる 3 箇所で，学習時と同様に動きアテンションによりわち，学習されている単語は，他者が登録したものが含ま

物体を切り出し，切り出された画像の認識を行った．認識率をれていることになる．本実験では，960 発話のうち 120 発

Table 1 に示す．学習時とは異なる条件であっても，約 90%の話が教示者本人による発話であり， 840 発話が教示者とは認識率が得られた．主な認識誤りは，同種類のカップラーメン

異なる被験者による発話である．
各条件での認識精度を Fig. 12 (a) に示した．条件 1 での単など，テクスチャが似ていることが原因であった．

6. 3 物体名の認識精度

語認識率は 95.2%であった．すなわち，正解音素により認識を

次に，物体名を本手法で学習させ，単語認識精度を評価した．

行っているので，単語認識率の最大値は 95.2%であると考えら実験には，Fig. 8 に示した 120 物体の物体名を用いた．物体名れる．一方，条件 2 では，単語認識率は 82.4%であった．なお，は，基本的にポテロング・生茶・コカコーラ・ボディソープの音素正解精度は 69.3%であった．つまり音素認識は完全ではな

ような商品名を用いた．ただし，スープヌードル・ビスケット

かったものの，単語認識率としては十分な認識精度が得られた．

のように複数の種類の物体がある場合は，それらを識別するた

また，条件 3 での単語認識率は 75.2%であり，そのうち教示者

めの名詞を付加し，「スープヌードルカレー」「チョコビスケッ

本人による 120 発話の単語認識率は 83.4%，教示者とは異なる

ト」のような物体名とした．また，複数の色がある物体の場合被験者による 840 発話の単語認識率は 74.1%であった．条件 3には，その色を識別するための形容詞を付加し，「赤いテディベ

では，条件 2 に比べ単語認識率は低下してしまうものの，実用

ア」「青い毛糸」のような物体名とした．

上問題ない精度であると考えられる．

6. 4 ロボットの発話品質評価

実験手順は次のとおりである．まず，教示者が「これの名前は提案手法では，物体名を人手で登録するわけではないので，物X」と発話することで，ロボットが未登録語の学習を行う．実際の日常環境においては，教示者は 1 人であるとは限らず，その体名を正しく発話できるとは限らない．そのため，本節では提家族や友人など複数の人によって教示される可能性がある．そ案手法の発話品質の評価を行う．

こで，実験では複数人により未登録語を教示した．さらに，よ

まず，8 人の被験者各人に 120 単語を含む文章を発話させ，合り単純な条件でも実験を行った．各条件において，被験者が 120

計 960 発話のデータベースを構築した．マイクとユーザの距離はの未登録語を含む文（「X を持って来て」）を発話することで，50 [cm]，騒音レベルは 55 [dBA] に統一した．次に声質変換を用

その未登録語の認識を行い，単語認識率を求めた．被験者は 8

いた提案手法（以下 VC と略記）により，ロボットの発話を生成

人で，合計 960 発話を認識に用いた．話者とマイクとの距離はした．また，比較のため，一般的な手法である Text-To-Speech

50 [cm]，騒音レベルは 55 [dBA] に統一した．実験の各条件は（TTS）によりロボットの発話を生成した．これら二つの発話

以下のとおりである．

生成手法を以下にまとめる．

1．正解音素での認識：内部辞書に人手で 120 単語を登録した．
各被験者には「X を持ってきて」と 120 単語を含む文章をVC（提案手法）：Eigenvoice Gaussian Mixture models（EGMMs）[15] により，被験者の音声の単語部分をロボッ
ト声へ変換した音声による発話（4 章で述べた提案手法）
TTS：ロボットが，被験者の発話した音声の物体名部分の音素を認識し，その音素を TTS により合成した音声による発話

発話させ，その認識精度を求めた．認識はテンプレートで行われるので，孤立単語認識タスクとみなせる．

2．未登録語の教示者本人による認識：各被験者が「これの名前は X」と発話し，ロボットが 120 個の未登録語を学習した．

日本ロボット学会誌 30 巻 2 号—103—

8 人の被験者各人が，120 単語を VC と TTS により生成し2012 年 3 月

中村友昭

220

アッタミミ ムハンマド

杉浦孔明

長井隆行

岩橋直人

戸田智基

岡田浩之

大森隆司

Table 2 CMOS evaluation and scores
QualityScore

非常に良い（Much better）
良い（Better）
やや良い（Slightly better）
ほぼ同じ（About the same）
やや悪い（Slightly worse）
悪い（Worse）
非常に悪い（Much worse）

3
2
1
0
−1
−2
−3
Fig. 13 The map and the location of the tables/shelf

た音声を聞き，評価を行った．各単語の教示者は，8 人からランダムで選択されている．また，120 単語の聞く順番，VC とTTS の順番はランダムである．
評価尺度として Comparison Mean Opinion Score（CMOS）
を使用した．CMOS とは，ITU-T recommendation P.800 [30]によって標準化されている音声の評価尺度である．評価は，被験者に二つの音声を聞かせ，以下のような質問によって行われた．
前者の音声より後者の音声の方が，単語の読みを正しく表現しているという点で，よいと思いますか？

Table 2 に評価項目とスコアの対応を示す．評価結果をFig. 12 (b) に示す．TTS に対する VC の CMOS は，1.45 であり，TTS に比べ提案手法である VC が好まれる結果となった．

7. 実験 2：拡張モバイルマニピュレーションタスクによFig. 14 Success rates (Condition 1: words are taught by thesame user with the person who asks robot to bringsomething. Condition 2: words are taught by several
volunteers)

る評価
提案手法をロボットへ実装し，日常環境におけるロボットの動作を評価した．評価タスクとして，スーパーマーケットと呼ばれるロボカップ＠ホームリーグ内の競技の一つを選択した．ロ
ボカップ＠ホームは，世界中で 20 チーム以上が参加しており，
さらにそのタスクのスコアも一般に公開されている．そのため，他のチームのスコアと比較することが可能である．

7. 1 実験環境
Fig. 13 に，ロボットが SLAM により生成した地図と棚の位置を示す．タスク制御モジュールは，Fig. 2 のフローに従うよう設計した．まず，ユーザが開始位置（Fig. 13 内の start position）でロボットと対話を行い，ロボットはユーザから何を持って来るべきかを聞き出す．その後，ロボットは，棚まで移動し，指定された物体を認識し，把持してユーザのいる開始位置まで

Fig. 15 Elapsed time of each process (Condition 1: words aretaught by the same user with the person who asks robot
to bring something. Condition 2: words are taught by
several volunteers)

戻りユーザへ物体を渡す．以上のプロセスを三つの物体に対して行う．

トが認識する物体名には，他の被験者が教示した単語が含

家庭内においては，物体の教示者は一人とは限らない．そこ

まれることになる．

で，実験は音声認識辞書を変えた二つの条件で行った．一方は各試行において，三つの物体は，6 章にて学習を行った 120 個

実際のロボカップ＠ホームで行われたタスクに近い条件で，もの物体からランダムで選択した．

う一方はより難しい条件で行った．被験者は 5 人で，各被験者

7. 2 実験結果

は条件を変え 2 回タスクを行い，合計 30 個の物体を使用した．

，タスクにかかった時間（Fig. 15），
タスクの成功率（Fig. 14）

条件は次のとおりである．

さらにタスク全体の評価として点数（Fig. 16）の三つで評価

条件 1 タスク被験者本人が教示した 120 個の未登録語を使用．

する．

条件 2 学習フェイズにおいて，120 個の単語を 8 人の被験者にFig. 14 にタスクの成功率とその内訳を示した．音声認識はタ

ランダムで割り当て，各被験者はその単語をロボットへ教スクの制限時間内であれば何度でも言い直すことができ，その示した．実行フェイズでは各被験者が，ロボットへ特定の単語認識率は条件 1 では 93%となった．条件 2 では，他者が登物体を持ってくるように指示をする．すなわち，単語の教録した単語が含まれているため単語認識率が低下し 80%となっ

示は複数人で行われており，実行フェイズにおいてロボッ

た．これは，学習時に音素が正しく学習されていないことが原JRSJ Vol. 30 No. 2—104—

Mar., 2012

拡張モバイルマニピュレーションのための新規物体の学習

221

認識辞書に単語を登録することができる．一方，我々は，実際の条件より多くの物体を用い，その場で物体の学習を行っている．さらに単語の登録も 1 度の発話で行っている．このように
本論文のほうがより難しい条件でタスクを行っているにもかかわらず，我々のロボットは高いパフォーマンスが得られている．

8. 考

察

8. 1 物体の切り出しと認識
まず，学習時の物体の切り出しについて考察する．提案手法
Fig. 16 Score comparison (Condition 1: words are taught by
the same user with the person who asks robot to bringsomething. Condition 2: words are taught by several
volunteers)

により，ユーザが物体を動かすことで，ロボットへ学習すべき因である．さらに，把持の成功率は 100%であり，正しく物体値となった．この原因は物体の材質によって TOF カメラでは，を把持できている．この要因として，TOF カメラにより計測さ三次元情報の取得ができないことが原因である．提案するロボッ

れる三次元情報の誤差は 1 [cm] 以下であり，物体把持に十分なトシステム（Fig. 5）は，頭部に二つの CCD カメラが取り付精度があることが挙げられる．さらに，今回使用したロボット

けられており，ステレオ視による三次元情報の計算が可能であ

物体領域を簡単に教示することを可能とした．切り出しの適合率は 95.8%と高い値であり，物体領域内を正しく切り出せていることが分かる．一方，再現率は 76.2%と適合率と比べて低いは，腰軸を入れると片腕あたり 7 自由度あり，広範囲にハンドる．すなわち TOF カメラで三次元情報が得られていない領域を移動させることが可能であること，またロボットのハンドがを，ステレオカメラで補うことでこの問題を改善できる可能性

比較的大きく物体を把持しやすいことも要因として考えられる．

がある．

Fig. 15 に一つの物体を持ってくるのに要した時間を示した．
どちらの条件であっても，一つの物体につき平均所要時間は 3分以下であり，ロボット自身の使用方法の説明（約 1 分）を入れて，三つの物体を持って来たとしても 10 分以下でタスクを達成

6. 2 節の結果から，物体の画像認識率は約 90%となった．今回使用した特徴量は，色と SIFT である．通常これらの特徴量
では，色が同じでテクスチャがない二つの物体の識別は困難である．そこで，我々は三次元の形状情報も統合した物体認識手できている．また，このグラフからロボットへ指示するフェー法を検討している [25]．この手法を導入することで，さらなるズが最も時間がかかっていることが分かる．これは「○○を持っ高精度な物体認識が可能である．

て来ます．いいですか？」といった確認発話や，ロボットが誤

8. 2 未登録語の学習・認識・発話

認識した際の言い直しなどがあるためである．特に，条件 2 で一回の発話から未登録語の学習を行い，未登録語の認識と発は他者が教示した単語が含まれているため，条件 1 に比べ言い話を可能とした．その単語認識精度は 82.4%であった．さらに直しが増加し時間がかかっている．また，物体認識に関しても単語の発話では，ベースラインに対する提案手法の CMOS が条件 1 よりも，条件 2 のほうが時間がかかっている．これは，

1.45 であったことから，ベースラインより優れていると判断さ両条件とも物体の配置をランダムに決定しているため，物体のれ実用的なシステムが構築できたと言える．単語認識の失敗は，配置によっては探すのに時間がかかってしまうためであり，偶未登録語学習時に誤った音素列が登録されることが主な原因で発的なものである．条件 1 では全試行において物体の探索は 4あった．今回は一回の発話から学習を行うことを目的としたが，秒程度で終わっているのに対して，条件 2 では物体の探索に 90

複数回の発話が許される条件であればこの問題を解決すること秒以上かかっている試行があり，これにより条件 2 の平均時間が可能である．この解決策として，学習後にユーザがもう一度が大幅に増加した．時間がかかった試行では，最初ロボットが未登録語を含まれた文章を発話し，正しく学習できたかを確認

学習データに含まれていない方向から物体を見たため，物体をすることで解決できると考えられる．例えば，ユーザが「これ認識することができなかった．その後，ロボットが移動し，異の名前は X」と発話することで，ロボットが未登録語の学習をなる方向から物体を見ることで物体を認識することができた．

行い，続けてユーザが「X を覚えてる？」などと確認する．こFig. 16 がタスクの点数である．参考として，2009 年のロボのとき，正しく物体名を認識することができなければ，ユーザ

カップ＠ホームで，実際に行われたスーパーマーケットタスク

がもう一度物体を教示することで，この問題は解決可能である．

の一位〜五位の点数を表記した．我々のロボットの本実験での8. 3 標準化されたタスクによる生活支援ロボットの評価

平均点数は条件 1 では 1,560 点であり，一位のチームよりも高日常環境での評価は，ロボカップ＠ホーム内の競技の一つスーい点数となった．また，より難しい条件である条件 2 では 1,320

パーマーケットタスクで行った．タスクの結果，2009 年のロボ点であり，条件 1 に比べ低い点数ではあるが，実際に行われた

カップ＠ホームにおけるスーパーマーケットタスクの一位のチースーパーマーケットタスクの二位のチーム B より高い点数とムの点数より高い点数であり，日常環境で安定して動作するこなった．

とが示された．減点は，音声の認識をすることができず，何を実際のロボカップ＠ホームのスーパーマーケットタスクでは，持ってくるべきかをユーザから聞き出すことができないのが大使用される物体は 20 個程度であり，それらの名前も事前に与えきな要因の一つであった．この点に関しては，前述のように認られる．すなわち，事前に物体を学習させることができ，音声識可能か確認し，未登録語を学習することで解決可能だと考え

日本ロボット学会誌 30 巻 2 号—105—2012 年 3 月

222

中村友昭

アッタミミ ムハンマド

杉浦孔明

長井隆行

られる．

岩橋直人

戸田智基

岡田浩之

大森隆司

ボットであり，モバイルマニピュレーションを含め，様々なデモ提案手法の未登録語の学習は，他のタスクにも応用可能であ

ンストレーションが行われている．“Care-O-Bot3” [4] は，腹部る．例えば，ロボカップ＠ホームで行われた，人の名前と顔をにタッチパネルが取り付けられており，音声ではなくこのタッ

覚えるタスク “Who is who?” では，ユーザが「私の名前は X」

チパネルにより人とインタラクションを取ることができる．こと発話し，人の名前を未登録語として学習することで，無数にれらのロボットは，モバイルマニピュレーションタスクを実行存在する人の名前に対処した．

することは可能であるが，標準化されたタスクによる評価は行5 章で述べたように，本研究で構築したロボットは物体の学習・

われていない．さらに，我々のロボット DiGORO は，簡単な認識以外にも様々な能力を持っており，様々なタスクをこなすこ操作で物体と未登録語を学習することができる点が，これらのとができる．2010 年のロボカップ世界大会の＠ホームリーグで研究との大きな違いである．

は，人を追跡するタスク “Follow Me” や未知の環境で物体の置

一方，標準化されたタスクで評価されているロボットも数多いてある場所を学習するタスク “Shopping Mall” など 10 個のく開発されている [5] [6]．これらのロボットは我々のロボットとタスクをこなし，優勝することができた．このように，開発した同様に家庭内での活動を想定したものである．しかし，これらロボット DiGORO は日常環境で安定して動作可能である．ロボの研究では，本研究の主旨である未登録語の切り出しと動きア

カップでのタスクの様子などは，ウェブページにて閲覧可能であ

テンションを用いた新規物体の学習は行われていない．

る（http://apple.ee.uec.ac.jp/isyslab/digoro/press/video/）
．

10. ま

と

め

9. 関 連 研 究
本論文では，一度の発話から実用的に新規物体を学習する手
本章では，新規物体の学習に限らず，より広い視野から関連研究について述べる．

法を提案した．物体を人が動かすことで，複雑な背景画像から物体領域の切り出しを行った．物体の名称の学習においては，テ

本研究以外にも，我々はボトムアップなアプローチでもロボッ

ンプレートから物体名部分を切り出すことで，認識辞書には登トの言語獲得を目指している [31]．また，Roy もボトムアップ

録されていない物体名の認識と発話を可能とした．これらを統なアプローチを採用している [32]．しかし，これらの研究では合することで，様々な物体を簡単な操作で学習することができ

画像特徴量がシンプルであり，日用品の認識は難しい．一方，提るシステムを構築し，実際にロボットへ実装した．その性能の案手法ではより多くの物体に適用可能である．また，文献 [33]

評価には，ロボカップ＠ホームのタスクの一つであるスーパーで提案された手法では，未登録語の獲得を目指しているが，未マーケットタスクを用いた．その結果，2009 年に行われたロボ

登録語のセグメンテーションは考えておらず，ユーザは未登録

カップ＠ホームのスーパーマーケットタスクの一位のチームを

語のみを発話することが前提となっている．また，ロボットによ

超える得点が得られた．すなわち，提案手法を実装したロボッ

る未登録語の発話は行われていない．本研究以外にも，我々はトは日常環境で安定して動作することが示された．

複数回言い直しをすることで，未登録語を学習する研究も行っ

本研究で構築したシステムの動画は，ウェブページで閲覧ている [13]．しかし，本研究のほうがより簡単に未登録語の学可能である（http://apple.ee.uec.ac.jp/isyslab/digoro/demo/

習を行うことができ，今回のようなタスクでは本研究のほうがvideo/demo001.html）．

有効であるといえる．

謝

文献 [34] では，対話によって新規物体がいくつあるかを教示することで，物体の切り出しを行っている．しかし，人が物体

辞

本研究の一部は，日本学術振興会科学研究費補助金（基盤研究（C）課題番号 20500186）による研究助成を受けて実施されたものである．

を教えることを考えると，物体を動かすのみで物体を切り出す

参ことができる本手法のほうが利便性が高いと言える．
さらに本研究は物体把持に関する研究とも関連がある．文献 [35] [36] では，シミュレーションにより把持位置の推定などを行っており，ロボットへの実装は現段階では行われていない．
一方，文献 [37] [38] では，ロボットへ実装され実際にロボットによる把持が行われている．このような把持位置の推定は本論文の趣旨ではないが，今後このような機能を実装する必要があると考えている．
近年では様々なヒューマノイドロボットが開発されている [1]〜[6]．これらのロボットは，カメラ・アーム・ハンド・台車などにより構成されており，モバイルマニピュレーションタスクが可能である．“Twendy-One” [1] は，少子高齢社会における実作業支援を目的として開発されたロボットである．“HRP-2W” [2]は，人間の行動支援を目的として開発されたロボットであり，指差しジェスチャーの認識，行動の学習などが可能である．また，“PR2” は，“PR1” [3] の後継機として開発が進められているロ

JRSJ Vol. 30 No. 2

考

文

献

[ 1 ] 菅野重樹，岩田浩康，菅岩泰亮：“人間共存ロボット TWENDY-ONEの開発”，第 26 回日本ロボット学会学術講演会予稿集 CD-ROM，
2J1-03, 2008.
[ 2 ] T. Inamura, K. Okada, S. Tokutsu, N. Hatao, M. Inaba and
H. Inoue: “HRP-2W: A humanoid platform for research on
support behavior in daily life environments,” Robotics and Autonomous Systems, vol.57, no.2, pp.145–154, 2009.
[ 3 ] K. Wyrobek, E. Berger, H. Van der Loos and J. Salisbury: “Towards a personal robotics development platform: Rationale anddesign of an intrinsically safe personal robot,” IEEE International Conference on Robotics and Automation, pp.2165–2170,
2008.
[ 4 ] F. Weisshardt, U. Reiser, C. Parlitz and A. Verl: “Making
High-Tech Service Robot Platforms Available,” ProceedingsISR/ROBOTIK 2010, 2010.
[ 5 ] J. Stückler and S. Behnke: “Integrating indoor mobility, object manipulation, and intuitive interaction for domestic service tasks,” IEEE-RAS International Conference on Humanoid
Robots, 2009.

—106—

Mar., 2012

拡張モバイルマニピュレーションのための新規物体の学習[ 6 ] D. Holz, J. Paulus, T. Breuer, G. Giorgana, M. Reckhaus,
F. Hegger, C. Müller, Z. Jin, R. Hartanto, P. Ploeger, et al.:“The b-it-bots RoboCup@ Home 2009 team description paper,”RoboCup 2009@ Home League Team Descriptions, 2009.
[ 7 ] RoboCup@Home, http://www.ai.rug.nl/robocupathome/,
2010.
[ 8 ] 2010 Mobile Manipulation Challenge, http://www.willowgarage.com/mmc10, 2010.
[ 9 ] Semantic Robot Vision Challenge, http://www.semanticrobot-vision-challenge.org/, 2009.
[10] I. Bazzi and J. Glass: “A multi-class approach for modelling
out-of-vocabulary words,” Seventh International Conference on
Spoken Language Processing, 2002.
[11] 山本博史，小窪浩明，菊井玄一郎，小川良彦，匂坂芳典：“複数のマ
ルコフモデルを用いた階層化言語モデルによる未登録語認識”，電子
情報通信学会論文誌，vol.J87-D-II, no.12, pp.2104–2111, 2004.
[12] 田口亮，岩橋直人，船越孝太郎，中野幹生，能勢隆，新田恒雄：“統計的モデル選択に基づいた連続音声からの語彙学習”，人工知能学会
論文誌，vol.25, no.4, pp.549–559, 2010.
[13] M. Nakano, N. Iwahashi, T. Nagai, T. Sumii, X. Zuo,
R. Taguchi, T. Nose, A. Mizutani, T. Nakamura, M. Attamim,
et al.: “Grounding New Words on the Physical World in MultiDomain Human-Robot Dialogues,” 2010 AAAI Fall Symposium Series, pp.74–79, 2010.
[14] H. Holzapfel, D. Neubig and A. Waibel: “A dialogue approach to learning object descriptions and semantic categories,” Robotics and Autonomous Systems, vol.56, no.11,
pp.1004–1013, 2008.
[15] T. Toda, Y. Ohtani and K. Shikano: “One-to-Many and Manyto-One Voice Conversion Based on Eigenvoices,” IEEE International Conference on Acoustics, Speech and Signal Processing,vol.4, pp.1249–1252, 2007.
[16] C. Rother, V. Kolmogorov and A. Blake: “Grabcut: Interactive
foreground extraction using iterated graph cuts,” ACM Transactions on Graphics (TOG), vol.23, no.3, pp.309–314, 2004.
[17] J. Shi and J. Malik: “Normalized cuts and image segmentation,” IEEE Transactions on Pattern Analysis and MachineIntelligence, vol.22, no.8, pp.888–905, 2002.
[18] A.K. Mishra and Y. Aloimonos: “Active Segmentation,” International Journal of Humanoid Robotics, vol.6, pp.361–386,
2009.
[19] RoboCup@Home league committee: RoboCup@Home Rules& Regulations, http://www.ai.rug.nl/robocupathome/documents/rulebook2009 FINAL.pdf, 2009.
[20] K. Okada, S. Kagami, M. Inaba and H. Inoue: “Plane segmentﬁnder: Algorithm, implementation and applications,” IEEE
International Conference on Robotics and Automation, vol.2,
pp.2120–2125, 2005.
[21] 村瀬洋，V.V. Vinod：“ヒストグラム特徴を用いた高速物体探索法—
アクティブ探索法—”，電子情報通信学会論文誌，vol.J81-D-II, no.9,
pp.2035–2042, 1998.
[22] S. Nakamura, K. Markov, H. Nakaiwa, G. Kikui, H. Kawai,T. Jitsuhiro, J. Zhang, H. Yamamoto, E. Sumita andS. Yamamoto: “The ATR multilingual speech-to-speech translation system,” IEEE Transactions on Audio, Speech, and Language Processing, vol.14, no.2, pp.365–376, 2006.

223[23] M. Fujimoto and S. Nakamura: “Sequential non-stationary
noise tracking using particle ﬁltering with switching dynamicalsystem,” IEEE International Conference on Acoustics, Speechand Signal Processing, vol.1, 2006.
[24] H. Kawai, T. Toda, J. Ni, M. Tsuzaki and K. Tokuda:“XIMERA: A new TTS from ATR based on corpus-based technologies,” Fifth ISCA Workshop on Speech Synthesis, pp.179–
184, 2004.
[25] M. Attamimi, A. Mizutani, T. Nakamura, T. Nagai, K.
Funakoshi and M. Nakano: “Real-Time 3D Visual Sensor for
Robust Object Recognition,” IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.4560–4565, 2010.
[26] 勞世：“デジタルカメラ向け顔画像処理技術”，KEC 情報誌，no.210,
pp.16–22, 2009.
[27] F. Lu and E. Milios: “Globally consistent range scan alignment for environment mapping,” Autonomous Robots, vol.4,
no.4, pp.333–349, 1997.
[28] S. LaValle and J. Kuﬀner: “Rapidly-exploring random trees:
Progress and prospects,” Algorithmic and computational
robotics: new directions: the fourth Workshop on the Algorithmic Foundations of Robotics, p.293, 2001.
[29] 伊東慶輔，中村友昭，長井隆行：“RRT を用いたコンフィギュレー
ション空間における双腕同時経路計画”，第 28 回日本ロボット学会
学術講演会予稿集 CD-ROM，1M2-2, 2010.
[30] International Telecommunication Union: ITU-T P.800, http://
www.itu.int/rec/T-REC-P.800/en.
[31] N. Iwahashi: “Robots that learn language: Developmental approach to human-machine conversations,” Symbol Grounding
and Beyond (Proceedings EELC 2006), pp.143–167, 2006.
[32] D. Roy: “Grounding words in perception and action: computational insights,” Trends in Cognitive Sciences, vol.9, no.8,
pp.389–396, 2005.
[33] M. Fujita, R. Hasegawa, T. Takagi, J. Yokono and H.
Shimomura: “An autonomous robot that eats information via
interaction with humans and environments,” IEEE International Workshop on Robot and Human Interactive Communication, pp.383–389, 2002.
[34] M. Johnson-Roberson, G. Skantze, J. Bohg, J. Gustafson,
R. Carlson and D. Kragic: “Enhanced Visual Scene Understanding through Human-Robot Dialog,” 2010 AAAI Fall Symposium on Dialog with Robots, 2010.
[35] J. Aleotti and S. Caselli: “Interactive teaching of task-oriented
robot grasps,” Robotics and Autonomous Systems, vol.58,
no.5, pp.539–550, 2010.
[36] P. Markus, A. Tamim and D. Rüdiger: “Unions of Balls for
Shape Approximation in Robot Grasping,” IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.1592–
1599, 2010.
[37] M. Popovic, D. Kraft, L. Bodenhagen, E. Baseski, N. Pugeault,
D. Kragic, T. Asfour and N. Krüger: “A strategy for grasping unknown objects based on co-planarity and colour information,” Robotics and Autonomous Systems, vol.58, no.5,
pp.551–565, 2010.
[38] A. Saxena, J. Driemeyer and A. Ng: “Robotic grasping of novel
objects using vision,” International Journal of Robotics Research, vol.27, no.2, p.157, 2008.

中村友昭（Tomoaki Nakamura）

アッタミミ ムハンマド（Muhammad Attamimi）

2007 年電気通信大学電気通信学部電子学科卒業．
2009 年同大学大学院電気通信学研究科修士課程修了．2011 年同大学大学院博士課程修了．博士（工学）．2011 年日本学術振興会特別研究員（PD）．知能ロボットに関する研究に従事．
（日本ロボット学会学生会員）

2010 年電気通信大学電気通信学部電子学科卒業．現
在同大学大学院情報理工学研究科修士課程在学中．
知能ロボットに関する研究に従事．
（日本ロボット学会学生会員）

日本ロボット学会誌 30 巻 2 号—107—2012 年 3 月

224

中村友昭

アッタミミ ムハンマド

杉浦孔明

長井隆行

岩橋直人

戸田智基

岡田浩之

大森隆司

杉浦孔明（Komei Sugiura）

長井隆行（Takayuki Nagai）

2007 年京都大学大学院情報学研究科博士後期課程修了．博士（情報学）．日本学術振興会特別研究員，
ATR 音声言語コミュニケーション研究所研究員を経て，2009 年より情報通信研究機構専攻研究員．ロボットによる言語獲得，ロボットの音声対話機構，
および機械学習の研究に興味をもつ．計測自動制御
学会，人工知能学会などの会員．
（日本ロボット学会正会員）

1993 年慶應義塾大学理工学部電気学科卒業．1997
年同大学大学院博士課程修了．博士（工学）．1998
年電気通信大学電子工学科助手．2003 年カリフォ
ルニア大学サンディエゴ校客員研究員． 2004 年電気通信大学大学院電気通信学研究科助教授．現在同大学大学院情報理工学研究科准教授． 2011 年より玉川大学脳科学研究所特別研究員を兼務．知能システム，知能ロボ
ティクスに関する研究に従事．情報処理学会，人工知能学会，電子情報通信学会，IEEE 各会員．
（日本ロボット学会正会員）

岩橋直人（Naoto Iwahashi）
1985 年慶應義塾大学理工学部計測工学科卒業．
1985〜1998 年ソニー（株）．1990〜1993 年 ATR
自動翻訳電話研究所に出向． 1998〜2004 年（株）
ソニーコンピュータサイエンス研究所．2004〜2010
年（株）国際電気通信基礎技術研究所． 2008 年より（独）情報通信研究機構．機械学習，音声言語
処理，画像処理，ロボティクス，人間–ロボット・インタラクション，
マルチモーダル対話システム，言語獲得ロボットの研究に従事．電子情報通信学会，日本認知科学会，日本知能情報ファジィ学会各会員．
（日本ロボット学会正会員）

岡田浩之（Hiroyuki Okada）
1986 年（株）富士通研究所入社．東京農工大学大学
院生物システム応用科学研究科博士後期課程修了．
2002 年東海大学理学部助教授を経て，2006 年 4 月
より玉川大学工学部教授，現在に至る．赤ちゃんの発達とロボットを融合させた研究に興味をもつ．ロ
ボットを通じて，人間を知ることが目標．2008 年，
2010 年ロボカップ世界大会＠ホームリーグ優勝．博士（工学）．日本認知科学会，日本神経回路学会などの会員．（日本ロボット学会正会員）

JRSJ Vol. 30 No. 2

戸田智基（Tomoki Toda）
1999 年名古屋大学工学部電気電子情報工学科卒業．
2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了．2003 年日本学術振興会特別研究員–PD（名工大）．2005 年奈良先端科学技術大学院
大学情報科学研究科助手．2007 年同助教．2011 年
より同准教授．2003〜2004 年米カーネギーメロン
大学客員研究員．2008 年英ケンブリッジ大学客員研究員．工博．音
声合成・分析・認識の研究に従事．2008 年エリクソン・ヤング・サ
イエンティスト・アワード，2009 年日本音響学会独創研究奨励賞板
倉記念，2010 年 IEEE SPS Young Author Best Paper Award 等．
IEEE，ISCA，電子情報通信学会，情報処理学会，音響学会各会員．

大森隆司（Takashi Omori）
1980 年東京大学工学研究科計数工学専攻修了，1981
年より東京大学助手，1987 年東京農工大学工学部講師を経て 1988 年より同助教授，1998 年より同大学電気電子工学科教授，2000 年 5 月より北海道大学大学院工学研究科教授を経て，2006 年 4 月より玉川大学教授，現在に至る．博士（工学）．この間，1989〜1990 年ブラウン大学言語と認知学科客員研究員．脳という神経機構に知的な行動が生まれる情報的なメカニズムに興味があり，認知科学，人工知能，発達，神経科学などの諸学問を足をつっこ
みながら，心にかかわる脳の情報処理過程の解明と工学的な方法による実現を試みている．最近は，コミュニケーションの計算論の構築に力を入れている．計測自動制御学会，日本認知科学会，日本神経回路
学会，電子情報通信学会などの会員． （日本ロボット学会正会員）—108—

Mar., 2012