ユーザとの対話に基づいた実世界中オブジェクトのインタラクティブ探索
西田 寿雄
電気通信大学金子 正秀
大学院電気通信学研究科

1 はじめにものを選択した場合には、再探索させることでロボッ

これからの人間共存型のロボットに対しては、人間トに目的のオブジェクトを取得させる。なお、人間はどうしのコミュニケーションと同様な感覚でやり取

自分の身の回りにある物に関して、その位置だけを記りができるような新しいタイプのヒューマンインタ憶しているわけではない。それを置いた、あるいは、フェースの開発が望まれる[1][2]。人は日常生活にお移動したという時間的な履歴も同時に記憶している。

いて、家やオフィスで様々な書類や物を空間的に配置

従って、空間的配置に加えて、時間的配置を考慮したし、それらをいつどこに配置したかという時間的な履指示の取扱いが必要となる。ここでは、このうち、空歴を記憶している。そして、これらの記憶と、実際に間的配置に対する指示について具体的に検討する。

見ている情景をもとに、必要な書類や物を探すという本論文では、本棚に置かれた本の中から、ユーザのことをする。また、離れたところにある書類や物につ意図するものを探索させることを考える。ユーザは音いては、他の人に「その本を取って」というように頼声によりロボットに指示を与え、ロボットの応答も合む。本論文では、これらと同様のインタラクションを成音声で発話される。ユーザは、オブジェクトの空間人間とロボットとの間で実現するシステムについて的配置を考慮した指示や、対象の色などの情報を与え検討する。インタラクションは対話形式とし、一度のることによって、ロボットに自分の求めるオブジェク

指示で対象が特定できない場合には、ロボットはユートを探索、取得させる。本論文で考えるインタラクシ

ザとのインタラクションを繰返す。この時、ロボットョンの全体的な流れを図 1 に示す。

側はユーザからの指示に応じて、ユーザの指示の負担をなるべく軽減するように振舞う。
2 インタラクションによるオブジェクト探索
人に本棚から本を取ってもらう場合、本のタイトルや、本の置いてある位置を指示する。前者のように具体的な名前を出す場合には目的の本を取ってもらえ

ユーザがロボットに指示を出す
Ex : 棚の３段目に並んでいる本。
指示文からキーワードを抽出
Keyword : 「棚の３段目」、「並んでいる」
ロボットは指示された方向へ向きを変える

視界画像を処理して指示に合うオブジェクトを探索し、候補が見つかればユーザに提示る可能性が高い。しかし、いちいちタイトルを言わずに、空間的な位置を大まかに指示することも多い。この場合、｢棚の３段目にある本｣、｢棚の右の方にある本｣といったように、指示の仕方によっては曖昧性が生じてしまう。その結果、複数の本が候補に挙がり、一度で目的の本を取ってもらえる可能性は低くなる。
このような場合、改めて本のタイトルやブックカバーの色などを相手に伝えることで、目的の本を取ってもらうことになる。本論文においても、ユーザからは、なるべく簡単な指示で済ませることを重視しているため、ロボットは必ずしも一度の指示だけで目的のオブジェクトを発見できなくても良い。もし、間違ったInteractive search for an object in the real world based on theinteraction with a user.
Toshio NISHIDA, Masahide KANEKOThe University of Electro-Communications

ロボットは見つからない旨の応答を行う

目的のオブジェクトが候補の中にない場合

目的のオブジェクトが候補の中にある場合ロボットが提示した候補の中から、目的の物を指示
ロボットは目的のオブジェクトの位置へ移動オブジェクトを取得

図1

インタラクションの流れ

3 インタラクションシステム
3.1 システムの概要
ロボットとのインタラクションには、ユーザとロボットが同じ場所にいる場合とそうでない場合、また、ロボットが何を見ているのかがユーザ側でわかる場合とそうでない場合など、様々な状況が考えられる。
これらの状況に柔軟に対応できるようにするため、(a)オブジェクトの空間的配置を考慮した指示の利用、(b)ロボットの視界画像、および、インタラクション

の中で発見したオブジェクト候補などのリアルタイ

5 実験

ム表示、を可能にするシステムを構築した。なお、本本棚の１段目に置かれた赤い本を取得させるとい論文においては、ロボットがオブジェクトを探索してう実験の結果の一例を図 4～7 に示す。始め、図 4 のいる様子をユーザが見ながら指示をするというケーように、ロボットは棚の前にいる。ここで、｢棚の 1スを考えている。

段目に並んでいる本｣という指示を与えると、カメラ3.2 インタラクションシステムの開発用画面
本論文におけるインタラクションシステムの開発用画面を図 2 に示す。画面は、ユーザの指示や抽出されたキーワード、ロボットの応答、ロボットの視界画像、処理画像、発見したオブジェクト候補の各々に対する 5 つの表示部より構成されている。

は視界画像を処理することで本棚の位置を検出し、図5 のように棚の１段目に注目したところで本の並んでいる領域を抽出する。該当する領域が複数あるため、ロボットはユーザに対して｢何箇所かありますが、どれでしょうか？｣と尋ねてくる。そこで、｢右にある本｣と指示すると、図 6 のように右の方に並んでいる本に注目し、｢これでしょうか？｣と尋ねてくる。そこで｢赤ロボットの視界画像処理画像い本｣と指示すると、図 7 に示すように目的のオブジェクトを抽出し、それをユーザに提示する。この実験

指示、キーワード表示部

では、ユーザは、ロボットがオブジェクトを探索する様子を見ながら指示を出しているが、ユーザが一方的ロボットの応答表示部に指示をしているのではなく、時にはロボット側からオブジェクト候補表示部

図2

ユーザの指示を支援するような感じで自然に問いかインタラクションシステムの開発用画面けることがなされている。

4 空間的配置を考慮した指示
本棚には、普通に並べられた本だけでなく、積み上げられた本や、置物が並べられていることもある。そこで、本論文では、ユーザの指示として、｢並んでいる｣、｢積んである｣という言葉も利用する。例えば、

図4

図 3 に示すような棚を考える。ここで、右端から 2初期状態

図5

領域の分割

冊目の本を目的の本とした場合、｢右の方に並んでいる本の真ん中の本｣といった指示をすることで取得が可能である。また、ただ単に｢並んでいる本｣という指示だけでも、本の並んでいる 2 つの領域を検出した上で、どちらの領域の本であるかをユーザに問いかけ、それにユーザが答えることで目的の本の領域を絞ることができる。このように、ユーザからの一方的な指示だけでなく、あたかも人を相手にしているような感覚でのインタラクションを実現している。

図6

対象領域の決定図7

オブジェクト取得

6 むすび
本論文では、ユーザとロボットの対話に基づいた、実世界中でのオブジェクト探索システムを構築した。
今後は、空間のどの範囲を指すのか明確でない曖昧さを含んだ言葉による指示[2]、及び、時間的配置に関わる指示についても取扱うことにより、さらに柔軟なインタラクションの実現を目指す予定である。
参考文献

その他

図3

並んでいる積んである

並んでいる

空間的配置を考慮した領域の分割

[1]
[2]

田村博:“ヒューマンインタフェース”, オーム社, 1998.
竹内伸吾, 目黒光彦, 金子正秀:“曖昧さを含んだ時空間指示によるコンピュータとの知的インタラクション”, 情報処
理学会論文誌, vol.43, no.10, pp.3243-3246, 2002.10.