「インタラクション，98」 平成10年3月

音声とジェスチャによる対話に基づく
ヒューマンロボットインタフェース

高橋拓弥 中西知 久野義徳 白井良明
大阪大学工学部電子制御機械工学科

565−0871大阪府吹田市山田丘2−1
Tbl：06−879−7333 Fax：06−879−7247（takahasi，S−nakani，kuno，Shirai）＠cv．mech．eng．osaka−u．aC．jp

概要；本論文はロボットに確実に作業を実行させるための，人とのマルチモーダルコミュニケーションの実現について述べる．視覚認識のような自動処理は失敗することがあるが，その場合でも人間が容易な方法で指示を与えることにより，作業が実行できる方法を提案する．例として，人に代わって物を取ってきてくれるロボットを考えた．作業中にロボットが分からないことがあれば，この間唐点を解決するのに最も適したアドバイスを自然に人から得られるような質問を適宜人に対して行なう．質問を作成するために，ロボッ
トは今何が分かっていて何が分かっていないのかを把握しておくための内部状態スペースを確保している．
対話には非接触型の音声とジェスチャによるインタフェースをそれぞれ組み合わせることによって，より人間同志の対話に近付けることを目指している．

Human−RobotInterfacebyV占rbalandNonverbal
CommunlCation

恥kuyaTakahaBhiSatoruNakanishiYbshinoriKuno YbshiakiShirai
Dept・OfComputer−ControlledMechanicalSystems，OsakaUniversity
2−1，Y瓦madaoka，Suita−City，Osaka565−0871，Japan
恥1：＋81−6−879−7333 ▲Fax：＋81−6−879−7247（takaha5i，S−nakani，kuno，Shirai）◎cv．mech．eng．osaka−u．aC．jp
Abstract：Thispaperproposesamethodofremovlngambig11itiesinrobottasksbyamultimodal
interfaceconsistingofspeechandgesture．S11Chambiguitiesoftenarisefromhilur9SOftherobot

Visionsystem・ⅡoweverIitis noteasytosoIvethis problem only byimprovlngCOmputerVision

teclmiques・Thus，OurrObotasksahumansuchaqtleStionthatanaturalreplytoitwillcontainhelpfu1informationtoada・ptthevisionsystemforthecurrentsituation・Wepresentarobotsystemthatcanbringtheobjectorderedbyahumanbyverbalandnonverbalbehaviors．

−161−

1 はじめにの情報を用いて，人から最低限どのような助言が得られれば良いか考え，その助言が自然な返答の形で弟在までに，ロボットに関して数多くの研究開人から得られるような質問を生成し仁美際に人に発がなされており，特に産業用ロボットなどは今や質問をする．このような対帝を行なうシステムと大量生産を行なう工場などではなくてはならないもして，東芝の音声自由対帯システムTOSBURG＿
ⅠⅠ【4】や，電子技術総合研究所の事情通ロボット【51のになっている．しかし，このような産業用ロボッ
トはかなり限定された環境条件で，人によってあらなどがある．これらの研究では対話により人間の要かじめ指定された行動をとるだけ，というものがほ求を機械が理解していくが，ここでは視覚情報処理とんどである．将来，今よりももっと人の指示やロの不完全さを音声とジェスチャによる対帝で補うこボットの周りの環境の変化を柔軟に認識し，そしてとを検討する．

多種多様な作業がこなせる汎用型ロボットが求めら

本論文では，人に代わって物を取ってきてくれれることが予想される．このようなロボットには，るロボットシステムを例にとり，人との対話方法に多自由度の腕や制限のない移動を可能にする足回ついて述べていく．人は音声とジェスチャのマルチりなどのハードウェアだけでなく，外界との接点とモ」ダル入力によって，望んでいる物体の名前と美なるインタフェースの充実も必要である．本研究で空間上での概略位置をロボットに伝える．ロボットは，このような人にとって使い易いインタフェースは取りに行くべき物をロボット上のカメラからの画の実現を目標に置いている．

像により認識するが，この画像認識の過程で動作の環境を認識するために情報量の多い視覚情報は不明な点が生じることが多い．

よく用いられている．しかし，視覚情報課識はまだロボットは人から入力された情報と，あらかじまだ研究段階の部分が多く，必ずしも全て成功するめ与えられている物体情報の両方を用いて異空間とは限らない．従来のシステムでは，一回失敗してより対象物体を探索し，正しく見つけることができしまうと処理は完全に止まってしまい，二度と作業た場合は，その物体の位置まで移動する．物体が見に復帰することができない．また，どこで失敗した

つからない場合は，その検出に有効な情報が人からのか，なぜ失敗してしまったのかも分からないこと

自然に得られるような質問事項を考え，人に音声でが多い．そこで，本研究では人がシステム側に適宜質問する．また，物体が複数検出された場合も同様介入していくことを提案し，システムに与えられたに，どういう物を検出したのか人に伝え，そしてど処理を確実に実行させることを目標とする．

れを取りに行けば良いか質問をする．この質問に対本研究で考えているロボットシステムは完全なして人は答え，システムは人の返答に応じて適切な自律型ではなく，動作中に不明な点が出てきたら，処理を行なう．ここでは，対話の生成の方法と，実そのつど人に対して質問をすることができる対帯機

際に試作したロボットシステムによる実証について能を備えている．このロボットがする質問は，音声述べる．

による言辞的なものだけではなく，ロボットの行動（ジェスチヤ）による非青静的なものによっても人2 システム概要に伝えられる．また人も同様にロボットに対して，音声とジェスチャを用いて自分の意志を伝える．こ図1に本論文で使用するシステムの概略を示す．のような複数の伝達手段によるマルチモーダルイン

人は音声とジェスチャによってロボットに対して指タフェースの方が1種類の手段しかもたないイン示を送る。ロボットは人の音声とジェスチャを認識

タフェースに比べてより有効であることが数々の研し，指示された作業を行なうのに適したプロセスを究で確かめられている【1】【2】【3】・

起動する．このプロセスが終る度に処理が成功した

また，この対話を実現するにはロボットは今のかどうか確かめる．もし処理が失敗しているような内部状態（何が分かっていて，何が分かっていないら人から適切な助言が得られるような質問文を作成のか）を完全に把握しておく必要がある．そして動し，それを音声合成して人に伝える．またこの時，作中に何か不明な点が生じた場合は，この内部状態ロボットの動作も非言静メッセージとして人に伝え

ー162−

ロボット

図1：システムの概要られる．例えば，物体探索プロセスにおいて目標物分で生じる．この原因は次のように分類される．

体を見つけることができなかった場合，ロボットは●画像処理の失敗

カメラを左右に振る．そしてその動作は，ロボット

例えば対象物体の存在する環境が複雑で，画が目標物体を見つけられず，きょろきょろと辺りを像中より物体を正確に切り出すことができな見回しながら困っているというメッセージを人に連いなど．

想させる．
●物体に関する知識の不足

3 人とロボットとの対話生成

例えばロボットにとっては，リンゴは 赤くて丸いもの 程度の知蝕しかもっておらず，赤色

人の全市文は 5WIH，，で構成されているが，本以外のリンゴは検出できない．

研究対象の指示文は主として どこぞ，， 何を乃，どうする，，の3つの要素で構成されていると考え●人の指示が曖昧られる．人間同志の会話ではこれらのキーワード複数個のリンゴを検出できたが，どれを取っは，しばしば曖昧に表現され，又は省略される場合もある．しかし人はこの曖昧な部分や省略されている部分を推測して，指示されたことを実行することができる．また，推測できない場合には指示を出してくれば良いかロボットには選択できない．

そこで，このような原因から起こる失敗を，人との自然なコミュニケーションにより情報を獲得し，回避していく方法を検討する．

た人に，今の分かっていない状況を示し，適切な指人のコミュニケーションは言語によるものと，示又は問題解決のための情報を得る．人はこのようジェスチャ等の非青静的なものの2種類存在するな対話を繰り返し，指示の曖昧性を取り除く操作を【6】が，本研究も音声対話とジェスチャをコミュニ知らず知らずのうちに行なっていると思われる．

ケーション手段として考える．ただし，ロボットのこの考えを，人とロボットとの間の会話にも応用することを考えた．本薪究で開発したロボット内行動も人に対してのジェスチャとして考えている．
自然なコミュニケーションを行ないながち曖昧に存在する認識の曖昧性は，主にロボットの視覚部性を解消していくためには大きく分けて2つの機−163−図2：実験システム

そして探索条件と探索結果とを比較して，差異能が必要である．

一つは人の音声及びジェスチャによる指示を理が生じた部分があればそこを疑問点とする．この差解して，ロボットの行なうべき処理に翻訳する機能

異の取り方及び質問文の作成方法は5飾で詳しく述である・（システム入力部分）

べる．

もう一つは，画像認識の結果，何が分かって何が分からないかを調べ，人に何を教えてもらえばよ
いかを考え，それを人から自然に引き出すことので4 実験システム
実際に実験に用いたロボットの環境を図2に示きる質問を生成する機能である・（システム出力部

す．本実験では小型移動ロボット（Re山WorldIn−
terhce，Inc．Pioneerl）を使用した・そして，こ分）

以上の機能を実現したシステムの構成を図1にの上にはカメラ（CanonVC−Cl），ビデオ送借機

示す．上記の2つの機能を実現するために，今何とR5−232C用無線モデムを搭載した．ただし，人が分かっていて，何が分かっていないかを把握すがロボットに対して物を取ってくることを指示をしるための内部状態の記述スペース（ⅥbrkimgMem−た場合は，このロボットには物体をつかむ腕がない

Ory，WM）を持っている・

ため，その物体の位置まで移動することができたか

例えば，「あのリンゴをとって」と人が指で位どうかで，作業の成功を確認することにした．

置を示しながら言ったとする．先に述べた一つ目の音声認識処理は（株）東芝で開発されたWindows

機能により，化リンゴ耶という言葉からリンゴに関NT上で動作するソフトウェア【7】を使用し，そのする知識を知敢ベースより取りだし，WM中の探索条件の色が赤に，形が球形にセットされる．
また，山あの，，という単語が入力されたら腕の方結果をネットワーク経由でワークステーション側に伝える．また音声合成はNTTインテリジェントテ
クノロジ（株）の製品（しやべりん坊）を使用した・

向を認識するルーチンを起動させるというルール

その他の画像認識などの主な処理はワ」クステーを知識ベース中より見つけだし，認識処理を開始ション（SunUltral）で実行される・する．その結果から位置の部分にも概略の値がセッ

システム内にはロボットを制御するルーチンや，トされる．個数は特に指定されなければ，デフォル

音声認識を行なうルーチンなど様々なルーチンが作トで1個としておく．このように，探索物体につり込まれており，またこれらは独立に並列処理すいての情報が得られたら，それを検出する画像処るようになっている．つまり，時間のかかる画像認

理ルーチンを起動し，その結果を探索結果に書き込識を行なっている間も常時人の言うことに対して聞む．

ー164−

き耳を立てさせ，突然の処理の中断や処理の変更にも対応できるようにしている．以下では，これらのからでも物体の3次元位置を推定することができルーチンのうち人のジェスチャ解析と物体探索の方その領域の輪郭に対して楕円の当てはめを行なった法について簡単に示す．

結呆である．画像中より3個のリンゴを見つける

る．図4は画像中より赤色の領域を1つ切り出し，ことができたことを示している．

4．1 人のジェスチャ解析
今のところ人のジェスチャは， 物を指し示す，，動作のみについて考えている．そのためここでは，物を指し示している腕の方向を求めることを行なっている．ただし一枚の画像だけでは完全な3次元空間上での腕の方向を求めることはできない．しかし，人が他人の腕の方向を見る場合も，腕の方向は完全には認識せず，ただ何となくそちらの方向を向くという動作をしているだけと思われる．これを考慮に入れ，本手法でも正確な3次元の方向を求め
図4：リンゴ（楕円）検出るということは行なわない．

4．3 ロボット・カメラ制御部

具体的な処理方法は，連続するフレーム間の差分処理から得られた運動物体領域，及び肌色領域のここでは，ロボットの前進，後退，回転，及び両者を満たす部分を腕の領域として抽出し，この領域の慣性主軸の方向を人の腕の方向としている．
図3に処理結果の例を示す．

ロボットに搭載されているカメラのパン，チルト，
ズームを制御している．主な動作としては，人の腕の方向へ向くロボットの回転，物体の位置までの移動，物体を注視するためのカメラのズーム制御を行なう．
このロボットの行動が，人に対してのジェスチャ情報となり，人はこのロボットの動きを見て，ロボットが人の意図した通りに動作しているかどうか確かめることができる．

4．4 システム内のデータの流れ
システム内には人からの指示に関する情報や物体探索結果の情報など，様々なデータが入力され

図3：腕の方向検出る．そしてロボット制御や音声合成を行なうという

4．2 物体探索

形で出力される．このようなデータの処理は全て，この処理はあらかじめ蓄えられている物体に関プロダクションシステム（PS）【8】を応用して行なっする知敢と作業中に人から与えられた知識を用いている（図1参府）・つまり，例えばロボットを物体て，対象となっている物体を画像中から探すことを行なう．用いる物体の知識として考えているもののところまで移動させるせ合は，物体の位置までは，物体の色に関する情報と幾何学情報である．色み，この条件にあう処理方法（例えばロボットを0情報を用いて画像から同一色の領域を切り出す．そ0度回転して00mm前進など）を知能ベース中よの行き方（条件）をPSの短期記憶中に一度書き込して幾何学情報よりその切り出された領域の輪郭り探しだして，実際にこの処理を行なうこととしてに直線又は楕円当てはめを行ない，その物体の形といる．

画像上での位置を確定する．また，実際の物体の大このように全ての情報をPSを経由して処理する

きさも知識として与えられているため，一枚の画像のは，システムで使われる知敢を一括して管理する−165−

ことができ，また新たな機能を容易に付け加えるこ（Name＿part）i＝（NameJ）art）oとができるようにするためである．例えば新たにelse

梨 についての物体情報を付け加えたい時は，知（Name＿part）i＝

識ベース中にObject

end i「梨は黄色で，大きさは10cm位の球形」

Reply」1＝ ∑た1（∑畏1（Clause） ブのような知識を加え，あと音声認識用の辞書に ナ＋（Name」鱒ばt）汁 と ）シ乃を登録するだけで済む．

＋を乃個見つけました．乃

また短期記憶中に，ある一定時間経過してもルー

ここで，几は見つけた物体の個数でmはフレー

ルがマッチせずに情報が残ってしまうことがしばし

ムの構成要素の数を表す・ぶりは見つけた物体のうば生じる．これは，誤った音声常識結果が送られてきてしまった場合や，突然の処理の変更など様々なち去番目の物のメ番目の属性を表す．また添字￡が0のものは探索条件を表す．

原因による．このような不要な古い情報を消去でき￠瓜rmativeclause）ijは物体iの属性jを肯定するように，それぞれの情報には短期記憶中に書き込まれた時刻に関する記述が付け加えられており，そる句で，（negativeclause）ijは逆に否定する句を表す．の時刻を常時監視することによって，古い情報の削上のアルゴリズムには表現していないが，全て除を行なっている．の属性が条件と一致した物体は探索物体そのものであるとし，その物体を説明するための旬は省略される．さらに，条件と完全に一致する物体が複数見つ

5 差異の取り方と対話文作成
ここでは，物体の探索条件とその探索結果の、間で生じる差異とそこから対帯文を作成する手順を示

かった場合はそれらをまとめ，物体名とそれが何個あったかを表現するだけに簡略化し，冗長な文になす．ここで言う対話文には，今ロボットが見つけたることを避ける．

物体の特徴全てを人に対して示して，ロボットの今

また，人に対しての質問文（Reply止）は以下のの状態を人に理解してもらう為の状況説明文と，そように作られる．の状態からどうすれば良いか人に対して開く質問文●探索条件に合う物が1個だけ見つかった場合．の，二つから成り立っている．

Reply」）＝ これですか？

探索条件と探索結果はフレーム形式で表現すると，人に対して確認をとるための文を選択すようにしている．このフレームの構造は色，形，個る．

数と位置の情報を要素として持つ．差異はこの探索条件に関するフレームと，探索結果に関するフレー●探索条件に合う物が2個以上見つかった場合．
Reply」）＝ どれを運びますか？

今の要素一つ一つについて比較することによって行と，人に対して見つけた物体のうちどれを取なう．これらの差異をとり，状況説明文（Reply」乱）りに行けば良いか質問をするための文を選択を作るアルゴリズムを以下に示す．

する．

払ー査＝1to†ldo●探索条件に合うものがなかった場合．ただし，払り＝1tomdo

物体は1個以上は見つけている場合．

if（島ブ＝NⅥJL）

Reply＿b＝ どうしますか？

（Clause）iブ＝

これは，ロボットが見つけた物体が本当に人elseif（仇ブ＝βiメ）が望んでいる物かどうか確かめる事もしたい（Cla・uSe）ij＝（aBirmativeclause）ij

ため，このような質問を行なうための文を選

eke

択する．

（Clause）ij＝（negativeclause）ij

人からの入力があった場合の処理の例をいくつか

end j

表1にまとめる．

if allslots arema．tched−166−

に動かす．，この動作が人には「きょろきょろしているのは見つけられないからだな」という非言静的コ

表1：質問文作成の例

ミュニケーションになる．そこで，人はどうすればロボットがリンゴを見つけられるか考え，適切な助言をシステムに対して行なう．例えば，ロボットと物体名 色 形 位置 数

探索物体 リンゴ 赤 球 （盆，釦 1

リンゴの間に障害物が存在し，そのためにリンゴが探索結果 ×× ○（∬見えない場合は，ロボットを別の位置にまで移動さ

検証結果 ×× 0 0 b

せ，そこから再度リンゴを探索することを教える．

探索物体 リンゴ 赤 球（孟，釦 1（2）

探索結果 ．；：；；：
療証結果 ○ （⊃ ○×

6 実験

×件で実験を行なった．例として以下に示すような状
況にっいての結果を示す・（図5参席）

探索物体 リンゴ 赤 球（会，釦 1（3）■提案手法の有効性を確認するために，種々の条

2

探索療果 ×× ××0

検証給果 ×× ×××●・対象物体の赤いリンゴが2個存在する．
● ロボットの方からはリンゴは重なって見える．

表1のca5elの例では，シーン中に青リンゴが1個置かれている状況を考えている．この場合は，システムはリンゴは赤い物であるという知識しか持っていないため，形情報による物体認識は成功したが，色情報による認識には失敗している．（表1中には形情報による認識の部分には成功したことを示す（○）が事き込まれ，逆に色情報による認識の

図5：実験例

以降，人の指示とロボットの行動についてまと部分には失敗したことを示す（×）が書き込まれてめる．

いる）・したがって，色情報からは罷識できなかったことを，色に関する部分を否定した文を生成することにより人に伝える．すなわち『赤色でない球人「あのリンゴをとって．」

ロボット人の腕の方向に向く形の物を一個見つけました．』『どうしますか？』

物体探索開始と返答する．すると人は対象が青リンゴなので，ロ（図6は腕の方向に向いた状態を示す．）

ボットが色を間違っていると気がつき，「青リンゴをとって」とロボットに情報を与える返事が良然に出てくることが期待される．
ca5e2の例はシーン中にリンゴらしい赤く丸い物体を2個見つけた場合である．この場合は個数に関して疑問が生じている．システムはこの2つのうちどちらが欲しいか，『リンゴを二僻見つけました．』『どれを選びますか．』と人に質問をし，人はそれに答える．
ca5e3の例はリンゴらしい物が一つも見つからなかった場合である．この場合は，ロボットは赤く

図6：腕の方向を向いた状態て丸い物を探すために，カメラをいろいろな方向−167−

（探索をした絵島リンゴは画像中では小さく写

ただし，今回作成したシステムではまだ対象額り，また重なって見えていたため，幾何学形状を特域が限定されているため，今後の課題としてはそれ定することができなかった．）を広げるために，物体認識法の改良や音声認識単静ロボット『赤色の球形でないものを一個見つけまの追加などをしていく予定である．

した．』『どうしますか？』人「それをもう一度よく見て．」

ロボット ズームアップ ＋ 再観測

人

謝辞

本研究の一部は，文部省科学研究費（095550紬，09221219），倉田奨励金，栢森情報科学振興財団の『リンゴを二個見つけました．』

補助を受けた．また株式会社東芝より音声認識ソフ『どれを選びますか？』

トウェアを提供頂いた．ここに深く感謝する．

「右の物を選んで．」

参考文献

ロボット『リンゴを一個見つけました．』【1】河野恭之，屋野武秀，池田朋男，知野哲朗：右のリンゴまで移動

仮説推論に基づくマルチモーダル入力統合方

人への確認 『これですか？』・式 ，インタラクション，97論文集，pp．33−40（図7はリンゴの位置まで移動した状態を（1997）【2】伊藤敏彦，停田明弘，中川聖一：示す・）人

マルチモー「はい．」

ダルインターフェースと協調的応答を備えた観＜＜終了＞＞

光案内対有システムの評価 ，インタラクショ

ン 97論文集，pp・135−142（1997）【3】森田寿郎，渋谷恒司，菅野玉樹： 人間共存型
ヒューマノイドHaddy−2の開発一連動系の構築および人間との共同作業− ，日本機械学会【Ⅳ0．97−23】第2回ロボテイクスシンポジア講
演予稿集，pp・127−132（1997）【4】竹林洋一： 音声自由対帯システムTOSBVRqII−ユーザー中心のマルチモーダルインタフェースの実現に向けて− ，電子情報通信学会論文

図7：物体位置までの移動した状態

誌，VOL．J77−D一ⅠⅠ，No．8，pp．1417−1428

以上の例の他にも，対象物体が本の場合，似た（1994）ような物体が複数存在するような場合など，様々な状況でもロボットはうまく対応することができた．

【5）H．Asoh，Y．Motomura，Ⅰ．Earよ，S．Aknho，
S・Ⅱayamizu，T．Matsui：

CombiningProba−bilisticMapandDialogforRobustLifb−long

7 おわりにO伍ceNavigation，Proc．IROS96，pP．807−812（1996）

本論文の目的は，人との対帯を活用しシステム【61黒川隆夫： ノンバーバルインタフェース ，オーのロバスト性を向上させることである．その有効性

ム社，（1994）を示すために人に代わって人に指示された物体を取【7】金澤博史，舘森三慶，坪井宏之，竹林洋一：

りに行くロボットの開発を行なった．システムの入雑音免疫学習を用いたサブワードⅡMMに基

力には音声認識，画像認識を用いているが，特に画像認識では誤った認識結果が得られるせ合がしばしづく雑音環境下の音声認識，，，日本音響学会講ば起こる．その場合は，目標物件のところまで確実

演論文集，pp．83−84（1996）【8】白井良明： 人工知能の理論 ，コロナ社，に移動できるほど認識が確定するまで，人に適当な質問を行なうことで解決する．

（1992）−1 68−