「インタラクション，99」 平成11年3月

ユーザの注目情報を利用したマルチモーダル・インタフェース

茶園焦★，長田紗★，囲枝和雄★
★NECヒューマンメディア研究所〒63ひ0101秦良県生駒市高山町8916・47
恥1．0743−72・3641nlX．（汀43−72・3599
E−m由1：血始劇lI山．d．neG00jp

抽NECC＆Cメディア研究所
1．はじめにコンピュータを利用する機会が増大するに伴い，人間のコミュニケーション特性を活かし，より自然な感覚での操作を実現することが可能なマルチモーダル・インタフェースの実現が望まれている．従来のマルチモーダル・インタフェース【1】は，時間軸を基準とした対応付けによりモダリティを統合している．
しかし，操作として考えた場合には，時間的な基準は補足的に利用する必要はあるが，あくまで各モダリティの対話操作における意味を基準として対応付けを行うべきであると考えている．
また，従来の研究は主に仮想世界を対象としたものであるが，実世界′＼適応することがより重要であると考えている．
これに対して我々は，対象とする世界の知識記述や知識を利用したモダリティの意味解釈により，視線・指さしなどから「空間での注目情報」と，音声から「凝話コンテキストでの注目情報」とを検出し，ユーザの注目情報をベースとして統合す「再生」とは「映像，．音」という情報を出力するというようなる枠組みを構築した．この枠組みを利用して，ユーザの指さし情報内容から機浮間の接続関係を，出力場所から出力対象を特による直接指示と自然言語での発話からユーザの注目情報を検定できる．

出し，検出した注目情報を基に実世界のAV磯路を対話的に制

2．2 モダリティ問の時問的な関連付け御するシステムを試作したので報告する．

ユーザがジェスチャと音声による操作を行う場合，指さし2．鰊方式などのジェスチャと自然言語発話を同時に行うとは限らない．

提案方式の特長は，ユーザから入力される各モダリティをまた，各モダリティを認識する部分での，認識処理の負荷によ統合する場合に，時間を基準とした制御に加えて，対象とする実世界（もしくは仮想世界）を記述した知識に基づき，操作の意る時間ずれも生じる．このような場合，本来同一の操作として扱うべきものであるのに，時間ずれが生じることになる．そこ

味的な正しさをより重要な判断基準として用いている点にある．

で，ある一定の時間間隔内において，モダリティ間に関連があるかどうかを検証することが必要となる．本方式では，各認識2．1対酬述部から認識結果が出力される時間を基にして，お互いの信号がユーザから入力される各モダリティの認識結果から，ユー一定時間間隔内に出力されていれⅠ蔀寺間的に関連性があると判ザが何に注目してどのような意図を持っているのかを推定する．

断する．

そのためには，ユーザが操作対象とする世界の知識が必要とな

また，各モダリティ毎に特性が異なるため，その差を吸収る．図1に処理の流れを示し，図1中の具体例を利用して対象する必要もある．指さしによる領域指示では，単一操作で複数世界の知言脛己述阿に関して述べる．例えi￡AV磯路の制御を領域を指示した場合にも，各領域の指示は別の認識結果として実現するためには，実世界に配置されているAV機器の名称，出力される．一方，音声認識の結果は，発話の開始から終了ま機能，空間中での配置情報などが必要となってくる．この例ででの一連の時系列がひとまとまりとして出力される．このためは， TV は空間領域1も瑠己置されており， POWER，に，従来の統合方式では，例え構図3に示すように領域指示CML などの機能があると分かる．また，ビデオのと発話コンテキスト内の指示詞との対応付けで不着陥が生じる．
また，指示詞は対象を指し示しているものなのか，文脈としてMulti−mCdalhTte鮎w血ame也dtodetectUser，sAtten血n現れるものなのかも分からない．従来方式では，文択として現jhushiCHAEN★，SebTaOSAJW＊，Ⅸ誠uOKUNIEDAチ★HumanMbdiaRes．IJabs．NECG）rP．
★★C＆CMediaRes．I．ab8．NECCbrp．

れる指示詞と領土封旨示との対応をとってしまうために，最終的ー71−

な意味として矛盾を生じてしまう場合がある．これに対して，
本方式では，画像認識結果が短い時間間隔で連続して現れる場

乱4対敵による注風情報の曖昧性解消
本方式ではシステム状態に応じてユーザヘの問い合わせを合には，単一操作での指示だと判断し，入力順序を保存した状生成し，ユーザとの対話により曖昧性の残った注目情報を特定することが可能である．例えば，指示語なしに つけで と発態で複数信号を単一信号として処理するものとする．これによ話するなどした場合，システムは知識記述から つける

り，図3に示すように指示詞の数と蘭射旨示数とが異なる場合にも，後段の処理で対応づけることが可能となる．また，文脈う機能を持っているものが複数あるかどうかを判断する．複数ある場合には，ユーザヘ どの機器をつけますか？ という問として現れた指示詞と領域指示とを1対1に対応づける必要はい合わせを生成する．この間い合わせへの応答として，システムは指さし，音声の両方に決定権を与える．また， つける と必ずしもなく，後段の処理で意味的なまとまりとして対応づけることが可能となる．

いう機能を持っているものに認識対象を限定するなどの制御が可能である．これにより，より自然でロバストな操作が実現できる．

時間T
均

こ…を…あ

従来
【ジェスチヤ】（領域l）とい

3．試作システム
設定したモダリティは指さしと自然言語発話である．対象
機器としてテレビとビデオを用意した．カメラ入力による指さ（領域2）（領域3）（領域4）

し認識処理，ヘッドセットマイクによる音声認識地理ならびに一連の統合処理を1台のPCで処理し，RS232C制御の赤外線インタフェースにより実機器制御を実現している．指さしに関しては，ユーザは指定位置に立ち，腕をまっすぐに伸ばした状態で対象を指さしてもらうこととした．指さしの認識処理とし

囲3：蘭鰍一方による対応付け悌ヽ
2．さ 注目情取の検出による意図推定ては「股的な背景差分を利用した．

次に，ユーザの意図を推定し操作を実現するためには，モ

具体的な操作例としては，ダリティ間の時間的な関連性の検証だけでなく，対象世界の知識を考慮した上で関連があるかどうかを判断する必要がある．

・テレビ，ビデオそれぞれに対する電源のオン・オフ

これに関して，本方式では，図1に示すような知識記述を利用

・テレビを見ながらビデオのチャンネルを変更する・ビデオを指示して再生させる

して「空間での注目一楓と「発話コンテキストでの注目一楓などである．これらの操作例に対して，認識処理による遅延はを検出し，時間的な関連性も含めた上で統合的に解釈を行ってほとんど感じられずレスポンスは良好であった．音声認識は話いる．各注旨情報とは次のようにして検出する．図1の知言脛己者特定で学習をしており比較的安定して認識できている．また，述を利用した検出例も併せて示す．

指さし指示は指示方法を限定していることもありロバストに検（1）「空間での注目一l朝軋：指さし指示による認識領域と知識記出できている．

述との照合により検出される．領域指示結果が（領域1）の場合には， 領域1 という注目位置の他に W という4．まとめ統合モデルの検証を行う場として，ぷJ機器制御をターゲッ

注目貢橡を検出できる．
物「発話コンテキストでの注副闇軋：発話コンテキストに含トに設定したマルチモーダル・インタフェースの試作を行った．

まれる名詞，動詞などと知識記述との照合により検出され限定された条件下ではあるが，応答性や誤解釈の少なさといった点で良好な結果を得た．本方式では，注目情報，ユーザとシる． つける は伊OWERo巾という知識と対応づけられており，知識言改巨のツリーから W もしくは Ⅴ：mステムとの対話状態に応じて，認識部にフィードバックをかけを つける という注目情報を検出できる．

る枠組みを有しており，これを用いて頑強性の向上を図る予定である．また，他のアプリケーション場への適用の検討，試作，そして，時間的に関連がある場合には，これらの注目情報を相補的に補完することにより，操作が意味的に正しいものである

知識記述の動的な更新方法の検討なども進める．

かどうかを判断する。しかし，時間的に関連があったとしても，意味的に正しくないと判断した場合には，ユーザとの対話により意図している操作を実現する．この例の場合は， W を つ参考文献

ける という実現可能な操作を導出できる．また， TV を指【月市川， マルチモーダル・インタフェースの動向と課膠 ，システム／糾御／情報学会誌，Ⅵ九39，Nb．5，押．233−2亜（1995）

さし 再生（笹ぽE，plaゎに対応） と発話した場合には， W

闘長田他， 自然言語を用いて家庭磯路操作を行う対話システ

ではなく Vm に対する操作であると判断し， ¶TR で再ム ，信学技報SP98−73，pp．23−3叫朗吟

生し W に出力するという意味に解釈される．

−72−