「インタラクション，97」平成9年2月

仮説推論に基づくマルチモーダル入力統合方式
河野恭之，屋野武秀，池田朋男，知野哲朗（株）東芝関西研究軒
概要：実用的なマルチモーダルインタフェースシステムを開発するために解決すべき必要な要素は，（1）遅着データの統合，−（21）認識結果の唆昧性，（3）過去の問題解決データの参照，の3点である．本研
究では，これらの課題を解くための汎用かつ実用的なマルチモーダル入力解析方式を開発した．本方式では，マルチモーダル入力解析過程を定式化し，システムの問題解決過程の管理にATMS（Assumption−basedTnIthMa加enanceSystem）を用いることで，遅着データをうまく統合し，また曖
昧性を持ったマルチモーダル入力の解析を効率的に行うことができる．更に，ATMSに時間の概念を導入することで，問題解決データの一貫性を保ちながら過去の問題解決データを参照できる策組を提供する．ポインティングデバイスによる直接指示と音声を用いたマルチモーダル入力の解析を例に取り，提案する枠組みの動作を説明する．

AmultimodalinterTmtationmethdthsedontruthmaintenance
ABSTRACTThreerequlrementSWhichshotJldtxmetinordertodevelopapracticalmultimodali血erface

SyStem，i・e・，（1）integrationofdelayedarrivalofdata，（2）elimiIlationofambiguityinrecognitionresultsofeach
modality，and（3）treatmentofpastrproblem−SOlvingdata，arediscussed・ThispPerPreSentSaneXCellentand
genericmethodologyforirLterPretationofmtIltimoda）i叩uttOSatisfytheserequ）rementS．Itisabletointegratedelayed−arrivaldatawell，、andisabletoefEicient）yinterpretmultimodalinputthatcontainsambiguitybyre−gardingthemultimodalinterpretationprocessashypotheticarreasonlngandformalizingthecontrolmecha−
nismofinterpretationonthebasisoftheATMS（Assumption−basedTruthMaintenanceSystem）・Furthermore，

itisabletoreftrtopastproblem−SOlvingdatawhilemaintainingthecozISistencyofct）rrentdatabyincorpora−tionofatimestampmanagementmechanism．Theproposedframeworkisillustr云tedwithaninterpretatio

SyStemthatacceptsmultimodalinputconsistingofvoiceanddirectindicationbyapointingdevice・

用いて計算機に意図を伝達でき，また，複数のモダリティを効果的に用い七わかりやすく自然な表現を利用者に提示できるマルチモーダルイ

1はじめに
一般に人間は対面する人に対し，言葉や身振り，手振り，表情といった様々な伝達手段，すなわちモダリティを利用して意図を表現し，効率的に伝達している．このことから，人間のコ

ンタフェイス（M叫Ⅰりが求めちれている（Ma沖ury，1994）・

一般にMMIFは，音声やポインティングデ
バイ女による直接指示といった個々のモダリテ
ィの認識羊ジ皐−ルから非同期に与えられる認識結果を受け入れて互いに関連付け，その統合／

ミュニケーションは本質的にマルチモーダルであると言うことができる．計算機の印にも，利用者が入力方法などを意識やずに自然に，すな解釈を行い，利用者が様々なモダリティを通じわち人に対するのと同様に複数のモダリティをて入力した個々には断片也な情報の集合から，〒658神戸市東灘区本山南町8サ26
Tel，078−435−31糾 RⅨ．078−435−3162

E−Mail：（k仇0，ymO，tOmrhy，血ino）＠叫toshiba・00・jp

ー33−

全体的として利用者が伝達を意図した内容を推れまでに自然言語解析等で培われてきた構文解定する．マルチモーダル入力の統合／解釈処理

析技術は，MM解析にも有効な基盤を提供している．実隙，汎用性を目指したこれまでの研究（MM統合／解釈）を行える実用的なシステムの構築のためには，（1）遅着データの統合，（2）認識結果の曖昧性，（3）過去の問題解決データの参照
といった課題の解決が必要である．これらの課成果には，MM−DCG（Shimazuetal，1994）やKoons

題を効率的に扱える汎用の枠組を構築するため見られる（Cob￠n，1994）．しかし，単純にこれらに，我々は一貫性管理機構ATMS（de Kleer，のシステムで遅着データを扱おうとすると，解1986a；deKleer，1986b）をMM入力統合／解釈に適用しその制御メカニズムを定式化した．

析処理をほとんどはじめからやりなおさなければならなくなる．また，各モダリティの認識結

本稿では，MM入力統合／解釈の制御メカニ
ズムについて述べる．次にペン直接指示と音声

果の曖昧性を扱おうとすると，解釈の対象となによるマルチモーダル入力から利用者が参照している対象物を同定する照応解決を行うシステ

なり非効率である．これらの課題を解決するた

ムを例にとり，その動作を述べる．

中データを再利用する」，「他の候補の解析結果のうち，再利用できる部分は再計算しない」と

2 仮説推論に基づく入力統合制御

いった問塵解決の制御が必要となる．

らのシステム（KoonsgJαJ，1993）をはじめとして，
自然言語の構文解析技術を応用したものが多くるMM入力候補の数だけ解析処理を行うことにめには，「遅著したデータに関係のない解析の途

2．2ATMSベースの問題解決制御

2．1課題

前節で挙げた課題を満足できるMM統合・

我々は，汎用で実用的なMMIF開発のため解析処理の制御メカニズムの基盤として，我々に，はATMS（de氾eerl粥6a；19郎りを選択した・

遅着データの統合：各人カモダリティでの認識処理に必要な計算量の差に起因して，あるモ

ATMSは多重世界問題を取り扱う問題解決器にダリティからの認識結果が統合／解釈処理の情報を最大限に伝達して効率よく問題を解決す

開始後にMM統合／解釈モジュールに到着することがしばしばある．このような遅着デー

る上で有用な機能を提供する．
ATMSは問題解決器げS）と独立に動作し，問題解決過程の一貫性を管理する．PSは対象知
識・問題解決知識等を用いて，与えられた問題を解決するために推論を行う．PSはその推論過程をATMSに通知する．PSが取り扱う全てのデ対する知的キャッシュであり，複数の世界観でタを取り込み，効率的に再統合して解釈する
枠組が必要である．
認識結果の曖昧性：一般に各モダリティにおける認識処理では100％の認識率は期待できな
いため，MM統合／解釈処理モジュールにはータはATMSが管理する．
PSが通知する情報は，【叫，穐…，勅⇒♪】各モダリティにつき一般に複数の認識結果の形態をとり，データ♪がデータの集合

候補が入力として与えられる．MM統合／解釈部は，曖昧性を持った各入力要素について
最も確からしも・＼候補を探索しながら，効率的に解析処理を行う必要がある．

（凡，蝿．．り凡）から導出されたことを表す．
（凡，蝿…，凡）を♪の支持理由という．
PSで扱うデータは前提データ，仮定データ，
導出データの何れかに分類される．前提データ

時間の取り扱い：利用者とやりとりをしながらタスクを遂行してゆくシステムではiそのタ
スクに関連するデータは刻々更新されるこはいかなる状況でも成立するものとして定義される．仮定データは，他のデータに依存せずに成立すると仮定されたデータである．導出デーとになる．一 しかし後の問題解決で過去のデータを参照する場合もあり，時間の経過に従タは他のデータから推論規則により導出されたデータである」って単純にデータを消去したり無卿こする導出データから支持理由をたどると，最終的わけにはゆかない．

には前提もしくは仮定データに到達する．このという3つの課題の解決をMM統合／解釈アーキ

ため，全てのデータに対してそれが依存する仮定の集合を計算することができる．この仮定の集合は環境と呼ばれる．各データについてPSか
ら通知された支持理由を記録し，そのデータがテクチャ設計の目標とした1．

汎用なMM統合／解釈アーキテクチャがあれ
ば，MMIFのモダリティ拡張は容易になる．こ

成立する無矛盾な環境を計算することかATMSの主要なタスクの一つである．矛盾の導出が通1これらの課産の前2点についてはMayhヮが指摘している（Ma沖u堺1994）・−34−

知されるとATMSは矛盾の環境を計算し，それを矛盾レコードに記録する．矛盾レコードに含ているため，PSは重複した推論を避けることができる．

まれる環境は許されない仮定の組み合わせと解釈できる．
推論のある局面はコンテクストと呼ばれ，その局面で成立するデータの集合により定義され特定のPSにATMSを導入する際の設計上のポイントとして，

1．データの分類（前提データ，仮定デー
タ，導出データ）とその依存関係の設る．コンテクストに含まれる全てのノードを導定出する環境をそのコンテクストの特性環境と呼2．矛盾解消ルールの定義

ぶ．ATMSは，矛盾レコードを用いてPSの推論

3．矛盾解消器の設計過程の無矛盾性を管理する．PSは矛盾レコードに記録された環境を包含しない新たな特性環境の3点が挙げられる．

を選択し，ATMSに通知する．新たな特性環境

2．3MM統合／解析問題への適用が通知されると，ATMSはそれまでに通知されMM統合／解析問題をATMSベースの問題解
決の制御問題として捉え，その問題解決プロセスを定式化することで，2，1節で挙げた課題の前

た各ノードが新しい特性環境において成立する（in）か成立しない￠ut）かを決定し，inノードの集合により新しいコンテクストを構成する．その2点，すなわち遅着データの統合と各モダリテ
ィの認識結果の曖昧性の課琴に対処し，効率的

コンテクストの下でPSは推論を続行するカ．

に適切な解釈結果を導く制御メカニズムを構築する，という方法論が本研究の柱の一つとなっているアイディアである．

図1ATMSベースの問産解決
図1にATMSベースの問題解決の制御プロセスを示す．上の平面に仮定の集合が，下に導出データの集合があり，上の平面の点線で示された環境から下の点線のコンテクストが導かれているとする．推論過程で矛盾が生じるなどPSの推論を制御する必要が生じると，環境管理モ
ジュールが新たな環境を生成し遷移を通知す
る．ここで実線で示されている環境への遷移が通知されると，ATMSは新たな環境の下でのコ

図2 MM入力統合システムの構成
図2にMM入力統合システムの全体構成を示す．音声モード認識部やジェスチャモード認識部といった各モダリティの認識モジュール
は，利用者の音声入力やジェスチャ入力があるとその認識を行い，認識結果が得られると入力

ンテクストを計算し，PSは新たなコンテクストの下で推論を続行する．この際，以前のコンテ
クストの下で行った推論で生成されたデータのうち，新たな環境においても導出可能なもの（図時刻情報とユニークなIDを付与してMM入力

1の斜線部分）は自動的にコンテクストに含まれ統合／解析部に認識結果を出力する．これをMM入力要素と呼ぶ．MM入力要素の表現形態は各
モダリティによって異なり，例えば音声モード

認識部は文廟ラティスを，ジェスチャ認識部は

2ここでは，並行型の馳5icAmS（d￠紀叫198 a）ではなく巡回型の予め与えられた指示対象の中から認識結果対象

DDB甘idedAmS（de氾￠eち198呵を前捷としている・

3AmSの各ノ∵下には，そのノードが成立する特性環境の最小サ
ブセットの集合を表すラベルと呼ばれる情報が付帯している．あ候補を出力する，というように一般に複数の認識結果候補が含まれている．

るノードのある特性環境における状態は，そのノードのラベルに知識ベースにはMM入力統合

特性環境のサブセットが含まれているかどうかを検証することな知識，例えば参照の対象となる対象オブジェで決定できる．ノードの状態検証，及び支持理由の通知によるラベルの更新はビット演算により高速化可能であり，その他様々なクトやそのクラスi対象オブジェクトが持つ属

高速化の技法がこれまでに提案されている（臭乃1991）・−35−

integrate（加げ九仇〝eJe研創f，九州〟皿）：これまで

性とその値，それらに対応する言語表現等，が意味ネットワーク形式で格納されている．
MM入力統合／解析部は各モダリティの認識に得られている入力要素集合のうち，加げ几仇〝eね椚g〝f（第1引数）をまと部から非同期にMM入力要素を受け取り，統合して解釈すべきひとかたまりのMM入力要素集

まりとして統合することを仮定する．
この近辺のMM入力統合について

合（MM入力）＿を決定する．これをMM入力統合処理と呼ぶ．次にMM入力統合／解析部は，

ho＿Omission（助詞扉卸，心Jげ〟WとJe椚e叫脚打

MM入力要素それぞれについて候補を一つずっ皿）：加仇〟1D（第3引数）のMM入力統選択したMM入力候補の集合を生成する．そし合に，別〃d〃砂（第1引数）の入力要てそれぞれのMM入力候補について，知識ベー

素が駄叫伊仙仇壷傲畑（第2引数）のス中のドメイン知識を参照してMM入力の解析み含まれることを仮定する．システムを行い，利用者のMM入力内容を同定する∴こ
れをMM入力解析処理と呼ぶ．MM入力内容が同定されれば，それをアプリケーションに送付する．またMM入力統合／解析部は，アプリケ
ーションからの出力要求を受け，出力モード部に接続している各人カモダリティ毎に〟凡打皿（第2引数）が割り当てられる．

仮定される．

を通じて利用者へのフィードバックを行う．

MM入力統合処理，及びMM入力解析処理の過程は逐一ATMSに通知され；ATMSはそれを記録する．MM入力解析処理の失敗などによりATMSに矛盾の発生が通知されるか，又はあるMM入力候補の解析処理が終了するなどATMSが管理するデータが予め与えられた状態に達すると，環境管理部が問題解決のための新
たな環境を生成し，ATMSにその環境への遷移を指示する．MM入力統合／解析部は新たな環境の下で問題解決を続行する．

D■dv●dd■t■○れMMmねrpr●l■don

2．3．1遅着データと曖昧性の取り扱い

図3 MM入力統合／解析処理の過程

MM入力統合処理ではまずMM入力要素全集合と呼ばれる集合∫の初期値を空とする．そして，（1）MM入力解析処理の成功，（2）十分長

ここで，音声入力vInとタッチによる指示入力gInのみを扱うMMIFを例にと芦・このシス

い間どのモダリティの認識結果も到着しない

テムに対して利用者が音声とタッチ入力の両方（タイムアウト）状態，のいずれかになるまで次の操作を繰り返す．

に時間がかかりⅤInの解析結果である文節ラテを組み合わせて入力を行ったが，gInの解析処理
ィスWlのみが先に得られたとする．この場合，システムはWlのみを統合されたMM入力と1て 何れかのモダリティの認識結果が伝達されると，そのIDを∫に追加する．
2．∫の任意のサブセット∫∫の解析処理を未だ行っていなければ，ちをMM入力として仮定しMM解析処理を行う4．
3．タイムアウトすると∫を空にする．MM
入力解析処理中ミ成功すると，∫∫を出力すると共に∫∫を∫かち除去する5．

し，図3の最上面左側に示すように
intcgrate（【V＃1］，MMI＃1）

no♪mission（ⅤIn，【V叫，MMI＃1）
mq♪mission（gIn，【】，MMI＃1）の3つの仮定を生成して特性環境に迫力口する．
更にMM入力M＃1を表す導出データがimtegrate（【Wll，MM甜1）

M涙ー入力痍合処理において生成される仮定＆m㌔♪missiom（ⅤIn，【V叫，MMI＃1）

は，以下の2種顆のいずれかに属する・＆no⊥0mission（gIn，一【】，・MMI＃1）⇒integratedJnput（［V＃1】，MMI＃1）という支持理由により導かれ，LMM入力解析処
ヰ時間的に近い入力要素を優先的に統合する等のヒューリスティッ

理に制御が引き渡される ．

クスを用いることで，MM入力∫∫の生成・テストを効率化することができる．
5−解析た使われなかった入力要素（⊥般にノイズであることが多∵実際には入力時刻情報も付加されるが，ここでは簡単化のため記い）が∫に堆積するのを防そた軌

述しない．

も∫から除去される．

一36−

生じることがよくある．このような問題を仮説推論で扱おうとすると，コンテクストの管理が複経となり，それがATMSの実際的なタスクヘ

MM入力解析ではMM入力候補集合か．ら順にMM入力候補を選択して解析するが，その際に入力要素中の各要寿について仮定が生成され，更にこれらの仮定から導出がなされるという形で解釈が進行し；その過程が逐一ATMSにの適用を妨げてきた＿∴本システムでは，次のように時間変化するデータを扱い，時間の取り扱いの課題に対処して蓄積される．．この過程は3節で詳述する．

ひとつのMM入力候補の解析が終了し，次のMM入力候補が選択されると，環境管理部は新たなMM入力候補の解析処理に必要な環境を設定する．このとき，以前のMM入力候補の解いる．

1．MM入力統合／解析部から知識ベース部
への問い合わせは環境管理部を通して行う．

2．環境管理部は知識ベース部の回答に入釈過程でこれらのデータから導かれていたデー

タが参照できるようになる．このようにして過力時刻情報を付与したATMSの仮定を去の問題解決の途中過程を可能な限り生かしな

生成し，IDを内部の履歴に記憶する．
3．知識ベースが更新されると，知識ベー

がら，適切な解を導ける候補の集合を探索することができる．

ス部は影響を受ける過去の問い合わせ

MM入力解析処理中にあるモダリテイ，例えばジェスチャモダリティgInから統合すべき遅着入力G＃1が届くと，新たにを検索し，その間い合わせに対する回答が無効である旨を伝達する．環境管理部は対応する履歴レコードに無効フラグを付与する」．
4．環境管理部は，MM入力統合／解析部からの問い合わせに対し，まず内部履歴を検索する．有効な同じ問い合わせがintegrate（［V＃1，G＃1］；MMI＃1）
nq♪missiom（釘n，tG＃1】，MMI＃1）の2つの仮定が生成される．ゝ▲このとき，
intcgratc（［V＃1；G＃1］，MMI＃1）＆nqJ｝missiom（gIn，【】，MMI＃1）⇒⊥

履歴中にあれば，対応するATMSノー

ドのIDを返答する．履歴中に有効なもintegrate（［V＃1］，、MMI＃1）＆integratc（［V＃1，G＃1］，MMI＃1）のがない場合にはじめて，知識ベース
部に問い合わせる．

⇒⊥

以上のようないわば知識ベースのキャッシュ機の2つの矛盾が導かれる．この矛盾を解消する
ために環境管理部は，れ0」｝mission（gIn，【】，M＃1）とimtegrate（【V＃り，MMI＃1）を含まず，
integrate（［V＃1，G＃1］，・MMI＃1）を含む環境を決定
し，遷移を指示する．この環境遷移により，図2の網掛けされたデータが自動的にコンテクスト

から除去されると共に，新た寧コンテクストに含まれるデータ（m定pmissi叩（Ⅵh，【Wlj，MMI＃1）

能を環境管理部が持つことにより，更新前の知識ベースに基づく推論結果を参照しながら，最新の知識ベースに基づく問題解決ができる．また，各時点の問題解決のスナップショットを再現できるようになる．

3 MM照応解決問謁へ叩
ここでは，試作したタッチパネルによる直接のみから導出されているデータ等）については再計算することなく利用できる▲．このように進指示と音声によるマルチモーダル入力の照応解

行中の処理の再利用可能な推論データの状態を決を行うMMIFを例にとり，MM入力統合・解析過程を説明する．なお紙面の都合上，2．1節で保存しながら，遅着データを取り込み∴MM解析を再開できる．

挙げた3つの課題のうち認識結果の曖昧性の取り扱いに関する処理過程を詳述する．

2．3．2時間経過の取り扱い

このシステムは，音声認識サーバ，ジェスチ

ATMSの発表以来，その汎用性と有用性から

ャ認識／出力サーバ，知識サーバ，照応解決クラ
イアントの、4つの32t如プロセスで構成され，ニWindoq／s95もしくはWindows−NT35X；4．0上で動作する．これらのプロセスはサブネット上の他プロセスを自動的に探索し，知的エージェン

様々な分野の問題への適用が試みら丁れてき尭．
HIの分野でも音声言語理解システムにおいて，曖昧性を持つ音声認識結果から言語情報を抽出する試み岬isbiokaeJdJ，1991）等があるが，実用化には至っていない．

ト間の知識交換言語で奉るKQML 岬ininefdJ，ATMSは推論順序に関係なくコンテクスト
を構築／再現でき，PSの推論順序の自由度を拡大する∴ しかしある確度の規模のタスクでは，既1993）を用いて互いた通信することで，連携して照応解決を行う．

に更新された過去の推論結果を参照する必要が−37−

スWlの内容が【（この蛾人Ⅶ呪はⅦ峨
何元血旧，をⅦ峨しているのⅦ胎1q（この峨案
内皿机1，は血舶玖誰血朗ZにⅧ緋13，出せば血鮒鴨川虻加鮒嘲で，直接指示対象候補集合G＃1を【IACation＃20064，Lecation＃20016，Lecation＃20032］とする9．MM入力解析ではMM入力候補集合
から順にMM入力候補を選択して解析処理を行うが，その際に入力要素中の各要素について仮定が生成される．この例では，最初のMM入力候補として【この蛾人弼は叩舶珂Ⅰ一皿卜血戒虻吼．何血略をⅦ蝿しているのⅦ緋1qの解析が行われるが，この場合，

嘲II蠍刷酬10tV姐）

図4 MM照応解決システムの画面例

gesturcJocation（Location＃20064，G＃1）
gcsturaIJⅢrd（G＃1，md＃2）

図4にシステムの出力画面の例を示す．このの3つの仮定が立てられる．

画面は，利用者がタッチパネルを用いて写真上更に仮定ⅤIm」血ra5e（岬皿呪Im姉血路，
咄l血明V＃1）からは，の×印の部分7をポイントしながら「この人は何をしているの」と発声した場合のものであるg．
ここでのMMIFのタスクは参照表現を含むMM

ⅤⅠ皿」VOrd（md＃2，Ⅶ1），

入力に対して参照物同定を行った上で参照表現

VInJ和一d（Ⅵnk＃7，Wl），

を参照物名で置換し，例えばこの例では「中山ⅤInJⅣOrd（unk＃3，Wl），

さんは何をしているの」という文字列を生成し

ⅤInJ柑rd（unk舶，V＃1），
ⅤIn⊥WOrd（unk＃10，Wl）

ⅤInJ和一d（nn＃7，V＃1），てアプリケーションに送付することである．この各々への導出がなされる．また，音声入力候
補文の修飾関係を解析することで，同様に仮定

こで図4にあるように，利用者がポイントした

点に表示されている対象物は人物ではなく，別のもの（ホワイトボード）であるため，解であ

ⅤIn」山ras亡（【md＃2，nn＃7，un帥7，Ⅶn鮒3，Ⅶnk鵬，

Ⅵn蛸10】，V＃1）から「中山さん」に相当する直接指示対象位置候補は

ジェスチャ認識結果の第1位ではなく，2位以下mod坤（md＃2，nn＃7）の候補となっている．このため，音声，ジェス

0匝d」10Ⅵn（nn＃7，V＃1）

チャの共た第1位の候補のみを解析しても解がverbal」nOdi重er」10Ⅵn（【nn＃7】，V＃1）が導出される．次に知識ベースを参照しながら得られず解析は失敗する．このため第2位以下の候補を探索する必要が生じる．このような場

この音声入力候補文の解析が進行し，合のMM統合∴解析過程は次のようになる・

即甲reSSionJlass（nn＃7，p？rSOn）

MM入力統合処理では，2．3．1節と同様に＆ccrelation（male」）erSOn，1S−a，perSOn）＆cこrelation（鮎ma】e」）erSOn，is−a，PerSOn）

integrati（【Ⅴ＃1，G＃1】，MMI＃1）npJ｝mission（ⅤIn，【V＃1］，MMI＃1）
mtしpmissiom（gIn，【G＃1】，MMI＃1 ）＆class」）悌Ct（中山e」）erSOn，匝撼狙血戯判＆classJ〉匝ct（艶male」）erSOn，【鎚male＃204】）の3つの仮定が生成され，これらの仮定から，⇒両軸血岬匝吼伽血縦椰

integrated」叩ut（［V＃1，G＃1］，MMI＃1）

ⅤInJmrd（md＃2，V＃1）が導出される．

＆ⅤIn⊥WOrd（nn＃7，Wl）＆0匝Ct」10Ⅶn（nn＃7，V＃1）＆mdi付（md＃2，nn椚）

次にMM入力解析処理では，与えられたMM入力からMM入力候補を生成し，モダリティ毎に仮定を立てる．MM入力解析処理において生⇒0師d＿Si叩血中劇7，【V＃1）

成される仮定及び仮定からの導出は入力モダリ

ティによって異なる．・この例では，文節ラテイ
7図4の×印は本稿の理廓を容易にするために付けたものであり，実隙の画面には表示きれていない．

9文節ラティス中の各単譜は， 単語表象：単語m の形式で表現され，82．3飾で述べたように，この枠組みでは適者データを許容することができるため，厳密には2つのモードからの入力がほぼ同時である必要はなく，ある程度のタイムラグがあってもよい．どの程度のタイムラグを許容するかは設定可能である．

更に単語ひは 品詞＃（品詞毎の）単語番号，という形式で表記されている．例えば， 人：Ⅳ膚ア，は表象「人」の単語が品詞m（一般名
詞表象）の7番目の単語であるということを表している・−38−

ⅤIn⊥WOrd（nn＃7，Wl）

嘲む血勒血呪血鵬如蜘如血軌曙Ⅶ1）＆0匝d」10un（nn＃7，Wl）

gcsturalJ㈹rd（G＃1，md＃2）＆verbal」叩Odi鮎rJOun（【n皿沼】，Ⅴ＃1）

は前回のMM入力候補解析時に仮定されている．このため，これら、の仮定，すなわち音声入力候補文から導かれていたMM入力解析の途中＆蜘呪脚，血血縦叩⇒Ⅷり呵ed（Wl，【皿血礪，血血姻叫）という導出過程を経て音声入力候補文のみから得られる参照物（3人の「人」）が求められる．

過程である

deixis（G＃1，md＃2，V＃1）
叫ed＿Sin騨1ar（nn＃7，V＃1）

次に，直接指示対象位置候補を表す仮定
gestⅦre」∝alion（bcation＃1，G＃1）からの解析処

ⅤInJ切ect（Wl，【血瑚，血呵）

理も，音声入力候補からの解析と並行して知識は自動的にコンテクストに含まれるようにな

べ「スを参照しながら行われ，り，この部分の解析処理を再び行う必要はない．

結果としてこのMM入力候補の解析においgesturcJ∝atioJ）（hcation＃20064，G＃1）ては，直接指示対象位置候補を表す仮定＆locatiol）＿area（bcation＃20064，【aⅢ似和＆area＿Otカect（area＃206，WhiteJx）ard＃1）

gestⅦre」∝atiom（bcation＃20016，G＃1）からの解

析処理が行われ，導出⇒ghJ切ed（G＃1，【wbiteJ旧ard叫）

gesture」∝atiom（bcation舵0016，G＃1）＆location＿area（Lecation＃20016，【area＃204］）＆area＿叫ect（area＃204，鮎male＃204）というように直接指示対象位置候補から得られる参照物（ホワイトボード）が求められる．これらの導出過程は逐一ATMSに蓄積される．次⇒由り坤cl（G＃t【鎚male＃204】）に導出により直接指示対象位置候補からの参照物が得られる．そして，

integratedJnptlt（［V＃1，G＃1］，MMI＃1）＆gesturaしWOrd（G＃1，md＃2）⇒deixis（G＃1，md＃2，V＃1）

integratedJnptJt（【V＃1，G＃1LMMI＃1）＆ⅤⅠ刀ゾ句ect（V＃1，【Il靭，蝕血姻叫）が行われ，これまでの結果を統合して参照同定
結果を得ようとするが，ghから得られる対象＆d皿＿0匝ct（G＃1，【鮎male＃204】）＆deixis（G＃1，md＃2，V＃1）＆0匝ct＿Sin卯Iar（ 鱒7，Wl）

物がⅤInから得られる参照物集合にないため，
このMM入力候補の解析は失敗し，⇒r曲rent」｝句ecl（【鮎male＃204】，MM甜1）

deixis（G＃1，md＃2，V＃1）＆ⅤIn＿両ed（Wl，【n蜘，血脚】）という導出により解の参照物【鮎male＃204（中山さん）】が得られる．これによりMM入力候補の＆釘n♪句ed（G＃1，【w血iteJ旧a−d＃1】）と矛盾が導かれる．この矛盾を解消するために解析が成功し，図4の右側のウインドウに示すように解である参照表現が置換された音声認識
結果「中山さんは何をしているの」が得られ，解析中のMM入力候補を表現する3つの仮定

アプリケーションに送付される．

⇒⊥

嘲l亜勒血旧知岬叫Ⅵ叫

上述の例では，最初の候補と音声入力候補文

gestⅥre」∝ation（bcation＃20064，G＃1）

が同一のMM入力候補で解析処理が成功し，効

gesturaしWOrd（G＃1，md＃2）率のよい形で最初の候補の解析の途中過程を利用できた．ここまでに示してきたように，木方式では認識結果候補だけでなくより小さい単位が特性環境から取り除かれる．このため，これらの仮定から導かれていた全てのノードが0Ⅵ一になりコンテクストから除去される．

で叫M入力解析過程がATMSに蓄積され，より多くの場合に，解析処理の途中過程を再利用可能

次に，MM入力候補集合から次のMM入力候補である【この：ⅠⅨ肥，人：nI呪は：l血呪hm一
触戒粗略何Ⅶ血旧，を：l峨しているのⅧ臓1qが選

となる．

択され，

4 考察

嘲酬q＼判）

gestⅦrり∝ation（bcation＃20016，G＃1）

枠組の汎用性

ge血ralJ㈹rd（G糾，md＃2）

本稿で提案した叫M入力統合・解釈方式でが仮定され，これらの仮定が特性環境に含まれるようになる．このとき，このMM入力候補のは，枠組み自体はドメインに対して汎用となる

音声入力候補文が前回のMM入力候補と同じものであり，格納された（参照同定に必要な）一ドメイン知識よう設計されている．すなわち，知識ベースに−39−

を差し替えれば，多様なドメインに対応できるを大幅に減少させることができる．ノ提案した枠
組自体は汎用だが，制御方法はモダ1ノティに依ようになっている．

本研究では，サークリングによる指し示しを存する部分が多ぐ，汎用の制御知識を分離する必要がある．今後は，試作した照応解決システ
ムを基に実用的なMMIF．を構築する卓定であ伴う地図上での対象検索（例：「このへんの新しいホテル」）のドメインと，ポインティングにょる指し示しを伴う写真上でゐ対象指示（例：「この人は何をしているの？」）の2種類のドメる．

インのシステムを試作して汎用性を検証した．
その結果，知識ベースのドメイン知識，音声認

参考文献＿

奥乃博（1991）．AmSの高速化技法と子の応用，人識部に設定する音声認識対象語彙セット，ジェ

工知能学会誌，Vol． ，No．1，pP．24−37・

スチャ認識部に与える直接指示対象位置（3節にCohen，P・R・（1994）・Natural
multim∝1alinteraction，rranS．LEtCEJ呼an，

おけるbcation）の認識対象候補集合の3種類のデ十タを差し替えるだけで，本システムは上記

Vol．J77・D・ⅠⅠ，No．8，pP．1403、−1416・の両方のドメインにおいてMM入力を解析する
ことができた．

deKleer，，．D．（1986a）．AnassumptiQn−basedtruthmainte−
nance sy咋m，Ar坤ciαJ・加eJJ如乃略Vol・2＄，

ただし，ジェス

pp・127−162・

deKleer，J．D．（1986b）．Backtobatktracking，COntr611ing
theATMS，hProc．AJuI−86，pP・910−917・．

インによりある程度変更した方が結果がよくな

Finin，T．，e（aE．（1993）・DRAFT Specification ofthe

ることが実験的たわかフている・また，各モダ
リティについて仮定のグレインサイズの設定，

KQML，Agent−COmmunicationlanguage・me蛸 助owJe砲e ∫んαrf〃g J乃f南山ち及びその制御方法についてはモダリティに依存

http：／／ww・岱・umbc・edu／kqml几qmlspee・PS・する部分が多い．

K00nS，D．B．，Spaarrell，C．，，aふd冊orisson，K・R・（1、993）・
IntegratlngSlmultaneouslnPutfromspeedh，gaZe，仮定の設定と矛盾の管理

andhandgestures，InMaybury，M・T・（Eや），InteZ一Jig飢J肋損椚edgα血eゆce∫，Pp・267−276・

過去の問題解決過程の再利用効率と仮定の状態制御に伴う副作用の大きさは一般にトレー

Maybury，M．T．（1994）・Researchinmultimediaandmuト
tim∝1alparsingandgeneration，JournalqfArti−

ドオフの関係にある．すなわち，仮定がカバーする範囲を大きくしてデータの再利用効率の向♪cfα‖加e〃なe〃Cβ月αi脚，Vol・8，No・3・上を図りすぎると，仮定の状態制御に伴う副作

Nishioka，S．，Kakusho，0．，and叫izqguchi，R・（1991）・A

用が大きくなり有用な候補まで事前に枝刈りさ

genericframeworkbasedonATMS払rspeech

れてしまう．

understandingsystem，升ans・qrガ汀CEJ呼an，

また，試作システムを繰り返して使用していVol・E74，No・7，Pp・1870−1880・

Shimazu，H．，Arita，S．，andTakashima，Y・（1994）・Multi−
mdal definite clause grammar，h Proc・

るうちにATMSノードの数及び矛盾レコードに記録される矛盾環境が増加し，ノードの探索及

CO上郡G一夕4，PP・832一幻6・び矛盾の検証といったATMSを利用することによるオーバーヘッドが無視できなくなってくることも事実である．
これらの問題点はラベル及び矛盾の極小性と単調性というATMSが生得的に持つ性質に根ざしていると考えられる．人間が行う推論におけ

局面た応じて変化する上に，忘却等により消滅することがある．このような状況に応じた「賢い忘却」のメカニズムがⅢの高度化に伴い必要になると考えられる．

5 むすび

木簡では，MFのための仮説推論に基づ一く
入力統合／解釈手法を提案した．この手法では，

遅着データ，、認識結果の曖味性，時間経過によるドメインの変化に対応し，更に再計算の処理−4−0−