「インタラクション，97」 平成9年2月

音声とポインティング・ジェスチャの統合意味解析
水梨豪 ローケン・キムキュンホ 森元逗
ATR音声翻訳通信研究所（mizu，kyurLgh0，mOrimoto〉＠itl・atr・CO・jp
1はじめにマルチモーダル・インターフェースは、次世代のマン・マシン・インターフェースとして注目を集めており、それに関してはこれまでさまざまな研究や開発が行なわれている［1］。そこでの課題のひとつに、入力されたさまざまなモダリティ間の意味的な対応をどのようにとるかという事項カぎある。本稿では、音声入力とタッチスクリーン上のポインティング・ジュスチヤ（以下、単にジェスチャと呼ぶ）入力を受け付けるマルチモーダル・インターフェー

図1システム構成
4．1発話解析部
発話解析部では、音声認鞠乳首語解析用を行い、図2ゐような発話の意味表現を出力する。現在、道案内に関する約50タイプの発話を解析できる状態である。これらの発話は主に、英断収集した、ものの名前や道順、ホテルの予約状況などを尋ねる発話かスを取り上吼そのふたっの入力の意味的な対応をとり、両者の統合的な意味を同定する手法について述べる。さらに、このマルチモーダル・インターフェースを利用した問い合わせシステムを簡単に紹介する。

2マルチモーダル環境におけるジェスチャ

われわれはこれまで、マルチモーダル環境における対話実験を幾度か重ね、そこで用いられた発話とジェスチャの収集と分析を行なってきた臥その結果、地図を用いた対話で使用される主なジェスチャの種別とそれらの主な指示内祝表1）が明らかになった。

らなる。
【阻N＊CON円RMÅ¶ON−qUESTION＊】【AGEN＊SPEA皿＊］【RECP＊HEÅRER＊】【OBJE【阻N＊行く＊】表1ジェスチャの種別と指示内容【SUBJ＊HEARER＊】
種別

サークリングポインティング

形状

指示内容【DEST【【RELN＊ホテル＊】C〉 もの

脚［阻N＊このよ

RESTR【阻N＊うに＊】】］】】】

図2「このホテルヘはこのように行くんですね」の意味表現
マーキングヽノスクランプリング￣■■

ラインドラッギング′J

位置

4．2地図データベースユーザがジェスチャを行なう地図としては、京都市内の道路地図（図3はその一部分）を用いた。この地図上にある建物や道路などの「もの」（以下、オブジェクトと呼ぶ）に関する情報は、地経路

3発話とジェスチャの統合的意味

図データベースに記述してある。地図デヤ夕べース中のオブジュ

これらのジェスチャは、ある特定の語句（主に指示語を含む語

クトに関する主な情報は、1）ID番号、2）名称（左京区，京剤駅都
ホテル，三条通り…）、3）地図上め位置（矩型の対角点の座酎、4）種別（地域駅寺，ホテル，道路・・）である。
4．3ジェスチャ解析部句）とともに使用されごその語句（以下、ジェスチャ対応語句と呼ぶ）に対して指示内容を意味的に補填する形で対応し、この結果、発話とジェスチャ両者の統合的な意味が同定される、。例として、「このホテルがいちぼん安いです」という発話ととも・に地図上のⅩホテルを丸で囲む場合を考える。最終的な「如てテルがいち

4．3．1ジェスチャの指示内容の表現

2章で述べたジェスチャの指示内容を、次のように表現する。

ばん安い」という意味は、そのサータリング・ジェスチャカ吹ホテl）「オブジェクト」の指示ルという「もの」を指示しており、さらにその指示内容は「この【MOBJ［【mnl】【IDn2】＝】】ホテノりに対して補填されるということがわかって初めて同定さnlなどはオブジェクトのⅡ瘡号れる。「このように行ってください」という発話と、経路を表わすラインドラッギング・ジェスチャの組み合わせの場合も同様で、「このように」という語の意味内容として、「ジェスチャの線で表わされる具体的な経路」という指示内容が補填される。．以上からわかるように、発話とジェスチャの統合的な意味を同定するた

2）暇凰の指示【MPART［［lDn］tMAREA［［XIxl】【Ylyl】tX2x2］［Y2y21】】1】（Xl，yl），（X2，y2）はサークリングジェスチャの外接矩型の対角点で、全体として住Dがnのオブジェクトのうち、サークリング・ジェスチャで翠まれた領域」を示す。

めには、

3）「経路」の指示

1）ジュ又チャの指示内容の同定【【START【MOBJnl】】

2）ジェスチャが対応する発話中の語句の同定［MOVE【【印OM［MOBJ／n2］1「m【MOBJn3】】という作業が重要である。

＃穫路の起点［ALONG【MOBJn41ト＃経路
PASS［MOBJn5］］］＃経路上のオブジェクト
汀URN【仏T【MOBJn3］］＃進路の転換点

4ジェスチャと発話の意味統合システム
前章で述べた発話とジェスチャとの意味統合の枠組みを実装し

P択ECnON270］］

た。音声は、マイクを通して、ジェスチャはタッチパネルを通して入力される。システム構成を図1に示し、各モジュールについて【MOVE【【ROM［MOBJn3】】
汀0【MOBJn6】】説明する。
htegratedAnalysisofSpeechandGesture

田町＃進路の転換方向（角めOBJn7】】】＃離の鮎

4．3．2ジェスチャの指示内容の同定
ジェスチャのヲ閉犬を認識倒した後、サークリング・ジュスチヤ

SuguruMizunashi7Kyung−HoLoken−Kim，TsuyoshiMorimoto

ATRInterpretingTelecommunicationsRese2LrChLaboratories
2−2HikaridaiSeika−ChoSoraku−gunKyoto619−02Japan
Tel：0774−95−1301Fax：077小95−1308−41−

4．4．2ラインドラッギング・ジェスチャ
発話意味表現中の命題内容の述語（図2ならば「行く」）と、43．2で述べた、断片化されたラインドラッギング・ジェスチャのなら楓サークルに内包されている、または触れているオブジェクトを抽出し、それらのオブジェクトに関連した指示内容（「オブジェクトそのもの」が指示されているのか、「オブジェクトの中の位置」が指示されているのか、あるいはその両方か）をすべて生成する。

指示内容中のラベル（START，MOVE，TURN，m）との関連性、ならびに、命題内容の述語の引数（図2ならば「ホテル」）と指示内

容表現中のラベルの引数印OM，TO，ALONG，AT，D7RECTIONな均との関連性をもとに尤虔を計算し、発話意味表現とジェスチャ指示内容の対応を同定する。具体的には、「行く、歩く、進む」のDESTの億（マデ格）は師花」のmの値に、また、「曲がる」のL仰の億（デ格、ヲ格）は「W」のÅTの値に、最も対応する可能性が高いというようなルールのもとで、対応関係を同定する。
「ここで左に曲がって、川端通りを真っ直ぐ進め」という発話と43．2のジェスチャ指示内容との対応同定を例にとると、発話情1l四条大帝 「図3 サークリングとラインドラッギング

報中の「曲がる匹m＊ここ＊】【OB刀E＊左＊】」に対応するものとたとえ古￡図3のジェスチャの場合、して、ジェスチャ指示内容の「TURN【AT 四条川端】【MOBJ【【mn京都ホテル］【Dn京都府庁】】］

PREmON270】」との対応尤定が最も高くなるので、「ここ」が「四条川端」であると同定される。同様に、次の「進む」に関しても、師佗」が対応することがわかり、発話とジェスチャの統合的な意味が得られる。

【MOBJ【【Dn御地通り】】】【MOBJ【【mn中京区】】】【MOBJ【【mn地図】】】【MPART【【IDn中京区］【MAREA［［XIxl】【Ylyl］【X2x2］【Y2y2］】】】】［MPART［［Dn地図】【MAREA［［XIxl］［Ylyl］

5マルチモーダル問い合わせシステム【X2x2］【Y2y2】】】】】という指示内容の候補が生成される。ここで、h京都ホテノりな

以上で述べたインターフェースを用いた問い合わせシステムをどは、「京都ホテル」のD番号を示す。このあと、統合意味同定試作した。このシステムは、地図上のオブジェクトや道順に関する、ユーザの数十種類の問い合わせ発話と5種類のジェスチャの統合的な意味を同定した後、それに対する適切な応答を生成し、合部で発話との関連を考慮してこれら侯掃から最終的に指示内容が同定される。ポインティングなどの他のジェスチャの場合も同様

成音声と地図上のサークリングやラインドラッギングの描画によっに処理される。
ラインドラッギングの場合は、線の曲折点でジェスチャを断片てユーザに情報を提供する。例えば、「こことここではどちらが安いですか」という発話とともに、AホテルとBホテルにサークリ
ング・ジェスチャを行うと、統翻意昧を同定した後、データベー
スのホテルの値段を検索して、「こちらのホテル（このときたとえばAホテルが丸で囲まれる）が安いです」という応答を返す。

化し、それぞれの部分に対して始終点、経路、通過点を抽出し、次のような指示内容を生成する。
〔［START［MOBJn四条河原町】】【MOVE［［FROM［MOBJn四条河原町】】
汀0【MOBJn四条川端】】［ALONG［MOBJn四条通り］】

6ぁわりに

PASS［MOBJn四条大橋】】】
rrURN［［AT【MOBJn四条川端】トpmECnON270】】【MOVE【【ROM【MOBJn四条川端】】
rm［MOBJn京阪三条】】

地図上のジェスチャと発話の統合的な意味を同定する手法を提案し、その手法を用いた問い合わせシステムを試作した。この手法では、ジェスチャ側の情報は、発話の意味解析後にはじめて考慮されて意味統合される形をとっている。しかしながら、ジェス
チャの・I簡は、意味解析以前の言語鱒析、すなわち、構文解析、形態素解析、音声認識のレベルで解析精度などの向上に貢献できる可能性も考えられるので、′今後はその点について検討してゆく。

【ALONG【MOBJn川端通り】】
PASSNUu一】】【END【MOBJn京阪三条】】】4．4統合意味同定部
4．4．1サークリンク・ジェスチヤ

発話の意味表現から、ジェスチャ対応酌になりうる語句、す謝辞

システム構築において多大な支援を頂いた田中吾郎氏（株式会

なわち、命題内容の述語の引数中の、指示語を含む語句（図2では「このホテ叫と「このように」）や同和普通名詞を抽出する。

社CSK）に感謝致します。

沸こ、それらの語句のそれぞれについて、43．2で述べたようなサークリング・ジェスチャの各指示内容侯補との関連尤匿を計算する。

参考文献【1】M・BlattTle− vand R・Dannenber芦（Ed・）：
Iれterface Design，‖ÅCM Pres＄，1992

今回は、指示語の有無、語句と指示内容の種別の−敦皮、語句が対応すべき指示内容の形式（「オブジェクト（MOBJ）」か「位置Multimedeia【2】K．Loken−Kim，et al：‖ve†bal−Gestulal Behaviors In（MPART）」かな8の一致匿をもとに関連先度を計算し、それがMultimodal Spoken La喝uage Interpreting

もっとも高い語句と指示内容の租を、それぞれジェスチャ対応語

Telecommunications，．t Proc．of EUROSPEECtで95，1995【3】T．Shimizu，et al：l■SpontaIleOuS dialogⅦe SpeeChrecog雨tion using cross−WOrd co¶teXt COnStrained wordgraphs，‖Proc．ofICASSP 96，199 ・【4】田代他：‖音声言語処理のための構文解析ツールキット，‖情報処
理学会研究会報告NL−106−12，1995【5】ローケン・キム他：‖ATRにおけるマルチモーダル翻訳通信研究＿マルチモーダル・ユーザ・インターフェースの実装−，‖電子情報通信学会技術報告書Sp95−64，1995

句とジェスチャ指示内容として認定した。図Zの発話例と43．之のサー

タリング・ジェスチャ指示内容候補例の場合、「このホテ勅がジェスチャ対応語句となり、指示語「この」があること、「ホテル」という種別が一致すること、また、「ホテル」はMPARTではなくMOBJに対応するのが最も適切ということを考慮して、最終的に、「このホテ刈がジェスチャ対応語句、【MOBJ【［のn京都ホテル］】】がジェスチャ指示内容として認定される。ポインティン
グ、マーキングなども同様の処理を行う。

−42−