｢情報処理学会論文誌」第44巻第11号別刷平成15年11月発行

ＭＭＨ記述言語ＸISLの提案■■■■

皿鰕情報処理学 会

真

■■
■■

山新

作聡

村林

中小

浩博

田田

桂山

文

有

恒

雄

情報処理学会論文誌

ＶＯＬ４４Ｎｏ．１１

Ｎｏｖ、２００３

ＭＭＨ記述言語ＸＨＳＬの提案
宣く雄中村有作↑,☆山田
小林聡↑新田恒

廿↑

桂田浩一↑
山田博文↑

本論文ではマルチモーダルインタラクション（ＭＭＩ）記述言語ＸISLを提案する．ＸISLの目標

は，(1)ＭＭＩで必要とされるモダリテイの利用方法・対話の制御を記述可能にすること，(2)モダリ
テイの拡張性を高めることである．これらを実現するために，ＸISLでは，(1)VOiceXML，ＳＭＩＬといった従来言語を参考に，モダリテイの利用方法および対話制御の諸概念や命令を導入し，(2)入出力モダリテイに関する記述に自由度を持たせている．本論文ではＸＩＳＬの概略を説明するとともに，ＰＣ上に実装したＸISLの実行システム，およびプロトタイプとして試作したオンラインショッピン
グアプリケーションについて述べる．またＸＩＳＬを他の言語と比較することにより，ＸISLのＭＭＩ
記述言語としての特徴を明らかにする．

ＰｒｏｐｏｓａｌｏｆＭＭＩＤｅｓｃｒｉｐｔｉｏｎＬａｎｇｕａgｅＸＩＳＬ
ＫｏｕＩｃＨＩＫＡＴｓｕＲＡＤＡ,↑ＹｕｓＡＫｕＮＡＫＡＭｕＲＡ,ｆＭＡＫｏＴｏＹＡＭＡＤＡ,↑↑
ＨＩＲｏＢｕＭＩＹＡＭＡＤＡ,↑ＳＡＴｏｓＨＩＫｏＢＡＹＡｓＨＩ↑ａｎｄＴｓｕＮＥｏＮＩＴＴＡＴ
Thispaperprovidesamultimodalinteraction（ＭＭＩ）descriptionlanguageXISLXISL
aimstobealanguagesatisfyingthefbllowingconditions:(1)ithasenoughpowertodescribe
MMIscenarios,(2)ithasextensibilityofinput/outputmodalities・Forthispurpose,(1)ＸＩＳＬ

ｐｒｅｐａｒｅｓａｌｏｔｏｆｃｏｍｍａｎｄｓａｎｄｓtructuresusedinpreviouslanguagｅｓｓｕｃｈａｓＶＯｉｃｅＸＭＬａｎｄ

ＳＭＩＬ,ａｎｄ(2)XISLhasHexibilityofdescribinginput/outputmodalitieslnthispaper,weoutlinethespecincationofXISL，andshowitsinterpreterandanapplicationimplementedon
POMoreover,weclarifyadvantagesofXISLbycomparingitwithotherMMIdescription
languages．

１．

法，および対話制御に関する記述力が求められるが，はじめに同時に，今後の技術進歩を考えると，新規モダリテイ

ｗｅｂアクセスにおけるマルチモーダル対話（ＭＭＩ）

を容易に追加できる等，拡張性に秀でた柔軟性の高の利用とその標準化に関する議論が，近年きかんに行

い言語であることも重要と考えられる．Ｗ３Ｃが公開われている．Ｗ３Ｃでは２００２年２月にＭＭＩワーキン

した要求仕様においても，モダリティの利用方法，対ググループ')が結成され，ＭＭＩ記述言語およびその実行システムに関する要求仕様2)が公開される等，活話制御に関する記述力に加え，モダリテイの拡張性がＭＭＩ記述言語の満たすべき必須項目の１つとしてあ発な議論が始まっている．また，その他の機関でも独げられている．しかしながら，これまでに提案されて自にＭＭＩの記述法が検討されている3)~6)．ＭＭＩときたＭＭＩ記述言語3)~6）は，利用可能なモダリティ

は，マルチモーダル，すなわち，複数の入出力モダリ

を音声，ポインテイングといった特定のものに限定しテイを利用したユーザとシステムの間の対話を指し，ているのが現状である．

その対話を記述するための言語をＭＭＩ記述言語といそこで本論文ではモダリティの利用方法と対話制

う．ＭＭＩ記述言語には最低限，モダリテイの利用方

御に関する記述力に加えて，モダリテイ拡張性が優れたＭＭＩ記述言語ＸISL（eXtensiblelnteractionSce-

narioLanguage)7)'8）を提案する．ＸISLはＸＭＬ構↑豊橋技術科学大学
ToyohashiUniversityofTechnology
汁茨城工業高等専門学校
IbarakiNationalCollegeofTechnology

文に基づく言語であり，Ｗ３Ｃの要求仕様に示されたモ

ダリテイおよび対話記述に関する項目に準拠した言語を目指している．まず，モダリテイの利用方法と対話☆現在，松下電器産業株式会社

制御の記述に関する要求を満たすために，Ｗ３Ｃです

PresentlywithMatsushitaElectriｃｌｎｄｕｓｔｒｉａｌＣｏ.，Ｌｔｄ．
2６８１

2682

情報処理学会論文誌

Ｎｏｖ､２００３でに提案されている言語（VbiceXML9)，ＳＭＩＬ１ｏ)）

らである．これまで対話記述言語としてVOiceXML9）を参考に，対話遷移，条件分岐といった対話の制御，が，またメディア同期を扱う言語としてＳＭＩＬ１０)がおよび同時入出力/逐次入出力/択一入力といった複数

それぞれ提案されている．ＶＯｉｃｅＸＭＬは対話制御に必モダリティの組合せ制御を導入したまたモダリテイ

要な条件分岐や算術演算といった基本的な命令セット，の拡張性に関する要求を満たすために入出力モダリ

および対話の階層（セッション，アプリケーション等）

テイの記述に自由度を持たせ，言語仕様の変更なしにや遷移といった概念を網羅しており，広範囲のアプリ

新規モダリテイを追加できるよう設計した．以上の特ケーションで利用可能である．これらは上述の項目

徴を持つことにより，ＸISLは多様な端末を利用した（１）を満たしているため，同様の命令や概念をＸＩＳＬ

シームレスなＷｅｂサービスの実現を可能にする．

でも導入することにした．しかしながらＶＯｉｃｅＸＭＬ

本論文では，まずＸISLの設計指針を述べたうえでは，電話音声もしくはＤＴＭＦという限定されたモで，ＸISLの概略を説明する．続いてＰＣ上に実装しダリテイを対象としており，入出力モダリティを組みたＸISLの実行システム，およびプロトタイプとして合わせた対話を記述することができない．これに対し試作したオンラインショッピングアプリケーションをて，マルチメディアのストリーミングを扱うＳＭＩＬは紹介した後，ＸISLを他の言語と比較し，ＭＭＩ記述

複数の出力の同期処理を記述できる．そこでＳＭＩＬを言語としての利点を明らかにする．

参考にして入力，出力の同期処理を記述することで，

２．ＭＭＩ記述言語ＸISL
２．１ＸISLの設計指針

Ｗ３Ｃが公開した要求仕様2)には，モダリテイおよ

上述の項目（３）および（４）に対応した．
さらに，ＶｂｉｃｅＸＭＬおよびＳＭＩＬで対応できない

項目（２），（５）に対処するために，モダリテイの利用方法を記述できるようにするとともに，モダリテイ依

び対話記述に関して以下の要求項目があげられている．

存の記述と非依存の記述が明確に分離されるよう設計（１）広範囲のマルチモーダルアプリケーションで利した．そのうえで，モダリティ依存の記述をＸＩＳＬの用できなければならない．

（２）モダリテイに関する情報（パラメータ等）を記
述できなければならない．

仕様外とし，新たなモダリティを導入する際，言語全体を修正しなければならないという不便を解消した．
以上の設計指針に基づきＸISLを設計した．次節以（３）入カモダリテイの組合せ（逐次的（sequential)，
一斉的（simultaneous)，複合的（composite)，
選択的（supplementary)，補完的（complementary）入力）を記述できなければならない．
（４）出カモダリティの組合せ（逐次的（sequential)，

様々な命令セットや対話階層の概念をほぼそのまま導一斉的（simultaneous）出力）を記述できなけ入した．以下にその概要を示す．なお，ＸISLのタグ，ればならない．

対話の階層の詳細とその記述例については文献11)および12)のｗｅｂサイトを参照されたい．

（５）多様なモダリティ☆が利用でき，また拡張も可能でなければならない．

降にＸＩＳＬの概要を説明する．
２．２ＸISLの命令セットと対話の階層

広範囲のマルチモーダルアプリケーションでＸＩＳＬを利用できるように，ＶＯｉｃｅＸＭＬで用いられている

2.2.1命令セット

このほかにも，多言語対応，セキュリティやアクセ

ＸISLはＸＭＬベースの言語であり，図１に示シピリテイ，入力統合・競合解消，意味解釈の検討にすようなタグの階層構造を持つ．〈xis1>，〈body>，

加えて，ＭＭＩシステムのフレームワークや実行時の<dialog>，〈exchange〉はそれぞれ文書全体，対話環境等に関する様々な要求が示されているが，本研究全体，１組の対話，１ターンの対話を表している．こでは特にモダリテイおよび対話制御に関する上記項目のように対話の各単位を階層構造にすることで，対話に対応することを目指した．

の内容を把握しやすくしたくdia1og>，〈exchange〉

これらの項目を満たす言語を設計するにあたって，は，それぞれＶｂｉｃｅＸＭＬの＜form>，〈field〉に相Ｗ３Ｃで提案されている従来の言語を参考にした．これ当するが，対話の記述であることを明確にするため，は従来言語との乖離を少なくすることにより，ユーザ

VOiceXMLとは異なるタグ名にした．〈dialog〉内部

が言語学習をするための負荷を軽減できると考えたかには，〈exchange〉のほか，初期処理を表す＜begin>，
終了処理を表す＜end〉が記述可能である．〈begin〉☆Ｗ３Ｃが提示しているモダリテイの詳細については，文献２）を参照されたい．

とくend〉の記述は任意であり，〈exchange〉は０個
以上，複数記述してもよしⅡ

ＶｂＬ４４Ｎｏ．１１

ＭＭＩ記述言語ＸISLの提案

2683

セッション

Ｌｌ

図１ＸＩＳＬのタグの階層構造

Ｆｉｇ．１ＴａｇｔｒｅｅｏｆＸＩＳＬ．
図２ＸＩＳＬドキュメントの対話の階層〈exchange〉は，ユーザへのプロンプトを表す
くprompt>，ユーザのマルチモーダル入力を表す
ぐ｡peration>，その入力に対するシステムの動作を表す＜action〉から構成される．このうち＜prompt>，〈Operation〉は，それぞれＶＯｉｃｅＸＭＬの＜prompt>，<grammar〉と同様の目的を持つ．相違点は，ＶＯｉｃｅＸＭＬ

Ｆｉｇ．２ＬａｙｅｒｓｉｎＸＩＳＬｄｏｃｕｍｅｎｔｓ．

ではくxis1〉タグの属性applicationにアプリケー
ションルートドキュメントを指定する）から構成される．ドキュメント，ダイアログ，エクスチェンジは，そではこれらタグ自体が単一の音声プロンプト，音声

れぞれ１つのＸＩＳＬ文書，１つの＜diamg>’1つのくexchange〉から構成きれる．

入力文法を表すのに対し，ＸISLではマルチモーダ

アプリケーション，ドキュメント，ダイアログ，エル入出力の記述を可能にするため，〈prompt〉内に複数のく｡utPut〉（ユーザへの１出力を表すタグ）
を，〈operation〉内に複数のくinput〉（ユーザのクスチェンジでは，各階層内で有効な変数を宣言でれぞれの階層内で有効なくdiamg〉（それぞれアプリ

１入力を表すタグ）を記述できるようにした点であケーションレベルのくdia1og>，ドキュメントレベル

る．〈action〉はＶＯｉｃｅＸＭＬの＜filled〉に相当し，の＜diaｴ｡g〉と呼ぶ）を設定できる．アプリケーショ<outPut〉をはじめとするシステムの動作に関する様々な要素の記述に用いられる．〈prompt〉の記述は任意とした．ＸＩＳＬではくaction>，〈begin>，および＜end〉

ンレベルのくdialog>，およびドキュメントレベルの＜dialog〉を設定するには，それぞれアプリケーショの子要素として，対話の条件分岐のための＜Switch>，

算術演算・代入のためのくassign>，対話遷移のため
のくcall〉やくgot｡〉をはじめとする多様なタグを用意している．これらのタグの多くはＶＯｉｃｅＸＭＬを参考に導入した．
2.2.2対話の階層

VOiceXMLでは対話の階層的な管理により，各階層内で有効な変数や対話を設定可能にしている．ＸISL

においても同様の設定を可能にするため，対話の階層を導入した．ＸISLで導入した対話の階層はセッショ
ン，アプリケーション，ドキュメント，ダイアログ，エきる．またアプリケーション，ドキュメントでは，そンルートドキュメント内の＜dia1og〉の属性ｓcope，
リーフドキュメント内の＜dialog〉の属性ｓcopeの値を''documentⅡに設定すればよい．これらのレベルの＜dia1og〉は，それぞれ当該アプリケーション，ＸISL
文書内の別の＜dialog〉を実行中にも有効となる．つまり，別くdialog〉実行時における割込み対話として利用可能になる．〈dia1og〉の属性ｓcopeの値をⅡdialogⅢに設定した場合，あるいは属性ｓcopeの値を設定しなかった場合，その＜dialog〉は明示的に呼ばれたときにのみ有効となる．このようなくdiaｴ｡g〉
をダイアログレベルのくdialog〉と呼ぶ．このように各階層内で有効な変数，〈dia1og〉を設定可能にする

クスチェンジの５つである．図２に対話の階層構造ことで，スコープの異なる変数や割込み対話を用いたを示す．セッションはユーザがシステムとのインタラ

複雑な対話を記述可能にしている．

クシヨンを開始してから終了するまでに実行したす２．３ＸISLにおける同期制御

べてのＸＩＳＬ文書群から構成される．アプリケーショ

ＸISLでは，ＳＭＩＬで用いられている同期制御と同ンは１つのタスクを遂行するためのＸＩＳＬ文書群で様の仕組みを導入することで，入出力の組合せを実現

あり，１つのアプリケーションルートドキュメントとする．１ターンのやりとりを単位とする同期制御と，０個以上のリーフドキュメント（リーフドキュメント

個々の入出力を単位とする同期制御を実現するため，

情報処理学会論文誌

2６８４<ｄｉａｌｏｇｉｄ＝'ｉｏｒｄｅｒ１ｉｓｃｏｐｅ＝ｉｉｄｉａ１ｏｇ１１＞＜ｅｘｃｈａｎｇｅ＞〈operationcomb=ｉ１ａｌｔ１１〉．…………．．……（ａ）＜ｉｎｐｕｔｔｙｐｅ＝Ｉ１ｔｏｕｃｈＩＩｅｖｅｎｔ＝ｌ１ｃｌｉｃｋ１１

ｍａｔｃｈ='１［item:＝Cid]１１／〉．．．…………（ｂ）

くｉｎｐｕｔｔｙｐｅ＝ｉＩｓｐｅｅｃｈ１１ｅｖｅｎｔ＝ｉｉｒｅｃｏｇｎｉｚｅ１ｉ

ｍａｔｃｈ＝'１．／grammar・txt#itemi1
retUrn=Ｉ１ｉｔｅｍＩ１／＞…．………………（ｃ）〈par-input＞、．…．．．．…．．．．……．……．．．（ｄ）＜ｉｎｐｕｔｔｙｐｅ＝ｉ１ｔｏｕｃｈｉＩｅｖｅｎｔ＝ｉＩｃｌｉｃｋ１１
ｍａｔｃｈ='i［item:＝cid]Ⅱ/〉．…………（e）＜ｉｎｐｕｔｔｙｐｅ＝ｉ１ｓｐｅｅＣｈｉＩｅｖｅｎｔ＝Ｍｒｅｃｏｇｎｉｚｅ１１

ｍａｔｃｈ='１．／grammar､txt#number11
return=''number'１／〉……………．．（ｆ）＜/par_input〉＜/Operation〉＜action〉…………．…．……………．…．（９）＜ｏｕｔｐｕｔｔｙｐｅ＝Ｉ１ｔｔｓｌ１ｅｖｅｎｔ＝'１ｓｐｅｅｃｈ'１＞〈！［CDATA［＜paramname＝IItextI1〉
Ｙｏｕｏｒｄｅｒｅｄ＜ｖａ１ｕｅｅｘｐｒ＝ｉ１ｉｔｅｍ１１＞，＜/para､＞］わく/outPut〉＜ｇｏｔｏｎｅｘｔ＝'１ｎｕｍｂｅｒ・ｘｉｓｌｉｌｎａｍｅｌｉｓｔ＝i1numberii＞＜/action＞＜/exchange＞＜/dialog＞
図３ＸＩＳＬ要素の同期制御

Ｆｉｇ．３SynchronizationofXISLelements．

＜exchange>，〈input>，〈output〉の同期制御を可能にした．

まずくexchange〉の実行を制御するために，＜dia1og〉に属性Ｃｏｍｂを導入した．ｃｏｍｂの値が､parⅡ（同時的）のときは順不同にすべて，Ⅱseq'’(逐次的）のときは上から順に＜dialog〉内部のＮｏｖ、２００３

るため，（b)，（c),（d)の＜input>，＜par-input〉が択一的に待ち受けられる．（b）と（c)のくinput〉については，それぞれ入力が受付けられた時点で(9)のくaction〉が実行される．一方，（d)の＜par-input〉
については，その内部の(e)，（f)の＜input〉が入力された場合に(9)の＜action〉が実行される．なお，
この例では（b）と（e)の＜input〉が同一である．この場合，この＜input〉を受付けてから一定時間待機
し，その後(f)の入力がなければ当該入力を(b)と判断する．（f)の入力があれば(e)と判断する．
ここで，要求仕様の各項目と対比する．２１節の（３）にあげたように，Ｗ３Ｃでは入力の組合せ処理に関して,【i)逐次的（連続的な入力)，（ii)一斉的（別々に解釈されるべき同時入力)，（iii)複合的（統合解釈されるべき同時入力)，（iv)選択的（ユーザが利用モダ
リテイを選択できる入力)，（v)補完的（複数のモダリ
テイを補完的に利用する入力）な入力の５項目を各々記述可能にするよう求めている．ＸISLでは，〈input〉の逐次的制御（seq）によって項目(i)が，同時的制御(par）によって項目(ii)および項目(iii)が，択一的制
御（alt）によって項目(iv)が，択一的制御（alt）と同時的制御（par）の併用によって項目(v)が記述でき
る．出力の組合せに関しても，２１節の項目（４）にあげた逐次的，一斉的出力はくoutput〉の逐次的（seq)，
同時的制御（par）によって記述できる．
２．４入出力の記述

ＸISLでは，インタラクションのみをコンテンツから分離して記述する．これは，ＸISLを純粋なインタ
ラクション記述言語とすることで，対話シナリオを理解しやすくするためである．たとえば音声認識文法や＜exchange〉が実行きれる．また，値がⅢaｴtⅡ（択一的）のときは，まず各＜exchange〉内のプロンプトがすべて出力され，その後，内部のく｡peration>が最初に満たされたくexchange〉内のくaction〉が実行さ

ｗｅｂページ等のコンテンツは，別ファイルに記述したれる．すなわち，ユーザの入力に応じて＜exchange〉

行う．

が択一的に実行される．〈dia1｡g〉内部の一部の＜exchange〉のみを制御したい場合には，対象となる＜exchange〉を＜par-exchange>，〈seq-exchange>，<a1t-exchange〉といったタグで括る．
同様に，〈input〉による入力待ち受けを制御するために，〈Operation〉の属性comb，および＜par-input>，〈seq-input>，〈alt-input〉の各タグを導入した．〈outPut〉に関しては，２種類のタグ<par-output>，および＜seq-output〉を導入した．
図３に同期制御の記述例を示す．この例では，（a）〈input〉にはユーザが用いる入カモダリテイ等を指定するためにtype，event，match，returnの属性を用意している．属性ｔｙｐｅには入力のモダリテイが，属の＜Operation〉の属性ｃｏｍｂにａ１ｔが指定されていうえで，ＵＲＬを指定することによって利用（有効化
表示，切替え等）をする．こうした入出力関係のパラ

メータやファイルの指定はくinput>，〈output〉内で性eventには入力イベントが，属性matchには入力
対象のオブジェクト（音声認識文法や他のＸＭＬ文書

内の要素等）が，属性returnには入力内容を格納するための変数が，それぞれ記述される．またぐinput〉の子要素として＜para､〉を記述することができ，入力デバイスに与えるパラメータを記述できる．

一方，〈output〉は２つの属性ｔｙｐｅとeventを持ち，内容としてＣＤATAセクションを持つ．属性

ＭＭＩ記述言語ＸISLの提案

ＶｂＬ４４Ｎｏ．１１

一国i屡蟇蕊Webサーバi霊=了?、

載団口匡

2６８５

表１ＰＣ上での＜input〉仕様
ＴａｂｌｅｌＳｐｅｃｉＨｃａｔｉｏｎｏｆ＜input〉ｏｎａＰＣｔｅｒｍｉｎａｌ．
>Ｌ７±E観旦Ｕと｜可毛

対話制御部

７）zA3＃､jPVrO

ドキュメント管理部,ＸISLインタプリタ，
入力統合部,アクション実行部

フロントエンド
フェ

出カ イ

ス

フェ

刀ス

入カ イ ンタユーザ

図４ＸＩＳＬ実行システム

Ｆｉｇ．４ＡｎＸＩＳＬｅｘｅｃｕｔｉｏｎｓｙｓｔｅｍ．

typeには出力のモダリテイが，属性eventには出表２ＰＣ上でのくoutput〉仕様
Ｔａｂｌｅ２ＳｐｅｃｉＨｃａｔｉｏｎｏｆ＜output＞ｏｎａＰＣｔｅｒｍｉｎａＬ
ｔｙＰｅ

力イベントが，ＣＤATAセクション内には出力の内容(ｗｅｂページのＵＲＬや音声合成のテキスト等）が記

l１ｂｒｏｗｓｅｒ１１

述される．ＣＤATAセクション内の要素＜va1ue〉は変数の値を埋め込むために用いる．

ＸISLでは以上に述べたくinput>，〈output>，および＜para､〉の導入によって２．１節の項目（２）に対応
したざらに項目（５）に対応するために，ＸISLでは
これらの要素の記述方法に自由度を持たせた．すなわ

ち，＜input>，〈Output>，および＜para､〉の属性の'１ｔｔＳ１ｌＩ１ａｇｅｎｔｉｌ

躍
ｅｖｅｎｔ

ｌ１ｎａｖｉｇａｔｅ１ｌ

みを規定し，属性値の記法や，内容の詳細についてはする各文書はＷｅｂサーバに保持きれ，ＸISLは対話制

ＸISLの仕様外とした．このことにより，モダリティの御部で解釈･実行される．フロントエンドは入出力を制拡張や修正があった場合にも，ＸISLは仕様変更なし

御するモジュールであり，音声認識や擬人化エージェンに多様な端末環境に対応することができる．＜input>，<output>，〈para､,〉の具体的な記述例は，次の３．１節

ト，映像の出力嚥等を行う．このシステムでの＜input〉
および＜output〉の仕様の一部を表１，および表２に示す．＜input〉には，表１に示すように，音声入力

で紹介する．

3．ＰＣ上での実装

やポインテイング入力等様々な入カモダリテイに対応した記述ができる．またぐoutPut〉には，表２に示

３．１入出力の仕様

すように，ウインドウや合成音声，擬人化エージェン

図４に示す各モジュールで構成したＸISL実行シ

トをはじめとする様々な出カモダリティを記述するこ

ステムをＰＣ上に実装するとともに，〈input〉および＜outPut〉の仕様を策定した．実行環境は次のとおりとができる．なお，〈input〉に関しては，現時点で＜paranq〉要素を用いていない．

である．

ＸISLは，上記の説明から分かるように，新規のモダ・計算機:ＰＣ

リテイを含む新しい端末環境に柔軟に対応できる．現・入力デバイス：マウス，キーボード，マイク・ＯＳ，ソフトウエア☆：Windows2000,Microsoft

在，我々は電話，およびＰＤＡを対象としたくinput>，<outPut〉の仕様を策定中であるが，このほかにも，たとえばくinput〉のモダリテイとして人感センサ（type

Agent20，東芝LaLaVbice2001，Microsoftの属性値がⅡsensor,'，returnの変数に検出結果を格JapaneseRecognizerv51，MicrosoftMSXML納）やＧＰＳ情報（typeの属性値がⅡGPS''，return

４．０，MicrosoftlnternetExplorer6の変数に位置情報を格納）といった記述を行うこと

・出力デバイス：ディスプレイ，スピーカ

図４に示した実行システムでは，ＸISLをはじめとで，多様なモダリテイを利用したインタラクシヨンが記述可能になる．本節で紹介したＰＣ用システム，お☆Windows，Microsoftはマイクロソフト（株）の登録商標，
LaLaVOiceは（株）東芝の商標である．

よび上で触れた電話，ＰＤＡ用システムのくinput>，
く｡utput〉仕様については，文献12)のwebサイトを

情報処理学会論文誌

2６８６

Ｎｏｖ、２００３

く？ｘｍｌｖｅｒｓｉｏｎ＝'１１．０１ｉｅｎｃｏｄｉｎｇ＝ｉｉＳｈｉｆｔ－ＪエＳＩＩ？＞＜１，００ＴＹＰＥｘｉｓｌＳＹＳＴＥＭ１１ｘｉｓＬｄｔｄｉ１＞＜ｘｉｓｌｖｅｒｓｉｏｎ＝''１．０１１ａｐｐ１ｉｃａｔｉｏｎ＝ｉｉｒｏｏｔ、ｘｉｓｌ１１＞＜head〉・・・＜/head〉＜ｂｏｄｙ＞＜ｄｉａｌｏｇｉｄ＝n工Ｄ－Ｃｈｅｃｋ１ｉｓｃｏｐｅ＝ＩｉｄｉａｌｏｇＩ１ｃｏｍｂ＝ＩＩａｌｔｉ１＞＜begin〉…．．……………．……．…………（i）＜ｏｕｔｐｕｔｔｙｐｅ＝Ｉ１ｂｒｏｗｓｅｒ１１ｅｖｅｎｔ＝ｉ１ｎａｖｉｇａｔｅ１ｉ＞＜１［CDATA［＜paramname＝Ｉ１ｕｒｉ１１＞
Ｃｉｒｔｉｆｉｃａｔｉｏｎ・ｘｍｌ＜/para､〉：］］〉＜/outPut＞＜－５E=三二三悪〒－つ＜/begin＞＜ｅｘｃｈａｎｇｅ＞＜operationcomb=Ｉ１ａﾕｔ１１〉……………．…（ｉｉ）

図５オンラインショッピングシステムの対話の流れ＜ｉｎｐｕｔｔｙｐｅ＝Ｉｉｔｏｕｃｈ１１ｅｖｅｎｔ＝iIc1ickI1

Ｆｉｇ．５ＤｉａｌｏｇＨｏｗｉｎａｎｏｎｌｉｎｅｓｈｏｐｐｉｎｇｓｙｓｔｅｍ．

match=Ⅱ/certiry-id/Object/first上imem/〉＜inputｔｙｐｅ＝Ｉ１ｓｐｅｅｃｈ１１ｅｖｅｎｔ＝Ｉ１ｒｅｃｏｇｎｉｚｅｉＩ

参照されたい．

ｍａｔｃｈ='１．／grammar・txt#first-time1l／〉

３．２ＸISLによるアプリケーションの記述例＜/Operation〉

我々の研究グループでは，ＸISLの適用例として，オ＜action〉．…………．．……………．…（iii）＜assignname＝Ｉ１ｕｓｅｒェame11expr='１，ＮＵＬＬ’'1／＞

ンラインショッピング（ＯＬS）アプリケーションを開＜assignname＝I1user-id1lexpr=!'，new-user''１／〉

発している'3)．本節ではこのアプリケーションを取り〈gotonext＝i１．／Top-Page・xisl#TopPage11

上げ，ＸISLで記述した対話制御の実例を示す．
ＯＬＳのアプリケーションは，商品購入のためのＸISL

対話シナリオ，画面への表示内容と商品データを格納するＸＭＬコンテンツ，表示スタイルを決定するＸＳＬ
スタイルシートから構成される．図５にアプリケー

ションを構成する対話の流れ示す．また図５に示す対話のうち，ＩＤ認証対話の一部を簡略化したものを図６

name1ist＝I1user-nameuser-idm／＞…．（iv）＜/action〉＜/exchange〉＜/dialog〉＜/body〉
く/xisl〉

図６ＩＤ認証対話の一部の記述

Ｆｉｇ．６ApartoflD-certificationdiaｌｏｇ．

に示す．ＯＬＳアプリケーションの各対話の流れは，おおよそ図６の対話の流れと同様である．まず最初に中の（１）に示した購入ボタン，詳細説明ボタンをク

図６(i)に示すように＜begin〉内で各対話の初期処理リックすることにより，それぞれ購入個数決定対話，を行うとともに，〈outPut〉によって画面を表示する

商品詳細説明対話へ遷移するが，同様の遷移は，商品(あるいは切り替える)．続いて図６(ii)に示すように
く･peration〉内部で音声，ポインテイング等を用いた入力を待ち受けた後，図６(iii)のように＜action〉の写真を直接クリックして「購入」あるいは「詳細説することによっても可能である.２．３節の図３に示し

内部で代入，演算，出力，条件分岐等の処理を行う．

たＸＩＳＬはこの対話の記述例の一部で，〈Operation〉

最後に図６(iv)のように＜got｡〉もしくは＜call〉に

内部の＜input〉の待ち受けを“alt，，，“par'，で制御す

よって次の対話へ遷移する．

ることにより，多様なモダリティを用いた入力を実現すべき対話は，割込み対話として記述した．図７にへルプ対話の一部を示す．ヘルプ対話はアプリケーショ

「、
、ノ

、Ｉノ
アヒ

ヘルプ対話のように，任意の場所で呼び出し可能に明」と発話したり，音声のみで「○○を購入」と発話している．

４．他言語との比較と考察

ンレベルの対話として定義しており，アプリケーショ

ＸISLの定量的な評価は現時点では困難なため，他言ン内の任意の場所から呼び出すことが可能である．

語との比較によってその特徴と課題を明らかにする．本ＯＬＳアプリケーションでは多くの対話中でマルチ章では比較対象言語としてＳＡｍ，ＸＨＴＭＬ＋Voice，

モーダルによる入力を可能にしている．一例として

ＵＩＭＳ記述言語，およびその他の言語を取り上げる．

図８のような画面が表示きれる商品閲覧対話でのマル４．１ＳＡＩ/ｒとの比較

チモーダル入力を説明する．商品閲覧対話では，図８

SAn3L4)はＸＨＴＭＬ文書等に対して音声インタ

ＭＭＩ記述言語ＸISLの提案

ＶｂＬ４４Ｎｏ．１１<？ｘｍ１ｖｅｒｓｉｏｎ＝１１１．Ｏ１１ｅｎｃｏｄｉｎｇ＝ｌ１Ｓｈｉｆｔ－ＪェＳ１１？＞

2687

ＳＭＩＬもしくはスクリプトで記述することになる．ま＜１ＤＯＣＴＹＰＥｘｉｓ１ＳＹＳＴＥＭＩＩｘｉｓｌ・ｄｔｄ１ｉ＞

た，ｘＨＴＭＬにＳＡＩ/ｒを埋め込む方法では，コンテ＜ｘｉｓｌｖｅｒｓｉｏｎ＝''１．ＯＩＩ＞

ンツとインタラクションが同一文書に混在する．さら〈head〉・・・＜/head〉にＳＡｎではモダリテイとして主に音声の追加を想＜ｂｏｄｙ＞＜ｄｉａ]Ｌｏｇｉｄ＝Ｉ１ｈｅ１ｐ１ｌｓｃｏｐｅ＝ｉ１ｄｏｃｕｍｅｎｔ１１＞＜ｅｘｃｈａｎｇｅ＞

定している．これに対して，ＸISLはＸＩＳＬ自身で対話を制御し，インタラクションとコンテンツを分離す＜Ｏｐｅｒａｔｉｏｎ＞

くｉｎｐｕｔｔｙｐｅ＝ｉＩｓｐｅｅｃｈ１ｉｅｖｅｎｔ＝ｌ１ｒｅｃｏｇｎｉｚｅ１Ｉ
ｍａｔｃｈ='１．／grammar・txt#help1I／〉〈/operation＞

るとともに，最初から多様なモダリテイの利用を想定している点が異なる．

４．２ＸＨＴＭＬ＋Ｖｏｉｃｅとの比較＜ａｃｔｉｏｎ＞

くｏｕｔｐｕｔｔｙｐｅ＝Ｉｉｔｔｓｉ１ｅｖｅｎｔ＝ｌ１ｓｐｅｅｃｈ１１＞

ＸＨＴＭＬ＋VOice5）は，音声言語のみを取り扱う＜１［CDATA［〈paramname＝Ｉ１ｔｅｘｔｉｉ＞

ＶＯｉｃｅＸＭＬに画面操作を融合させ，ＭＭＩを記述可

Ｗｈａｔ,ｓｔｈｅｍａｔｔｅｒ？

〈/para､〉］］〉

能にするアプローチの１つである．ＸＨＴＭＬ文書に

VOiceXMLのタグセットを埋め込むことにより，音声

く/outPut〉＜/action〉

によるフォームへの入力等を可能にしている．ＸＨＴＭＬ＜/exchange〉

文書に埋め込むという点でＳＡＩ/ｒと同様のアプローチと見なせるが，ＶＯｉｃｅＸＭＬはＳＡＥｒに比べて比較的＜/dia1og＞＜/body〉

複雑な対話シナリオ（ユーザ主導，混合主導対話等）</xisl＞

図７アプリケーションルートでのへルプ対話の記述

Ｆｉｇ７Ｄｉｓｃｒｉｐｔｉｏｎｏｆｈｅｌｐｄｉａｌｏｇｉｎａｎａｐｐｌｉｃａｔｉｏｎｒｏｏｔ．

が記述できるため，対話シナリオによる入出力制御が必要な場合にはＳＡⅢと比べて記述が容易である．

しかしながら，ＸＨＴＭＬ＋VoiceではＳＡＩⅢと同様，

音声とポインティング等，限られたモダリティを想定しているのに対し，ＸISLではモダリテイの拡張性をＩ

ガｇ、′１ｓ

考慮し，モダリテイの記述に自由度を持たせている点

．§い『

むら砥

が異なる．またＶＯｉｃｅＸＭＬでは，スロットフイリング(ユーザが項目を埋めていく）の考えに基づいた対話制
照入面品皿1面回Z１１，１､計｢罰'ノン-丁シ霧餌鰯'０００５嚇冒PO,｣_低正ｌＨｉＩ鱒ｌ
ﾜ弓ﾂｼｯｸﾌｨ謬十ジーンズ劇画ｐｏｏ２５ｃ００璽正ＩＲ０ｐｌ
合計全諌１，，，１，

函ヱー

曇~■蕊
⑧＜－毒都窒千二1L茎し亀一季…へ｜(]11nl1ll11ljl）－－－－－－－｜週ｆｉエビュガ

図８オンラインショッピングシステムの画面例御を行っており，同時的，逐次的，択一的なシナリオの進行を記述するための明示的な方法がないため，対話制御に関してはＸISLの方が記述しやすいと考える．
４．３ＵＩＭＳ記述言語との比較

ＸISLはＵＩＭＳ（UserlnterfaceManagementSyste、）記述言語（ユーザと計算機のやりとりを記述す
る言語）の－種と見なすことができる．ＵＩＭＳの研究は古くからさかんであり，その記述言語について

Fig8Ascreenofanonlineshoppingsystem．

も古くはSassafras-UIMS14)のＥＲＬから，近年では
ＵＩＭＬ１５）まで，様々なものが提案されている．ここでフェースを付加するためのタグセットであり，ｗｅｂペー

はSassafrasのＥＲＬ，およびＵＩＭＬを取り上げ，我々

ジ上での音声によるフォームの埋め込みや，音声によの提案と比較する．

るテキスト読み上げを可能にする．最大の特徴は，現Sassafrasは，多様なデバイスを用いたアプリケー

状の技術，特にＸＨＴＭＬと親和性が高いことである．

ションを開発する際の，ラピッドプロトタイピングを

SAmのタグはＸＨＴＭＬ文書に埋め込む形で記述さ行うためのＵＩＭＳである．実行時のシステムは図４

れ，音声認識の文法をＸＨＴＭＬの＜input〉タグにバに示したＸＩＳＬ実行システムの構成とほぼ同じで，対インドすることにより，音声によるフォーム入力を可

話記述を保持するＥＲＬモジュール（ＸISL実行シス

能にしている．したがって既存のＸＨＴＭＬ文書が有テムの対話制御部に相当)，入出力を取り扱うインタ効に利用でき，最小限の修正で音声インタフェースをラクションモジュール（フロントエンドに相当)，ア

付加することが可能である．

プリケーション固有の各種モジュール（Ｗｅｂサーバ

一方，ＳＡｎでは対話制御の記述ができず，制御は内の各種文書，cgi等に相当)，およびこれら全体を2６８８

情報処理学会論文誌管理するクラスタコントローラから構成きれている．
Sassafrasはｗｅｂアプリケーションを前提としていな

Ｎｏｖ、２００３

5．おわりにい点がＸＩＳＬ実行システムと異なるが，デバイスの拡

本論文ではＸＭＬベースのＭＭＩ記述言語ＸISLを張性が高い点等，我々のシステムとの共通点が多い．

提案するとともに，実装を通してその動作を検証し，対話記述言語として用いられているＥＲＬは，イベン

また他の言語との比較によりＸＩＳＬの利点を明らかに

トに対するアクションをifLthen形式のルールで宣言した．ＸISLは以下の特徴を持つ．

的に記述する言語である．宣言的な記述は，保守性，・ＭＭＩ記述言語に必要とされる対話記述能力を再利用性に優れているという利点がある一方で，、文持つ．

献14)内でも述べられているように，対話全体の流れ

・モダリテイの拡張性が高い．

が把握し難いという問題もある．

本論文では，これらを実現するために行った言語仕

ＵＩＭＬは画面の構成や，ユーザ入力の受付け方法といったユーザインタフェースを記述するための言語で様の策定と実装例を中心に述べた．以下にその骨子をまとめて述べる．

ある．端末の拡張性が高く設計されており，ＸISLとまず，上述の第１項目を満たすために，ＶｂｉｃｅＸＭＬ

同様，多様な端末での利用が可能であるいう特徴を持およびＳＭＩＬを参考に，〈if>，〈Switch〉といった対

つ．ＵＩＭＬは個々の入出力の記述，すなわちＸＩＳＬに

話制御に関するタグ，par，seq，ａ１ｔといった対話おおける＜input>，〈output〉の記述の規定に主眼をおよび入出力の同期処理に関するタグと属性，対話階いた言語である．これに対してＸＩＳＬは入出力の流れ，層の導入による変数のスコープ管理，割込み対話の設すなわち対話シナリオを記述するための言語であり，定等，様々な記述を可能にした．続いて，上述の第２

ＵＩＭＬとは目的が異なる．

項目を満たすために，入出力を記述する＜input〉と
くoutPut〉に関して，その属性と内容の種類のみを規４．４その他の言語との比較

MILES6）はＭＭＩシステムの対話モデルを記述す

定し，属性値の記法や内容の詳細については端末やモるためにPrologを拡張した言語である．対話は一種

ダリテイごとに自由に規定できるよう設計した．これのifLthenルールの集合として宣言的に記述され，そにより，ＸISLは表現力を持つ拡張性の高いＭＭＩ記の内部に割込み対話，スクリプト，マルチモーダル入

述言語となった．

出力の時間制御等を記述できる．ＸISLでは，現時点

今後の課題としては，まずＸISLを用いたＭＭＩシ

でスクリプトを記述できないため，ＸISLと比べて広ステムの汎用アーキテクチャを設計し，今回実装した範囲のアプリケーションでの利用が可能と考えられる．

ＰＣ以外の多様な端末で実用性を検証することがあげ

MILＥＳは，宣言的な対話記述を行っているため，先られる．具体的には，３．１節で述べた電話，ＰＤＡ等をに述べたＥＲＬと同様，保守性，再利用性に秀でてい対象として検証を進めている．またＸＩＳＬではＳＭＩＬ

る反面，対話全体の流れが把握し難いという問題があの同期制御機構のうち２．１節にあげた項目への対応にる．また，MILＥＳはＳＡｍやＸＨＴＭＬ＋Voiceと同必要な部分のみを導入しているため，時間制御等を行様，限定されたモダリテイの利用のみを想定している

う際の記述力が十分でない．ざらにＸＩＳＬ自体の評価

ため，ＸISLの方がこの点拡張性が高い．

についても，本論文では他言語との比較という非定量

ＭｐＭＬ１６),17)は擬人化エージェントを用いたプレ的な方法で行った．今後は，ＳＭＩＬの同期制御機構を

ゼンテーションのための言語であり，エージェントの導入するとともに，開発工程等に関する調査によって移動，発話，複数エージェントの同期といった制御を定量的な評価を行い，ＸISLを本格的ＭＭＩ記述のた

詳細に記述できる．また音声入力によるエージェンめの基盤言語として整備したい．

トの制御も記述可能で，効果的なプレゼンテーション

なお，本研究の一部は文部科学省２１世紀ＣＯＥプに留意した設計がなされている．ＸISLにおいても，

ログラム「インテリジェントヒューマンセンシング｣，

3.2節で試作したシステムではくoutput〉の仕様とし科学技術研究費若手研究（Ｂ）14780323,および電気て擬人化エージェントを取り扱うことができるが，現通信普及財団の補助による．

状ではＭＰＭＬに比べて記述力が十分でない．一方，
XISLは擬人化エージェントに限らず様々な入出力モ

ダリテイを取り扱うことができ，割込み対話等も記述可能である．

参考文献ｌ）http://www.w3.org/2002/mmi／
２）http://www・w3org/TR/mmi-reqs／３）http://wwwsaltfbrumprg／

ＶＯＬ４４Ｎｏ．１１

ＭＭＩ記述言語ＸISLの提案

４）Ｗan9,Ｋ:SAImASpokenLanguagelnterfacefbrWeb-basedMultimodalDialogSyｓ－

ｔｅｍｓ,けoc・ICSＬＰ'02,pp2241-2244(2002）

５）http://www・w3org/TR/xhtml+voice／６）秋葉友良，伊藤克亘：スクリプト言語を用いた

マルチモーダル対話記述の試み，情報処理学会研究報告98-SLP-2398-HI-80，ｐｐｌ－６（1998)．

７）中村有作，小林聡，桂田浩一，新田恒雄：

ＸＩＳＬ：コンテンツ記述とインタラクション記述

分離の試み，情報処理学会第６２回全国大会講演
論文集（分冊４)，pp71-72(2001）８）Nitta，、，Katsurada，Ｋ，Yamada，Ｈ，

Nakamura，Ｙ・andKobayashi，Ｓ：ＸＩＳＬ：ＡｎＡｔｔｅｍｐｔｔｏＳｅｐａｒａｔｅＭｕｌｔｉｍｏｄａｌｌ､‐
teractionfromXMLContents，PmoEUL

ROSPEECH900Z,ppll97-1200(2001）

９）http://wwww3org/TR/voicexml20／10）http://www・w3org/TR/smil20／
11）桂田浩一，中村有作，山田真，小林聡，山田博文，新田恒雄：音声対話記述言語ＶＯｉｃｅＸＭＬとＭＭＩ記述言語ＸISLの比較，情報処理学会研究報告2001-SLP-38,pp49-54(2001）12）http://www・vox・tutkietutaojp/XISL/XISL
htmll3）桂田浩一,小林剛典，中島将宏,中嶋真里子,山田博文，新田恒雄：多様な端末からのアクセスが可能なＯＬＳシステムの実装，情報処理学会研究報告2003-SLP-45,pP41-46(2003）
14）Hill，Ｒ、：SupportingConcurrency，Com‐
munication，andSynchronizationinHumanComputerInteraction-TheSassafrasUIMS，
ＡＯＭ〃αns・Grqphic8，VOL５）No.３，ppl79-210（1986）

15）http://www・UIMLorg／
16）筒井貴之，石塚満：キャラクターエージェン

ト制御機能を有するマルチモーダル・プレゼンテーション記述言語ＭPML，情報処理学会論文

誌，VbL41,No.4,ppll24-1133(2000）17）http://www・miv・tu-tokyoac・jp/ＭPML／（平成１５年４月１０日受付）（平成１５年９月５日採録）■■■■←桂田浩一（正会員）

2６８９

筍.＄蕊,鼻i曇戦篤霞,…拳年同大学院工学研究科知識情報工学■ｈ■諾|彦三を繭二言壼議Ｌ１ｌｉｉｌ
トワークス社に所属．パソコンの開発に従事．

ｌａ部鶚窺蝉

`､１１１/iiiiiiFj騒蕊熟驚援センター所属．

侭驫蝿麓
讓翼ＴＩ．科博士前期課程情報工学専攻修了．

■1㎡琿口血三鷺稟襲蜑菫欝冨二三
橋技術科学大学工学部助手．博士（工学)．学習支援システム，パターン認識に関する研究に従事．電子情報通信学会会員．

01111.青鰻罹騨
．←院工学研究科情報工学専攻修了．平■､ｉｉｉ:ｂｈ襄圭L悪iii繕Iliji1Fiifi;f墓篁i:ｊｉ
同年豊橋技術科学大学情報処理センター助手．博士(工学)．音声言語情報処理の研究に従事．電子情報通信学会，人工知能学会，日本音響学会各会員．
新田恒雄（正会員）

伯エニ輯耀騨董 ⑥\騨鱒蕊■～｢■ノルチメデイア技術研究所を経て，平

■Ldi;■騨劉~ij鷲凹I:;欝壽 ｆｉ二二ji::i菫;露難彙薫篶ｆ
知識処理に関する研究に従事．ＡＡＡI，人工知能学会，

合成・文字認識，マルチモーダル対話システム，およ日本音響学会，ヒューマンインタフェース学会各会員．

び概念獲得の研究に従事．IEEE，電子情報通信学会，
人工知能学会，日本音響学会等の会員．