「インタラクション，97」 平成9年2月

マルチモーダルインターフェースと協調的応答を備えた観光案内対話システムの評価
伊藤敏彦 侍田明弘 中川聖一
豊橋技術科学大学情報工学系〒441豊橋市天伯町字雲雀ケ丘1−1
我々の研究室では、「富士山観光案内日本語音声対話システム」の開発において、ユーザにかかる負担や不安を軽減することを目的とし「タッチ入力、及び、指示詞を含んだユーザ発話の許可」や「対話の途中経過表示」などの機能を有するマルチモーダルインタフェースの実現、及び、システムからの質問やデータ
ベース検索失敗時の代案提示などの協調的応答について検討している。
本稿では、「システムの使い勝手の良さ」が1）マルチモーダルインターフェイスの導入、2）協調的応
答生成の導入、によってどのように向上するのかに着目して行なった評価実験について述べる。

Evaluation of a sightseeing guidance dialogue system
basedonspokenJapanesewithmulti−mOdalinterfhceandcooperative responce

Inourlaboratory，aJapaneBeSpOkendialoguesystemforMt・Fujisightseelngguidan竺hasbeendevel−
Oped・Inthedevelopment，inordertoreduceburdensimposedonau＄er，thefo1lowlngtWOfunctiotincludingdemonstratives・2）acooperativere8POnCegeneraterWhichgivesusefSalternativeproposal
Whensystem−CannOtretrieveanentryofdatabasesdirectlysatis＆ingusr

srequlrementS．

Evaluationexperimentsaredescribedwherehowtheaboveimprovementincreses convenienceofthe

SyStemisfocusedupon．

1 はじめにび、指示詞や指示代名詞（以降は、これらをまとめて「指示語」と呼ぶ）を含んだユーザ発話の許可」といった、マルチモーダルインタフェースの

音声認識技術、及び、これを支援する言語処理技術の向上により、ユーザがより自然な言い回しで対話を行なえる音声対話システムが実現されてき実現【11】を試みている。

ている。また、音声対話システムの対話を支援し、また同様に対話システムにおいて、システムがユーザと協調的に対話を進めていくことはユー
ザの負担を軽減するために重要である【12】。デー
タベース検索における協調的応答生成に関してはユーザに使い勝手のよいマンーマシンインタフェー

スを捷供することを召的として、「音声入出力」以外に「ポインティングジェスチャ入力」や「画像に質問の答以外に付加的な情報を与えたり、失敗しよる出力」などの複数の入出力手段（モダリテイ）を相補的に統合し、同時あるいは逐次に用いる

た質問に対する理由や代案を提示するものが多い【13】。ユーザの質問文に検索に必要な情報が含まれていなかったり、検索結果の数が多い場合など
はユーザヘの質問を行なったり、ユーザの望む検

マルチモーダルインタフェースの研究も近年盛んに行なわれるようになってきている［1，2，3，4，5】。

我々の研究室では、「富士山観光案内日本語音
声対話システム」【6，7］の開発を行なってきた。し索結果が得られなかった場合、それに代わる代案

かし、マンーマシンインタフェースを音声のみで提を提供する。このようなユーザへの協調的応答によってユニザにかかる負担や不安を軽減することも試みている【14】。

供していた従来のシステムでは、システムからの応答が音声のみで行なわれるために、ユーザに不安や負担を与えることがあった。そこで、「システ

本稿では、同システムにらいて、「システムの使い勝手の良さ」、「マルチモーダルインタフェース

ムとの対話の途中経過表示」や「タッチ入力、及−135−

化の効果」、「協調的応答」に着目して行なった評解析を行っている［8］。
「応答音声合成部」は、対話システムが生成す

価実験について述べる。

る応答文の文字列をワークステーション上で動作

2 従来の「富士山観光案内日本語

する音声合成サーバに送り、音声を出力している。

音声対話システム」

3 システムの問題点と改良「富士山観光案内日本語音声対話システム」【6，7］は、富士山周辺の観光案内をタスクとしており、ユーザの発声する音声を入力とし、その発話内容に対する観光案内を合成音声で応答する。現在のシステムでは、普段我々が使用しているような話

3．1 従来のシステムの問題点
従来のシステム【7〕では、マンーマシンインター
フェイスとして音声のみを用いていることやシステ

ムが不完全なために、以下のような問題点があった。

し言葉に近いほ然な発話（SpontaneousSpeech）

1．システムがQ＆Aシステムに近いシステム

jを理解することが可能になっている。ここでいであり、質問文以外の文をほとんど処理できうr自然な発話（SpontaneousSpeech‖とは、発ない。

話文中に「関投詞」「未知語」「助詞落ち」「言い淀2．使用できる文型に制限がある。
3．ユーザの提示した検索条件が少ない場合など、システムからの応答文が多くの内容を含

み・言い直し」「倒置」、「多様な言い回し」といった話し言葉特有の現象を含んだ発話のことである。
従来の「富士山観光案内音声対話システム」は、んでシステムの発話は長くなり、応答内容の一部を聞き逃す可能性がある。
4．応答された観光地名、施設名等の漠字表記が「入力音声認識部」「対話理解・管理部」及び「応答音声合成部」の3つの部分から構成されている。

わからないことがある。

認識に用いるⅡMM（HiddenMarkovModel）

5．ユーザはシステムと対話を行う際に、システには、日本語の113音節を単位とする音節HMM
で、5状態4出力分布の単一連続分布を持つ、離散継続時聞制御ⅡMM（DDCHMM）を用いていムから得られる情報をメモを取る等の手段で記録しながら、対話を進めていかなくてはならない。

る。更に、ⅡMMは話者適応化を行なって、認識率の向上をはかっている。音節ⅡMM、文脈自由

6．音声認識部の処理時間が実時間の数倍程度
で、自然な対話とは言い難い。

文法の構文解析法、音声の「取り込み」「分析」「認このように、発話できる文に制限があることや対識」を同時に行なう並列化アルゴリズム、及び、
OnePassViterbiサーチアルゴリズムに基づいた話によって得られる情報の一部が欠落してしまう

こと、対話状況が不透明であることは、ユーザに不安、若しくは、負担を与えることになりかねない。そこで、ユーザに余計な不安や負担を与えな

フレーム同期型の連続音声認識の統合アルゴリズ

ムを基礎として、ユーザの発話を認識する「入力音声認識部」は構成されている。更に「間投詞」やいようにすることを目的として、従来のシステム「言い淀み・言い直し」の部分には、未知語処理にに次節に示す改良を加えた。

基づいた処理を施している【9】。文脈自由文法は自然な対話音声を認識するために、助詞落ちや倒置を含む文も受理できるように記述している。
ユーザの発話は「入力音声認識部」で認識され、5−bestの認識結果が、「対話理解・管理部」に送られる。この内革1位の認識結果のみ（もちろ

3．2 言語処理（理解）部の改良
これまでの言語処理（理解）部は、正しく意味表現に変換処理できる文型にかなりの制限があった。システムがもともとQ＆Aシステムに近いシ

ステムであったため、疑問文以外の文はほとんど

ん、第5位の認識結果まで用いれば、この「対話理解・管理部」の性能は向上する【10】。）を文字列に変換し、変換した文字列に対して「形態素解正しく意味理解できなく、また副詞や形容詞を含
んだ文の発話も許していなかった。さらに指示詞

析」「文節解析」「構文解析」「意味解析」「文脈解い意味表現に変換することは難しかった。

析」を行う、続いて、富士山周辺の観光地データ
ベースの検索を行なうことによって、応答文の文

しかし、今回の言語理解部の改良により、疑問文以外の願望・依頼といった発話や副詞や形容詞

字列を生成する。「構文解析」及び「意味解析」にを含んだ文も正しく意味理解できるようになった。

などの処理も完全に行なってないため、文を正し

おいては、助詞落ち、助詞誤り、倒置に対応する

さらに指示詞データベースの使用により、応答文

ためにいくつかのヒューリスティックスを用いてや自分の発話に対する指示詞の使用もある程度正しく処理できるようになった。

−136−

3．3 ディスプレイ上への情報表示システムからの応答や過去の対話で得られた情ユーザ動作：メニュー内の項目「富士急ハイラン
ド」にタッチする。

報を記憶し、ユーザが必要とする情報を、対話の途中経過表示として、以下の3種類の手段によっ5‑

ユーザ発声：三三の入場料金はいくらかかりますか。

て画面上に表示する。

・現在の対話内容に対応する場所の地図（富士山、河口湖、山中湖、西湖、精進湖＆本栖湖、のいずれか）及び現在のトピックの写真などを表示。

乱5 協調的応答生成システム
問題点で述べたようにユーザの発話文から得ら・システムからの応答文が多く（今回の改良においては5個以上）の項目を含んでいる

れた検索条件が少ない場合は、知識データベース

場合に、これらをメニューとしても表示。

の検索に失敗したり、逆に大量の検索結果データを応答として出力したりする。

●システムとの対話から得られた情報の内、各観光施設の（名称、種類、料金や食事、駐これはシステムがユーザの発話した一文だけから得られた検索条件で知識データベースを検索し、知識データベースから得ちれた情報を全てユーザに提示しようとするためである。さらにシステム
は知識データベースを検索した結果、データが見

車場の有無といったその他の）情報は、対話履歴として随時表示。
これらをディスプレイ上に表示した画面の例を図1に示す。

つからなかった場合、知識データベースにデータがなかったことをユーザに示すだけで終る。そのため、あるタスクを達成しようとした場合に非常に対話数が多くなることがあった。
このような問題点を改良するためにユーザの対話の意図（焦点）を抽出しそれに沿った対話制御、検索条件が少ない場合のユーザへの質問、検索結果が見つからない場合の代案検索などができる協調的応答生成システムを構築した【15】。
今回、構築した応答生成システムの構成図を図2に示す。ユーザの発話した発話文は音譜理解シス

テムによって、図3のような等価な意味ネットワー

ク（意味表現）に変換され、哀初に村話制御部に入力される。
図1：画面表示の例

対話制御部は対話の流れ、文脈情報の管理、必要な情報（条件）の質問などを行なっている。対話
制御部は対話の流れを決定するために、ユーザの（左上：地図、左中央：現在のトピックと入力音声の認
識結果、左下：村話履歴、右：応答文のメニュー）

対話の意図（焦点）を抽出する意図解析部にユーザの発話意味ネットワークを送る。意図解析部は入力されたユーザの発話意味ネットワークからユー

3．4 タッチスクリーン入力法

ザの対話の意図（焦点）とユーザの提示した検索条

ユーザがシステムからの応答文の一部を開き逃件を抽出する。そして対話制御部は獲得したユー

してしまった場合にも、以降の対話で聞き逃した
観光地名等を対象とする質問を行なえるようにメニューが表示される。このメニュー内の項目、若ザの対話の意図（焦点）から対話の流れを決定し、これまでの発話から獲得された情報で現在の発話

しくは、地図上の位置や地名等に指を触れながらにも移行できる情報（文脈的な情報）があればそれ（タッチ入力）、これを指示語で言い表すことにを文脈情報として利用する。

よって、システムとの対話を行えるタッチスクリー

ン入力法を実現した。指示語を含んだユーザの発話とタッチ入力を組み合わせたシステムへの入力

次に知識データベースを検索するための問題
解決器にはユーザの発話意味ネットワークと先ほど述べた文脈情報を入力する。問題解決器はそれは、例えば次のようになる。

らのデータを−137−

この時、問題解決器はユーザの発話意味ネットワー
発話文：

クに含まれている検索条件と文脈情報を活用して河口湖でテニスのできるホテルはありますか。

検索するが、もし検索結果が得られなかった場合

Il

は検索条件の一部を同じ概念の検索条件に変更し発話意味ネットワーク：

検索をやり直す。そこで検索結果が得られたなら、（ある（FORH YⅣ−q）（TARGETⅣ工L）代案としてその検索結果を対話制御部に送る。
対話制御部は獲得された検索結果を調べ、検索結果の数が多い場合には対話制御部はユーザへ検（mミGATIOⅣⅣIL）（0Ⅰけ（ホテル（（AT−エロC）（できる（0王け（テニス））））））（AT−LOC（河口湖）））

索結果選択のための質問を行なう。その時の質問
はユーザの対話の意図（焦点）に沿ったまだ獲得されていない検索条件に関して行なう。検索結果や

図3：発話意味ネットワーク例

代案のデータ数が適当であるなら検索された情報

り分けるために2種類の評価実験を行なった。こ
こでは言語理解部と協調的応答システムの部分に焦点をあてた評価実験について述べる。次節でマルチモーダルインターフェイス化に関する評価実をユーザへ提示するために、対話制御部は応答文
生成部へユーザの発話意味ネットワークと検索結

果（代案結果も含む）を送る。
応答文生成部では、入力された発話意味ネット

験を述べる。

ワークと検索結果からどのような形で応答すれば

4．1 実験の形式・条件

良いかを決定し、それに従い応答文意味ネットワー
クを形成する。それから応答文意味ネットワーク

実験は、被験者らに「1泊2日の富士山周辺への研究室旅行」を、システムとの対話で得られる情報をもとに計画してもらうという形式で行なっを通常の文字列に変換し、ユーザヘの応答として音声合成で出力する。

た。決定してもらう内容は、1、2日日の目的地とそこでのプラン、及び、宿泊先の施設の所在、種意味ネットワーク

類、料金、宿泊施設名の計8項目である。被験者
は、音声対話システムに関して全く知識のない本
大学生（学部2〜3年）6人であり、特にシステムの使用法は教示せず、音声認識モデルの話者適応
化用に発声してもらったタスクに関する50文を発声例として自己学習するだけである。
実験では以下の2種類のシステムで計画を立ててもらった。

1．従来の対話システム（systeml）

2．言語処理部改良後の対話システム（system2）
音声認識システムはどちらも従来のものを使用している（2節参照）。実験に使用した認識条件はケ

プストラム、回帰係数使用、ビーム帽5である（認識を高速に行なうためにビーム幅を狭くし、また音声の継続時間分布制御も使用していない）。ま

応答文 〜

たⅡMMにほ研究室内の雑音環境に適応化した不特定話者モデルを、実験前に被験者に発話しても

図2：応答生成システムの構成図

らった富士山観光案内に閲した適応化文50文で話筆 言語処理部改良に関する評価実者適応イヒし、使用している。音声認識用文法は単語数275、パープレキシティ約100、である。自然験についてな発話を受理するように文法にロバス下性を・もた

効果を醇価するために、実験を府なった。システしたためパープレキシティは非常に大きくなった。
しかしながら、音声認識処理に有する時間は発話

ムの評価実額ではマルチモーダ）レインターフェイ

時間を含め実時間の1．5〜2倍程度■（ⅡP−C160使ス化による効果と言語処理部の改良（言語理解部と協調的応答生成シス≠ム）による効果をはっき用）で、比較的時間的にはスムーズな対話が続行できるようになった。

前節で述べたいくつかの改良点に関して、そのー138−識された割合を示している。認識文理解率は、（終）実験の手順としては、最初に実験の内容と決定した項目を記入してもらう紙を渡し、熟読しても助詞落ち・誤りなど人間が見れば誤りと分かるもらった。その後、SyStemlとsystem2のそれぞれのを許した場合の音声認識率である。正解意味理との対話（最初に対話してもらうシステムは被験者毎に変更）で旅行計画を2案立ててもらった。
実験終了後、使用感や応答に関するアンケートに答えてもらった。

解率は被験者の発話が言語理解部で正しい意味表

現に変換できた割合である。情報提供率はユーザの発話に対して正しい情報を提供した割合である。
システム質問率はシステムがユーザに情報選択するための質問をした割合、代案提供率はユーザに
検索結果の代わりに代案を示した割合である。正解応答率は情報提供率、システム質問率、代案提4．2 実験の結果
評価実験における被験者のデータを表1に示す。項目達成は8項目のうちどれだけ決定できた供率の他に意味表現作成に失敗した割合（システかである占発話数は実験終了までに発話した文数でムは発話理解に失敗したことを応答する）を加えある。発話数の項目の括弧内の数字はsystemlとsystem2を使用した順番である。まず、この6人の項目達成率（必要な8項目を決定できた割合）は、たものである。
表2：評価結果

systemlで平均94％、SyStem2で平均100％であった。その理由としてsystemlの対話システムではSySteml

SyStem2

103文

101文

宿泊施設の料金に関する情報を聞き出すことがで全発話数きなかった人が多かった。全発話数に関してはど

正解音声認識率 32文（31．0％） 21文（20．8％）

ちらのシステムも大きな差はでなかった。SyStemlとsystem2での発話数に大きな差がでなかった理由として、第一にはsystem2の場合、システムの認識文理解率 83文（80・や％） 56文（由・4％）

正解意味理解率 63文（61．2％） 56文（由．4％）

質問（9回）に応答する発話数が含まれていること

正解応答率 63文（61．2％） 鱒1文（80．2％）がある。第二にはあまりにタスクが簡単すぎたという理由も考えられる。もう少しタスクが複雑なものであればもっとはっきりと発話数に差がでたのではないかと思われる。次に個々の被験者の発情報提供率 4．9文（47．6％） 43文（42．6％）
システム質問率 0文（0％）
代案捷飯率

話数を見ていくと慣れのためと思われるが、2番

声認識システムを使用しているにも関わらず大き向がある。しかし一項日当たりに必要な発話数をな差がでている。これはsytemlとsystem2では

見るとsyte甲1で2・3、SyStem2で2・1であり、改発話された文の種類がかなり異なっているためである。前節でも述べた ようにsystemlとsystem2

良による労力軽減の効果が現れているとは言える。

の処理できる文の種類に大きな差がある。そのた

表1：評価用データ

めsyste血1で最初にある文を発話し、それが正しく理解されないことが分か
はsystemlではそれに似た文を発訂しない。その軍yStem2

被験考 ．項目蓮嘩 尭話数 ．項自・凄成 発話数
阜

一8／鱒

12（1）

由

7ノ8

29（1）

C■、

寧／8

D

8／8

呵1，）
6．（2■ト

す／8

甘

7／8

9文（9．0％）3文（3．0％）

正解音声認識率、認識文理解率を見ると同じ音目に行なったシステムの方が発話数は減少する傾SySteml

0文（0％）

8／8
8／8
8／8

ため比較的認識ぎれやすい文ばかりが発話された12（2）だめにこのような結果になったと思われる。認識12（2）文理解率と正解意味理解率の差が少ないほど言語

11（2）

理解部の能力が人間なみであると言える。今回の

町8

13（1）

−改良によってかなり性能が向上しているてとが分

1声（2ト

台■／哀

15（1）

35（2）

8／8

かる。しかし、システムの質問に対するユ」ザの応答が誤認識されるとシステムは誤った情報を提38（1）供したり、発話の誤認識によって文脈知識データが誤って更新されたりすることがあった。これらの失敗に対する相応（ユーザへの確認等）が必要

次に表2にシステムの評価結果を示す。正解音であると考えられる。
表3に音声認識率100％として被験者の発話を声認識率は被験者が発話した文が正確に正しく認−139−

書き起こしたものを入力（テキスト入力）とした
場合の評価結果を示す。発話された文の種類の豊るという意見もあった［17】。
これらのアンケートの結果からも、今回の改良による労力軽減の効果はあったと考えられる。

富さにも関わらず、正解意味理解率、正解応答率
共にsystemlよりsystem2の方が大きく上回って

5 マルチモーダル音声対話システいる。このことからも表2の正解意味理解率の結果が、音声認識の難しさの影響を大きく受けていムの評価についてることが分かる（人間が見ても理解できない認識

本節では、マルチモーダルインタフェース化を行なった「富士山観光案内日本語音声対話システ
ム」について、「システムの使い勝手の良さ」や文は言語処理部でも難しい）。次にシステムがユー
ザにタスク達成のために有益な何らかの情報を提供する割合がsystemlの57．3％からsystem2の68．4％（63．4％＋5．0％）と大きく上昇している。この割合の上昇はタスク達成に費やす労力を大きく「マルチモーダルインタフェース化の効果」に着目軽減すると思われる。

験に対する予備実験として行なった評価実験【16］して行なった評価実験について述べる。今回の実では、満足のいく「ユーザ発話認識率」（後述）が得られていない。原因としては指示語を含んだ文
表3：評価結果（入力：書き起こしデータ）に対する音声認識用文法の不備や、前述した言語

処理部の不完全さなどの問題点が浮き彫りになったためである。今回の実験前に」音声認識用文法
全発話数

103文

101文

の改良を行ない、言語処理部には改良後の言語処

正解意味理解率 73文（7b．9％） 90文
正解応答率 69耳（67・0％） 87文（86．1％）

理部を使用した。
実験の形式・条件は4節の言語処理部の評価

情報捷供奉 59文（57．3％） 糾文（63．4％）

実験の形式・条件を参照されたい。被験者は、音声対話システムに関して全く知識のない本大学生

システ卑質問寧 0文（0％） 12耳（I2．0％）
代案提供率

0文・（0％）（学部2−3年）10人である。被験者10人の項目

5文（5．0％）

達成率は、約79．2％であった。

5．1対話の形式

4．3 使用感に関するアンケート評価実験では、以下の3種類の形式でシステム実験終了後、言語処理部に関するアンケートを被験者に書いてもらい使用感などを調査▲した。計

との対話を行なってもらい、それにより旅行計画

を3案立ててもらう。括弧内の記述は、それぞれ画の立てやすさ、システムの便利さに関しては、の表における各対話形式に対応している。
1．音声のみの入力、及び、音声のみの出力によ質問や代案を提示したり、処理できる文の種類や官豊富なsystem2の評価が高い。応答の聞き易さ、応答の自然さ、次発話のし易さといった項目では

昌男鮎裏芸会規と2．、対話の途中経過を

system2が少し良い程度であった。評価実験ではディスプレイ上への画像出力で与えるマル
チモーダル出力とし、入力は音声のみで行な

質問や代案捷示の回数がかなり少ないため、あまり差がでなかった七思われる。
次にそれぞれのシステムでうまくいった対話例

え男鮎菩訟㌔認諾翫

3．ッチス，

ムの自然さ、次発話のし易さの項目を質問した場

リーンを用いた入力の併用で実現されるマ
ルチモーダル入力、出力は音声及びディスプ

合はどれもsystem2の評価がかなり高かった。

レイ上への途中経過画像によるマルチモーダ

を書き起こして示し、システムの便利さ、システ

ル出力で行なわれる対話（マルチ入出力）

次に対話制御に関するアンケートでは「検索結果を取捨するためのシステムからの質問は必要か」

今回の実験では、被験者A，D，G，ユには対話形式1という質問に半分が必要、半分が不必要（検索結→2→3、被験者B，E，Ⅱには、対話形式2→3→
1、被験者C，F，Ⅰには、対話形式3→1→2の順で果を全部提示してほしい）と答えた。代案に関しては全点があると便利であると答え、計画がうま

対話を行なってもらった。

くいかない時のシステムからの提案に関しても全5．2 評価結果

員が望んでいた。またシステム主導型のような必要なことを全部聞いてくれるシステムが便利であ

表4に「システムのユーザ発話理解率と課題達成のために費やされた発話数」を示す。

ー140−

表4：ユーザ発話理解率と課題達成のために費やされた発話の数
上段：ユーザ発話認識率【％】中段：ユーザ発話理解率【％】下段：ユーザ発話数（括弧内タッチ入力を用いた発話数）（＊印はl番目に行なった対話形式）
対話形草

被験者

A

使用順
音声入出力

音声入力・マルチ出力

B

C

D

G

F

H

Ⅰ

J

45．8蓼

45．5♯

38．9事

27．5＊

45．8＊

45．5＊

38．9＊

15．9＊

24＊

33＊

18＊

62．5 55．6事

75．0 43．8攣
75．0 34．4＊

34．3 40．0事
40．0 35．0＊

12

35

69＊
37．3
29．4
51

62．5 44．4＊
24 9＊

32＊

2d＊

77．7 80・0 25．0蠣
54．5
46．9
46．3＊
47．8
40．0
35．7＊
54．8
55．6
80．0
37．5＊
40．9
40．6
46．3＊
47．8
40．0
33．3＊
41．9
9（0） 5−（0） 16（8）＊ 22（10） 32（9） 41（5）＊ 23（2） 15（1） 42（2）＊ 31（10）マルナ入出力

66．7
50．0

音声入出力

6

40．9
40．9
22

29
10．0

音声入力・マルチ出力

o」0

10

「システムのユーザ発話理解率」寧ま、村話シス

17
66．7
75．0
12

53．8
53．8
13

27
56．0
44．0
25

る可能性と言える。

テムがユーザの発話を正しく理解できた割合であ5．3 アンケートによる考察る。本実験においては、ユーザ発話から正しい意「ディスプレイ上への途中経過表示」について「地味ネットワークに変換された数とユーザの全発話図表示」については、役に立ったと答えた被験者が4人、役に立たなかったと答えた被験者か4人という結果となった。役に立たなかったと答えた

数によって、以下のように定義する。
ユーザ発話理解率＝E

正しい意味ネットワークに変換できた数
ユーザ全発話数

被験者は、地図上の字が読みにくいことや、地図

表中の＊の付いた（1番目に実験を行なった対上に表示されている地名や観光地名が、まだ完全に言語処理部で対応しきれていない（辞書の未登録など）ことを指摘した。
「メニュー表示」については、多くの被験者が役に立ったという返答をしてくれた。中には、「これがないと何を聞いてよいのか、さっぱりわから話形式）結果は、2番目以降の結果とシステムへの不慣れさによる差があるため評価結果としては除外する。
表4より、多くの被験者が音声のみで行なわれる対話よりも、マルチモーダル化したシステムにおいて行なわれる対話でより高い「音声認識率」、

なかった」という意見もあり、計算機とコミュニ「ユーザ発話理解率」を示している。これは音声のケートすることになれていないユーザの対話を手みのシステムでのユーザ発話が、発話内容を考え助けする役割を果たしている様子が見受けられた。
「対話履歴表示」については、・これといった反応は見られず、可もなく不可もなくという感じでながら（システムの応答を思い出しながら）発話
するのに対して、マルチモーダル化したシステム
では発話するための情報や応答が表示されているあった。中には、「表示される程度の情報（観光ためか、発話前に発話内容がかなり決定している

地・施設名）は耳で聞き取れた」として不必要とらしくかなり定型的な発話になっていた。

する意見もあった。

また、「課題達成のために費やされた発帯数」を見ると、被験者A，E，F，H，Ⅰ，Jは、「富士山観光案「タッチ入力」について半数の被験者が「タッチ入内システム」に対して、徐々に慣れていく様子が見受けられるが、マルチモーダル村話を行なった

力は使いにくかった」と答えた。その理由として、後に、特に発話数の減少が大きい。

いた。彼らの対話におけるタッチ入力の語動作の「タッチ入力の精度が悪い」と答えた被験者が3人

1

ー141−

1

発話に対して応答が正しくない：
データ転送時の誤動作：

9

指示語を含んだ文の音声認識誤り

対話と、対話システムへの素早い慣れを実現でき

9

意図したものが指し示せなかった

フェースは、音声対話システムに理解されやすい

例例例例

内訳を調べてみると、これらのことから、音声対話システムの知識を持たないユーザに対し、マルチモーダルインタ美奈詣錆詔で、「どのような発話（タッチ

評価」，電子情報通信学会論文誌，VOIノ．J77−D−ⅠⅠ，

ればいいのか思いつかない（2Ⅳ0．8，pp．1465−1474（1994）．

人）」「指示語を含んだ文のバリ1エーションが少な【3〕中川聖一，張建新：「音声と直指操作による入力イン

い（1人）」といった理由で、タッチ入力を「使えなカ！った」または「使わなかづた」被験者もいた。

ターフェイス」，電気学会論文誌，Vol．11年ーC，Ⅳ0．10，

pp．1009−1017（1994）［4］神尾，松浦，正井，新田：「マルチモーダル対話システム

ただ、どの被験者も、タ？チ入力の性能が向上す

MultiksDial」，電子情報通信学会論文誌，Vol．J77−

れば、「大変御こ立つと思う」「そこそこ役に立つ

D−ⅠⅠ，No．8，pp．1429−1437，（1994）．

と思う」と答えているので、今後、ハードウ土ア及びソフトウエアの両方の面から、タッチ人力イ【5】伊藤，古川，中沢，木山混同：「複数ユーザによる音

ンタフェースを改点していきたいと考えている。

声とジェスチャのマルチモーダルインタフェースシス
テム：Real−timeGSIの一評価実験」情報処理学会，
音声言語情報処理研究会報告，96−SLP−10，pp．3−8「どの入カインタフェナスが使いやすいか」上述し（1996）

たように、ほとんどの被験者が「タッチ入力」を使いにくいとしているため、「音声入力！マルチ出力」の入出力インタフェースが使いやすいと回答［6］M．Yamaふoto， S．Kobayashi， Y・Moriya，
S．Na．knga，Wa：J

ASpokendialogsystemwithver−

ficationandcla．ri丘cationqueries，IEICETrans．，

Vol．E76−D，No．1，pp．84−94（1993）

が大勢を占めた。

【［7】山本，彿藤，肥田野，中川：「人間の理解手法を用し、そのほかの意見としては、システム全体に対すたロバストな音声対話システム」，情報処理学会論文誌，VOL・37，No・4，（1996・けるものとして、「r音声入出力‖画像出力‖タッチ
入力jのそれぞれが一つにまとまっていない、か【8】山本、｛林、中川：「音声対話文における助詞落ち・倒置の分析と解析手法」、情報処理学会論文誌Vdl．33，

みあっていない気がする」．という意見もあった。

Ⅳ0．11，pp．1322−1330（1992）．

以上の〜ようなアンケートからもマルチモーダル［9】甲斐、間宮、中川：「自然発話の認識・理解のためのインターフェイスの対話システムの有用性は証明

解析・照合手法の比較」、情報処理学会、音声言語

することができた。今後はタッチ入力の改良を中

情報処理研究会報告、94−SLP−2−12（1994・7）

心としたシステム全体の整備を行なっていく必要がある。

［10】肥田野勝，中川聖一：「音声対話システムにおけるN−best文認識結果の一利用法」，情報処理学会
第5軍回全国大会（2），4D−2，pp・165−166，1996・

6 おわりに［11】侍田明弘，中川聖−：「日本語音声による働
光案内システムのマルチモーダルインターフェイス

本研究では、従来音声のみをマンマシンイン化」，情報処理学会第52回全国大会（2），4D−3，

ターフェースとしていた音声対話システムに対し、

pp．167−168，1996「対話の途中経過のディスプレイ上への表示」及び【12］Ⅹaplan，S・J・：Coopera・tive Responces 血om a・Porta．bleNaturalLa・ngtlageData・baseQuerySys−「タッチ入力と、指示語を含んだユーザ発話を組み

tem，Brady，M．a・ndBerwickR・C．（eds・），Compu−合わせた入力」を実現したマルチモーダル化の改

tationalModels of Discourse，Pp．167−208，MIT良、さらにユーザに協調的に応答する言語処理部

Press（1983）・の改良を行なった。またシステムの評価実験にお：Question
Answer−ing，Sha・Piro，S・C・（ed・），Encyclopedia ofartificalintelligence，PP．814−822，Newyork：Wiley（1987）【13］Webber，B・

いては、言語処理部の改良によって、タスク達成への労力の軽減が見られた。さらに対話システム

へのマルチモーダルインターフェイス化の有用性を示すことができた。
今後は現在のシステムに対して、評価実験に
よって明らかになったシステム全体の不備な点を【14】伊藤，中川：「音声対話システムにおける協調的応答」，情報処理学会，音声言語情報処理研究会報告，
96−SLP−10，pp．105−110（1996）【15】伊藤，中川：「音声対話システムにおける焦点の抽

出と協調的応答」，情報処理学会第53回全国大会

改良していく予定である。

（2），7Nヰpp・353−354，1996・［16］侍田，伊藤，中川：「マルチモーダルインタフェースを備えた観光案内対話システムの評価」，人工知能学会全国大会（第10回）論文集，pp・431−434，1996

参考文献【1】竹林洋一：「音声自由対話システムTOSBURGII−［17】中川聖一，山本誠治：「音声対話システムの構成
法とユーザ発話の関係」，電子情報通信学会論文誌

ユーザ中心のマルチモナグルインタフェースの実現に向けて−」，電子情報通信学会論文誌，VOIJ．J77−
D−ⅠⅠ，No．8，pさ．1417−1428（1994）．

，Vol．J79−D−ⅠⅠ，No．12，1996【21安藤，北原，畑岡：「インテリアデザイン支援シス
テムを対象としたマルチモーダルインタフェースの−142−