(57)【要約】【課題】  複数のモーダルをうまく利用し、効率の良いコンパクトな情報の伝達を可能とした情報提示装置を提供する。【解決手段】  複数のモーダルで情報を提示する情報提示装置であって、テキストの入力を受け付けるテキスト入力部１０１と、入力されたテキストの構造を解析することによってテキストを複数の要素に分解するテキスト解析部１０２と、分解された要素ごとにいかなるモーダルで出力すべきかを決定するテキスト要素分類部１０３と、テキスト要素分類部１０３による決定に従ってテキストを構成する要素を複数のモーダルで出力することによって、テキストの内容を提示する音選択部１０４、テキスト生成部１０５、音出力部１０６および音声合成部１０７とを備える。【選択図】      図１
2006164172.tif 000002
【特許請求の範囲】
【請求項１】
複数のモーダルで情報を提示する情報提示装置であって、
テキストの入力を受け付けるテキスト入力手段と、
入力されたテキストの構造を解析することによって、前記テキストを複数の要素に分解するテキスト解析手段と、
分解された要素ごとに、いかなるモーダルで出力すべきかを決定するテキスト要素分類手段と、
前記テキスト要素分類手段による決定に従って前記テキストを構成する要素を複数のモーダルで出力することによって、前記テキストの内容を提示する提示手段と
を備えることを特徴とする情報提示装置。
【請求項２】
前記テキスト要素分類手段は、前記テキストを構成する少なくとも１つの要素を音モーダルまたは画像モーダルで出力し、他の要素を音声モーダルで出力すべきと決定する
ことを特徴とする請求項１記載の情報提示装置。
【請求項３】
前記提示手段は、前記少なくとも１つの要素を音モーダルまたは画像モーダルで出力することと並行して、前記他の要素を音声モーダルで出力する
ことを特徴とする請求項２記載の情報提示装置。
【請求項４】
前記テキスト解析手段は、前記テキストを文節単位に分解し、
前記テキスト要素分類手段は、前記テキスト解析手段によって得られた文節ごとに、予め定められたキーワードが含まれるか否かを判定することによって、いかなるモーダルで出力すべきかを決定する
ことを特徴とする請求項１記載の情報提示装置。
【請求項５】
前記情報提供装置はさらに、キーワードと前記キーワードに関連した音データまたは画像データとの組を格納しているモーダルデータ格納手段を備え、
前記テキスト要素分類手段は、前記モーダルデータ格納手段に格納されたキーワードが前記文節に含まれるか否かを判定し、前記キーワードが含まれる文節については音モーダルまたは画像モーダルで出力し、その他の文節については音声モーダルで出力すべきと決定し、
前記提示手段は、前記テキスト文節分類手段が音モーダルまたは画像モーダルで出力すべきと決定した文節については、当該文節に含まれるキーワードに対応する音データまたは画像データを前記モーダルデータ格納手段から読み出して出力する
ことを特徴とする請求項４記載の情報提示装置。
【請求項６】
前記情報提示装置はさらに、ユーザと音声で対話する音声対話装置を備え、
前記テキスト入力手段は、前記音声対話装置が出力する音声を示すテキストを前記入力として受け付ける
ことを特徴とする請求項１記載の情報提示装置。
【請求項７】
前記情報提示装置はさらに、当該情報提示装置が使用されている状況を示す情報を獲得する使用状況獲得手段を備え、
前記テキスト要素分類手段は、前記使用状況獲得手段によって獲得された情報が示す使用状況に応じて、前記要素ごとに、いかなるモーダルで出力すべきかを決定する
ことを特徴とする請求項１記載の情報提示装置。
【請求項８】
前記情報提示装置はさらに、
前記使用状況ごとに、使用可能なモーダルを示す使用可能モーダル情報を格納している使用可能モーダル情報格納手段と、
前記情報提示装置に搭載されている出力機能を示すプロファイル情報を格納しているプロファイル情報格納手段とを備え、
前記テキスト要素分類手段は、前記使用可能モーダル情報格納手段に格納されている使用可能モーダル情報を参照することによって、前記使用状況獲得手段によって獲得された情報が示す使用状況に対応する使用可能なモーダルを特定し、前記プロファイル情報格納手段に格納されているプロファイル情報を参照することによって、前記情報提示装置に搭載されている出力機能を特定し、特定した前記使用可能なモーダルと前記出力機能とを組み合わせることによって、使用可能で、かつ、出力可能なモーダルを特定し、特定したモーダルの中から前記出力に使用するモーダルを決定する
ことを特徴とする請求項７記載の情報提示装置。
【請求項９】
前記テキスト入力手段は、テキストの一部または全体をどのモーダルで提示するかを指定したタグ情報を含むテキストを入力として受け付け、
前記テキスト解析手段は、前記タグ情報に従って、前記要素ごとに、いかなるモーダルで出力すべきかを決定する
ことを特徴とする請求項１記載の情報提示装置。
【請求項１０】
前記提示手段は、音モーダルまたは画像モーダルで出力する要素については、当該要素が示す状況または関連情報を音または画像として提示する
ことを特徴とする請求項１記載の情報提示装置。
【請求項１１】
前記提示手段は、音モーダルで出力する要素については、当該要素が示す状況における背景音を出力する
ことを特徴とする請求項１０記載の情報提示装置。
【請求項１２】
前記提示手段は、画像モーダルで出力する要素については、当該要素が示す対象物の写真、キャラクタまたは動画を表示する
ことを特徴とする請求項１０記載の情報提示装置。
【請求項１３】
複数のモーダルで情報を提示する情報提示方法であって、
テキストの入力を受け付けるテキスト入力ステップと、
入力されたテキストの構造を解析することによって、前記テキストを複数の要素に分解するテキスト解析ステップと、
分解された要素ごとに、いかなるモーダルで出力すべきかを決定するテキスト要素分類ステップと、
前記テキスト要素分類ステップによる決定に従って前記テキストを構成する要素を複数のモーダルで出力することによって、前記テキストの内容を提示する提示ステップと
を含むことを特徴とする情報提示方法。
【請求項１４】
複数のモーダルで情報を提示する情報提示装置のためのプログラムであって、
請求項１３記載の情報提示方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項１５】
複数のモーダルで提示することを可能にするマルチモーダル用のテキストであって、
テキストの一部または全体をどのモーダルで提示するかを指定したタグ情報が含まれる
ことを特徴とするマルチモーダル用のテキスト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声や画像などの複数のモーダルで情報を提供する装置に関する。
【背景技術】
【０００２】
従来、システムからユーザへの情報提示方法として、文字、音声、画像、動作といった複数のモーダル（マルチモーダル）を使うことで、単独のモーダルを使用するときに加えてより臨場感や親近感のある情報提供を可能にする技術が提案されている（たとえば、特許文献１、特許文献２など）。なお、モーダルとは、視覚、聴覚、触覚などの感覚に働きかける情報伝達のやり方であり、文字、音声、音、画像、動作などが含まれる。
【０００３】
上記特許文献１では、画面に出ているエージェントキャラクタが「今日は昼から雨が降りそうだよ。出かけるなら傘を忘れないでね。」と音声で出力するとともに、エージェントキャラクタが傘をもつ動作をする技術が開示されている。
【０００４】
また、上記特許文献２では、「今日は＜あくび＞とっても眠い」のように、音声として出力する言語表現の一部に＜あくび＞のようなタグ情報としてロボットの動作を記述しておき、情報伝達の臨場感を向上させる技術が開示されている。
【０００５】
このように、従来、複数のモーダルを組み合わせることで、臨場感や親近感のある情報伝達を実現している。
【特許文献１】特開２００４−５６２２６号公報（第６頁、１３〜１５行目）
【特許文献２】特開２００２−３１８５９０号公報（第１５頁、図５）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、例えば、新幹線の切符売り場における情報案内を考えた場合、人間はその状況を勘案し、「東京から新大阪まで運転を見合わせています」といえば新幹線が止まっていることを自ずと理解することができる。もしこのような状況において「新幹線は東京から新大阪まで運転を見合わせています」と言われた場合、特に急いでいる人などは、まどろっこしく思いストレスを感じることになる。
【０００７】
従来の複数のモーダルを組み合わせるだけの情報提示方法だと上記と同じようにストレスを感じる状況になる。例えば音声モーダルと画像モーダルが使用される場合を考えると、音声による「東京から新大阪まで新幹線が運転を見合わせています」という情報と、画像による「新幹線の絵」の提示の両者を用いることになる。そのため、分かりやすさは向上するものの、新幹線に関する情報であることを人間は状況から理解可能であるため、非常にまどろっこしく、ストレスを感じ、心理的な負担がかかるインターフェースとなる。特に音声対話システムなど、ユーザとのやり取りを何回も繰り返しながら何らかのタスクを行うことを考えた場合、その負担は無視できない。
【０００８】
そこで、本発明は、上記課題に鑑みたものであり、複数のモーダルをうまく利用し、効率の良いコンパクトな情報の伝達を可能とした情報提示装置などを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る情報提示装置は、複数のモーダルで情報を提示する情報提示装置であって、テキストの入力を受け付けるテキスト入力手段と、入力されたテキストの構造を解析することによって、前記テキストを複数の要素に分解するテキスト解析手段と、分解された要素ごとに、いかなるモーダルで出力すべきかを決定するテキスト要素分類手段と、前記テキスト要素分類手段による決定に従って前記テキストを構成する要素を複数のモーダルで出力することによって、前記テキストの内容を提示する提示手段とを備えることを特徴とする。
【００１０】
ここで、前記テキスト要素分類手段は、例えば、前記テキストを構成する少なくとも１つの要素を音モーダルまたは画像モーダルで出力し、他の要素を音声モーダルで出力すべきと決定する。このとき、前記提示手段は、前記少なくとも１つの要素を音モーダルまたは画像モーダルで出力することと並行して、前記他の要素を音声モーダルで出力するのが好ましい。
【００１１】
これによって、入力されたテキストを要素に分類し、要素ごとに適切なモーダルを選択して提示することが可能になるととともに、音または画像モーダルと音声モーダルなどの複数のモーダルによる提示を並行させることも可能となる。よって、情報伝達が効率的になるとともに、情報伝達にかかる時間が短縮され、ユーザの心理的負担が軽減される。
【００１２】
また、前記情報提示装置はさらに、当該情報提示装置が使用されている状況を示す情報を獲得する使用状況獲得手段を備え、前記テキスト要素分類手段は、前記使用状況獲得手段によって獲得された情報が示す使用状況に応じて、前記要素ごとに、いかなるモーダルで出力すべきかを決定するように構成することもできる。より詳しくは、前記情報提示装置はさらに、前記使用状況ごとに、使用可能なモーダルを示す使用可能モーダル情報を格納している使用可能モーダル情報格納手段と、前記情報提示装置に搭載されている出力機能を示すプロファイル情報を格納しているプロファイル情報格納手段とを備え、前記テキスト要素分類手段は、前記使用可能モーダル情報格納手段に格納されている使用可能モーダル情報を参照することによって、前記使用状況獲得手段によって獲得された情報が示す使用状況に対応する使用可能なモーダルを特定し、前記プロファイル情報格納手段に格納されているプロファイル情報を参照することによって、前記情報提示装置に搭載されている出力機能を特定し、特定した前記使用可能なモーダルと前記出力機能とを組み合わせることによって、使用可能で、かつ、出力可能なモーダルを特定し、特定したモーダルの中から前記出力に使用するモーダルを決定するように構成することもできる。
【００１３】
これによって、使用状況に応じて適切なモーダルの組み合わせで情報提示が行われ、効率的に情報提示が可能になるとともに、情報伝達にかかる時間が短縮され、ユーザの心理的負担が軽減される。
【００１４】
なお、本発明は、このような情報提示装置として実現することができるだけでなく、情報提示装置の構成要素をステップとする情報提示方法として実現したり、そのステップをコンピュータに実行させるプログラムとして実現したり、特徴的なタグ情報が組み込まれたマルチモーダル用のテキストとして実現したり、それらプログラムやテキストが記録されたコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したりすることもできる。
【発明の効果】
【００１５】
本発明の情報提示方法によれば、複数のモーダルを用いたコンパクトな情報表現が可能となり、情報の伝達速度が速く、効率的でイライラしないユーザインターフェースが実現される。
【００１６】
よって、本発明により、ユーザに心理的負担がかかない円滑な対話が実現され、特に、音声対話システムにおける対話時間が短縮化され、その実用的価値は高い。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１における情報提示装置の構成図である。この情報提示装置は、入力されたテキスト情報を音声モーダルと音モーダルを用いて効率良く出力する装置であり、テキスト入力部１０１、テキスト解析部１０２、テキスト要素分類部１０３、音選択部１０４、テキスト生成部１０５、音出力部１０６、音声合成部１０７および状況／音対応データ格納部１０８を備える。
【００１８】
テキスト入力部１０１は、ユーザやシステムからのテキスト入力を受け付け、入力されたテキストをテキスト信号１１１として出力する入力インターフェースなどである。
【００１９】
テキスト解析部１０２は、テキスト入力部１０１から出力されたテキスト信号１１１に対してテキストの解析を行い、テキストを複数の要素に分解し、その結果を解析テキスト信号１１２として出力する処理部である。具体的には、入力されたテキストに対して、形態素解析と構文解析を行うことによって、文の構造を解析し、文節の区切りを示す情報を解析テキスト信号１１２として出力する。
【００２０】
状況／音対応データ格納部１０８は、この情報提示装置を使用している状況と対応した音データを格納するハードディスクなどである。図２は、状況／音対応データ格納部１０８に格納されているデータ例を示す図である。ここでは、状況を特徴付けるキーワードとそれに対応する音データとの組が格納されている。
【００２１】
テキスト要素分類部１０３は、テキスト解析部１０２から出力された解析テキスト信号１１２を、状況／音対応データ格納部１０８に格納された状況／音データ１１５をもとに、音声として出力する要素と音として出力する要素とに分類し、それぞれ音声要素テキスト信号１１４および音要素テキスト信号１１３として出力する処理部である。具体的には、解析テキスト信号１１２について、文節ごとに、状況／音対応データ格納部１０８に格納されているキーワードが含まれるかどうかを判断し、キーワードが含まれる文節を音要素として分類し、それ以外を音声要素として分類する。
【００２２】
音選択部１０４は、テキスト要素分類部１０３から出力された音要素テキスト信号１１３に対応する音データを状況／音対応データ格納部１０８に格納された音データの中から選択して読み出し、選択音データ信号１１６として出力する処理部である。
【００２３】
テキスト生成部１０５は、テキスト要素分類部１０３から出力された音声要素テキスト信号１１４をもとに、音声として出力する文を生成し、生成文情報信号１１７として出力する処理部である。
【００２４】
音出力部１０６は、音選択部１０４から出力された選択音データ信号１１６を音に変換し、スピーカなどで出力するＤ／Ａ変換器などである。
【００２５】
音声合成部１０７は、テキスト生成部１０５から出力された生成文情報信号１１７をもとに音声合成を行い、スピーカなどを通じて音声として出力する処理部である。
【００２６】
図３は、以上のように構成された本実施の形態における情報提示装置の動作を示すフローチャートである。ここでは「新幹線で新大阪までですね」という文を出力するケースを例に説明する。
【００２７】
まず、出力する内容を表す文がテキスト入力部１０１に入力される（ステップＳ２０１）。ここでは「新幹線で新大阪までですね」という文がキーボードなどを通じてテキスト入力部１０１に入力され、テキスト信号１１１としてテキスト解析部１０２に出力される。
【００２８】
次に、テキスト解析部１０２は、そのテキスト信号１１１を解析する（ステップＳ２０２）。解析においては、形態素解析と構文解析を用いて文の構造が解析される。具体的には、まず形態素解析により、文を「／新幹線／で／新大阪／まで／です／ね／」と分割する。その後、構文解析を用いて「／新幹線で／新大阪まで／ですね／」と文節の区切りの情報を得て、解析テキスト信号１１２としてテキスト要素分類部１０３に出力される。
【００２９】
次に、テキスト要素分類部１０３は、解析テキスト信号１１２「／新幹線で／新大阪まで／ですね／」を音として出力すべき要素（音要素）と、音声として出力すべき要素（音声要素）に分類する（ステップＳ２０３）。分類は、状況／音対応データ格納部１０８に格納されているデータをもとに行われる。つまり、テキスト要素分類部１０３は、状況／音対応データ格納部１０８に格納されているデータを参照することで、テキスト解析部１０２から出力された解析テキスト信号１１２中に、状況に対応する要素があるかどうかを判定する。具体的には、解析テキスト信号１１２について、文節ごとに、状況／音対応データ格納部１０８に格納されているキーワードが含まれるかどうかを判断し、キーワードが含まれる文節を音要素として分類し、それ以外を音声要素として分類する。この例では、「新幹線で」を音要素として分類し、「新大阪まで」と「ですね」を音声要素として分類する。そして、テキスト要素分類部１０３は、音要素については音要素テキスト信号１１３として音選択部１０４に出力し、音声要素については音声要素テキスト信号１１４としてテキスト生成部１０５に出力する。
【００３０】
なお、状況／音対応データ格納部１０８に格納されるデータは、その音を聞くことによりその状況であることが想起できるものであることが望ましい。例えば、関連する背景音などが望ましい。ここでは、新幹線の走る音、新幹線のホームにおける音、構内アナウンスの音などが好ましい。また、個人が実際に経験した音を用いても有効である。たとえばユーザが新幹線の音を予め録音しておき、その音を音データとして状況／音対応データ格納部１０８に格納しておいてもよい。また、状況／音対応データ格納部１０８には１つのキーワードに対して１つの音データが対応づけられているが、複数のキーワードに対して１つの音データが対応づけられていてもよい。
【００３１】
次に、テキスト生成部１０５は、テキスト要素分類部１０３から出力された音声要素テキスト信号１１４に基づいて、音声として出力する文を生成し、生成文情報信号１１７として音声合成部１０７に出力する（ステップＳ２０４）。具体的には、文節を順番通りに接続することで文を作成する。ここでは「新大阪まで」と「ですね」から「新大阪までですね」という文を生成する。なお、他の例として、例えば「今日の新幹線の空席情報を教えて」という文がテキスト入力部１０１に入力された場合であれば、同様の処理によって、テキスト生成部１０５は、「今日の空席情報を教えて」という文を生成文情報信号１１７として生成する。
【００３２】
次に、音選択部１０４は、テキスト要素分類部１０３から出力された音要素テキスト信号１１３に対応する音データを状況／音対応データ格納部１０８に格納されている音データの中から選択して読み出し、選択音データ信号１１６として出力する（ステップＳ２０５）。ここでは、音要素テキスト信号１１３に「新幹線」というキーワードが含まれているため、新幹線に対応する音データが選択されて読み出され、選択音データ信号１１６として音出力部１０６に出力される。
【００３３】
次に、音出力部１０６は、音選択部１０４から出力された選択音データ信号１１６を音として出力する（ステップＳ２０６）。この例では、新幹線の走る音、新幹線のホームにおける音、構内アナウンスの音などが出力される。
【００３４】
最後に、音声合成部１０７は、テキスト生成部１０５から出力された生成文情報信号１１７を音声合成することで、音声を出力する（ステップＳ２０７）。この例では「新大阪までですね」という音声が出力される。
【００３５】
以上の処理によって、結果として、図４に示されるように、新幹線に関わる背景音が出力されると同時（図４（ａ））、あるいは、多少遅れた後に（図４（ｂ））、その音と並行して、「新大阪までですね」という音声が出力されるようになる。
【００３６】
以上のように、本実施の形態によれば、与えられたテキスト情報を音として出力する要素と音声として出力する要素とに分類し、それらを並行して出力することで、複数のモーダルを効果的に使ったコンパクトな情報提示が実現され、ユーザは、短時間のうちに情報を受け取ることができる。
【００３７】
なお、本実施の形態において、テキスト要素分類部１０３は、状況／音対応データ格納部１０８を参照することによって文節単位で音と音声とを分類したが、これに代えて、テキスト解析部１０２が文節区切りを求め、さらに各要素を判定することにより、「手段」（たとえば、交通手段など）に対応する要素を見つけ、テキスト要素分類部１０３がその「手段」に対応する要素を音とし、それ以外を音声として分類してもよい。
【００３８】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
【００３９】
図５は、本発明の実施の形態２における情報提示装置の構成図である。この情報提示装置は、入力されたテキスト情報を音声モーダルと画像モーダルを用いて効率良く出力する装置であり、テキスト入力部１０１、テキスト解析部１０２、テキスト要素分類部１０３、テキスト生成部１０５、音声合成部１０７、画像選択部５０１、画像出力部５０２および状況／画像対応データ格納部５０３を備える。なお、図１に示された実施の形態１の情報提示装置と同一の構成要素については同一の番号を付し、テキスト要素分類部１０３を除き説明を省略する。
【００４０】
状況／画像対応データ格納部５０３は、状況と対応した画像データを格納するハードディスクなどである。図６は、状況／画像対応データ格納部５０３に格納されているデータ例を示す図である。ここでは、状況を特徴付けるキーワードとそれに対応する画像データとの組が格納されている。
【００４１】
テキスト要素分類部１０３は、テキスト解析部１０２から出力された解析テキスト信号１１２を、状況／画像対応データ格納部５０３に格納された状況／画像データ５１２をもとに、画像として出力する要素と音声として出力する要素とに分類し、それぞれ音声要素テキスト信号１１４および画像要素テキスト信号５１１として出力する。
【００４２】
画像選択部５０１は、テキスト要素分類部１０３から出力された画像要素テキスト信号５１１に対応する画像データを状況／画像対応データ格納部５０３に格納された画像データの中から選択して読み出し、選択画像情報信号５１３として出力する処理部である。
【００４３】
画像出力部５０２は、画像選択部５０１から出力された選択画像情報信号５１３をもとに、ディスプレイを通じて画像情報として出力する映像出力回路などである。
【００４４】
図７は、以上のように構成された本実施の形態における情報提示装置の動作を示すフローチャートである。ここでは、実施の形態１と同様に、「新幹線で新大阪までですね」という文を出力するケースを例に説明する。
【００４５】
まず、出力する内容を表す文がテキスト入力部１０１に入力される（ステップＳ１３０１）。ここでは「新幹線で新大阪までですね」という文がキーボードなどを通じてテキスト入力部１０１に入力され、テキスト信号１１１としてテキスト解析部１０２に出力される。
【００４６】
次に、テキスト解析部１０２は、そのテキスト信号１１１を解析する（ステップＳ１３０２）。解析においては、形態素解析と構文解析を用いて文の構造が解析される。具体的には、まず形態素解析により、文を「／新幹線／で／新大阪／まで／です／ね／」と分割する。その後、構文解析を用いて「／新幹線で／新大阪まで／ですね／」と文節の区切りの情報を得て、解析テキスト信号１１２としてテキスト要素分類部１０３に出力される。
【００４７】
次に、テキスト要素分類部１０３は、解析テキスト信号１１２「／新幹線で／新大阪まで／ですね／」を画像として出力すべき要素（画像要素）と、音声として出力すべき要素（音声要素）に分類する（ステップＳ１３０３）。分類は状況／画像対応データ格納部５０３に格納されているデータをもとに行われる。つまり、テキスト要素分類部１０３は、状況／画像対応データ格納部５０３に格納されているデータを参照することにより、テキスト解析部１０２から出力された解析テキスト信号１１２中に、状況に対応する要素があるかどうかを判定する。具体的には、解析テキスト信号１１２について、文節ごとに、状況／画像対応データ格納部５０３に格納されているキーワードが含まれるかどうかを判断し、キーワードが含まれる文節を画像要素として分類し、それ以外を音声要素として分類する。この例では、「新幹線で」が画像要素として分類し、「新大阪まで」と「ですね」を音声要素として分類する。そして、テキスト要素分類部１０３は、画像要素については画像要素テキスト信号５１１として画像選択部５０１に出力し、音声要素については音声要素テキスト信号１１４としてテキスト生成部１０５に出力する。
【００４８】
なお、状況／画像対応データ格納部５０３に格納されるデータは、画像情報を見ることによりその状況であることが想起できるものであることが望ましい。例えば、状況に関連する画像などが望ましい。ここでは、新幹線そのものの写真が好ましい。また、新幹線が走る様子を示す動画や新幹線を使ったキャラクタなどを使うことも有効である。さらに、ユーザが所持する画像を画像データとして状況／画像対応データ格納部５０３に格納しておいてもよい。これによって、ユーザが簡単にその状況を想起することができる。さらには、チケットの購入予約によって決定された新幹線の種類（例えば「○○１号」）などに応じて、提示する画像を変えることも有効である。また、状況／画像対応データ格納部５０３には１つのキーワードに対して１つの画像データが対応づけられているが、複数のキーワードに対して１つの画像データが対応づけられていてもよい。
【００４９】
次に、テキスト生成部１０５は、テキスト要素分類部１０３から出力された音声要素テキスト信号１１４に基づいて、音声として出力する文を生成し、生成文情報信号１１７として音声合成部１０７に出力する（ステップＳ１３０４）。具体的には、文節を順番通りに接続することで文を作成する。ここでは「新大阪まで」と「ですね」から「新大阪までですね」という文を生成する。なお、他の例として、例えば「今日の新幹線の空席情報を教えて」という文がテキスト入力部１０１に入力された場合であれば、同様の処理によって、テキスト生成部１０５は、「今日の空席情報を教えて」という文を生成文情報信号１１７として生成する。
【００５０】
次に、画像選択部５０１は、テキスト要素分類部１０３から出力された画像要素テキスト信号５１１に対応する画像データを状況／画像対応データ格納部５０３に格納されている画像データの中から選択して読み出し、選択画像情報信号５１３として出力する（ステップＳ１３０５）。ここでは、画像要素テキスト信号５１１に「新幹線」というキーワードが含まれているため、新幹線に対応する画像データが選択されて読み出され、選択画像情報信号５１３として画像出力部５０２に出力される。
【００５１】
次に、画像出力部５０２は、画像選択部５０１から出力された選択画像情報信号５１３を画像としてディスプレイに表示する（ステップＳ１３０６）。この例では、新幹線の写真や動画、さらにはキャラクタなどの画像が表示される。
【００５２】
最後に、音声合成部１０７は、テキスト生成部１０５から出力された生成文情報信号１１７を音声合成することで、音声を出力する（ステップＳ１３０７）。この例では「新大阪までですね」という音声が出力される。
【００５３】
以上の処理によって、結果として、図８に示されるように、新幹線に関わる画像が表示されると同時（図８（ａ））、あるいは、多少遅れた後（図８（ｂ））、その表示と並行して、「新大阪までですね」と音声が出力されるようになる。
【００５４】
以上のように、本実施の形態によれば、与えられたテキスト情報を画像として出力する要素と音声として出力する要素とを分類し、並行して出力することで、複数のモーダルを効果的に使ったコンパクトな情報提示が実現され、ユーザは、短時間のうちに情報を受け取ることが可能になる。
【００５５】
なお、音声と画像を出力する際の画面構成としては、図９（ａ）に示されるように、「新大阪までですね」という音声を出力しているときに、新幹線の画像だけを表示する構成だけでなく、図９（ｂ）に示されるように、それに加えて、「新大阪までですね」という文字も同時に画面に表示する構成としてもよい。これにより、音声だけでの情報提供ではユーザが聞き逃す危険性があるという欠点が補われ、より確実な情報伝達が可能となる。このような機能を実現にするためには、図１０に示される構成図のように、テキスト生成部１０５からの出力である生成文情報信号１１７を画像出力部５０２にも入力し、画像出力部５０２が画像選択部５０１からの選択画像情報信号５１３に基づく画像とテキスト生成部１０５からの生成文情報信号１１７に基づく文字情報とを図９（ｂ）に示される所定位置に表示する構成とすればよい。
【００５６】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
【００５７】
上記実施の形態１および２では、与えたれたテキスト情報を如何にコンパクトに伝達できるかを説明してきた。ここでは、実施の形態１および２の情報提示装置を音声対話システムに適用することで、コンパクトな情報伝達が可能な対話システムが実現されることを説明する。つまり、本実施の形態は、実施の形態１または２の情報提示装置を音声対話システムに適用したシステムに関する。
【００５８】
ここでも、まず始めにチケットの販売を行う音声対話システムに本発明を適用した例を説明する。図１１は、本実施の形態におけるチケット販売音声対話システム１５０１の利用例を示す図である。ここでは、ユーザは、電話１５０２を使って電話回線を通じてチケット販売音声対話システム１５０１にアクセスする。ユーザからは音声情報によりチケット販売音声対話システム１５０１に指示し、一方、チケット販売音声対話システム１５０１からは音声と音によってユーザに応答を返す。
【００５９】
図１２は、そのチケット販売音声対話システム１５０１の構成を示す機能ブロック図である。このチケット販売音声対話システム１５０１は、音声および音による対話によって交通チケットを販売するシステムであり、実施の形態１の情報提示装置（構成要素１０１〜１０８）に音声対話用の構成要素（音声入力部９０１、音声認識部９０２、対話管理部９０３）を付加したものに相当する。図１に示された情報提示装置と同一の構成要素については同一の番号を付し、その説明を省略する。
【００６０】
音声入力部９０１は、ユーザからの電話回線を通じて入力される音声を受け付け、音声信号９１１として出力する復調器などである。
【００６１】
音声認識部９０２は、音声入力部９０１から出力された音声信号９１１に対して音声認識処理を行い、その結果を音声認識結果信号９１２として出力する処理部である。
【００６２】
対話管理部９０３は、音声認識部９０２から出力された音声認識結果信号９１２を受け、言語処理を行うとともに対話の状態の管理をすることでユーザへの応答文を生成し、応答文信号９１３として出力する処理部である。より具体的には、対話管理部９０３は、販売するチケットの種別を決定するために、図１３に示されるチケット販売フレームの各スロットの値をユーザと対話的にやり取りしながら決定していく。なお、フレームとは、音声対話における話題の単位であり、スロットとは、フレームを構成する下位の話題であり、具体的な値をとる。
【００６３】
この対話管理部９０３は、以下に示される手法によって各スロットの値を決定していく。スロットの値を決定する最も単純なやり方は、いわゆるシステム主導型対話と呼ばれる方法で、スロットに入る値を一つずつユーザに問い合わせて確定していく方法である。具体的には次のような対話になる。以下、Ｓはシステム（ここでは、チケット販売音声対話システム１５０１）の発話、Ｕがユーザの発話例である。ＳおよびＵの後の数字は何番目の発話かを表す数字である。
【００６４】
（ＳＴＡＲＴ）
Ｓ１：「出発地はどこですか？」
Ｕ１：「東京駅」
Ｓ２：「東京駅ですね？」
Ｕ２：「はい」
Ｓ３：「目的地はどこですか？」
Ｕ３：「新大阪」
Ｓ４：「新大阪ですね？」
Ｓ４：「はい」
Ｓ５：「何で行きますか？」
Ｕ５：「新幹線」
Ｓ６：「新幹線ですね？」
Ｓ６：「はい」
Ｓ７：「何枚ですか？」
Ｕ７：「大人一枚」
Ｓ８：「新幹線で東京駅から新大阪駅まで大人一枚でよろしいですか？」
Ｕ８：「はい」
Ｓ９：「新幹線で東京駅から新大阪駅まで大人一枚予約します」
（ＥＮＤ）
また、いわゆるユーザ主導型対話によりユーザが主導権をもってスロットの穴埋めをする場合、ユーザの自由な発話からキーワードを抜き出し、スロットに穴埋めしていく方法がとられる。システムからの発話はユーザに対する確認であったり、また、まだ埋まってないスロットに対して値を入れてもらうよう要求する発話になる。具体的には、以下のような対話になる。
【００６５】
（ＳＴＡＲＴ）
Ｕ１：「東京駅から新大阪駅まで大人一枚お願いします」
Ｓ１：「東京駅から新大阪駅まで大人一枚ですね？」
Ｕ２：「はい」
Ｓ２：「何で行きますか？」（手段を問いかける）
Ｕ３：「新幹線でお願いします」
Ｓ３：「新幹線で新大阪まで大人一枚でよろしいですか？」
Ｕ４：「はい」
Ｓ４：「新幹線で新大阪まで大人一枚予約します」
（ＥＮＤ）
このように対話管理部９０３は、システム主導およびユーザ主導の対話戦略を使い、ユーザの発話からキーワードを抜き出してスロットに埋め、購入する券の種別を確定していく。
【００６６】
ところで、上述の発話例のうち、システム主導のＳ２、Ｓ４、Ｓ６、Ｓ８およびユーザ主導のＳ１、Ｓ３の発話は、システムがユーザの発話をどのように認識したかをユーザに提示し確認する作業に相当する。この作業は我々人間の間のコミュニケーションにおいてもごく普通に行われている行為であり、コンピュータと人間の間の確認作業としても極めて重要な手続である。
【００６７】
しかしながら、この確認応答が何回も連続すると、ユーザに心理的な負担がかかり、まどろっこしく感じたり、面倒くさいと感じたりしてしまう。したがって、この心理的な負担を解決することが重要である。
【００６８】
そこで、本実施の形態では、この対話管理部９０３から出力されるテキスト（ユーザへの応答文）を実施の形態１または２の情報提示装置を介してユーザに音および音声として出力することで、コンパクトな情報提示を実現し、ユーザの心理的な負担を軽減している。
【００６９】
具体的には、本実施の形態におけるチケット販売音声対話システム１５０１により、上述の対話は以下のような対話になる。
【００７０】
まず、システム主導の場合には、以下の対話となる。
（ＳＴＡＲＴ）
Ｓ１：「出発地はどこですか？」
Ｕ１：「東京駅」
Ｓ２：「東京駅ですね？」
Ｕ２：「はい」
Ｓ３：「目的地はどこですか？」
Ｕ３：「新大阪」
Ｓ４：「新大阪ですね？」
Ｓ４：「はい」
Ｓ５：「何で行きますか？」
Ｕ５：「新幹線」
Ｓ６：「新幹線ですね？」
Ｓ６：「はい」
Ｓ７：「何枚ですか？」
Ｕ７：「大人一枚」
Ｓ８：（新幹線の背景音）「東京駅から新大阪駅まで大人一枚でよろしいですか？」
Ｕ８：「はい」
Ｓ９：（新幹線の背景音）「東京駅から新大阪駅まで大人一枚予約します」
（ＥＮＤ）
一方、ユーザ主導の場合には、以下の対話となる。
【００７１】
（ＳＴＡＲＴ）
Ｕ１：「東京駅から新大阪駅まで大人一枚お願いします」
Ｓ１：「東京駅から新大阪駅まで大人一枚ですね？」
Ｕ２：「はい」
Ｓ２：「何で行きますか？」（手段を問いかける）
Ｕ３：「新幹線でお願いします」
Ｓ３：（新幹線の背景音）「新大阪まで大人一枚でよろしいですか？」
Ｕ４：「はい」
Ｓ４：（新幹線の背景音）「新大阪まで大人一枚予約します」
（ＥＮＤ）
つまり、システム主導におけるＳ８およびＳ９、並びに、ユーザ手動におけるＳ３およびＳ４の発話において、新幹線という言葉が省略され、その代わりに新幹線に関連する音が背景音として出力されることで、発話が簡略化されている。これにより、ユーザの操作時間が削減され、ユーザの心理的負担が軽減される。  なお、上述の例では、新幹線に係る情報が音で出力されたが、これに代えて、実施の形態２で示されたように、画像で出力してもよい。つまり、実施の形態２の情報提示装置を用いて本実施の形態のチケット販売音声対話システムを構築してもよい。
【００７２】
またさらに、上述のユーザ主導の対話において出発地や目的地の名称から交通手段を推論する構成要素を付加したチケット販売音声対話システムとしてもよい。そのようなチケット販売音声対話システムであっても、実施の形態１または２の情報提示装置を備えるので、コンパクトな情報提示が可能となる。具体例を示すと以下の通りである。
【００７３】
まず、通常のシステムによる対話（対話管理部から出力されるテキスト）は以下のようになる。
【００７４】
（ＳＴＡＲＴ）
Ｕ１：「東京駅から新大阪駅まで大人一枚お願いします」
Ｓ１：「東京駅から新大阪駅まで大人一枚ですね？」
Ｕ２：「はい」
Ｓ２：「新幹線でよろしいですか？」
Ｕ３：「はい」
Ｓ３：「新幹線で新大阪まで大人一枚でよろしいですか？」
Ｕ４：「はい」
Ｓ４：「新幹線で新大阪まで大人一枚予約します」
（ＥＮＤ）
これに対して、実施の形態１の情報提示装置を用いたチケット販売音声対話システムによれば、上記対話は以下のようになる。つまり、Ｓ３およびＳ４の確認発話において、コンパクトな表現が用いられる。
【００７５】
（ＳＴＡＲＴ）
Ｕ１：「東京駅から新大阪駅まで大人一枚お願いします」
Ｓ１：「東京駅から新大阪駅まで大人一枚ですね？」
Ｕ２：「はい」
Ｓ２：「新幹線でよろしいですか？」
Ｕ３：「はい」
Ｓ３：（新幹線の背景音）「新大阪まで大人一枚でよろしいですか？」
Ｕ４：「はい」
Ｓ４：（新幹線の背景音）「新大阪まで大人一枚予約します」
（ＥＮＤ）
なお、この例では、新幹線の背景音がＳ３、Ｓ４それぞれの発話とセットになって出力されたが、背景音は、音声言語情報の発話とは独立に出力することも可能である。そこで、Ｓ３→Ｕ４→Ｓ４の発話の間、背景音を出し続けるようにすることも可能であり、有効である。
【００７６】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
【００７７】
図１４は、本発明の実施の形態４におけるチケット販売システムの構成図である。このチケット販売システムは、音声対話システムを使い、ネットワークを介してチケットを販売するシステムであり、ネットワーク回線１６０３で接続されたチケット販売サーバ１６０１とユーザ端末１６０２とから構成される。
【００７８】
チケット販売サーバ１６０１は、本発明の情報提示装置を搭載したチケット券売を行う音声対話システムが搭載されているＷｅｂサーバなどである。ユーザ端末１６０２は、ユーザがサーバにアクセスして実際のチケット購入の手続きなどを行うための端末である。ここでは電話であるとする。ネットワーク回線１６０３は、電話回線やインターネットなどの接続を可能とする通信回線である。このような構成により、ユーザはユーザ端末１６０２からネットワーク回線１６０３を介してチケット販売サーバ１６０１にアクセスし、チケットを購入することができる。
【００７９】
図１５（ａ）は、図１４に示されたチケット販売サーバ１６０１の構成図である。このチケット販売サーバ１６０１は、図１２に示された実施の形態３のチケット販売音声対話システム１５０１に、通信入力部１８０１および通信出力部１８０２を付加した構成を備える。図１２に示されたチケット販売音声対話システム１５０１と同一の構成については同一の番号を付し、その説明を省略する。
【００８０】
通信入力部１８０１は、ユーザ端末からの接続要求をうけ、接続を許可するとともに、ユーザ端末１６０２から送られてきた音声を受取り、その音声を受信音声信号１８１１として出力する通信インターフェースなどである。通信出力部１８０２は、音声合成部１０７から出力される出力音声信号１８１３と音出力部１０６から出力される出力音信号１８１２の両信号を受け付け、それらを音声／音信号１８１６としてユーザ端末に送信する通信インターフェースなどである。
【００８１】
図１５（ｂ）は、図１２に示されたユーザ端末１６０２の構成図である。このユーザ端末１６０２は、端末入力部１８０３、端末通信出力部１８０４、端末通信入力部１８０５および端末出力部１８０６を備える。
【００８２】
端末入力部１８０３は、ユーザの発声を収集し、端末通信出力部１８０４に端末入力音声信号１８１４を出力するマイクなどである。端末通信出力部１８０４は、チケット販売サーバ１６０１への接続を確立し、端末入力部１８０３からの端末入力音声信号１８１４をネットワーク回線１６０３を介してチケット販売サーバ１６０１の通信入力部１８０１へ送信する通信インターフェースなどである。端末通信入力部１８０５は、チケット販売サーバ１６０１の通信出力部１８０２からネットワーク回線１６０３を介して送られてくる音声／音信号１８１６を受信し、それを端末出力音声／音信号１８１５として出力する通信インターフェースなどである。端末出力部１８０６は、端末出力部１８０６からの端末出力音声／音信号１８１５を受け付け、音および音声としてユーザに提示するスピーカなどである。
【００８３】
以上のような構成とすることで、ユーザ端末１６０２に入力されたユーザ音声をチケット販売サーバ１６０１で音声認識処理と対話管理とを行い、さらに対話管理によって得られたユーザへの発話を本発明に係る情報提示装置（構成要素１０１〜１０８からなる装置）によってコンパクトな表現に変換した後に、ユーザ端末１６０２に出力することができる。つまり、実施の形態３における電話を用いたチケット販売音声対話システム１５０１と同様の機能を、ユーザ端末１６０２とチケット販売サーバ１６０１とからなるコンピュータネットワークシステムで実現することができる。
【００８４】
なお、上記実施の形態３および４は、券売機のシステムであったが、本発明は券売機だけではなく他の様々なシステムにも適用することができる。例えば、番組検索システムを搭載したテレビなどにも実施の形態１および２の情報提示装置を搭載させることで、音声対話番組検索システムとして実現することもできる。ここで、音声対話番組検索システムとは、近年利用されるようになった電子番組表（ＥＰＧ）などの蓄積あるいはその時点で利用可能なデータをもとに、ユーザが見たい番組を音声対話により検索し番組を視聴するシステムである。
【００８５】
このとき、通常の対話システムでは、例えば、次のような対話になる。
（ＳＴＡＲＴ）
Ｕ：「ジャムパンマンが見たい」
Ｓ：「ジャムパンマンのどの回が見たいですか？」
｜
｜
一方、本発明の情報提示装置を用いた場合、状況／音対応データ格納部に番組名とその主題歌を音データとして保持しておくことで、上記対話が以下のようになる。
【００８６】
（ＳＴＡＲＴ）
Ｕ：「ジャムパンマンが見たい」
Ｓ：（「ジャムパンマン」の主題歌による背景音）
「どの回が見たいですか？」
｜
｜
この例では、ユーザの発話から番組名「ジャムパンマン」をキーワードとして抽出している。このように、番組検索の場合でも音を利用することで簡潔な表現にすることが可能になる。
【００８７】
（実施の形態５）
次に、本発明の実施の形態５について説明する。
【００８８】
上記実施の形態１〜４では、音声と音、あるいは音声と画像というモーダルの組合せが用いられたが、モーダルの組合せはこれには限らない。仮にユーザ端末を携帯電話であるとする。このとき、ユーザが電車の中にいるのか、それとも家の中にいるのかによって、使用するモーダルを変えることが有効である。ユーザが電車の中にいる場合には、外界の雑音との関係から、音声や音の利用をなるべく制限し、画像や文字を利用することが望ましく、一方、ユーザが車の運転中である場合には、安全な運転を確保する点から、音声と音の組合せがもっとも有効である。また、ディスプレイを装備していない端末の場合、画像と文字による出力はできず、必然的に音声と音を使うことが有効な手段となる。
【００８９】
そこで、情報提示装置が搭載されている端末のプロファイル情報および使用状況によってどのモーダルをどのように使って出力すべきかを判断できるように機能拡張した情報提示装置が望まれる。本実施の形態は、そのように機能拡張した情報提示装置である。
【００９０】
図１６は、本発明の実施の形態５における音声対話システムの構成図である。この音声対話システムは、音声入力部９０１、音声認識部９０２、対話管理部９０３、テキスト入力部１０１、テキスト解析部１０２、音選択部１０４、テキスト生成部１０５、音出力部１０６、音声合成部１０７、状況／音対応データ格納部１０８、画像要素テキスト信号５１１、状況／画像データ５１２、選択画像情報信号５１３、状況依存テキスト要素分類部１００１、端末プロファイル格納部１００２、使用状況獲得部１００３、使用可能モーダル情報格納部１００４および文字出力部１００５を備える。この構成は、実施の形態１〜３における各構成要素を備えるとともに、テキスト要素分類部１０３に代えて状況依存テキスト要素分類部１００１を備え、さらに新たな構成要素１００２〜１００５を備えたものに相当する。実施の形態１〜３と同一の構成要素については同一の番号を付し、その説明を省略する。
【００９１】
端末プロファイル格納部１００２は、この音声対話システムが搭載されている端末のプロファイル情報を格納しているメモリなどである。プロファイル情報は、端末が備える出力機器の種類を示す情報であり、例えば、図１７（ａ）に示されるように、端末に備えられている出力機器の種類を示す「機器プロファイル情報」と、その出力機器が搭載されているか否か（「１」／「０」）を示す「搭載情報」との組からなる。
【００９２】
使用状況獲得部１００３は、ＧＰＳなどのセンサーやユーザからの入力などによって、ユーザが今どのような状況にいるかを示す情報を獲得する処理部である。具体的には、電車内、家の中、道路わき、車内などの状況のいずれかを示す情報を取得する。
【００９３】
使用可能モーダル情報格納部１００４は、この音声対話システムが搭載されている端末の使用状況ごとに使用可能なモーダル情報の種類を示す使用可能モーダル情報を格納しているメモリなどである。使用可能モーダル情報は、図１７（ｂ）に示されるように、端末が使用される場面を示す「使用状況」と、その使用状況ごとに使用可能なモーダルの種類（「１」：使用可能、「０」：使用不可）を示す「使用可能モーダル」との組からなる。たとえば、「電車内」であれば、「画像」と「文字情報」というモーダルによる提示が可能であることが示されている。
【００９４】
文字出力部１００５は、画面に文字を出力する表示装置などである。
図１８は、以上のように構成された本実施の形態における音声対話システムの動作を示すフローチャートである。ここでは、状況依存テキスト要素分類部１００１の動作を中心としたフローが示されている。
【００９５】
まず、状況依存テキスト要素分類部１００１は、使用状況獲得部１００３から現在の使用状況を示す状況信号１０１３を獲得し（ステップＳ１０１）、獲得した状況信号１０１３が示す使用状況に対応する使用可能モーダル情報を使用可能モーダル信号１０１４として使用可能モーダル情報格納部１００４から読み出す（ステップＳ１０２）。
【００９６】
続いて、状況依存テキスト要素分類部１００１は、この音声対話システムが搭載されている端末のプロファイル情報を端末プロファイル格納部１００２からプロファイル信号１０１２として読み出す（ステップＳ１０３）。
【００９７】
そして、状況依存テキスト要素分類部１００１は、使用可能モーダル情報格納部１００４から読み出した使用可能モーダル情報と端末プロファイル格納部１００２から読み出したプロファイル情報とを組み合わせることで、出力に使用するモーダルを決定する（ステップＳ１０４）。つまり、使用可能モーダル情報が示す使用可能なモーダルのうち、プロファイル情報において対応する「機器プロファイル情報」の「搭載情報」が「１」であるモーダルを出力に使用するモーダルと決定する。
【００９８】
たとえば、今、車内の状況であるとする。このとき、図１７（ｂ）に示された「車内」に対応する「使用可能モーダル」から使用可能なモーダルは音声と音情報であることが分かる。さらに図１７（ａ）に示されたプロファイル情報とを組み合わせることで、出力に使用するモーダルとして、音声と音と決定する。また、別の例として、状況が家の中であるとする、このとき図１７（ｂ）に示された「家の中」に対応する「使用可能モーダル」（「音声」、「画像」、「音情報」および「文字情報」）と図１７（ａ）に示されたプロファイル情報とから、出力に使用するモーダルとして、音声、画像、音および文字と決定する。
【００９９】
そして、状況依存テキスト要素分類部１００１は、テキスト解析部１０２から出力される解析テキスト信号１１２が示すテキストを、いま決定したモーダルに対応する要素に分類し（ステップＳ１０５）、各要素を対応する処理部（画像要素を画像選択部５０１、文字要素および音声要素をテキスト生成部１０５、音要素を音選択部１０４）に出力する（ステップＳ１０６）。これによって、画像要素は、画像選択部５０１から選択画像情報信号５１３として画像出力部５０２に送られて画像として表示され、文字要素および音声要素は、テキスト生成部１０５から生成文情報信号１１７として、それぞれ、文字出力部１００５および生成文情報信号１１７に送られて文字として表示および音声として出力され、音要素は、音選択部１０４から選択音データ信号１１６として音出力部１０６に送られて音として出力される。
【０１００】
たとえば、いま、使用状況が家の中であるとする。この場合、例えば「新幹線で新大阪までですね？」というテキストは、状況依存テキスト要素分類部１００１により、「新幹線」が画像および音要素として出力され、「新大阪までですね？」が音声（あるいは、音声と文字）要素として出力されるように分類できる。これにより表現としてコンパクトで、しかも、画像と音モーダルの両方を使うことによる的確な情報伝達が可能になる。
【０１０１】
以上のように、本実施の形態によれば、端末のプロファイル情報を格納する端末プロファイル格納部１００２、現在の使用状況を獲得する使用状況獲得部１００３、さらにどの状況でどのモーダルの使用が可能かを記述している使用可能モーダル情報格納部１００４を設け、機器のプロファイル情報および現在の状況をもとにどのモーダルを用いるかを決定し、決定されたモーダルの要素にテキスト要素を分類する状況依存テキスト要素分類部１００１を設けることで、本音声対話システムが搭載された端末のプロファイルと使用状況にあった適切でコンパクトな情報提示が可能となる。これは特に携帯電話などにおいて有効な方法である。
【０１０２】
以上、本発明に係る情報提示装置について、実施の形態１〜５に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。
【０１０３】
たとえば、実施の形態１〜５では、テキスト要素分類部１０３ないし状況依存テキスト要素分類部１００１がテキスト要素をどのモーダルから出力するかを決めていたが、どのモーダルでその要素を出力するかを予めテキスト中に指定しておいてもよい。図１９にその記述フォーマット（タグ情報）を示す。出力要素が＜ｄｉｓｐ  ＊＊＊  ／ｄｉｓｐ＞でくくられている場合には、その出力要素については、文字表示が可能であるならば該当要素を文字で表示し、もし文字表示が不可能ならデフォルトとして音声で出力することを示す。同様に＜ｉｍａｇｅ  ＊＊＊  ／ｉｍａｇｅ＞でくくられた出力要素については、画像で出力することを示す。また＜ｉｍａｇｅ，ｎｏｉｓｅ  ＊＊＊＊  ／ｉｍａｇｅ，ｎｏｉｓｅ＞と複数の要素でくくられた出力要素については、複数のモーダルで出力することを示す（この例では、該当要素を画像と音で出力することを示す）。
【０１０４】
図２０（ａ）〜（ｃ）は、それぞれ、図１９に示された３つの記述フォーマットの具体例と、その記述フォーマットによるテキストが本発明に係る情報提示装置に入力されたときの出力の様子を示す図である。このように、出力モーダルを予め指定しておくように記述することで、マルチモーダル用のテキストが実現され、設計者の思い通りにユーザに情報を伝えることができるようになる。また、特定のタイミングでのみ、この記述に基づいたテキストをテキスト要素分類部に入力するようにすることで、いつもと違った提示方法となり、ユーザに注意を促すといった副次的な効果をもたらすことができる。この実現方法としては、テキスト要素分類部が上述のフォーマット（タグ情報）にもとづいて記述されているテキストに関してはそのフォーマットによるモーダルの指定を優先的に用い、それ以外は上記実施の形態に基づいた方法をとるようにすればよい。
【産業上の利用可能性】
【０１０５】
本発明は、音声や画像などの複数のモーダルで情報を提供する装置として、特に、複数のモーダルを利用して効率の良いコンパクトな情報を伝達する情報提示装置として、例えば、音声対話システム、情報家電、カーナビゲーション装置などとして有用である。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施の形態１における情報提示装置の構成図である。
【図２】状況／音対応データ格納部に格納されているデータ例を示す図である。
【図３】情報提示装置の動作を示すフローチャートである。
【図４】情報提示装置による情報提示のタイミングを示す図である。
【図５】本発明の実施の形態２における情報提示装置の構成図である。
【図６】状況／画像対応データ格納部に格納されているデータ例を示す図である。
【図７】情報提示装置の動作を示すフローチャートである。
【図８】情報提示装置による情報提示のタイミングを示す図である。
【図９】情報提示装置による他の情報提示例を示す図である。
【図１０】図９（ｂ）に示される提示機能をもつ情報提示装置の構成例を示す図である。
【図１１】本発明の実施の形態３におけるチケット販売音声対話システムの利用例を示す図である。
【図１２】チケット販売音声対話システムの構成を示す機能ブロック図である。
【図１３】チケット販売フレームの構造を示す図である。
【図１４】本発明の実施の形態４におけるチケット販売システムの構成図である。
【図１５】（ａ）は、チケット販売サーバの構成図であり、（ｂ）は、ユーザ端末の構成図である。
【図１６】本発明の実施の形態５における音声対話システムの構成図である。
【図１７】（ａ）は、端末プロファイル格納部に格納されているプロファイル情報の例を示し、（ｂ）は、使用可能モーダル情報格納部に格納されている使用可能モーダル情報の例を示す。
【図１８】音声対話システムの動作を示すフローチャートである。
【図１９】テキスト要素の出力モーダルを指定する記述フォーマットの例を示す。
【図２０】図１９に示された３つの記述フォーマットによる出力例を示す図である。
【符号の説明】
【０１０７】
１０１  テキスト入力部
１０２  テキスト解析部
１０３  テキスト要素分類部
１０４  音選択部
１０５  テキスト生成部
１０６  音出力部
１０７  音声合成部
１０８  状況／音対応データ格納部
１１１  テキスト信号
１１２  解析テキスト信号
１１３  音要素テキスト信号
１１４  音声要素テキスト信号
１１５  状況／音データ信号
１１６  選択音データ信号
１１７  生成文情報信号
５０１  画像選択部
５０２  画像出力部
５０３  状況／画像対応データ格納部
５１１  画像要素テキスト信号
５１２  状況／画像データ信号
５１３  選択画像情報信号
９０１  音声入力部
９０２  音声認識部
９０３  対話管理部
９１１  音声信号
９１２  音声認識結果信号
９１３  応答文信号
１００１  状況依存テキスト要素分類部
１００２  端末プロファイル格納部
１００３  使用状況獲得部
１００４  使用可能モーダル情報格納部
１０１２  プロファイル信号
１０１３  状況信号
１０１４  使用可能モーダル信号
１５０１  チケット販売音声対話システム
１５０２  電話
１６０１  チケット販売サーバ
１６０２  ユーザ端末
１６０３  ネットワーク回線
１８０１  通信入力部
１８０２  通信出力部
１８０３  端末入力部
１８０４  端末通信出力部
１８０５  端末通信入力部
１８０６  端末出力部
１８１１  受信音声信号
１８１２  出力音信号
１８１３  出力音声信号
１８１４  端末入力音声信号
１８１５  端末出力音声／音信号
１８１６  音声／音信号
【図１】
2006164172.tif 000003
【図２】
2006164172.tif 000004
【図３】
2006164172.tif 000005
【図４】
2006164172.tif 000006
【図５】
2006164172.tif 000007
【図６】
2006164172.tif 000008
【図７】
2006164172.tif 000009
【図８】
2006164172.tif 000010
【図９】
2006164172.tif 000011
【図１０】
2006164172.tif 000012
【図１１】
2006164172.tif 000013
【図１２】
2006164172.tif 000014
【図１３】
2006164172.tif 000015
【図１４】
2006164172.tif 000016
【図１５】
2006164172.tif 000017
【図１６】
2006164172.tif 000018
【図１７】
2006164172.tif 000019
【図１８】
2006164172.tif 000020
【図１９】
2006164172.tif 000021
【図２０】
2006164172.tif 000022