(57)【要約】【課題】  音声操作機能を有する対話型情報入出力装置において、音声案内の内容と、画面表示の内容とが一致した対話的な入出力操作を提供する。【解決手段】  本発明は、ウェブコンテンツを解析して生成する表示データと、当該表示データを変換情報生成手段１１により変換して生成する対話データと、表示データと対話データとの対応関係情報である変換情報とをデータ格納手段１２に保持し、表示データまたは対話データの一方が、ユーザの操作により更新された場合に、変換情報を参照して、他方のデータの対応関係にある部分を更新することで、画面表示および音声案内の同期をとる。【選択図】  図１
2005339169.tif 000002
【特許請求の範囲】
【請求項１】
音声入力装置と、前記音声入力装置とは異なる入力装置と、表示装置と、音声出力装置とを有する対話型情報入出力装置であって、
コンテンツを表示するためのデータを表示要素毎に分解した表示部品によって構成される表示データを格納する表示データ格納手段と、
前記表示データ格納手段に格納されている表示部品の内容を音声として出力するための対話部品によって構成されるデータであって当該対話部品を実行する順番を示すデータである対話データを格納する対話データ格納手段と、
前記表示部品と前記対話部品との対応を示す変換情報を格納する変換情報格納手段と、
前記表示データ格納手段に格納されている表示データを用いて前記コンテンツの内容を表示装置に表示させる表示制御手段と、
前記入力装置に入力されたユーザからの入力を受け付ける入力制御手段と、
実行すべき対話部品を前記ユーザからの入力に基づいて特定する対話部品特定手段と、
前記ユーザからの入力がない場合、前記対話データにより示される順番で各対話部品を実行し、前記ユーザからの入力があった場合、前記対話部品特定手段によって特定された対話部品を実行することによって、前記音声出力装置に音声を出力させる音声出力制御手段とを備える、対話型情報入出力装置。
【請求項２】
前記入力制御手段は、前記ユーザに対して入力を要求する表示部品に対する入力を受け付け、
前記対話部品特定手段は、前記入力制御手段によって入力が受け付けられた表示部品に対応する対話部品を前記変換情報を参照することによって決定するとともに、当該決定された対話部品以外の対話部品を前記対話データにより示される順番で特定する、請求項１に記載の対話型情報入出力装置。
【請求項３】
前記入力制御手段は、前記表示装置の表示画面に表示される表示部品を変更する入力を受け付け、
前記表示制御手段は、前記入力制御手段によって受け付けられた入力に基づいて前記表示装置の表示内容を変更し、
前記対話部品特定手段は、前記表示制御手段による変更後において表示されている表示部品のうち、前記表示画面において最も上側に表示されている表示部品に対応する対話部品を、前記変換情報を参照することによって特定する、請求項１に記載の対話型情報入出力装置。
【請求項４】
前記音声入力装置に入力された、ユーザによる音声入力を受け付ける音声入力制御手段と、
前記ユーザに対して入力を要求する対話部品についての音声入力が前記入力制御手段によって受け付けられた場合、当該対話部品に対応する表示部品を前記変換情報を参照することによって特定する表示部品特定手段とをさらに備え、
前記表示制御手段は、前記表示部品特定手段によって特定された表示部品が少なくとも表示されるように、前記コンテンツの内容を表示装置に表示させる、請求項１に記載の対話型情報入出力装置。
【請求項５】
音声入力装置と、前記音声入力装置とは異なる入力装置と、表示装置と、音声出力装置とを有する対話型情報入出力装置であって、
コンテンツを表示要素毎に分解した表示部品によって構成される表示データを格納する表示データ格納手段と、
前記表示データ格納手段に格納されている表示部品の内容を音声として出力するための対話部品によって構成される対話データを格納する対話データ格納手段と、
前記表示部品と前記対話部品との対応を示す変換情報を格納する変換情報格納手段と、
前記対話データ格納手段に格納されている対話データを用いて、前記コンテンツの内容を前記音声出力装置に出力させる音声出力制御手段と、
前記音声入力装置に入力された、ユーザによる音声入力を受け付ける入力制御手段と、
前記ユーザに対して入力を要求する対話部品についての音声入力が前記入力制御手段によって受け付けられた場合、当該対話部品に対応する表示部品を前記変換情報を参照することによって特定する表示部品特定手段と、
前記表示部品特定手段によって特定された表示部品が少なくとも表示されるように、前記コンテンツの内容を表示装置に表示させる表示制御手段とを備える、対話型情報入出力装置。
【請求項６】
音声入力装置と、前記音声入力装置とは異なる入力装置と、表示装置と、音声出力装置とを有する対話型情報入出力装置において用いられる方法であって、
前記対話型情報入出力装置は、
コンテンツを表示するためのデータを表示要素毎に分解した表示部品によって構成される表示データを格納する表示データ格納手段と、
前記表示データ格納手段に格納されている表示部品の内容を音声として出力するための対話部品によって構成されるデータであって当該対話部品を実行する順番を示すデータである対話データを格納する対話データ格納手段と、
前記表示部品と前記対話部品との対応を示す変換情報を格納する変換情報格納手段とを備えており、
前記表示データ格納手段に格納されている表示データを用いて前記コンテンツの内容を表示装置に表示させる表示制御ステップと、
前記入力装置に入力されたユーザからの入力を受け付ける入力制御ステップと、
実行すべき対話部品を前記ユーザからの入力に基づいて特定する対話部品特定ステップと、
前記ユーザからの入力がない場合、前記対話データにより示される順番で各対話部品を実行し、前記ユーザからの入力があった場合、前記対話部品特定ステップにおいて特定された対話部品を実行することによって、前記音声出力装置に音声を出力させる音声出力制御ステップとを備える、対話型情報入出力方法。
【請求項７】
音声入力装置と、前記音声入力装置とは異なる入力装置と、表示装置と、音声出力装置とを有する対話型情報入出力装置において用いられる方法であって、
前記対話型情報入出力装置は、
コンテンツを表示要素毎に分解した表示部品によって構成される表示データを格納する表示データ格納手段と、
前記表示データ格納手段に格納されている表示部品の内容を音声として出力するための対話部品によって構成される対話データを格納する対話データ格納手段と、
前記表示部品と前記対話部品との対応を示す変換情報を格納する変換情報格納手段とを備えており、
前記対話データ格納手段に格納されている対話データを用いて、前記コンテンツの内容を前記音声出力装置に出力させる音声出力制御ステップと、
前記音声入力装置に入力された、ユーザによる音声入力を受け付ける入力制御ステップと、
前記ユーザに対して入力を要求する対話部品についての音声入力が受け付けられた場合、当該対話部品に対応する表示部品を前記変換情報を参照することによって特定する表示部品特定ステップと、
前記特定された表示部品が少なくとも表示されるように、前記コンテンツの内容を表示装置に表示させる表示制御ステップとを備える、対話型情報入出力方法。
【請求項８】
請求項６または７に記載の対話型情報入出力方法を前記対話型情報入出力装置のコンピュータに実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＨＴＭＬ文書等のコンテンツを表示する情報入出力装置に関し、より特定的には、音声によるハイパーリンクの選択やフォーム部品の入力を可能とする情報入出力装置、ならびにそれに関する方法およびプログラムに関する。
【背景技術】
【０００２】
近年、インターネット通信技術の普及で、インターネット上のコンテンツをパソコン等の機器を用いて閲覧することが可能である。インターネット上のコンテンツのほとんどはＨＴＭＬで記述されている。ＨＴＭＬとは、表示用のテキスト情報に、構造情報やレイアウト情報を付加したテキストデータである。また、ＨＴＭＬ文書を視覚的な情報へと変換してディスプレイに表示する閲覧ソフトはブラウザと呼ばれる。
【０００３】
現在では、ブラウザは、パソコンだけでなく、車載用機器や携帯用機器等にも搭載されるようになった。そのような状況において、車載用機器や携帯用機器には、表示性能がパソコンに比べて劣るといった課題や、入力手段が限られているといった課題がある。また、走行中における画面を見ながらの操作は安全上の理由から制限されるといった課題がある。
【０００４】
上記のような課題に対して、ブラウザに音声操作機能を付加することが有効と考えられている。例えば、特許文献１には、取得したＨＴＭＬ文書から最適化された読み上げ文章を構築し、音声合成手段を利用して音声を出力するブラウザ搭載装置が開示されている。また、特許文献１には、音声認識手段により認識された結果がブラウザに対する制御指示の場合、ブラウザに対して割り込み処理を行うブラウザ搭載装置が開示されている。このブラウザ搭載装置によって、ブラウザに音声対話機能が付加され、ブラウザの表示内容の音声案内が可能となるとともに、音声によるハイパーリンクの選択やフォームへの入力が可能となる。
【特許文献１】特開２００２−１６９７５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ユーザの利便性を考慮すると、入力手段は複数設けられ、かつユーザは複数の入力手段を併用できることが望ましい。つまり、ユーザにとっては、ボタン等を用いた手入力と音声入力との両方を行うことができる環境であることが望ましい。しかしながら、上述した特許文献１においては、音声による入力を行うことは可能であるが、ボタン等を用いて行われるユーザの手入力と音声入力との併用については考慮されていない。
【０００６】
ここで、手入力と音声入力とを併用する場合、表示と音声との同期をとる必要が生じる。すなわち、手入力の結果を音声案内に反映させたり、音声入力による操作を表示画面に反映させたりする必要が生じる。
【０００７】
それ故、本発明の目的は、手入力と音声入力とを併用する場合において表示と音声との同期をとることが可能な対話型情報入出力装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は以下のような構成を採用した。すなわち、本発明は、表示装置、音声入力装置、および音声出力装置を有する対話型情報入出力装置である。この対話型情報入出力装置は、表示装置に表示すべきコンテンツを取得するコンテンツ取得手段と、表示装置に表示される表示要素毎にコンテンツを分解し、当該表示要素を表示装置に表示するための表示部品によって構成される表示データを生成する表示データ生成手段と、表示部品の内容を音声として出力するための対話部品データによって構成される対話データを当該表示データから生成する対話データ生成手段と、表示部品と対話部品データとの対応を示す変換情報を生成する変換情報生成手段と、表示データを用いて、コンテンツの内容を表示装置に表示する表示制御手段と、対話データに含まれる各対話部品データを順番に音声として音声出力装置から出力させる音声出力制御手段と、音声入力装置に入力されたユーザの音声入力を受け付ける音声入力制御手段と、ユーザの音声入力が受け付けられた場合、表示部品のうち、音声入力の対象となった対話部品データに対応する表示部品を、変換情報を参照することによって特定する特定手段と、特定手段によって特定された表示部品によって表示されている表示内容を、受け付けられた音声入力に基づいて更新する表示内容更新手段とを備えている。ここで、音声出力制御手段は、対話部品データを順番に出力する際、更新手段によって表示内容が更新された後で、次に出力すべき対話部品データの内容を出力する。
【発明の効果】
【０００９】
本発明によれば、音声案内に対してユーザが行った音声入力と画面表示との同期がとられる。すなわち、ユーザが行った音声入力の結果が即時に画面表示に反映される。これによって、ユーザは、音声および画面の双方を併用する装置においてスムーズな対話的入出力を行うことができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の一実施形態に係る対話型入出力装置の構成を示す図である。図１において、対話型情報入出力装置は、音声入力装置１と、音声出力装置２と、入力装置３と、表示装置４と、音声入力制御手段５と、音声出力制御手段６と、入力制御手段７と、表示制御手段８と、対話部品特定手段９と、表示部品特定手段１０と、変換情報生成手段１１と、データ格納手段１２とを備えている。本対話型情報入出力装置は、パソコン等の汎用コンピュータや、カーナビゲーション等の車載機器や、携帯電話またはＰＤＡといった小型情報端末等として実現される。また、図示していないが、図１に示す対話型情報入出力装置は、ＨＴＭＬコンテンツ等を取得する手段として、インターネットに接続する通信手段を備えるものとする。ただし、外部記憶装置に記憶されているコンテンツを処理するために対話型情報入出力装置が用いられる場合は、通信手段をもたなくてもよい。
【００１１】
音声入力装置１は、例えばマイクロフォン等の音声入力用デバイスである。音声出力装置２は、例えばスピーカやイヤホン等の音声出力用デバイスである。入力装置３は、ユーザの手操作によって入力が行われる入力デバイスである。入力装置３としては、ボタンやキーボードの他、マウスやタッチパネルのようなポインティングデバイスが考えられる。対話型情報入出力装置が汎用コンピュータとして実現される場合、典型的にはキーボードやマウス等が入力装置３として用いられる。対話型情報入出力装置が車載機器として実現される場合、典型的にはリモコンやタッチパネルディスプレイ等が入力装置３として用いられる。対話型情報入出力装置が小型情報端末として実現される場合、典型的にはキーパッドやタッチパネル等が入力装置３として用いられる。表示装置４は、例えばディスプレイ等の表示用デバイスである。
【００１２】
音声入力制御手段５は、音声入力装置１から入力された音声を音声認識し、対話部品特定手段９が処理可能な形式（例えばテキスト形式）に変換して対話部品特定手段９へ渡す。音声出力制御手段６は、対話部品特定手段９から渡される対話データを音声に変換して、音声出力装置２に音声として出力させる。入力制御手段７は、入力装置３に入力された信号を処理し、ユーザによって入力された指示の内容を表示部品特定手段１０に渡す。表示制御手段８は、表示部品特定手段１０から渡されたＨＴＭＬコンテンツの表示データに基づいて、表示装置４にＨＴＭＬコンテンツの内容を表示する。
【００１３】
データ格納手段１２は、表示データ、対話データ、および変換情報を格納する。データ格納手段１２は、例えばＲＡＭやハードディスク装置等によって実現される。ここで、表示データとは、ＨＴＭＬで記述されたデータであり、ＨＴＭＬコンテンツを表示装置４の画面に表示するためのデータである。対話データとは、ＨＴＭＬコンテンツの内容に関する音声案内を音声出力装置２から出力するためのデータである。本実施形態では、対話データは、ＸＭＬの拡張規格であるＶｏｉｃｅＸＭＬで記述されている。本対話型情報入出力装置においては、同一のコンテンツに対して表示データおよび対話データが作成される。変換情報は、表示データと対話データとの対応を示す情報である。
【００１４】
図２は、本実施形態における表示データのデータ構造の一例を示した図である。表示データは、複数の表示部品（パーツ）によって構成される。表示部品とは、ＨＴＭＬコンテンツを画面に表示される要素毎に分解したものである。図２においては、横の行１列が表示部品に対応する。表示部品は、パーツＩＤと、パーツ種別と、Ｘ座標（図２に示すＸ）と、Ｙ座標（図２に示すＹ）と、幅（図２に示すＷ）と、高さ（図２に示すＨ）とで構成される。パーツＩＤは、ＨＴＭＬコンテンツの表示要素である表示部品（パーツ）を内部的に識別可能にするために割り振られた識別番号である。パーツ種別は、パーツの種別である。パーツ種別には、“ｔｅｘｔ”、“ｌａｂｅｌ”、および“ｆｏｒｍ”等の種別がある。Ｘ座標は、画面上におけるパーツの位置のＸ座標を表す。Ｙ座標は、画面上におけるパーツの位置のＹ座標を表す。Ｘ座標およびＹ座標は、表示画面の幅および高さを考慮して決定される。幅および高さは、各パーツの画面上でのサイズに関する情報である。つまり、幅はパーツの画面上での幅を表し、高さはパーツの画面上での高さを表す。幅および高さについても、Ｘ座標およびＹ座標と同様に、表示装置の幅および高さを考慮して決定される。
【００１５】
一方、対話データは、表示データにおける表示部品と同様、対話部品によって構成される。対話部品は、表示データの表示部品に対応するように作成される。対話データがＶｏｉｃｅＸＭＬで記述されている場合、対話部品は後述するフィールドとして表現される。なお、対話部品は表示部品と１対１に対応する必要があるが、全ての表示部品について対応する対話部品が存在する必要はない。ＨＴＭＬコンテンツとして表示される表示要素の中には、音声案内を行う必要がない表示要素も存在するからである。本実施形態では、表示部品のうち、パーツ種別が“ｆｏｒｍ”である表示部品について対話部品が作成されるものとする。なお、以下では、パーツ種別が“ｆｏｒｍ”である表示部品をフォーム部品と呼ぶ。フォーム部品の詳細については後述する。また、対話データには、ユーザからの入力を促すために出力するメッセージや、入力されるべき候補単語、入力があった場合に遷移すべきドキュメントのＵＲＩ等が含まれている。なお、本実施形態では、対話データはＶｏｉｃｅＸＭＬで記述されているが、同様な音声対話記述言語を用いて実現してもよい。
【００１６】
図１において、表示部品特定手段１０は、表示装置４へのＨＴＭＬコンテンツの表示を制御する。具体的には、データ格納手段１２に格納されている表示データに含まれる表示部品のうち、表示装置４の画面に表示すべき表示部品を特定する。表示部品特定手段１０は、対話部品特定手段９によって行われる音声案内の結果、およびユーザによる音声入力の結果を反映させるように表示を制御する。表示部品特定手段１０によって特定された表示部品に関する情報は表示制御手段８に出力される。表示部品特定手段１０によって特定された表示部品の内容が、表示制御手段８によって表示装置４に表示される。
【００１７】
より具体的には、表示部品特定手段１０は、外部のサーバからＨＴＭＬコンテンツを読み込み、解析する。すなわち、表示部品特定手段１０は、テキスト、画像、およびフォーム部品等のパーツにＨＴＭＬコンテンツを分解する。さらに、表示部品特定手段１０は、各パーツについてパーツＩＤを決定するとともに、表示画面上におけるパーツの表示位置およびサイズを各パーツについて決定する。以上のように決定されたパーツＩＤとパーツの表示位置およびサイズとは、表示データとしてデータ格納手段１２に格納される。
【００１８】
また、対話部品特定手段９は、音声出力装置２へのＨＴＭＬコンテンツに関する音声案内を制御する。具体的には、データ格納手段１２に格納されている対話データに含まれる対話部品のうち、実行すべき（すなわち、音声出力装置２に出力すべき音声に対応する）対話部品を特定する。対話部品特定手段９は、入力装置３から入力されるユーザの入力の結果を反映させるように音声案内を制御する。対話部品特定手段９によって特定された対話部品に関する情報は音声出力制御手段６に出力される。対話部品特定手段９によって特定された対話部品の内容が、音声出力制御手段６によって音声出力装置２から出力される。
【００１９】
また、対話部品特定手段９は、対話データを用いて音声対話処理を制御する。音声対話処理とは、音声案内を行うとともに、当該音声案内に対してユーザが返答する入力を受け付ける処理をいう。すなわち、音声対話処理とは、ＨＴＭＬコンテンツの内容を音声案内という形で出力するとともに、当該音声案内に応じてユーザが行う音声入力を読み取る処理である。対話部品特定手段９は、データ格納手段１２から対話データを取得し、音声入力制御手段５および音声出力制御手段６を介してユーザに対する音声対話処理を行う。
【００２０】
変換情報生成手段１１は、表示データと対話データとの対応を示す変換情報を生成する。本実施形態では、変換情報生成手段１１は、ＨＴＭＬコンテンツで記述された表示データを基に、ＶｏｉｃｅＸＭＬで記述された対話データを生成するものとし、対話データを生成する際に対話データとともに変換情報を生成するものとする。また、生成された変換情報はデータ格納手段１２に格納される。
【００２１】
以上のように、本実施形態では、ＨＴＭＬコンテンツをＶｏｉｃｅＸＭＬに変換することによって対話データが生成される。以下に、実際のソースを引用して上記変換の特徴を説明する。なお、ＨＴＭＬやＶｏｉｃｅＸＭＬについての詳細な説明はすでに公知であるので、ここでは変換情報生成手段１１に関連する部分のみの説明に留める。
【００２２】
ＨＴＭＬでは、他のドキュメント或いは同一ドキュメントの他の場所へのハイパーリンクをテキストの一部や画像に付加することができる。ここで、ハイパーリンクを指定する要素としては、＜Ａ＞要素がある。＜Ａ  ｈｒｅｆ＝”ｈｔｔｐ：／／ｐａｎａｓｏｎｉｃ．ｊｐ”＞Ｐａｎａｓｏｎｉｃ＜／Ａ＞のようにｈｒｅｆ属性でリンク先のＵＲＩを指定したテキストや画像をクリックすると指定された位置のドキュメントが読み込まれる。一方、ＶｏｉｃｅＸＭＬにもドキュメントの遷移先を指定する要素として、＜ｌｉｎｋ＞、＜ｇｏｔｏ＞、および＜ｃｈｏｉｃｅ＞要素がある。これらの要素ではいずれもｎｅｘｔ属性においてリンク先のＵＲＩが指定される。例えば、＜ｃｈｏｉｃｅ  ｎｅｘｔ＝”ｈｔｔｐ：／／ｐａｎａｓｏｎｉｃ．ｊｐ”＞パナソニック＜／ｃｈｏｉｃｅ＞等と記載すれば「パナソニック」という音声認識結果に対して、指定された位置のドキュメントが読み込まれる。変換情報生成手段１１は、ＨＴＭＬコンテンツの＜Ａ＞要素を抽出し、＜ｃｈｏｉｃｅ＞或いは＜ｇｏｔｏ＞要素に変換したＶｏｉｃｅＸＭＬコンテンツを生成する。
【００２３】
また、ＨＴＭＬには、アンケートのページ等に用いられるフォーム入力機能がある。フォーム入力とは、ＨＴＭＬのフォーム部品に対して入力を行うことである。すなわち、フォーム入力機能とは、画面上に配置されたフォーム部品（パーツ種別が“ｆｏｒｍ”である表示部品）に対してユーザに入力を行ってもらい、送信ボタンが押されると、入力した内容を含む送信データを、指定されたＵＲＩへ送信するための機能である。フォーム部品には、自由なテキストを入力可能なテキストボックス（＜ＩＮＰＵＴ  ｔｙｐｅ＝”ｔｅｘｔ”＞）、複数の選択肢の中から１つ或いは複数を選択するセレクトメニュー（＜ＳＥＬＥＣＴ＞＜ＯＰＴＩＯＮ＞）、ラジオボタン（＜ＩＮＰＵＴ  ｔｙｐｅ＝”ｒａｄｉｏ”＞）、Ｙｅｓ／Ｎｏの値を入力可能なチェックボックス（＜ＩＮＰＵＴ  ｔｙｐｅ＝”ｃｈｅｃｋｂｏｘ”＞）等がある。一方、ＶｏｉｃｅＸＭＬにも同様な機能としてフィールドがある。フィールドは、＜ｆｉｅｌｄ＞要素により作成され、ユーザからの入力データを期待する。変換情報生成手段１１は、ＨＴＭＬコンテンツから＜ＩＮＰＵＴ＞，＜ＳＥＬＥＣＴ＞要素を抽出し、＜ｆｉｅｌｄ＞要素に変換したＶｏｉｃｅＸＭＬコンテンツを生成する。
【００２４】
この場合、変換情報生成手段１１では、どのフォーム部品がどのフィールドに変換されたのかという対応が分かるような対応テーブルを作成し、変換情報としてデータ格納手段１２に格納する。＜ｆｉｅｌｄ＞要素についてはｎａｍｅ属性によって自由に名前を付けることができ、表示データでは、フォーム部品を内部的なＩＤによって管理している。従って、変換情報は、フィールド名とフォーム部品のＩＤとを対応付けることによって作成することができる。
【００２５】
図３は、本実施形態における変換情報のデータ構造の一例を示した図である。図３に示すように、変換情報は、変換番号と、パーツＩＤと、フォーム部品と、フィールド名と、同期フラグとを対応付けたテーブルである。図３においては、横の１行が１組のフォーム部品とフィールド名との組を表す。変換番号は、内部的な管理のために各フォーム部品に割り当てられる番号である。パーツＩＤは、表示データのパーツＩＤと対応する（図２参照）。フォーム部品は、フォーム部品の種別を表す。フィールド名は、フォーム部品を変換して得られるフィールドの名前である。同期フラグは、そのフィールドが表示データとの同期が必要か否かを表す。すなわち、表示データとの同期が必要なフィールドについては同期フラグの値は“ＴＲＵＥ”に設定され、同期が不要なフィールドについては同期フラグの値は“ＦＡＬＳＥ”に設定される。
【００２６】
以上のように、変換情報とは、表示部品であるフォーム部品と、対話部品であるフィールドとを対応付ける情報である。従って、この変換情報を用いることによって、表示部品と対話部品との対応を容易に知ることができ、表示部品と対話部品との同期をとることができる。
【００２７】
次に、図４〜図８を用いて、本実施形態に係る対話型情報入出力装置における処理について説明する。なお、以下では、処理を説明するための一例として、天気予報サービスのＨＴＭＬコンテンツを例として説明する。
【００２８】
図４は、本実施形態に係る対話型情報入出力装置で取得されるＨＴＭＬコンテンツの一例を示す図である。図４に示すＨＴＭＬコンテンツには、「都道府県」を入力するためのフォーム部品である第１表示部品４０１、および「市町村」を入力するためのフォーム部品である第２表示部品４０２という２つのフォーム部品が含まれる。また、ＨＴＭＬコンテンツには、当該２つのフォーム部品に対して入力が行われると次の画面に遷移するという処理が記述されているものとする。例えば、第１表示部品４０１に「大阪府」という値が入力され、かつ、第２表示部品４０２に「大阪市」という値が入力されると、次の画面が表示される。次の画面とは、例えば、大阪府大阪市の降水確率等が表示される画面である。以下、図４に示す天気予報サービスのＨＴＭＬコンテンツを例として、本対話型情報入出力装置における処理を説明する。
【００２９】
まず、ＨＴＭＬコンテンツは、次のようにして取得される。すなわち、まず、ＨＴＭＬコンテンツのハイパーリンクに指定されている文字列の一部または全部をユーザが発声した場合、遷移先のＵＲＩが音声入力制御手段５を介して対話部品特定手段９に入力される。次に、対話部品特定手段９は、遷移先のＵＲＩを表示部品特定手段１０に対して通知する。さらに、対話部品特定手段９は、表示部品特定手段１０に対してＨＴＭＬコンテンツの取得を要求する。表示部品特定手段１０は、対話部品特定手段９からの要求を受け付けると、要求を受け付けた旨を対話部品特定手段９に通知する。通知を受けた対話部品特定手段９は、現在処理している音声対話処理を終了する。その後、表示部品特定手段１０は、対話部品特定手段によって通知されたＵＲＩによって指定される場所に存在するサーバから、ユーザが音声入力で要求したＨＴＭＬコンテンツを取得する。
【００３０】
図５は、本対話型入出力装置における処理の流れを示すフローチャートである。まず、表示部品特定手段１０は、準備処理を行う（ステップＳ００１）。準備処理は、ユーザの操作を受け付ける準備を行うための処理である。図６は、当該準備処理の詳細を示すフローチャートである。
【００３１】
準備処理において、表示部品特定手段１０は、ＨＴＭＬコンテンツを取得する（ステップＳ１０１）。ここでは、例えば「天気予報サービス」というコンテンツが取得される。ＨＴＭＬコンテンツは、図示しない通信手段を介して対話型入出力装置の外部のサーバから取得されてもよいし、対話型入出力装置が読み込み可能な外部記憶媒体から取得されてもよい。ステップＳ１０１の次に、表示部品特定手段１０は、ステップＳ１０１で取得した「天気予報サービス」というＨＴＭＬコンテンツを解析することによって表示データを生成する（ステップＳ１０２）。図４の例では、「天気予報サービス」というタイトルに関するデータ、「都道府県」という文字に関するデータ、および、表示部品の画面上における位置およびサイズに関するデータ（図２参照）を含む表示データを生成する。さらに、表示部品特定手段１０は、ステップＳ１０２で生成した表示データをデータ格納手段１２に格納する（ステップＳ１０３）。
【００３２】
次に、変換情報生成手段１１は、ステップＳ１０１で取得したＨＴＭＬコンテンツをＶｏｉｃｅＸＭＬへ変換することによって対話データを生成する（ステップＳ１０４）。ここでは、図４に示す第１表示部品４０１のフォーム部品を「ｐｒｅｆ」という名前のフィールドに変換する。また、第２表示部品４０２のフォーム部品を「ｃｉｔｙ」という名前のフィールドに変換する。ステップＳ１０４の次に、変換情報生成手段１１は、ステップＳ１０４で生成された対話データをデータ格納手段１２に格納する（ステップＳ１０５）。さらに、変換情報生成手段１１は、変換情報を生成する（ステップＳ１０６）。変換情報は、上述のように、表示データに含まれるパーツ（表示部品）と対話データに含まれるフィールド（対話部品）との対応関係を示す情報である。本例では、第１表示部品４０１４０１と、対話データ上のフィールド「ｐｒｅｆ」（以下「ｐｒｅｆ」フィールドと称す。）とが対応付けられ、第２表示部品４０２と、対話データ上のフィールド「ｃｉｔｙ」（以下「ｃｉｔｙ」フィールドと称す。）とが対応付けられた変換情報が生成される（図３参照）。ステップＳ１０６の後、変換情報生成手段１１は、ステップＳ１０６で生成された変換情報をデータ格納手段１２に格納する（ステップＳ１０７）。
【００３３】
ステップＳ１０７の次に、表示制御手段は、ステップＳ１０２で生成した表示データに基づいて、ステップＳ１０１で取得したＨＴＭＬコンテンツを表示装置４に表示する（ステップＳ１０８）。続いて、対話部品特定手段９は、対話データに基づき音声対話処理を開始する（ステップＳ１０９）。ここでは、「天気予報サービスへようこそ。」という音声案内がなされるものとする。以上で準備処理は終了する。
【００３４】
準備処理の後、対話部品特定手段９は、第１の位置同期処理（ステップＳ００２）を行う。第１の位置同期処理は、音声案内に対応するように画面の表示位置を調整するための処理である。第１の位置同期処理についての詳細は後述する。
【００３５】
第１の位置同期処理が終われば、「都道府県を入力してください」という音声案内が行われ、一定時間、ユーザによる入力を待つ状態になる（ステップＳ００３）。ここで、一定時間、ユーザによる入力が発生しなければ（ステップＳ００４でＮＯ）、ステップＳ００３に戻る。一方、ユーザによる入力が発生した場合（ステップＳ００４でＹＥＳ）、表示部品特定手段１０は、ユーザによる入力が画面のスクロールを指示する入力であるか否かを判定する（ステップＳ００５）。ステップＳ００５の判定の結果、ユーザによる入力が画面スクロール操作を指示する入力である場合、表示部品特定手段１０は、第２の位置同期処理を行う（ステップＳ０１０）。第２の位置調整手段とは、画面スクロール操作に伴って音声案内の対象を調整するための処理である。第２の位置同期処理について詳細は後述する。一方、ステップＳ００５の判定の結果、ユーザによる入力が画面スクロール操作を指示する入力ではない場合、対話部品特定手段９は、ユーザによる入力が音声入力か否か（すなわち、音声入力装置１からの入力か、それとも入力装置３からの入力か）の判定を行う（ステップＳ００６）。ステップＳ００６の判定の結果、ユーザによる入力が音声入力である場合、第１の入力データ同期処理が行われる（ステップＳ００７）。一方、ステップＳ００６の判定の結果、ユーザによる入力が音声入力でない場合、すなわち、ユーザによる入力が入力装置３を用いた手入力である場合、第２の入力データ同期処理が行われる（ステップＳ００８）。以下、第１および第２の入力データ同期処理について説明する。
【００３６】
図７は、第１の入力データ同期処理の詳細を示す図である。第１の入力データ同期処理は、音声入力によるフォーム入力が発生した場合（ステップＳ００６でＹＥＳ）に、そのフォーム入力の結果に画面表示を同期させる処理である。具体的には、第１の入力データ同期処理は、表示画面に表示されていないフォーム部品に対する音声入力があった場合に、当該フォーム部品が表示されるように表示画面を変更する処理である。なお、以下における第１の入力データ同期処理の説明においては、「都道府県を入力してください」という音声案内に対してユーザが「大阪府」と音声入力を行った場合を具体例として示す。
【００３７】
第１の入力データ同期処理において、まず、対話部品特定手段９は、音声での入力内容が正しい入力内容であるか否かを判定する（ステップＳ２０１）。すなわち、音声案内が行われたフィールドへの正しい入力か否か、および、イベントを発生させるものでないか否かを判定する。判定の結果、音声での入力内容が正しい入力内容でなければ（ステップＳ２０１でＮＯ）、そのまま第１の入力データ同期処理を終了する。一方、音声での入力内容が正しい入力内容であれば、対話部品特定手段９は、音声入力による値を、音声案内が行われたフィールドに対して設定する（ステップＳ２０２）。上記の具体例の場合、「ｐｒｅｆ」フィールドに対する「大阪府」という入力は正しいので、対話部品特定手段９は、「ｐｒｅｆ」フィールドに「大阪府」という値を設定する。
【００３８】
ステップＳ２０２の後、対話部品特定手段９は、音声入力が行われたフィールド名を変換情報生成手段１１に通知し、当該フィールドが同期をとる必要があるか否かの問い合わせを変換情報生成手段１１に対して行う（ステップＳ２０３）。上記の具体例では、対話部品特定手段９は、フィールド名「ｐｒｅｆ」を変換情報生成手段１１に通知し、「ｐｒｅｆ」フィールドが同期をとる必要があるか否かの問い合わせを行う。問い合わせを受けた変換情報生成手段１１は、変換情報を参照し、通知されたフィールド名により示されるフィールドが同期をとる必要があるか否かを判定する（ステップＳ２０４）。この判定は、変換情報において当該フィールドについて設定されている同期フラグの値が“ＴＲＵＥ”か否かによって行うことができる。
【００３９】
次に、変換情報生成手段１１は、ステップＳ２０４の判定の判定結果を対話部品特定手段９に返す（ステップＳ２０５）。具体的には、変換情報生成手段１１は、当該判定結果が肯定である場合、問い合わせに係るフィールドに対応するフォーム部品のパーツＩＤを対話部品特定手段９に渡す。一方、当該判定結果が否定である場合、変換情報生成手段１１は、判定が否定である旨を対話部品特定手段９に渡す。上記の具体例では、変換情報生成手段１１は、「ｐｒｅｆ」フィールドに対応するフォーム部品のパーツＩＤの値、すなわち、「３」という値を対話部品特定手段９に渡す。
【００４０】
ステップＳ２０５の後、対話部品特定手段９は、ステップＳ２０５で変換情報生成手段１１から送られてきた情報に基づいて、音声入力が行われたフィールドが同期をとる必要があるか否かを判定する（ステップＳ２０６）。ステップＳ２０６の判定において、当該フィールドが同期をとる必要がないと判定される場合、第１の入力データ同期処理が終了する。一方、ステップＳ２０６の判定において、当該フィールドが同期をとる必要があると判定される場合、対話部品特定手段９は、音声対話処理を中断する（ステップＳ２０７）。なお、音声対話処理が中断されている間は、ユーザによる音声入力は受け付けられない。上記の具体例では、変換情報生成手段１１から送られてくる情報は、判定が肯定である旨を示す内容、すなわち、「ｐｒｅｆ」フィールドに対応するフォーム部品のパーツＩＤの値を示す内容であるので（ステップＳ２０６でＹＥＳ）、ステップＳ２０７の処理が行われる。
【００４１】
ステップＳ２０７の後、対話部品特定手段９は、音声入力が行われたフィールドに対応するフォーム部品のパーツＩＤの値と、当該フィールドに設定された値とを表示部品特定手段１０に通知する（ステップＳ２０８）。上記の具体例では、「ｐｒｅｆ」フィールドのパーツＩＤの値である「３」と、「ｐｒｅｆ」フィールドに設定された値である「大阪府」とが表示部品特定手段１０に通知される。対話部品特定手段９からの通知を受け取った表示部品特定手段１０は、音声入力が行われたフィールドに対応するフォーム部品が表示されるように表示画面を更新する（ステップＳ２０９）。このとき、表示部品特定手段１０は、表示データに含まれている、当該フォーム部品の位置およびサイズに関する情報を参照することによって表示画面を更新する。なお、上記の具体例では、パーツＩＤが「３」であるフォーム部品（すなわち、第１表示部品４０１）は、すでに画面に表示されている（図４参照）。従って、上記の具体例では表示画面は更新されない。ステップＳ２０９において表示画面が更新されるのは、表示されているＨＴＭＬコンテンツの表示領域が画面よりも大きい場合である。この場合、音声入力が行われたフィールドに対応するフォーム部品が画面に表示されていない可能性があるからである。このとき、ステップＳ２１０によって、当該フォーム部品が画面に表示されるようになる。つまり、画面に現在表示されていないフォーム部品に対して音声入力が行われると、表示部品特定手段１０は、当該フォーム部品を画面に表示させるように表示を制御する。
【００４２】
ステップＳ２１０の後、表示部品特定手段１０は、対話部品特定手段９に対して同期処理完了の通知を行う（ステップＳ２１０）。同期処理完了の通知を受け取った対話部品特定手段９は、ステップＳ２０８で中断した音声対話処理を再開する（ステップＳ２１１）。以上で第１の入力データ同期処理の説明を終了する。
【００４３】
図８は、第２の入力データ同期処理の詳細を示す図である。第２の入力データ同期処理は、入力装置３に対して行われるユーザの手入力によってフォーム入力が行われた場合に（ステップＳ００６でＮＯ）、そのフォーム入力の結果を音声案内に反映させるための処理である。具体的には、第２の入力データ同期処理は、あるフォーム部品に対して手入力で値が設定された場合に、当該フォーム部品に関する音声案内をスキップする処理である。なお、ここでは、音声案内は、表示されているＨＴＭＬコンテンツの上側に位置するフォーム部品に対応するフィールドから順番に行われるものとする。また、以下における第１の入力データ同期処理の説明においては、「都道府県を入力してください」という音声案内に対してユーザが「大阪府」という値を手入力で入力した場合を具体例として説明する。
【００４４】
第２の入力データ同期処理において、まず、表示部品特定手段１０は、手入力によって入力された値がフォーム部品に設定されるように表示内容を更新する（ステップＳ３０１）。上記の具体例では、第１表示部品４０１に「大阪府」が設定された状態となるように表示内容が更新される。次に、表示部品特定手段１０は、入力があったフォーム部品のパーツＩＤと、当該フォーム部品に設定された値とを対話部品特定手段９に対して通知する（ステップＳ３０２）。上記の具体例では、フォーム部品のパーツＩＤである「３」と、当該フォーム部品に設定された値である「大阪府」とが対話部品特定手段９に対して通知される。
【００４５】
ステップＳ３０２の通知を受け取った対話部品特定手段９は、当該通知に係るフォーム部品、すなわち、入力があったフォーム部品に対応するフィールド名の取得を変換情報生成手段１１に対して要求する（ステップＳ３０３）。具体的には、当該フォーム部品のパーツＩＤが変換情報生成手段１１に渡される。上記の具体例では、表示部品特定手段１０から受け取ったパーツＩＤの値である「３」が変換情報生成手段１１に渡されることによって、フィールド名の取得要求が行われる。この取得要求を受けた変換情報生成手段１１は、変換情報を参照することによって、入力があったフォーム部品に対応するフィールド名を対話部品特定手段９に通知する（ステップＳ３０４）。上記の具体例では、変換情報生成手段１１は、受け取ったパーツＩＤの値である「３」を基に変換情報を参照することによってフィールド名「ｐｒｅｆ」を特定し、フィールド名「ｐｒｅｆ」を対話部品特定手段９に通知する。
【００４６】
フィールド名を受け取った対話部品特定手段９は、当該フィールド名により示されるフィールドに関する音声案内をスキップして音声案内を行う（ステップＳ３０５）。本実施形態では、ユーザによる手入力がない場合、音声案内は、表示されているＨＴＭＬコンテンツの上側に位置するフォーム部品に対応するフィールドから順番に行われる。ただし、第２の入力データ同期処理が行われた場合、手入力の対象となったフォーム部品に対応するフィールドについては音声案内がスキップされるのである。上記の具体例で言えば、「大阪府」という値が設定された「ｐｒｅｆ」フィールドについては、手入力が行われた時点において「ｐｒｅｆ」フィールドに関する音声案内が行われていない状態であっても、音声案内がスキップされる。より具体的には、「都道府県を入力してください」という音声案内がスキップされて、「市町村を入力してください」という音声案内が行われる。また、他の具体例として、「都道府県を入力してください」という音声案内が行われている時に、第２表示部品４０２に対して「大阪市」という入力が行われた場合、「ｃｉｔｙ」フィールドに「大阪市」という値が設定される。このとき、「市町村を入力してください」という音声案内は行われなくなる。第２の入力データ同期処理は、その時点で音声案内がすでに終了しているフォーム部品に対する入力であるか否かに関係無く行われる。以上で、第２の入力データ同期処理の説明を終了する。
【００４７】
図５の説明に戻り、第１の入力データ同期処理または第２の入力データ同期処理が終了すると、対話部品特定手段９は、全てのフォーム部品（図４では、第１表示部品４０１および第２表示部品４０２）への入力が完了したか否かを判定する（ステップＳ００９）。ステップＳ００９の判定の結果、入力が完了していないフォーム部品がある場合（ステップＳ００９でＮＯ）、第１の位置同期処理に戻る。一方、全てのフォーム部品への入力が完了した場合（ステップＳ００９でＹＥＳ）、完了処理（ステップＳ０１０）が行われる。ここでは、完了処理として、表示部品特定手段１０が、所定のサーバに大阪府大阪市の天気予報の取得要求を行うものとする。以上で、一連の対話制御処理は終了する。
【００４８】
以上のようにして、ユーザは、リモコン等での手操作による入力と、音声による入力とを併用して入力操作を進めることが可能となる。
【００４９】
ところで、表示されるフィールドの数が多くて表示領域内に収まらない場合、音声案内が無条件に進むと、画面に表示されていないフィールドに対して音声案内が行われる場合がある。このような同期のとていない音声案内は、ユーザにとって非常に使いづらいものである。そのため、音声案内は、現在の表示領域に表示されているフィールドに対して行うことが望ましい。換言すれば、音声案内が行われているフィールドに対応するフォーム部品は必ず画面に表示されていることが望ましい。そこで、本実施形態においては、上記第１および第２の位置同期処理を行うのである。以下、第１および第２の位置同期処理について説明する。
【００５０】
以下、図９および図１０を用いて第１および第２の位置同期処理について説明する。なお、以下では、表示されているＨＴＭＬコンテンツには、入力を行う対象となるフォーム部品が３つあり、そのうち２つしか一画面に表示できない場合を具体例として説明する。
【００５１】
図９は、第１の位置同期処理の詳細を示す図である。第１の位置同期処理は、音声案内が進んでいった場合に、表示画面を音声案内に合わせて更新（スクロール）させる処理である。なお、図９に示す第１の位置同期処理は、対話部品特定手段９が１つのフィールドについて音声案内を行う度に行われる。第１の位置同期処理では、対話部品特定手段９は、次に音声案内を行うフィールドのフィールド名を変換情報生成手段１１に通知する（ステップＳ４０１）。この通知に応じて、変換情報生成手段１１は、対話部品特定手段９から通知されたフィールド名により示されるフィールドの同期フラグの値と、当該フィールドに対応するフォーム部品のパーツＩＤの値とを対話部品特定手段９に返す（ステップＳ４０２）。同期フラグの値を受け取った対話部品特定手段９は、次に音声案内を行うフィールドが同期をとるべきフィールドであるか否かを判定する（ステップＳ４０３）。ステップＳ４０３の判定は、受け取った同期フラグの値に従って行われる。すなわち、同期フラグの値が“ＴＲＵＥ”であれば、ステップＳ４０３の判定は肯定となり、同期フラグの値が“ＦＡＬＳＥ”であれば、ステップＳ４０３の判定は否定となる。ステップＳ４０３の判定結果が否定である場合、第１の位置同期処理の処理が終了する。
【００５２】
一方、ステップＳ４０３の判定結果が否定である場合、対話部品特定手段９は、音声対話処理を中断する（ステップＳ４０４）。つまり、次に行うべき音声案内は、ステップＳ４０４の時点ではまだ行われない。ステップＳ４０４の後、対話部品特定手段９は、ステップＳ４０２で受け取ったパーツＩＤの値を表示部品特定手段１０に通知する（ステップＳ４０５）。通知を受けた表示部品特定手段１０は、受け取ったパーツＩＤにより示されるフォーム部品が画面に表示されているか否かを判定する（ステップＳ４０６）。ステップＳ４０６の判定は、表示データに含まれている情報（画面上の位置およびサイズを示す情報（図２参照））を参照することによって行われる。ステップＳ４０６の判定の結果、フォーム部品が画面に表示されている場合、表示部品特定手段１０は、対話部品特定手段９に同期完了通知を送る（ステップＳ４０８）。上記の具体例では、２つ目のフォーム部品の音声案内が行われている間は、表示画面は変更されない。すなわち、表示画面はスクロールしない。
【００５３】
一方、ステップＳ４０６の判定の結果、フォーム部品が画面に表示されていない場合、表示部品特定手段１０は、当該フォーム部品が画面の表示領域内に表示されるように表示画面を更新する（ステップＳ４０７）。上記の具体例では、３つ目のフォーム部品の音声案内が行われる前に、当該３つ目のフォーム部品が画面内に表示されるように画面がスクロールされる。なお、ステップＳ４０７の後、ステップＳ４０８の処理が行われる。
【００５４】
ステップＳ４０８によって同期完了通知を受けた対話部品特定手段９は、ステップＳ４０４で中断した音声対話処理を再開する（ステップＳ４０９）。すなわち、次のフィールドについての音声案内が開始される。以上で、第１の位置同期処理は終了する。第１の位置同期処理によって、３つ目の入力部が音声案内される場合、自動的に画面がスクロールして３つ目の入力部が画面に表示されることになる。
【００５５】
次に、第２の位置同期処理について説明する。第２の位置同期処理は、図５に示すステップＳ００５の判定が肯定であった場合、すなわち、ユーザによって画面のスクロール操作が行われた場合に行われる（ステップＳ０１１）。第２の位置同期処理は、ユーザの手入力による画面のスクロール操作によって表示装置４の表示領域に変更があった場合、音声案内を表示画面に合わせて変更する処理である。
【００５６】
図１０は、第２の位置同期処理の詳細を示す図である。第２の位置同期処理において、まず、表示部品特定手段１０は、画面がスクロールした後の画面において、画面の表示領域の最も上側に表示されているパーツ（フォーム部品）を特定する。そして、変換情報を参照することによって、特定したフォーム部品のパーツＩＤを取得する（ステップＳ５０１）。次に、表示部品特定手段１０は、ステップＳ５０１で取得したパーツＩＤを対話部品特定手段９に通知する（ステップＳ５０２）。
【００５７】
パーツＩＤの通知を受けた対話部品特定手段９は、当該パーツＩＤにより示されるフォーム部品に対応するフィールドのフィールド名を変換情報生成手段１１に対して要求する（ステップＳ５０３）。具体的には、当該パーツＩＤを変換情報生成手段１１へ送る（ステップＳ５０３）。パーツＩＤを受け取った変換情報生成手段１１は、変換情報を参照することによって、当該パーツＩＤにより示されるフォーム部品に対応するフィールドのフィールド名を取得し、取得したフィールド名を対話部品特定手段９に通知する（ステップＳ５０４）。フィールド名の通知を受けた対話部品特定手段９は、当該フィールド名により示されるフィールドについて音声案内を行う（ステップＳ５０５）。ステップＳ５０５の処理は、ステップＳ５０５の処理が行われる直前の時点において音声案内が行われているフィールドが何であるかとは無関係に行われる。例えば、２つ目のフォーム部品しか画面に表示されていない状態で、ユーザが画面を手動でスクロールさせた結果、３つ目のフォーム部品が表示画面の先頭（最も上側）に表示された場合、当該３つ目のフォーム部品に対応するフィールドについて音声案内が行われることとなる。
【００５８】
以上のように、本発明に係る対話型情報入出力装置は、音声入力に即した画面表示を行うことが可能となり、ユーザの利便性をより向上させることが可能となる。
【００５９】
なお、上記の実施形態においては、対話型情報入出力装置が通信手段によって表示データを取得するものとして説明したが、他の実施形態においては、対話型情報入出力装置は、対話データを通信手段によって取得するようにしてもよい。このとき、対話型情報入出力装置は、取得した対話データに基づいて表示データを作成する。本発明においては、対応する表示データと対話データとが対話型情報入出力装置において格納されていればよく、表示データおよび対話データのいずれのデータが取得される形態であってもよい。
【産業上の利用可能性】
【００６０】
本発明は、上述の処理手段を最低限備えた、パソコン等の汎用コンピュータや、カーナビゲーション等の車載機器や、携帯電話やＰＤＡ等の小型情報端末等に利用することが可能である。
【図面の簡単な説明】
【００６１】
【図１】本発明の一実施形態に係る対話型情報入出力装置の構成例を示す図
【図２】本実施形態における表示データのデータ構造の例を示す図
【図３】本実施形態における変換情報のデータ構造の例を示す図
【図４】本実施形態に係る対話型情報入出力装置で取得されるＨＴＭＬコンテンツの一例を示す図
【図５】本実施形態に係る本対話型入出力装置における一連の処理の流れを示すフローチャート
【図６】図５に示す準備処理の一例を示したフローチャート
【図７】図５に示す第１の入力データ同期処理のシーケンスの一例を示す図
【図８】図５に示す第２の入力データ同期処理のシーケンスの一例を示す図
【図９】図５に示す第１の位置同期処理のシーケンスの一例を示す図
【図１０】図５に示す第２の位置同期処理のシーケンスの一例を示す図
【符号の説明】
【００６２】
１  音声入力装置
２  音声出力装置
３  入力装置
４  表示装置
５  音声入力制御手段
６  音声出力制御手段
７  入力制御手段
８  表示制御手段
９  対話部品特定手段
１０  表示部品特定手段
１１  変換情報生成手段
１２  データ格納手段
４０１  第１表示部品
４０２  第２表示部品
【図１】
2005339169.tif 000003
【図２】
2005339169.tif 000004
【図３】
2005339169.tif 000005
【図４】
2005339169.tif 000006
【図５】
2005339169.tif 000007
【図６】
2005339169.tif 000008
【図７】
2005339169.tif 000009
【図８】
2005339169.tif 000010
【図９】
2005339169.tif 000011
【図１０】
2005339169.tif 000012