(57)【要約】【課題】    GUIの一覧性を生かしつつ粒度の細かい同期を既存のブラウザを利用して実現することが可能なマルチモーダル制御装置および方法を提供する。【解決手段】  マルチモーダル制御装置は、ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、モーダリティの種別に応じて、ドキュメントデータから入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成手段と、生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段とを備える。【選択図】      図１
2006318287.tif 000002
【特許請求の範囲】
【請求項１】
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、
前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、
前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成手段と、
前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、
を備えることを特徴とするマルチモーダル制御装置。
【請求項２】
前記入力フォーカス管理手段は、データ入力項目に対して前記いずれかのモーダリティからデータの入力がなされたことを検知したことに応じて、入力フォーカス項目の内容を変更することを特徴とする請求項１に記載のマルチモーダル制御装置。
【請求項３】
前記ブラウザはGUIモーダリティ用ブラウザを含み、前記GUIモーダリティ用ブラウザに対して、入力フォーカス位置に対応するデータ入力項目を明示するコンテンツを生成することを特徴とする請求項１または２に記載のマルチモーダル制御装置。
【請求項４】
前記GUIモーダリティ用ブラウザに対して、途中入力結果のデータを初期値として入力フォームに埋め込むことを特徴とする請求項３に記載のマルチモーダル制御装置。
【請求項５】
複数のデータ入力項目から構成されるドキュメントデータから各ブラウザ用のコンテンツを生成する際に、データ入力項目毎に一意な文字列を生成し、各モーダリティに共通する入力用識別子として前記文字列を設定することを特徴とする請求項１〜４のいずれかに記載のコンテンツ生成手段
【請求項６】
前記複数のデータ入力項目から構成されるドキュメントデータは、データ入力項目毎にモーダリティ種別に応じたコンテンツが定義された定義ファイルを備え、各モーダリティ種別および入力フォーカス項目に応じて、前記定義ファイルから該当するデータ入力項目に対応した各モーダリティ用コンテンツを読み出すことを特徴とする請求項１〜５のいずれかに記載のマルチモーダル制御装置。
【請求項７】
前記データ入力項目への途中入力の結果データを前記マルチモーダル制御手段に通知するためのプログラムが埋め込まれたコンテンツを生成することを特徴とする請求項１〜６のいずれかに記載のマルチモーダル制御装置。
【請求項８】
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、
前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、
モーダリティの種別毎に定義されたデータ入力項目範囲と前記入力フォーカス項目に基づいて、前記ドキュメント内のコンテンツ生成範囲を決定する生成範囲管理手段と、
前記コンテンツ生成範囲に基づいて、前記ドキュメントデータからコンテンツを生成するコンテンツ生成手段と、
前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、
を備えることを特徴とするマルチモーダル制御装置。
【請求項９】
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法であって、
前記ドキュメントデータ内の入力フォーカス項目を管理するステップと、
前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するステップと、
前記生成されたコンテンツを対応するブラウザに送信するステップと、
を含むマルチモーダル制御方法。
【請求項１０】
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法のプログラムであって、
前記ドキュメントデータ内の入力フォーカス項目を管理するステップと、
前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するステップと、
前記生成されたコンテンツを対応するブラウザに送信するステップと、
を含むマルチモーダル制御方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のユーザインタフェースに対して、インタフェース毎に設定された一括処理対象となる入力項目の集合（以下、粒度と称す）を保ちながら、各インターフェイスを細かく同期させるマルチモーダル制御方法、それを実現するマルチモーダル制御装置およびプログラムに関する。
【背景技術】
【０００２】
インターネットの普及とWeb技術の進歩と共に、ユーザはWebブラウザを使ってインターネット上の様々な情報をWWWサーバ(World Wide Web)から取得し、利用することができるようになってきた。ユーザは、インターネットに接続された端末を用いて、WWWサーバにアクセスし、HTML(Hyper Text Markup Language)という記述言語で記述されコンテンツを取得する。ユーザが使用する端末には、WWWサーバから取得した情報を解釈してコンテンツを画面に表示するWebブラウザを搭載している。
【０００３】
このようなWebシステムは、単純にサーバ上の静的なコンテンツを取得して画面に表示するだけでなく、ユーザがWebブラウザを通じて入力する入力データに基づいてサーバ側でデータベース等への情報処理を行い、その結果を元に動的にコンテンツを生成してブラウザに出力するWebアプリケーションとして進化している。このような構成とすることにより、ユーザはWebブラウザからオンラインショッピング等のインターネット上の各種サービスを手軽に利用できるようになってきている。
【０００４】
一方、これらのWeb技術を電話機などの音声からも利用できるようにするために、VXML(VoiceXML)というコンテンツ記述言語が提案されている。VXMLシステムでは、電話機とWWWサーバの間にVXMLブラウザ(音声応答サーバ)が仲介し、VXMLブラウザがVXMLを解釈してユーザとの音声対話を行うことで、ユーザが音声によりサービスの利用を行うことを可能にしている。
【０００５】
また、近年、Webブラウザや音声等の入出力手段（モーダリティ）を個別に使ってサービス利用するだけでなく、複数のモーダリティを組み合わせて使うことでユーザビリティの向上を目指すマルチモーダルインタフェースが注目されている。
マルチモーダルインタフェースを実現する仕組みとして、出願人は、「モーダル同期制御方法およびマルチモーダルインターフェイスシステム(特願2003-380980)」を提案している。この特願2003-380980に記載のモーダル同期制御方法では、複数のモーダリティで共通のコンテンツオブジェクトから要求元ブラウザのモーダリティ種別に応じたコンテンツ変換規則を適用することで、各モーダリティのコンテンツを生成しており、このことから一方のブラウザのコンテンツが変わるタイミングで、他方のブラウザのコンテンツを変えてコンテンツの同期を行うようにしている。
【０００６】
また、特許文献１（情報提供装置および該装置を実現するプログラム(特開2003-281033)）では、各モーダリティに応じたコンテンツを複合コンテンツとして定義し、モーダリティ種別に応じたコンテンツを複合コンテンツ内から切り出すことで、各モーダリティにおけるコンテンツ生成を行っている。
【特許文献１】特開2003-281033号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述した従来のマルチモーダル制御方法に関する発明では、各モーダリティのコンテンツ粒度が同じであることを前提としている。例えば、２つの入力項目を持つドキュメントデータをモーダリティに依存しない抽象的な記述形式で定義し、このような抽象コンテンツを各モーダリティ用コンテンツに変換する場合、変換されたそれぞれのコンテンツも同じ２つの入力項目を持つこととなる。
【０００８】
このため、複数の入力項目を持つコンテンツをWebブラウザとVXMLブラウザとの間で同期させる場合、音声入力の結果をWebブラウザ側に反映させるタイミングは、入力項目すべてに対して入力を完了したタイミングとなる。このため、個々の入力項目に対する音声入力の結果を逐次画面で確認することができないこととなり、マルチモーダルインタフェースの利点が生かせないという問題が発生する。
【０００９】
これを解決する手段として、入力項目毎にコンテンツを生成してWebブラウザおよびVXMLブラウザに実行させるという方法が考えられる。この場合、各入力項目にデータを入力したタイミングで同期させることが可能となる。しかしながら、この方式では、逆にWebブラウザに表示されるコンテンツ粒度が細かくなりすぎ、GUIの一覧性という利点が失われてしまうという問題が発生する。
【００１０】
一方、別の解決手段として、外部モジュールから各ブラウザ内の入力項目のデータを制御する機構を各ブラウザ内に持たせ、一方のブラウザでのデータ入力結果を外部モジュールが取得し、別のブラウザの入力項目データに反映させる方法が考えられる。しかしながら、各ブラウザに入力項目への入力を外部に通知する機構を組み込んだ専用ブラウザが必要となるため、既存のブラウザを使うことができなくなる。
【００１１】
本発明は、かかる課題を解決するものであり、GUIの一覧性を生かしつつ粒度の細かい同期を既存のブラウザを利用して実現することが可能なマルチモーダル制御方法を提供する。
また、さらに、GUIの一覧性については、例えば携帯電話のWebブラウザのように画面サイズが小さい場合に、全入力項目を表示するのではなく複数ページに分解して表示するなど、モーダリティの特性に応じて異なるコンテンツ粒度のモーダリティを同期させることが可能なマルチモーダル制御方法を提供する。
【課題を解決するための手段】
【００１２】
本発明の請求項１に係るマルチモーダル制御装置は、モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、モーダリティの種別に応じて、ドキュメントデータから入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成手段と、生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段とを備える。
【００１３】
この場合、たとえば、GUIモーダリティ用ブラウザの一覧性を維持しながら、GUIモーダリティ用ブラウザの表示をVXMLブラウザなどの1入力項目ごとの入力データに同期させて入力データを逐次反映して表示することが可能となる。
本発明の請求項２に係るマルチモーダル制御装置は請求項１に記載のマルチモーダル制御装置であって、入力フォーカス管理手段が、データ入力項目に対していずれかのモーダリティからデータの入力がなされたことを検知したことに応じて、入力フォーカス項目の内容を変更することを特徴とする。
【００１４】
この場合、これにより、入力フォーカスを明示的に移動させることなく、複数の入力項目の入力位置を遷移することができるため、ユーザが入力対象の入力項目を意識しなくとも、入力項目に対するデータの入力が可能となる。
本発明の請求項３に係るマルチモーダル制御装置は請求項１または２に記載のマルチモーダル制御装置であって、ブラウザはGUIモーダリティ用ブラウザを含み、GUIモーダリティ用ブラウザに対して、入力フォーカス位置に対応するデータ入力項目を明示するコンテンツを生成することを特徴とする。
【００１５】
この場合、一覧性を備えるGUIモーダリティ用ブラウザ上のどの入力項目が入力フォーカス項目であるのかを容易に確認することができ、データ入力を容易にする。
本発明の請求項４に係るマルチモーダル制御装置は請求項３に記載のマルチモーダル制御装置であって、GUIモーダリティ用ブラウザに対して、途中入力結果のデータを初期値として入力フォームに埋め込むことを特徴とする。
【００１６】
この場合、GUIモーダリティ用ブラウザ上に他のブラウザで入力した入力データを逐次反映させることが可能となる。
本発明の請求項５に係るマルチモーダル制御装置は請求項１〜４に記載のマルチモーダル制御装置であって、複数のデータ入力項目から構成されるドキュメントデータから各ブラウザ用のコンテンツを生成する際に、データ入力項目毎に一意な文字列を生成し、各モーダリティに共通する入力用識別子として文字列を設定することを特徴とする。
【００１７】
この場合、ドキュメントデータ内のデータ入力項目を複数のブラウザで同期してデータ入力を行うことが可能となる。また、ドキュメントデータに予め一意な文字列を登録しなくてすむため、ドキュメントデータの変更等のメンテナンスが容易になる。
本発明の請求項６に係るマルチモーダル制御制御は請求項１〜５のいずれかに記載のマルチモーダル制御装置であって、複数のデータ入力項目から構成されるドキュメントデータは、データ入力項目毎にモーダリティ種別に応じたコンテンツが定義された定義ファイルを備え、各モーダリティ種別および入力フォーカス項目に応じて、定義ファイルから該当するデータ入力項目に対応した各モーダリティ用コンテンツを読み出すことを特徴とする。
【００１８】
この場合、たとえば、HTMLコンテンツと細分化されたVXMLコンテンツを予め用意しておき、入力フォーカス項目に応じて適切なコンテンツを生成してブラウザに送信するように構成できる。
本発明の請求項７に係るマルチモーダル制御装置は請求項１〜５のいずれかに記載のマルチモーダル制御装置であって、データ入力項目への途中入力の結果データをマルチモーダル制御手段に通知するためのプログラムが埋め込まれたコンテンツを生成することを特徴とする。プログラムは、JavaScript（Javaは登録商標）やVBScript、Ｊａｖａアプレット（Ｊａｖａは登録商標）、ActiveXコントロールなど、実行する環境に応じたものを使用する。
【００１９】
この場合、データ入力項目への途中入力の結果データを同期する他のブラウザに反映させることが可能となる。
本発明の請求項８に係るマルチモーダル制御装置は、モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、モーダリティの種別毎に定義されたデータ入力項目範囲と入力フォーカス項目に基づいて、ドキュメント内のコンテンツ生成範囲を決定する生成範囲管理手段と、コンテンツ生成範囲に基づいて、ドキュメントデータからコンテンツを生成するコンテンツ生成手段と、生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段とを備える。
【００２０】
この場合、ドキュメント中のデータ入力項目を複数のページに分割して表示するような場合にも、入力フォーカス項目と表示されるコンテンツとの関連性を適切に維持することができる。
本発明の請求項９に係るマルチモーダル制御方法は、モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法であって、ドキュメントデータ内の入力フォーカス項目を管理するステップと、モーダリティの種別に応じて、ドキュメントデータから入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するステップと、生成されたコンテンツを対応するブラウザに送信するステップとを含む。
【００２１】
本発明の請求項１０に係るマルチモーダル制御方法のプログラムは、モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法のプログラムであって、ドキュメントデータ内の入力フォーカス項目を管理するステップと、モーダリティの種別に応じて、ドキュメントデータから入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するステップと、生成されたコンテンツを対応するブラウザに送信するステップとを含む。
【発明の効果】
【００２２】
本発明によれば、既存の音声モーダリティ用ブラウザ(VXMLブラウザ)およびGUI用ブラウザ(Webブラウザ)を使って、GUIの一覧性を生かしながら音声とGUI間の粒度の細かい同期を実現することが可能となる。また、粒度の異なるブラウザ間の入力項目を同期させてデータ入力の効率を高めることができる
【発明を実施するための最良の形態】
【００２３】
本発明に係るマルチモーダル制御方法が採用される実施形態を以下に説明する。
〔第１実施形態〕
図１は、本発明の第１実施例形態に係るマルチモーダル制御装置の全体構成である。
本発明に係るマルチモーダル制御装置は、たとえば、HTMLブラウザおよびVXMLブラウザなどのモーダリティ毎のブラウザおよびマルチモーダル制御部、ドキュメントデータベースから構成される。
【００２４】
この第１実施形態では、HTMLブラウザ10、VXMLブラウザ11の２つのブラウザを備えている。このうち、HTMLブラウザ10は、たとえば、Microsoft社のInternet   ExplorerなどのWebブラウザで構成することができ、Webサーバからの情報を取得してユーザ端末上に表示するとともに、所定の入力項目に対してユーザが入力するデータをマルチモーダル制御部に送信し、ユーザが入力したデータに応じて生成されたコンテンツをユーザ端末上に表示するように構成できる。
【００２５】
また、VXMLブラウザ11は、ユーザ端末側に設けられて、マイクとスピーカによりユーザが直接音声をやり取りできるように構成することができ、またサーバ側に配置されて電話経由により利用されるように構成できる。
ドキュメントデータベース32は複数のドキュメントの管理を行うものであり、データベースシステムもしくは一般的なファイルシステム等で実現することができる。このような１つのデータベースシステムまたはファイルシステムに代えて、ネットワーク上のWebアプリケーションから動的に生成されたドキュメントをHTTP経由で取得するような構成とすることもでき、他モジュールが生成するメモリ上のオブジェクトを取得してドキュメントとすることも可能である。
【００２６】
マルチモーダル制御部20は、モーダル管理部21、処理受付部22、入力フォーカス管理部23、入力データ管理部24、内部データオブジェクト格納部25、コンテンツ生成部26、コンテンツ送信部27を備えている。
モーダル管理部21は、複数のブラウザが同期していることを管理するものであり、同期ID、ブラウザ識別子、モーダル名の各項目で構成される同期管理テーブルを管理している。
【００２７】
処理受付部22は、ブラウザからの処理要求を受け付けて、入力フォーカス管理部23、入力データ管理部24、コンテンツ生成部26に処理を振り分ける。処理要求は、例えば、「新規ドキュメントの取得要求」、「途中入力結果の登録要求」、「入力フォーカスの移動要求」、「結果データの登録要求」等がある。要求内容は、例えば、ブラウザから送信されてくる処理要求情報に含まれるURI （Uniform Resource Identifier：情報資源の存在場所）の文字列などから判定することができる。
【００２８】
処理要求のうち新規ドキュメント取得要求は、複数の入力項目から構成される新規ドキュメントを新たにブラウザ側に送信することを指示するための要求である。途中入力結果の登録要求は、入力項目に入力されたデータを登録することを指示するための要求である。入力フォーカスの移動要求は、入力対象となる入力項目を移動することを指示するための要求である。また、結果データの登録要求等は、入力項目に入力されたデータを最終的に提供（Submit）するための要求である。一般的なWWWシステムでは、新規ドキュメントの取得要求と結果データの登録要求から構成されるが、本発明では、途中入力結果の登録要求、入力フォーカスの移動要求が追加されている。
【００２９】
入力フォーカス管理部23は、処理受付部22で受け付けた処理要求のうち、入力フォーカスの移動要求及び途中入力結果登録要求に応じて入力フォーカスを遷移させる処理を行う。ここでは、受け付けたフォーカス位置の移動要求に応じて、現在処理中であるドキュメント中の入力項目を移動し、この移動した入力項目を新たなフォーカス位置として内部データオブジェクト格納部25に登録する。
【００３０】
入力データ管理部24は、処理受付部22で受け付けた処理要求のうち、途中入力結果の登録要求に基づいて、該当する入力項目の途中入力結果を内部データオブジェクト格納部25に登録する。また、処理要求受付部22で受け付けた処理要求が結果データの登録要求である場合は、入力データ管理部24は、受け付けた結果データを結果データフィル31に書き出す。なお、結果データの書き出しは、結果データファイル31への書き出しだけではなく、データベースへの書き込み、もしくはネットワーク上の対応するサービスを行っているサーバに結果データを送信するように構成することもできる。
【００３１】
コンテンツ生成部26は、内部データオブジェクト格納部25の内容に応じて、ドキュメントデータベース32からドキュメントを読み出し、モーダリティの種別に応じたコンテンツ変換処理を行う。コンテンツ変換処理では、HTMLブラウザ10のようなGUIモーダリティに対しては、ドキュメント全体をコンテンツ変換するのに対して、VXMLブラウザ11のような音声モーダリティに対しては、入力フォーカス位置に対応する入力項目をコンテンツ変換する。このため、VXMLブラウザ11に対して変換処理されるコンテンツは、入力フォーカスの移動に伴って、異なる入力項目がコンテンツ変換される。一方、HTMLブラウザ10に対して変換処理されるコンテンツの場合は、入力フォーカスの移動に関わらず、全入力項目がコンテンツ変換される。このとき、入力フォーカスの位置を視覚的に明示するために、現在の入力フォーカスに対応する入力項目の背景色を変更したコンテンツを生成することも可能である。
【００３２】
コンテンツ変換の方法としては、例えば、HTML変換用XSL(Extensible Style sheet Language)とVXML変換用XSLを用意しておき、XSLT(XSL Transformations)を使って変換するなどがある(W3Cのhttp://www.w3.org/TR/xslt)。この場合、どのモーダリティに対応するコンテンツを細分化するかの定義はそれぞれのモーダリティ用XSLに定義することができる。本実施例では、HTMLブラウザ10に対するコンテンツの場合には、ドキュメントデータをそのままコンテンツ変換し、VXMLブラウザ11に対するコンテンツの場合には、入力フォーカスの入力項目のみをコンテンツ変換するように構成している。
【００３３】
コンテンツ送信部27は、コンテンツ生成部26で生成されたコンテンツを、対応するモーダリティのブラウザに送信する。最初のコンテンツリクエスト元であるブラウザに対しては、HTTP（ HyperText Transfer Protocol）リクエストに対するレスポンスとしてコンテンツを送信するのに対して、同期する他のブラウザに対しては、対応するコンテンツを取得するように指示（プッシュ）する。たとえば、ブラウザにURLなどの形式でコンテドキュメント取得要求処理を実行する。
【００３４】
この第１実施形態におけるマルチモーダル制御方法について、図２に示すフローチャートに基づいて説明する。
ステップS10では、処理受付部22によりブラウザからの処理要求を受け付ける。前述したように、ブラウザから送信される処理要求は、新規ドキュメント取得要求、途中入力結果登録要求、入力フォーカス移動要求、結果データ登録要求のいずれかであり、処理要求の如何により、ステップS11〜S14に分岐する。
【００３５】
ブラウザからの処理要求がドキュメント取得要求である場合には、ステップS11に移行する。  新規ドキュメント取得要求処理のフローチャートを図３に示す。
ステップS21では、処理受付部22が受け付けた処理要求に基づいて内部データオブジェクトを生成し、ドキュメント名を登録して内部データオブジェクト格納部25に格納する。
ステップS22では、入力フォーカス管理部23により、入力フォーカス位置フィールドを初期値に設定する。この場合、ドキュメント中に含まれる複数の入力項目のうち、最初の入力項目が選択されるように設定する。あるいは、デフォルトの入力準位を設定可能としておき、デフォルトの入力順位が設定されている場合は、ドキュメント中に含まれる複数の入力項目のうち、デフォルトの入力順位に対応する入力項目が選択されるように設定するようにしてもよい。
【００３６】
ステップS23では、コンテンツ生成部26により各モーダリティに応じたコンテンツを生成する。ここでは、処理受付部22で受け付けた処理要求に基づいて、コンテンツ生成部26はドキュメントデータベース32から該当するドキュメントを呼び出して、各ブラウザに対応するコンテンツに変換する。このとき、生成されたコンテンツが一覧性を備えるGUI系のブラウザに対するコンテンツであるような場合、最初の入力フォーカス位置として設定されている入力項目を視覚的に明示するために、背景色を変更するように構成できる。
【００３７】
ステップS24では、コンテンツ生成部26で生成されたコンテンツを、コンテンツ送信部27により対応するブラウザに送信する。ここでは、コンテンツ生成部26によって生成されたコンテンツを、処理要求があったブラウザに送信するとともに、同期するブラウザに対して対応するコンテンツを取得するようにプッシュする。
初期状態の内部データオブジェクトの例を図８に示す。
【００３８】
図８に示すように、内部データオブジェクトは、ドキュメント名、入力フォーカス、入力データのフィールド名と各フィールドの値とが対応するテーブルとして格納される。
ドキュメント名には、ドキュメントデータベースに格納されているドキュメントを特定する識別情報が格納される。図８の例では、ドキュメントのファイル名‘sheet1.xml’が格納されている。入力フォーカスには、現在の入力順位を表す数字が格納される。図８の例では、初期状態のため’1’が格納されている。入力データには、入力項目に対して各モーダリティから入力された入力内容が、入力項目を識別する情報と対応づけられて格納される。図8の例では、初期状態のため、空白となっている。
【００３９】
ドキュメントデータベース32に格納されているドキュメントの一例を、図９に示す。
ここでは、ドキュメント名＝’sheet1.xml’であり、XML（eXtensible Markup Language）で記述されたドキュメントの例を示す。図9の例は、設備点検項目の一例を示しており、点検の際のチェック項目として、”傷は無いか？”、”磨耗は無いか？”、”ポンプ圧は正常か？”で識別される3項目が存在することが、itemタグにて記述されている。この3項目は、ドキュメント中に含まれるデータ入力項目に該当する。また、図9の例では、inputタグにて、各入力項目に入力されるべき内容を記述している。具体的には、”傷は無いか？”と”磨耗は無いか？”については、”有”あるいは”無”が入力されるべき内容として設定されており、さらに、音声モーダリティ等から”あり”あるいは”ある”と入力された場合に”有”が入力されたと認識し、”なし”あるいは”ない”が入力された場合に”無”が入力されたと認識することが記述されている。また、”ポンプ圧は正常か？”については、”正常”あるいは”異常”が入力されるべき内容として設定されており、さらに、音声モーダリティ等から”せいじょう”が入力された場合に”正常”が入力されたと認識し、”いじょう”が入力された場合に”異常”が入力されたと認識することが記述されている。
【００４０】
コンテンツ生成部26は、処理受付部22により受け付けた処理要求に応じて、ドキュメントデータベース32からドキュメントを呼び出し、HTMLブラウザ10に対しては、HTML変換用XSLを適用することで、HTML変換用XSLに記述された変換規則に従って、図9に示すドキュメントデータから図10に示すような初期状態のHTMLコンテンツを生成する。HTMLブラウザ10に対しては、チェック項目が一覧表示されることが望ましいため、全ての入力項目がHTMLブラウザ10に表示されるように、HTMLコンテンツを生成する。ここでは、まず「チェック内容」および「結果」の欄を配置し、チェック内容の欄には、図9のドキュメントデータのitemタグの中のlabelタグから「傷は無いか？」、「磨耗は無いか？」、「ポンプ圧力は正常か？」を取得して項目名として記述する。それぞれの項目を識別するための項目IDを生成し、各項目に記述する。図10の例では、項目IDは”id”+連番で構成されており、「傷は無いか？」、「磨耗は無いか？」、「ポンプ圧力は正常か？」のぞれぞれの項目idは、”id1”、”id2”、”id3”と生成されている。また、それぞれの項目名について図9のドキュメントデータのitemタグのinput_typeのタグに対応づけれられたinput_typeタグの中のenumerationタグに基づいて入力されるべき入力内容として「有」、「無」または「正常」、「異常」を取得し、入力内容をラジオボタンとして配置する記述を行っている。また、入力終了を指示する際にWebサーバ側に’submit’を送信するための「送信」ボタンを設定するように構成されている。入力フォーカス管理部23が管理する入力フォーカス位置フィールドは初期値であることから、項目名「傷は無いか」に対応する欄に対して、背景色が他の項目の背景色と異なるように設定されている。図10の例では、1つめの入力項目となる”傷は無いか？”について、trタグの中のbgColorタグに”#FFFF00”を設定し、”傷は無いか？”の欄のみを背景職が黄色となるように設定している。このようにして、ドキュメントデータから生成されたHTMLコンテンツは、コンテンツ送信部27からHTMLブラウザ10に送信され、ユーザ端末上において図12(a)のように表示されることとなる。
【００４１】
また、コンテンツ生成部26は、処理受付部22により受け付けた処理要求に応じて、ドキュメントデータベース32からドキュメントを呼び出し、VXMLブラウザ11に対しては、VXML変換用XSLを適用することで、VXML変換用XSLに記述された変換規則に従って、図9に示すドキュメントデータから図11に示すような初期状態のVXMLコンテンツを生成する。VXMLコンテンツの場合、コンテンツ粒度を１つの入力項目ごとに対応させる必要があり、まず、入力フォーカス位置フィールドに”1”が設定されていることから、1つめの入力項目に対してのみVXMLコンテンツを生成する。図11の例を具体的に説明する。まず、blockタグにて、音声応答システムから「チェックを開始します」とのアナウンスを音声出力させるための記述を生成する。次に、1つめの入力項目であることを識別するための項目IDを生成する。図11の例では、前述したように、項目IDは”id”+連番で構成されており、1つめの入力項目であることから”id1”が生成される。生成された項目IDは、filed タグのnameタグに記述している。promptタグは、図9のドキュメントデータの1つめのitemタグのlabelタグから”傷はないか？”を取得して、「傷はないか？」の質問を音声出力するための記述を生成している。grammarタグには、生成した識別情報をgrammarのrootタグやruleのidタグに設定すると共に、図9のドキュメントデータで”傷は無いか？”に対応づけられているinput_type name=”type1”にて記述されている内容に基づいて、ruleの内容を記述する。
【００４２】
これにより、「傷はないか」という質問の音声出力に対して、「あり」または「ある」との音声入力があれば、該当する入力項目に「有」が入力されたと判断し、「なし」または「ない」との音声入力があれば、該当する入力項目に「無」が入力されたと判断することが定義されたVXMLコンテンツが生成される。このようなVXMLコンテンツは、コンテンツ送信部27からVXMLブラウザ11に送信され、ユーザ端末上において図12(b)のような対話が行われる（ここでは、一例として、「傷はないか？」の質問に対して、「ない」と音声入力した場合の例を示している）。
【００４３】
図２のフローチャートにおいて、ブラウザからの処理要求が途中入力結果登録要求である場合には、ステップS12に移行する。ここでの途中入力結果登録要求処理のフローチャートを図４に示す。
ステップS31では、処理受付部22が受け付けた処理要求に基づいて、入力データ管理部24が項目IDとその値を取り出して、内部データオブジェクトの入力データフィールドに項目IDとその値を登録する。たとえば、VXMLブラウザ11に対して、図11に示すようなコンテンツを生成し、図12(b)に示すような対話を行って、その結果をHTMLブラウザ11に反映させる場合を考える。この場合、「傷は無いか？」の項目ID’id1’に対する入力データは、「無」であり、このような途中入力結果登録要求がVXMLブラウザ11から送信されてくる。入力データ管理部24は、このような途中入力結果登録要求に基づいて、内部データオブジェクト格納部25を更新し、図13に示すように、内部データオブジェクトの入力データ項目の値を「id1=無」とする。
【００４４】
ステップS32では、入力フォーカス管理部23により、内部データオブジェクトの入力フォーカスフィールドの値をインクリメントする。このことにより、内部データオブジェクトのフォーカス位置は、図13に示すように、’2’となる。
ステップS33では、コンテンツ生成部26は、各モーダリティに対応するコンテンツを生成する。ここでは、途中入力結果登録要求に基づく入力データが反映されたコンテンツを生成することとなる。たとえば、HTMLブラウザ10に対するコンテンツとして、図13の内部データオブジェクトの内容が反映されたものを図14に示す。ここでは、入力項目’id1’に対して「無」のデータが入力された旨を示す’checked’タグが記述され、フォーカス位置フィールドの値に基づいて、２番目の入力項目’id2’"摩耗は無いか"の背景色が変更されている。
【００４５】
また、コンテンツ生成部26は、VXMLブラウザ11に対するコンテンツとして、図15に示すような、次の入力項目である「磨耗は無いか？」（id2）のVXMLコンテンツを生成する。この入力項目’id2’に対応するコンテンツは、入力項目’id1’に対応するコンテンツ（図11）と同様に、コンテンツ粒度を細分化した形式で記述している。
ステップS34では、コンテンツ送信部27により、各ブラウザに対して対応するコンテンツを送信する。この結果、前述した例では、HTMLブラウザ10に対しては、図16(a)に示すように、「傷は無いか？」の入力項目に入力データが反映され、２つの入力項目の背景色が変更されたコンテンツが送信される。また、VXMLブラウザ11に対して、「磨耗はないか？」の音声出力がなされ、これに対する回答を音声入力することにより、図16(b)に示すような対話が行われる。
【００４６】
図２のフローチャートにおいて、ブラウザからの処理要求が入力フォーカス位置移動要求処理である場合には、ステップS13に移行する。ステップS13では、フォーカス位置管理部23によりフォーカス位置移動要求処理を実行する。ここでのフォーカス位置移動要求処理のフローチャートを図５に示す。
ステップS41では、入力フォーカス管理部23は、処理受付部22により受け付けた処理要求から移動コマンドを取り出す。HTMLブラウザ10の場合には、コンテンツ中に入力フォーカスを移動させるためのボタンを生成しておき、これがマウスなどのポインティングデバイスによりクリックされた場合に入力フォーカス位置移動要求を発生するように構成できる。また、ユーザ端末に表示されるコンテンツ中の入力項目位置がマウスなどのポインティングデバイスにより直接クリックされた場合に、フォーカス位置移動要求を発生するように構成できる。VXMLブラウザ11では、「上」、「下」、「右」「左」などのフォーカス位置の移動を指示する音声を認識した場合や、入力項目を直接指定する音声を認識した場合に、これらの指示に対応するフォーカス位置移動要求を発生するように構成できる。
【００４７】
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが次項目への移動要求であると判断した場合には、ステップS42に移行する。
ステップS42では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値をインクリメントする。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが前項目への移動要求であると判断した場合には、ステップS43に移行する。
【００４８】
ステップS43では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値をデクリメントする。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが入力項目位置を直接指定する移動要求であると判断した場合には、ステップS44に移行する。
ステップS44では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値を指定された値にセットする。
【００４９】
ステップS45では、コンテンツ生成部26は、各モーダリティに対応するコンテンツを生成する。前述と同様に、HTMLブラウザ10に対しては、一覧性を保持したまま、現在の入力項目（入力フォーカス位置）の背景色を変更したコンテンツとすることができ、また、VXMLブラウザ11に対しては、コンテンツ粒度を細分化して、入力項目ごとにコンテンツを生成するように構成できる。
【００５０】
ステップS46では、コンテンツ送信部27により、生成されたコンテンツを対応するブラウザに送信する。
図２のフローチャートにおいて、ブラウザからの処理要求が結果データ登録要求処理である場合には、ステップS14に移行する。ここでは、入力データ管理部24により結果データ登録要求処理を実行する。ここでの結果データ登録要求処理のフローチャートを図６に示す。
【００５１】
ステップS51では、入力データ管理部24は、処理受付部22により受け付けた処理要求から結果データを取り出す。
ステップS52では、入力データ管理部24は、処理要求から取り出した結果データを結果データファイル31やその他のデータベースなどに書き出す。
ステップS53では、入力データ管理部24は、内部データオブジェクトを削除する。
【００５２】
たとえば、VXMLブラウザ11において、図12(b)、図16(b)に示すような対話が行われ、さらに、項目’id3’についても「正常」の旨の入力が行われた場合、内部データオブジェクトは、図17に示すような状態となっている。すなわち、フォーカス位置フィールドが最終の入力項目である’id3’を示す値の次の値になっており、各入力項目に対する入力データが登録された状態となっている。これに伴って、HTMLコンテンツは、図18に示すように、各入力項目のINPUT属性には’checked’が挿入される。また、VXMLコンテンツは、結果データ登録要求を促すための「以上のチェック結果をセンターに送信しますか？」の音声出力を行い、その回答を待機するためのコンテンツを図19のように生成する。この結果、HTMLブラウザ10には図20(a)に示すように、各入力結果が表示され、送信ボタンの入力を待機する画面が表示されることとなる。また、VXMLブラウザ11では、図20(b)に示すような対話が実行される。
【００５３】
HTMLブラウザ10の送信ボタンが操作された場合、またはVXMLブラウザ11の「以上のチェック結果をセンターに送信しますか？」の音声出力に対してユーザが「はい」との回答を行った場合には、結果データ登録要求処理が行われることとなる。この結果データ登録要求処理に基づいて出力される結果データファイルの例を図21に示す。
前述した各工程において、内部データオブジェクト格納部25に格納された内部データオブジェクトは、コンテンツ生成部26によって、各ブラウザに対応するコンテンツに変換されてコンテンツ送信部27を介して送信される。各ブラウザに対応するコンテンツ生成処理を図７のフローチャートに基づいて説明する。ここで、図7(a)は、HTMLブラウザ10に対するコンテンツ生成工程であり、図7(b)は、VXMLブラウザ11に対するコンテンツ生成工程である。
【００５４】
ステップS61では、コンテンツ生成部26は、内部データオブジェクトに登録されたドキュメントを読み出す。
ステップS62では、コンテンツ生成部26は、各入力項目にユニークな項目IDを生成し、ドキュメント全体をHTMLコンテンツに変換する。ここで、入力フォーカス管理部23により管理される入力フォーカス位置に基づいて、現在の入力項目の背景色を変更し、入力データ結果に対応する入力項目のINPUT属性に’checked’を挿入することにより、現在の入力項目を明示し、入力済みの結果データをブラウザ上で表示することができる。
【００５５】
ステップS71では、コンテンツ生成部26は、内部データオブジェクトに登録されたドキュメントを読み出す。
ステップS72では、コンテンツ生成部26は、各入力項目にユニークな項目IDを生成し、入力フォーカスに対応する入力項目のみをVXMLコンテンツに変換する。このことにより、VXMLブラウザ11に送信されるコンテンツの粒度を細分化して、ブラウザに適した粒度でのコンテンツ再生を実現することができる。
【００５６】
なお、この第１実施形態では、音声入力の結果を画面出力する音声主導の場合について記載しているが、これは、通常のVXMLブラウザには、途中入力結果を反映させたコンテンツのプッシュを受けるための入力インターフェイスを備えていないためである。これに対して、Webブラウザの場合はＪａｖａアプレット（Ｊａｖａは登録商標）やJavaScript（Javaは登録商標）、あるいはプラグイン機能等を使ってプッシュを受けるための入力インターフェイスを容易に実現することが可能である。VXMLブラウザ側にこのようなインターフェイスを実装している場合、Webブラウザでの入力結果をダイレクトに音声側に反映させることが可能となるため、Webブラウザ主導によりVXMLブラウザを同期させることも可能となる。この場合、Webブラウザでの途中入力結果をマルチモーダル制御部に通知するための機構が必要となるため、Ｊａｖａアプレット（Ｊａｖａは登録商標）もしくはJavaScript（Javaは登録商標）をコンテンツに含めることが必要である。
【００５７】
また、図３では、処理受付部22においてドキュメント名を内部データオブジェクトに登録し、コンテンツ生成部26が毎回ドキュメントの読み出しを行っているが、別の方法として、処理受付部22でドキュメントの読み出しを行い、読み出したメモリのアドレスを内部データオブジェクトに登録しコンテンツ生成部26で該当メモリを読み出す方法でもよい。
また、上述の実施例では、ドキュメントデータから各モーダリティに対応するコンテンツへ変換する際に、ドキュメントデータの各入力項目に対してユニークな項目IDを自動的に生成するようにしているが、ドキュメントデータに各入力項目毎に項目IDを設定しておく構成としてもよい。
【００５８】
また、変換されるHTMLコンテンツ（図10,図14,図18）におけるFormのAction属性には、submit時の送信先として、結果データ登録要求受け付けURIである/resultをセットするのに対して、VXMLコンテンツ(図11,図15)の場合は、途中入力結果受付URIである/reportをセットしている。また、最終結果をサーバ送信するかどうかを問い合わせるVXMLコンテンツ(図19)の場合は、結果データ登録要求受け付けURIである/resultと共に、それまでに入力された入力データをHTTPのクエリ文字列としてセットする。
〔第２実施形態〕
図22は、本発明の第２実施例形態に係るマルチモーダル制御装置の全体構成である。
【００５９】
この第２実施形態におけるマルチモーダル制御装置は、第１実施形態と同様に、HTMLブラウザ10およびVXMLブラウザ11などのモーダル毎のブラウザおよびマルチモーダル制御部20、ドキュメントデータベース33から構成される。
この第２実施形態においても、HTMLブラウザ10、VXMLブラウザ11の２つのブラウザを備えている。
【００６０】
マルチモーダル制御部20の構成は、第１実施形態とほぼ同様の構成であり、ここでは説明を省略する。
第１実施形態では、XMLにより記述されたドキュメントから入力フォーカスに応じて動的にコンテンツ変換していたのに対して、この第２実施形態では、HTMLコンテンツと細分化されたVXMLコンテンツのそれぞれのコンテンツを予めJSP(Java Server Pages)として用意しておき、入力フォーカスに応じて適切なJSPからコンテンツ生成してブラウザに送信する構成を示す。
【００６１】
HTML用JSPと細分化されたVXML用JSPファイルの対応関係は、ドキュメントデータベース33内のドキュメント定義ファイル(XMLファイル)で定義する(図24A〜図24B)。図24A〜図24Bの例では、入力項目のid1に対応するHTML用JSPとVXML用JSPは、HTML1.jspとVXML1.jspであることを示している。
HTML1.jspの例を図25に示す。また、VXML１.jspの例を図11に示す。図25では、内部データオブジェクト内の入力フォーカスと途中入力結果をHTMLコンテンツに反映させるためのJavaプログラムが記述されている。
【００６２】
また、図24A〜図24Bではさらにid2,id3に関する対応関係と共に、最終的に入力項目の入力結果送信を行うためのSubmit確認用コンテンツの対応関係が定義されている。図24AにおけるVXML4.jspの例を図19に示す。
この第２実施形態におけるマルチモーダル制御部のフローチャートは、第１実施形態とほぼ同様である。ただし、第1実施形態ではドキュメント名を内部データオブジェクトに登録し、コンテンツ生成部26がそれを読み出してコンテンツ変換するのに対して、第２実施形態ではドキュメント定義ファイル名を内部データオブジェクトに登録し、コンテンツ生成部26がそれを読み出し、定義にしたがって該当するJSPファイル名を抽出し、JSPに処理を依頼することでコンテンツを生成して各ブラウザに送信する。図23に第２実施形態における内部データオブジェクトの例を示す。
【００６３】
図26にコンテンツ生成部26の処理フローを示す。ここで、図26(a)は、HTMLブラウザ10に対するコンテンツの生成工程を示すものであり、図26(b)は、VXMLブラウザ11に対するコンテンツの生成工程を示すものである。
ステップS81では、コンテンツ生成部26は、内部データオブジェクトに登録されたドキュメント定義ファイルを読み出す。
【００６４】
ステップS82では、コンテンツ生成部26は、入力項目の数が内部データオブジェクトの入力フォーカスに一致するitem要素を抽出し、model属性がHTMLであるitemの値をHTML用JSPファイルとして取り出して、JSPに処理を依頼する（内部データオブジェクトをJSPに渡す）。
ステップS83では、JSPが内部データオブジェクトを参照し、現在の入力フォーカス位置に背景色を挿入するとともに、入力済み項目についてINPUT属性としてcheckedを挿入して、HTMLコンテンツを生成する。
【００６５】
ステップS91では、コンテンツ生成部26は、内部データオブジェクトに登録されたドキュメント定義ファイルを読み出す。
ステップS92では、コンテンツ生成部26は、入力項目の数が内部データオブジェクトの入力フォーカスに一致するitem要素を抽出し、model属性がVXMLであるitemの値をVXML用JSPファイルとして取り出して、JSPに処理を依頼する（内部データオブジェクトをJSPに渡す）。
【００６６】
ステップS93では、JSPが内部データオブジェクトを参照して、現在の入力フォーカス位置に対応するVXMLコンテンツを生成する。
〔第３実施形態〕
本発明の第３実施形態に係るマルチモーダル制御装置の全体構成を図27に示す。
この第３実施形態では、入力項目を１つ１つに細分化するコンテンツと全項目を含むコンテンツの２者択一ではなく、中間の粒度のコンテンツ生成を許す実施例を示す。
【００６７】
第1実施形態および第２実施形態の構成に加えて、マルチモーダル制御部20にコンテンツ粒度を管理するための粒度管理部28を備えた構成となっている。粒度管理部28は、各モーダリティ用に生成したコンテンツの粒度を管理するものであり、モーダリティ毎の細分化粒度を定義したコンテンツ粒度定義ファイル34に基づいて、内部データオブジェクトに生成すべきコンテンツの入力項目の範囲を設定するように構成できる。このコンテンツ粒度定義ファイル34の一例を図34に示す。コンテンツ生成部26は、コンテンツ粒度定義ファイル34に基づいて粒度管理部28が設定した入力項目範囲に基づいて各モーダリティ用のコンテンツを生成することで、たとえば、大きい画面サイズ向けに作成したドキュメントデータを、携帯電話等の画面サイズが制限されたモーダリティ(CHTML)に対して、適当な粒度で細分化して表示することが可能となる。このような粒度が異なるブラウザとして、CHTMLブラウザ12を備える構成について説明する。
【００６８】
この第３実施形態におけるマルチモーダル制御処理のフローチャートを図28に示す。
ステップS101では、処理受付部22によりブラウザからの処理要求を受け付ける。ここで、ブラウザから送信される処理要求は、新規ドキュメント取得要求、途中入力結果登録要求、入力フォーカス移動要求、結果データ登録要求に加えて、ページ移動要求があり、処理要求の如何により、ステップS102〜S106に分岐する。
【００６９】
ブラウザからの処理要求がドキュメント取得要求である場合には、ステップS102に移行する。ステップS102では、処理受付部22により新規ドキュメント取得要求処理を実行する。新規ドキュメント取得要求処理のフローチャートを図29に示す。
ステップS111では、処理受付部22が受け付けた処理要求に基づいて内部データオブジェクトを生成し、ドキュメント名を登録して内部データオブジェクト格納部25に格納する。
【００７０】
ステップS112では、入力フォーカス管理部23により、入力フォーカス位置フィールドを初期値に設定する。
ステップS113では、粒度管理部28がコンテンツ粒度定義ファイル34に基づいて、各モーダリティの入力項目範囲を以下のように設定する。
（１）粒度がALLの場合の入力項目範囲：[入力フォーカス位置]から[入力項目数]
（２）粒度が１の場合の入力項目範囲：[入力フォーカス位置]
（３）粒度がALLでも１でもない場合の入力項目範囲：[入力フォーカス位置]から[入力フォーカス位置＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数を最大値とする）
ステップS114では、粒度管理部34により設定されたモーダリティごとのコンテンツ粒度により、コンテンツ生成部26が各モーダリティに応じたコンテンツを生成する。ここでは、第１実施形態と同様にして、処理受付部22で受け付けた処理要求に基づいて、コンテンツ生成部26はドキュメントデータベース32から該当するドキュメントを呼び出して、各ブラウザに対応するコンテンツに変換する。
【００７１】
ステップS115では、コンテンツ生成部26で生成されたコンテンツを、コンテンツ送信部27により対応するブラウザに送信する。ここでは、コンテンツ生成部26によって生成されたコンテンツを、処理要求があったブラウザに送信するとともに、同期するブラウザに対して対応するコンテンツを取得するようにプッシュする。このとき、生成されたコンテンツが一覧性を備えるGUI系のブラウザに対するコンテンツであるような場合、最初の入力フォーカス位置として設定されている入力項目を視覚的に明示するために、背景色を変更するように構成できる。
【００７２】
図28のフローチャートにおいて、ブラウザからの処理要求が途中入力結果登録要求である場合には、ステップS103に移行する。ステップS103では、途中入力結果要求処理を実行する。ここでの途中入力結果登録要求処理のフローチャートを図30に示す。
ステップS121では、処理受付部22が受け付けた処理要求に基づいて、入力データ管理部24が項目IDとその値を取り出して、内部データオブジェクトの入力データフィールドに項目IDとその値を登録する。
【００７３】
ステップS122では、入力フォーカス管理部23により、内部データオブジェクトの入力フォーカスフィールドの値をインクリメントする。
ステップS123では、粒度管理部28により、入力フォーカス位置が入力項目範囲を超えたモーダリティの入力項目範囲を以下のように更新する。
・  粒度が１の場合の入力項目範囲：[入力フォーカス位置]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力フォーカス位置]から[入力フォーカス位置＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数を最大値とする）
ステップS124において、コンテンツ生成部26は、各モーダリティに対応するコンテンツを生成する。ここでは、途中入力結果登録要求に基づく入力データが反映されたコンテンツを生成することとなる。
【００７４】
ステップS125において、コンテンツ送信部27は、各ブラウザに対して対応するコンテンツを送信する。
図28のフローチャートにおいて、ブラウザからの処理要求が入力フォーカス位置移動要求処理である場合には、ステップS104に移行する。ステップS104では、フォーカス位置管理部23によりフォーカス位置移動要求処理を実行する。ここでのフォーカス位置移動要求処理のフローチャートを図31に示す。
【００７５】
ステップS131では、入力フォーカス管理部23は、処理受付部22により受け付けた処理要求から移動コマンドを取り出す。前述の実施形態と同様に、HTMLブラウザ10の場合には、コンテンツ中に入力フォーカスを移動させるためのボタンを生成しておき、これがマウスなどのポインティングデバイスによりクリックされた場合に入力フォーカス位置移動要求を発生するように構成できる。また、ユーザ端末に表示されるコンテンツ中の入力項目位置がマウスなどのポインティングデバイスにより直接クリックされた場合に、フォーカス位置移動要求を発生するように構成できる。VXMLブラウザ11では、「上」、「下」、「右」「左」などのフォーカス位置の移動を指示する音声を認識した場合や、入力項目を直接指定する音声を認識した場合に、これらの指示に対応するフォーカス位置移動要求を発生するように構成できる。
【００７６】
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが次項目への移動要求であると判断した場合には、ステップS132に移行する。
ステップS132では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値をインクリメントする。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが前項目への移動要求であると判断した場合には、ステップS133に移行する。
【００７７】
ステップS133では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値をデクリメントする。
入力フォーカス管理部23は、入力フォーカス位置の移動コマンドが入力項目位置を直接指定する移動要求であると判断した場合には、ステップS134に移行する。
ステップS134では、入力フォーカス管理部23は、内部データオブジェクトの入力フォーカス位置フィールドの値を指定された値にセットする。
【００７８】
ステップS135では、入力フォーカス位置が入力項目範囲を超えたモーダリティに対して入力項目範囲を以下のように更新する。
（１）粒度が１の場合の入力項目範囲：[入力フォーカス位置]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力フォーカス位置]から[入力フォーカス位置＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数を最大値とする）
ステップS136では、コンテンツ生成部26は、各モーダリティに対応するコンテンツを生成する。前述と同様に、HTMLブラウザ10に対しては、一覧性を保持したまま、現在の入力項目（入力フォーカス位置）の背景色を変更したコンテンツとすることができ、また、VXMLブラウザ11に対しては、コンテンツ粒度を細分化して、入力項目ごとにコンテンツを生成するように構成できる。
【００７９】
ステップS137では、コンテンツ送信部27により、生成されたコンテンツを対応するブラウザに送信する。
図30のフローチャートにおいて、ブラウザからの処理要求が結果データ登録要求処理である場合には、ステップS105に移行する。ここでは、入力データ管理部24により結果データ登録要求処理を実行する。ここでの結果データ登録要求処理は、第１実施形態の図６と同様であり、説明を省略する。
【００８０】
図30のフローチャートにおいて、ブラウザからの処理要求がページ移動要求であると判断した場合にはステップS106に移行する。ステップS106では、ページ移動要求処理を実行するものであり、その詳細を図32のフローチャートを用いて説明する。
ステップS141では、粒度管理部28は、処理受付部22により受け付けた処理要求からページ移動に関する移動コマンドを取り出す。ドキュメントに対する粒度が１でもALLでもないようなモーダリティの場合、複数の入力項目を含むページにドキュメントを分割してコンテンツを表示することとなる。したがって、ブラウザに表示されるコンテンツに、次ページに移動するためのボタン、前ページに移動するためのボタンなどを設けて、これらのボタンをマウスなどのポインティングデバイスを用いてクリックすることによって、ページ移動要求を生成するように構成することができる。たとえば、携帯電話やPDAなどの携帯情報端末で閲覧可能なWebページを作成するための記述言語である CHTML（Compact HTML）によるコンテンツを表示する場合に、表示画面が小型であることから、ドキュメントを複数のページに分割して表示する必要がある。このような場合に、たとえば、図35に示すように、次ページを指示するための「次へ」ボタン、前ページを指示するための「前へ」ボタンを設けておき、これらのボタンが操作されることによりページ移動要求を生成するように構成できる。
【００８１】
粒度管理部28は、移動コマンドが次ページへの移動要求であると判断した場合にはステップS142に移行する。
ステップS142では、粒度管理部28により、ページ移動要求の要求元であるモーダリティの入力項目範囲を更新する。ここでも、以下の規則が適用される。
（１）粒度が１の場合の入力項目範囲：[入力フォーカス位置＋１]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力項目範囲の最大値＋１]から[入力項目範囲の最大値＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数を最大値とする）
ステップS143では、入力フォーカス管理部23により、ページ移動要求の要求元であるモーダリティの入力項目範囲の最小値に入力フォーカス位置を設定する。入力フォーカス位置をページ移動に応じて変更しない場合には、ページ移動要求の要求元であるモーダリティにおいて、現在の入力フォーカス位置である入力項目が表示されないという場合が生じることとなるが、このように、入力フォーカス位置を同時に変更することにより、新たなページでの入力が容易となる。
【００８２】
ステップS141において、粒度管理部28は、ページ移動要求構えページへの移動要求であると判断した場合、ステップS144に移行する。
ステップS144では、粒度管理部28により、ページ移動要求の要求元であるモーダリティの入力項目範囲を更新する。ここでは、以下の規則が適用される。
（１）粒度が１の場合の入力項目範囲：[入力フォーカス位置―１]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力項目範囲の最小値―粒度定義数]から[入力項目範囲の最小値―１] 
ステップS145では、入力フォーカス管理部23により、ページ移動要求の要求元であるモーダリティの入力項目範囲の最大値に入力フォーカス位置を設定する。この場合も、入力フォーカス位置をページ移動に応じて変更することにより、ページ移動要求の要求元であるモーダリティにおいて、現在の入力フォーカス位置を常に表示して新たなページでの入力を容易にする。
【００８３】
ステップS146では、粒度管理部28により、ページ移動要求の要求元でないモーダリティにおいて、入力フォーカスが入力項目範囲を超えたと判断した場合に、そのモーダリティにおける入力項目範囲を以下のように更新する。
・  粒度が１の場合の入力項目範囲：[入力フォーカス位置]
（２）粒度が１でもALLでもない場合の入力項目範囲：[入力フォーカス位置]から[入力フォーカス位置＋粒度定義数―１]（ただし、入力項目数を超えた場合は入力項目数が最大値となる）
ステップS147では、コンテンツ生成部26が、各モーダリティに応じたコンテンツを生成する。
【００８４】
ステップS148では、コンテンツ送信部27により各ブラウザに対応するコンテンツを送信する。
HTMLブラウザ10およびVXMLブラウザ11によるコンテンツ生成処理は、第１実施形態と同様であり、ここではその説明を省略する。
CHTMLブラウザ12に対するコンテンツを生成する処理を図33のフローチャートに基づいて説明する。
【００８５】
ステップS151では、コンテンツ生成部26により内部データオブジェクトに登録されたドキュメントを読み出す。
ステップS152において、コンテンツ生成部26は、各入力項目にユニークな項目IDを生成し、コンテンツ粒度定義ファイル34に定義されているCHTMLの入力項目範囲の入力項目をCHTMLコンテンツに変換する。このとき、ページ移動要求の指示入力を受け付けるために、最初のページには「次へ」ボタン（リンク）を挿入し、途中のページには「前へ」、「次へ」ボタン（リンク）を挿入し、最終ページには「前へ」ボタン（リンク）と「submit」ボタンを挿入する。また、それまでに入力された別ページの入力データをhidden属性のINPUTタグとして挿入することにより、「submit」が指示された場合に、それまでに入力された入力データがすべて結果データとして送信されることとなる。
【００８６】
このようなCHTMLブラウザ12におけるコンテンツ表示例を図35に基づいて説明する。第１実施形態のHTMLブラウザ10で表示したものと同一のドキュメントをCHTMLブラウザ12において表示させる場合に、入力項目範囲が２であるとする。初期状態での内部データオブジェクトは、図36に示すように、ドキュメント名’sheet1.xml’のドキュメントに対して、フォーカス位置フィールドが’1’であり、CHTMLブラウザ12に対する入力項目範囲が１〜２であり、VXMLブラウザ11に対する入力項目範囲が１であるとする。この場合、図35(a)に示すように、入力項目範囲１〜２を表示し、現在の入力項目である「傷は無いか？」の項目の背景色が変更されて表示される。このときのCHTMLコンテンツは、図37に示すような構成となる。このうち、タグ中に「bgColor＝”#FFF00”」と記述されたものが入力フォーカス位置の背景色を変更した記述であり、「a  href=”page&command=nextpage”」の記述が次のページへのページ移動要求ボタン（リンク）の記述となっている。
【００８７】
入力項目’id1’（「傷は無いか？」）に対する入力が終わると、内部データオブジェクトは図38に示すような値に更新されている。コンテンツ生成部26は、この内部データオブジェクトに基づいて、図39に示すようなCHTMLコンテンツを生成する。ここでは、背景色を変更するための「bgColor＝”#FFF00”」のタグが、入力項目’id2’に移行している。このようなCHTMLコンテンツは、CHTMLブラウザ12において、図35(b)のように表示される。ここでは、入力項目’id1’に対する入力結果が反映され、現在の入力フォーカス位置が入力項目’id2’に移動していることがわかる。
【００８８】
さらに、入力項目’id2’へのデータ入力が終了した、あるいは、「次へ」のページ移動要求が指示された場合には、内部データオブジェクトは図40に示すように、フォーカス位置が’3’となり、CHTMLブラウザ12の入力項目範囲が’3’に設定される。ページ移動要求は、フォーカス位置がブラウザの入力項目範囲を超えた場合にブラウザから自動的にページ移動要求を送信するように構成することも可能であり、また、コンテンツ生成部26側において自動的にページ移動したコンテンツを生成するように構成することも可能である。このような内部データオブジェクトに基づいて生成されたCHTMLコンテンツを、図41に示す。ここで、それ以前に入力された別ページの入力データである入力項目’id1’、’id2’の値がhidden属性を持ったINPUTタグとして挿入されていることから、「submit」が指示された場合にすべての入力データを結果データとして送信することが可能となる。CHTMLブラウザ12における表示画面例は、図35(c)のようになる。
【００８９】
（付記１）
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、
前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、
前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するコンテンツ生成手段と、
前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、
を備えることを特徴とするマルチモーダル制御装置。
（付記２）
前記入力フォーカス管理手段は、データ入力項目に対して前記いずれかのモーダリティからデータの入力がなされたことを検知したことに応じて、入力フォーカス項目の内容を変更することを特徴とする付記１に記載のマルチモーダル制御装置。
（付記３）
前記コンテンツ生成手段において、データ入力項目範囲が１であるモーダリティに対するコンテンツに対して、前記複数のデータ入力項目に対するデータの入力が完了した後に、当該入力データの送信を確認するためのコンテンツを生成することを特徴とする付記２に記載のマルチモーダル制御装置。
【００９０】
このように構成する場合には、入力されたデータの送信手続きを別途作成することなく、複数の入力項目に対するデータの入力が完了した時点で入力データを送信することが可能となる。
（付記４）
前記コンテンツ生成手段は、さらに、送信を確認するためのコンテンツに、前記入力されたデータの内容を送信データとして設定したコンテンツを生成することを特徴とする付記３に記載のマルチモーダル制御装置。
【００９１】
このように構成する場合には、入力項目へのデータの入力が完了した時点で、入力したデータを利用して、所定の送信先に送信することが可能となる。
（付記５）
前記ブラウザはGUIモーダリティ用ブラウザを含み、前記GUIモーダリティ用ブラウザに対して、入力フォーカス位置に対応するデータ入力項目を明示するコンテンツを生成することを特徴とする付記１に記載のマルチモーダル制御装置。
（付記６）
前記GUIモーダリティ用ブラウザに対して、途中入力結果のデータを初期値として入力フォームに埋め込むことを特徴とする付記５に記載のマルチモーダル制御装置。
（付記７）
複数のデータ入力項目から構成されるドキュメントデータから各ブラウザ用のコンテンツを生成する際に、データ入力項目毎に一意な文字列を生成し、各モーダリティに共通する入力用識別子として前記文字列を設定することを特徴とする付記１〜６のいずれかに記載のコンテンツ生成手段
（付記８）
前記複数のデータ入力項目から構成されるドキュメントデータは、データ入力項目毎にモーダリティ種別に応じたコンテンツが定義された定義ファイルを備え、各モーダリティ種別および入力フォーカス項目に応じて、前記定義ファイルから該当するデータ入力項目に対応した各モーダリティ用コンテンツを読み出すことを特徴とする付記１〜７のいずれかに記載のマルチモーダル制御装置。
（付記９）
前記データ入力項目への途中入力の結果データを前記マルチモーダル制御手段に通知するためのプログラムが埋め込まれたコンテンツを生成することを特徴とする付記１〜８のいずれかに記載のマルチモーダル制御装置。
（付記１０）
入力フォーカス項目の移動を検出して入力フォーカス項目の移動情報を前記マルチモーダル制御手段に通知するためのプログラムが埋め込まれたコンテンツを生成することを特徴とする付記１〜９のいずれかに記載のマルチモーダル制御装置。プログラムは、JavaScript（Javaは登録商標）やVBScript、Ｊａｖａアプレット（Ｊａｖａは登録商標）、ActiveXコントロールなど、実行する環境に応じたものを使用する。
【００９２】
この場合、入力フォーカス項目の移動に伴って、これに基づいた適切なコンテンツを生成することができる。
（付記１１）
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御装置であって、
前記ドキュメントデータ内の入力フォーカス項目を管理する入力フォーカス管理手段と、
モーダリティの種別毎に定義されたデータ入力項目範囲と前記入力フォーカス項目に基づいて、前記ドキュメント内のコンテンツ生成範囲を決定する生成範囲管理手段と、
前記コンテンツ生成範囲に基づいて、前記ドキュメントデータからコンテンツを生成するコンテンツ生成手段と、
前記生成されたコンテンツを対応するブラウザに送信するコンテンツ送信手段と、
を備えることを特徴とするマルチモーダル制御装置。
（付記１２）
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法であって、
前記ドキュメントデータ内の入力フォーカス項目を管理するステップと、
前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するステップと、
前記生成されたコンテンツを対応するブラウザに送信するステップと、
を含むマルチモーダル制御方法。
（付記１３）
モーダリティの種別に応じたコンテンツを解釈してユーザとインタラクションを行うブラウザをモーダリティ種別ごとに備え、複数のデータ入力項目から構成されるドキュメントデータから各モーダリティの特性に応じたデータ入力項目範囲で現在の入力対象である入力フォーカス項目を含んだコンテンツを生成して各ブラウザに出力するマルチモーダル制御方法のプログラムであって、
前記ドキュメントデータ内の入力フォーカス項目を管理するステップと、
前記モーダリティの種別に応じて、前記ドキュメントデータから前記入力フォーカス項目を含むデータ入力項目範囲でコンテンツを生成するステップと、
前記生成されたコンテンツを対応するブラウザに送信するステップと、
を含むマルチモーダル制御方法のプログラム。
【産業上の利用可能性】
【００９３】
以上説明したように、本発明によれば、既存の音声モーダリティ用ブラウザ(VXMLブラウザ)およびGUI用ブラウザ(Webブラウザ)を使って、GUIの一覧性を生かしながら音声とGUI間の粒度の細かい同期を実現することが可能となる。また、粒度の異なるブラウザ間の入力項目を同期させてデータ入力の効率を高めることができる。
【図面の簡単な説明】
【００９４】
【図１】第１実施形態の概略構成を示す機能ブロック図。
【図２】その動作を示す制御フローチャート。
【図３】新規ドキュメント取得要求処理の制御フローチャート。
【図４】途中入力結果登録要求処理の制御フローチャート。
【図５】入力フォーカス移動要求処理の制御フローチャート。
【図６】結果データ登録要求処理の制御フローチャート。
【図７】コンテンツ生成処理の制御フローチャート。
【図８】初期状態の内部データオブジェクトの説明図。
【図９】ドキュメントデータの説明図。
【図１０】初期状態のHTMLコンテンツの説明図。
【図１１】初期状態VXMLコンテンツの説明図。
【図１２】初期状態のブラウザ画面例および対話例の説明図。
【図１３】データ入力後の内部データオブジェクトの説明図。
【図１４】データ入力後のHTMLコンテンツの説明図。
【図１５】データ入力後のVXMLコンテンツの説明図。
【図１６】データ入力後のブラウザ画面例および対話例の説明図。
【図１７】データ入力後の内部データオブジェクトの説明図。
【図１８】データ入力後のHTMLコンテンツの説明図。
【図１９】データ入力後のVXMLコンテンツの説明図。
【図２０】データ入力後のブラウザ画面例および対話例の説明図。
【図２１】結果データの説明図。
【図２２】第２実施形態の概略構成を示す機能ブロック図。
【図２３】初期状態の内部データオブジェクトの説明図。
【図２４Ａ】ドキュメント定義ファイルの説明図。
【図２４Ｂ】ドキュメント定義ファイルの説明図。
【図２５】HTML1.jspの説明図。
【図２６】コンテンツ生成処理の制御フローチャート。
【図２７】第３実施形態の概略構成を示す機能ブロック図。
【図２８】その動作を示す制御フローチャート。
【図２９】新規ドキュメント取得要求処理の制御フローチャート。
【図３０】途中入力結果登録要求処理の制御フローチャート。
【図３１】入力フォーカス移動要求処理の制御フローチャート。
【図３２】ページ移動要求処理の制御フローチャート。
【図３３】CHTMLのコンテンツ生成処理の制御フローチャート。
【図３４】粒度定義ファイルの説明図。
【図３５】CHTMLブラウザの画面例の説明図。
【図３６】初期状態の内部データオブジェクトの説明図。
【図３７】初期状態のCHTMLコンテンツの説明図。
【図３８】データ入力後の内部データオブジェクトの説明図。
【図３９】データ入力後のCHTMLコンテンツの説明図。
【図４０】データ入力後の内部データオブジェクトの説明図。
【図４１】データ入力後のCHTMLコンテンツの説明図。
【図１】
2006318287.tif 000003
【図２】
2006318287.tif 000004
【図３】
2006318287.tif 000005
【図４】
2006318287.tif 000006
【図５】
2006318287.tif 000007
【図６】
2006318287.tif 000008
【図７】
2006318287.tif 000009
【図８】
2006318287.tif 000010
【図９】
2006318287.tif 000011
【図１０】
2006318287.tif 000012
【図１１】
2006318287.tif 000013
【図１２】
2006318287.tif 000014
【図１３】
2006318287.tif 000015
【図１４】
2006318287.tif 000016
【図１５】
2006318287.tif 000017
【図１６】
2006318287.tif 000018
【図１７】
2006318287.tif 000019
【図１８】
2006318287.tif 000020
【図１９】
2006318287.tif 000021
【図２０】
2006318287.tif 000022
【図２１】
2006318287.tif 000023
【図２２】
2006318287.tif 000024
【図２３】
2006318287.tif 000025
【図２４Ａ】
2006318287.tif 000026
【図２４Ｂ】
2006318287.tif 000027
【図２５】
2006318287.tif 000028
【図２６】
2006318287.tif 000029
【図２７】
2006318287.tif 000030
【図２８】
2006318287.tif 000031
【図２９】
2006318287.tif 000032
【図３０】
2006318287.tif 000033
【図３１】
2006318287.tif 000034
【図３２】
2006318287.tif 000035
【図３３】
2006318287.tif 000036
【図３４】
2006318287.tif 000037
【図３５】
2006318287.tif 000038
【図３６】
2006318287.tif 000039
【図３７】
2006318287.tif 000040
【図３８】
2006318287.tif 000041
【図３９】
2006318287.tif 000042
【図４０】
2006318287.tif 000043
【図４１】
2006318287.tif 000044
【手続補正書】
【提出日】平成17年10月11日(2005.10.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
また、コンテンツ生成部26は、処理受付部22により受け付けた処理要求に応じて、ドキュメントデータベース32からドキュメントを呼び出し、VXMLブラウザ11に対しては、VXML変換用XSLを適用することで、VXML変換用XSLに記述された変換規則に従って、図9に示すドキュメントデータから図11に示すような初期状態のVXMLコンテンツを生成する。VXMLコンテンツの場合、コンテンツ粒度を１つの入力項目ごとに対応させる必要があり、まず、入力フォーカス位置フィールドに"1"が設定されていることから、1つめの入力項目に対してのみVXMLコンテンツを生成する。図11の例を具体的に説明する。まず、blockタグの中のpromptタグにて、音声応答システムから「チェックを開始します」とのアナウンスを音声出力させるための記述を生成する。次に、1つめの入力項目であることを識別するための項目IDを生成する。図11の例では、前述したように、項目IDは"id"+連番で構成されており、1つめの入力項目であることから"id1"が生成される。生成された項目IDは、filed タグのnameタグに記述している。promptタグは、図9のドキュメントデータの1つめのitemタグのlabelタグから"傷はないか？"を取得して、「傷はないか？」の質問を音声出力するための記述を生成している。grammarタグには、生成した識別情報をgrammarのrootタグやruleのidタグに設定すると共に、図9のドキュメントデータで"傷は無いか？"に対応づけられているinput＿type name="type1"にて記述されている内容に基づいて、ruleの内容を記述する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
HTML用JSPと細分化されたVXML用JSPファイルの対応関係は、ドキュメントデータベース33内のドキュメント定義ファイル(XMLファイル)で定義する(図24)。図24の例では、入力項目のid1に対応するHTML用JSPとVXML用JSPは、HTML1.jspとVXML1.jspであることを示している。
HTML1.jspの例を図25A〜図25Bに示す。また、VXML１.jspの例を図11に示す。図25A〜図25Bでは、内部データオブジェクト内の入力フォーカスと途中入力結果をHTMLコンテンツに反映させるためのJavaプログラムが記述されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
また、図24ではさらにid2,id3に関する対応関係と共に、最終的に入力項目の入力結果送信を行うためのSubmit確認用コンテンツの対応関係が定義されている。図24におけるVXML4.jspの例を図19に示す。
この第２実施形態におけるマルチモーダル制御部のフローチャートは、第１実施形態とほぼ同様である。ただし、第1実施形態ではドキュメント名を内部データオブジェクトに登録し、コンテンツ生成部26がそれを読み出してコンテンツ変換するのに対して、第２実施形態ではドキュメント定義ファイル名を内部データオブジェクトに登録し、コンテンツ生成部26がそれを読み出し、定義にしたがって該当するJSPファイル名を抽出し、JSPに処理を依頼することでコンテンツを生成して各ブラウザに送信する。図23に第２実施形態における内部データオブジェクトの例を示す。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
さらに、入力項目'id2'へのデータ入力が終了した場合には、内部データオブジェクトは図40に示すように、フォーカス位置が'3'となり、CHTMLブラウザ12の入力項目範囲が'3'に設定される。ページ移動要求は、フォーカス位置がブラウザの入力項目範囲を超えた場合にブラウザから自動的にページ移動要求を送信するように構成することも可能であり、また、コンテンツ生成部26側において自動的にページ移動したコンテンツを生成するように構成することも可能である。このような内部データオブジェクトに基づいて生成されたCHTMLコンテンツを、図41に示す。ここで、それ以前に入力された別ページの入力データである入力項目'id1'、'id2'の値がhidden属性を持ったINPUTタグとして挿入されていることから、「submit」が指示された場合にすべての入力データを結果データとして送信することが可能となる。CHTMLブラウザ12における表示画面例は、図35(c)のようになる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
【図１】第１実施形態の概略構成を示す機能ブロック図。
【図２】その動作を示す制御フローチャート。
【図３】新規ドキュメント取得要求処理の制御フローチャート。
【図４】途中入力結果登録要求処理の制御フローチャート。
【図５】入力フォーカス移動要求処理の制御フローチャート。
【図６】結果データ登録要求処理の制御フローチャート。
【図７】コンテンツ生成処理の制御フローチャート。
【図８】初期状態の内部データオブジェクトの説明図。
【図９】ドキュメントデータの説明図。
【図１０】初期状態のHTMLコンテンツの説明図。
【図１１】初期状態VXMLコンテンツの説明図。
【図１２】初期状態のブラウザ画面例および対話例の説明図。
【図１３】データ入力後の内部データオブジェクトの説明図。
【図１４】データ入力後のHTMLコンテンツの説明図。
【図１５】データ入力後のVXMLコンテンツの説明図。
【図１６】データ入力後のブラウザ画面例および対話例の説明図。
【図１７】データ入力後の内部データオブジェクトの説明図。
【図１８】データ入力後のHTMLコンテンツの説明図。
【図１９】データ入力後のVXMLコンテンツの説明図。
【図２０】データ入力後のブラウザ画面例および対話例の説明図。
【図２１】結果データの説明図。
【図２２】第２実施形態の概略構成を示す機能ブロック図。
【図２３】初期状態の内部データオブジェクトの説明図。
【図２４】ドキュメント定義ファイルの説明図。
【図２５Ａ】HTML1.jspの説明図。
【図２５Ｂ】HTML1.jspの説明図。
【図２６】コンテンツ生成処理の制御フローチャート。
【図２７】第３実施形態の概略構成を示す機能ブロック図。
【図２８】その動作を示す制御フローチャート。
【図２９】新規ドキュメント取得要求処理の制御フローチャート。
【図３０】途中入力結果登録要求処理の制御フローチャート。
【図３１】入力フォーカス移動要求処理の制御フローチャート。
【図３２】ページ移動要求処理の制御フローチャート。
【図３３】CHTMLのコンテンツ生成処理の制御フローチャート。
【図３４】粒度定義ファイルの説明図。
【図３５】CHTMLブラウザの画面例の説明図。
【図３６】初期状態の内部データオブジェクトの説明図。
【図３７】初期状態のCHTMLコンテンツの説明図。
【図３８】データ入力後の内部データオブジェクトの説明図。
【図３９】データ入力後のCHTMLコンテンツの説明図。
【図４０】データ入力後の内部データオブジェクトの説明図。
【図４１】データ入力後のCHTMLコンテンツの説明図。
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006318287.tif 000045
【図２】
2006318287.tif 000046
【図３】
2006318287.tif 000047
【図４】
2006318287.tif 000048
【図５】
2006318287.tif 000049
【図６】
2006318287.tif 000050
【図７】
2006318287.tif 000051
【図８】
2006318287.tif 000052
【図９】
2006318287.tif 000053
【図１０】
2006318287.tif 000054
【図１１】
2006318287.tif 000055
【図１２】
2006318287.tif 000056
【図１３】
2006318287.tif 000057
【図１４】
2006318287.tif 000058
【図１５】
2006318287.tif 000059
【図１６】
2006318287.tif 000060
【図１７】
2006318287.tif 000061
【図１８】
2006318287.tif 000062
【図１９】
2006318287.tif 000063
【図２０】
2006318287.tif 000064
【図２１】
2006318287.tif 000065
【図２２】
2006318287.tif 000066
【図２３】
2006318287.tif 000067
【図２４】
2006318287.tif 000068
【図２５Ａ】
2006318287.tif 000069
【図２５Ｂ】
2006318287.tif 000070
【図２６】
2006318287.tif 000071
【図２７】
2006318287.tif 000072
【図２８】
2006318287.tif 000073
【図２９】
2006318287.tif 000074
【図３０】
2006318287.tif 000075
【図３１】
2006318287.tif 000076
【図３２】
2006318287.tif 000077
【図３３】
2006318287.tif 000078
【図３４】
2006318287.tif 000079
【図３５】
2006318287.tif 000080
【図３６】
2006318287.tif 000081
【図３７】
2006318287.tif 000082
【図３８】
2006318287.tif 000083
【図３９】
2006318287.tif 000084
【図４０】
2006318287.tif 000085
【図４１】
2006318287.tif 000086