(57)【要約】【課題】  オーサリングツールにおけるオーサの冗長な作業負荷を軽減することを目的とする。【解決手段】  １つまたは複数の入出力部品を選択し、選択された部品に対して変換を指示し、変換先部品の種類を決定し、決定した変換先部品の種類に応じて変換を行う。【選択図】  図１５
2006155035.tif 000002
【特許請求の範囲】
【請求項１】
１つまたは複数の入出力部品を選択する選択工程と、
前記選択工程で選択された部品に対して変換を指示する変換指示工程と、
変換先部品の種類を決定する決定工程と、
前記決定工程にて決定した変換先部品の種類に応じて変換を行う変換工程と
を有することを特徴とするユーザインタフェースの構築方法。
【請求項２】
変換先部品のモダリティを指示するモダリティ指示工程を更に有し、
前記決定工程は、前記モダリティ指示工程で指示されたモダリティに応じて変換先部品の種類を決定することを特徴とする請求項１に記載のユーザインタフェースの構築方法。
【請求項３】
前記決定工程は、前記モダリティ指示工程で指示されたモダリティから変換先部品を決定する際に、種類の候補が複数ある場合は該候補を提示し、該提示された種類の中から選択された種類に決定することを特徴とする請求項２に記載のユーザインタフェースの構築方法。
【請求項４】
前記決定工程で決定された変換先部品の種類が音声入力部品である場合に、前記入力部品の情報に基づいて音声認識文法を生成する生成工程を更に有することを特徴とする請求項１に記載のユーザインタフェースの構築方法。
【請求項５】
前記変換工程は、前記選択工程で選択された部品が音声入力部品である場合は、前記音声入力部品の音声認識文法を解析し、該解析結果に基づいて変換先部品への変換を行うことを特徴とする請求項１に記載のユーザインタフェースの構築方法。
【請求項６】
前記変換工程は、前記選択工程にて選択された入出力部品の各項目にされている設定を、前記入出力部品の項目に対応する変換先部品の項目に同一の設定を行うことを特徴とする請求項１に記載のユーザインタフェースの構築方法。
【請求項７】
追加先部品を指示する追加先部品指示工程を更に有し、
前記追加先部品指示工程で追加先部品が指示された場合には、前記選択工程にて選択された部品を前記追加先部品に追加することを特徴とする請求項１に記載のユーザインタフェースの構築方法。
【請求項８】
前記選択工程で選択された部品の同義語、類義語等の関連語を認識するための記述を音声認識文法に追加することを特徴とする請求項４に記載のユーザインタフェースの構築方法。
【請求項９】
前記解析結果に１つ以上の同義語が含まれている場合は１つにまとめることを特徴とする請求項５に記載のユーザインタフェースの構築方法。
【請求項１０】
部品変換後に、変換元部品の情報が修正された場合、変換先部品の情報を更新するかを確認することを特徴とする請求項５に記載のユーザインタフェースの構築方法。
【請求項１１】
請求項１に記載のユーザインタフェース構築方法をコンピュータに実行させるための制御プログラム。
【請求項１２】
請求項１１に記載の制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１３】
１つまたは複数の入出力部品を選択する選択手段と、
前記選択手段で選択された部品に対して変換を指示する変換指示手段と、
変換先部品の種類を決定する決定手段と、
前記決定手段にて決定した変換先部品の種類に応じて変換を行う変換手段と
を有することを特徴とするユーザインタフェースの構築装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチモーダル・ユーザインタフェース（マルチモーダルＵＩ）の構築方法に関するものである。
【背景技術】
【０００２】
ＧＵＩ入力や音声入力といった複数種のモダリティから、ユーザの所望のモダリティをもって情報の入力を可能にするマルチモーダルＵＩは、ユーザにとって利便性が高いものである。このため、こういったマルチモーダルＵＩを、容易に構築するためのツールの整備が必要になってきている。特に、ＧＵＩと音声のどちらを用いても入力が可能であるようなＵＩを構築する際には、ＧＵＩと音声ＵＩの両方に関して同様の作業を行う等、冗長な作業が多く発生することが考えられる。例として、画面上に「Ａ」、「Ｂ」、「Ｃ」という項目をもつプルダウンメニューを配置し、上記「Ａ」、「Ｂ」、「Ｃ」という項目を音声でも入力できるようなＵＩを構築する場合を挙げる。このような場合、オーサは、項目「Ａ」、「Ｂ」、「Ｃ」をもつプルダウンメニューを作成し、入力結果を結果格納場所にバインドするという作業を行う。一方で、「Ａ」、「Ｂ」、「Ｃ」を音声で入力するための音声認識文法を作成して音声入力コンポーネントを作成し、入力結果を結果格納場所にバインドする作業を行う。このようにオーサは、「Ａ」、「Ｂ」、「Ｃ」という項目を対象に、よく似た同様の作業を行わなければならない。こういった冗長な作業を軽減し、容易にマルチモーダルＵＩを構築するための技術が必要である。
【０００３】
ＵＩの構築に関しては、オーサが、ＧＵＩ操作で容易にＵＩを設計するための方法が既に開示されている（特許文献１、特許文献２）。しかしながら、これら先行技術にはモダリティに関する考慮がなされていない。
【０００４】
また、ＧＵＩのロジックを解釈することにより、音声ＵＩを構築することなくマルチモーダルＵＩを実現するための技術が、特許文献３で開示されている。しかしながら、上記先行技術では、マルチモーダルＵＩとしての動作が上記解釈技術に依存するため、オーサが構築したいマルチモーダルＵＩをそのまま実現できるとは限らない。
【特許文献１】特開平０９−１１４６２３号公報
【特許文献２】特開平０９−０６２４６９号公報
【特許文献３】特開２００３−１６７５９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、このような事情を考慮してなされたものであり、マルチモーダルＵＩを容易に構築することを目的とする。特に、ＧＵＩと音声のどちらを用いても入力が可能であるようなＵＩを構築する際に、オーサの冗長な作業を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、１つまたは複数の入出力部品を選択する選択工程と、前記選択工程で選択された部品に対して変換を指示する変換指示工程と、変換先部品の種類を決定する決定工程と、前記決定工程にて決定した変換先部品の種類に応じて変換を行う変換工程とを有することを特徴とする。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、オーサは、モダリティ毎に同様の作業を行うといった冗長な作業を行うことなく、容易にマルチモーダルＵＩを構築することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明に係るマルチモーダルＵＩの構築方法の利用の実施の形態について説明する。
【０００９】
＜第１の実施形態＞
図１は、本実施形態におけるマルチモーダルＵＩの構築方法のモジュール構成を示すブロック図である。図１において、１０１は入力部、１０２は記憶部、１０３は制御部、１０４は部品変換部、１０５は表示部、１０６は音声認識文法解析部、１０７は音声認識文法作成部である。
【００１０】
入力部１０１は、ボタン群やキーボード、マウス、タッチパネル、ペン、タブレット等の入力装置から構成され、各種の指示を本装置に入力するための入力インタフェースとして機能する。
【００１１】
記憶部１０２は、各種の情報を保存するためのハードディスクドライブ装置や、情報処理システムに各種の情報を提供するためのＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体等により構成されている。またこのハードディスクドライブ装置や記憶媒体には、各種のアプリケーションプログラム、ユーザインタフェース制御プログラム、そして各プログラムを実行する際に必要な各種のデータ等が記憶されており、これらは後段の制御部１０３の制御により、本システムに読み込まれる。
【００１２】
制御部１０３はワークメモリやＣＰＵ、ＭＰＵ等により構成されており、記憶部１０２に記憶されたプログラムやデータを読み出して各種の処理を実行する。
【００１３】
部品変換部１０４は、制御部１０３の制御により、入出力部品の変換を行う。
【００１４】
表示部１０５は、液晶ディスプレイ等の表示装置から構成され、画像や文字等により構成される各種の情報を表示する。なお、表示部１０５としてタッチパネル式の表示装置を用いてもよく、その場合、表示部１０５はＧＵＩ入力部としての機能（各種の指示を本システムに入力する機能）をも有することになる。
【００１５】
音声認識文法解析部１０６は、音声認識文法を解析し、認識語彙を抽出する。音声認識文法作成部１０７は、与えられた語彙を認識するための音声認識文法を作成する。
【００１６】
以下では、本実施形態において、マルチモーダルＵＩを構築するオーサリングツールを例に挙げて説明する。
【００１７】
図２において、２０１は、マルチモーダルＵＩを編集する編集画面である。編集画面２０１上に配置されている部品２０３は、プルダウンコンポーネントであり、２０４に示すように、「プリント」、「コピー」、「ＦＡＸ」という項目をもつ。
【００１８】
部品２０３を選択してコピーし、編集画面に貼り付けるという操作が行われた場合（右クリックメニュー２０５から「貼り付け」を選択）の編集画面を、２０２に示す。この場合、従来のオーサリングツールと同様に、部品２０３と同じ項目（２０４）をもつプルダウンコンポーネント２０６が配置される。
【００１９】
ここで、図３の例のように、部品２０３を選択してコピーし、編集画面に音声入力部品として貼り付けるという操作が行われた場合（右クリックメニュー２０５から「音声入力部品で貼り付け」を選択）の編集画面を、３０１に示す。この場合、従来のオーサリングツールとは異なり、部品２０３の項目を認識語彙とする音声入力コンポーネントが部品３０２として配置される。このとき作成される音声入力コンポーネント３０２の音声認識文法３０３は、「プリント」、「コピー」、「ファックス」という発声を受け付ける。ここで、音声認識文法３０３は、Ｗ３Ｃ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ  Ｃｏｎｓｏｒｔｉｕｍ）のＳＲＧＳという仕様（ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／ＴＲ／ｓｐｅｅｃｈ−ｇｒａｍｍａｒ／）に基づいて記述しているが、記述方法は上記ＳＲＧＳに限らない。
【００２０】
以下では、上記図３のように、入出力部品を、異なる種類の入出力部品へ変換する方法を、図１５のフローチャートを用いて説明する。
【００２１】
図１５において、ステップＳ１５０１は、入出力部品が選択されていない状態である。入出力部品が選択されると（ステップＳ１５０１にてＹＥＳ）、コンポーネントの種類の変換が指示されるのを待つ（ステップ１５０２）。ここで、図２の例のように、「貼り付け」が選択された場合は、コンポーネントの種類を変換しないので、従来技術と同様に同じ種類のコンポーネントを貼り付ける。
【００２２】
図３の例のように、変換元の部品の種類と変換先の部品の種類が異なる場合、コンポーネントの種類の変換が指示される。コンポーネントの種類の変換が指示されると（ステップＳ１５０２にてＹＥＳ）、続いて、変換先部品の種類が指示されるのを待つ（ステップＳ１５０３）。
【００２３】
変換先部品の種類が指示されると（ステップＳ１５０３にてＹＥＳ）、部品変換部１０４にて部品の変換を行う（ステップＳ１５０４）。部品変換部１０４における部品の変換処理については、図１７のフローチャートを用いて説明する。
【００２４】
まず、ステップＳ１７０１にて変換元部品を解析する。例えば、図２の２０４に示すプルダウンコンポーネントの場合は、項目「プリント」、「コピー」、「ＦＡＸ」を抽出する。また、変換元部品が音声入力コンポーネントの場合は、音声認識文法解析部１０６にて、その音声入力コンポーネントの音声認識文法を用いて出力され得る認識結果（解釈結果）のリストを抽出する。上記認識結果のリストは、音声認識文法の仕様に基づいて音声認識文法を解析することにより抽出される。音声認識文法の解析については既存の技術を利用する。図３の音声認識文法３０３の例では、「プリント」、「コピー」、「ＦＡＸ」が抽出される。また、変換元部品が複数ある場合は、全ての部品において抽出を行う。同一の項目が２つ以上抽出されている場合は１つにまとめる等の処理を行う。
【００２５】
続いて、変換先部品が音声入力コンポーネントの場合は（ステップＳ１７０２にてＹＥＳ）、音声認識文法作成部１０７にて音声認識文法を作成する（ステップＳ１７０３）。音声認識文法は、認識語彙が決まれば、既存の技術を利用することにより作成することができる。ここでは、認識語彙として、ステップＳ１７０３で抽出した項目を認識語彙として、音声認識文法を作成する。
【００２６】
続いて、変換先部品を作成する（ステップＳ１７０４）。例えば、変換先部品の種類がプルダウンコンポーネントの場合は、ステップＳ１７０２で抽出した項目（上記の例では、「プリント」、「コピー」、「ＦＡＸ」）をもつプルダウンコンポーネントを作成する。また、変換先部品の種類が音声入力コンポーネントの場合は、ステップＳ１７０３で作成した音声認識文法を用いる。
【００２７】
続いて、変換元部品にデータモデルへの設定がある場合は（ステップＳ１７０５にてＹＥＳ）、変換先部品においてデータモデルの設定を行う（ステップＳ１７０６）。ここでは、変換元の項目に設定されているデータモデルの設定内容を、対応する変換先の項目に設定する（具体例は、第２の実施形態において図１１を用いて後述する）。
【００２８】
尚、前述した図３の例では、コピーして貼り付けるという操作を例に説明したが、切り取って貼り付ける操作や、他の画面にドラッグ＆ドロップする操作、メニューから変換を選択する操作等にも適用される。
【００２９】
また、変換後に、変換元部品の情報が更新された場合、変換先部品の情報を更新するかどうかをオーサに確認するようにしてもよい。
【００３０】
以上のように、第１の実施形態によれば、オーサは、既に作成した部品に対して、その部品の種類に限定されることなく、移動やコピー等を行うことができるので、冗長な作業を減らすことができる。
【００３１】
＜第２の実施形態＞
続いて、本発明に係るマルチモーダルＵＩの構築方法の第２の実施形態について説明する。本実施形態では、変換先の部品のモダリティが指示された場合の変換例を示す。以下では、本実施形態において、マルチモーダルＵＩを構築するオーサリングツールを例に挙げて説明する。
【００３２】
図４において、４０１は、マルチモーダルＵＩを編集する編集画面である。編集画面４０１は、ＧＵＩ部品を編集するＧＵＩ編集画面と、音声部品を編集する音声ＵＩ編集画面とに分かれている。編集画面４０１のＧＵＩ編集画面上に配置されている部品４０３は、プルダウンコンポーネントであり、２０４に示すように、「プリント」、「コピー」、「ＦＡＸ」という項目をもつ。
【００３３】
部品４０３を選択してコピーし、音声ＵＩ編集画面に貼り付けるという操作が行われた場合の編集画面を、４０２に示す。この場合、編集画面４０２の音声ＵＩ編集画面上には、部品４０３の項目を認識語彙とする音声入力コンポーネント４０５が配置される。プルダウンメニューは、図２の２０４のように選択肢のみを項目とする以外に、図５の５０４のように「機能を選択して下さい」といった選択肢以外の項目を先頭に含むことがある。上記先頭の項目「機能を選択して下さい」は、選択肢ではないので、音声で入力することはない．そこで、先頭の項目に関して、音声で入力するかどうかをオーサに確認するようにしてもよい。この例では、先頭の項目（「プリント」）を音声で入力するかどうかを確認し（４０４）、「ＹＥＳ」が選択された場合に、項目「プリント」を認識語彙に含む。このとき作成される音声入力コンポーネント４０５の音声認識文法は、図３の３０３と同様であり、「プリント」、「コピー」、「ファックス」という発声を受け付ける。
【００３４】
以下では、上記図４の例のように、変換先部品のモダリティが指定された場合の変換方法を、図１６のフローチャートを用いて説明する。図１６において、ステップＳ１５０１、Ｓ１５０２、Ｓ１５０４は、図１５のそれと同様である。
【００３５】
入出力部品に対して変換が指示されると（ステップＳ１５０１にてＹＥＳ、ステップＳ１５０２にてＹＥＳ）、続いて、変換先部品のモダリティが指示されるのを待つ（ステップＳ１６０１）。図４の例では、コピーした部品４０３を音声ＵＩ編集画面に貼り付けるという指示操作が行われることにより、変換先部品のモダリティが音声であることがわかる。
【００３６】
変換先部品のモダリティが指示されると（ステップＳ１６０１にてＹＥＳ）、変換先部品の種類の候補をリストアップする。記憶部１０２には、図１８に示すように、入出力部品（１８０１）と、変換元部品に対する変換先入出力部品の候補（１８０２）をあらかじめ定義しておき、変換先出力部品候補１８０２を参照して候補をリストアップする。候補が１つの場合は（ステップＳ１６０２にてＹＥＳ）、前述した第１の実施形態と同様に部品を変換する（ステップＳ１５０４）。図４の例では、図１８の１８０２より、変換元部品プルダウンコンポーネントに対する変換先候補は音声入力コンポーネントであり、候補は１つなので、音声入力コンポーネントに変換する。その際、先頭の項目（「プリント」）を音声で入力するかどうかを確認してもよい（図４の４０４）。これに対して、候補が複数ある場合は（ステップＳ１６０２にてＮＯ）、候補を提示して選択を促し（ステップＳ１６０３）、候補が選択されたら（ステップＳ１６０４にてＹＥＳ）、前述した第１の実施形態と同様に部品を変換する（ステップＳ１５０４）。
【００３７】
以下では、本実施形態における他の動作例を説明する。図５は、プルダウンコンポーネントを変換する際に、先頭の項目を認識語彙に含まない例を示す。
【００３８】
図５において、５０１は、図４の４０１と同様のマルチモーダルＵＩを編集する編集画面である。編集画面５０１のＧＵＩ編集画面上に配置されている部品５０３は、プルダウンコンポーネントであり、５０４に示すように、「機能を選択して下さい」、「プリント」、「コピー」、「ＦＡＸ」という項目をもつ。部品５０３を選択してコピーし、音声ＵＩ編集画面に貼り付けるという操作が行われた場合の編集画面を、５０２に示す。音声ＵＩ編集画面への貼り付けなので、変換先部品のモダリティは音声である（ステップＳ１６０１にてＹＥＳ）。これと図１８の１８０２より、変換先部品は音声入力コンポーネントと決まるので（ステップＳ１６０２にてＹＥＳ）、編集画面５０２の音声ＵＩ編集画面上には、部品５０３の項目を認識語彙とする音声入力コンポーネント５０６が配置される。ただし、この例では、先頭の項目（「機能を選択して下さい」）を音声で入力するかどうかを確認し（５０５）、「ＮＯ」が選択された場合、項目「機能を選択して下さい」は認識語彙に含まない。このとき作成される音声入力コンポーネント５０６の音声認識文法は、図３の３０３と同様であり、「プリント」、「コピー」、「ファックス」という発声を受け付ける。
【００３９】
図６は、複数の部品を変換する例を示す。図６において、編集画面６０１のＧＵＩ編集画面上には「プリント」という表記のボタン、「コピー」という表記のボタン、「ＦＡＸ」という表記のボタンが配置されている。これら３つの部品（６０３）を選択してコピーし、音声ＵＩ編集画面に貼り付けるという操作が行われた場合の編集画面を、６０２に示す。音声ＵＩ編集画面への貼り付けなので、変換先部品のモダリティは音声である（ステップＳ１６０１にてＹＥＳ）。これと図１８の１８０２より、変換先部品は音声入力コンポーネントと決まるので（ステップＳ１６０２にてＹＥＳ）、音声ＵＩ編集画面上には、３つの部品（６０３）の項目を認識語彙とする音声入力コンポーネント６０４が配置される。このとき作成される音声入力コンポーネント６０４の音声認識文法は、図３の３０３と同様であり、「プリント」、「コピー」、「ファックス」という発声を受け付ける。
【００４０】
図７は、複数の部品を変換する他の例を示す。図７において、編集画面７０１のＧＵＩ編集画面上には「ｆｕｎｃｔｉｏｎ」というラベル（テキスト）、「プリント」という表記のボタン、「コピー」という表記のボタン、「ＦＡＸ」という表記のボタンが配置されている。これら４つの部品（７０３）を選択してコピーし、音声ＵＩ編集画面に貼り付けるという操作が行われた場合の編集画面を、７０２に示す。音声ＵＩ編集画面への貼り付けなので、変換先部品のモダリティは音声である（ステップＳ１６０１にてＹＥＳ）。これと図１８の１８０２より、変換先部品は音声入力コンポーネントと決まるので（ステップＳ１６０２にてＹＥＳ）、音声ＵＩ編集画面上には、４つの部品（７０３）の項目を認識語彙とする音声入力コンポーネント７０４が配置される。このとき作成される音声入力コンポーネント７０４の音声認識文法は、「ファンクション」、「プリント」、「コピー」、「ファックス」という発声を受け付けるようにしてもよいが、部品の種類によって認識語彙の抽出の方法を変えてもよい。例えば、ラベルから抽出した項目は、他の部品から抽出した語彙の先頭に付けるように抽出してもよい。このような抽出を行った場合、７０５に示すように「プリント」、「コピー」、「ファックス」、「ファンクションプリント」、「ファンクションコピー」、「ファンクションファックス」という発声を受け付ける。
【００４１】
図８は、変換先の候補が複数ある場合の例を示す。図８において、編集画面８０１の音声ＵＩ編集画面上には図３の音声認識文法３０３をもつ音声入力コンポーネント８０３が配置されている。この部品８０３を選択してコピーし、ＧＵＩ編集画面に貼り付けるという操作が行われた場合の編集画面を、８０２に示す。ＧＵＩ編集画面への貼り付けなので、変換先部品のモダリティはＧＵＩである（ステップＳ１６０１にてＹＥＳ）。これと図１８の１８０２より、変換先部品の候補は、プルダウン、リストボックス、ラジオボタン、チェックボックス、テキストボックス、複数のＧＵＩ部品（ボタン，ラベル）である。そこで、８０４及び８０５のようにコンポーネントの種類の候補を提示する（ステップＳ１６０３）。この例ではボタンが選択されたので（ステップＳ１６０４にてＹＥＳ）、ＧＵＩ編集画面８０２上には、音声入力コンポーネント８０３の認識語彙の表記「プリント」、「コピー」、「ＦＡＸ」に対応した３つのボタン（８０６）が配置される。認識語彙のリストアップは、前述のように、音声認識文法を既存の技術を利用して解析することにより行う。
【００４２】
図９は、変換先の候補が複数ある場合の他の例を示す。図９において、編集画面９０１の音声ＵＩ編集画面上には図３の音声認識文法３０３をもつ音声入力コンポーネント９０４が配置されている。この部品９０４を選択してコピーし、ＧＵＩ編集画面に貼り付けるという操作が行われた場合の編集画面を、９０２に示す。前述の例と同様にしてＧＵＩ編集画面９０２上には、音声入力コンポーネント９０４の認識語彙を項目とするプルダウンコンポーネント９０６が配置される。ここで、認識語彙のリストアップの際に、その認識語彙を解釈する際の解釈名をラベル（テキスト）として出力してもよい。例えば、図３の３０３に示す音声認識グラマの例では、「プリント」、「コピー」、「ＦＡＸ」という結果をｆｕｎｃｔｉｏｎという解釈名で出力する。その解釈名ｆｕｎｃｔｉｏｎをラベルとして出力（９０７）した例を９０３に示す。
【００４３】
図１０は、変換先の候補が複数ある場合の他の例を示す。図１０において、編集画面１００１の音声ＵＩ編集画面上には音声認識文法１００４をもつ音声入力コンポーネント１００３が配置されている。この部品１００３を選択してコピーし、ＧＵＩ編集画面に貼り付けるという操作が行われた場合の編集画面を、１００２に示す。ＧＵＩ編集画面への貼り付けなので、変換先部品のモダリティはＧＵＩである（ステップＳ１６０１にてＹＥＳ）。これと図１８の１８０２より、変換先部品の候補は、プルダウン、リストボックス、ラジオボタン、チェックボックス、テキストボックス、複数のＧＵＩ部品（ボタン，ラベル）である。そこで、１００５のようにコンポーネントの種類の候補を提示する（ステップＳ１６０３）。この例ではテキストボックスが選択されたので（ステップＳ１６０４）、ＧＵＩ編集画面１００２上には、音声入力コンポーネント１００３の認識語彙に対応したラベルとテキストボックス（１００６）が配置される。ここで、音声認識文法１００４は、「〔東京／横浜／大阪／神戸のいずれか〕から〔東京／横浜／大阪／神戸のいずれか〕まで」という発声を受け付ける。その際、「から」の前の語彙（東京／横浜／大阪／神戸のいずれか）を解釈名ｆｒｏｍとして、「まで」の前の語彙（東京／横浜／大阪／神戸のいずれか）を解釈名ｔｏとして解釈結果を出力する。このように、２つの解釈結果（ｆｒｏｍとｔｏ）が出力されるので２つのテキストボックスを配置する。テキストボックスの左に配置したラベルは、前述の図９の例と同様に、解釈名をラベルとして配置したものである。
【００４４】
図１１は、図１０の例において、変換元の部品にデータモデルへのバインド設定がある場合の例を示す。基本的には前述の図１０と同様であるが、音声入力コンポーネント１１０３に、データモデル１１０４へのバインド設定１１０５がなされている点が異なる。データモデルとは、そのＵＩを通じてユーザから取得したいデータを定義したものであり、データモデル１１０４の例では、出発地を意味する＜ａｐｐ：Ｄｅｐａｒｔｕｒｅ＞タグと、到着地を意味する＜ａｐｐ：Ｄｅｓｔｉｎａｔｉｏｎ＞タグによって２つの文字列データが定義されている。
【００４５】
また、バインド設定とは、どの値をどのデータモデルにバインドするかを定義したものであり、１１０５の例ではＩＤ＝ｆｒｏｍの値（ここでは解釈名ｆｒｏｍとして解釈された値）を前述の＜ａｐｐ：Ｄｅｐａｒｔｕｒｅ＞タグで定義したデータに、ＩＤ＝ｔｏの値（ここでは解釈名ｔｏとして解釈された値）を前述の＜ａｐｐ：Ｄｅｓｔｉｎａｔｉｏｎ＞タグで定義したデータにバインドすることを示している。例えば、「トーキョーカラヨコハママデ」という音声が入力され、音声認識によって「ｆｒｏｍ＝東京」、「ｔｏ＝横浜」が解釈結果として出力された場合、＜ａｐｐ：Ｄｅｐａｒｔｕｒｅ＞タグで定義したデータモデルには「東京」が入り、＜ａｐｐ：Ｄｅｓｔｉｎａｔｉｏｎ＞タグで定義したデータには「横浜」が入る。
【００４６】
図１０で説明した通り、音声入力コンポーネント１１０３を選択してコピーし、ＧＵＩ編集画面に貼り付けると、解釈結果ｆｒｏｍに対応したテキストボックス（変換時にＩＤ＝ｔｅｘｂｏｘ＿ｆｒｏｍとする）と、「ｆｒｏｍ」という表記のラベルと、解釈結果ｔｏに対応したテキストボックス（変換時にＩＤ＝ｔｅｘｂｏｘ＿ｔｏとする）と、「ｔｏ」という表記のラベルが１１０６のように配置される。
【００４７】
従って、コンポーネントの変換時（図１７）に、解釈結果ｆｒｏｍにはデータモデルへのバインド設定があるので（ステップＳ１７０５にてＹＥＳ）、対応するテキストボックス（ＩＤ＝ｔｅｘｂｏｘ＿ｆｒｏｍ）に＜ａｐｐ：Ｄｅｐａｒｔｕｒｅ＞へのバインド設定を行う（ステップＳ１７０６）。同様に、解釈結果ｔｏには対応するテキストボックス（ＩＤ＝ｔｅｘｂｏｘ＿ｔｏ）に＜ａｐｐ：Ｄｅｓｔｉｎａｔｉｏｎ＞へのバインド設定を行う（ステップＳ１７０６）。つまり、バインド設定は１１０７のようになる。
【００４８】
以上のように、第２の実施形態によれば、第１の実施形態と同様に、オーサは、既に作成した部品をその部品の種類に限定されることなく、移動やコピー等を行うことができるので、冗長な作業を減らすことができる。
【００４９】
＜第３の実施形態＞
続いて、本発明に係るマルチモーダルＵＩの構築方法の第３の実施形態について説明する。本実施形態では、入出力部品を他の入出力部品に追加する指示がなされた場合の変換例を示す。以下では、本実施形態において、マルチモーダルＵＩを構築するオーサリングツールを例に挙げて説明する。
【００５０】
図１２において、ＧＵＩ編集画面１２０１上には「プリント」という表記のボタン、「コピー」という表記のボタン、「ＦＡＸ」という表記のボタンが配置されている（６０３）。また、音声ＵＩ編集画面１２０２上には、３つの部品（６０３）を選択・コピーして貼り付けることによって作成された（第２の実施形態の図６）音声入力コンポーネント６０４が配置されている。
【００５１】
上記の状況において、ＧＵＩ編集画面１２０１上で「メール」という表記のボタン１２０３を新たに作成し、音声入力画面１２０２上の音声入力コンポーネント６０４にドラッグ＆ドロップしたときの処理を説明する。
【００５２】
ボタン１２０３は「メール」という表記であるので（ステップＳ１７０１）、変換先部品の音声入力コンポーネント６０４の音声認識文法３０３に認識語彙「メール」を追加して、音声認識文法１２０５を作成する（ステップＳ１７０２にてＹＥＳ，ステップＳ１７０３）。音声認識文法１２０５は、「プリント」、「コピー」、「ファックス」、「メール」という発声を受け付ける。
【００５３】
続いて、ステップＳ１７０４にて音声コンポーネントの音声認識文法を１２０５に変更する。ボタン１２０３にデータモデルの設定がある場合は（ステップＳ１７０５にてＹＥＳ）、第２の実施形態で前述したように設定を行う（ステップ１７０６）。
【００５４】
尚、上記の例は追加部品と追加先部品が異なるモダリティの例であったが、ボタンの項目をプルダウンコンポーネントの項目に追加する等、同じモダリティであってもよい。
【００５５】
以上のように、第３の実施形態によれば、オーサは、既に作成した部品を利用して部品の項目を追加することができるので、冗長な作業を減らすことができる。
【００５６】
＜第４の実施形態＞
続いて、本発明に係るマルチモーダルＵＩの構築方法の第４の実施形態について説明する。本実施形態では、部品の変換を行う際に、同義語を考慮して変換する例について示す。以下では、本実施形態において、マルチモーダルＵＩを構築するオーサリングツールを例に挙げて説明する。
【００５７】
図１３において、ＧＵＩ編集画面１３０１上には「音声」という表記のボタン１３０３が配置されている。このボタン１３０３が選択・コピーされ、音声ＵＩ編集画面１３０２上に貼り付けられると、第２の実施形態で述べたように、音声入力コンポーネント１３０４が作成される。ただし、本実施形態では、変換元部品の解析時（ステップＳ１７０１）に、記憶部１０２に記憶された同義語リスト１３０５を参照する点が異なる。同義語が存在する場合は、その同義語を認識語彙に追加する処理を行う。つまり、音声の同義語である「サウンド」「音響」を認識語彙に追加する（１３０６）。これにより、音声入力コンポーネント１３０４は、「オンセー」だけでなく、その同義語である「サウンド」、「オンキョー」の発声を受け付けることが可能になる。
【００５８】
また、図１４において、音声ＵＩ編集画面１４０１上には、音声入力コンポーネント１４０３が配置されている。音声入力コンポーネント１４０３の音声認識文法は１３０６である。この音声入力コンポーネント１４０３が選択・コピーされ、ＧＵＩ編集画面１４０２上に貼り付けられると、前述の例と同様に、変換元部品の解析時（ステップＳ１７０１）に、同義語リスト１３０５を参照する。この場合、音声認識文法１３０５の認識語彙には同義語（「音声」、「サウンド」、「音響」）が含まれているので、同義語ツリーの１番上にある語を選択し、１つにまとめる。つまり、音声入力コンポーネントを解析した結果として、「音声」だけが抽出され、ＧＵＩ編集画面１４０２上には「音声」という表記のボタン１４０４が配置される。
【００５９】
以上のように、第４の実施形態によれば、同義語を考慮して部品の変換を行うので、オーサは、後から同義語を追加するといった冗長な作業を行う手間が省ける。また、上記は同義語に限らず、類義語等の関連語に関して適用できる。
【００６０】
尚、第１〜第４の実施形態では、ＧＵＩ編集と音声ＵＩ編集に関する部品変換について述べたが、本発明は手書き文字認識を用いたＵＩやジェスチャ認識を用いたＵＩにも適用できる。
【００６１】
なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００６６】
【図１】本発明の第１の実施形態におけるマルチモーダルＵＩの構築方法のモジュール構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るマルチモーダルＵＩの構築方法において、部品の変換を行わない例を説明するための図である。
【図３】本発明の第１の実施形態に係るマルチモーダルＵＩの構築方法の例を説明するための図である。
【図４】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法の例を説明するための図である。
【図５】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法の例を説明するための図である。
【図６】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法の例を説明するための図である。
【図７】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法の例を説明するための図である。
【図８】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法の例を説明するための図である。
【図９】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法の例を説明するための図である。
【図１０】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法の例を説明するための図である。
【図１１】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法において、データモデルの設定を行う例を説明するための図である。
【図１２】本発明の第３の実施形態に係るマルチモーダルＵＩの構築方法において、部品に項目を追加する例を説明するための図である。
【図１３】本発明の第４の実施形態に係るマルチモーダルＵＩの構築方法において、同義語リストを利用した例を説明するための図である。
【図１４】本発明の第４の実施形態に係るマルチモーダルＵＩの構築方法において、同義語リストを利用した例を説明するための図である。
【図１５】本発明の第１の実施形態に係るマルチモーダルＵＩの構築方法を説明するためのフローチャートである。
【図１６】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法を説明するためのフローチャートである。
【図１７】本発明の第１の実施形態に係るマルチモーダルＵＩの構築方法における変換処理を説明するためのフローチャートである。
【図１８】本発明の第２の実施形態に係るマルチモーダルＵＩの構築方法の変換元部品と変換先部品の対応を定義した図である。
【符号の説明】
【００６７】
１０１  入力部
１０２  記憶部
１０３  制御部
１０４  部品変換部
１０５  表示部
１０６  音声認識文法解析部
１０７  音声認識文法作成部
【図１】
2006155035.tif 000003
【図２】
2006155035.tif 000004
【図３】
2006155035.tif 000005
【図４】
2006155035.tif 000006
【図５】
2006155035.tif 000007
【図６】
2006155035.tif 000008
【図７】
2006155035.tif 000009
【図８】
2006155035.tif 000010
【図９】
2006155035.tif 000011
【図１０】
2006155035.tif 000012
【図１１】
2006155035.tif 000013
【図１２】
2006155035.tif 000014
【図１３】
2006155035.tif 000015
【図１４】
2006155035.tif 000016
【図１５】
2006155035.tif 000017
【図１６】
2006155035.tif 000018
【図１７】
2006155035.tif 000019
【図１８】
2006155035.tif 000020