(57)【特許請求の範囲】
【請求項１】
ネットワークを介して、操作機器と制御対象機器間の制御を支援する情報処理装置であって、
前記操作機器のモダリティに関するモダリティ情報を受信する第１受信手段と、
前記制御対象機器の対話に関する対話情報を受信する第２受信手段と、
前記モダリティ情報と前記対話情報間の関係を推論し結び付けるバインド情報を生成する生成手段と、
前記バインド情報及び前記対話情報を前記操作機器に送信する送信手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記モダリティ情報、前記対話情報及び前記バインド情報は、マークアップ言語で記述され、
前記マークアップ言語は、
前記制御対象機器の対話の内容を示す対話記述と、
前記対話記述と独立に分離して構成される、前記操作機器のモダリティを示すモダリティ記述と、
前記モダリティ記述と前記対話記述とを結び付けるバインド記述と
を含む
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記対話記述は、入出力の処理単位である、１つもしくは複数の最小対話要素から構成され、前記最小対話要素は、０個もしくは１個の入力要素と０個もしくは１個以上の出力要素を含む
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記モダリティ記述は、モダリティのクラス間の階層関係及びモダリティのインスタンスを含み、前記操作機器のモダリティの定義は、汎用的なモダリティの定義を記述した汎用モダリティ記述を参照し、そこで定義された汎用モダリティのサブクラスとインスタンスとして定義する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記バインド記述は、１つまたは複数のモダリティを、１つまたは複数の入力要素に結び付けるための記述であり、かつ１つの入力要素に対して複数のモダリティを結び付ける場合、それらのモダリティの組み合わせ方の記述を含む
ことを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記バインド記述は、１つまたは複数のモダリティを、１つまたは複数の出力要素に結び付けるための記述であり、かつ１つの出力要素に対して複数のモダリティを結び付ける場合、それらのモダリティの組み合わせ方の記述を含む
ことを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記操作機器は、前記モダリティ記述に従って、前記モダリティを管理する管理手段と、
前記バインド記述に従って、前記モダリティと前記対話間に関する処理を制御するモダリティ制御手段とを備え、
前記制御対象機器は、前記対話記述に従って、前記対話を管理する対話実行手段と、
前記対話実行手段からの指示に基づいて、当該制御対象機器の制御を実行する制御手段と
を備えることを特徴とする請求項２に記載の情報処理装置。
【請求項８】
前記汎用モダリティと該汎用モダリティに結び付け可能な入出力要素と、その結び付けの適切度情報の記述からなるバインドサンプルを記憶する記憶手段を更に備え、
前記生成手段は、前記バインドサンプルを参照して、前記モダリティ情報と前記対話情報間の関係を推論し結び付けるバインド情報を生成する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項９】
ネットワークを介して、操作機器と制御対象機器間の制御を支援する情報処理装置の制御方法であって、
前記操作機器のモダリティに関するモダリティ情報を受信する第１受信工程と、
前記制御対象機器の対話に関する対話情報を受信する第２受信工程と、
前記モダリティ情報と前記対話情報間の関係を推論し結び付けるバインド情報を生成する生成工程と、
前記バインド情報及び前記対話情報を前記操作機器に送信する送信工程と
を備えることを特徴とする情報処理装置の制御方法。
【請求項１０】
前記モダリティ情報、前記対話情報及び前記バインド情報は、マークアップ言語で記述され、
前記マークアップ言語は、
前記制御対象機器の対話の内容を示す対話記述と、
前記対話記述と独立に分離して構成される、前記操作機器のモダリティを示すモダリティ記述と、
前記モダリティ記述と前記対話記述とを結び付けるバインド記述と
を含む
ことを特徴とする請求項９に記載の情報処理装置の制御方法。
【請求項１１】
前記対話記述は、入出力の処理単位である、１つもしくは複数の最小対話要素から構成され、前記最小対話要素は、０個もしくは１個の入力要素と０個もしくは１個以上の出力要素を含む
ことを特徴とする請求項１０に記載の情報処理装置の制御方法。
【請求項１２】
前記モダリティ記述は、モダリティのクラス間の階層関係及びモダリティのインスタンスを含み、前記操作機器のモダリティの定義は、汎用的なモダリティの定義を記述した汎用モダリティ記述を参照し、そこで定義された汎用モダリティのサブクラスとインスタンスとして定義する
ことを特徴とする請求項１０に記載の情報処理装置の制御方法。
【請求項１３】
前記バインド記述は、１つまたは複数のモダリティを、１つまたは複数の入力要素に結び付けるための記述であり、かつ１つの入力要素に対して複数のモダリティを結び付ける場合、それらのモダリティの組み合わせ方の記述を含む
ことを特徴とする請求項１０に記載の情報処理装置の制御方法。
【請求項１４】
前記バインド記述は、１つまたは複数のモダリティを、１つまたは複数の出力要素に結び付けるための記述であり、かつ１つの出力要素に対して複数のモダリティを結び付ける場合、それらのモダリティの組み合わせ方の記述を含む
ことを特徴とする請求項１０に記載の情報処理装置の制御方法。
【請求項１５】
前記操作機器は、前記モダリティ記述に従って、前記モダリティを管理する管理工程と、
前記バインド記述に従って、前記モダリティと前記対話間に関する処理を制御するモダリティ制御工程とを備え、
前記制御対象機器は、前記対話記述に従って、前記対話を管理する対話実行工程と、
前記対話実行工程からの指示に基づいて、当該制御対象機器の制御を実行する制御工程と
を備えることを特徴とする請求項１０に記載の情報処理装置の制御方法。
【請求項１６】
前記汎用モダリティと該汎用モダリティに結び付け可能な入出力要素と、その結び付けの適切度情報の記述からなるバインドサンプルを記憶媒体に記憶する記憶工程を更に備え、
前記生成工程は、前記バインドサンプルを参照して、前記モダリティ情報と前記対話情報間の関係を推論し結び付けるバインド情報を生成する
ことを特徴とする請求項１２に記載の情報処理装置の制御方法。
【請求項１７】
ネットワークを介して、操作機器と制御対象機器間の制御を支援するコンピュータのためのプログラムであって、
前記操作機器のモダリティに関するモダリティ情報を受信する第１受信工程と、
前記制御対象機器の対話に関する対話情報を受信する第２受信工程と、
前記モダリティ情報と前記対話情報間の関係を推論し結び付けるバインド情報を生成する生成工程と、
前記バインド情報及び前記対話情報を前記操作機器に送信する送信工程と
を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介して、操作機器と制御対象機器間の制御を支援する情報処理装置、制御対象機器の操作を制御する操作機器として動作する情報処理装置、操作機器からの指示に基づいて、処理を実行する制御対象機器として動作する情報処理装置及びそれらの制御方法、プログラムに関するものである。
【０００２】
【従来の技術】
ＨＴＭＬというマークアップ言語で記述されたコンテンツをブラウザを用いて閲覧するＷｅｂブラウジングは、いまや世界的に普及した技術である。ＨＴＭＬは、コンテンツを表示するためのマークアップ言語である。ＨＴＭＬは、フォームという仕組みを備えており、ボタンやテキストボックスといったＧＵＩ部品を備えることができる。これと、ＷｅｂサーバのＣＧＩ（Common Gateway Interface）という機構により、単に閲覧するだけでなく、Ｗｅｂサーバにクライアント（ネットワークにおいてサーバの提供する機能やデータを利用するコンピュータ、およびソフトウェアを意味する。このクライアントとしては、例えば、ネットワークに接続されたコンピュータ、家庭用のパーソナルコンピュータ、およびコンピュータ上で動作するＷｅｂブラウザ、ビューワ等が該当する）から情報を送信し、この情報に基づいて、Ｗｅｂサーバが何らかのプログラムを実行し、結果をやはりＨＴＭＬの形でクライアントに返信するといったことが可能である。例えば、Ｗｅｂのサーチエンジンは一般にこの方法で実現で実現されている。
【０００３】
この仕組みは、Ｗｅｂブラウジングだけでなく、機器制御にも応用可能である。即ち、制御対象機器にＷｅｂサーバを搭載し、クライアントである操作機器からのリクエストに対し、自身を制御するためのＧＵＩ部品からなるフォームを含んだＨＴＭＬファイルを操作機器に送信する。操作機器は、ブラウザでこのＨＴＭＬファイルを表示し、ユーザが操作機器上でＧＵＩを操作する。操作機器は、その入力を制御対象機器（例えば、Ｗｅｂサーバ）に送信する。制御対象機器の中では、ＣＧＩの機構でこの入力が、制御プログラムに渡され、入力に応じた制御がなされる。
【０００４】
一方、近年、ＰＤＡや携帯電話、カーナビなどの携帯端末のように、情報機器形態の多様化が進み、パーソナルコンピュータ（以下、ＰＣと呼ぶ）以外のこうした機器からもインターネットに接続できるようになっている。これにともない、ＷＭＬ等のＨＴＭＬにかわるマークアップ言語が開発・標準化されている。また、音声認識・合成技術の発達、ＣＴＩ技術の発達により、電話を介した音声対話によってＷｅｂにアクセスすることが可能になり、これにともなって、ＶｏｉｃｅＸＭＬなどのマークアップ言語が開発・標準化されている。このように、機器形態に適したマークアップ言語が開発・標準化されている。
【０００５】
機器形態の多様化に加え、ＰＣやＰＤＡではＧＵＩ、電話機では音声とＤＴＭＦといった具合に、ＵＩのモダリティも多様化している。こうした多様化するモダリティをうまく組み合わせて操作性を向上するマルチモーダルユーザインタフェースへの注目が高まっている。マルチモーダルユーザインタフェースの記述には、対話記述（ユーザからどんな入力を受け、どんな出力をするか、その入出力がどのような手順で進むかを示す記述）とモダリティ記述（どのようなＵＩ部品を用いてその入出力を行うかを示す記述）が少なくとも必要である。
【０００６】
モダリティ記述は、クライアントの形態に大きく依存する。ＰＣのような汎用的な機器であれば、豊富なＧＵＩを備え、最近では音声認識・合成技術の発展により、音声ＵＩを備えるものもある。一方、携帯電話は、音声を使うのが最も適している。なぜなら、携帯電話は、小さな液晶画面で簡単なＧＵＩ部品をサポートしているものの、ポインティングデバイスもなく、必ずしもそのＧＵＩ部品を使いやすいとは言えないからである。また、機器制御を視野に入れると、操作機器としてリモコン（リモートコントローラ）がある。リモコンは、物理ボタンによる操作が一般的である。
【０００７】
このような対話記述とモダリティ記述の方法には２種類の方法がある。
【０００８】
一つは、ある入力はＧＵＩボタンで、ある出力は音声でといった具合に、対話記述の中にモダリティの入出力形態の記述を明示する方法である。もう一つは、対話記述とモダリティ記述を分離し、対話記述をモダリティ非依存な形で記述する方法である。
【０００９】
後者の方法では、ある制御対象機器の操作手順である対話記述をモダリティ非依存な形で行い、これとは分離された形で、いろんなクライアントごとに、そのクライアントに合わせたモダリティ記述を行うことで、一つの制御対象機器をいろんなクライアントから操作できるようになる。対話記述とモダリティ記述を分離した記述が可能なマルチモーダルユーザインタフェースのマークアップ言語としては、ＣＭＬ（特開２００１−１５４８５２）がある。
【００１０】
ＣＭＬでは、対話記述自体はモダリティ独立な形で記述しており、モダリティ記述自体やその制御記述を行う枠組みはない。対話記述部分をＨＴＭＬ、ＷＭＬ、ＶｏｉｃｅＸＭＬなどの既存マークアップ言語に変換することでモダリティを生成する。あるいは、ブラウザがＣＭＬを直接実行する場合は、ブラウザがその搭載機器のモダリティを既知のものとし、どのモダリティを対話記述内のどの入出力要素に対応づけるかはブラウザに任せる仕様になっている。
【００１１】
また、特開２００１−２１７８５０は、対話記述の入出力要素を論理ＵＩ、モダリティ記述の各モダリティを具象ＵＩとして分離し、クライアントに応じて、その具象ＵＩを制御対象機器の論理ＵＩと動的に結び付ける方法を提案している。
【００１２】
今後、Ｎｏ−ＰＣ化が進展し、あらゆる種類の機器がＣＰＵと通信機能を搭載し、ネットワークを介してお互いに連携することで、ユーザの利便性を高める方向に進むことが予想される。ＵＩの観点で言えば、携帯電話やデジタルカメラなどのモバイル機器をリモコンがわりに、家電製品や自動販売機を操作するといった機器の種類や場所を選ばない機器操作環境の実現も夢ではない。このような機器操作環境の実現には、上記のマークアップ言語に基づくＷｅｂの仕組みが有効である。さらに、機器の種類や場所を選ばない機器操作環境の実現には、モダリティ独立な記述を可能とするマークアップ言語が有効である。
【００１３】
【発明が解決しようとする課題】
上記のように、既存のマークアップ言語であるＨＴＭＬやＷＭＬ、ＶｏｉｃｅＸＭＬなどは、操作機器形態を想定したモダリティ依存な言語である。そのため、さまざまな種類の機器からの制御を可能にするには、制御対象機器が、想定される操作機器に合わせて複数種類のマークアップ言語を用意しておかなければならなくなる。また、ＨＴＭＬ、ＷＭＬ、ＶｏｉｃｅＸＭＬなどは複数モダリティを組み合わせた操作を想定していないので、マルチモーダルユーザインタフェースの実現には向かない。
【００１４】
また、ＣＭＬは、モダリティ独立なマークアップ言語であるものの、ＨＴＭＬ、ＷＭＬ、ＶｏｉｃｅＸＭＬなどの既存マークアップ言語に変換する方法では、マルチモーダルユーザインタフェースの実現には向かないのは上述のとおりである。一方、ブラウザがＣＭＬを直接実行する方式の場合は、ブラウザがその搭載機器のモダリティを既知のものとし、どのモダリティを対話記述内のどの入出力要素に対応づけるかはブラウザに任せる仕様になっているので、モダリティと入出力要素の対応付けが固定的となり、マークアップ言語の記述によって制御できるといった柔軟性がない。
【００１５】
更に、特開２００１−２１７８５０は、例えば、選択肢から選択するタイプの論理ＵＩには、ラジオボタンやプルダウンメニューなどの具象ＵＩを結び付ける、といった具合に、論理ＵＩと具象ＵＩの非常に単純な結び付けを行なっている。この場合、選択肢の各選択項目のそれぞれに物理ボタンを結び付けたり、一つのボタンを繰り返し押すことで項目を選択するといった結び付けができないため、論理ＵＩに対応付け可能な具象ＵＩにある程度制約が生じてしまうという問題がある。
【００１６】
本発明は上記の課題を解決するためになされものであり、様々な機器を容易に操作機器及び制御対象機器として機能させることが可能な情報処理装置及びその制御方法、プログラムを提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
ネットワークを介して、操作機器と制御対象機器間の制御を支援する情報処理装置であって、
前記操作機器のモダリティに関するモダリティ情報を受信する第１受信手段と、
前記制御対象機器の対話に関する対話情報を受信する第２受信手段と、
前記モダリティ情報と前記対話情報間の関係を推論し結び付けるバインド情報を生成する生成手段と、
前記バインド情報及び前記対話情報を前記操作機器に送信する送信手段と
を備える。
【００１８】
また、好ましくは、前記モダリティ情報、前記対話情報及び前記バインド情報は、マークアップ言語で記述され、
前記マークアップ言語は、
前記制御対象機器の対話の内容を示す対話記述と、
前記対話記述と独立に分離して構成される、前記操作機器のモダリティを示すモダリティ記述と、
前記モダリティ記述と前記対話記述とを結び付けるバインド記述と
を含む。
【００１９】
また、好ましくは、前記対話記述は、入出力の処理単位である、１つもしくは複数の最小対話要素から構成され、前記最小対話要素は、０個もしくは１個の入力要素と０個もしくは１個以上の出力要素を含む。
【００２０】
また、好ましくは、前記モダリティ記述は、モダリティのクラス間の階層関係及びモダリティのインスタンスを含み、前記操作機器のモダリティの定義は、汎用的なモダリティの定義を記述した汎用モダリティ記述を参照し、そこで定義された汎用モダリティのサブクラスとインスタンスとして定義する。
【００２１】
また、好ましくは、前記バインド記述は、１つまたは複数のモダリティを、１つまたは複数の入力要素に結び付けるための記述であり、かつ１つの入力要素に対して複数のモダリティを結び付ける場合、それらのモダリティの組み合わせ方の記述を含む。
【００２２】
また、好ましくは、前記バインド記述は、１つまたは複数のモダリティを、１つまたは複数の出力要素に結び付けるための記述であり、かつ１つの出力要素に対して複数のモダリティを結び付ける場合、それらのモダリティの組み合わせ方の記述を含む。
【００２３】
また、好ましくは、前記操作機器は、前記モダリティ記述に従って、前記モダリティを管理する管理手段と、
前記バインド記述に従って、前記モダリティと前記対話間に関する処理を制御するモダリティ制御手段とを備え、
前記制御対象機器は、前記対話記述に従って、前記対話を管理する対話実行手段と、
前記対話実行手段からの指示に基づいて、当該制御対象機器の制御を実行する制御手段と
を備える。
【００２４】
また、好ましくは、前記汎用モダリティと該汎用モダリティに結び付け可能な入出力要素と、その結び付けの適切度情報の記述からなるバインドサンプルを記憶する記憶手段を更に備え、
前記生成手段は、前記バインドサンプルを参照して、前記モダリティ情報と前記対話情報間の関係を推論し結び付けるバインド情報を生成する。
【００２７】
上記の目的を達成するための本発明による情報処理装置の制御方法は以下の構成を備える。即ち、
ネットワークを介して、操作機器と制御対象機器間の制御を支援する情報処理装置の制御方法であって、
前記操作機器のモダリティに関するモダリティ情報を受信する第１受信工程と、
前記制御対象機器の対話に関する対話情報を受信する第２受信工程と、
前記モダリティ情報と前記対話情報間の関係を推論し結び付けるバインド情報を生成する生成工程と、
前記バインド情報及び前記対話情報を前記操作機器に送信する送信工程と
を備える。
【００３０】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
ネットワークを介して、操作機器と制御対象機器間の制御を支援する情報処理装置の制御をコンピュータに機能させるためのプログラムであって、
前記操作機器のモダリティに関するモダリティ情報を受信する第１受信工程のプログラムコードと、
前記制御対象機器の対話に関する対話情報を受信する第２受信工程のプログラムコードと、
前記モダリティ情報と前記対話情報間の関係を推論し結び付けるバインド情報を生成する生成工程のプログラムコードと、
前記バインド情報及び前記対話情報を前記操作機器に送信する送信工程のプログラムコードと
を備える。
【００３３】
【発明の実施の形態】
以下、図面を参照して本発明の好適な一実施形態を詳細に説明する。
［実施形態１］
実施形態１では、図１に示すように、携帯電話からネットワーク経由でコピー機を操作する例について説明する。
【００３４】
図１は本発明の実施形態１の情報処理システムの構成図である。
【００３５】
同図において、１０１は、制御対象の一つであるコピー機である。１０２は、ユーザが操作機器として利用する携帯電話である。
【００３６】
１０３は、操作機器のモダリティと制御対象機器の対話記述の入出力要素をどのように結び付ければよいかを推論し、バインド層を自動生成するバインド推論サーバである。
【００３７】
１０４は、インターネット、専用線、無線網、光ファイバ網等のネットワークである。１０５は、制御対象の一つであるエアコンである。１０６は、ユーザが操作機器として利用するデジタルカメラである。
【００３８】
尚、図１の情報処理システムを構成する各種機器は、少なくともマークアップ言語を解釈でき、その解釈に基づいて各種処理を実行する機能を有している。
【００３９】
次に、コピー機１０１の構成について説明する。
【００４０】
図２は本発明の実施形態１のコピー機の機能構成図である。
【００４１】
同図において、１２０１は対話実行部であり、マークアップ言語の対話層の記述に従って動作する。１２０２は機器制御部であり、対話実行部１２０１から機器制御に関する指示があれば、その指示に基づく機器制御を実行する（例えば、「コピーをとる」という指示に従ってコピーを実行する）。１２０３は通信部であり、ネットワーク１０４を介して各種機器との通信を行う。１２０４は、対話層を記述した対話マークアップ言語（ＭＬ）である。
【００４２】
図３は本発明の実施形態１のコピー機のハードウエア構成を示す構成図である。
【００４３】
同図において、２０１はＣＰＵであり、後述するフローチャートを実現するプログラムに従って動作する。２０３はＲＡＭであり、上記プログラムの動作に必要な記憶領域や作業領域、データ一時退避領域を提供する。２０２はＲＯＭであり、後述するフローチャートを実現するプログラムや各種データを保持する。２０４はディスク装置であり、例えば、対話マークアップ言語１２０４等の各種データを保持する。２０５はバスであり、上記各構成要素を相互に接続する。
【００４４】
次に、携帯電話１０２の構成について説明する。
【００４５】
図４は本発明の実施形態１の携帯電話の機能構成図である。
【００４６】
同図において、１３０１は入出力管理部であり、データ入出力、音声入出力を管理する。１３０２は音声認識部であり、入力された音声を認識する。１３０３は音声合成部であり、音声出力対象のデータを音声合成する。１３０４はモダリティ管理部であり、マークアップ言語のモダリティ層の記述に従って動作し、モダリティ（ＵＩ部品）の管理を行う。１３０５はモダリティ制御部であり、マークアップ言語のバインド層の記述に従って動作する。１３０６は通信部であり、ネットワーク１０４を介して各種機器との通信を行う。１３０７はモダリティ層を記述したモダリティマークアップ言語（ＭＬ）である。
【００４７】
図５は本発明の実施形態１の携帯電話のハードウエア構成を示す構成図である。
【００４８】
同図において、３０１はＣＰＵであり、後述するフローチャートを実現するプログラムに従って動作する。３０３はＲＡＭであり、上記プログラムの動作に必要な記憶領域や作業領域、データ一時退避領域を提供する。３０２はＲＯＭであり、後述するフローチャートを実現するプログラムや各種データを保持する。３０４はマイクであり、音声認識部１３０２に対する音声入力を行なう。３０５は液晶表示装置（ＬＣＤ）である。３０６はスピーカであり、音声合成部１３０３による合成音を出力する。３０７は各種操作を実行するための物理ボタンである。３０８はバスであり、上記各構成要素を相互に接続する。
【００４９】
次に、バインド層推論サーバ１０３の構成について説明する。
【００５０】
図６は本発明の実施形態１のバインド層推論サーバの機能構成図である。
【００５１】
同図において、１４０１はバインド層推論部である。１４０２はバインド層推論部１４０２での推論に用いるバインド記述のサンプルを示すバインドサンプルである。１４０３は通信部であり、ネットワーク１０４を介して各種機器との通信を行う。
【００５２】
図７は本発明の実施形態１のバインド層推論サーバのハードウエア構成を示す構成図である。
【００５３】
同図において、４０１はＣＰＵであり、後述するフローチャートを実現するプログラムに従って動作する。４０３はＲＡＭであり、上記プログラムの動作に必要な記憶領域や作業領域、データ一時退避領域を提供する。４０２はＲＯＭであり、後述するフローチャートを実現するプログラムや各種データを保持する。４０４はディスク装置であり、例えば、バインドサンプル１４０２等の各種データを保持する。４０５はバスであり、上記各構成要素を相互に接続する。
【００５４】
具体的な動作例を説明する前に、本発明のマルチモーダルユーザインタフェースマークアップ言語（以下、ＭＭＭＬと記述する）の仕様例を説明する。
【００５５】
３層構造
本発明では、図８に示すように、デバイスに依存するモダリティ記述とＵＩロジックである対話記述を分離して記述する。特に、モダリティ記述（タグ＜modality＞〜＜/modality＞で括られる部分）を示すモダリティ層８０１、対話記述（タグ＜dialog＞〜＜/dialog＞で括られる部分）を示す対話層８０３に加え、モダリティと対話を結び付ける記述（タグ＜Binds＞〜＜/Binds＞で括られる部分）を示すバインド層８０２の３層構造をとる。
【００５６】
このように、モダリティ記述を分離することによって、一つの対話記述（ＵＩロジック）をモダリティの異なる複数の機器で共有することが可能になる。この３層構造の具体例が図８である。
【００５７】
図８では、コピー機１０１の操作を示すコピー機モダリティ記述（Copier modalities）に加え、携帯電話からでも操作可能にする記述（Mobile phone modalities）の構造を示している。この例のように、コピー機対話記述（Copier Dialog）を１つ構成すれば、機器依存なモダリティ層とバインド層を機器ごとに記述するだけで、さまざまな機器からの操作が可能となる。
【００５８】
モダリティのクラスとインスタンス
ＭＭＭＬにおけるモダリティ層の記述において、各モダリティ、即ち、ＵＩ部品を表す語彙を、ＭＭＭＬの定義語としてすべて事前定義するのは困難であり、また拡張性に欠ける。そこで、一般的に用いられると予想される何種類かのＵＩ部品のクラスをＭＭＭＬ共通語彙として定義し、このクラスを継承することで新規クラスを定義できるようにする。さらに、こうしたクラスのインスタンスの形で、実際のＵＩ記述で用いるＵＩ部品を定義できるようにする。クラスの定義、継承、クラス間の階層関係、インスタンスの定義をＸＭＬで記述する方法として、実施形態１では、ＲＤＦスキーマを用いる。ＲＤＦスキーマは、Ｗｅｂの標準化団体であるＷ３Ｃ（http://www.w3c.org参照）で標準化されているマークアップ言語（http://www.w3.org/TR/rdf-schema/参照）である。
【００５９】
汎用モダリティクラスのスキーマ
一般的に用いられると予想される何種類かＧＵＩ部品クラスをＭＭＭＬの語彙として、ＲＤＦスキーマの形で定義する。このＲＤＦスキーマ（汎用モダリティスキーマ）を図式的に表現した例を、図９に示す。図９のように、ＲＤＦスキーマを用いて、ＵＩ部品のクラスを階層的に定義できる。例えば、「Button」はサブクラスとして「Physical Button」と「GUI Button」が定義できる。前者は、例えば、コピー機のボタンのようなもの、後者は、例えば、液晶パネルに表示されるボタンである。また、このＲＤＦスキーマのＸＭＬ表現は、図１９Ａ〜図１９Ｅのようになる。
【００６０】
操作機器（クライアント）のモダリティスキーマ
ＭＭＭＬ共通語彙として定義された一般的なＵＩ部品クラスをベースに、操作機器依存のＵＩ部品クラスやインスタンスを定義するスキーマを記述する。即ち、このモダリティスキーマは、その操作機器において、どのようなモダリティが利用可能かを記述するものであり、その操作機器のメーカーが提供することを想定している。例えば、汎用モダリティスキーマ（Generic Modalities Schema）に対し、図１０の携帯電話のＵＩ部品（ＬＣＤ、物理ボタン、音声入力、音声出力等）に対応する携帯電話モダリティスキーマ（Mobilephone Modalities Schema）の図式例は図１１のようになる。また、このモダリティスキーマのＸＭＬ表現は、図２０Ａ及び図２０Ｂのようになる。
【００６１】
対話層
これは、具体的な対話記述を行う層であり、モダリティから独立した記述が可能である。ＭＭＭＬ記述において、対話層は、タグ＜dialog＞〜＜/dialog＞の内側に記述する。対話の最小単位はfield（最小対話単位）である。fieldはinput、outputという入出力要素と、filledという要素を持つ。
【００６２】
input、outputはそれぞれ、どのような情報を入出力するかを記述するタグであり、属性として、IDを持つ。このIDは、分離して記述されたモダリティとの結び付け（binding）を記述する際に用いられる。これについては、後述する。
【００６３】
Input要素
属するfieldで受け付けたい入力の種類を記述する。入力の種類はtype属性に記述する。また、属性値としては、以下のようなものをＭＭＭＬの共通語彙として事前定義する。
【００６４】
「selectMe」
これは、入力があったという事実を受け付けるタイプの入力である。「ボタン」や音声などのモダリティをバインドできる。
【００６５】
「selectOne」
これは、選択肢の中から一つを選択するタイプの入力である。例えば、ラジオボタンやプルダウンメニューなどが典型的なモダリティである。selectOneタイプのinputは、選択肢をitemタグによって記述する。各itemに「ボタン」などのモダリティをバインドすることも可能である。
【００６６】
「selectMany」
これは、選択肢の中から複数を選択するタイプの入力である。例えば、コンボボックス（ComboBox）などが典型的なモダリティである。selectOneタイプと同様、選択肢をitemタグで記述する。
【００６７】
「TextString」
文字列の入力を受け付けるタイプの入力である。例えば、ＧＵＩのテキストボックスや音声入力が典型的なモダリティである。
【００６８】
Output要素
属するfieldでの出力を記述する。出力内容は、contentタグで記述することができる。
【００６９】
filled要素
各fieldにおける入力に対するアクション（アクション情報）を記述する。アクションの種類はさまざまである。このアクションとしては、スクリプト記述あるいは何らかの記述方法で、ＵＩ以外の内部プログラムとインタラクションする（例えば、「コピースタート」の入力を受けて、実際にコピーを行う処理プログラムを起動するなど）ことなどが、典型的なアクションである。また、入力に対して応答を行うような場合に、outputタグをfilledの中に記述することもできる。
【００７０】
fieldsの役割
fieldをグループ化する。一般にＵＩロジックは、状態がいくつかのグループにわかれ、グループ単位でＵＩロジックを定義するといったケースが多いため、fieldsで適当なグループ化をしておくと便利である（例えば、コピー機の初期画面とそれぞれの設定モード）。
【００７１】
コピー機の対話層例
コピー機ＵＩの対話層の記述例を図１２に、そのＸＭＬ表現を図２１Ａ及び図２１Ｂに示す。
【００７２】
この例では、コピーの実行（CopyStart）、用紙選択（PaperSize）、片面・両面（PrintSides）指定を行うＵＩを記述している。この例において、モダリティ記述、即ち、ボタンで入力するのか、音声で入力するのか、あるいは、テキストで表示するのか、音声で通知するのか等の具体的にどんなＵＩ部品を使用するのかについては、一切記述していない（モダリティ独立である）ことに注意されたい。
【００７３】
バインド層
モダリティ独立な対話記述ではモダリティが排除されるため、モダリティと対話記述の関連付けを行う必要がある。バインド層はその関連付けを記述する層であり、モダリティ層で定義された各モダリティと、対話層中の各入出力要素とを結び付ける。対応付けの記述は、対応付けるモダリティのID、入出力要素のIDを、ＵＲＩ（Uniform Resource Identifier）で参照する形で行う。バインド層は、タグ＜Binds＞〜＜/Binds＞の内側に記述する。各バインド要素は、タグ＜Binds＞〜＜/Binds＞の内側に記述する。対話層の１つの入出力要素に複数のモダリティをバインドすることで、複数モダリティの選択利用や協調利用を用いたマルチモーダルＵＩを記述することができる。バインド層では、次のようなモダリティ管理に関する記述が可能である。
【００７４】
・複数モダリティの組み合わせ方の記述
・出力内容の記述
・モダリティのactivate／deactivateの記述
複数モダリティの組み合わせ方の記述
複数のモダリティを１つの入出力要素にバインドする場合、選択利用や協調利用など、モダリティの組み合わせ方を指示できる。組み合わせ方の指示は、BindType属性で記述する。BindType属性の属性値としては、以下のようなものをＭＭＭＬの共通語彙として事前定義する。
【００７５】
「Alt」
入出力要素にバインドされた複数のモダリティのいずれか一つが利用可能である。複数モダリティの優先順位は記述された順とする。例えば、コピー機で「Ａ４かＢ５か」の用紙選択を行う入力要素に、ラジオボタンのモダリティと音声入力のモダリティを「Alt」属性でバインドした場合、これは、ラジオボタンによる選択もしくは音声入力のどちらでも用紙選択ができることを意味する。
【００７６】
「Seq」
入出力要素にバインドされた複数のモダリティを順に適用する。例えば、「ボタンＡを押した後、発声する」といった入力に対応する。
【００７７】
「Coordinated」
入出力要素にバインドされた複数のモダリティを協調させる。例えば、「東京からここまで」と発声しながら、表示された地図上の「大阪」をポインティングデバイスで指示する、といった入力に対応する。どのような協調動作になるかはＭＭＭＬを実行するブラウザの仕様に依存するものとし、本発明では規定しない。
【００７８】
出力内容の記述
対話層の出力要素をバインドするバインド要素中に、その出力内容を記述することができる。出力内容は、タグ＜Binds＞〜＜/Binds＞ののすぐ内側に書いてもよいし、バインドする各モダリティ記述の内側に書いてもよい。このようにすることで、モダリティに応じたより適切な出力内容を記述することができる。
【００７９】
例えば、音声合成モダリティに対しては、「コピーが完了しました」というメッセージを出力内容にし、報知音再生モダリティに対しては、「ピッ」という音を鳴らすオーディオファイルのファイル名を与えるといった記述ができる。前述の通り、出力内容は、対話層の出力要素内（タグ＜output＞〜＜/output＞の内側）にも記述可能である。これらの優先順位は、
バインド要素中のモダリティ記述の内側 ＞ バインド要素のすぐ内側 ＞ 対話層の出力要素の内側
となっている。
【００８０】
モダリティのactivate／deactivateの記述
バインドされた各モダリティをactivate／deactivate（有効化／無効化）することが可能である。例えば、周囲雑音が大きい場合に、音声入力モダリティをdeactivateするといった記述が可能である。activate/deactivateは、それぞれ、＜activate modality="..."/＞タグや＜deactivate modality="..."/＞タグで記述する。
【００８１】
バインド層例
例えば、携帯電話１０２からコピー機１０１を操作するために、携帯電話１０２のモダリティ記述（図１１）とコピー機の対話記述（図１２）を結び付けるバインド層例を図１３に示す。さらに、そのＸＭＬ表現は図２２のようになる。
【００８２】
このようにして、本発明では、任意のモダリティ層と任意の対話層に対して、バインド推論サーバ１０３がこのバインド層を自動生成することによって、任意の操作機器（例えば、携帯電話１０２）から任意の制御対象機器（コピー機１０１）を操作可能にする。
【００８３】
携帯電話からコピー機を操作する動作例
以上のような仕様のマークアップ言語の仕様に従って、携帯電話からコピー機を操作する例についてする。
【００８４】
尚、携帯電話１０２は、図１１のようなモダリティ層を有するマークアップ言語を保持している。これは、通常、携帯電話１０２のメーカーが作成し、出荷時に携帯電話に載せておくものとする。一方、コピー機１０１は、図１３のような対話層を有するマークアップ言語を保持している。これは、通常、コピー機１０１のメーカーが作成し、出荷時にコピー機１０１に載せておくものとする。
【００８５】
バインド層推論サーバ１０３は、例えば、図１４のようなバインドサンプルを保持している。このバインドサンプルは、図９のスキーマで定義された各汎用モダリティ（Generic Modalities）が入出力要素にバインド可能か、さらに、そのバインドがどの程度適切かを示す適切度情報（図１４のバインド層の数字（１〜５の値）が適切度であり、数字が大きいほど適切度が高い）を示している。
【００８６】
例えば、モダリティ「Button」は、「selectMe」タイプの入力要素と適切度５でバインド可能で、さらに、「selectOne」タイプの入力要素の各選択肢（item）に適切度３でバインド可能であることを示している。前者は、「コピー機のスタートボタンを押したらコピー開始」といった対応付けであり、後者は「”東京”、”大阪”、”名古屋”の選択肢のうち、ボタンＡを押したら”東京”、ボタンＢを押したら”大阪”、ボタンＣを押したら”名古屋”が選ばれる」といった対応付けである。
【００８７】
また、モダリティ「GUIRadioButton」は、「selectOne」タイプの入力要素に適切度５でバインド可能であることを示している。そのため、「Button」クラス、「GUIRadioButton」クラス両方のＵＩ部品を備えている操作機器であれば、「selectOne」タイプの入力要素には、その適切度が５であるため、「GUIRadioButton」クラスのモダリティをバインドしたほうがより適切ということになる。
【００８８】
バインド層推論サーバ１０３は、こうしたバインドサンプルに基づいて、実際の操作機器のモダリティと制御対象機器の入出力要素のバインドを行なう。その具体的な動作例を詳しく説明する。
【００８９】
図１８は本発明の実施形態１のバインド層推論サーバで実行される処理を示すフローチャートである。
【００９０】
まず、ユーザが、外出先から、携帯電話１０２（操作機器）でオフィスのコピー機１０１（制御対象機器）を操作しようとした場合、ステップ１０１で、まず、コピー機１０１のＵＲＬと携帯電話１０２のモダリティ層（図１１）を含むモダリティ情報を、バインド層推論サーバ１０３に送信する。
【００９１】
バインド層推論サーバ１０３は、ステップＳ２０１で、携帯電話１０２からモダリティ情報を受信する。次に、ステップＳ２０２で、受信したモダリティ情報中のＵＲＬからコピー機１０１に対話記述を含む対話情報の送信のリクエストを発行する。
【００９２】
コピー機１０１は、このリクエストをバインド推論サーバ１０３から受信すると、ステップＳ３０１で、自身の対話層（図１２）に関する対話情報をバインド推論サーバ１０３へ送信する。
【００９３】
バインド層推論サーバ１０３は、ステップＳ２０３で、コピー機１０１から対話情報を受信する。次に、ステップＳ２０４で、その対話情報中の対話記述の各入出力要素に対し、携帯電話１０２のどのモダリティをバインドすればよいかをバインド層推論部１４０１で決定する。具体的には、バインドサンプル１４０２（図１４）を参照して、以下のようにして、携帯電話１０２のモダリティ記述とコピー器１０１の対話記述とを結び付けるバインド層を含むバインド情報を生成する。
【００９４】
例えば、コピー機１０１の対話記述の「CopyStart」fieldの入力要素は、「selectMe」タイプであるので、図１４からこれにバインドするのに適当なモダリティは、「Button」クラスのモダリティであることがわかる。また、図９と図１１から、携帯電話１０２の持つモダリティの中で、「Button」クラスの下位クラスのインスタンスとしては、テンキー（０〜９）の「10Key-0」〜「10Key-9」があることがわかる。そこで、その中の適当な一つである「10Key-0」を「CopyStart」fieldの入力要素にバインドすることにする。
【００９５】
同様に、「PaperSize」fieldの入力要素は、「selecOne」タイプであるので、図１４から、「GUIRadioButton」クラス、「GUICheckBox」クラス、「SpeechInput」クラスをバインドするか、「Button」クラスのモダリティを各選択肢にバインドすればよいことがわかる。図９と図１１から、携帯電話１０２の持つモダリティの中では、「MyASR」という音声入力モダリティをバインドするか、テンキー「10Key-0」〜「10Key-9」を各選択肢にバインドすればよいことがわかる。
【００９６】
ここでは、「10Key-0」はすでにバインドされているので、「10Key-1」と「10Key-2」をそれぞれ選択肢の「A4」、「B5」にバインドすることにする。これにより、「MyASR」のバインドして、音声入力とボタン入力の両方が可能なマルチモーダルインターフェースを構成できる。
【００９７】
尚、音声入力モダリティ「MyASR」の認識語彙は、選択肢から自動的に「エーヨン」、「ビーゴ」を生成する。これは選択肢の記述「A4」、「B5」から言語解析による読み付け処理で可能である。尚、読み付け処理については、音声合成などの技術で使われる手法で実現可能であり、その具体的な内容は本発明の対象外である。
【００９８】
また、「PrintSides」fieldの入力要素についても同様にし、「10Key-3」と「10Key-4」を各選択肢に、さらに、音声入力モダリティ「MyASR」をバインドする。このようにして、図１３のようなバインド層を含むバインド情報を生成する。バインド層推論サーバ１０３は、ステップＳ２０５で、このバインド層を含むバインド情報と、コピー機１０１の対話層（図１２）を含む対話情報を合わせて、携帯電話１０２に送信する。
【００９９】
これによって、携帯電話１０２では、自身のモダリティとコピー機１０１の対話記述がバインド層で結び付けられたマークアップ言語を有することになり、このマークアップ言語に基づいて、コピー機１０１の各種操作を実行することができる。
【０１００】
以下、携帯電話１０２及びコピー機１０１間の操作例について説明する。
【０１０１】
携帯電話１０２は、バインド推論サーバ１０３からバインド層及び対話層を受信した後、例えば、ユーザが携帯電話１０２のテンキー「１」を押すと、携帯電話１０２の入出力管理部１３０１がこれを検知する。この検知によって、モダリティ管理部１３０４がモダリティ「10Key-1」を介した入力があったことを知る。
【０１０２】
モダリティ制御部１３０５は、バインド層推論サーバ１０３から受信したバインド層記述（図１３）を参照し、これがコピー機１０１の「PaperSize」fieldの入力要素の選択肢「A4」にバインドされていることがわかるので、その旨を図１５のようなＸＭＬデータとして、通信部１３０６を介してコピー機１０１に送信する。
【０１０３】
コピー機１０１は、通信部１２０３を介して図１５のＸＭＬデータを受信し、対話実行部１２０１でその内容を解釈し、用紙サイズが「A4」に設定されたことを知る。続けて、ユーザがテンキー「０」を押すと、携帯電話１０２の入出力管理部１３０１がこれを検知し、モダリティ管理部１３０４がモダリティ「10Key-0」を介した入力があったことを知る。
【０１０４】
モダリティ制御部１３０５は、バインド層推論サーバ１０３から受信したバインド層記述（図１３）を参照し、これがコピー機１０１の「CopyStart」fieldという入力要素にバインドされていることがわかるので、その旨を図１６のようなＸＭＬデータとして、通信部１３０６を介してコピー機１０１に送信する。
【０１０５】
そして、コピー機１０１は、通信部１２０３を介して図１６のＸＭＬデータを受信し、対話実行部１２０１でその内容を解釈し、機器制御部１２０２によってコピーを開始する。
【０１０６】
上記のように、操作機器（例えば、携帯電話１０２）のモダリティと制御対象機器（例えば、コピー機１０１）の対話記述内の入出力要素とのバインドを、バインド層推論サーバ１０３で行うので、操作機器としてデジタルカメラ１０６に持ち替えたとしても、デジタルカメラ１０６がそれ自身のモダリティ記述や図４と同様の機能を構成していれば、同じようにコピー機１０１を制御できる。また、制御対象機器がエアコン１０５であっても、エアコンがそれ自身の制御手順である対話記述（図１７）と図２と同様の機能を構成していれば、同じように制御できる。
【０１０７】
以上説明したように、実施形態１によれば、操作機器及び制御対象機器に係る処理をマークアップ言語に基づいて実現する環境において、特に、このマークアップ言語に、
制御対象機器の対話記述
操作機器のモダリティ記述
その対話記述とモダリティ記述を結び付けるバインド記述
を構成する。
【０１０８】
そして、操作機器には、マークアップ言語中のモダリティ記述の内容に従って、各モダリティを用いた入出力管理を行うモダリティ管理部と、マークアップ記述言語中のバインド層の記述に従って、各モダリティと結び付けられた入出力要素との間の情報の受け渡しを行うモダリティ制御部を構成する。また、制御対象機器には、マークアップ言語中の対話記述の内容に従って、モダリティ管理部が管理している各モダリティからの入力の受け付け、各モダリティへの出力の指示を実行する対話実行部を構成する。そして、マークアップ言語のバインド記述の内容に従って、各モダリティと結び付けられた入出力要素との間の情報を受け渡しを行うバインド推論部をバインド推論サーバに構成する。
【０１０９】
これにより、任意の機器を自動的に、任意の機器を制御対象機器とする操作機器として構成することができる。また、その操作機器をマルチモーダルユーザインタフェースを備えた操作機器として構成することができる。
［実施形態２］
上記実施形態１では、操作機器として携帯電話とデジカメ、制御対象機器としてコピー機とエアコンの例を示したが、操作機器、制御対象機器が上述した機能と同様の機能を持っていさえすれば、任意の機器（例えば、ＰＤＡ、リモコン等）から任意の機器（ファクシミリ、プリンタ、スキャナ等のＯＡ機器、電気ポット、冷蔵庫、テレビ等の家電品）を、それぞれ操作機器、制御対象機器とすることができることは言うまでもない。
［実施形態３］
上記実施形態１では、機器間をつなぐネットワークをインターネットとしていたが、ＸＭＬで記述されたテキスト情報を送受信できるものであればどのような種類のネットワークでもよいし、どのようなプロトコルでもよい。
［実施形態４］
上記実施形態１では、バインド層推論部１４０１をバインド層推論サーバ１０３上で構成していたが、バインド層推論部１４０１を操作機器（クライアント）に構成して、自分自身のモダリティと制御対象機器の対話記述のバインド記述を生成するようにしてもよい。
［実施形態５］
上記実施形態１では、上述の各機器で実行される動作を実現するプログラムをＲＯＭに保持する場合について説明したが、これに限定されるものではなく、任意の記憶媒体を用いて実現してもよい。また、同様の動作を実現する回路で実現してもよい。
【０１１０】
以上、実施形態例を詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１１】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【０１１２】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１１３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１１４】
プログラムを供給するための記録媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１１５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１１６】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１７】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１１８】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０１１９】
【発明の効果】
以上説明したように、本発明によれば、様々な機器を容易に操作機器及び制御対象機器として機能させることが可能な情報処理装置及びその制御方法、プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態１の情報処理システムの構成図である。
【図２】本発明の実施形態１のコピー機の機能構成図である。
【図３】本発明の実施形態１のコピー機のハードウエア構成を示す構成図である。
【図４】本発明の実施形態１の携帯電話の機能構成図である。
【図５】本発明の実施形態１の携帯電話のハードウエア構成を示す構成図である。
【図６】本発明の実施形態１のバインド層推論サーバの機能構成図である。
【図７】本発明の実施形態１のバインド層推論サーバのハードウエア構成を示す構成図である。
【図８】本発明の実施形態１のマークアップ言語の構造を示す図である。
【図９】本発明の実施形態１の汎用モダリティのスキーマ記述を図式化した図である。
【図１０】本発明の実施形態１の携帯電話のＵＩの構成例を示す図である。
【図１１】本発明の実施形態１の携帯電話のモダリティのスキーマ記述を図式化した図である。
【図１２】本発明の実施形態１のコピー機の対話層を図式化した図である。
【図１３】本発明の実施形態１のバインド層の記述を図式化した図である。
【図１４】本発明の実施形態１のバインド層推論部が保持するバインドサンプルを図式化し図である。
【図１５】本発明の実施形態１の携帯電話からコピー機に送信する情報例を示す図である。
【図１６】本発明の実施形態１の携帯電話からコピー機に送信する別の情報例を示す図である。
【図１７】本発明の実施形態１のエアコンの対話層を図式化した図である。
【図１８】本発明の実施形態１のバインド層推論サーバで実行される処理を示すフローチャートである。
【図１９Ａ】本発明の実施形態１の汎用モダリティスキーマのＸＭＬ表現例を示す図である。
【図１９Ｂ】本発明の実施形態１の汎用モダリティスキーマのＸＭＬ表現例を示す図である。
【図１９Ｃ】本発明の実施形態１の汎用モダリティスキーマのＸＭＬ表現例を示す図である。
【図１９Ｄ】本発明の実施形態１の汎用モダリティスキーマのＸＭＬ表現例を示す図である。
【図１９Ｅ】本発明の実施形態１の汎用モダリティスキーマのＸＭＬ表現例を示す図である。
【図２０Ａ】本発明の実施形態１の携帯電話のモダリティスキーマのＸＭＬ表現例を示す図である。
【図２０Ｂ】本発明の実施形態１の携帯電話のモダリティスキーマのＸＭＬ表現例を示す図である。
【図２１Ａ】本発明の実施形態１のコピー機の対話層のＸＭＬ表現例を示す図である。
【図２１Ｂ】本発明の実施形態１のコピー機の対話層のＸＭＬ表現例を示す図である。
【図２２】本発明の実施形態１の携帯電話のモダリティとコピー機の対話記述の入出力要素をバインドするバインド層のＸＭＬ表現例を示す図である。
【符号の説明】
１０１  コピー機
１０２  携帯電話
１０３  バインド推論サーバ
１０４  ネットワーク
１０５  エアコン
１０６  デジタルカメラ
１２０１  対話実行部
１２０２  機器制御部
１２０３  通信部
１２０４  対話記述ＭＬ
１３０１  入出力管理部
１３０２  音声認識部
１３０３  音声合成部
１３０４  モダリティ管理部
１３０５  モダリティ制御部
１３０６  通信部
１３０７  モダリティＭＬ
１４０１  バインド層推論部
１４０２  バインドサンプル
１４０３  通信部
【図１】
0003728251.tif 000002
【図２】
0003728251.tif 000003
【図３】
0003728251.tif 000004
【図４】
0003728251.tif 000005
【図５】
0003728251.tif 000006
【図６】
0003728251.tif 000007
【図７】
0003728251.tif 000008
【図８】
0003728251.tif 000009
【図９】
0003728251.tif 000010
【図１０】
0003728251.tif 000011
【図１１】
0003728251.tif 000012
【図１２】
0003728251.tif 000013
【図１３】
0003728251.tif 000014
【図１４】
0003728251.tif 000015
【図１５】
0003728251.tif 000016
【図１６】
0003728251.tif 000017
【図１７】
0003728251.tif 000018
【図１８】
0003728251.tif 000019
【図１９Ａ】
0003728251.tif 000020
【図１９Ｂ】
0003728251.tif 000021
【図１９Ｃ】
0003728251.tif 000022
【図１９Ｄ】
0003728251.tif 000023
【図１９Ｅ】
0003728251.tif 000024
【図２０Ａ】
0003728251.tif 000025
【図２０Ｂ】
0003728251.tif 000026
【図２１Ａ】
0003728251.tif 000027
【図２１Ｂ】
0003728251.tif 000028
【図２２】
0003728251.tif 000029