(57)【特許請求の範囲】
【請求項１】
入力情報に基づき出力部が処理を行うマルチモーダル情報処理装置において、
前記入力情報に対応して前記出力部の種類とは無関係の抽象化出力情報を生成する出力情報生成部を備え、
前記出力部は、自出力部の動作状況を監視する状況監視部と、当該状況監視部の監視結果に基づいて、前記抽象化出力情報から具現化情報を生成する意味解釈部と、前記具現化情報に対応した処理を行う処理実行部とを有することを特徴とするマルチモーダル情報処理装置。
【請求項２】
前記出力部は、前記抽象化出力情報の解釈方法が記述されたデータベースを備え、前記意味解釈部は、前記データベースを参照して前記抽象化出力情報を解釈し前記具現化情報を生成することを特徴とする請求項１記載のマルチモーダル情報処理装置。
【請求項３】
前記意味解釈部は、前記出力部を使用するユーザの当該出力部の動作状況に関する情報を含めて解釈を行うことを特徴とする請求項１記載のマルチモーダル情報処理装置。
【請求項４】
前記意味解釈部は、自出力部とは別の出力部の状況監視部からの監視結果に基づいて解釈を行うことを特徴とする請求項１記載のマルチモーダル情報処理装置。
【請求項５】
前記出力情報生成部は、前記出力部の状況監視部からの監視結果に基づいて前記抽象化出力情報を生成することを特徴とする請求項１記載のマルチモーダル情報処理装置。
【請求項６】
前記出力情報生成部は、前記入力情報の種類とは無関係の抽象化入力情報を生成する入力情報統合部を備え、当該抽象化入力情報に基づいて前記抽象化出力情報を生成することを特徴とする請求項１記載のマルチモーダル情報処理装置。
【請求項７】
前記出力情報生成部は、前記出力部の状況監視部からの監視結果を入力として前記抽象化入力情報と同一の形式で記述した抽象化状況情報を生成する入力情報統合部を備え、前記抽象化入力情報と前記抽象化状況情報に基づいて前記抽象化出力情報を生成することを特徴とする請求項６記載のマルチモーダル情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の異なる出力機器や出力デバイスへの出力情報を統一的な情報として扱うためのマルチモーダル情報処理装置に関するものである。
【背景技術】
【０００２】
従来、同一の目的となる出力情報を、複数種類の出力機器や出力デバイス（例えば、ディスプレイや音声再生機など）で出力する場合、予め出力機器や出力デバイス毎の出力情報（テキストデータと音声データなど）を用意する方法があった。しかし、このような方法は、予め出力機器や出力デバイスの種類やその出力情報の形式を想定した設計が必要で、出力機器や出力デバイスが変わると設計し直す必要がある。
そこで、この課題を解決するため、例えば特許文献１に記載された装置では、出力デバイスを決定する手段と、出力情報のデータ形式を変換する手段とを備え、出力デバイスが処理可能なデータ形式に変換して出力デバイスへ出力することで、予め複数の出力データの形式を考慮しなくても良い情報出力システムを実現していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２６５３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
今日では、出力機器や出力デバイスの多様化に伴い、情報処理装置で利用可能な出力機器や出力デバイスが多くなり、また、システム構築後にも変更される場合が増えている。
しかしながら、例えば、特許文献１に示されたような、出力処理装置を決定する手段や出力情報のデータ形式を変換する手段を、情報処理装置側が持つ構成とした場合、接続可能な出力機器や出力デバイスの変更や、いずれかの出力機器や出力デバイスのデータ形式の変更がある度に、情報処理装置側を設計し直さなければならないという課題があった。【０００５】
また、情報処理装置側において出力機器や出力デバイスが処理可能な出力データ形式を生成する構成であるため、各出力機器や出力デバイスが現在の状況を考慮した出力を行う場合に、情報処理装置が各出力機器や出力デバイスの状況を取得し、取得した状況に応じた出力情報を生成するように設計する必要がある。そのため、いずれかの出力機器や出力デバイスの動作が変更される度に、情報処理装置側を設計し直す必要があるという課題があった。【０００６】
この発明は上記のような課題を解決するためになされたもので、情報処理装置に接続する出力機器や出力デバイスが変更された場合でも、情報処理装置側を変更する必要のないマルチモーダル情報処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係るマルチモーダル情報処理装置は、入力情報に基づき出力部が処理を行うマルチモーダル情報処理装置において、入力情報に対応して出力部の種類とは無関係の抽象化出力情報を生成する出力情報生成部を備え、出力部は、自出力部の動作状況を監視する状況監視部と、状況監視部の監視結果に基づいて、抽象化出力情報から具現化情報を生成する意味解釈部と、具現化情報に対応した処理を行う処理実行部とを有するものである。
【発明の効果】
【０００８】
この発明のマルチモーダル情報処理装置は、入力情報に対応して出力部の種類とは無関係の抽象化出力情報を生成し、出力部は、自出力部の動作状況の監視結果に基づいて抽象化出力情報から具現化情報を生成して対応した処理を行うようにしたので、情報処理装置に接続する出力機器や出力デバイスが変更された場合でも、情報処理装置側を変更する必要がない。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１によるマルチモーダル情報処理装置を示す構成図である。
【図２】この発明の実施の形態１によるマルチモーダル情報処理装置の動作を示すフローチャートである。
【図３】この発明の実施の形態１によるマルチモーダル情報処理装置の抽象化出力情報を生成する処理を示す説明図である。
【図４】この発明の実施の形態１によるマルチモーダル情報処理装置の具現化出力情報を生成する処理を示す説明図である。
【図５】この発明の実施の形態１によるマルチモーダル情報処理装置の複数の出力部が接続された場合の処理を示す説明図である。
【図６】この発明の実施の形態２によるマルチモーダル情報処理装置を示す構成図である。
【図７】この発明の実施の形態２によるマルチモーダル情報処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１によるマルチモーダル情報処理装置を示す構成図である。
図１に示すマルチモーダル情報処理装置は、入力部１と出力情報生成部３と出力部５ａ，５ｂ，…を備えている。入力部１はユーザによる入力や機器からの入力を受け付ける処理部であり、複数の入力手段１ａ，１ｂ，１ｃ，…からなる。これら入力手段１ａ，１ｂ，１ｃ，…は、ユーザの入力情報を取得する手段や機器からの情報を取得する手段であり、それぞれの出力は入力情報２ａ，２ｂ，２ｃ，…として出力情報生成部３に出力される。
【００１１】
出力情報生成部３は、入力情報２ａ，２ｂ，２ｃ，…から出力部５ａ，５ｂ，…に依存しない出力情報を生成し、抽象化出力情報４として出力する情報処理装置における出力情報を生成する処理部であり、入力情報統合部３１と、抽象化出力情報の出力仕様３３と、抽象化出力情報生成部３４とを備えている。入力情報統合部３１は、入力部１から入力された１つ以上の入力情報２ａ，２ｂ，２ｃ，…を解釈し、入力手段１ａ，１ｂ，１ｃ，…に依存しない入力情報である抽象化入力情報３２として出力する処理部である。また、抽象化出力情報の出力仕様３３は、抽象化入力情報３２と抽象化出力情報４との関係を示す情報が記述されたデータベースである。さらに、抽象化出力情報生成部３４は、抽象化出力情報の出力仕様３３を参照し、抽象化入力情報３２から抽象化出力情報４を生成する処理部である。
【００１２】
出力部５ａ，５ｂ，…は、抽象化出力情報４に基づいて処理可能な出力情報を生成し実行する出力機器や出力デバイスであり、それぞれが、状況監視部５１ａ，５１ｂ，…、解釈仕様５３ａ，５３ｂ，…、意味解釈部５４ａ，５４ｂ，…、処理実行部５６ａ，５６ｂ，…を備えている。なお、ここで、出力デバイスとは、後述する音声出力器や表示器といった、比較的構成要素が少ないものや出力機器を構成する要素となるものを意味し、出力機器とは、例えばエアコンといった比較的構成要素が多いものやデバイスの集合体といったものを意味している。
【００１３】
状況監視部５１ａ，５１ｂ，…は、それぞれの出力部５ａ，５ｂ，…の動作状況を監視し、状況情報５２ａ，５２ｂ，…として出力する。解釈仕様５３ａ，５３ｂ，…は、抽象化出力情報４と状況情報５２ａ，５２ｂ，…との解釈方法が記述されたデータベースである。意味解釈部５４ａ，５４ｂ，…は、抽象化出力情報４と状況情報５２ａ，５２ｂ，…と解釈仕様５３ａ，５３ｂ，…から、出力機器や出力デバイスが処理可能な出力情報である具現化出力情報５５ａ，５５ｂ，…を生成する処理部である。処理実行部５６ａ，５６ｂ，…は、出力機器や出力デバイスとして実際の処理を実行する処理部である。
【００１４】
上記入力部１で各入力手段１ａ，１ｂ，１ｃ，…が取得する入力情報２ａ，２ｂ，２ｃ，…は、ハードウェアキーの入力信号やマウスの座標情報、音声認識のテキストデータや入力された音声信号、ジェスチャ認識の解釈結果や入力された画像信号、別の機器の動作完了信号など、処理に利用可能な情報を含む形式であればどのようなものであっても良い。
【００１５】
出力情報生成部３の入力情報統合部３１が生成する抽象化入力情報３２は、数値データやテキストデータ、バイナリデータ、ビットデータ、それらを組み合わせたデータなど、入力手段１ａ，１ｂ，１ｃ，…に依らず抽象化出力情報生成部３４が解釈可能な情報やデータ形式であればどのようなものであっても良い。
【００１６】
出力情報生成部３の抽象化出力情報の出力仕様３３は、抽象化入力情報３２から抽象化出力情報４を生成するための情報であり、タブ区切りのテキストやＸＭＬなどのマークアップ言語で記述された外部定義ファイル・データベースとして抽象化出力情報生成部３４が解釈しても良く、抽象化出力情報生成部３４の処理用プログラムにコーディングされていても良く、抽象化入力情報３２と抽象化出力情報４とを関連付けることが可能な形式であればどのようなものであっても良い。
【００１７】
出力情報生成部３の抽象化出力情報生成部３４が生成する抽象化出力情報４は、数値データやテキストデータ、バイナリデータ、ビットデータ、それらを組み合わせたデータなど、抽象化出力情報生成部３４が出力部５ａ，５ｂ，…に依存しない出力情報として生成できる情報やデータ形式であればどのようなものであっても良い。
【００１８】
出力部５ａ，５ｂ，…の状況監視部５１ａ，５１ｂ，…が出力する状況情報５２ａ，５２ｂ，…は、電源の状態情報や動作中のタスク情報、完了したタスク情報などの出力機器や出力デバイス自体の状態に関する情報であれば良く、出力機器や出力デバイス周辺の気温や湿度、騒音状況などの周辺環境に関する情報であっても良い。
【００１９】
出力部５ａ，５ｂ，…の解釈仕様５３ａ，５３ｂ，…は、抽象化出力情報４および状況情報５２ａ，５２ｂ，…から具現化出力情報５５ａ，５５ｂ，…を生成するための情報であり、タブ区切りのテキストやＸＭＬなどのマークアップ言語で記述された外部定義ファイル・データベースとして意味解釈部５４ａ，５４ｂ，…が解釈しても良く、意味解釈部５４ａ，５４ｂ，…の処理用プログラムにコーディングされていても良く、抽象化出力情報４および状況情報５２ａ，５２ｂ，…と意味解釈部５４ａ，５４ｂ，…とを関連付けることが可能な形式であればどのようなものであっても良い。
【００２０】
出力部５ａ，５ｂ，…の意味解釈部５４ａ，５４ｂ，…が生成する具現化出力情報５５ａ，５５ｂ，…は、出力機器や出力デバイスが処理を行う上で一意に解釈可能な情報であり、音声信号や画像データ、制御信号など、出力機器や出力デバイスに対応した情報であれば良い。
【００２１】
なお、入力部１と出力情報生成部３と出力部５ａ，５ｂ，…は、同一のハードウェア上に存在しても良く、また、通信する術を持って双方向あるいは単方向で接続されても良い。
【００２２】
次に、実施の形態１のマルチモーダル情報処理装置の動作について説明する。
図２は、実施の形態１によるマルチモーダル情報処理装置の動作を示すフローチャートである。
入力部１にて、１つ以上の入力手段１ａ，１ｂ，１ｃ，…からマルチモーダル情報処理装置への入力情報２ａ，２ｂ，２ｃ，…を受け付け、出力情報生成部３へ出力する（ステップＳＴ１）。入力手段１ａ，１ｂ，１ｃ，…への入力は、キーボード入力やマウス入力などのユーザからの直接的な入力や、音声認識やジェスチャ認識などのユーザの行動に対する解釈を伴う入力でも良く、また、別のシステムや装置からの入力であっても良い。
【００２３】
続くステップＳＴ２において、出力情報生成部３の入力情報統合部３１は、入力部１から入力された１つ以上の入力情報２ａ，２ｂ，２ｃ，…から、入力の意図を解釈し、入力手段１ａ，１ｂ，１ｃ，…に依存しない抽象化された入力情報である抽象化入力情報３２を生成し、抽象化出力情報生成部３４へ出力する。
【００２４】
ステップＳＴ２の入力情報統合部３１の動作については、例えば、特開平１１−２４８１３号公報に記載された方法を用いることができる。この文献の一例では、辞書データに基づき入力情報を一般化された指令スクリプトへ変換する方法が記載されており、その他、１つ以上の入力情報から１つの入力結果を得る公知の方法を用いれば良い。
【００２５】
また、所定の入力デバイスから、入力手段に依らず解釈可能な抽象化入力情報３２が直接入力されても良く、この場合、出力情報生成部３は、抽象化出力情報の出力仕様３３と抽象化出力情報生成部３４から構成されれば良い。
【００２６】
続くステップＳＴ３において抽象化出力情報生成部３４が抽象化出力情報の出力仕様３３を参照して、抽象化入力情報３２から抽象化出力情報４を生成し、出力部５ａ，５ｂ，…へ出力する。
【００２７】
図３は、出力情報生成部３の抽象化出力情報４を生成する処理を示す説明図である。
図３に例示の抽象化入力情報３２および抽象化出力情報４は、情報の対象を示す「目的語」と、情報の動作を示す「述語」と、情報の可変値を示す「値」とから構成される情報とする。
【００２８】
図３は、複数の入力手段（音声認識、動作認識、コントローラ）から、入力情報２ａ，２ｂ，２ｃ，…が入力された場合の例である。また、図３の例は、図４を用いて後述するように、出力部５ａ，５ｂ，…をエアコンとし、この制御を行うようにした場合である。
入力情報統合部３１では、入力情報２ａ，２ｂ，２ｃ，…から抽象化入力情報３２への変換を行う。ユーザの「暑い」という発声を音声認識した入力情報と、動作認識がユーザの「あおいでいる」という動作を認識した入力情報とは、同一の抽象化入力情報３２である目的語「部屋の温度」、値「暑い」と変換される。また、コントローラで直接「冷房ＯＮ」の信号が入力された場合には、目的語「冷房」、述語「ＯＮ」という抽象化入力情報への変換を行う。
【００２９】
抽象化出力情報の出力仕様３３は、抽象化入力情報３２と抽象化出力情報４とを関連付けるデータベースであるため、抽象化出力情報生成部３４は、抽象化出力情報の出力仕様３３を参照して、対応する抽象化出力情報４を生成する。例では、いずれの抽象化入力情報３２も、同じ処理を行う出力仕様であり、目的語「部屋の温度」述語「下げる」という抽象化出力情報４に変換されることを示している。
【００３０】
なお、図３の例では、抽象化入力情報３２および抽象化出力情報４を「目的語」、「述語」、「値」という役割ごとに分けた３つの情報で表現したが、単一の情報で表現しても良く、入力デバイスや出力デバイス、信頼度などの他の情報を含んでも良い。また、抽象化入力情報３２と抽象化出力情報４が異なる形式であっても良い。また、図３の例では、抽象化出力情報の出力仕様３３を抽象化入力情報３２と抽象化出力情報４を対で関連付ける情報としているが、状態遷移などの連続した入力情報に基づいて出力情報を生成可能な情報であっても良い。
ここまでが、図２のステップＳＴ３での出力情報生成部３の抽象化出力情報４を生成する処理の説明である。
【００３１】
抽象化入力情報３２は、入力手段１ａ，１ｂ，１ｃ，…から入力するのではなく、例えば一定時間ごとに固定の抽象化入力情報３２を受理したことにするなど、出力情報生成部３自体が発生させても良い。この場合には、マルチモーダル情報処理装置は、出力情報生成部３及び出力部５ａ，５ｂ，…から構成され、出力情報生成部３は、抽象化出力情報の出力仕様３３と抽象化出力情報生成部３４から構成されれば良い。
【００３２】
続くステップＳＴ４において、各出力部５ａ，５ｂ，…の状況監視部５１ａ，５１ｂ，…は、各出力部５ａ，５ｂ，…の現在の状況を取得し、状況情報５２ａ，５２ｂ，…として意味解釈部５４ａ，５４ｂ，…へ出力する。なお、以下、各出力部５ａ，５ｂ，…に共通の動作については、出力部５における状況監視部５１、状況情報５２、解釈仕様５３、意味解釈部５４、具現化出力情報５５、処理実行部５６として説明する。
状況情報５２は、出力機器や出力デバイスの電源や動作タスクなどの内部状態を取得しても良く、温度センサや風力計、騒音計などの各種センサを利用して出力機器や出力デバイスの周辺環境に関する情報を取得しても良く、それらを１つ以上組み合わせたものであれば良い。
【００３３】
続くステップＳＴ５において、出力部５の意味解釈部５４は、出力情報生成部３から入力された抽象化出力情報４、および状況監視部５１から入力された状況情報５２から、解釈仕様５３を参照して、出力機器や出力デバイスが実行可能な出力情報を生成し、具現化出力情報５５として処理実行部５６へ出力する。
【００３４】
図４は、意味解釈部５４の具現化出力情報５５を生成する処理を示す説明図である。
図４に例示の解釈仕様５３は、状態情報５２および抽象化出力情報４に応じた具現化出力情報５５を設定可能な状態遷移を表現するものである。
【００３５】
図４は、出力部５であるエアコンに、部屋の温度を下げる旨の抽象化出力情報４が入力され、エアコンが待機状態であり、室温が３６度であるという状況情報５２が意味解釈部５４へ入力された場合の例である。意味解釈部５４は、解釈仕様５３の状態遷移に基づき、抽象化出力情報４（目的語「部屋の温度」、述語「下げる」）を受けて、「待機状態」から「風速設定状態」となる。さらに、室温３６度という状況情報５２を受けて、「強風で冷房起動」を出力する状態となり、「強風で冷房起動」を示す信号を具現化出力情報５５として処理実行部５６へ出力する。
また、図４の例では、解釈仕様５３を連続した入力情報に基づいて出力情報を生成可能な情報である状態遷移として表現しているが、他の表現方法でも良く、抽象化出力情報４と具現化出力情報５５を対で関連付ける情報であっても良い。
ここまでが、図２のステップＳＴ５での意味解釈部５４の具現化出力情報５５を生成する処理の説明である。
【００３６】
なお、意味解釈部５４が、状況情報５２の代わりにユーザ情報を入力するように構成しても良い。ここで、ユーザ情報とは、ＩＤなどの特定のユーザを示す情報であっても良く、また、男／女や暑がり／寒がりなどのグループを示す情報であっても良く、さらに、強風が多い／弱風が多いなどの動作の種類を直接示すものであっても良い。
その場合、解釈仕様５３は、ユーザ情報と抽象化出力情報４に応じた具現化出力情報５５を設定可能な状態遷移を表現するものであり、意味解釈部５４は、抽象化出力情報４とユーザ情報に応じた具現化出力情報５５を生成することで、使用するユーザに応じた動作・機能が可能となる。
【００３７】
また、意味解釈部５４が状況情報５２とユーザ情報を入力するように構成しても良く、その場合には、解釈仕様５３は、状況情報５２とユーザ情報および抽象化出力情報４に応じた具現化出力情報５５を設定可能な状態遷移を表現するものであり、意味解釈部５４は、抽象化出力情報４と状況情報５２とユーザ情報に応じた具現化出力情報５５を生成することで、使用するユーザと状況に応じた動作・機能が可能となる。
例えば、意味解釈部５４が状況情報５２とユーザ情報を入力する場合の動作の一例としては次の通りである。すなわち、出力部５であるエアコンに、部屋の温度を下げる旨の抽象化出力情報４が入力され、エアコンが待機状態であり、室温が３６度であるという状況情報５２と、高温時には強風を好むというユーザ情報が意味解釈部５４へ入力された場合の例において、意味解釈部５４は、解釈仕様５３の状態遷移に基づき、抽象化出力情報４（目的語「部屋の温度」、述語「下げる」）を受けて、「待機状態」から「風速設定状態」となる。さらに、室温３６度という状況情報５２と、高温時には強風を好むというユーザ情報を受けて、「強風で冷房起動」を出力する状態となり、「強風で冷房起動」を示す信号を具現化出力情報５５として処理実行部５６へ出力する。
【００３８】
また、意味解釈部５４が、別の出力部５の状況情報５２を入力するようにしても良く、このように構成すれば、別の出力部５に応じた動作および機能が可能となる。例えば、機器の座標を設定し表示器に表示する場合に、座標を設定することを意味する１つの抽象化出力情報４を受け、座標を設定する操作機器は座標の設定完了時に状況情報５２として完了情報を出力し、表示器は操作機器からの完了情報を受けた後に座標を表示する、などの連動した操作が可能となる。
【００３９】
なお、意味解釈部５４は、解釈仕様５３で定義されている抽象化出力情報４に対してのみ処理を行うとしても良い。
【００４０】
続くステップＳＴ６において、各出力部５の処理実行部５６は、意味解釈部５４から入力された具現化出力情報５５に基づき、出力部５としての動作を実行する。
【００４１】
図５は、複数の出力部５ａ，５ｂ，５ｃ，…が接続された場合の処理を示す説明図である。
図５に例示の出力部５ａ，５ｂ，５ｃ，…は、異なる形態の出力がされる出力デバイス１（音声出力器）、出力デバイス２（表示器）、出力機器（エアコン）からなる。
【００４２】
図５は、出力情報生成部３から部屋の温度を下げる旨を示す抽象化出力情報４が出力された場合の例である。各出力部５ａ，５ｂ，５ｃ，…の意味解釈部５４ａ，５４ｂ，５４ｃ，…には、同一の抽象化出力情報４が入力され、各出力部５ａ，５ｂ，５ｃ，…の状況情報５２ａ，５２ｂ，５２ｃ，…および解釈仕様５３ａ，５３ｂ，５３ｃ，…に応じた出力を行う。
【００４３】
出力部５ａ（出力デバイス１（音声出力器））は、機器の音声再生状態を監視し、状況情報５２ａとする。意味解釈部５４ａは、「冷房をつけます」という音声データを作成し具現化出力情報５５ａとするが、機器の状態が別の音声を出力中であれば、終了後に音声出力を行うように具現化出力情報５５ａを出力する。また、緊急度が高いアナウンスであれば、現在の出力を中断してアナウンスを出力するよう解釈仕様５３ａを設計し処理させることも可能である。
【００４４】
出力部５ｂ（出力デバイス２（表示器））は、同一の抽象化出力情報４から、出力デバイス１とは異なる「冷房設定」というテキストを具現化出力情報５５ｂとして生成し、出力する。
【００４５】
出力部５ｃ（出力機器（エアコン））は、部屋の温度を監視し、状況情報５２ｃとする。
意味解釈部５４ｃは、同一の抽象化出力情報４から冷房をつけるように具現化出力情報５５ｃを出力するが、解釈仕様５３ｃに従い、部屋の温度が急速に上昇している状況においては、強風で冷房をつけるように具現化出力情報５５ｃを出力し、部屋の温度にあまり変化が見られない状況においては、弱風で冷房をつけるように具現化出力情報５５ｃを出力する。
【００４６】
以上のように、同一の抽象化出力情報４から、各出力部５ａ，５ｂ，５ｃ，…の状況および解釈仕様５３ａ，５３ｂ，５３ｃ，…に応じた具現化出力情報５５ａ，５５ｂ，５５ｃ，…が作成されることを示した。
ここまでが、図５の複数の出力部５ａ，５ｂ，５ｃ，…が接続された場合の処理の説明である。
【００４７】
以上説明したように、実施の形態１のマルチモーダル情報処理装置によれば、入力情報に基づき出力部が処理を行うマルチモーダル情報処理装置において、入力情報に対応して出力部の種類とは無関係の抽象化出力情報を生成する出力情報生成部を備え、出力部は、自出力部の動作状況を監視する状況監視部と、状況監視部の監視結果に基づいて、抽象化出力情報から具現化情報を生成する意味解釈部と、具現化情報に対応した処理を行う処理実行部とを有するようにしたので、情報処理装置に接続する出力機器や出力デバイスが変更された場合でも、情報処理装置側を変更する必要がない。
【００４８】
また、実施の形態１のマルチモーダル情報処理装置では、出力情報生成部が抽象化入力情報から出力機器や出力デバイスに依存しない抽象化出力情報を生成し、各出力機器や出力デバイスにおいて、状況情報に応じて各出力機器や出力デバイスが実行可能な具現化出力情報を生成し、実行するように構成した。これにより、出力情報生成部が具現化出力情報を生成する場合はすべての出力機器や出力デバイスの状況を考慮した出力情報生成部の設計が必要になるのと比べ、出力情報生成部が各出力機器や出力デバイスの状況や動作を考慮しなくても良く、設計および制御を単純化することができるという効果がある。
【００４９】
また、接続する出力機器や出力デバイスが変更されたり、出力機器や出力デバイスの動作が変更されたり、出力機器や出力デバイスの設置場所が移動して考慮する状況が変更されたりする場合にも、出力情報生成部の変更が不要であり、容易に出力機器や出力デバイスを変更することができるという効果がある。
【００５０】
また、出力機器や出力デバイスの種類に依らず、出力情報生成部が同一の抽象化出力情報を出力するように構成したため、出力情報生成部が出力先の機器やデバイスの情報を保持する必要がなく、出力先の機器やデバイスを選択する処理を省略できるという効果がある。
【００５１】
また、各出力機器や出力デバイスにおいて、具現化出力情報の生成方法が定義されている抽象化出力情報に対してのみ処理を行うようにすることで、出力機器や出力デバイスがすべての抽象化出力情報に対する処理を定義する必要がなく、設計を単純化することができるという効果がある。
【００５２】
また、実施の形態１のマルチモーダル情報処理装置によれば、出力部は、抽象化出力情報と具現化情報との関係を示す解釈仕様を備え、意味解釈部は、解釈仕様を参照して抽象化出力情報を解釈し具現化情報を生成するようにしたので、予め特定の出力信号に対応する動作が規定されている場合と比べて、同一の出力情報から異なる動作及び機能を実現できるという効果がある。
【００５３】
また、実施の形態１のマルチモーダル情報処理装置によれば、意味解釈部は、出力部を使用するユーザの出力部の動作状況に関する情報を含めて解釈を行うようにしたので、出力機器や出力デバイスを使用するユーザに応じた動作及び機能を実現できるという効果がある。
【００５４】
また、実施の形態１のマルチモーダル情報処理装置によれば、意味解釈部は、自出力部とは別の出力部の状況監視部からの監視結果に基づいて解釈を行うようにしたので、同一の抽象化出力情報から複数の出力機器や出力デバイスが連動した動作・機能を実現することができる。
【００５５】
また、実施の形態１のマルチモーダル情報処理装置によれば、出力情報生成部は、入力情報の種類とは無関係の抽象化入力情報を生成する入力情報統合部を備え、抽象化入力情報に基づいて抽象化出力情報を生成するようにしたので、どのような入力情報であっても対応することができる。
【００５６】
実施の形態２．
上記実施の形態１は、出力情報生成部が出力した抽象化出力情報に応じて、各出力部が処理を行うようにしたものであるが、次に、出力情報生成部が出力部の状況を取得することで、出力部と連動した出力情報生成処理を行う例を実施の形態２として説明する。
【００５７】
図６は、実施の形態２におけるマルチモーダル情報処理装置の構成図である。
図示のように、マルチモーダル情報処理装置は、入力部１と、出力情報生成部３０と、１つ以上の出力部５ａ，５ｂ，…から構成される。ここで、入力部１は実施の形態１と同様である。また、出力情報生成部３０における入力情報統合部３１及び生成される抽象化入力情報３２は、実施の形態１と同様であるため、ここでの説明は省略する。
【００５８】
出力情報生成部３０の抽象化出力情報生成部３４０は、抽象化入力情報３２と共に出力部５ａ，５ｂ，…の状況監視部５１ａから出力される抽象化状況情報５７を受け取り、抽象化出力情報の出力仕様３３０に基づいて抽象化出力情報４０を生成するよう構成されている。抽象化出力情報の出力仕様３３０は、実施の形態１の抽象化入力情報３２に加えて抽象化状況情報５７も含めて、これらの情報と抽象化出力情報４０との関係を示すデータベースである。
【００５９】
出力部５ａ，５ｂ，…の基本的な構成は実施の形態１と同様であり、状況監視部５１ａ，５１ｂ，…、解釈仕様５３ａ，５３ｂ，…、意味解釈部５４ａ，５４ｂ，…、処理実行部５６を備えている。一方、実施の形態２では、状況監視部５１ａ，５１ｂ，…から抽象化状況情報５７が出力されるよう構成されており、図６に示す例では、出力部５ａの状況監視部５１ａから抽象化状況情報５７が出力されるよう構成されている。
【００６０】
次に、実施の形態２のマルチモーダル情報処理装置の動作について説明する。
図７は、実施の形態２におけるマルチモーダル情報処理装置の動作を示すフローチャートである。ここで、ステップＳＴ２以前は、実施の形態１における図２のフローチャートと同様の動作であるため、ここでの説明は省略する。
【００６１】
ステップＳＴ２で入力情報統合部３１が抽象化入力情報３２を生成した後、抽象化出力情報生成部３４０が抽象化出力情報の出力仕様３３０を参照して、抽象化入力情報３２と抽象化状況情報５７から抽象化出力情報４０を生成し、出力部５ａ，５ｂ，…へ出力する（ステップＳＴ７）。その他の動作は、実施の形態１のステップＳＴ３と同じである。
ここで、抽象化状況情報５７は、抽象化入力情報３２と同一の形式で記述したものであり、同様に扱う。例えば、以下のような記述である。
【００６２】
・電源をオンに変更したという状況
目的語：機器電源状況
述語：オン
値：機器名
・完了したタスクの情報
目的語：タスク
述語：完了
値：タスク名
【００６３】
これにより、抽象化出力情報生成部３４ａの内部情報が変更され、以降の入力に対する動作が変更される。例えば、次のような動作変更が行われる。
例１）機器Ａの電源がオンの場合のみ、以降の抽象化入力情報３２に応じて、機器Ａと他の機器が連携する抽象化出力情報４０を出力する。
例２）機器Ａの電源がオンになったという抽象化状況情報５７を受け、機器Ｂの電源をオンにするという抽象化出力情報４０を出力する。
【００６４】
続くステップＳＴ８において、各出力部５ａ，５ｂ，…の状況監視部５１ａ，５１ｂ，…は、出力部５ａ，５ｂ，…の現在の状況を取得し、状況情報５２ａ，５２ｂ，…として意味解釈部５４ａ，５４ｂ，…へ出力する。なお、この処理は、実施の形態１におけるステップＳＴ４の動作と同様である。また、実施の形態２では、状況情報５２ａを抽象化入力情報３２と同じ形式の出力部５ａ，５ｂ，…に依存しない抽象化情報に変換し、抽象化状況情報５７として、抽象化出力情報生成部３４ａへ出力する。
【００６５】
ステップＳＴ５及びステップＳＴ６は、実施の形態１における図２のフローチャートと同様の動作であるため、ここでの説明は省略する。
【００６６】
なお、上記例では、出力部５ａ，５ｂ，…が抽象化状況情報５７を作成し、抽象化出力情報生成部３４０へ入力するように構成したが、入力情報統合部３１へ状況情報５２ａ，５２ｂ，…を入力し、入力情報統合部３１の入力情報２ａ，２ｂ，２ｃ，…として扱うようにしても良い。
【００６７】
また、上記例では、抽象化状況情報５７が一つの出力部５ａから出力されているが、複数の出力部５ａ，５ｂ，…から出力されてもよい。この場合、抽象化出力情報生成部３４０は、複数の抽象化状況情報５７に基づいて一つまたは複数の抽象化出力情報４０を生成する。あるいは、抽象化出力情報生成部３４０は、一つの抽象化状況情報５７から複数の抽象化出力情報４０を生成するようにしてもよい。
【００６８】
以上説明したように、実施の形態２のマルチモーダル情報処理装置によれば、出力情報生成部は、出力部の状況監視部からの監視結果に基づいて抽象化出力情報を生成するようにしたので、出力情報生成部が出力部の状況を考慮した抽象化出力情報を生成できるという効果がある。
【００６９】
また、実施の形態２のマルチモーダル情報処理装置によれば、出力情報生成部は、出力部の状況監視部からの監視結果を入力として抽象化入力情報と同一の形式で記述した抽象化状況情報を生成する入力情報統合部を備え、抽象化入力情報と抽象化状況情報に基づいて抽象化出力情報を生成するようにしたので、どのような状況監視部からの監視結果であっても対応することができる。
【００７０】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００７１】
この発明に係るマルチモーダル情報処理装置は、入力情報に対応して出力部の種類とは無関係の抽象化出力情報を生成し、出力部は、自出力部の動作状況の監視結果に基づいて抽象化出力情報から具現化情報を生成して対応した処理を行うようにしたので、情報処理装置に接続する出力機器や出力デバイスが変更された場合でも、情報処理装置側を変更する必要がなく、複数の異なる出力機器や出力デバイスに情報を出力する情報出力システムに用いるのに適している。
【符号の説明】
【００７２】
１  入力部、１ａ，１ｂ，１ｃ  入力手段、２ａ，２ｂ，２ｃ  入力情報、３，３０  出力情報生成部、３１  入力情報統合部、３２  抽象化入力情報、３３，３３０  抽象化出力情報の出力仕様、３４，３４０  抽象化出力情報生成部、４，４０  抽象化出力情報、５ａ，５ｂ，５ｃ  出力部、５１ａ，５１ｂ  状況監視部、５２ａ，５２ｂ  状況情報、５３ａ，５３ｂ  解釈仕様、５４ａ，５４ｂ  意味解釈部、５５ａ，５５ｂ  具現化出力情報、５６ａ，５６ｂ  処理実行部。
【図１】
0006009121.tif 000002
【図２】
0006009121.tif 000003
【図３】
0006009121.tif 000004
【図４】
0006009121.tif 000005
【図５】
0006009121.tif 000006
【図６】
0006009121.tif 000007
【図７】
0006009121.tif 000008