(57)【要約】マルチモーダル統合システムは、センシングデバイスとマルチモーダル統合ユニットを含む。センシングデバイスは、候補ペアのリストを供給し、各候補ペアは、候補特徴付け及び当該候補に関する信頼度を表わす確率を含む。マルチモーダル統合ユニットは、センシングデバイスからリストを受信し、各センシングデバイスにリストに応じたマルチモーダル文脈情報を供給する。次いで、センシングデバイスは、新たな候補ペアのリストを、マルチモーダル統合ユニットからのセンシング若しくは他の性能を変更するための新たな情報を用いて、繰り返し供給する。これらのマルチモーダル統合ユニットの階層を含むスーパーシステムが構築されてもよい。
2004514970.tif 000002
【特許請求の範囲】
【請求項１】
複数のセンシングデバイスのそれぞれから、各々の特徴付けペアのセットを受信する手段を第１に含み、各特徴付けペアは、各々の候補特徴付け及び該各々の候補特徴付けに関する各々の信頼度を含み、該特徴付けペアは、上記センシングデバイスにおける前処理から生成されており、
上記センシングデバイスで受信された信号の少なくとも１つの最終の特徴付けを供給するため、特徴付けペアのセットを処理する手段を第２に含み、該最終の特徴付けは、上記特徴付けペアの少なくとも１つから選択されている、マルチモーダル統合ユニット。
【請求項２】
データ処理システムであって、
複数のセンシングデバイスを含み、これらは協働して、
物理的現実感を表わす入力信号を受信するよう構成された少なくとも１つのセンシング素子と、
該入力信号を特徴付ける各センシングデバイスに対して各々の特徴付け信号を供給するよう構成された複数のプロセッサと、
請求項１記載のマルチモーダル統合ユニットとを含み、
各センシングデバイスからの上記各々の特徴付け信号は、特徴付けペアのセットを含み、各特徴付けペアは、各々の候補特徴付け及び各々の候補特徴付けに関する各々の信頼度を含む、データ処理システム。
【請求項３】
上記マルチモーダル統合ユニットは、特徴付けペアのセットを処理するために識別関数を使用する、請求項２記載のシステム。
【請求項４】
上記識別関数は、確率分布関数である、請求項３記載のシステム。
【請求項５】
少なくとも１つの請求項２記載のシステムを第１に含み、各システムに対する上記少なくとも１つの最終の特徴付けは、各々の更なる特徴付けペアのセットを含み、
このシステムが１つしか存在しない場合には、少なくとも１つの更なる単一モーダルセンシングデバイスを第２に含み、
少なくとも１つのスーパーマルチモーダル統合ユニットを第３に含み、該スーパーマルチモーダル統合ユニットは、
上記少なくとも１つの更なるセンシングデバイスからの信号と共に上記更なる特徴付けペアのセットを受信及び処理すると共に、
上記更なる特徴付けペアのセット中の少なくとも１つの特徴付けペアから選択される、上記信号の少なくとも１つのスーパー最終特徴付けを供給するように構成されている、スーパーシステム。
【請求項６】
前処理能力を含む複数のセンシングデバイスのそれぞれから、物理的現実感を特徴付ける各々の候補特徴付け信号を受信すると共に、上記センシングデバイスに処理及び／又はセンシングを制御するための少なくとも１つの制御信号を供給する手段と、
上記候補特徴付け信号を処理して、少なくとも１つの最終特徴付け信号及び上記少なくとも１つの制御信号を導出する手段とを含む、マルチモーダル統合ユニット。
【請求項７】
物理的現実感を表わす入力信号を受信するよう構成された少なくとも１つのセンシング素子と、上記入力信号に基づいて該物理的現実感を特徴付ける少なくとも１つの各々の候補特徴付け信号を供給すると共に、処理及び／又はセンシングを制御するための少なくとも１つの制御信号を受信するよう構成された少なくとも１つのプロセッサとを含む、複数のセンシングデバイスと、
請求項６記載のマルチモーダル統合ユニットとを含む、データ処理システム。
【請求項８】
上記制御信号は、物理的現実感の選択をバイアスすることに関する、請求項７記載のシステム。
【請求項９】
上記制御信号は、上記マルチモーダル統合ユニットから上記センシングデバイスへのフィードバック形式である、請求項７記載のシステム。
【請求項１０】
上記各々の候補特徴付け信号は、各センシングデバイスからの各々の候補リストを含む、請求項７記載のシステム。
【請求項１１】
それぞれの各々の候補リストは、特徴付けペアのセットを含み、各特徴付けペアは、各々の候補特徴付け及び各々の候補特徴付けに関する各々の信頼度を含む、請求項１０記載のシステム。
【請求項１２】
上記マルチモーダル統合ユニットは、上記各々の候補特徴付け信号を処理するために識別関数を使用する、請求項７記載のシステム。
【請求項１３】
上記識別関数は、確率分布関数である、請求項１２記載のシステム。
【請求項１４】
少なくとも１つの請求項１２記載のシステムと、
このシステムが１つしか存在しない場合には、少なくとも１つの更なる単一モーダルセンシングデバイスと、
上記少なくとも１つのシステムからの少なくとも１つの最終特徴付け信号及び任意の上記更なる単一モーダルセンシングデバイスからの信号を受信及び処理すると共に、そこから少なくとも１つのスーパー最終特徴付け信号を導出するように構成された少なくとも１つのスーパーマルチモーダル統合ユニットとを含む、スーパーシステム。
【請求項１５】
請求項７記載のマルチモーダル統合システムでの使用に適するセンシングデバイスであって、
少なくとも１つのセンシング素子から物理的現実感を表わす信号を受信するため、及び、マルチモーダル統合ユニットとの双方向の通信のための接続手段と、
マルチモーダル統合ユニットから処理及び／又はセンシングを制御するための少なくとも１つの制御信号を受信すると共に、制御信号に応答して、該物理的現実感の候補特徴付けのリストを表わす信号を上記マルチモーダル統合ユニットに供給するよう構成された少なくとも１つのプロセッサとを含む、センシングデバイス。
【請求項１６】
物理的現実感を表わすデータは、映像データを含む、請求項１５記載のデバイス。
【請求項１７】
上記制御信号は、視野の一部位に映像データをバイアスする、請求項１６記載のデバイス。
【請求項１８】
データ処理システムを訓練する方法であって、
訓練されたプロセッサを含む複数の事前に訓練されたセンシングデバイスから、初期の物理的現実感設定から導出される候補特徴付け信号を受信し、
上記物理的現実感についてのグラウンドトルースを表わす信号を抽出し、
最適化判断基準及び上記候補特徴付け信号を評価することによって上記グラウンドトルースを実現するため訓練用パラメータを調整することを含む訓練段階に入り、
上記訓練段階の完了後に、
上記複数の事前に訓練されたセンシングデバイスから更なる候補特徴付け信号を受信し、
暫定的な最終特徴付け信号を生成し、
上記センシングデバイスの少なくとも１つに、該センシングデバイスの訓練及び／又は性能に変化を生じせしめる少なくとも１つの制御信号をフィードバックし、
更なる候補特徴付け信号を受信し、生成し、及びフィードバックすることを、特徴付け判断基準が満足するまで繰り返すことを含む通常動作段階に入るという、上記各動作を少なくとも１つのデータ処理デバイス内で実行する、方法。
【発明の詳細な説明】
【０００１】
［発明の分野］
本発明は、マルチモーダル統合としても知れている、複数のセンシングモダリティからの検出データを表現する信号を統合する分野に係り、特に、データを前処理し当該データのラベリング若しくは少なくとも暫定的な特徴付けをなす複数のセンシングモダリティからのデータの統合に関する。
【０００２】
［発明の背景］
マルチモーダル統合の分野には多数の出願が存在する。これらは、詳細な説明でより多く議論されることになる。
【０００３】
マルチモーダル統合での先行技術の試みは、幾つかのアプローチを採用している。一例は、Ａ．Ｊａｉｎ他による“Ａ ｍｕｌｔｉｍｏｄａｌ ｂｉｏｍｅｔｒｉｃ ｓｙｓｔｅｍ ｕｓｉｎｇ ｆｉｎｇｅｒｐｒｉｎｔ， ｆａｃｅ ａｎｄ ｓｐｅｅｃｈ， ２ｎｄ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ａｕｄｉｏ ａｎｄ Ｖｉｄｅｏ−Ｂａｓｅｄ Ｂｉｏｍｅｔｒｉｃ Ｐｅｒｓｏｎ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ （Ｗａｓｈｉｎｇｔｏｎ， ＵＳＡ， ３／９９）”に見出すことができる。この研究の一般的なアプローチは、ここでは“決定レベル統合”と称する。図１は、“風景”１０１からの取得データに適用された決定レベル統合の概念図である。風景は、少なくとも２つの分離したモジュール１０２，１０３により検出及び前処理される。各モジュールは、センシング動作１０４、特徴抽出動作１０５及び認識動作１０６を含む。各モジュールは、風景から収集されたデータを特徴付け若しくはラベル付けする単一のモーダル（ｕｎｉ−ｍｏｄａｌ：“ＵＭ”）“決定”１０７を生む。ここで、用語“特徴付け（ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ）”は、包括的な用語であることを意図しており、“決定”及び“ラベル”の概念を含む。
【０００４】
特徴抽出１０５は、通常的には、センシングステップで取得されたデータに数学的変換若しくは所定のアルゴリズムを適用することを伴う。認識１０６は、通常的には、例えば神経回路網の使用を通した、幾つかの訓練を必要とする種の処理を伴う。その後、マルチモーダル統合ユニット（“ＭＭＩ”）は、マルチモーダルでヒューリスティック（発見的）なアンドオア則を適用して、プロセス１０２，１０３で収集及び処理された異種のデータに基づいて風景の幾つかの様相を特徴付け若しくはラベル付けする、最終的なマルチモーダル決定が如何にして得られるかを決定する。
【０００５】
決定レベル統合は、実現の簡易性という効果を有する。それは、独立的に学習、発展及び更新される単一モーダルシステムを組み込むことができる。これらのシステムは、かくしてプリプロセッサとして動作できる。また、単一モーダルシステムとＭＭＩとの間の通信チャンネルは、一方向でほとんど帯域幅を持たない。
【０００６】
しかしながら、決定レベル統合は、異なるモダリティ間で実行することができる協働度合いを制限する。一般的に、モダリティ間の相関は、完全には活用されない。即ち、それ故に、一のモダリティからの情報は、他のモダリティでなされる決定を改善するのに使用できない。例えば、２つの重複しているモダリティからの決定が一致しないとき、最も確実性のあるものが採用され、他方は破棄されることになり、たとえ一のモダリティにより得られた結果を劣化させないにせよ、他のモダリティとの競合により全体としての改善をもたらさない。
【０００７】
［発明の概要］
本発明の目的は、マルチモーダルシステムとの単一モーダルコントリビュータ間でのデータの共同的な使用を改善する一方で、独立した単一モーダルシステムからの前処理の効果を維持することにより、マルチモーダル統合を高度化することにある。
【０００８】
上記目的は、独立型の単一モーダルシステムが特徴付けペアのセットを生成することで実現され、各特徴付けペアは、各々の候補特徴付け及び信頼度を含んでいる。ＭＭＩは、特徴付けペアのセットを受信及び処理し、信号の少なくとも１つの最終特徴付けを供給する。最終特徴付けは、特徴付けペアの少なくとも１つから選択される。
【０００９】
或いは、上記目的は、ＭＭＩが単一モーダルコントリビュータから候補特徴付け信号を受信し、そこに少なくとも１の制御信号を供給することで達成される。制御信号は、処理及び／又はセンシングを制御する。制御信号は、候補特徴付け信号から導出される。
【００１０】
第２の代替では、上記目的は、訓練方法で実現される。本方法は、訓練段階と通常の動作段階とを含む。
【００１１】
訓練段階では、訓練特徴付け信号及びグラウンドトルースが受信される。候補特徴付け信号は、訓練されたプロセッサを含む、複数の事前に訓練されたセンシングから送られ、候補特徴付け信号は、初期の物理的現実感設定からもたらされる。次いで、訓練用パラメータが、最適化判断基準及び候補特徴付け信号を評価することによって、物理的現実感に関するグラウンドトルースを実現するために調整される。
【００１２】
通常の動作段階では、更なる候補特徴付け信号が、複数の事前に訓練されたセンシングデバイスから受信される。暫定的な最終特徴付け信号が生成される。次いで、少なくとも１つの制御信号が、センシングデバイスの少なくとも１つにフィードバックされる。制御信号は、センシングデバイスの訓練及び／又は性能に変化を生じせしめるよう構成される。通常の動作段階のステップは、特徴付け判断基準が満足するまで繰り返される。
【００１３】
更に、本発明の目的は、マルチモーダル統合ユニットに特徴付け情報を上方向に供給し、マルチモーダル統合ユニットからマルチモーダル文脈情報を下方向に受信する単一モーダルセンシングデバイスにおいて達成される。
【００１４】
関連分野では、単一モーダルデバイス間の更なる協働が前処理無しで実現されている。この分野は、ここでは“特徴レベル統合”と称される。この分野の一例は、米国特許第５，５８６，２１５号に見出される。同様に、１０１で、風景が供される。２０２で、少なくとも２種類のセンシングが行われる。次いで、２０３で、すべてのセンシングされたデータが、ある種の特徴抽出を施され特徴ベクトルが生成される。次いで、特徴ベクトルは、２０４で、ある種のマルチモーダル認識が得られるよう処理され、マルチモーダル決定が２０５で出力される。同様に、特徴抽出は、典型的には、センシングされたデータにある種の数学的変換若しくは所定のアルゴリズムを適用することからもたらされる。即ち、認識は、通常、神経回路網の使用のような、ある種の訓練を必要とする動作である。
【００１５】
これより、本発明は、図面を参照して非限定的な例により説明される。
【００１６】
［好ましい実施例の詳細な説明］
＜適用分野＞
マルチモーダル決定に対する多数の適用分野が存在する。その１つは、音素認識のための音声データが話者を理解しようとする際に映像データと組み合わせて使用される、リップリーディング（読唇）である。同様に、人の識別化は、音声及び映像データの組み合わせを含みうる。
【００１７】
マルチモーダル情報が統合されうる他の分野は、ローカル若しくはグローバルな２次元形状、色特徴化、諧調外観、テクスチャー特性のような異なる画像様相は、すべて画像を特徴化する際に考慮されうる。一般的に、センシング映像データは、特徴位置、特徴外観や輪郭形状を含む指紋及び顔画像のような任意の数の事柄に関する情報を収集及び特徴付けする。
【００１８】
一のカメラが、風景に関する一種以上のデータを収集するために使用されてよく、接続されたプロセッサ内の異なる処理モジュールが異なる態様で当該データを使用する。画像から異種の情報を収集するモジュールは、たとえそれらが物理的に単一のプロセッサ内に収容されていても、実効的に異なるセンシングデバイスになる。
【００１９】
他のアプリケーションでは、他種のセンサからの信号を結合する必要がない場合がある。マルチモーダル統合アプリケーションで有用でありうる他種のセンサは、赤外線及び距離センサを含む。更に、キーボード及びマウス、ペンタイプのセンサ、トラッカーボール等のポインタを含むユーザ入力デバイスは、単一モーダルセンシングデバイスとして使用できる。マルチモーダル統合が有用である他の分野は、マイクロフォンアレイ及び既知の音声／雑音源の直接入力によるエコー消去の使用を介した音響的な位置特定を含む。文字データさえも幾つかのアプリケーションで使用されうる。
【００２０】
一般的に、当業者であれば、マルチモーダル統合のためのあらゆる数のアプリケーションを考え出すだろう。
【００２１】
＜本発明によるシステム構造＞
図３及び図４は、例えば映像会議システムのような、音声及び映像双方の単一モーダルシステムを有するシステムの内容で図示されている。しかしながら、候補レベル統合の概念は、前段落で列挙したような多くの他のアプリケーションに同等に適用可能である。
【００２２】
図３は、本発明によるシステムの構造を示す。同様に、センサ３０１，３０１’，３０２により検出される風景が存在する。これらのセンサは、マイクロフォン及びビデオカメラとして示されているが、キーボード、マウスやタッチスクリーン等のユーザ入力デバイスを含む、所望の適用分野に適した如何なるセンサであってよい。３０３，３０４及び３０５では、特徴がセンサから得られる信号から抽出される。３０６，３０７及び３０８では、抽出された特徴が処理及び認識される。３１０，３１２及び３１４では、候補決定がＭＭＩ３１７に供される。３０９，３１１及び３１３では、制御信号が、マルチモーダル文脈情報（ｍｕｌｔｉ−ｍｏｄａｌ ｃｏｎｔｅｘｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）の形式で、ボックス３０６，３０７及び３０８に逆方向に提供される。
【００２３】
このシステムでは、２つのセットの特徴が、３０４及び３０５で、ビデオデータから抽出されるとして示されている。例えば、顔の特徴データは、３０５で抽出される一方で、ジェスチャーの特徴データは３０５で抽出されるだろう。ボックス３０５，３０８は、ボックス３０４，３０７から分離したセンシングデバイスとして共に機能する。従って、ビデオカメラ３０２は、実際には２つのセンシングデバイスに接続される。他言すると、単一のセンシング素子は、幾つのセンシングデバイスにも接続することができる。
【００２４】
システムの映像部分と対比して、アレイ３０１，３０１’の複数のマイクロフォンは、単一の対のボックス３０３，３０６と共に機能する。従って、ボックス３０３，３０６は、第３のセンシングデバイスとして、例えば位置データを収集するため、共に機能する。従って、１以上のセンシング素子が単一のセンシングデバイスに入力することができる。
【００２５】
追加のセンシングデバイスが、既存のセンシング素子に結合されるか追加のセンシング素子に結合されるかいずれであれ、付加されうる。
【００２６】
３０９，３１１及び３１３でフィードバックされた制御データは、各々のセンシングデバイスの性能及び／又は訓練に影響を及ぼすことになる。例えば、ビデオセンシングデバイスへの制御信号は、センシングデバイスがピクチャのどの部分を見るかをバイアスするだろう。
【００２７】
図３には、センシングデバイスが、ＭＭＩ３１７を備えた同一のプロセッサ３０６内にて示されている。図４では、代替実施例が示され、センシングデバイス４１６，４１７及び４１８がＭＭＩ４１７から分離して収容されている。このとき、候補決定を供給する接続４０９−４１４は、外部のリード線である。
【００２８】
ボックス３０３−３０５は、風景から受信したデータに基づく特徴抽出を行う。ボックス３０３−３０５の出力は、図５からの公式（３）に従った特徴ベクトルの形式となる。
【００２９】
ボックス３０６−３０８は、本発明による候補リストを生成する。
【００３０】
先行技術では、通常的にたった１つの決定が、識別関数の値に基づいてなされる。識別関数の分野は相当に開発されており、例えばＫ． Ｆｕｋｕｎａｇａによる“Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｓｔａｔｉｓｔｉｃａｌ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（２ｄ Ｅｄ．， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ， １０／９９）”に開示されている。単一の識別関数が適用された場合、典型的には、多数の局所極大を有するだろう。このとき、決定は、これらの局所極大のうちの最も高いものとなるだろう。複数の識別関数が適用された場合、若しくは単一の識別関数がデータの種々の部分に繰り返し適用された場合、決定は、すべての関数若しくは関数の各適用から得られる最も高い値であろう。
【００３１】
好ましい実施例では、識別関数は通常的に、ここで“Ｐ”で指示する確率分布関数であろう。しかしながら、当業者であれば、どんな適用分野が選択されてもその必要性に応じた他の識別関数を考え出すだろう。
【００３２】
本発明によれば、センシングデバイスから候補リストをライン３１０，３１２，３１４で供給することが望ましい。各センシングデバイスは、図５の式（１）に従って候補を生成すべきである。ここで、
・−は、単一モーダルセンシングデバイスからの候補を表わす変数
・ｋは、単一モーダルセンシングデバイスに番号を付ける添数
・ｉは、添数
・Ｍｋは、単一モーダルセンシングデバイス番号Ｋに対して作成される候補数
図６は、センシングデバイス内の個々の識別ユニット３０６−３０８の動作をより詳細に示すフローチャートである。フローチャートのラベルは、図５からの公式番号を指示する。
【００３３】
６０１では、公式（２）の初期化したデフォルト値のリストの形式での図５のマルチモーダル文脈情報のリストが、ライン３１３，３１１，３０９でＭＭＩから受信される。６０２では、公式（５）が候補（１）を取得するために適用される。公式（５）は、ＭＭＩから受信される公式（２）の結果の、公式（４）に従った、確率ベースの識別関数との乗算を示す。６０３では、幾つかの判断基準が評価される。判断基準は、ある固定の繰り返し数が完了したかや、最後の繰り返し以降に候補リスト（６）内に変化がないか、という判断基準であることができ、或いは、当業者により考え出される適切な他の判断基準であってもよい。判断基準が満たされない場合、６０４で、公式（６）に従った候補ペアの現在のリストがＭＭＩ３１７，４１７に送出される。候補ペアリストは、候補（４）からの信頼度と共に公式（１）からの候補を含む。候補ペアリストは、ここで使用される“特徴付けペア”の例であり、ライン３１０，３１２，３１４でＭＭＩに供給される。６０６では、新たなマルチモーダル文脈情報が、新たな提案された候補リストに基づいて、公式（２）の形式でＭＭＩから受信され、制御が６０２に戻る。
【００３４】
判断基準が満たされた場合、公式（６）の形式の最終セットの候補がＭＭＩに送出される。次に、ＭＭＩ３１７，４１７は、単一モーダルセンシングデバイスからの候補のすべての組み合わせを評価する。図８は、ＭＭＩの動作のフローチャートを示す。
【００３５】
８０１では、公式（６）に従った、候補ペアリストが単一モーダルセンシングデバイスから受信される。各単一モーダルセンシングデバイスｋは、公式（６）に従って、候補ペアのリストを生成する。
【００３６】
８０２では、単一モーダル候補の組み合わせのリストが、式（７）の表現で形成される。候補の全体数は、Ｌであり、組み合わせに番号を付ける添数はｃである。
【００３７】
候補の各組み合わせは、通常的には、単一モーダルセンシングデバイスのそれぞれからの一の単一モーダル候補を含む。単一モーダル候補の各組み合わせは、風景のマルチモーダル特徴付けｃ＊を生成するために用いられる。マルチモーダル特徴付けは、単一モーダルセンシングデバイスからの特徴付け（１）のうちの何れか１つと同一であってよい。或いは、マルチモーダル特徴付けは、単一モーダルデバイスが認識したパターンから得られる組み合わせパターンを特徴付けてもよい。
【００３８】
マルチモーダル特徴付けは、マルチモーダル識別関数（８）により解析される。この関数は、ａ）スーパーマルチモーダル文脈情報Ｐ（ｃ）と、ｂ）各組み合わせに適用された確率関数を、式（４）による単一モーダル決定のすべての確率のすべての積に乗じた値と、の積である。単一モーダルシステムと類似して、スーパーマルチモーダル文脈情報Ｐ（ｃ）は、先ず、あるデフォルト値に初期化される。効果的には、Ｐ（ｃ）の値は、ＭＭＩからより高いレベルで受信した情報に基づいて修正できる。この修正値は、その後、より高いレベルから新たなスーパーマルチモーダル文脈情報として供給されることになる。
【００３９】
式（８）で示す解析に基づいて、スーパー候補が選択されＭＭＩから供給される。これらは、可能な組み合わせ（７）の部分集合｛ｃ＊｝である。スーパー候補は、特徴付けペアのその他のリストとして供給されることになる。このとき、特徴付けペアは、式（９）のフォーマットを有するだろう。
【００４０】
次いで、８０３で、判断基準が試験される。この判断基準は、繰り返し回数、最後の繰り返し以降での出力（２）の変化の欠如、最後の繰り返し以降でのマルチモーダル候補ペア（９）の変化の欠如、若しくは、当業者により考え出される適切な他の判断基準であってもよい。判断基準が満たされない場合、式（２）によるマルチモーダル文脈情報が個々の単一モーダルデバイスに８０４で送られる。単一モーダルデバイスに送られる値は、典型的には、デバイスがどのような種類のデータを収集しているかによって変化する。
【００４１】
図７は、スーパーＭＭＩ７０１を備えたシステムを示す。本例では、３つのＭＭＩ７０２−７０４が存在し、それぞれ上述したＭＭＩ３１７，４１７に対応する。各ＭＭＩは、複数の単一モーダルセンシングデバイス７０５に結合する。ＭＭＩ７０２−７０４は、スーパー候補リスト、即ち式（９）による特徴付けペアをスーパーＭＭＩ７０１に７０７を介して送信し、スーパーＭＭＩ７０１から７０６を介してスーパーマルチモーダル文脈情報Ｐ（ｃ）を受信する。スーパーＭＭＩは、７０８で更なる特徴付けペアを生成してよく、それ故に、その他のレベルの階層を備えた、スーパー・スーパーＭＭＩシステムの部分となることができる。スーパーＭＭＩ７０１は、ＭＭＩに類した動作をし、ＭＭＩが単一モーダルセンシングデバイスを扱うようにＭＭＩを扱う。
【００４２】
図７には、それぞれ３つの単一モーダルセンシングデバイス（７０５）を備えた３つのＭＭＩ（７０２）が存在する。しかしながら、当業者であれば、他の数の構成要素も可能であることを認識するだろう。例えば、スーパーＭＭＩは、少なくとも１つのＭＭＩ及び少なくとも１つの単独の単一モーダルセンシングデバイスに結合しうる。或いは、２つのＭＭＩが存在し、それぞれ２つの単一モーダルセンシングデバイス等により供給されてもよい。
【００４３】
本開示内容を読むと、他の修正が当業者にとって明らかになるだろう。かかる修正は、設計、生産及び検出したデータの認識の使用において既に知られている他の特徴を伴ってよく、ここで開示された特徴に代わって若しくはそれに加えて使用されてよい。各請求項は、本出願において特定の特徴の組み合わせに関して系統立てて表現されているが、本出願の開示の観点は、本発明と同一の技術的問題のすべて若しくは幾つかを緩和するか否かにかかわらず、ここで明示的に若しくは暗示的に開示されるいかなる新規な特徴若しくは新規な特徴の組み合わせまたはそれらの一般化を含む。本出願は、本出願の手続き中、新たな請求項がかかる特徴を系統立てて表現されうることや、これを基にした更なる出願がありうることを注記する。
【００４４】
本明細書中に使用される用語“含む”は、追加的な要素を排除するとの解釈をすべきでない。単数表現も複数の要素を排除するとの解釈をすべきでない。
【図面の簡単な説明】
【図１】
先行技術のマルチモーダル統合の構造を示す図である。
【図２】
先行技術のマルチモーダル統合の構造を示す図である。
【図３】
本発明によるシステムを示す図である。
【図４】
本発明によるシステムを示す図である。
【図５】
本発明の説明に使用されるリストを示す図である。
【図６】
候補リストの発展を示すフローチャートである。
【図７】
幾つかのＭＭＩデバイスを含むスーパーシステムの概略図である。
【図８】
ＭＭＩの動作を示すフローチャートである。
【図１】
2004514970.tif 000003
【図２】
2004514970.tif 000004
【図３】
2004514970.tif 000005
【図４】
2004514970.tif 000006
【図６】
2004514970.tif 000007
【図７】
2004514970.tif 000008
【図８】
2004514970.tif 000009
【国際公開パンフレット】
2004514970.tif 000010
2004514970.tif 000011
2004514970.tif 000012
2004514970.tif 000013
2004514970.tif 000014
2004514970.tif 000015
2004514970.tif 000016
2004514970.tif 000017
2004514970.tif 000018
2004514970.tif 000019
2004514970.tif 000020
2004514970.tif 000021
2004514970.tif 000022
2004514970.tif 000023
2004514970.tif 000024
2004514970.tif 000025
2004514970.tif 000026
2004514970.tif 000027
2004514970.tif 000028
2004514970.tif 000029
【国際公開パンフレット（コレクトバージョン）】
2004514970.tif 000030
【国際公開パンフレット（コレクトバージョン）】
2004514970.tif 000031
【国際調査報告】
2004514970.tif 000032
2004514970.tif 000033
2004514970.tif 000034
2004514970.tif 000035
2004514970.tif 000036
2004514970.tif 000037
2004514970.tif 000038
2004514970.tif 000039
2004514970.tif 000040
2004514970.tif 000041