(57)【要約】本発明は、たとえば、マルチメディア・セグメンテーション、索引付け及び検索を行う情報処理方法及びシステムである。この方法及びシステムは、たとえば、確率的手法を用いたオーディオ／ビジュアル／テキスト（Ａ／Ｖ／Ｔ）のようなマルチメディア統合を含む。マルチメディア・コンテンツ及びコンテキスト情報は、確率的手法によって表現され処理される。この手法は、たとえば、ベイズネットワーク及び階層的事前分布によって表現され、ステージを用いてグラフィカルに記述され、各ステージはレイヤのセットを有し、各レイヤはコンテンツ又はコンテキスト情報を表現する多数のノードを含む。少なくとも第１のステージの各レイヤは、Ａ／Ｖ／Ｔドメイン、若しくは、これらのドメインの組合せにおけるオブジェクトのような処理されたマルチメディア・コンテンツ情報である。多数のステージのその他のレイヤは、マルチメディア・コンテキスト情報を記述する。各レイヤはベイズネットワークであり、各レイヤのノードは、次の下位レイヤ及び／又は下位ステージのある種の特性を説明する。ノードと、ノード間のコネクションは、一体として、拡張されたベイズネットワークを形成する。マルチメディア・コンテキストは、環境、情況、処理されるマルチメディア情報（オーディオ、ビジュアル、テキスト）の基本構造である。マルチメディア情報（コンテンツとコンテキストの両方）は、レイヤ及びステージ内の異なる粒度レベル及び抽象度レベルで合成される。【特許請求の範囲】
【請求項１】
情報信号を処理するデータ処理装置であって、
第１のステージを含む少なくとも１段のステージを具備し、
第１のステージは、
情報信号からコンテンツ属性を抽出する第１の複数のノードが設けられた第１のレイヤと、
少なくとも一つのノードが設けられ、他のレイヤ又は次のステージの選択されたノードのコンテンツ属性を用いて該少なくとも一つのノードに対してコンテキスト情報を決定し、特定のコンテンツ属性と該少なくとも一つのノードに対するコンテキスト情報とを統合する第２のレイヤと、
を有する、
データ処理装置。
【請求項２】
第２のステージを更に具備し、
第２のステージは、
少なくとも一つのノードが設けられ、他のレイヤ又は次のステージの選択されたノードのコンテンツ属性を用いて該少なくとも一つのノードに対してコンテキスト情報を決定し、特定のコンテンツ属性と該少なくとも一つのノードに対するコンテキスト情報とを統合する少なくとも一つのレイヤを有する、
請求項１記載のデータ処理装置。
【請求項３】
第１のステージの第２のレイヤの少なくとも一つのノードは、上位レイヤ又は第２のステージから該少なくとも一つのノードへ次々と伝えられた情報からコンテキスト情報を決定し、該少なくとも一つのノードで情報を統合する、
請求項２記載のデータ処理装置。
【請求項４】
各ステージは、階層的事前確率の集合と関連付けられている、請求項１記載のデータ処理装置。
【請求項５】
各ステージは、ベイズネットワークによって表現される、請求項１記載のデータ処理装置。
【請求項６】
コンテンツ属性は、オーディオ、ビジュアル、キーフレーム、ビジュアルテキスト、及びテキストよりなる群から選択される、請求項１記載のデータ処理装置。
【請求項７】
各レイヤにおける統合は、特定のコンテンツ属性と、少なくも一つのノードに対するコンテキスト情報とを、種々の粒度レベルで組み合わせるように行なわれる、請求項１記載のデータ処理装置。
【請求項８】
各レイヤにおける統合は、特定のコンテンツ属性と、少なくとも一つのノードに対するコンテキスト情報とを、種々の抽象度レベルで組み合わせるように行なわれる、請求項１記載のデータ処理装置。
【請求項９】
種々の粒度レベルは、番組、サブ番組、シーン、ショット、フレーム、オブジェクト、オブジェクト部分、及び画素レベルよりなる群から選択される、請求項７記載のデータ処理装置。
【請求項１０】
種々の抽象度レベルは、画像内の画素、３次元空間内のオブジェクト、及び、トラスクリプト・テキスト文字よりなる群から選択される、請求項８記載のデータ処理装置。
【請求項１１】
選択されたノードは、有向鎖状グラフ内の有向アークによって互いに関係付けられる、請求項１記載のデータ処理装置。
【請求項１２】
選択されたノードは、親ノードと関連付けられた属性が真であるという条件下で、選択されたノードが真であると定める属性の条件付き確率密度と関連付けられる、請求項１１記載のデータ処理装置。
【請求項１３】
第１のレイヤは、第１の複数のノードの中のノード毎に特定のコンテンツ属性を集めるようにされている、請求項１記載のデータ処理装置。
【請求項１４】
各レイヤのノードは確率論的な値に対応する、請求項１記載のデータ処理装置。
【請求項１５】
各レイヤに複数のノードが設けられた複数のレイヤを含む少なくとも一つのステージを具備した確率的手法を用いて、情報信号を区分け及び索引付けする手順を有し、
情報信号を区分け及び索引付けする手順は、
第１のレイヤの各ノードに対する情報信号からコンテンツ属性を抽出する手順と、
第２のレイヤにおいて、他のレイヤ又は次のステージの選択されたノードのコンテンツ属性を用いてコンテキスト情報を決定する手順と、
特定のコンテンツ属性と第２のレイヤの少なくとも一つのノードに対するコンテキスト情報とを統合する手順と、
を含む、情報信号を処理する方法。
【請求項１６】
コンテキスト情報を決定する手順は、
上位レイヤ又はステージから少なくとも一つのステージへ次々と伝えられた情報からのコンテキスト情報を使用し、該少なくとも一つのノードで情報を統合する、
請求項１５記載の方法。
【請求項１７】
コンテンツ属性を抽出する手順は、オーディオ、ビジュアル、キーフレーム、ビジュアルテキスト、及びテキスト属性を抽出する、請求項１５記載の方法。
【請求項１８】
統合する手順は、特定のコンテンツ属性と、少なくも一つのノードに対するコンテキスト情報とを、種々の粒度レベルで組み合わせる、請求項１５記載の方法。
【請求項１９】
統合する手順は、特定のコンテンツ属性と、少なくとも一つのノードに対するコンテキスト情報とを、種々の抽象度レベルで組み合わせる、請求項１５記載の方法。
【請求項２０】
種々の粒度レベルは、番組、サブ番組、シーン、ショット、フレーム、オブジェクト、オブジェクト部分、及び画素レベルよりなる群から選択される、請求項１８記載の方法。
【請求項２１】
種々の抽象度レベルは、画像内の画素、３次元空間内のオブジェクト、及び、文字よりなる群から選択される、請求項１９記載の方法。
【請求項２２】
決定する手順は、他のレイヤ又は次のステージの選択されたノードのコンテンツ属性と関係した有向鎖状グラフを使用する、請求項１５記載の方法。
【請求項２３】
請求項１乃至１４のうちいずれか一項記載のデータ処理装置の機能をプログマブル装置に実現させるコンピュータプログラム。
【請求項２４】
情報信号を処理する装置であって、
処理ステップを保持するメモリと、
各レイヤに少なくとも一つのノードが設けられた複数のレイヤを有する少なくとも一つのステージを使用し、第１のレイヤの各ノードに対する情報信号からコンテンツ属性を抽出し、第２のレイヤで、他のレイヤの選択されたノードのコンテンツ属性又は次のステージのコンテキスト情報を用いて、コンテキスト情報を決定し、特定のコンテンツ属性とノードに対するコンテキスト情報とを組み合わせるように、メモリに保持された処理ステップを実行するプロセッサと、
を有する、装置。
【発明の詳細な説明】
【０００１】
インターネット若しくはコマーシャルＴＶから得られるようなマルチメディア・コンテンツ情報は、その莫大な量と複雑さによって特徴付けられる。データの観点から、マルチメディアは、オーディオ情報、ビデオ（ビジュアル）情報、及びトランスクリプト情報に分割される。このデータは、構造化する必要は無く、すなわち、未加工フォーマットのデータは、ビデオストリームに符号化すること、或いは、構造化することが可能である。データの構造化部分は、コンテンツ情報によって記述される。これは、ビジュアルドメイン内のオブジェクトを表現する画素のクラスタから、オーディオドメイン内の楽曲、及び発話コンテンツの逐語的要約にまで至る。典型的なコンテンツに基づくマルチメディア情報の処理は、いわゆるボトムアップアプローチとボトムダウンアプローチの組合せである。
【０００２】
ボトムアップアプローチの場合、マルチメディア情報の処理は、信号処理レベル、いわゆる低レベルで始まり、種々のパラメータがオーディオ、ビジュアル、及びトランスクリプトドメインで抽出される。これらのパラメータは、典型的に、ビジュアルドメインにおける画素ベース、或いは、オーディオドメインにおける短時間（１０ｍｓ）のような時間的及び／又は空間的な局所情報を記述する。これらのパラメータのサブセットは、典型的に、ビジュアルドメインにおける画像領域に対応した空間的エリア、又は、オーディオドメインにおける長時間（たとえば、１〜５秒）のような領域情報を記述する中レベルパラメータを生成するため結合される。高レベルパラメータは、より意味的な情報を記述し、これらのパラメータは、中レベルからのパラメータの結合によって与えられ、この結合は、一つのドメイン内の結合、或いは、異なるドメインに及ぶ結合のどちらでもよい。このアプローチは、多数のパラメータを追跡する必要があり、これらのパラメータの推定誤差に対する感度が高い。したがって、このアプローチは、安定性を欠き、かつ、複雑である。
【０００３】
トップダウンアプローチは、モデル駆動型である。アプリケーションドメインが与えられると、ボトムアップアプローチの出力を構造化する特定のモデルが使用され、これらの出力にロバスト性を付与するために役立つ。このアプローチの場合、モデルの選択が最重要であり、モデルは任意的には選択できず、ドメイン知識が重要であり、これがアプリケーションドメインにおける制約を要求する。
【０００４】
専門家及び一般大衆が利用できるマルチメディア情報の量が増加すると共に、このような情報のユーザは、（ｉ）パーソナル化、（ｉｉ）マルチメディア（たとえば、ビデオ）シーケンスの種々の部分への高速かつ簡単なアクセス、及び（ｉｉｉ）双方向性を要求する。最近の数年間の進歩によって、これらのユーザ要求事項の一部が、直接的又は間接的に充足されている。その中には、高速ＣＰＵ、記憶システム及び記憶媒体、並びに、プログラミングインタフェースの開発が含まれる。パーソナル化の要求に関して、ＴｉＶｏのような製品は、ユーザが、自分のユーザ／プロファイルと電子番組ガイドに基づいて、放送／ケーブル／衛星テレビ番組の全部又は一部を記録できるようにする。この比較的新しいアプリケーションドメイン、すなわち、パーソナル（デジタル）ビデオ録画（ＰＶＲ）のアプリケーションドメインは、新しい機能性を徐々に追加することを要求する。新しい機能性は、ユーザ・プロファイルからコマーシャルと番組の分離及びコンテンツに基づくビデオ処理まで移り変わる。ＰＶＲは、ＰＣと、記憶装置と、検索技術とを統合する。インターネット用の質問言語の開発は、主としてテキストに基づくマルチメディア情報へのアクセスを可能にさせた。これらの開発にもかかわらず、情報セグメンテーション、情報インデキシング、及び、情報表現の改良に対する要求が明らかに存在する。
【０００５】
マルチメディア・セグメンテーション、インデキシング及び表現のような情報処理に関するある種の問題は、本発明の原理による方法及びシステムによって緩和若しくは解決される。この方法及びシステムは、確率的手法を使用したオーディオ／ビジュアル／テキスト（Ａ／Ｖ／Ｔ）のようなマルチメディア統合を含む。この手法は、コンテンツに基づくビデオの他にマルチメディア・コンテキスト情報を使用することによりマルチメディア処理及び表現の範囲を拡大する。より詳細には、確率的手法は、１層以上のレイヤを有する少なくとも一つのステージを含み、各レイヤはコンテンツ若しくはコンテキスト情報を表現する多数のノードを含み、ベイズネットワークと階層的事前分布によって表現される。ベイズネットワークは、各ノードが所与の（オーディオ、ビジュアル、トランスクリプト）マルチメディアドメインの所与の属性（パラメータ）に対応し、各有向アークが二つのノード間の因果関係を記述する、有向鎖状グラフ（ＤＡＧ）と、１アーク当たりに一つずつの条件付き確率分布（ｃｐｄ）とを結合する。階層的事前分布は、ベイズネットワークの範囲を増大し、各ｃｐｄは、チャップマン・コロモゴロフ方程式を反復的に用いて拡張された内部変数のセットによって表現され得る。この表現において、各内部変数は特定のステージのレイヤに関連付けられる。内部変数を伴わないｃｐｄは、標準ベイズネットワークの構造を記述する。上述の通り、これが基底ステージを規定する。この場合、ノードは、コンテンツに基づくビデオ情報と関連付けられる。次に、単一の内部変数を伴うｃｐｄは、第２のステージのノード間の関係、又は、第２のステージのノードと基底ステージのノードとの間の関係のいずれかを記述する。これは、任意の段数のステージに対し繰り返される。さらに、各個別のステージのノードは、ベイズネットワークを形成することにより、相互に関連付けられる。拡張されたステージのセットの重要性は、マルチメディア・コンテキスト情報を収容することである。
【０００６】
マルチメディア・コンテキスト情報は、階層的事前確率分布の手法では、基底ステージを除く種々のステージにおけるノードとして表現される。マルチメディア・コンテキスト情報は、ビデオ情報の基本をなす「シグネチャー」又は「パターン」によって判定される。たとえば、テレビ番組中の音楽クリップを区切り、索引付けするため、音楽番組（ＭＴＶ）、トークショー、若しくは、コマーシャルのようなジャンルによってテレビ番組を識別する。このジャンルは、テレビ番組内のコンテキスト情報である。この付加されたコンテキスト情報は、テレビ番組と関連した、ビデオの処理量を急激に削減させるために役立つ。このビデオの処理は、意味的情報を決定する場合には、大量のデータの処理であり、かつ、その処理は非常に複雑である。マルチメディア・コンテキストの特徴は、オーディオ、ビジュアル、及びテキストの各ドメインで別々に定義された特徴によって定められ、これらの種々のドメインからの情報の組合せに対して定めることも可能である。コンテキスト情報とコンテンツ情報は、概略的に言うと、コンテンツ情報がオブジェクトとオブジェクト間の関係を取り扱い、コンテキスト情報がオブジェクトに関わる情況を取り扱う点で異なる。テレビ番組において、コンテンツ「オブジェクト」は、抽象度と粒度の種々のレベルで定義される。
【０００７】
このようにして、本発明は、コンテンツ情報とコンテキスト情報を組み合わせて使用することによって、マルチメディア情報の意味的特性に応じて、マルチメディア情報のセグメンテーション（区分け）及びインデキシング（索引付け）を可能にする。これにより、マルチメディア情報の（索引付けによる）記述における（ｉ）ロバスト性、（ｉｉ）一般性、及び（ｉｉｉ）相補性が得られる。
【０００８】
たとえば、ビデオスカウティング（ＶＳ）に使用される本発明の一実施例において、５層の機能的に異なるレイヤが第１のステージに存在する。特に、各レイヤは、ノードによって定義され、下位ノードは、有向アークによって上位ノードへ関連付けられる。したがって、有向鎖状グラフ（ＤＡＧ）が使用され、各ノードは、ビデオスカウンティングシステムによって記述された所与の特性を定義し、ノード間のアークは、ノード間の関係を記述し、各ノード及び各アークはｃｐｄと関連付けられる。ノードと関連付けられたｃｐｄは、上位ステージにおける親ノードと関連付けられた属性の真実性が与えられたと仮定して、ノードを定義する属性が真である確率を測定する。このレイヤ方式アプローチは、レイヤ毎に一つずつの種々のタイプのプロセスを区別することが可能である。たとえば、ＴＶ番組のセグメンテーション及びインデキシングの手法において、一つのレイヤが番組セグメントを処理するため使用され、別のレイヤは、ジャンル若しくは番組スタイル情報を処理する。これによって、ユーザは、異なる粒度のレベルで、たとえば、シーンがショットの集まりであり、ショットがカラー及び／又はルミナンス度の変化に基づいて区切られたビデオ単位であり、オブジェクトが情報のオーディオ単位／ビジュアル単位／テキスト単位である場合に、番組←→サブ番組←→シーン←→ショット←→フレーム←→画像領域←→画像領域部分←→部分画素のレベルで、マルチメディア情報を選択できるようになる。
【０００９】
ビデオ・スカウティングの第１のレイヤであるフィルタリングレイヤは、電子番組ガイド（ＥＰＧ）と、プロファイルとにより構成され、プロファイルの一方は、番組個人嗜好（Ｐ＿ＰＰ）であり、プロファイルの他方は、コンテンツ個人嗜好（Ｃ＿ＰＰ）である。ＥＰＧ及びＰＰは、ＡＳＣＩＩテキスト形式であり、ユーザが選択したり、ユーザが関心を持ったりするテレビ番組及び／又は番組中のセグメント／イベントの初期フィルタとして利用される。第２のレイヤである特徴抽出レイヤは、ビジュアルドメインと、オーディオドメインと、テキストドメインの三つのドメインに分割される。各ドメンイでは、別個に情報を処理するフィルタバンクのセットが特定の属性の情報を選択する。その中には、各属性内の情報の統合が含まれる。また、このレイヤからの情報を用いることによって、ビデオ／オーディオショットが区切られる。第３のレイヤであるツールレイヤは、特徴抽出レイヤからの各ドメイン内の情報を統合する。第３のレイヤの出力は、ビデオ／オーディオショットの索引付けを補助するオブジェクトである。第４のレイヤである意味論的プロセスレイヤは、ツールレイヤからの要素を結合する。この場合、複数のドメインに亘る統合が行なわれ得る。最後に、第５のレイヤであるユーザアプリケーションレイヤは、意味論的プロセスレイヤからの要素を結合することによって区分け及び索引付けを行う。この最後のレイヤは、ＰＰ及びＣ＿ＰＰを用いたユーザ入力を反映させる。
【００１０】
本発明は、以下の詳細な説明を、添付図面と併せて読むことによって容易に理解できるであろう。
【００１１】
本発明は、特に、ＴＶ装置、パーソナル・ビデオ・レコーダ（ＰＶＲ）、或いは、ビデオ・スカウティング・システムに内蔵されたハードディスクレコーダに関係する技術において重要であり、この種の技術は、１９９９年１１月１８日に、Ｎ．Ｄｉｍｉｔｒｏｖａ外によって出願された発明の名称が”Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ａｕｄｉｏ／Ｄａｔａ／Ｖｉｓｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｅｌｅｃｔｉｏｎ， Ｓｔｏｒａｇｅ ａｎｄ Ｄｅｌｉｖｅｒｙ”であり、参考のため引用した米国特許出願０９／４４２，９６０号明細書に記載されている。また、本発明は、ビデオデータベース及びインターネット用のマルチメディア情報の洗練された区分け（セグメンテーション）、索引付け（インデキシング）、及び、検索に関連した技術において重要である。本発明は、ＰＶＲ若しくはビデオ・スカウティング・システムに関連して説明しているが、これらの装置は説明の便宜上使用されているが、本発明は、本質的に、ＰＶＲシステムなどに限定されるものではないことが理解されるであろう。
【００１２】
本発明が重要であると考えられる一つのアプリケーションは、コンテンツ情報及び／又はコンテキスト情報に基づくＴＶ番組若しくはサブ番組の選択である。現在のＴＶ装置用のハードディスクレコーダに関する技術は、たとえば、電子番組ガイド（ＥＰＧ）及び個人プロファイル（ＰＰ）を使用する。本発明もＥＰＧ及びＰＰを使用するが、本発明は、その他に、ビデオ情報解析及び抽象化を行なう付加的な処理用レイヤのセットを含む。その中心は、コンテンツ情報、コンテキスト情報、及びセマンティック（意味的）情報を生成することである。これらの要素は、ビデオ情報の高速アクセス／検索と、情報粒度、の種々のレベルにおける双方向性、特に、意味的なコマンドを用いた相互作用を可能にさせる。
【００１３】
たとえば、ユーザは、たとえば、Ｊａｍｅｓ ＣａｍｅｒｏｎのＴｉｔａｎｉｃのような映画の特定の部分を録画すると同時に、他のＴＶ番組を視聴したい場合がある。これらの特定の部分は、たとえば、遠くから見たタイタニック号が沈没するシーン、ＪａｋｅとＲｏｓｅのラブシーン、異なる社会的立場に属するメンバー間での争いのシーンなどのような映画の特定シーンに対応しているはずである。明らかに、これらの要求は、種々のレベルの意味論的情報を組み合わせた上位レベルの情報に関係する。従来、ＥＰＧ情報及びＰＰ情報によると、番組の全体が録画される。本発明では、オーディコンテンツ情報／ビジュアルコンテンツ情報／テキストコンテンツ情報が適切なシーンを選択するため使用される。フレーム、ショット、又は、シーンは区分けされる。また、オーディオ／ビジュアルオブジェクト、たとえば、人物は、区分けされ得る。映画の対象部分は、このコンテンツ情報に応じて索引付けされる。ビデオコンテンツに対する相補的な要素は、コンテキスト情報である。たとえば、ビジュアルコンテキストは、シーンが屋内であるか、又は、屋外であるか、日中であるか、又は、夜間であるか、曇天であるか、又は、晴天であるかなどを判定することができる。オーディオコンテキストは、サウンド、声などから、番組カテゴリー、及び、声、サウンド若しくは音楽のタイプを判定することができる。テキストコンテキストは、番組の意味論的情報により深い関係があり、クローズドキャプション（ＣＣ）、若しくは、スピーチ・テキスト情報から抽出される。例示的に説明すると、本発明は、詳細なコンテンツ抽出／結合を実行することなく、コンテキスト情報、たとえば、夜間シーンを抽出することができ、高速に映画の大半の部分に索引付けを行い、映画の部分をより高いレベルで選択できるようになる。
【００１４】
〔マルチメディアコンテンツ〕
マルチメディアコンテンツは、オーディオオブジェクトと、ビデオオブジェクトと、テキストオブジェクトの組み合わせ（Ａ／Ｖ／Ｔ）である。これらのオブジェクトは、既に説明したように異なる粒度レベル、すなわち、番組←→サブ番組←→シーン←→ショット←→フレーム←→オブジェクト←→オブジェクト部分←→画素のレベルで定義され得る。マルチメディアコンテンツ情報は、セグメンテーション操作によってビデオシーケンスから抽出されるべきである。
【００１５】
〔マルチメディアコンテキスト〕
コンテキストは、環境、状況、処理される情報の基礎となる構造を表わす。コンテキストについての説明は、シーン、サウンド、若しくは、テキストの解釈と同じではないが、コンテキストは、本来的に、解釈の際に使用される。
【００１６】
コンテキストの決定的な定義は存在しない。それに代わって、多数の使用可能な定義がアプリケーションのドメイン（ビジュアル、オーディオ、テキスト）に応じて与えられる。コンテキストの部分的な定義は、以下の例で説明する。晴天の日中の屋外シーンにおけるオブジェクトの集まり、たとえば、木々、家並、人々を想定する。３次元ビジュアルオブジェクトであるこれらのオブジェクトの簡単な関係から、「晴天の日中の屋外シーンである」という記述の真偽を判定することはできない。
【００１７】
典型的に、オブジェクトは、たとえば、他のオブジェクトの前方若しくは後方に存在するか、或いは、相対速度で移動するか、或いは、他のオブジェクトよりも明るく見える。コンテキスト情報（屋外、晴天の日中など）は、これらの記述の曖昧さを無くすために必要である。コンテキストは、これらのオブジェクト間の関係の土台となる。マルチメディアコンテキストは、オーディオドメイン、ビジュアルドメイン、及びテキストドメインからのコンテキスト情報を結合した抽象オブジェクトとして定義される。テキストドメインには、１階論理言語の形でコンテキストの定形化が存在する。Ｒ．Ｖ． Ｇｕｈａ， Ｃｏｎｔｅｘｔｓ： Ａ Ｆｏｒｍａｌｉｚａｔｉｏｎ ａｎｄ ｓｏｍｅ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｓｔａｎｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔｓ， ＳＴＡＮ−ＣＳ−９１−１３９９−Ｔｈｅｓｉｓ， １９９１を参照せよ。テキストドメインにおいて、コンテキストは、述語の意味の曖昧さを解消するため、フレーズ（句）若しくはセンテンス（文）に対する相補的な情報として使用される。実際上、コンテキスト情報は、言語学若しくは言語の原理においてフレーズ若しくはセンテンスの意味を決定するために欠かせない。
【００１８】
本発明における「マルチメディアコンテキスト」の概念の新規性は、オーディオドメイン、ビジュアルドメイン、及び、テキストドメインの壁を越えて、コンテキスト情報を組み合わせる点にある。これが重要である理由は、ビデオシーンからの大量の情報、たとえば、２〜３時間に亘って記録されたＡ／Ｖ／Ｔデータを処理するとき、この情報の中から所与のユーザ要求に該当する一部分を抽出し得ることが不可欠である、と考えられるからである。
【００１９】
〔コンテンツに基づくアプローチ〕
コンテンツに基づくアプローチの全体的な動作フローチャートは図１に示されている。ビデオシーケンス中のオブジェクト／人物を追跡し得ることは、ＴＶニュース番組に表示された特定の顔を見るため、又は、オーディオトラックの所定のサウンド／音楽を選択するために、マルチメディア処理における重要な新要素である。「コンテンツ」は基本的に「オブジェクト」を用いた特徴付けであり、ユーザに対して一定の関係、たとえば、意味論的に関係のあるＡ／Ｖ／Ｔ情報の一部分若しくは大部分である。コンテンツは、ビデオショット、ショット内の特定のフレーム、所定の速度で移動するオブジェクト、人物の顔などである。基本的な問題は、ビデオからコンテンツをどのようにして抽出するかである。コンテンツの抽出は、自動的、若しくは、人手によって、又は、それらの組み合わせによって行なわれる。ＶＳ（ビデオ・スカウティング）の場合、コンテキストは自動的に抽出される。一般的な規則として、自動コンテキスト抽出は、ローカルに基づくアプローチ（ローカルベースアプローチ）とモデルに基づくアプローチベース（モデルベースアプローチ）の組み合わせとして記述される。ビジュアルドメインにおいて、ローカルベースアプローチは、所与のビジュアル属性に関する画素レベルの操作によって始まり、次に、領域に基づくビジュアルコンテンツを生成するためこの情報がクラスタリングされる。オーディオドメインの場合、類似した処理が行なわれる。たとえば、音声認識の場合、サウンド波形が、等間隔の１０ｍｓの連続／オーバーラップ窓を用いて解析され、次に、音素情報を生成するため、時間的に情報をクラスタリングすることによって処理される。モデルベースアプローチは、ローカルベースアプローチを通じて行なわれるボトムアップ方式の処理を近道させるために重要である。たとえば、ビジュアルドメインにおいて、幾何形状モデルは、画素（データ）情報へのフィットのため使用され、これにより、所与の属性のセットに対する画素情報の統合が進む。一つの知られた問題は、ローカルベースアプローチとモデルベースアプローチをどのように組み合わせるかである。
【００２０】
コンテンツに基づくアプローチには限界がある。ビジュアルドメイン、オーディオドメイン、及びテキストドメインにおけるローカル情報処理は、簡単な（基本）操作によって実現することができ、速度性能を高めるために並列に実施することができるが、その統合１６は複雑な処理であり、統合の結果は、一般的に、あまり良くない。したがって、本発明では、コンテキスト情報がこのタスクに追加される。
【００２１】
〔コンテキストに基づくアプローチ〕
コンテキスト情報は、アプリケーションドメインを制限し、これにより、考えられるデータ情報の解釈の数を削減する。コンテキスト抽出及び／又は検出の目標は、ビデオのシグネチャー、パターン、又は、基礎となる情報を判定することである。この情報を用いると、コンテキスト情報に従ってビデオシーケンスに索引付けし、コンテンツ抽出作業を補助するためコンテキスト情報を使用することが可能になる。
【００２２】
概括的に説明すると、コンテキストには、信号コンテキストと、意味論的コンテキストの二つのタイプが存在する。信号コンテキストは、ビジュアルコンテキスト情報、オーディオコンテキスト情報、及び、テキストコンテキスト情報に分割される。意味論的コンテキストは、ストーリー、意図、見解などを含む。意味論的タイプは、多数の粒度を有し、ある意味では、その可能性に制限が無い。信号タイプは、上述のコンポーネントからなる固定したセットを有する。図２は、このようないわゆるコンテキスト分類を説明するフローチャートである。
【００２３】
以下では、コンテキスト分類の一部の要素、すなわち、ビジュアル、オーディオ、及びテキスト信号コンテキスト要素と、ストーリー及び意図の意味論的コンテキスト要素とについて説明する。
【００２４】
〔ビジュアルコンテキスト〕
図３に示されるように、ビジュアルドメインのコンテキストは、以下の構造を有する。第一に、自然物、人工物（グラフィックス、デザイン）、或いは、両者の組み合わせが区別される。次に、自然物ビジュアル情報として、ビデオが屋外シーンと屋内シーンのどちらであるかを判定する。屋外シーンであるならば、カメラの動き方、シーンショットの変化レート、或いは、シーン（背景）色／テキスチャーに関する情報がコンテキスト細部をさらに判定する。たとえば、ゆっくりとした屋外シーンのパン／ズームを含むショットは、スポーツ番組若しくはドキュメンタリー番組の一部である。これに対し、屋内／屋外シーンに対する高速パン／ズームは、スポーツ（バスケットボール、ゴルフ）若しくはコマーシャルに対応する。人工物シーンの場合、純粋なグラフィックス及び／又は通常の漫画的イメージに対応するかどうかを判定しなければならない。これらを全て区別した後、より上位レベルのコンテキスト情報を判定、たとえば、屋外／屋内シーンを認識することができるが、そのためには、コンテキストをコンテンツ情報に関連付けるための非常に巧妙な仕組みを必要とする。ビジュアルコンテキストの例は、屋内と屋外の区別、支配的な色情報、支配的なテキスチャー情報、大域的（カメラ）移動が含まれる。
【００２５】
〔オーディオコンテキスト〕
図４に示されるように、オーディオドメインにおいて、最初に、自然音と人工音を区別する。次のレベルで、人の声と、自然サウンドと、音楽とを区別する。自然サウンドの場合、生物からのサウンドと、無生物からのサウンドを区別し、人の声の場合、性別の区別と、話声と歌声の区別とを行い、話声の場合、大声の話、普通の声の話、及び、小さい声の話を区別する。オーディオコンテキストの例は、
自然サウンド：風、動物、木々
人の声：シグネチャー（話者認識用）、歌声、話声
音楽：ポピュラー、クラシック、ジャズ
などが含まれる。
【００２６】
〔テキストコンテキスト〕
テキストドメンイの場合、コンテキスト情報は、クローズドキャプション（ＣＣ）、マニュアル記述、又は、ビジュアルテキストから得られる。たとえば、ＣＣから得る場合、ビデオがニュースに関するものであるか、インタビュー番組に関するものであるかなどを判定するため自然言語ツールを使用することができる。その上、ビデオスカウティングは、電子番組ガイド（ＥＰＧ）情報と、（番組、コンテンツの）個人嗜好（ＰＰ）に関するユーザ選択とを含み得る。たとえば、ＥＰＧからコンテキスト情報を得る場合、番組カテゴリー、番組コンテンツ（ストーリー、イベントなど）の簡単な要約、及び、パーソネル（俳優、アナウンサーなど）情報を指定するため、番組、番組予定表、放送局、及び、映画テーブルを使用することが可能である。これらは、既に、コンテキスト情報の記述を、処理可能な要素のクラスまで圧縮するために役立っている。これらの初期フィルタリングを用いない場合、コンテキストの詳細は、コンテキスト情報の実際の利用を抑える可能性がある非常に一般的な問題になる。ＥＰＧ及びＰＰと一体的に考えることにより、ＣＣ情報の処理は、開示内容の解析及び分類に関する情報を生成するため、コンテキスト抽出処理を進める必要がある。この意味で、ビデオスカウティングにおける情報のフローは閉ループ形式である。
【００２７】
〔コンテキスト情報の結合〕
コンテキスト情報の結合は、コンテキスト処理における強力なツールである。特に、たとえば、キーワードのような自然言語処理によって生成されたテキストコンテキスト情報の使用は、ビジュアル／オーディオコンテキストの処理を成し遂げるために重要な要素になり得る。
【００２８】
〔コンテキストパターン〕
コンテキスト抽出における一つの中心的な要素は、「大域的パターンマッチング」である。重要なことは、コンテキストが、最初に、コンテンツ情報を抽出し、次に、このコンテンツを、ある種の推論規則によって後で相互に関連付けられるオブジェクトにクラスタリグすることによって、抽出されるのではない、ということである。その代わりに、できる限り少ないコンテンツ情報を使用し、できる限り大量の大域的ビデオ情報を使用することによって、独立にコンテキスト情報を抽出する。かくして、ビデオのシグネチャー情報が捕捉される。たとえば、人の声が女性の声であるか、又は、男性の声であるかを判定するため、自然サウンドが風のサウンドであるか、又は、水のサウンドであるかを判定するため、シーンが日中及び屋外（高い放出光度）を表わすか、又は、屋内（低光度）を表わすかを判定するため、などに使用される。コンテキスト情報の固有の規則性を表わすコンテキスト情報を抽出するため、いわゆる、コンテキストパターンの概念を使用する。このパターンは、処理されるべきコンテキスト情報のタイプの規則性を捕捉する。規則性は、信号ドメイン、若しくは、変換（フーリエ）ドメインで処理される。規則性は、簡単な形式と複雑な形式のどちらの形式もとり得る。これらのパターンの性質は多種多様である。たとえば、ビジュアルパターンは、たとえば、日中の屋外シーンの散乱ライティングのようなビジュアル属性の組み合わせを使用し、意味論的パターンは、たとえば、Ｊ．Ｓ． Ｂａｃｈの作曲スタイルのような記号的属性を使用する。これらのパターンは、ビデオスカウティングの学習フェーズで生成される。これらは、一体として、集合を形成する。この集合は、更新、変更、若しくは、削除され得る。
【００２９】
コンテキストに基づくアプローチの一局面は、所与のビデオシーケンスに相応しいコンテキストパターンを判定することである。これらのパターンは、ビデオシーケンスに索引付けをするため、或いは、コンテンツに基づくアプローチによる（ボトムアップ方式）情報の処理を補助するため使用される。コンテキストパターンの例は、明度ヒストグラム、大域的画像速度、人の声のシグネチャー、及び、音楽スペクトル写真である。
【００３０】
〔情報統合〕
本発明の一局面によれば、たとえば、コンテンツ情報及びコンテキスト情報のような種々の要素の（以下で詳述する確率的手法による）統合は、レイヤ状に編成される。確率的手法の利点は、確実性／不確実性の厳密な取り扱いを可能にさせ、様式を越えた統合のための一般的な手法を与え、情報を再帰的に更新する能力を備えていることである。
【００３１】
確実性／不確実性の取り扱いは、ビデオスカウティング（ＶＳ）のような大規模システムで望まれる事項である。全モジュール出力は、本質的にある程度の不確実さを伴う。たとえば、（ビジュアル）シーンカット検出器の出力はフレーム、すなわち、キーフレームであり、どのキーフレームを選択すべきであるかに関する判定は、色のシャープさ、動きのシャープさなどが所与の時点でどの程度変化しているかに基づくある種の確率を用いることによってのみ行なわれえる。
【００３２】
図５に示された実施例は、入力信号（ビデオ入力）５００を受信するためプロセッサ５０２を具備する。プロセッサは、区分けされ、索引付けされた出力５０８を生成するため、コンテキストに基づく処理５０４と、コンテンツに基づく処理５０６とを実行する。
【００３３】
図６及び７は、それぞれ、コンテキストに基づく処理５０４及びコンテンツに基づく処理５０６の詳細を示す図である。図６の実施例は、ビデオスカウティングアプリケーションの場合に、５層のレイヤを備えた１段のステージを含む。各レイヤは、異なる抽象度レベル及び粒度レベルを有する。レイヤ内、或いは、レイヤ間に亘る要素の統合は、それ自体、抽象度レベル及び粒度レベルに依存する。図６に示されたＶＳレイヤを次に説明する。ＥＰＧ及び（番組）個人嗜好（ＰＰ）を用いるフィルタリングレイヤ６００は、第１のレイヤを構成する。第２の特徴抽出レイヤ６０２は、特徴抽出モジュールによって構成される。第３のレイヤはツールレイヤ６０４である。第４のレイヤ、意味論的プロセスレイヤ６０６がその後に続く。最後に、第５のレイヤであるユーザアプリケーションレイヤ６０８が続く。第２のレイヤと第３のレイヤの間で、ビジュアルシーンカット検出動作が行われ、ビデオショットを生成する。ＥＰＧ又はＰ＿ＰＰを利用できない場合、第１のレイヤは回避され、これは、内側に矢印が描かれた円記号によって図示されている。同様に、入力情報が一部の特徴を含む場合、特徴抽出レイヤは飛び越される。
【００３４】
ＥＰＧは、専用サービス、たとえば、トリビューン（Ｔｒｉｂｕｎｅ）（Ｔｒｉｂｕｎｅウェブサイト　ｈｔｔｐ：／／ｗｗｗ．ｔｒｉｂｕｎｅｍｅｄｉａ．ｃｏｍを参照せよ）によって生成され、ＡＳＣＩＩフォーマットで、番組名、時間、チャネル、視聴率、及び、簡単な要約を含む文字フィールドのセットを提供する。
【００３５】
ＰＰは、番組レベルＰＰ（Ｐ＿ＰＰ）でも、コンテンツレベルＰＰ（Ｃ＿ＰＰ）でもよい。Ｐ＿ＰＰは、ユーザによって決められたお気に入り番組のリストであり、ユーザの関心に応じて変化し得る。Ｃ＿ＰＰは、コンテンツ情報に関係し、ビデオスカウティングシステム、ならびに、ユーザは、それを更新することができる。Ｃ＿ＰＰは、処理されているコンテンツの種類に応じて、複雑さのレベルが異なる。
【００３６】
特徴抽出レイヤは、ビジュアルドメイン６１０、オーディオドメイン６１２、及びテキストドメイン６１４に対応した三つの部分に細分される。ドメイン毎に、異なる表現レベル及び粒度レベルが存在する。特徴抽出レイヤの出力は、通常は、ドメイン毎に別個にされた特徴のセットであり、ビデオに関する関連局所的／大域的情報を組み込む。情報の統合が行なわれるが、通常は、ドメイン毎に別々に行なわれる。
【００３７】
情報の統合が広範囲に亘って行なわれた場合、ツールレイヤは第１のレイヤである。このレイヤの出力は、ビデオの安定した要素を記述するビジュアル／オーディオ／テキスト特性によって与えられる。これらの安定した要素は、変化に対して頑強であることが必要であり、意味論的プロセスレイヤの形成ブロックとして使用される。ツールレイヤの一つの主要な役割は、オーディオドメイン、ビジュアルドメイン、及びトランスクリプトドメインからの中位レベル特徴を処理することである。これは、たとえば、画像領域、３次元オブジェクト、音楽若しくは会話のようなオーディオカテゴリー、及び、完全トランスクリプト文に関する情報を意味する。
【００３８】
意味論的プロセスレイヤは、ツールレイヤからの要素を統合することによって、ビデオコンテンツに関する知識情報を組み込む。最終的に、ユーザアプリケーションレイヤは、意味論的プロセス零夜の要素を統合し、ユーザアプリケーションレイヤは、ＰＰレベルで入力されたユーザ記述事項を反映させる。
【００３９】
フィルタリングレイヤからユーザアプリケーションレイヤへ進む際に、ビデオスカウティングシステムは、徐々に、より多くの記号的情報を処理する。典型的に、フィルタリングレイヤは、一般的にメタデータ情報として分類され、特徴抽出は信号処理情報を処理し、ツールレイヤは中位レベル信号情報を取り扱い、意味論的プロセス及びユーザアプリケーションレイヤは記号的情報を処理する。
【００４０】
重要な点は、本発明の一局面によれば、コンテンツ情報の統合は、特徴抽出、ツール、意味論的プロセス、及び、ユーザアプリケーションのレイヤの境界を越えて行なわれ、かつ、レイヤ内で行なわれる、ということである。
【００４１】
図７には、一つのコンテキスト生成モジュールが示されている。ビデオ入力信号５００は、プロセッサ５０２によって受信される。プロセッサ５０２は、信号を逆多重化し、ビジュアル７０２、オーディオ７０４、及びテキスト７０６のコンポーネント部に復号化する。次に、コンポーネント部は、コンテキスト情報を生成するため、円で囲まれたｘ印で図に示されているように、多数のステージ及びレイヤ内で統合される。最後に、これらの多数のステージから組み合わされたコンテキスト情報は、コンテンツ情報と統合される。
【００４２】
〔コンテンツドメイン及び統合粒度〕
特徴抽出レイヤは、ビジュアル、オーディオ、及びテキストの三つのドメインを有する。情報の統合は、ドメイン間、又は、ドメイン内で行なわれる。ドメイン内統合は、ドメイン毎に別々に行なわれ、ドメイン間統合は、ドメインの境界を越えて行なわれる。特徴抽出レイヤの出力は、（ドメイン内の場合に）特徴抽出レイヤ内に要素を生成し、或いは、ツールレイヤに要素を生成する。
【００４３】
第１の特性は、ドメイン独立特性である。ＦＶ、ＦＡ及びＦＴがビジュアルドメインの特徴、オーディオドメインの特徴、及び、テキストドメインの特徴を表わすとき、ドメイン独立特性は、以下の三つの式によって、確率密度分布に関して記述される。
式１
【００４４】
【数１】
2004505378.tif 000002
式２
【００４５】
【数２】
2004505378.tif 000003
式３
【００４６】
【数３】
2004505378.tif 000004
第２の特性は、属性独立特性である。たとえば、ビジュアルドメインには、色属性、深度属性、エッジ属性、動き属性、シェーディング属性、形状属性、及びテキスチャーの属性があり、オーディオドメインには、ピッチ、音色、周波数、及び帯域の属性があり、テキストドメインには、クローズドキャプション、スピーチ・テキスト、及びトランスクリプトの属性がある。ドメイン毎に、個別の属性は相互に独立している。
【００４７】
次に、特徴抽出統合についてより詳細に説明する。ここで、所与のドメインの各属性に関して、一般的に、（１）フィルタバンク変換、（２）局所統合、及び（３）クラスタリングの三つの基本操作があることに注意する必要がある。
【００４８】
フィルタバンク変換操作は、フィルタバンクのセットを各局所ユニットへ適用することに対応する。ビジュアルドメインの場合、局所ユニットは、画素、若しくは、たとえば、画素の矩形状ブロック内の画素の集合である。オーディオドメインの場合、各局所ユニットは、たとえば、音声認識で使用されるような１０ｍｓの時間窓である。テキストドメインの場合、局所ユニットは単語である。
【００４９】
局所統合操作は、局所情報の曖昧さを解消すべき場合に必要である。局所統合操作は、フィルタバンクを用いて抽出された局所情報を統合する。２次元オプティカルフローの計算の場合、法線速度は、局所近傍内で、或いは、テキスチャーを抽出するため結合しなればならない。空間的な有向フィルタの出力は、たとえば、周波数エネルギーを計算するため、局所近傍内で統合しなければならない。
【００５０】
クラスタリング操作は、各フレーム内若しくはフレームのセット内で局所統合操作の際に獲得された情報を集団化する。これは、基本的に、同じ属性に対するドメイン内統合モードを記述する。クラスタリングの一つのタイプは、所与の属性に従って、領域／オブジェクトを記述することである。この場合、クラスタリングは、クラスタリングされるべき目標属性の情報と共に、暗黙のうちに、形状（領域）情報を使用する。他のタイプは、全画像に対して大域的にクラスタリングを行う。この場合、ヒストグラムのような大域的性質が使用される。
【００５１】
クラスタリング操作の出力は、特徴抽出の出力として確認される。明らかに、特徴抽出プロセスの内部で、三つの各操作の間に依存性が存在する。これは、図８に、ビジュアル（画像）ドメインに関して、絵的に示されている。
【００５２】
図８に示された×印は、局所フィルタバンク操作が実現される画像サイトを表わす。小さい黒色の丸に集束する直線は、局所統合を表わす。大きい黒丸へ集束する直線は、領域／大域統合を表わす。
【００５３】
各局所ユニット（たとえば、画素、画素のブロック、時間インターバルなど）で行なわれた操作は、たとえば、図８では各×印の場所で、独立である。統合操作に関して、得られる出力は依存性であり、特に、閉じた近傍内で依存性がある。クラスタリングの結果は、領域毎に独立である。
【００５４】
最後に、特徴属性の統合は、ドメイン間で行なわれる。この場合、統合は、局所属性間ではなく、領域属性間で行なわれる。たとえば、いわゆる口話同期問題において、口の開く高さ、すなわち、下唇の中心と上唇の内側を結ぶ線に沿った点間の高さと、口の開く幅、すなわち、内側若しくは外側唇の右端点と左端点の間の幅と、或いは、口の開く面積、すなわち、内側又は外側唇と関連した面積と、によって与えられるビジュアルドメイン特徴は、オーディオドメイン特徴、すなわち、（孤立若しくは相関した）音素と統合される。これらの各特徴は、それ自体が、ある種の情報統合の結果である。
【００５５】
意味論的プロセスレイヤの要素を生成するためのツールレイヤからの情報と、ユーザアプリケーションレイヤの要素を生成するための意味論的プロセスレイヤからの情報との統合は、より特定的である。一般的に、統合は、アプリケーションのタイプに依存する。情報が最後の２層のレイヤ（ツールレイヤ、意味論的プロセスレイヤ）で統合される時のビデオユニットは、ストーリー選択、ストーリー区分け、ニュース区分けを実行するためのビデオセグメント、たとえば、ショット若しくはＴＶ番組である。これらの意味論的プロセスは、連続的なフレームのセットに亘って動作し、後述するように、ビデオに関する大域的／上位レベル情報を記述する。
【００５６】
〔ベイズのネットワーク〕
上述の通り、ＶＳの確率的表現のため使用される手法は、ベイズのネットワークに基づく。ベイズのネットワークの手法を使用する重要性は、各レイヤ内の多数の要素間、及び／又は、ビデオスカウティングシステムの各レイヤ間の条件付き依存性を自動的に符号化する点である。図６に示されるように、ビデオスカウティングシステムの各レイヤには、異なるタイプの抽象度及び粒度が存在する。また、各レイヤは固有の粒度の集合を備えている。
【００５７】
ベイズのネットワークの詳細な説明については、文献：Ｊｕｄｅａ Ｐｅａｒｌ， Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｒｅａｓｏｎｉｎｇ ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ： Ｎｅｔｗｏｒｋｓ ｏｆ Ｐｌａｕｓｉｂｌｅ Ｉｎｆｅｒｅｎｃｅ， Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ， Ｓａｎ Ｍａｔｅｏ， ＣＡ， １９８８、及び、文献：Ｄａｖｉｄ Ｈｅｃｋｅｒｍａｎ， ”Ａ Ｔｕｔｏｒｉａｌ ｏｎ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ”， Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ， ＭＳＲ−ＴＲ−９５−０６， １９９６を参照せよ。一般的に、ベイズのネットワークは、有向鎖状グラフ（ＤＡＧ）であり、（ｉ）ノードは（確率的）変数に対応し、（ｉｉ）アークは連結された変数間の直接的な因果関係を記述し、（ｉｉｉ）これらのリンクの強度がｃｐｄによって与えられる。
【００５８】
Ｎ変数の集合Ω≡｛ｘ１，．．．，ｘＮ｝がＤＡＧを定義する場合を考える。変数毎に、Ωの変数の部分集合Πｘｉが存在し、ｘｉの親集合、すなわち、ＤＡＧにおけるｘｉの祖先は、以下の式４のように表わされる。
【００５９】
【数４】
2004505378.tif 000005
ここで、Ｐ（・｜・）は、厳密に正の値のｃｐｄである。同時確率密度関数（ｐｄｆ）　Ｐ（ｘ１，．．．，ｘＮ）を与えると、連鎖法則を用いて、次の式５が得られる。
【００６０】
【数５】
2004505378.tif 000006
式１５によれば、親集合Πｘｉは、ｘｉと｛ｘ１，．．．，ｘＮ｝＼Πｘｉが、Πｘｉに関して条件付きで独立であるという特性を有する。
【００６１】
ＤＡＧに付随した同時確率密度関数は、次の式６で表わされる。
【００６２】
【数６】
2004505378.tif 000007
変数間の依存性は、式６を用いて数学的に表現される。式４、式５、及び式６における条件付き確率密度関数は、物理量であるか、又は、ベイズの定理を用いて、事前確率分布関数に変換される。
【００６３】
図６には、ＤＡＧの構造を有するビデオスカウティングシステムのフローチャートが示されている。ＤＡＧは、５層のレイヤにより構成される。各レイヤでは、各要素がＤＡＧのノードに対応する。有向アークは、前のレイヤの１個以上のノードを含む所与のレイヤの一つのノードと連結する。基本的に、アークの４組のセットは、５層のレイヤの要素に連結する。第１のレイヤであるフィルタリングレイヤから、第２のレイヤである特徴抽出レイヤへ向かって、一般的に、３本の全アークが等しい重みでトラバースされ、すなわち、対応したｐｄｆが全て１．０に一致する、という制限が存在する。
【００６４】
レイヤと要素が与えられた場合に、式６によって記述された同時確率分布関数を計算する。より定式化すると、レイヤｌの要素（ノード）ｉｌに対し、同時確率分布関数ｐｄｆは、以下の式７のように表わされる。
【００６５】
【数７】
2004505378.tif 000008
式７では、暗黙的に、各要素ｘｉ（ｌ）に対し、親集合Πｉ（ｌ）が存在し、所与のレベルｌに対する親集合の合併集合が存在する。
【００６６】
【外１】
2004505378.tif 000009
各レベルに対する異なる親集合の間には重なり合いが生じ得る。
【００６７】
上述の通り、ＶＳにおける情報の統合は、（ｉ）特徴抽出及びツール、（ｉｉ）ツール及びセグメンテーションプロセス、並びに、（ｉｉｉ）意味論的プロセス及びユーザアプリケーションのレイヤの間で行なわれる。この統合は、ビデオスカウティングのベイズネットワーク定式化を含む漸進的プロセスによって実現される。
【００６８】
処理されるべきＶＳの基本ユニットは、ビデオショットである。ビデオショットは、図６に示されたスケジュールに従ったＰ＿ＰＰ及びＣ＿ＰＰのユーザ記述に応じて索引付けされる。ビデオショットのクラスタリングは、ビデオセグメントの大部分、たとえば、番組を生成し得る。
【００６９】
ここで、ｉｄ、ｄ、ｎ、及びｌｎが、それぞれ、ビデオ識別番号、生成データ、名前、及び長さを表わすとき、Ｖ（ｉｄ，ｄ，ｎ，ｌｎ）がビデオストリームを表わすとする。ビデオ（ビジュアル）セグメントは、ＶＳ（ｔｆ，ｔｉ；ｖｉｄ）によって表わされ、ここで、ｔｆ、ｔｉ、及びｖｉｄは、それぞれ、最終フレーム時間、初期フレーム時間、及び、ビデオ索引を表わす。ビデオセグメントＶＳ（・）は、ビデオショットでも、ビデオショットでなくてもよい。ＶＳ（・）がＶＳｈ（・）のように表わされたビデオショットである場合、第１のフレームは、ｔｉｖｋによって示されるビジュアル情報を伴うキーフレームである。時間ｔｆｖｋは、ショット中の最終フレームを表わす。キーフレームは、ショットカット検出オペレータによって獲得される。ビデオショットが処理されている間、最終ショットフレーム時間は依然として未知である。さもなければ、ｔ＜ｔｆｖｋとして、ＶＳｈ（ｔ，ｔｉｖｋ；ｖｉｄ）のように記述する。オーディオセグメントは、ＡＳ（ｔｆ，ｔｉ；ａｕｄ）によって表わされ、ａｕｄはオーディオ索引を表現する。ビデオショットの場合と同様に、オーディオショットＡＳｈ（ｔｆａｋ，ｔｉａｋ；ａｕｄ）は、オーディオセグメントであり、ｔｆａｋ及びｔｉａｋは、それぞれ、最終オーディオフレーム及び初期オーディオフレームを表現する。オーディオショット及びビデオショットは、必ずしも重ならない。ビデオショットの時間的境界内に二つ以上のオーディオショットが存在する可能性があり、また、その逆の可能性もある。
【００７０】
ショット生成、索引付け、及びクラスタリングの処理は、ビデオスカウティングにおいて徐々に実現される。フレーム毎に、ビデオスカウティングは、付随した画像、オーディオ、及びテキストを処理する。これは、第２のレイヤ、すなわち、特徴抽出レイヤで実現される。ビジュアル情報、オーディオ情報、及びテキスト（ＣＣ）情報は、最初に逆多重化され、ＥＰＧ、Ｐ＿ＰＰ、及びＣ＿ＰＰデータは、与えられていると仮定する。また、ビデオショット及びオーディオショットは更新される。フレーム単位の処理が終了した後、ビデオショット及びオーディオショットは、より大きいユニット、たとえば、シーン、番組へ集団化される。
【００７１】
特徴抽出レイヤでは、（ｉ）各ドメイン（ビジュアル、オーディオ、及びテキスト）に対して、並びに、（ｉｉ）各ドメイン内で、並列処理が実現される。ビジュアルドメインでは、画像Ｉ（・）が処理され、オーディオドメインでは、サウンド波形ＳＷが処理され、テキストドメインでは、文字列ＣＳが処理される。ビジュアル（ｖ）ドメイン、オーディオ（ａ）ドメイン、又は、テキスト（ｔ）ドメインを
【００７２】
【外２】
2004505378.tif 000010
のように省略表記する。ここで、α＝１は、ビジュアルドメイン、α＝２は、オーディオドメイン、α＝３は、テキストドメインに対応する。特徴抽出レイヤの出力は、集合
【００７３】
【外３】
2004505378.tif 000011
内のオブジェクトである。ｉ番目のオブジェクト
【００７４】
【外４】
2004505378.tif 000012
は、時点ｔにおけるｉ番目の属性
【００７５】
【外５】
2004505378.tif 000013
と関連付けられる。時点ｔにおいて、オブジェクト
【００７６】
【外６】
2004505378.tif 000014
は、以下の式８で表わされる条件を満たす。
【００７７】
【数８】
2004505378.tif 000015
式８において、記号
【００７８】
【外７】
2004505378.tif 000016
は、属性
【００７９】
【外８】
2004505378.tif 000017
が、領域（パーティション）
【００８０】
【外９】
2004505378.tif 000018
に含まれる（∈）ということを意味する。領域は、画像中の画素の集合でもよく、サウンド波形中の時間窓（たとえば、１０ｍｓ）でもよく、或いは、文字列の集まりでもよい。実際、式８は、上述のフィルタバンク処理と、局所統合と、大域／領域クラスタリングの３ステージの処理を省略して表現している。各オブジェクト
【００８１】
【外１０】
2004505378.tif 000019
に対し、親集合
【００８２】
【外１１】
2004505378.tif 000020
が存在し、各レイヤに対し、親集合は、一般的に、大規模（たとえば、所与の画像領域内の画素）であるので、明示的には記述されない。各オブジェクトの生成は、ドメイン内での他のオブジェクトの生成とは独立している。
【００８３】
特徴抽出レイヤで生成されたオブジェクトは、ツールレイヤへの入力として使用される。ツールレイヤは、特徴抽出レイヤからのオブジェクトを統合する。フレーム毎に、特徴抽出レイヤからのオブジェクトがツールオブジェクトに結合される。時点ｔで、ツールオブジェクト
【００８４】
【外１２】
2004505378.tif 000021
と、ドメイン
【００８５】
【外１３】
2004505378.tif 000022
で定義された特徴抽出オブジェクトの親集合
【００８６】
【外１４】
2004505378.tif 000023
に関して、以下の式９で表わされる条件付き確率分布ｃｐｄ
【００８７】
【数９】
2004505378.tif 000024
は、
【００８８】
【外１５】
2004505378.tif 000025
が、
【００８９】
【外１６】
2004505378.tif 000026
のオブジェクトに依存することを意味する。
【００９０】
次のレイヤである意味論的プロセスレイヤで、情報の統合は、ドメイン間で、たとえば、ビジュアルドメインとオーディオドメインとで行なわれる。意味論的プロセスレイヤは、オブジェクト｛ＯｉＳＰ（ｔ）｝ｉを含み、各オブジェクトは、ビデオショットを区分け／索引付けするため使用されるツールレイヤからのツールを統合する。式９と同様に、以下の式１０で表わされる条件付き確率分布ｃｐｄ
【００９１】
【数１０】
2004505378.tif 000027
は、意味論的プロセスの統合プロセスを記述する。ここで、
【００９２】
【外１７】
2004505378.tif 000028
は、時点ｔにおけるＯｉＳＰ（ｔ）の親集合を表わす。
【００９３】
セグメンテーション（区分け）は、漸進的ショット区分け及び索引付けと共に、ツール要素を用いて実現され、インデキシング（索引付け）は、特徴抽出、ツール、及び意味論的プロセスの三つのレイヤからの要素を用いて行なわれる。
【００９４】
時点ｔにおけるビデオショットは、次の式１１のように索引付けされる。
【００９５】
【数１１】
2004505378.tif 000029
ここで、ｉは、ビデオショット番号を表わし、
【００９６】
【外１８】
2004505378.tif 000030
は、ビデオショットのλ番目の索引付けパラメータを表わす。
【００９７】
【外１９】
2004505378.tif 000031
は、局所的なフレームベースのパラメータ（特徴抽出要素に関係する下位レベル）から、大域的なショットベースのパラメータ（ツール要素に関係した中位レベル、及び、意味論的プロセス要素に関係した上位レベル）までの範囲で、ショットに索引を付けるため使用される、考えられる全てのパラメータを含む。各時点ｔ（時間は、連続変数と離散変数のどちらで表現してもよく、離散変数の場合には、ｋを用いて表わす）で、次の式１２で表わされる条件付き確率分布ｃｐｄを計算する。
【００９８】
【数１２】
2004505378.tif 000032
この条件付き確率分布は、時点ｔにおけるビジュアルドメインＤ１内の特徴抽出属性の集合
【００９９】
【外２０】
2004505378.tif 000033
が与えられた条件下で、時点ｔにおけるフレームＦ（ｔ）がビデオショット
【０１００】
【外２１】
2004505378.tif 000034
に含まれる、条件付き確率を定義する。ショット区分けプロセスをより頑強にさせるため、時点ｔに獲得された特徴抽出属性だけではなく、前の時点に獲得された特徴抽出属性を使用することが可能であり、この場合、集合
【０１０１】
【外２２】
2004505378.tif 000035
で
【０１０２】
【外２３】
2004505378.tif 000036
を置き換える。これは、以下の式１３によって表わされるように、ベイズの更新規則を用いることによって、漸進的に実現される。
【０１０３】
【数１３】
2004505378.tif 000037
ここで、Ｃは正規化定数（通常は、式１３の状態に亘る合計）である。次の項は、式１２の索引付けパラメータの増分的更新である。最初に、（時間的に）拡張された属性の集合
【０１０４】
【外２４】
2004505378.tif 000038
に基づいて、索引付けパラメータを推定する。これは、式１４で表わされる条件付き確率分布ｃｐｄを用いて行なわれる。
【０１０５】
【数１４】
2004505378.tif 000039
ここで、
【０１０６】
【外２５】
2004505378.tif 000040
は、
【０１０７】
【外２６】
2004505378.tif 000041
の所与の測定値である。式１４に基づいて、索引付けパラメータの増分的更新は、ベイズの規則を用いることにより、以下の式１５によって与えられる。
【０１０８】
【数１５】
2004505378.tif 000042
ツール要素及び／又は意味論的プロセス要素は、ビデオ／オーディオショットを索引付けする。式１２、１３、１４及び１５と類似した式のセットがオーディオショットの区分けのため適用される。
【０１０９】
〔情報表現〕
フィルタリングレイヤからＶＳユーザアプリケーションレイヤまでのコンテンツ／コンテキスト情報の表現は、一意にはなり得ない。これは、非常に重要な特性である。表現は、ユーザがＶＳから要求したコンテンツ／コンテキスト情報の詳細のレベルの程度、実装上の制約（時間、記憶スペースなど）、及び、固有のＶＳレイヤに依存する。
【０１１０】
この表現の多様性の一例として、特徴抽出レベルで、ビジュアル表現は、異なる粒度の表現を有する。２次元空間の場合、表現は、ビデオシーケンスの画像（フレーム）により構成され、各画像は、画素、又は、画素の矩形状ブロックにより形成され、画素／ブロック毎に、速度（移動量）、色、エッジ、形状、及びテキスチャー値を割り当てる。３次元空間の場合、表現は、ボクセル（体素）を用いて行なわれ、（２次元の場合と）類似したビジュアル属性の集合が割り当てられる。これは、精細な詳細レベルにおける表現である。より粗いレベルでは、ビジュアル表現は、ヒストグラム、統計的モーメント、及び、フーリエ記述子によって行なわれる。これらは、ビジュアルドメインで考えられる表現の一例に過ぎない。同様の事象は、オーディオドメインでも起こる。精細レベル表現は、時間窓、フーリエ・エネルギー、周波数、ピッチなどの形である。粗いレベルでは、音素、３音素などを用いる。
【０１１１】
意味論的プロセスレイヤ及びユーザアプリケーションレイヤでは、表現は、特徴抽出レイヤの表現を用いて行なわれた推論の結果である。意味論的プロセスレイヤでの推論の結果は、ビデオショットセグメントの多様な特性に影響を与える。これに対し、ユーザアプリケーションレイヤで行なわれる推論は、ユーザの上位レベル要求を反映したショットの集まりの特性、又は、番組全体の特性を表現する。
【０１１２】
〔階層的事前分布〕
本発明の別の局面によれば、確率的定式化における階層的事前分布が、ビデオ情報の解析及び統合のために使用される。上述の通り、マルチメディアコンテキストは、階層的事前分布に基づいている。階層的事前分布に関する追加的な情報については、文献：Ｊ．Ｏ． Ｂｅｒｇｅｒ， Ｓｔａｔｉｓｔｉｃａｌ Ｄｅｃｉｓｉｏｎ Ｔｈｅｏｒｙ ａｎｄ Ｂａｙｅｓｉａｎ Ａｎａｌｙｓｉｓ， Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ， ＮＹ， １９８５を参照せよ。階層的事前分布を表わす一つの方法は、Ｃｈａｐｍａｎｎ−Ｋｏｌｍｏｇｏｒｏｖの式を用いることである。文献：Ａ．Ｐａｐｏｕｌｉｓ， Ｐｒｏｂａｂｉｌｉｔｙ， Ｒａｄｏｍ Ｖａｒｉａｂｌｅｓ， ａｎｄ Ｓｔｏｃｈａｓｔｉｃ Ｐｒｏｃｅｓｓｅｓ， ＭｃＧｒａｗ−Ｈｉｌｌ， ＮＹ， １９８４を参照のこと。ｎ個の連続又は離散変数の条件付き確率密度（ｃｐｄ）をｐ（ｘｎ，．．．，ｘｋ＋１｜ｘｋ，．．．，ｘ１）がｎ−ｋ−１個の変数とｋ個の変数として分布している場合を考える。これは、次の式１６のように表わされる。
【０１１３】
【数１６】
2004505378.tif 000043
式中、
【０１１４】
【外２７】
2004505378.tif 000044
は、積分（連続変数）又は合計（離散変数）のいずれかを表わす。式１６において、ｎ＝１かつｋ＝２となる特殊なケースは、Ｃｈａｐｍａｎｎ−Ｋｏｌｍｏｇｏｒｏｖの式であり、式１７のように表わされる。
【０１１５】
【数１７】
2004505378.tif 000045
ここで、ｎ＝ｋ＝１の場合に議論を限定することにする。また、ｘ１は、推定されるべき変数を表わし、ｘ２は、データである場合を考える。これにより、ベイズの定理によれば、以下の式１８が得られる。
【０１１６】
【数１８】
2004505378.tif 000046
ここで、ｐ（ｘ１｜ｘ２）は、ｘ２の条件下の推定値ｘ１の事後条件付き事前確率密度と呼ばれ、ｐ（ｘ２｜ｘ１）は、推定されるべき変数ｘ１の条件下でデータｘ２が得られる尤度ｃｐｄであり、ｐ（ｘ２）は、事前確率密度（ｐｄ）であり、ｐ（ｘ１）はデータだけに依存する定数である。
【０１１７】
事前確率項ｐ（ｘ１）は、とくに、構造的な事前確率である場合には、一般的に、パラメータに依存する。構造的な事前確率である場合、このパラメータは、ハイパーパラメータと呼ばれる。したがって、ｐ（ｘ１）は、実際には、ｐ（ｘ１｜λ）のように記述されるべきであり、ここで、λがハイパーパラメータである。λを何回も推定することは望ましくはなく、その代わりに、λに関する事前確率を利用する。その場合、ｐ（ｘ１｜λ）ではなく、ｐ（ｘ１｜λ）×ｐ’（λ）を使用する。ここで、ｐ’（λ）は、事前確率である。この処理は、任意の数の入れ子状の事前確率についても拡張可能である。この仕組みは、階層的事前確率方式と呼ぶ。階層的事前確率方式の一つの定式化は、式１７を用いて事後確率について説明されている。
【０１１８】
【外２８】
2004505378.tif 000047
を使用し、
【０１１９】
【外２９】
2004505378.tif 000048
として、式１７を書き換えると、以下の式１９又は式２０が得られる。
【０１２０】
【数１９】
2004505378.tif 000049
【０１２１】
【数２０】
2004505378.tif 000050
式２０は、二つのレイヤの事前確率、すなわち、別の事前確率パラメータに対する事前確率を記述する。これは、任意の層数のレイヤに一般化することが可能である。たとえば、式２０において、別のハイパーパラメータによってｐ（λ２｜ｘ２）を表わすため、式１７を使用することが可能である。一般的に、式２０の一般化式として、全部でｍ層のレイヤ事前確率に対し、式２１が得られる。
【０１２２】
【数２１】
2004505378.tif 000051
この式は、任意のｎ個の条件付き変数に対しても一般化することが可能である。すなわち、ｐ（ｘ１｜ｘ２）からｐ（ｘ１｜ｘ２，．．．，ｘｎ）へ一般化し得る。
【０１２３】
図９は、本発明の他の一実施例を示す図である。同図には、マルチメディア情報の区分け及び索引付けを表現するため、ｍ段のステージのセットが設けられている。各ステージは、階層的事前確率スキームにおける事前確率の集合と関連付けられ、ベイズネットワークで記述される。λ変数には、個別に所定のステージが関連付けられ、すなわち、ｉ番目のλ変数λｉは、ｉ番目のステージと関連付けられる。各レイヤは、マルチメディアコンテキスト情報の所与のタイプと対応する。
【０１２４】
２段のステージの場合をもう一度考えると、式１７と同じように、式２２のような新しい表記が得られる。
【０１２５】
【数２２】
2004505378.tif 000052
初期的に、ｐ（ｘ１｜ｘ２）は、ｘ１とｘ２の間の（確率的）関係を表わす。次に、変数λ１をこの問題に組み込むことによって、（ｉ）ｃｐｄは、ｐ（ｘ１｜λ１，ｘ２）に依存すること、すなわち、ｘ１を適切に推定するためには、ｘ２とλ１とに関する知識が必要であること、（ｉｉ）ｘ２からλ１を推定する方法を知る必要があること、がわかる。たとえば、ＴＶ番組のドメインでは、トークショー中で所定の音楽クリップを選択したい場合、ｘ１＝”トークショー中で音楽クリップを選択”、ｘ２＝”ＴＶ番組ビデオ−データ”、及びλ１＝”オーディオ、ビデオ、及び／又はテキストキューに基づくトークショー”である式２２を用いることなくｐ（ｘ１｜ｘ２）を計算する標準的なアプローチでは得られないが、階層的事前確率に基づくアプローチによって新たに得られる情報は、λ１によって記述される付加情報である。この付加情報は、データ（ｘ２）から推論する必要があるが、その性質はｘ１の性質とは異なり、単にビデオ情報のショット若しくはシーンを調べるだけではなく、別の観点、すなわち、テレビ番組ジャンルの観点からデータを記述する。データｘ２に基づくλ１の推定は、第２のステージで行なわれ、第１のステージは、そのデータ及びλ１からｘ１を推定することに関与する。一般的に、多数のパラメータを処理ためには、処理順序が考慮される。最初に、第２のステージから第ｍ番目のステージまで昇順にλパラメータが処理され、次に、第１のステージでｘパラメータが処理される。
【０１２６】
図１０において、第１のステージは変数ｘ１、ｘ２と関連したベイズネットワークを含む。その上方の第２のステージでは、別のベイズネットワーク用の種々のλ１変数（λ１は、実際には、第２のレイヤにおける”事前確率”変数の集まりを表現していることに注意する必要がある。）と関連する。両方のステージにおいて、ノードは、直線矢印で相互接続される。巻き矢印は、第２のステージのノードと、第１のステージのノードとの間のコネクションを表わす。
【０１２７】
好ましい一実施例において、本発明の方法及びシステムは、データ処理装置（たとえば、プロセッサ）を用いて実行可能である、コンピュータ読取可能なコードによって実現される。コードは、処理装置内のメモリに記憶されるか、或いは、ＣＤ−ＲＯＭやフレキシブルディスクのような記憶媒体から読み出され、若しくは、ダウンロードされる。説明の便宜上、このような装置構成がとられているが、特に、このようなデータ処理装置に限定することなく、本発明を実施し得ることに注意する必要がある。ここで、用語「データ処理装置」は、（１）コンピュータ、（２）ワイヤレス、セルラ、若しくは、無線データインタフェース機器、（３）スマートカード、（４）インターネットインタフェース機器、及び、（５）ＶＣＲ／ＤＶＤプレーヤーなどの、情報処理を実現し易くする任意のタイプの装置を表わす。他の実施例では、ハードウェア回路が、本発明を実現するため、ソフトウェア命令の代替として、或いは、ソフトウェア命令に付け加えて使用される。たとえば、本発明は、処理用のＴｒｉｍｅｄｉａプロセッサ及び表示用のテレビモニターを用いてデジタルテレビプラットフォームに実現することができる。
【０１２８】
さらに、図１乃至１０に示された多数の構成要素の機能は、専用ハードウェア、並びに、適切なソフトウェアと協働して、ソフトウェアを実行可能なハードウェアを用いて与えられる。プロセッサによって与えられる場合、これらの機能は、単一の専用プロセッサ、単一の共用プロセッサ、或いは、一部が共用されてもよい複数の個別のプロセッサによって提供される。
【０１２９】
用語「プロセッサ」又は「コントローラ」が明示的に使用されているとしても、ソフトウェアを実行可能なハードウェアだけを指しているというように理解されるべきではなく、これらの用語が使用された場合には、制限なく、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保持する読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性記憶装置を含むことが意図されている。その他の従来型のハードウェア及び／又はカスタム・ハードウェアを含む場合もある。
【０１３０】
次に、本発明の原理を例示的に説明する。したがって、当業者は、本明細書に明示的に記載若しくは提示されていなくても、本発明の原理を実現し、かつ、本発明の範囲及び精神を逸脱しない種々の構成を工夫することができるであろう。さらに、全ての例、及び、条件付きの説明は、特に、本発明の原理と、技術促進に貢献した概念の理解を助けることだけを意図しているものであり、本発明は、このような例及び条件によって制限されるものではない。また、本発明の原理、局面、及び実施例、並びに、それらの例を説明する全ての文は、構造的均等物、並びに、機能的均等物を包含している。さらに、このような均等物は、現時点で公知の均等物、並びに、将来開発される均等物、すなわち、構造とは無関係に同じ機能を実現するよう開発された任意の構成要素を含む。
【０１３１】
したがって、たとえば、ブロック図は、本発明の原理を具現化する例示的な回路の概念図を表わしていることが当業者によって認められるであろう。同様に、全てのフローチャート、フロー図、状態遷移図などは、実質的にコンピュータ読取可能な媒体に表現され、コンピュータやプロセッサが明示されていないとしても、コンピュータ若しくはプロセッサによって実行される、多数のプロセスを表わしている。
【０１３２】
請求項の記載において、特定の機能を実行する手段として表現された要素は、その機能を実現する任意の形態、たとえば、ａ）その機能を実現する回路素子の組み合わせ、又は、ｂ）機能を実現するためのソフトウェアを実行する適切な回路と結合された、ファームウェア、マイクロコードなどの任意の形式のソフトウェア、を包含することを意図している。このような請求項に係る発明は、多数の手段によって提供される機能が、請求項が示した態様で組み合わされ、集められることによって得られる。出願人は、これらの機能を実現し得る任意の手段が、本明細書で開示された事項と等価であると考える。
【図面の簡単な説明】
【図１】コンテンツに基づくアプローチの動作フローチャートである。
【図２】コンテキスト分類の説明図である。
【図３】ビジュアルコンテキストの説明図である。
【図４】オーディオコンテキストの説明図である。
【図５】本発明の一実施例の説明図である。
【図６】本発明の一実施例で使用されるステージ及びレイヤの説明図である。
【図７】本発明の一実施例で使用されるコンテキスト生成の説明図である。
【図８】本発明の一実施例で使用されるクラスタリング動作の説明図である。
【図９】複数のステージを有する本発明の別の実施例の説明図である。
【図１０】ステージと各ステージのレイヤ間のコネクションを示す２段のステージを有する本発明の更なる実施例の説明図である。
【図１】
2004505378.tif 000053
【図２】
2004505378.tif 000054
【図３】
2004505378.tif 000055
【図４】
2004505378.tif 000056
【図５】
2004505378.tif 000057
【図６】
2004505378.tif 000058
【図７】
2004505378.tif 000059
【国際公開パンフレット】
2004505378.tif 000060
2004505378.tif 000061
2004505378.tif 000062
2004505378.tif 000063
2004505378.tif 000064
2004505378.tif 000065
2004505378.tif 000066
2004505378.tif 000067
2004505378.tif 000068
2004505378.tif 000069
2004505378.tif 000070
2004505378.tif 000071
2004505378.tif 000072
2004505378.tif 000073
2004505378.tif 000074
2004505378.tif 000075
2004505378.tif 000076
2004505378.tif 000077
2004505378.tif 000078
2004505378.tif 000079
2004505378.tif 000080
2004505378.tif 000081
2004505378.tif 000082
2004505378.tif 000083
2004505378.tif 000084
2004505378.tif 000085
2004505378.tif 000086
2004505378.tif 000087
2004505378.tif 000088
2004505378.tif 000089
2004505378.tif 000090
2004505378.tif 000091
2004505378.tif 000092
2004505378.tif 000093
2004505378.tif 000094
2004505378.tif 000095
2004505378.tif 000096
2004505378.tif 000097