(57)【要約】【課題】  モデル・ベクトルを用いてマルチメディア文書を索引付けすること。【解決手段】  マルチメディア文書からモデル・ベクトル表現を抽出するための方法及び装置。モデル・ベクトルは、マルチメディア文書が一組のカテゴリに属すること、又は、一組の意味概念が当該文書に関連することに対する確信性の多次元的表現を与える。モデル・ベクトルはマルチメディア文書と関連して、そのコンテンツの索引又はカテゴリ化を与えることができ、当該マルチメディア文書を比較、検索、分類、又はクラスタ化するために用いることができる。モデル・ベクトルは、情報探索、マルチメディア・コンテンツの個人化、及びマルチメディア情報貯蔵庫照会、の目的のために用いることができる。
2006510114.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディア文書を表わすための少なくとも１つのモデル・ベクトルを生成する方法であって、
複数の概念検出器を前記マルチメディア文書に適用するステップと、
前記マルチメディア文書を各々の検出器に関して採点するステップと、
前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
を有する方法。
【請求項２】
前記複数の概念検出器が、カテゴリ、対象、事象、シーン、及び人々についての固定の語彙目録に対応する、請求項１に記載の方法。
【請求項３】
前記文書が、オーディオ、ビジュアル、テキスト、及びスピーチといった多数の様式を有し、前記概念検出器が前記マルチメディア文書に存在する単一の又は多数の様式について動作する、請求項１に記載の方法。
【請求項４】
前記概念検出器が、前記マルチメディア文書から抽出された文書形態のコンテンツベースの記述子について動作する、請求項１に記載の方法。
【請求項５】
前記概念検出器が、前記マルチメディア文書に関連するメタデータについて動作する、請求項１に記載の方法。
【請求項６】
前記概念検出器が、前記マルチメディア文書に関連する概念情報について動作する、請求項１に記載の方法。
【請求項７】
前記概念検出器が知識ベースで動作する、請求項１に記載の方法。
【請求項８】
前記検出器が、訓練されたモデル統計分類器に対応する、請求項１に記載の方法。
【請求項９】
前記採点が、前記マルチメディア文書において概念を検出することの確信性、前記マルチメディア文書に対する概念の関連性、及び前記概念に関する前記検出器の信頼性のうちの少なくとも１つに基づく、請求項１に記載の方法。
【請求項１０】
前記マッピングが、前記採点を連結するステップ、線形変換を実行するステップ、非線形変換を実行するステップ、量子化を実行するステップ、及びしきい値化によって次元数を削減するステップのうちの少なくとも１つに対応する、請求項１に記載の方法。
【請求項１１】
前記モデル・ベクトルの次元に対する前記採点のマッピングが、一対一、一対多、多対一、又は多対多とすることができる、請求項１０に記載の方法。
【請求項１２】
前記複数の検出器が、マルチメディア文書の前記索引付けのために準備される、請求項１に記載の方法。
【請求項１３】
前記採点及びマッピング方法が、マルチメディア文書の前記索引付けのために準備される、請求項１に記載の方法。
【請求項１４】
モデル・ベクトルを用いてマルチメディア文書を索引付けするための方法であって、
１つ又はそれ以上のモデル・ベクトルを各マルチメディア文書に対して生成するステップと、
前記モデル・ベクトルをこれと対応するマルチメディア文書と関連付けるステップと、
前記関連付けられたモデル・ベクトルの値に基づいて、前記マルチメディア文書にアクセスするための索引を作るステップと、
を有する方法。
【請求項１５】
マルチメディア文書を表わすために少なくとも１つのモデル・ベクトルを生成する前記ステップが、
複数の概念検出器を前記マルチメディア文書に適用するステップと、
前記マルチメディア文書を各々の検出器に関して採点するステップと、
前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
を有する請求項１４に記載の方法。
【請求項１６】
前記複数の検出器が、マルチメディア文書の前記索引付けのために準備される、請求項１５に記載の方法。
【請求項１７】
前記採点方法及びマッピング方法が、マルチメディア文書の前記索引付けのために準備される、請求項１５に記載の方法。
【請求項１８】
多数のモデル・ベクトルが、多数の様式、形態、記述子、又はモデル、の各々に基づいて、各マルチメディア文書について生成される、請求項１４に記載の方法。
【請求項１９】
前記関連付けるステップが、データベースのキー値、メディア・ロケータ、又は他の種類の識別子、に基づく、請求項１４に記載の方法。
【請求項２０】
前記索引が、前記モデル・ベクトル値に基づいて、類似性検索、隣接アクセス、又は範囲検索、を可能にする、請求項１４に記載の方法。
【請求項２１】
アプリケーションにおいてモデル・ベクトルをマルチメディア文書と併せて用いるための方法であって、
各マルチメディア文書を表わすために、少なくとも１つのモデル・ベクトルを、
複数の概念検出器を前記マルチメディア文書に適用するステップと、
前記マルチメディア文書を各検出器に関して採点するステップと、
前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
によって生成するステップと、
前記少なくとも１つのベクトル表現の値に基づいて、前記マルチメディア文書について少なくとも１つの動作を実行するステップと、
を有する方法。
【請求項２２】
前記少なくとも１つの動作が、マルチメディア情報貯蔵庫から文書を検索して取り出すために、前記モデル・ベクトルを用いるステップを含む、請求項２１に記載の方法。
【請求項２３】
前記少なくとも１つの動作が、マルチメディア情報をフィルタ処理するステップ、要約するステップ、及び個人化するステップのうちの少なくとも１つを有する請求項２１に記載の方法。
【請求項２４】
前記少なくとも１つの動作が、データ発掘するステップを有する、請求項２１に記載の方法。
【請求項２５】
前記少なくとも１つの動作が、前記文書をクラスタ化するステップを有する請求項２１に記載の方法。
【請求項２６】
前記少なくとも１つの動作が、前記文書を分類化するステップを有する請求項２１に記載の方法。
【請求項２７】
マルチメディア文書を表わすために少なくとも１つのモデル・ベクトルを生成する方法を実行する機械により実行可能な命令プログラムを実体的に具体化する機械読取可能なプログラム格納装置であって、前記方法が、
複数の概念検出器を前記マルチメディア文書に適用するステップと、
前記マルチメディア文書を各々の検出器に関して採点するステップと、
前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
を有する、プログラム格納装置。
【請求項２８】
アプリケーションにおいてモデル・ベクトルをマルチメディア文書と併せて用いるための方法を実行する機械により実行可能な命令プログラムを実体的に具体化する機械読取可能なプログラム格納装置であって、前記方法が、
各マルチメディア文書を表わすために、少なくとも１つのモデル・ベクトルを、
複数の概念検出器を前記マルチメディア文書に適用するステップと、
前記マルチメディア文書を各検出器に関して採点するステップと、
前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
によって生成するステップと、
前記少なくとも１つのベクトル表現の値に基づいて、前記マルチメディア文書について少なくとも１つの動作を実行するステップと、
を有する、プログラム格納装置。
【請求項２９】
アプリケーションにおいてモデル・ベクトルをマルチメディア文書と併せて用いるシステムであって、
各マルチメディア文書を表わすために少なくとも１つのモデル・ベクトルを生成する少なくとも１つのモデル・ベクトル生成コンポーネントと、
前記少なくとも１つのベクトル表現の値に基づいて、前記マルチメディア文書について少なくとも１つの動作を実行するための少なくとも１つの文書処理コンポーネントと、
を有するシステム。
【請求項３０】
前記少なくとも１つのモデル・ベクトル生成コンポーネントが、
複数の概念検出器を前記マルチメディア文書に適用するための少なくとも１つの概念検出器適用コンポーネントと、
前記マルチメディア文書を各検出器に関して採点するための採点コンポーネントと、
前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するためのマッピング・コンポーネントと、
を有する、請求項２９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア文書を索引付けするためにモデル・ベクトルを用いることに関し、より詳細には、モデル・ベクトル表現を形成して、モデル・ベクトルをマルチメディア文書と関連付けて索引を与え、モデル・ベクトルを用いてマルチメディア文書を検索し、分類し、クラスタ化する方法及び装置に関する。本発明は、さらに、情報の探索、マルチメディア・コンテンツの個人化、及びマルチメディア情報貯蔵庫照会、の目的のためにモデル・ベクトルを用いることに関する。
【背景技術】
【０００２】
ますます増加しているビデオ、イメージ、テキストその他のマルチメディア文書形態のデジタル情報の量は、該情報を索引付けし、検索し、カテゴリ化し、かつ、組織化するためのより効率的な方法に対する必要性を駆り立てている。コンテンツ分析、形態抽出、及び分類における最近の進歩は、マルチメディア文書を効率的に検索し、フィルタ処理するための機能を改善しつつある。しかし、色、テクスチャ、形状、動きのようなマルチメディア・コンテンツから自動的に抽出することができる低レベルの形態記述と、マルチメディア・システムのユーザにとって意味のある対象、事象、シーン、人々のような意味記述との間で顕著なギャップが残る。
【０００３】
マルチメディアの索引付けの問題は、人為的で、半自動的な、又は完全に自動的な処理を要求する多数の手法によって対処することができる。１つの手法は、人が人為的に、ラベル、カテゴリ、又は記述をマルチメディア文書に割り当てることを可能にする注釈ツール又はカタログ化ツールを用いるものである。例えば、著者、M.Naphade、C.Y.Lin、J.R.Smith、B.Tseng及びS.Basuは、（非特許文献１）という表題の論文において、ラベルをビデオ・ショットに割り当てることを可能にするビデオ注釈ツールについて述べている。著者らは、さらに、能動的学習に基づいてラベルを割り当てる半自動的な方法を教示する。完全に自動的な手法もまた可能である。例えば、著者M.Naphade、S.Basu、及びJ.R.Smithは、（非特許文献２）において、低レベルのビジュアル形態の統計的なモデル化に基づいて、ラベルを自動的にビデオ・システムに割り当てる方法について述べている。自動ラベル付け技術は、自動的に割り当てられたラベルに基づいて、ビデオの検索を可能にすることに対して有益であるが、索引付けは、少ないボキャブラリの照合値に限定されるため、ユーザがラベル用語の１つと照合しない検索語を入力した場合には、検索によって、どのような目標マルチメディア文書も見出されることがない。
【０００４】
自動システムが、ラベル、カテゴリ、及び記述をマルチメディア文書に割り当てるための改善しつつある機能であるとすると、これらの記述を用いて、これらの文書を索引付けし、検索し、分類し、及びクラスタ化するためのより意味のある方法を与えるために、これらの記述を活用する新規な技術が必要になる。さらに、システムは、自動システムの不確実性又は信頼性、並びに、マルチメディア文書に割り当てられたあらゆるラベル、カテゴリ、又は記述の関連性を考慮して、効率的な索引を与えるべきである。
【０００５】
【非特許文献１】「Learning to Annotate VideoDatabases」IS&T/SPIE Symposium on ElectronicImaging: Science and Technology-Storage & Retrieval for Image and VideoDatabases X、カリフォリニア州サンノゼ、２００２年１月
【非特許文献２】「Statistical  Modeling  Approach  to  Content-based  Video  Retrieval」IEEE International Conference on Acoustics, Speech and SignalProcessing(ICA-2002)、２００２年５月
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の目的は、あらゆる自動的なラベル付け、及び、確信性、信頼性及び関連性といったその対応する採点の結果を取り込むモデル・ベクトル表現を用いて、マルチメディア文書を索引付けするための方法及び装置を提供することである。
【０００７】
本発明の別の目的は、情報の探索、マルチメディア・コンテンツの個人化、及びマルチメディア情報貯蔵庫照会、の用途において、モデル・ベクトル表現を用いることである。
【課題を解決するための手段】
【０００８】
上述その他の目的は、マルチメディア文書の分類又はラベル付けの結果、及びあらゆる対応する不確実性、信頼性又は関連性採点を、該マルチメディア文書の検索、分類、及びクラスタ化に用いることができる多次元ベクトルに包み込むモデル・ベクトル表現を用いて、マルチメディア文書を索引付けするための装置及び方法を提供する本発明により実現される。モデル・ベクトル表現は、字句エンティティを多次元ベクトル空間の次元にマッピングすることを含み、これにより、文書がその多次元空間において表わされ、索引付けされることが可能になる。
【０００９】
モデル・ベクトル表現の利点は、これが語彙目録全体にわたる広範囲のラベル付けを取り込むことである。これはまた、ラベル又は分類結果の不確実性を取り込む小型の表現を与える。モデル・ベクトル表現は、さらに、その実値多次元性質が距離空間における効率的な索引付けを可能にして、該モデル・ベクトル表現の距離又は類似性において簡単な計算を可能にすることにより、索引付けにおいても利点を有する。このことは、モデル・ベクトルを、マルチメディア文書の類似性検索、関連性フィードバックベースの検索、分類、クラスタ化、フィルタ処理などのために用いる効率的な方法を可能にする。
【発明を実施するための最良の形態】
【００１０】
本発明は、以下で、添付図面を特に参照して、より詳細に述べられる。
【００１１】
図１は、本発明の特徴を有するマルチメディア情報検索システムの一例を示す。図示されるように、ユーザは、ユーザ・インターフェース（１００）を通して、ステップ（１０５）において、照会をマルチメディア情報検索システムに向けて発行する。この照会は、照会プロセッサ（１０１）により取り扱われる。照会プロセッサは、ステップ（１０６）において、格納された索引値（１０４）の組を検索して、ユーザの照会に対する照合を見出す。索引値がモデル・ベクトル形態である場合には、この値は、各々の索引付けされたマルチメディア文書の意味次元に関する多次元ベクトルに対応する。この照合は、ステップ（１０７）において検索エンジンに渡されて、照合するマルチメディア文書が、ステップ（１０８）においてマルチメディア貯蔵庫（１０３）から取り出される。対応するマルチメディア文書は、モデル・ベクトルと、貯蔵庫内の特定のマルチメディア文書との関連（１１０）に基づいて求められる。マルチメディア文書は、次いで、ステップ（１０９）においてユーザに戻されて、ユーザ・インターフェース（１００）で表示される。モデル・ベクトル表現は、ユーザの照会に対する照合を見出すのに用いることができる一組の格納された索引値（１０３）を表わすための１つの方法を与える。
【００１２】
モデル・ベクトル表現は、一連の検出器又は分類器をマルチメディア文書に適用した結果を包み込む。例えば、｛「車」、「ボート」、「列車」｝の概念がマルチメディア文書に示されているかどうかを検出することにより、以下の語彙目録｛「車」、「ボート」、「列車」｝からの字句エンティティを割り当てる一組の分類器を考慮されたい。検出問題は、各概念が存在することに対する確実性を反映する採点を割り当てることにより、各概念の有無を検出する一組のバイナリ分類器として見ることができる。例えば、このシステムは、「車」に対して採点０．７５を与えることができ、これは、「車」ラベルが割り当てられる確信性は７５％であることを意味すると解釈することができる。一方、システムは、「列車」に対しては採点０．２５を与えることができ、これは、「列車」ラベルが割り当てられる確信性は２５％であることを意味すると解釈することができる。全体的には、システムは、これらの多数の検出器に対する採点をもたらし、モデル・ベクトルはこれらの採点を単一の表現で取り込み、これは、次いで、マルチメディア文書に対する索引として用いられることになる。
【００１３】
図２は、マルチメディア文書又は照会に対するモデル・ベクトルを生成する工程を示す。マルチメディア文書（２００）は、最初に、複数の検出器（２０１）により操作されて、検出器の各々の基になる概念に関連して採点される。検出器自体は、固定の語彙目録（２０４）、又は固定のカテゴリ、対象、事象、シーン、又は人々の組に対応することができる。例えば、米国議会図書館グラフィック材料同意語辞典は、写真その他の種類のグラフィック文書をカタログ化するための一組のカテゴリを与える。検出器は、各検出器がＴＧＭカテゴリの１つに対応するように造り、用いることができる。語彙目録（２０４）の概念はまた、一般的、特定的、又は抽象的なものとすることができる。例えば、或る概念は、「橋を示すシーン」のような一般的なエンティティに対応することができる。或いは、或る概念は、「ゴールデンゲートブリッジを示すシーン」のような特定のエンティティに対応することができる。最後に、或る概念は、「現代文明」のような抽象的なエンティティに対応することができる。検出器（２０１）は、訓練されたモデルその他の種類の統計分類器に対応することができる。訓練（２０５）の場合においては、ラベル付けされたマルチメディア文書の例は、学習工程において、検出器（２０１）モデル及びそれらのパラメータを定義するように用いることができる。検出器（２０２）の出力は、次いで、マッピング工程（２０２）において変換されて、モデル・ベクトル（２０３）が生成される。モデル・ベクトルは、語彙目録（２０４）の概念に関連するマルチメディア文書（２００）の集合的な採点形態を与える。さらに、モデル・ベクトル（２０３）は、語彙目録に対するその採点を考慮することにより、マルチメディア文書（２００）についての推論を可能にする。
【００１４】
図３は、一組の検出器を用いて、マルチメディア文書が分析され採点される、マルチメディア文書に対するモデル・ベクトルを生成する１つの実施形態を示す。各マルチメディア文書（３００）は、Ｎ個の検出器（３０１ないし３０３）を適用することにより分類される。検出器は、サポートベクトルマシン、ガウス混合モデル、隠れマルコフモデル、ニューラルネット、ベイズネット、線形判別分析などを含む任意の数の形態を取ることができる。各検出器は、特定の意味概念を表わすことができる。例えば、語彙目録｛「車」、「ボート」、「列車」｝を考えると、検出器は、検出器１＝「車」、検出器２＝「ボート」、検出器３＝「列車」の概念を表わすことがある。すなわち、検出器１は、「車」の概念がマルチメディア文書に関連があるかどうかを判断し、他の検出器も同様に動作する。検出器は、以前に、供給された地上較正によりラベル付けされた例に基づいて、モデルを学習するか又は作成する技術を用いることによって、それぞれの概念を検出するように訓練されていた可能性がある。
【００１５】
検出器（３０１ないし３０３）は、各々の検出を実行するために、マルチメディア文書（３００）に関する様々な情報を用いることができる。例えば、検出器（３０１ないし３０３）は、マルチメディア文書（３００）構成する情報の１つ又はそれ以上の様式（視覚、オーディオ、スピーチ、テキスト）を用いることができる。検出器（３０１ないし３０３）は、さらに、マルチメディア文書（３００）からの情報についての異なる様式から抽出された色、テクスチャ、形状、動き、音の周波数、空間的又は時間的配置のようなコンテンツベースの記述子を用いることができる。例示的な記述子は、色ヒストグラム、縁ヒストグラム、動きベクトル、形状境界記述子などを含む。検出器（３０１ないし３０３）は、さらに、マルチメディア文書（３００）に関するメタデータを用いることができる。例えば、題名、著者、作成日、ジャンルなどのような情報を用いることができる。さらに、マルチメディア文書（３００）と他の文書との関連のような他の概念情報を用いることができる。検出器（３０１ないし３０３）は、さらに、語彙目録又はマルチメディア情報貯蔵庫に関する情報及び知識の組織に基づいた推測及び推論を可能にする知識ベース又は意味ネットを用いることができる。
【００１６】
各検出器においては、採点（３０５）が各マルチメディア文書に対して生成される。採点は、マルチメディア文書（３００）に関連する検出器により、それぞれの概念のモデル化に対する情報を与える。採点は、確信性又は不確実性（総合的に「確信性」と呼ばれる）のような多くのことを反映することができ、これによって検出器は、文書における概念、文書に対する概念の関連性、又は概念を検出する際の検出器の信頼性を検出する。例えば、上述の検出器１を考慮すると、採点は、該検出器がマルチメディア文書において「車」の表現を検出することができる確信性を示すことができる。確信性は、識別境界又はしきい値に対する近接性に関することがある。例えば、マルチメディア文書が、「車」を検出するための識別境界から遠い場合には、高い確信性があると判断される。しかし、マルチメディア文書が識別境界から近い場合には、低い確信性があると判断される。関連性採点は、概念がマルチメディア文書に対してどれだけ関連があるかを示す。例えば、「車」が部分的に示されるだけであったり、又は、マルチメディア文書の大部分を構成しない場合には、関連性採点は低いと判断することができる。或いは、信頼性採点は、検出器がそれぞれの概念を検出することに対してどれだけ信頼できるかを示すことができる。例えば、検出器１が、「車」の数個の例のみを用いて訓練された場合には、低い信頼性採点が求められることになる。しかし、これが多くの例を用いて訓練された場合には、高い信頼性採点が求められることになる。採点自体は、一次元値を生成するといったこれらの属性の１つだけを反映することができる。しかし、採点は、さらに、情報を多数の属性に与えることにより、他次元とすることができる。
【００１７】
検出器の各々に対して採点が生成されると、これらは、マップされて（３０４）、モデル・ベクトル（３０６）を生成する。各検出器（３０１ないし３０３）がその分類を実行するために、多数の様式（例えば、イメージ、ビデオ、オーディオ、テキスト、スピーチ）を用いる場合のような幾つかの場合においては、単一のモデル・ベクトル（３０６）が各マルチメディア文書（３００）に対して生成される。或いは、各検出器が１つの様式のみを用いるような場合においては、多数のモデル・ベクトル（３０６）を各マルチメディア文書に対して生成することができる。この場合には、多数のモデル・ベクトルを各マルチメディア文書に対して生成して、例えば、一方をオーディオ様式に対して、他方をイメージ様式に対してなどのように、多数の採点を反映することができる。
【００１８】
モデル・ベクトル又は複数のモデル・ベクトルを生成するためのマッピング（３０４）は、検出器から生成された採点の組み合わせ又は集合を与える。幾つかの場合においては、マッピングは、Ｎ次元のベクトルを生成するためにＮ個の採点を連結させるという単純な動作を与える。例えば、一次元の確信性採点が各検出器により生成される（すなわち、分類器１が採点Ｃ１、分類器２が採点Ｃ２、及び分類器３が採点Ｃ３を生成する）上述の３つの要素の語彙目録｛「車」、「ボート」、「列車」｝を考慮すると、連結工程は、三次元のモデル・ベクトルＭ＝［Ｃ１，Ｃ２，Ｃ３］を生成する。或いは、マッピング（３０４）は、確信性採点の線形重み付け又は変換を生成することができる。
【００１９】
確信性採点は、検出器の信頼性又は分類結果の関連性により重み付けすることができる。３つの検出器の各々に対する信頼性採点Ｒ１、Ｒ２、Ｒ３のそれぞれを考慮されたい。重み付けにより、マッピング（３０４）は、信頼性採点Ｒｉを確信性採点Ｃｉで乗算することにより、三次元のモデル・ベクトルＭ＝［Ｒ１＊Ｃ１，Ｒ２＊Ｃ２，Ｒ３＊Ｃ３］を生成することができる。或いは、３つの検出器の各々に対する関連性採点Ｌ１、Ｌ２、Ｌ３を考慮すると、マッピング（３０４）は、関連性採点Ｌｉを確信性採点Ｃｉで乗算することにより、三次元のモデル・ベクトルＭ＝［Ｌ１＊Ｃ１，Ｌ２＊Ｃ２，Ｌ３＊Ｃ３］を生成することができる。主要構成要素分析、特異値分解、ウェーブレット変換、離散コサイン変換といった場合におけるような他のマッピング（３０４）は、線形変換及び／又は次元数の削減を与えることができる。或いは、サポートベクトルマシン、ニューラルネットといった場合におけるようなマッピング（３０４）は、非線形変換を与えることができる。マッピング（３０４）は、さらに、離散空間又はバイナリ値空間に対する量子化を含むことができる。例えば、マッピング段階（３０４）において、検出器からの確信性採点（３０５）をしきい値化することにより、各概念がマルチメディア文書（３００）にあるかどうかを示すバイナリモデル・ベクトルを生成することができる。
【００２０】
全体的に、マッピング（３０４）は、個々の概念又は検出器（３０１ないし３０３）からモデル・ベクトル（３０６）の個々の次元への様々な特定のマッピングをもたらすことができる。採点（３０５）を連結するマッピング（３０４）におけるような幾つかの場合には、モデル・ベクトルの次元に対する概念の一対一のマッピングが生成される。しかし、他の場合においては、例えば、モデル・ベクトル（３０６）の次元数を元の概念空間に関連して減少させるように、多対一のマッピングを生成することが望ましいとすることができる。他の場合においては、マッピング（３０４）は、例えば、ある程度の冗長性をモデル・ベクトル（３０６）に可能にするように一対多又は多対多とすることができる。
【００２１】
図４は、検出器の採点に基づいて生成されたモデル・ベクトルの例を示す。固定の語彙目録＝｛「都市風景」、「顔」、「室内」、「景色」、「独白」、「野外」「人々」、「テキスト＿オーバーレイ」｝に対する検出器の結果（４００）の採点された組が与えられると、検出器の採点（４００）の各々を多次元のモデル・ベクトル（４０１）の独特な次元にマッピングすることにより、モデル・ベクトル（４０１）が生成される。本例においては、０．３５である「都市風景」の採点がモデル・ベクトルの第１次元にマップされる。０．８７である「顔」の採点が第２次元にマップされ、以下同様に続く。異なるマルチメディア文書に対応するモデル・ベクトル間の照合を助けるために、モデル・ベクトルの次元に対する検出器の採点の一貫したマッピングを用いることができる。同様に、より大きい語彙目録に対する例示的な検出器の採点（４０２）は、モデル・ベクトルの次元（４０３）にマップすることができる。この場合においては、「動物」に対する採点がモデル・ベクトルの第１次元にマップされる。「海辺」に対する採点が第２次元にマップされ、以下同様に続く。
【００２２】
図５は、モデル・ベクトルを用いたマルチメディア文書の索引付け工程を示す。第１に、Ｋ個のマルチメディア文書の集合（５００）がモデル・ベクトル生成工程（５０１）において分析されて、一組のＭ個のモデル・ベクトル（５０２）を生成する。モデル・ベクトル生成工程（５０１）は、マルチメディア文書（５００）のすべてにわたり、固定の語彙目録（５０５）及び対応する検出器の組を用いて、モデル・ベクトル（５０２）を生成する際の一貫性を可能にすることができる。さらに、モデル・ベクトル生成工程（５０１）はまた、同じ理由のために、マルチメディア文書（５００）のすべてにわたり、採点（３０５）及びマッピング（３０４）に対して固定のパラメータの組を用いることができる。モデル・ベクトル（５０２）が生成されると、これらは対応するマルチメディア文書（５００）と関連付けられる。例えば、この関連は、各モデル・ベクトル（５０２）と各マルチメディア文書（５００）との間の一次キー・外部キー関係を述べるデータベースのキー値を用いて表わすことができる。或いは、この関連は、各モデル・ベクトル（５０２）を、対応するマルチメディア文書（５００）のアドレスを与えるメディア・ロケータと関連付けることにより表わすことができる。或いは、各マルチメディア文書（５００）を独自に識別する識別子を用いて、モデル・ベクトル（５０２）の各々の関連が表わされるようにすることが可能である。さらに、各マルチメディア文書（５００）のヘッダ又はメタデータ・フィールドにおけるモデル・ベクトルの値を表わすことによって、又は、ウォーターマーク付け又は何らかの他の持続的な関連付け方法によりモデル・ベクトル（５０２）の値を各マルチメディア文書（５００）と持続的に関連付けることによって、モデル・ベクトル（５０２）を、直接、各マルチメディア文書（５００）と関連付けることも可能である。
【００２３】
モデル・ベクトル（５０２）が生成され、これらのマルチメディア文書（５００）との関連が表わされると、該モデル・ベクトル（５０２）の値に基づいて、該マルチメディア文書（５００）に対するアクセスを可能にする索引が作成される。この索引は、例えば、類似性検索又は隣接検索を可能にするような近接性をベースにしたアクセスを可能にすることができる。これらの場合においては、アクセスは、照会モデル・ベクトルを供給することにより達成することができ、同様なモデル・ベクトル又は最も近い目標モデル・ベクトルの固定サイズの組が索引から見出される。索引は、さらに、範囲をベースとしたアクセスをサポートすることができ、この場合には、照会モデル・ベクトルが供給され、該照会モデル・ベクトルから一定の距離の中にあるすべての目標モデル・ベクトルが該索引から見出される。
【００２４】
図６は、モデル・ベクトルを用いた照会工程を示す。モデル・ベクトルの値は、マルチメディア文書を取り出すために、ユーザの照会と照合される。ユーザ（６００）は、照会（６０１）をマルチメディア文書検索システム（６０９）に対して発行する。照会は、ユーザにより与えられた例示的なモデル・ベクトル形態とすることができる。検索インターフェースは、任意的に、例えば、ユーザが照会に関連する意味概念を識別し、モデル・ベクトル表現を構築するために採点を割り当てることを可能にするインターフェースを与えることにより、ユーザが、照会モデル・ベクトルを開発することを可能にすることができる。或いは、検索インターフェースは、任意的に、マルチメディア文書をユーザに表示して、ユーザが、どのマルチメディア文書が照会に関連するかを選択することを可能にすることができる。システムは、次いで、事前計算された関連のモデル・ベクトルを照会のために用いるか、又は、照会時にモデル・ベクトルを生成する。或いは、照会は、ユーザにより与えられたマルチメディア文書の例の形態とすることができ、この場合には、照会マルチメディア文書は、照会モデル・ベクトルを作成するためのモデル・ベクトル生成工程を用いて分析し、処理することができる。
【００２５】
照会モデル・ベクトルが利用可能になると、これらはステップ（６０２）において、格納されたモデル・ベクトル値（６０６）と照合される。照合工程は、索引構造体を用いて目標モデル・ベクトルの照合を識別することを含むことができる。この照合は、上述のように、類似性検索、隣接検索、又は範囲の照会を含むことができる。照合工程（６０２）は、照会モデル・ベクトルに照合する格納されたモデル・ベクトル（６０６）を識別する照合リスト（６０３）を生成する。照合リスト（６０３）は、次いで、ステップ（６０４）において、任意的に採点される。照合の採点は、モデル・ベクトル値を用いて、距離空間計算に基づいて求めることができる。例えば、単一の照会モデル・ベクトルを考慮すると、照合の採点は、ユークリッド距離又はマンハッタン距離のような距離関数を用いて、多次元モデルのベクトル空間において測定された近接性に基づくものとすることができる。或いは、照合工程は、モデル・ベクトルの次元の幾つかだけを使用することが可能である。例えば、（４００ないし４０１）におけるモデル・ベクトルを考慮すると、ユーザが「人間関連の」概念にのみ関心がある場合には、選択的に、次元２（「顔」）及び次元７（「人々」）を用いることができる。多数の照会モデル・ベクトルが与えられる場合においては、照合の採点は、個々のモデル・ベクトルからの距離の採点を組み合わせることにより取得することができる。照会モデル・ベクトルの中心を計算し、中心モデル・ベクトルを照会として用いるような他の選択肢も可能である。
【００２６】
採点された照合リストは、次いで、例えば、最良の照合をリストの最上位に移動させるために、任意的に、ステップ（６０５）においてランク付けされる。次いで、ランク付けされたリストは、例えば、１０個の最良の照合をリスト上に保持するために、任意的に、ステップ（６０６）において切り捨てられる。次いで、結果（６０７）がユーザに戻される。任意的に、検索システムは、これらのマルチメディア文書を結果リスト（６０７）におけるモデル・ベクトルに関連するマルチメディア貯蔵庫（６１０）から取り出して、該文書をユーザに表示する。
【００２７】
結果がユーザに表示されると、ユーザは、例えば、関連性フィードバック技術を用いて、肯定的な例又は否定的な例を結果リスト（６０７）から識別することにより、検索を改善することができる。検索システム（６０９）は、この情報を照会処理と併せて用いて、モデル・ベクトルの採点に基づいて照合を取り出すことができる。
【００２８】
モデル・ベクトルは、マルチメディア文書を取り出すために用いることができるが、これらはまた、マルチメディア文書のクラスタ化及び分類のために用いることができる。例えば、モデル・ベクトルを多次元距離空間において分析して、集積的クラスタ処理のような様々な技術を用いて、クラスタを識別することができる。モデル・ベクトルは、さらに、差別的又は生成的モデル化に基づくもののような様々な監視された学習方法を用いて分類することができる。例示的な分類器は、サボートベクトルマシン及びガウス混合モデルを含む。能動的学習及びブースティングのような他の技術もまた分類目的のためにモデル・ベクトル値に適用することができる。
【００２９】
モデル・ベクトルはまた、情報の探索及びマルチメディア貯蔵庫の発掘のためにも用いることができる。例えば、モデル・ベクトル集合の次元の相関を調査して、概念がマルチメディア文書に現れるときの共起性についての情報を明らかにすることができる。
【００３０】
図７は、モデル・ベクトルを用いたマルチメディア文書の適合を示す。このモデル・ベクトルは、マルチメディア貯蔵庫からのマルチメディア文書又は情報をフィルタ処理し、要約し、又は個人化するために用いることができる。ユーザ（７００）は、要求（７０８）をマルチメディア情報システムに向けて発行する。この要求はステップ（７０１）で取り扱われる。要求は、（６０１）におけるように特定のユーザの照会を含むことができ、この場合、ユーザは例示的なモデル・ベクトル又はマルチメディア文書を供給するか、又は意味概念を識別する。或いは、要求はログイン形態であってもよく、ここでは、ユーザのプロファイルがプリファレンス情報と併せて、すでに格納されている。この場合においては、ユーザのプリファレンス情報は、任意的に、ステップ（７０２）でチェックすることができる。プリファレンス情報はまた、例示的なモデル・ベクトル、マルチメディア文書、又は識別された意味概念の形態で格納されてもよい。ユーザの照会及びユーザのプリファレンス情報は、次いで、集約され処理されて、照会モデル・ベクトルを生成し、これらは次いで、格納されたモデル・ベクトル（７０４）と照合され、これを取り出すように用いられ、次いで、ステップ（７０６）において、マルチメディア貯蔵庫（７０５）から選択的にマルチメディア文書を取り出すための索引として用いられる。これにより、モデル・ベクトル値に基づいたマルチメディア文書のフィルタ処理が与えられる。
【００３１】
任意的に、ステップ（７０７）において、マルチメディア文書に関連するモデル・ベクトルを照会モデル・ベクトルと組み合わせて用いて、該マルチメディア文書のコンテンツに適合させることができる。この適合は、特定の照会に対するユーザのプリファレンスにより、マルチメディア・コンテンツを個人化することができる。例えば、ユーザのプリファレンスは、「スポーツ」の概念が重要であることを示す場合がある。この場合には、取り出されたマルチメディア文書、例えば、「ニュース」ビデオを処理して、「スポーツ」セグメントだけを抽出することができる。或いは、この適合は、例えば、「非スポーツ」セグメントを圧縮し、「スポーツ」セグメントからのハイライトを抽出することにより、コンテンツを要約することができる。
【００３２】
本発明は、好ましい実施形態を参照して述べられた。当業者であれば、特許請求の範囲に述べられる本発明の精神及び範囲から離れることなく修正を実行することができることが明らかであろう。
【図面の簡単な説明】
【００３３】
【図１】照会プロセッサが検索のためにモデル・ベクトルの索引を用いるマルチメディア情報検索システムを示す。
【図２】語彙目録及び訓練された検出器を与えられた場合のマルチメディア文書に対するモデル・ベクトルの生成を示す。
【図３】マルチメディア文書に対するモデル・ベクトルを生成するための検出、採点、及びマッピング工程を示す。
【図４】検出器の採点に基づいて生成されたモデル・ベクトルの例を示す。
【図５】モデル・ベクトルを用いたマルチメディア文書の索引付け工程を示す。
【図６】モデル・ベクトルを用いた照会工程を示す。
【図７】モデル・ベクトルを用いたマルチメディア文書の適合を示す。
【図１】
2006510114.tif 000003
【図２】
2006510114.tif 000004
【図３】
2006510114.tif 000005
【図４】
2006510114.tif 000006
【図５】
2006510114.tif 000007
【図６】
2006510114.tif 000008
【図７】
2006510114.tif 000009
【国際調査報告】
2006510114.tif 000010