(57)【要約】【課題】  HMM類似度に基づいて動画像を検索する。【解決手段】  検索が受信される。検索は、時間情報を含むオブジェクトであり得る。静的成分及び時間成分を含む検索モデルが次に、オブジェクトについて判定される。静的成分及び時間成分に対する重み付けも判定される。検索モデルは次に、1つ又は複数のサーチ・モデルと比較される。サーチ・モデルも、静的成分及び時間成分を含む。サーチ結果が次に、比較に基づいて判定される。一実施例では、比較は、検索モデル及びサーチ・モデルの静的成分及び時間成分を比較し得る。静的成分と時間成分との差の重み付けは、サーチ結果のランク付けを判定するのに用い得る。【選択図】      図１
2006178974.tif 000002
【特許請求の範囲】
【請求項１】
隠れマルコフ・モデル（ＨＭＭ）を用いてオブジェクトをサーチする方法であって、
時間情報を含む検索オブジェクトについての検索を受信する工程と、
該検索についての検索ＨＭＭを判定する工程と、
該検索ＨＭＭにおける成分に対する重み付け情報を判定する工程と、
前記検索ＨＭＭを1つ又は複数のサーチＨＭＭと、前記重み付け情報を用いて比較する工程とを備え、
該比較が、前記検索ＨＭＭにおける成分をサーチＨＭＭにおける成分と、前記1つ又は複数のサーチＨＭＭ毎に比較する工程を含み、
更に、サーチ結果を前記比較に基づいて判定する工程を備えることを特徴とする情報処理方法。
【請求項２】
請求項1記載の情報処理方法であって、
前記１つ又は複数のサーチＨＭＭを前記検索ＨＭＭと比較する工程が、
前記検索ＨＭＭにおける特徴と、前記1つ又は複数のサーチＨＭＭにおける各サーチＨＭＭにおける特徴との間の差異値を判定する工程を備えることを特徴とする情報処理方法。
【請求項３】
請求項2記載の情報処理方法であって、
重み付けされた差異値を、前記重み付け情報と前記差異値とを用いて判定する工程を更に備えることを特徴とする情報処理方法。
【請求項４】
請求項3記載の情報処理方法であって、
合計差異値を、前記重み付けされた差異値に基づいて判定する工程を更に備えることを特徴とする情報処理方法。
【請求項５】
請求項4記載の情報処理方法であって、
前記サーチ結果を判定する工程が、前記1つ又は複数のサーチＳＭＭを該1つ又は複数のサーチＳＭＭの合計差異値に基づいてランク付けする工程を備えることを特徴とする情報処理方法。
【請求項６】
請求項1記載の情報処理方法であって、
前記検索ＨＭＭを判定する工程が、前記検索ＨＭＭを、規定されるオブジェクトに基づいて生成する工程を備えることを特徴とする情報処理方法。
【請求項７】
請求項1記載の情報処理方法であって、
前記検索ＨＭＭを判定する工程が、前記オブジェクトについて記憶されている検索ＨＭＭを取り出す工程を備えることを特徴とする情報処理方法。
【請求項８】
請求項1記載の情報処理方法であって、
サーチＨＭＭをデータベースに、前記検索の受信に先行して記憶する工程を更に備えることを特徴とする情報処理方法。
【請求項９】
時間情報を含むオブジェクトをサーチする情報処理方法であって、
検索を受信する工程と、
該検索についての検索モデルを判定する工程とを備え、該検索モデルは、検索モデル静的成分及び検索モデル時間成分を含み、
更に、該検索モデル静的成分及び検索モデル時間成分に対する重み付け情報を判定する工程と、
前記検索モデルを1つ又は複数のサーチ・モデルと、時間情報を含むサーチ・オブジェクトについて前記重み付け情報を用いて比較する工程とを備え、
前記1つ又は複数のサーチ・モデルは、サーチ・モデル静的成分及びサーチ・モデル時間成分を含み、
前記比較が、前記検索モデル静的成分及び検索モデル時間成分を前記サーチ・モデル静的成分及び検索モデル時間成分と、前記1つ又は複数のサーチ・モデルにおけるサーチ・モデル毎に比較する工程を含み、
更に、サーチ結果を前記比較に基づいて判定する工程を備えることを特徴とする情報処理方法。
【請求項１０】
請求項9記載の情報処理方法であって、
前記検索モデルを判定する工程が、
該検索モデルを、規定される時間情報を含むオブジェクトに基づいて生成する工程を備えることを特徴とする情報処理方法。
【請求項１１】
請求項9記載の情報処理方法であって、
前記検索モデルを判定する工程が、
時間情報を含むオブジェクトについて記憶されている検索モデルを取り出す工程を備えることを特徴とする情報処理方法。
【請求項１２】
請求項9記載の情報処理方法であって、
前記1つ又は複数のサーチ・モデルをデータベースに、前記検索の受信に先行して記憶する工程を更に備えることを特徴とする情報処理方法。
【請求項１３】
請求項12記載の情報処理方法であって、
前記サーチ・モデルを、時間情報を含むサーチ・オブジェクトに基づいて生成する工程を更に備えることを特徴とする情報処理方法。
【請求項１４】
請求項9記載の情報処理方法であって、前記1つ又は複数のサーチ・モデルを前記検索モデルと比較する工程が、
前記検索モデル静的成分及び前記サーチ・モデル静的成分についての静的差異値を、前記1つ又は複数のサーチ・モデルにおけるサーチ・モデルについて判定する工程と、
前記検索モデル時間成分及びサーチ・モデル時間成分についての時間差異値を前記サーチ・モデルについて判定する工程とを備えることを特徴とする情報処理方法。
【請求項１５】
請求項14記載の情報処理方法であって、
重み付けされた静的差異値を、前記重み付け情報を用いて判定する工程と、
重み付けされた時間差異値を、前記重み付け情報を用いて判定する工程とを更に備えることを特徴とする情報処理方法。
【請求項１６】
請求項15記載の情報処理方法であって、
合計差異値を、前記重み付けされた静的差異値と前記重み付けされた時間差異値とに基づいて判定する工程を更に備えることを特徴とする情報処理方法。
【請求項１７】
サーチ検索を受信するよう構成される情報処理装置であって、
検索モデルに相当する検索オブジェクトを備え、前記検索モデルは、時間成分及び静的成分を備え、
更に、同様なオブジェクトについてのサーチを可能にするよう構成されるサーチ選択肢を備え、前記サーチが、時間成分及び静的成分に対する重み付けに基づいて行われることを特徴とする情報処理装置。
【請求項１８】
サーチ結果を表示する情報処理装置であって、
検索オブジェクトと、
1つ又は複数のサーチ・オブジェクトとを備え、
該1つ又は複数のサーチ・オブジェクトは、時間成分及び静的成分の重み付けに基づいて判定され、
前記サーチ・オブジェクトは、該サーチ・オブジェクトの、前記検索オブジェクトとの相対的類似度を、該サーチ・オブジェクト及び該検索オブジェクトの時間成分及び静的成分に基づいて示すよう、前記インタフェースにおいて配置されることを特徴とする情報処理装置。
【請求項１９】
隠れマルコフ・モデル（ＨＭＭ）を用いてオブジェクトをサーチするデータ処理装置であって、
該データ処理装置が工程群を行うことを命じるよう形成される複数の命令を記憶するよう構成されるメモリを含み、
前記工程群が、
時間情報を含む検索オブジェクトについての検索を受信する工程と、
該検索についての検索ＨＭＭを判定する工程と、
該検索ＨＭＭにおける成分に対する重み付け情報を判定する工程と、
前記検索ＨＭＭを1つ又は複数のサーチＨＭＭと、前記重み付け情報を用いて比較する工程とを備え、
該比較が、前記検索ＨＭＭにおける成分をサーチＨＭＭにおける成分と、前記1つ又は複数のサーチＨＭＭ毎に比較する工程を含み、
前記工程群が更に、サーチ結果を前記比較に基づいて判定する工程を備えることを特徴とするデータ処理装置。
【請求項２０】
時間情報を含むオブジェクトをサーチするデータ処理装置であって、
該データ処理装置が工程群を行うことを命じるよう形成される複数の命令を記憶するよう構成されるメモリを含み、
前記工程群が、
検索を受信する工程と、
該検索についての検索モデルを判定する工程とを備え、該検索モデルは、検索モデル静的成分及び検索モデル時間成分を含み、
前記工程群が更に、該検索モデル静的成分及び検索モデル時間成分に対する重み付け情報を判定する工程と、
前記検索モデルを1つ又は複数のサーチ・モデルと、時間情報を含むサーチ・オブジェクトについて前記重み付け情報を用いて比較する工程とを備え、
前記1つ又は複数のサーチ・モデルは、サーチ・モデル静的成分及びサーチ・モデル時間成分を含み、
前記比較が、前記検索モデル静的成分及び検索モデル時間成分を前記サーチ・モデル静的成分及び検索モデル時間成分と、前記1つ又は複数のサーチ・モデルにおけるサーチ・モデル毎に比較する工程を含み、
前記工程群が更に、サーチ結果を前記比較に基づいて判定する工程を備えることを特徴とするデータ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的にサーチ手法に関し、特に、静的成分及び時間成分を用いて、時間情報を含むオブジェクトのモデルをサーチする手法に関する。
【背景技術】
【０００２】
情報時代の進展に伴い、写真、音楽、映画やホームビデオなどの、収集し、サーチする情報はマルチメディアのものが一段と増えてきている。これらのメディアをサーチする現行の手法は、索引化するよう、キーワードをオブジェクトと、手作業での関連付け又は自動的な関連付けを行うことに依存して、なお、主にテキストベースのものである。しかし、この手法は、特定のものと同様なメディア・オブジェクトを探したいという重要な用法に対処するものでない。この種の「例による検索」は、２つのメディア・オブジェクトを比較する機構を必要とする。テキスト領域では、２つの文書の類似度を比較する例は、語の用法に基づいている。画像の場合、視覚類似度は、色、テクスチャ及び形状の特徴に基づいて判定される。ビデオや動画像などの時間成分を含むメディア・オブジェクトの場合、画像用に開発されたものと同じ手法が用いられることが多い。例えば、２つのビデオがフレーム単位で比較され、合計差異によってそれらの類似度が判定される。この手法は、特定のアラインメント手順によって改善され、一致が最善であるフレームをサーチすることによっても改善される。しかし、この手法はなお本質的に、静的情報に基づくものである。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
よって、時間情報を含むオブジェクトをサーチする手法の改善が望まれる。
【課題を解決するための手段】
【０００４】
本発明の実施例は一般的に、時間情報を含むオブジェクトをサーチする手法に関する。
【０００５】
一実施例では、検索が受信される。検索は、時間情報を含むオブジェクトであり得る。静的成分及び時間成分を含む検索モデルが次に、オブジェクトについて判定される。静的成分及び時間成分に対する重み付けも判定される。検索モデルは次に、1つ又は複数のサーチ・モデルと比較される。サーチ・モデルは、静的成分及び時間成分も含む。サーチ結果が次に、比較に基づいて判定される。一実施例では、比較は、検索モデル及びサーチ・モデルの静的成分及び時間成分を比較し得る。静的成分と時間成分との差の重み付けは、サーチ結果のランク付けを判定するのに用い得る。
【０００６】
一実施例では、時間情報を含むオブジェクトをサーチする方法を備える。方法は、検索を受信する工程と、検索についての検索モデルを判定する工程とを備え、検索モデルは、検索モデルの静的成分と、検索モデルの時間成分とを含み、方法は更に、検索モデルの静的成分と検索モデルの時間成分とに対する重み付け情報を判定する工程と、時間情報を含むサーチ・オブジェクトについて検索モデルを1つ又は複数のサーチ・モデルと重み付け情報を用いて比較する工程とを備え、1つ又は複数のサーチ・モデルは、サーチ・モデルの静的成分とサーチ・モデルの時間成分とを含み、比較は、検索モデルの静的成分及び検索モデルの時間成分を、サーチ・モデルの静的成分及び検索モデルの時間成分と、1つ又は複数のサーチ・モデルにおけるサーチ・モデル毎に比較する工程と、サーチ結果を比較に基づいて判定する工程とを含む。
【０００７】
別の実施例では、隠れマルコフ・モデル（HMM）を用いてオブジェクトをサーチする方法を備える。この方法は、時間情報を含む検索オブジェクトについての検索を受信する工程と、検索HMMをその検索について判定する工程と、検索HMMにおける成分に対する重み付け情報を判定する工程と、検索HMMを1つ又は複数のサーチHMMと重み付け情報を用いて比較する工程とを備え、比較は、検索HMMにおける成分をサーチHMMにおける成分と、1つ又は複数のサーチHMM毎に比較する工程と、サーチ結果を比較に基づいて判定する工程とを含む。
【０００８】
更に別の実施例では、サーチ検索を受信するよう構成されるインタフェースを備える。インタフェースは、検索モデルに相当する検索オブジェクトを備え、検索モデルは時間成分及び静的成分を含み、インタフェースは更に、同様なオブジェクトのサーチを可能にするよう構成されるサーチ選択肢を備え、サーチは、時間成分と静的成分とに対する重み付けに基づいて行われる。
【０００９】
別の実施例では、サーチ結果を表示するインタフェースを備える。このインタフェースは、検索オブジェクトと1つ又は複数のサーチ・オブジェクトとを備え、1つ又は複数のサーチ・オブジェクトは、時間成分及び静的成分の重み付けに基づいて判定され、サーチ・オブジェクトは、検索オブジェクトとの相対的類似度を時間成分及び静的成分に基づいて示すようインタフェースにおいて配置される。
【００１０】
本明細書及び特許請求の範囲開示の、本発明の性質及び効果の更なる理解は、明細書の残りの部分と添付図面とを参照することによって実現し得る。
【発明を実施するための最良の形態】
【００１１】
本発明の実施例においては、時間情報を含むオブジェクトがサーチされる。時間情報とは、特定の期間にわたって記録される情報のことである。特定の期間にわたって記録される情報は、1つ又は複数の種類の情報を備え得る情報を表し得る。この1つ又は複数の種類は形式が、統合化された特定のものであり得る。例えば、記録される情報は、テキスト情報と、グラフィックス情報と、動画情報と、ビデオ情報などのうちの1つ又は複数のものを含み得る。一例では、オブジェクトは、5分間の情報を含むビデオ記録であり得る。情報は、5分の記録にわたって変わり得る。
【００１２】
時間情報を含むオブジェクトは、特徴ベクトル系列によって表し得る。静的情報成分は、特徴の全体的な分布をベクトル・コレクションとして順序を考慮せず記述する。特徴例としては、キー・フレーム、色ヒストグラム、テクスチャ特徴、オーディオ周波数係数、語又は検知される事象が含まれる。
【００１３】
時間情報成分は、特徴が時間の関数としてオブジェクトの期間にわたってどのように変わるかを記述する。それは、特徴ベクトル系列における順序情報を反映している。特徴によって、順序情報は、色の変化、話者遷移、事象の変化など時間情報を記述する。時間情報のパターンは、特徴ベクトル・コレクションの静的分布からは観測可能でなく、時間分布として明示的にモデル化される。
【００１４】
モデルは、オブジェクトの静的情報成分及び時間情報成分をカプセル化するよう作成し得る。一実施例では、隠れマルコフ・モデル（HMM）を用い得る。隠れマルコフ・モデル（HMM）は、定常分布を備えている離散的な数の状態のうちでの確率的遷移として時間分布をモデル化する。当業者は、時間情報を含むオブジェクトを用いてHMMを生成する方法が分かるものである。
【００１５】
本発明の実施例は、サーチ検索を受信する。検索に対するサーチ結果は次に、HMMを比較することによって生成される。HMMを記載しているが、カルマン・フィルタや動的ベイズ・ネットワークなどの他のモデルが分かり得るものである。
【実施例】
【００１６】
図1は、本発明の一実施例による、サーチを行う方法の簡易フローチャート100である。工程102では、検索が受信される。検索は、サーチ結果を判定するのに用い得る何れかの情報であり得る。例えば、検索は、時間情報を含むオブジェクトを規定し得る。ユーザは、インタフェースを用いて、時間情報を含むオブジェクトを選択し得る。時間情報を含むオブジェクトは、オブジェクトを取り出し得る場所を示す識別子によって規定し得る。例えば、記憶されているオブジェクトを参照するユニフォーム・リソース・ロケータ（URL）を用い得る。
【００１７】
工程104では、検索モデルがその検索について判定される。検索モデルは、静的成分及び時間成分としてモデル化される情報を含む。一実施例では、検索によって規定される時間情報を含むオブジェクトを用いてHMMを作成し得る。HMMは、オブジェクトから判定される特徴系列を含み得る。HMM検索モデル作成処理は、以下に更に詳細に説明することとする。別の実施例では、時間情報を含むオブジェクトからHMMを生成するかわりに、検索モデルを検索において規定し得る。例えば、検索に用いるHMMを規定し得る。
【００１８】
工程106では、静的成分及び時間成分に対する重み付けが受信される。重み付けは、静的成分値及び時間成分値を規定し得る。例えば、受信される値によって、静的成分及び/又は時間成分に施される重みを増減させ得る。
【００１９】
重み付けは、他の成分と比較した、成分の重要度を示す。例えば、静的成分は、高い重みを有する場合、重みがもっと低い他の成分よりもサーチ処理において重要であるとみなされる。
【００２０】
受信される重み付けの形式はどのようなものであってもよい。例えば、重み付けは、静的成分と時間成分との２つの分類に対する重みを示し得る。例えば、0から1までの範囲を、静的成分分類と時間成分分類とに割り当て得る。更に、静的成分分類及び時間成分分類における個々の特徴には異なる重みを割り当て得る。例えば、音の変遷、会議に参加しているユーザの数など、に対する重み付けを受信し得る。
【００２１】
重み付けは、ユーザから受信してもよく、自動的に判定してもよい。一実施例では、重み付けは、ユーザによって規定され、サーチ検索に含み得る。例えば、ユーザは、重み付けを、ユーザ・インタフェースを用いて規定し得る。又、別の実施例では、重み付けはサーチ処理によって自動的に判定し得る。重み付けは、多くの要因に基づいて自動的に判定し得る。例えば、静的成分への重み付けがより高いことによって、受信される検索に基づいた、より好適なサーチ結果がもたらされる場合があり、静的成分への重みを時間成分へのものよりも大きくし得る。
【００２２】
工程108では、検索モデルは、1つ又は複数のサーチ・モデルと、重み付けを用いて比較される。サーチ・モデルや検索モデルの語を用いているが、サーチ・モデルや検索モデルは同様な方法を用いて生成し得るということが分かるものである。例えば、それらは両方ともHMMであり得る。サーチ・モデルの語と検索モデルの語は、サーチ検索に関連付けられるモデルと、サーチされているモデルと関連付けられるモデルとを区別するのに用いている。
【００２３】
一実施例では、検索モデルの静的成分及び時間成分は、サーチ・モデルの静的成分及び時間成分と比較される。検索モデルの静的成分及び時間成分と、サーチ・モデルの静的成分及び時間成分との差異が判定される。重み付けが次に、判定される差異を調節するのに用いられる。更に、調節された差異に基づいて得点を生成し得る。この処理は以下に更に詳細に説明することとする。
【００２４】
工程110では、サーチ結果は上記比較に基づいて判定される。例えば、判定される得点は、サーチ・モデルのランク付けに用い得る。ランク付けは、検索に、より適切であると判定されるサーチ・モデルを示し得る。サーチ・モデルの静的成分及び時間成分は固定のものであり得る。しかし、静的成分及び時間成分に与えられる重み付けによって、別々のサーチ・モデルのランク付けは、受信される重み付けによって、同じ検索について異なり得る。
【００２５】
重み付けを用いることは、サーチ結果を判定するうえで非常に有用であり得る。時間情報を含むオブジェクトは多くの種々の特徴を含み得る。重要とみなし得る成分によって、別のオブジェクトが検索に、より適切であり得る。例えば、ビデオに類似したビデオがどれであるかを判定する場合、ユーザは同様な静的成分（例えば、同様な色、テクスチャ及び音声の特性）又は同様な時間成分（例えば、種々の音の相互作用、音声の変遷）を備えているビデオを所望し得る。時間情報を含むオブジェクトにおいて比較し得る種々の成分が存在し得るため、ユーザが規定する重み付けは、時間情報を含むオブジェクトをユーザ選好によってランク付けするのに用い得る。よって、検索に、より適切であり得るサーチ結果を判定し得る。
【００２６】
図2は、本発明の一実施例による、検索モデル及び/又はサーチ・モデルを生成するシステム200を表す。一実施例では、システム200は、特徴抽出器202、モデル構築器204及びデータベース206を含む。
【００２７】
特徴抽出器202は、時間情報を含むオブジェクトから特徴を判定するよう構成される。例えば、特徴抽出器202は、ビデオを受信し、ビデオから判定される特徴ベクトル系列を出力し得る。一実施例では、特徴は、小さいウィンドウにわたって計算される、メル周波数ケプストラム係数（MFCC）などのオーディオ周波数係数を表すベクトル系列であり得る。別の実施例では、特徴は、フレーム毎に計算される色ヒストグラム系列であり得る。別の実施例では、特徴は、話者セグメント毎に計算される音声特性であり得る。当業者は、他の特徴も分かり得る。
【００２８】
モデル構築器204は、抽出特徴を用い、時間情報を含むオブジェクトについてのモデルを構築するよう構成される。例えば、HMMは抽出特徴を用いて構築し得る。当業者は、HMMを構築する方法が分かるものである。
【００２９】
特徴ベクトル系列は、時間情報を含むオブジェクトから抽出し得る。各特徴ベクトルは、会議ビデオにおける話者の音声特性と、キー・フレームの色、テクスチャ、形状及び特徴と、カメラの動きやシーン変遷の効果と、監視ビデオにおける侵入検知などの概要レベルの事象、などの、オブジェクトから計算される特性を表し得る。特性を短い時間ウィンドウにわたって計算して特徴ベクトルを判定し得る。特徴ベクトルとその時間的変遷との分布をHMMにおいて表し得る。一実施例では、情報の静的成分をモデルによって表し得る。例えば、静的成分は、定常確率及び状態出力確率によって表す。一実施例では、時間成分はモデルによって表し得る。例えば、時間成分は状態遷移確率において表す。HMMの静的成分及び時間成分を他のモデルの静的成分及び時間成分と比較してモデル間の類似度及び差異を判定する。
【００３０】
データベース206は何れかの記憶装置であり得る。なお、１つのデータベース206を示しているが、サーチ・モデルは、何個のデータベース206に記憶されていてもよい。例えば、インターネットなどの分散環境は、多くの別々のモデルを種々のデータベース206に記憶し得る。
【００３１】
モデル構築器204によって生成される各HMMは更に、データベース206に記憶し得る。比較が行われると、モデルのランク付けが、静的成分及び時間成分に割り当てられる重み付けに基づいて生成される。
【００３２】
別の実施例では、モデルは、必要に応じて生成し得る。例えば、ユーザがオーディオ特徴のみの比較に関心がある場合、検索モデルを抽出オーディオ特徴ベクトル系列から作成し得る。ユーザが、ビデオ間の視覚類似度のみの比較に関心がある場合、検索モデルを抽出色ヒストグラム系列から構築し得る。
【００３３】
図3は、本発明の一実施例による、図1の工程108に列挙されている1つ又は複数のサーチ・モデルと検索モデルを比較する方法の簡易フローチャート300を表す。工程302では、データベース206に記憶されている1つ又は複数のサーチ・モデルが判定される。一実施例では、データベース206に記憶されているサーチ・モデル全てを判定し得る。又、別の実施例では、データベース206におけるサーチ・モデルの部分集合を判定し得る。例えば、サーチ・モデルは、会議、ビデオ、広告、ホームビデオなどの分類に編成し得る。よって、会議をサーチすることとするということをユーザが検索において規定する場合、会議の分類におけるモデルが判定される。
【００３４】
工程304では、工程302において判定される1つ又は複数のサーチ・モデル毎に、1つ又は複数のサーチ・モデルにおけるサーチ・モデルの静的成分及び時間成分を検索モデルの静的成分及び時間成分と比較して、両方のモデルの静的成分及び時間成分の差異を判定する。一実施例では、検索モデルに存在する静的成分及び時間成分は、サーチ・モデルに存在する同様な静的成分及び時間成分と比較し得る。成分毎の差異値を判定し得る。
【００３５】
工程306では、静的成分及び時間成分に対する重み付けが判定される。一実施例では、重み付けはユーザによって特定し得る。上記のように、重み付けは、群としての静的成分及び/又は時間成分に対するものであってよく、個々の静的成分及び時間成分に対するものであってもよい。重み付けは、成分の他の成分に対する相対的な重要度を示す。
【００３６】
工程308では、ランク付け得点が、静的成分及び時間成分の重み付け及び差異値に基づいて計算される。ランク付け得点は、種々のサーチ・モデルをランク付けするのに用い得る相対得点を示す。例えば、ランク付け得点が高いことは、ランク付け得点が低いサーチ・モデルよりも検索モデルに類似したものであり得るサーチ・モデルを示し得る。ランク付け得点は、静的成分及び時間成分に対する重み付けを、静的成分及び時間成分の差異値によって乗算することによって計算し得る。1.5の重み付けを静的成分に対して受信し得るものであり、0.5の重み付けを時間成分に対して受信し得る。静的成分の差異値は全て、1.5によって乗算し得るものであり、時間成分の差異値は全て、0.5によって乗算し得る。各乗算の結果は、合計してランク付け得点を判定し得る。ランク付け得点を判定する上記方法を説明したが、重み付けを用いてランク付け得点を判定する他の方法が分かり得ることとする。例えば、重み付けは差異値などに分割し得る。
【００３７】
工程310では、更なるサーチ・モデルを比較する必要があるかが判定される。更なるサーチ・モデルが存在する場合、当該処理は、工程304に戻る。工程304では、当該処理は新たなサーチ・モデルのランク付け得点を判定する。更なるサーチ・モデルが存在しない場合、当該処理は終了する。サーチ・モデルのランク付けはその場合、計算されたランク付け得点に基づいて判定し得る。
【００３８】
図4は、本発明の一実施例による、比較する工程(図1の工程108)の別の実施例を表す。工程402では、サーチ・モデルは、静的成分及び時間成分に対して受信される重み付けを用いた種々の情報を用いてオブジェクトについて生成される。一実施例では、オブジェクトは、データベース206に記憶し得る。例えば、オブジェクトは種々のビデオについてのものであり得る。ビデオ毎に、サーチ・モデルを、静的成分及び時間成分に対する重み付けを用いて生成し得る。
【００３９】
一実施例では、静的成分及び時間成分を含む、オブジェクトについてのサーチ・モデルを作成し得る。重み付けは更に、サーチ・モデル208の静的成分及び時間成分に施し得る。例えば、重み付けは、静的成分及び時間成分から生成される値によって乗算し得る。
【００４０】
工程404では、検索モデルは、工程402で判定されるサーチ・モデルと比較される。一実施例では、検索モデルの静的成分及び時間成分と、工程402において判定された各サーチ・モデルの静的成分及び時間成分との差異値が判定される。差異値は、お互いを合計して合計差異値をもたらし得る。類似度が高いサーチ・モデルの合計差異値は値が低い場合がある。検索モデルとサーチ・モデルとのこの比較手法を説明したが、検索モデルとサーチ・モデルとを比較する他の方法を当業者が分かり得るものである。
【００４１】
工程406では、サーチ・モデルのランク付けが比較に基づいて判定される。例えば、合計差異値が最低のサーチ・モデルは、受信される検索に、より類似しているとみなされる場合があり、受信される検索に、より適切であるとみなされる場合もある。よって、合計差異の最低値から最高値までのランク付けを判定し得る。サーチ・モデルは、このようにしてランク付けされる場合があり、サーチ結果はランク付けとともにユーザに戻される。
【００４２】
図8は、本発明の一実施例による、サーチ結果を示すインタフェース800を示す。インタフェース800は、ユーザが重み付けを規定することを可能にする重み付けバー802を含む。例えば、ユーザはバー804を時間成分端と静的成分端との間でずらし得る。バーが何れかの端に向けてずらされるにつれ、重みが変えられる。バーが何れかの端のほうに近くなると、その端の成分に対する重み付けが高くなる。図示するように、重み付けは「0.8」である。重み付けは0と1との間であってよい。よって、0.5未満の重み付けによって、静的成分よりも時間成分の重み付けが大きくなり、0.5超の重み付けによって、時間成分よりも静的成分の重み付けが大きくなる。
【００４３】
サーチ結果は領域806に示す。図示するように、オブジェクト808は領域806の中心に検索オブジェクト810の周りに配置される。オブジェクト810までオブジェクト808が近いことは、検索オブジェクト810に対する相対的な類似度が高いことを示す。例えば、オブジェクト808-1は、サーチ・オブジェクトとの類似度が最も高い。他のオブジェクト808-2、808-3はオブジェクト808-1などよりも類似度が低い場合がある。
【００４４】
図示した、オブジェクト808-1、808-2、808-3、808-4及び808-5をお互いに接続している線は、類似度得点に対して閾値が施される場合のグループ化を示す。閾値は、適切でないオブジェクトを除外してランク付けリストの長さを削減するかインタフェース800上のクラッタを削減するのに用い得る。接続線は、オブジェクト・クラスタを視覚的に識別するうえで有用である。
【００４５】
重み付けバー802が調節されると、サーチ結果を判定するのに用いる重みが変わる。よって、サーチのランク付けが変わり得る。図9は、本発明の一実施例による、重み付けを変えたインタフェース900におけるサーチ結果を示す。
【００４６】
図示するように、重み付けバー802の重みは「0.2」である。このことは、時間成分の重みが静的成分の重みよりも高いことを意味する。サーチ結果のランク付けは、重み付けにおける違いが理由で変わっている。検索オブジェクト810に近いオブジェクトは、時間成分の類似度が高いオブジェクトである。例えば、オブジェクト808-2、808-3及び808-4は、インタフェース900における検索オブジェクト810からの距離がインタフェース800における検索オブジェクト810からの距離よりも長い。これは、オブジェクト808-2、808-3及び808-4の静的成分の、検索オブジェクト810の静的成分との類似度が高いからである。又、オブジェクト808-1、808-6及び808-7は、インタフェース900における検索オブジェクト810までの距離がインタフェース800における検索オブジェクト810までの距離よりも短い。この理由は、オブジェクト808-1、808-6及び808-7の時間成分の、検索オブジェクト810の時間成分との類似度が高いからである。
【００４７】
重み付けバー802が調節されるにつれ、図示するオブジェクト808を動的に調節し得る。例えば、新たな重み付けが規定されると、オブジェクト808は、算出される新たなサーチ結果のランク付けによって動かされる。よって、サーチ結果は、検索とともに受信される重み付けに基づいて要求ベースで生成し得る。
【００４８】
図5は、本発明の一実施例による、検索モデルを生成する方法の簡易フローチャート500を表す。工程502では、検索が受信される。検索は、ユーザからグラフィカル・ユーザ・インタフェースを用いて受信し得る。本発明の一実施例による、検索を備えるのに用いるグラフィカル・ユーザ・インタフェースの例を図7に示す。
【００４９】
図7に示すように、インタフェース700を備える。第１メディア・オブジェクト702-1及び第2メディア・オブジェクト702-2を示す。インタフェース700は、サーチを行うのに用い得るものであり、目標オブジェクトと、目標オブジェクトのサーチ結果も示す。例えば、これらの２つのオブジェクトのうちの１つを検索として規定し得る。サーチ領域716は、サーチする選択肢を備える。例えば、同様なスタイル、の選択肢、同様な人、の選択肢又は、同様な両方、の選択肢のサーチを行い得る。同様なスタイル、の選択肢では、時間成分の重みは静的成分の重みよりも高い。又、同様な人、の選択肢では、静的成分の重みは時間成分の重みよりも高い。同様な両方、の選択肢では、時間成分と静的成分との重みは等しい。よって、オブジェクト702を選択し、サーチする選択肢を規定することによって、同様なオブジェクトをサーチし得る。
【００５０】
このインタフェースは、先行サーチからのサーチ結果も示す。例えば、サーチが、オブジェクト702-1と同様なオブジェクトについて行われた場合がある。サーチ結果によってオブジェクト702-2がもたらされた（他の結果は図示せず）。得点718は、目標オブジェクトとの相対的類似度を示すよう備えている。オブジェクト702-1が目標オブジェクトであるため、得点はゼロである。オブジェクト702-2の得点は、0.16であり、他のオブジェクトに対するこのオブジェクトの類似度を判定するのに用い得る。例えば、得点が高いオブジェクトのオブジェクト702-2との類似度は低い場合がある。
【００５１】
図示するように、オブジェクト702-1及び702-2の詳細を記述情報領域706-1及び706-2に示す。記述情報領域706はオブジェクト702を記述する。例えば、会議名706-1及び706-2を、オブジェクト702-1についてもオブジェクト702-2についても示す。持続時間及び記憶場所707も記述情報に備える。他の記述情報も、記述情報領域706-1及び706-2に備え得る。
【００５２】
サンプル・キー・フレーム708-1及び708-2も示す。キー・フレーム708によって、ユーザはオブジェクト702の試し表示を行い得る。例えば、ユーザは、キー・フレームをみて、オブジェクトはユーザがサーチしたかった対象であるか否かを判定する。
【００５３】
データ領域710は、オブジェクトに存在しているデータを記述する。例えば、データ領域710-1は、データが光学式文字認識（OCR）を用いて生成されたということを示す。更に、データ領域710-2は、データがOCRを用いて生成されたものであり、かつ、プレゼンテーション・スライドも含んでいるということを示す。
【００５４】
処理領域712は、オブジェクト702を再生する選択肢を備える。通信領域714は、電子メールによる通信やオブジェクトのウェブ上での出版などの、オブジェクトを通信する選択肢を備える。
【００５５】
工程504では、時間情報を含むオブジェクトが当該検索について決定される。オブジェクトは当該検索によって規定し得る。一実施例では、検索と関連付けられる識別子を用いてオブジェクトを取り出し得る。例えば、記憶場所707を用いてオブジェクト702を判定し得る。
【００５６】
工程506では、検索モデルがオブジェクトについて生成される。別の実施例では、検索モデルは既に生成されている場合がある。この場合には、検索モデルを記憶機構から取り出し得る。
【００５７】
図6は、本発明の実施例の機能を行うのに用いるモジュールの簡易構成図600を表す。システム600は、検索インタフェース602、時間変動情報判定器604、モデル生成器606-1、比較器608、データベース206及びモデル生成器606-2を含む。
【００５８】
モデル生成器606-2は、時間変動する情報についてのモデルを生成するよう構成される。一実施例では、モデル生成器606-2は、時間情報を含むオブジェクトを受信し、サーチ・モデルを生成する。一実施例では、サーチ・モデルは、HMMであり得る。サーチ・モデルは更に、データベース206に記憶される。
【００５９】
検索インタフェース602は、検索をユーザから受信するよう構成される。更に、ユーザは、検索インタフェースを用いて重み付けを入力し得る。重み付けは、時間情報を含むオブジェクトの静的成分及び/又は時間成分に対する重み付けを規定する。
【００６０】
オブジェクト判定器604は、検索に基づいてオブジェクトを判定するよう構成される。例えば、オブジェクトの識別子を検索とともに受信し得る。識別子は、オブジェクトの判定又は取り出しに用い得る。別の実施例では、検索インタフェース602がオブジェクトを受信し、それをオブジェクト判定器604に送信し得る。モデル生成器606-1は、オブジェクトを用いて検索モデルを生成するよう構成される。一実施例では、モデル生成器606-1がHMMを生成する。
【００６１】
比較器608は、検索モデルとサーチ・モデルとの、重み付けを用いた比較に基づいたサーチ結果を出力するよう構成される。比較器608は、重み付けを用いて、サーチ・モデルの検索モデルに対するランク付けを行う。一実施例では、図3及び/又は図4に表す方法を用いてサーチ結果を判定し得る。
【００６２】
よって、本発明の実施例は多くの効果を備える。例えば、時間情報を含むオブジェクトを、本発明の実施例を用いてサーチし得る。サーチは、オブジェクトを記述するモデルを用い得る。更に、ユーザは、モデルの時間成分及び静的成分に対する重み付けを規定し得る。よって、時間情報を含むオブジェクトを、重み付けを用いてサーチし得るものであり、より適切なサーチを行い得る。
【００６３】
更に、例による検索の処理を用いることによって多くの効果が備えられる。例えば、時間情報を含むオブジェクトについてのサーチタームを記述することは困難な場合がある。本発明の実施例を用いれば、ユーザは、サーチにおいて規定されるオブジェクトと同様なオブジェクトを見つけ得る。よって、ユーザは、同様なコンテンツを含む同様な音楽やビデオをオブジェクトに対する重み付けに基づいて判定し得る。
【００６４】
HMM比較
この部分では、会議の検索と会議のHMM表現とを行ううえで提案する枠組みの一実施例を説明する。
【００６５】
会議Mj各々をベクトル系列
【００６６】
【数１】
2006178974.tif 000003

によって特徴付けることとし、そのとき、
【００６７】
【数２】
2006178974.tif 000004
は時間間隔tでの話者特徴空間におけるベクトルであり、Tjは会議Mjの持続時間である。特徴空間は、特定の話者の識別に有用な視聴覚特徴を含み得る。このベクトル系列は、かかるHMMモデルMj={Qj,πj,Aj,Bj}を構築するのに用い、そのとき、
【００６８】
【数３】
2006178974.tif 000005
はnj個の離散状態の集合であり、
【００６９】
【数４】
2006178974.tif 000006
は状態の初期確率であり、
【００７０】
【数５】
2006178974.tif 000007
であり、そのとき、
【００７１】
【数６】
2006178974.tif 000008
は状態遷移確率であり、
【００７２】
【数７】
2006178974.tif 000009
であり、そのとき、
【００７３】
【数８】
2006178974.tif 000010
は、状態
【００７４】
【数９】
2006178974.tif 000011
の連続記号密度関数である。何れかの特定のXに対して、HMM表現の生成は、状態が別個の話者に相当し、記号確率が、特徴空間における話者特性を反映し、相互作用のスタイルが遷移確率によって表されるように行われる。
【００７５】
一実施例では、HMMは、バーム・ウェルチ・アルゴリズムを用いて入力系列Xに対して直接訓練し得る。しかし、このことは通常、状態がより多く、データが大量の、より複雑なHMMを必要とする。
【００７６】
HMMは通常、状態と話者との1対1の対応関係を課すよう構築してもよい。まず、教師なしの話者クラスタ化を特徴ベクトルに対して行ってn個のクラスタC1…Cnを識別する。特徴ベクトルは、音響局所化やオブジェクト追跡による話者追跡によって強化された場合にかなり改善させ得る。例えば、会議記録器システムによって生成される音響局所化出力によって、参加者が動いていない場合に話者を極めて正確に分離し得る。このオーディオ方向データによって、話者クラスタ化に対する最大の誤差源のうちの１つである、個々の話者に対する好適なフレーム・セグメント化境界を備える。クラスタが識別されると、各クラスタCkは、HMMにおける、相当する状態qkによって表される。遷移確率は、Xから、クラスタIDに基づいて算出し得る。話者クラスタ毎に、クラスタに属するベクトル全てに対してベクトル量子化を、LVQを用いて行ってK個のコードブック・ベクトルを生成する。これらのコードブックは、当該話者についての状態の記号確率を定義するのに用いる。
【００７７】
一実施例では、
【００７８】
【数１０】
2006178974.tif 000012
は、12msのウィンドウにわたって計算される10次MFCC係数及びその微分から成る20次元ベクトルである。理論上は、この系列を、ガウス混合記号密度を備えている連続型HMMに直接用い得る。又、
【００７９】
【数１１】
2006178974.tif 000013
を用いた、nj個のクラスへの明示的な、教師なしの話者クラスタ化を用いてよく、nj個の状態を備えているHMMを構築し得る。更に、離散的な観測系列を、ラベリングされた話者のクラスタのIDを用いて2秒の粒度で生成する。したがって、1時間の会議の場合、
【００８０】
【数１２】
2006178974.tif 000014
であり、Tj=60*60/2=1800である。遷移確率Ajはラベリングされた話者の遷移に基づいて計算される。初期確率πjは、定常ベクトル
【００８１】
【数１３】
2006178974.tif 000015
とされる。記号密度関数は、相当する話者（クラスタ）セグメントについて抽出されるオーディオ特徴ベクトル全てから生成される16個のコードブック・ベクトルによって表す。コードブックはLVQアルゴリズムを用いて選択され、無音セグメントは抑制される。図10は、この表現を示す。上部には、特徴ベクトル系列を経時的に示しており、同じ（ではあるが未知の）話者に属するベクトルは同じ色でコード化している。下部には、HMM表現を示しており、同じ色でコード化した状態が特徴空間に及んでいる。話者遷移は、灰色の矢印によって表し、矢印の厚さは話者遷移の頻度に比例している。特徴空間におけるベクトルの位置は、これらのベクトルの類似度を示している（この場合もまた、形状が話者の識別情報によってコード化されている。）。調節可能なパラメータαspeaker及びαstyleを考慮しながら、これらの2つの会議を比較する手法が開発されている。よって、２つのHMMが比較される。一般的に、これらの会議のHMMはエルゴート性を有しており、状態数が一定でない。
【００８２】
２つの会議M1及びM2の類似度メトリックが、
S(M1,M2)=αspeaker・Jspeaker(X1;M1│X2;M2)+αstyle・Jstyle(X1;M1│X2;M2)
の形式で開発され、そのとき、Jspeaker及びJstyleは各々、話者特徴及び会議スタイルに基づいた類似度の尺度であり、0≦αspeaker≦1, 0≦αstyle≦1は、JspeakerとJstyleとの間の相対的重要度を制御するユーザ・パラメータである。αspeaker=1であり、かつαstyle=0である場合、システムが、会議の種類にかかわらず、参加者が同様な会議を取り出すものであることが期待される。αspeaker=0であり、かつαstyle=1である場合、同じ分類における会議のみが取り出されるものである。何れかの中間値の場合には、これらの因子の重みは適切に設定されるものである。
【００８３】
HMMの比較
全体の枠組みと、選ばれたHMM表現とを、図11に示す。一実施例の場合、用いている、分布の距離尺度は、カルバック・ライブラー逸脱度（KLD）
である。
【００８４】
【数１４】
2006178974.tif 000016
この尺度を施すことは、観測ベクトル系列の尤度を両方のモデルの下で、考えられる系列全てにわたって計算することを必要とする。一実施例では、関数のパラメトリック形を用いて算出を単純にしている。
【００８５】
一実施例では、この尺度は、モンテカルロ・シミュレーションによって近似化し得る。確率は、観測系列のものをHMMモデルの下で前方アルゴリズムを用いてO(N2T)において計算することができ、そのとき、Nは状態数であり、Tは系列長である。よって、
f(X)=P(X│M1)及びg(X)=P（X│M2)を用いて、無作為にサンプリングされた系列Xの場合のKLDを計算することができる。サンプリングの効率化のために、乱数系列を一方のHMMを用いて生成することができ、尤度が他方のHMMの下で計算される。サンプリング手法と、関数の定義が異なる同様な原理を用いた他の変形を用い得る。例えば、尤度全体のかわりに、ビタビ・アルゴリズムによって計算される、尤度最大の経路の下での系列確率を用い得る。それでも、それらは、系列確率を上記モデルの下で算出することを伴う。この手法の精度は、観測長Tの増加とともに増加し得る。しかし、実行時間も同様である。
【００８６】
高次元空間においてシミュレーションの時間がかかることを解決するよう、第２の手法は、Xを完全に取り除き、モデル・パラメータを直接、特定の状態アラインメントの下で比較する。状態が同数の２つの、エルゴート性を有するHMM間のKLDは、KLDが遷移確率及び記号確率にわたって個々に計算される式によって限界が設けられるということが示されている。ガウス混合密度を備えている特別な、左から右に至るHMMを近似化する同様なものも提案されている。これらの近似化は、O(N2)時間で計算することができる。限界又は推定の品質は、仮定された状態アラインメントによって変わってくる。例えば、２つの同一のHMMによって、0の逸脱度を、正しい状態アラインメントでもたらし得るものであり、状態に番号が再び付けられる場合には大きく異なる結果をもたらし得る。発見的方法は、アラインメントを改善するよう施すことができ、O(N2N!)  の演算である、状態の順列で考えられるもの全てに関する結果を無視するよう評価し得る。
【００８７】
第１の手法では、動的プログラミング・アルゴリズム（前方又はビタビ）を用いて系列確率を計算する。所望のシステム特性を達成するために、制御パラメータを動的プログラミング処理内に組み入れ得る。HMMはベクトル系列を介して評価されるので、この手法は、間接手法と呼ばれる。第２の手法では、類似度がモデル・パラメータに対して直接測定される。したがって、制御パラメータがKLD又は距離メトリックの式に埋め込まれる。これは、直接手法と呼ばれ、以下に更に詳細に説明することとする。
【００８８】
1.  会議の比較：直接手法
この手法では、KLDは、モデル・パラメータから直接、計算される。無限長の観測系列によって計算される、２つのHMM間のKLDは、
【００８９】
【数１５】
2006178974.tif 000017
によって限界が設けられ、そのとき、v1はM1の定常ベクトルである。記号確率のKLDを計算するよう、ガウス混合について導き出されるものと同様な上限を用いる。
【００９０】
【数１６】
2006178974.tif 000018
そのとき、gは、Mjの状態
【００９１】
【数１７】
2006178974.tif 000019
のk番目のコードブック・ベクトルである
【００９２】
【数１８】
2006178974.tif 000020
を中心とするガウス関数である。全ての成分の重みが等しいとみなせば、これを
【００９３】
【数１９】
2006178974.tif 000021
によって近似化する。
【００９４】
【数２０】
2006178974.tif 000022
におけるコードブック毎に、
【００９５】
【数２１】
2006178974.tif 000023
における、最も近いコードブックを見つけ、
【００９６】
【数２２】
2006178974.tif 000024
のコードブック全てについて距離の平均をとる。HMMモデルはπjを定常ベクトルvjにすることによって構築されたので、この式を直接、計算することができる。しかし、この定式化は、何れのHMMも状態が同数であるとみなすものであり、状態アラインメントの正確性に対する限界の品質の依存が極めて重要である。状態アラインメントの順列であって、最善の限界を得るうえで考えられるもの全てを求め得る。
【００９７】
【数２３】
2006178974.tif 000025

【００９８】
【数２４】
2006178974.tif 000026
そのとき、
【００９９】
【数２５】
2006178974.tif 000027
であり、1≦ψ1(i)≦n2である。これは、状態の、Q1からQ2へのマッピングであり、
【０１００】
【数２６】
2006178974.tif 000028
は、考えられるアラインメント全ての集合である。
【０１０１】
アルゴリズム2
【０１０２】
【数２７】
2006178974.tif 000029
アルゴリズムの変形
一実施例では、メトリックが、両方の会議における話者の役割の割合を十分に占めない場合がある。同一人物xが２つの会議に出席し、yとの会議１では支配的である一方、zが支配的であった会議2ではほとんど話をしないという例を考えてみる。ここでは、話者特徴のみに関心があるものとみなす。これらの2つの会議における状態がマッチングされると、xのそれ自体とのアラインメントがある場合、高得点が生じるが、それは、記号密度が同等であるからである。これによって、yに、逸脱度が大きいzとのアラインメントを行うことが委ねられる。しかし、
【０１０３】
【数２８】
2006178974.tif 000030
が非常に小さいため、この作用は軽減される。これによって、会議における役割の程度にかかわらず、参加した何れかの会議と、個人によるプレゼンテーションとのマッチングを行うという望ましくない作用をもたらす。この問題を補正するよう、両方の会議における話者の役割を比較する項を明示的に加える。したがって、D(M1││M2)に項を加える。
【０１０４】
【数２９】
2006178974.tif 000031
コード:  VKLD
別の課題として、マッチングしない状態の処理がある。話者数が異なる会議を比較する場合、話者が多い会議における一部の状態は、マッチングする状態を有していない場合がある。未使用状態が会議における最もアクティブなものである場合、残りの状態のマッチングが好適であった程度にかかわらず、それらをもらすことに対するある程度のペナルティがあり得る。ペナルティは判定し得る。上記リストでは、状態のマッチングがない場合にはペナルティは存在しない。ペナルティを受けるのは、遷移確率のKLDが、存在しないリンクをεに設定することによってマッチングされていない状態に計算される。考えられるものの１つとして、
【０１０５】
【数３０】
2006178974.tif 000032
が未定義である場合に、
【０１０６】
【数３１】
2006178974.tif 000033
とし、
【０１０７】
【数３２】
2006178974.tif 000034
のペナルティを事実上、施すというものがある。考えられる別のものとしては、
【０１０８】
【数３３】
2006178974.tif 000035
を単に、ペナルティとして用いるというものがある。当初の検査の後、
【０１０９】
【数３４】
2006178974.tif 000036
をペナルティとして用いた。
【０１１０】
【数３５】
2006178974.tif 000037
コード：CNULL
状態アラインメントの順列で考えられるもの全てを求めるものとして、O(max(n1,n2)!の演算がある。大半の会議の場合にはn（積極的な話者の数）は極めて小さいが、指数関数的でない、よりスケーラブルな解が望まれる場合がある。このことを標準的なグラフ・マッチング問題又は最短経路問題に変えることができれば、計算量を削減し得る。しかし、いくつかの考慮点があり得る。式(2)の記号確率項が計算される場合、動的プログラミングを用いて、順列全てにわたって最善の解を見つけ得る。しかし、同じ手法を用いて式全部を計算することが可能でない場合がある。M1からの何れかの状態
【０１１１】
【数３６】
2006178974.tif 000038
とM2からの何れかの状態
【０１１２】
【数３７】
2006178974.tif 000039
とのアラインメントを計算するために、それらの遷移確率
【０１１３】
【数３８】
2006178974.tif 000040
と
【０１１４】
【数３９】
2006178974.tif 000041
との間の、他の状態全てのアラインメントによって変わってくるKLDを計算し得る。完全な状態アラインメントが要求されるので、式(3)を部分集合に分解しない場合がある。
【０１１５】
式(3)を簡約化したものを用いてこの問題をうまく回避し得る。
【０１１６】
【数４０】
2006178974.tif 000042
と
【０１１７】
【数４１】
2006178974.tif 000043
との間のKLDを求める場合、状態全てのアラインメントを行うのではなく、
【０１１８】
【数４２】
2006178974.tif 000044
を除く、M1における状態全てがお互いに結び付けられ、
【０１１９】
【数４３】
2006178974.tif 000045
を除く、M2における状態全てがお互いに結び付けられる。よって、
【０１２０】
【数４４】
2006178974.tif 000046
コード：  TSELF、が得られる。
【０１２１】
この重要な修正によって、アラインメントがある２つの状態
【０１２２】
【数４５】
2006178974.tif 000047
及び
【０１２３】
【数４６】
2006178974.tif 000048
の遷移確率の間のKLDは、記号確率のKLDと同様に、他の状態のアラインメントの程度とは無関係になる。これによって式(3)の分解が可能となる。この簡約化は、非常に好適な解釈も備える。会議スタイル全体が遷移行列に反映される一方、何れかの話者対間の遷移は非常に無作為であり、捕捉が難しい場合がある。対象のものを除く状態全てをマージすることによって、式(4)は、状態で、出力遷移に対する自己遷移しか考慮していない。対話に対する独白の本質が保たれる一方、特定の参加者と対話の順序とにおける変化が減る。この修正は、遷移確率の平滑化も行う。したがって、別のスケーリング工程はなくてもよい。
【０１２４】
状態アラインメントの厳密な定義も考察し得る。第２のHMMにおける同じ状態に対してマッピングする、１つのHMMにおける状態が複数あることが許される場合、考えられるアラインメントの個数は、
【０１２５】
【数４７】
2006178974.tif 000049
である。この定義は、一般的なものであり、状態数が等しくない場合に自動的に対応するが、いくつかの問題をもたらす。複数の状態と単一の状態とのアラインメントがある場合、それらの遷移確率及び記号確率をマージする必要がある。そのようなマージを行ううえでの関連コストの定義も必要である。第２の解は、状態間の1対１マッピングを余儀なくさせるというものである。これによって、考えられるアラインメントはn2!個となる。本願のHMMが同じ状態数を有していない場合があるので、マッチングされていない状態についての正しい処理を考える必要がある。距離尺度のもう１つの課題としては、KLDが非対称のものである一方、大半の標準的なグラフ・マッチング又は動的プログラミング問題が対称コスト関数を前提としている。本願の手法は、自己遷移確率が小さな値εであり、出力遷移確率が定常ベクトルに等しい（遷移確率は再正規化すべきであるが、このわずかな不一致はここでは無視することとする。）、虚部が零の状態qφに対して、対象の状態がマッチングされたものとしてこれらのケースを処理するというものである。他に存在する状態を組み合わせた作用に遷移が類似した、ほとんど生起しないこれらの零状態が、モデル化された分布にあまり影響を及ぼすことなく加えることができたということがこの証明である。この前提の下では、式(4)における遷移KLDは、
【０１２６】
【数４８】
2006178974.tif 000050
によって計算される。
【０１２７】
この処理によれば、何れかのHMM対を、状態n=max(n1,n2)が常に同数であるとしてみなし得るものであり、このことは、これを最短経路問題にマッピングするうえで有用である。
【０１２８】
図12は、本発明の実施例による処理を行うのに用い得るデータ処理システム1000の簡易構成図である。図12に示すように、データ処理システム1200は、バス・サブシステム1204を介していくつかの周辺装置と通信する少なくとも１つのプロセッサ1202を含む。これらの周辺装置は、メモリ・サブシステム1208及びファイル記憶サブシステム1210を備える記憶サブシステム1206と、ユーザ・インタフェース入力装置1212と、ユーザ・インタフェース出力装置1214と、ネットワーク・インタフェース・サブシステム1216とを含み得る。入力装置及び出力装置によって、データ処理システム1202との相互作用が可能になる。
【０１２９】
ネットワーク・インタフェース・サブシステム1216は、他のコンピュータ・システム、ネットワーク及び記憶リソースとのインタフェースを備える。ネットワークは、インターネット、ローカル・エリア・ネットワーク（LAN）、ワイド・エリア・ネットワーク（WAN）、無線ネットワーク、イントラネット、専用ネットワーク、公衆ネットワーク、交換ネットワークや何れかの他の適切な通信ネットワークを含み得る。ネットワーク・インタフェース・サブシステム1216は、データを他のソースから受信し、データを他のソースにデータ処理システム1200から送信するインタフェースとしての役目を担う。例えば、データ処理システム1200は、記憶されている検索モデル及びサーチ・モデルを、ネットワーク・インタフェース・サブシステム1216を介してアクセスし得る。ネットワーク・インタフェース・サブシステム1216の実施形態は、イーサネット（登録商標）・カード、モデム（電話、衛星、ケーブル、ISDNなど）、（非同期）ディジタル加入者回線（DSL）装置などを含む。
【０１３０】
ユーザ・インタフェース入力装置1212は、キーボードと、マウス、トラックボール、タッチパッドやグラフィックス・タブレットなどのポインティング・デバイスと、スキャナと、バーコード・スキャナと、表示に組み入れられるタッチ式画面と、音声認識システムなどのオーディオ入力装置と、マイクロフォンと、他の種類の入力装置とを含み得る。一般的に、「入力装置」の語の使用は、情報をデータ処理システム1200に入力する装置及び方法の種類であって、考えられるもの全てを含むことを意図している。
【０１３１】
ユーザ・インタフェース出力装置1214は、表示サブシステム、プリンタ、ファックス機や、オーディオ出力装置などの非視覚表示を含み得る。表示サブシステムは、陰極線管（ＣＲＴ）でも、液晶表示（ＬＣＤ）などのフラットパネル装置でも、投影装置でもよい。一般的に、「出力装置」の語の使用は、情報をデータ処理システム1200から出力する装置及び方法の種類であって、考えられるもの全てを含むことを意図している。
【０１３２】
記憶サブシステム1206は、本発明の機能を備える基本的なプログラミング及びデータの構成を記憶するよう構成し得る。例えば、本発明の実施例によれば、本発明の機能を実施するソフトウェア・モジュールを記憶サブシステム1206に記憶し得る。このソフトウェア・モジュールは、プロセッサ1202によって実行し得る。記憶サブシステム1206は、本発明によって用いるデータを記憶するレポジトリも備え得る。記憶サブシステム1206は、メモリ・サブシステム1208及びファイル/ディスク記憶サブシステム1210を備え得る。
【０１３３】
メモリ・サブシステム1208は、プログラム実行中に命令及びデータを記憶する主ランダム・アクセス・メモリ（ＲＡＭ）1218と、固定命令が記憶される読み取り専用メモリ（ROM）1220とを含むいくつかのメモリを含み得る。ファイル記憶サブシステム1210は、プログラム及びデータのファイル用の永久（非揮発性）記憶機構を備え、ハード・ディスク・ドライブ、フロッピー（登録商標）・ディスク・ドライブ及び関連した取り外し可能媒体、コンパクト・ディスク読み取り専用メモリ（CD-ROM）ドライブ、光ドライブ、取り外し可能メディア・カートリッジや、他の同様な記憶媒体を含み得る。
【０１３４】
バス・サブシステム1204は、データ処理システム1202の種々の構成部分及びサブシステムに、意図するようお互いに通信させる機構を備える。バス・サブシステム1204は単一のバスとして略示しているが、バス・サブシステムの別の実施例は複数のバスを利用し得る。
【０１３５】
データ処理システム1200は、パソコン、ポータブル・コンピュータ、ワークステーション、ネットワーク・コンピュータ、汎用コンピュータ、キオスクや他の何れかのデータ処理システムを含む各種のものであり得る。コンピュータ及びネットワークの、常に変化する性質が理由で、図12に表すデータ処理システム1200が表すものは、コンピュータ・システムの好ましい実施例を示す目的での特定の例として意図しているに過ぎない。図12に表すシステムよりも構成部分数が多いか少ない、多くの他の構成が考えられる。
【０１３６】
本発明は、ソフトウェア若しくはハードウェア、又は両方の組み合わせでの制御ロジックの形態で実施することができる。本明細書及び特許請求の範囲記載の開示及び教示に基づいて、当業者は、本発明を実施する他のやり方及び/又は方法が分かるものである。
【０１３７】
上記記載は、限定的なものでなく、例証的なものである。本発明の多くの変形が、当業者に、本願の開示を検討することによって明らかになるものである。よって、本発明の範囲は、上記記載を参照して判定されないものであり、その代わりに、本願の、係属中の請求項を、その完全な範囲又は均等物とともに参照して判定されるものである。
【図面の簡単な説明】
【０１３８】
【図１】本発明の一実施例による、サーチを行う方法の簡易フローチャートである。
【図２】本発明の一実施例による、検索モデル及び/又はサーチ・モデルを生成する方法の簡易フローチャートである。
【図３】本発明の一実施例による、検索モデルを1つ又は複数のサーチ・モデルと比較する方法の簡易フローチャートである。
【図４】本発明の一実施例による、比較する工程の別の実施例を表す図である。
【図５】本発明の一実施例による、検索モデルを生成する方法の簡易フローチャートである。
【図６】本発明の実施例の機能を行うのに用いるモジュールの簡易構成図である。
【図７】本発明の一実施例による、検索を実行依頼するインタフェースを表す図である。
【図８】本発明の一実施例による、サーチ結果を示すインタフェースを表す図である。
【図９】本発明の一実施例による、サーチ結果を示すインタフェースを表す別の図である。
【図１０】本発明の一実施例によるHMMを表す図である。
【図１１】本発明の一実施例による、HMMを比較する方法フローである。
【図１２】本発明の実施例による処理を行うのに用い得るデータ処理システムの簡易構成図である。
【符号の説明】
【０１３９】
200  システム
202  特徴抽出器
204  モデル構築器
206  ビデオ・データベース
600  モジュール
602  検索インタフェース
604  オブジェクト判定器
606  モデル生成器
608  比較器
700  インタフェース
702  メディア・オブジェクト
706  記述情報領域
707  持続時間及び記憶場所
708  サンプル・キー・フレーム
710  データ領域
712  処理領域
714  通信領域
716  サーチ領域
718  得点
802  重み付けバー
804  バー
806  領域
808  オブジェクト
810  検索オブジェクト
1200  データ処理システム
1202  プロセッサ
1204  バス・サブシステム
1206  記憶サブシステム
1208  メモリ・サブシステム
1210  ファイル記憶サブシステム
1212  ユーザ・インタフェース入力装置
1214  ユーザ・インタフェース出力装置
1216  ネットワーク・インタフェース
1218  ＲＡＭ
1220  ＲＯＭ
【図１】
2006178974.tif 000051
【図２】
2006178974.tif 000052
【図３】
2006178974.tif 000053
【図４】
2006178974.tif 000054
【図５】
2006178974.tif 000055
【図６】
2006178974.tif 000056
【図７】
2006178974.tif 000057
【図８】
2006178974.tif 000058
【図９】
2006178974.tif 000059
【図１０】
2006178974.tif 000060
【図１１】
2006178974.tif 000061
【図１２】
2006178974.tif 000062