(57)【要約】  デジタル・メディアを処理する方法を説明する。１つの一実施形態で、この方法は、ビデオ・フレーム内で未知のオブジェクトを検出することと、様々なソースからビデオ・フレーム内の未知のオブジェクトのありそうなアイデンティティを表す入力を受け取ることと、各入力をビデオ・フレーム内で検出された未知のオブジェクトに関連付けることとを含むことができる。受け取られた入力を、処理し、基準データと比較し、比較に基づいて、入力に関連するオブジェクトのありそうなアイデンティティを導出することができる。この方法は、さらに、ヒストリカル・データから入力が未知のオブジェクトと一致する尤度を取り出し、入力に対応する重みを作ることと、入力と各入力に関連する相対重みとを融合することと、未知のアイデンティティから基準アイデンティティへの重み付き距離の比較に基づいて未知のオブジェクトを識別することとを含むことができる。相対重みは、認識のヒストリおよび手動検証結果に基づいて、正しい認識レートを最大にするためにヒストリカル・データから選択される。
2011505086.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・ストリームから抽出される未知のオブジェクトを識別する方法であって、
前記ビデオ・ストリームからの複数のビデオ・フレームのうちの１つのビデオ・フレームにおいて、未知のオブジェクトを検出すること、
前記ビデオ・フレームにおける前記未知のオブジェクトのありそうなアイデンティティにそれぞれ該当する複数の入力を受け取ること、
各入力を前記未知のオブジェクトに関連付けること、
入力と前記未知のオブジェクトと一致する尤度に該当する相対重みを、各入力に関連付けること、
前記未知のオブジェクトに関連する各ありそうなアイデンティティから各基準オブジェクトへの距離の値を得ると、
すべての未知のオブジェクトと各基準オブジェクトとの間のジョイント距離にして、前記未知のオブジェクトに関連する各ありそうなアイデンティティから基準オブジェクトへの距離の重み付き変換であるジョイント距離を得ること、
前記未知のオブジェクトから各基準オブジェクトへの前記ジョイント距離または入力モーダリティ距離を比較すること、
前記比較に基づいて前記未知のオブジェクトの識別をすること
を含む、未知のオブジェクトの識別方法。
【請求項２】
前記複数の入力を受け取ることが、前記基準オブジェクトへの距離に関連する入力を受け取ることを含み、前記距離が、前記基準オブジェクトおよび前記未知のオブジェクトを表すベクトルの間の入力モーダリティでのユークリッド距離または非ユークリッド距離である、請求項１に記載の方法。
【請求項３】
前記未知のオブジェクトの識別をすることが、ジョイント距離関数または特定の距離関数の値が前記基準オブジェクトに関連するしきい識別値以下であることに基づく、請求項１に記載の方法。
【請求項４】
インデックス・データを作成することをさらに含み、前記インデックス・データが、前記未知のオブジェクトに関連する識別子、前記未知のオブジェクトが前記ビデオ・ストリームに現れる時刻、前記ビデオ・ストリームの１つまたは複数のビデオ・フレーム内での前記未知のオブジェクトの空間的位置、および前記未知のオブジェクトに関連する他のメタデータのうちの１つまたは複数を含む、請求項１に記載の方法。
【請求項５】
前記インデックス・データの前記作成することが、ビデオ内の人の名前を前記インデックス・データからサーチし、前記人がスクリーンに現れる瞬間から開始して前記ビデオを見ることを可能にするためである、請求項４に記載の方法。
【請求項６】
前記未知のオブジェクトが、人の顔イメージである、請求項１に記載の方法。
【請求項７】
前記ビデオ・フレーム内で検出される顔イメージに関連する前記入力モーダリティが、電子番組ガイド（ＥＰＧ）、テレビジョン・チャネル識別子、前記ビデオ・ストリームに付随する字幕、光学文字認識データ（ＯＣＲ）、付随するオーディオ内で検出された人間の音声、付随するオーディオから導出されたテキスト・データ、前記ビデオ・ストリームのトランスクリプト、および前記顔イメージからなる群から選択される、請求項２に記載の方法。
【請求項８】
前記未知のオブジェクトが、人の顔イメージであり、基準顔イメージへの距離の重みが、前記人が前記ビデオの所与のカテゴリに現れる尤度から導出され、各入力重みが、各入力が前記人のアイデンティティを正しく連想する尤度の判定に基づき、前記尤度が、ビデオの対応するカテゴリ内の人の識別を表すヒストリカル・データに基づく、請求項１に記載の方法。
【請求項９】
前記ビデオ・フレーム、付随するオーディオ、ＥＰＧ、および字幕の対応する分析に基づいて前記入力を提供することをさらに含む、請求項１に記載の方法。
【請求項１０】
前記未知のオブジェクトの前記識別することが、前記ビデオ・ストリームのカテゴリに基づき、前記カテゴリが、同一のテレビジョン（ＴＶ）セット、同一のＴＶチャネル、同一のニュース・チャネル、同一のウェブ・ブロードキャスト、同一カテゴリのエンターテイメント、社交、スポーツ、政治、ファッション、ショー・ビジネス、金融、株式市場からなる群から選択され、前記ビデオ・ストリームの前記カテゴリが、ＥＰＧ、ビデオ・トランスクリプト、および以前に学習された情報からなる群から導出される、請求項１に記載の方法。
【請求項１１】
以前に認識されたビデオからの統計を受け取ることと、不正なインデックスを手動で検証し、訂正することとをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記ビデオ・ストリームのフレームからテキスト・ブロックを抽出することと、
前記テキスト・ブロックからテキストを抽出するために前記テキスト・ブロックに対してＯＣＲを実行することと、
前記テキストから人またはオブジェクトのありそうな名前を識別することと、
ビデオ・フレーム内のすべての未知のオブジェクトをありそうな名前に関連付けることと、
前記ありそうな名前と基準名前との間の距離を比較することであって、各距離が、２つの名前の間の編集距離である、比較することと、
前記比較に基づいて前記未知のオブジェクトの名前を連想することと
をさらに含む、請求項９に記載の方法。
【請求項１３】
人のありそうな名前を入手するために前記ビデオ・ストリームを識別するＥＰＧによって提供されるデータを分析することと、
ビデオ・フレーム内のすべての未知のオブジェクトを、ありそうな名前およびすべての基準人名への対応する距離に関連付けることと、
前記ビデオ・フレーム内のすべての未知のオブジェクトをありそうな名前に関連付けることと、
前記ありそうな名前と基準名前との間の距離を比較することであって、各距離が、２つの名前の間の編集距離である、比較することと、
前記比較に基づいて前記未知のオブジェクトの名前を連想することと
をさらに含む、請求項９に記載の方法。
【請求項１４】
前記ジョイント距離を入手することが、
（Ｃw）Ｄw＝ｓｑｒｔ（１／ｂwＣw＋ａw／ｂw）
を含み、Ｃwが、Ｃw＝（ｗ1Ｃ1）＋（ｗ2Ｃ2）＋…（ｗnＣn）として計算され、ｗiが、重みであり、Ｃiが、ｉ番目の入力に関連する信頼度であり、信頼度Ｃiが、入力距離ＤiからＣi＝１／（ａi＋ｂi・Ｄi2）として計算され、ａiおよびｂiが、ヒストリカル・データに基づいて選択される定数であり、重みｗiが、正しい認識レートを最大にするためにヒストリカル・データに基づいて入力に割り当てられ、Ｄiが、未知のオブジェクトのベクトルと基準オブジェクトのベクトルとの間の距離、もしくは未知のオブジェクトの入力のありそうなアイデンティティから基準オブジェクトへの距離であり、あるいは、Ｄiが編集距離である、請求項１に記載の方法。
【請求項１５】
前記未知のオブジェクトが、顔イメージであり、Ｄｗが、基準データベース内の前記顔イメージへのジョンイト距離を定義し、前記顔イメージが、Ｄｗが前記顔イメージに関連するしきい値未満である時に正しく識別されると仮定される、請求項１４に記載の方法。
【請求項１６】
ビデオ・ストリームから抽出される未知のオブジェクトを識別するシステムであって、
前記ビデオ・ストリームを構成する複数のビデオ・フレームを処理するバッファード・フレーム・シーケンス・プロセッサを備え、
ビデオ・フレーム内の前記未知のオブジェクトを検出し、抽出する顔コンテキスト抽出プロセッサを備え、前記ビデオ・フレームが、前記ビデオ・ストリームを構成する前記複数のビデオ・フレームのうちの１つであり、
複数の入力を受け取る受取モジュールを備え、各入力が、前記ビデオ・フレーム内の前記未知のオブジェクトの予測されたアイデンティティであり、
各入力を前記ビデオ・フレーム内で検出される前記未知のオブジェクトに関連付け、相対重みを各入力に関連付ける関連付けモジュールを備え、前記相対重みが、入力が前記未知のオブジェクトを正しく識別する尤度であり、
前記複数の前記入力および各入力に関連する前記相対重みに基づいて、前記ビデオ・フレーム内の前記未知のオブジェクトおよび既知のオブジェクトのセットから選択される各基準オブジェクトから距離関数の値を得る計算モジュールを備え、
前記未知のオブジェクトおよび各基準オブジェクトの前記距離関数の前記値を比較する比較モジュールを備え、
前記比較に基づいて前記未知のオブジェクトを識別する識別モジュールを備える、
未知のオブジェクトの識別システム。
【請求項１７】
前記受取モジュールが、前記基準オブジェクトへの距離に関連する前記複数の入力を受け取るよう構成され、前記距離が、前記基準オブジェクトおよび前記未知のオブジェクトを表すベクトルの間の入力モーダリティでの非ユークリッド距離を含む、請求項１６に記載のシステム。
【請求項１８】
前記識別モジュールが、前記距離関数の前記値が前記基準オブジェクトに関連するしきい識別値以下であることに基づいて前記未知のオブジェクトを識別するよう構成される、請求項１６に記載のシステム。
【請求項１９】
インデクシングされたデータを作成するインデクシング・モジュールをさらに備え、前記インデクシングされたデータが、前記未知のオブジェクトの識別子、前記未知のオブジェクトが前記ビデオ・ストリームに現れる時刻、および前記ビデオ・ストリームの１つまたは複数のビデオ・ストリーム内の前記未知のオブジェクトの空間的位置のうちの１つまたは複数を含む、請求項１６に記載のシステム。
【請求項２０】
前記インデクシング・モジュールが、ビデオ内の人名をサーチするのに使用される前記インデクシングされたデータを作成し、人がスクリーンに現れたまさにその瞬間からユーザがビデオを見ることを可能にするためのものである、請求項１９に記載のシステム。
【請求項２１】
前記識別モジュールが、前記ビデオ・ストリームのカテゴリによって影響され、前記カテゴリが、同一のテレビジョン（ＴＶ）セット、同一のＴＶチャネル、同一のニュース・チャネル、同一のウェブ・ブロードキャスト、同一カテゴリのエンターテイメント、社交、スポーツ、政治、ファッション、ショー・ビジネス、金融、および株式市場を含み、前記ビデオ・ストリームの前記カテゴリが、電子番組ガイド（ＥＰＧ）、ビデオ・トランスクリプトから導出されるか、前に学習されたものである、請求項１６に記載のシステム。
【請求項２２】
前記ビデオ・ストリームの前記カテゴリが、認識されたビデオならびに不正なインデックスの手動検証および訂正から統計を収集することによって以前に学習される、請求項２１に記載のシステム。
【請求項２３】
前記ビデオ・ストリームのフレームからテキスト・ブロックを抽出する光学文字認識（ＯＣＲ）コンテンツ抽出プロセッサと、
前記テキスト・ブロックからテキストを抽出するために前記テキスト・ブロックに対してＯＣＲを実行するテキストベース・コンテキスト作成プロセッサと、
前記テキスト内の人のありそうな名前を識別し、前記ビデオ・フレーム内のすべての未知のオブジェクトをありそうな名前に関連付け、前記ありそうな名前と基準名前との間の距離を比較し、各距離が、２つの名前の間の編集距離であり、前記比較に基づいて前記未知のオブジェクトの名前を連想する、名前抽出プロセッサと
をさらに備える、請求項２２に記載のシステム。
【請求項２４】
ビデオ・ストリームから抽出された未知のオブジェクトを識別する方法であって、
ビデオ・フレーム内の前記未知のオブジェクトを検出する手段であって、前記ビデオ・フレームが、前記ビデオ・ストリームからの複数のビデオ・フレームのうちの１つである、手段と、
複数の入力を受け取る手段であって、前記複数の前記入力の各入力が、前記ビデオ・フレーム内の前記未知のオブジェクトのありそうなアイデンティティである、手段と、
各入力を前記未知のオブジェクトに関連付ける手段と、
相対重みを各入力に関連付ける手段であって、前記相対重みが、入力が前記未知のオブジェクトと一致する尤度である、手段と、
前記未知のオブジェクトに関連する各ありそうなアイデンティティから各基準オブジェクトへの距離の値を入手する手段と、
すべての未知のオブジェクトと各基準オブジェクトとの間のジョイント距離を入手する手段であって、前記ジョイント距離が、前記未知のオブジェクトに関連する各ありそうなアイデンティティから基準オブジェクトへの距離の重み付き変換である、手段と、
前記未知のオブジェクトから各基準オブジェクトへの前記ジョイント距離または入力モーダリティ距離を比較する手段と、
前記比較に基づいて前記未知のオブジェクトを識別する手段と
を含む方法。
【請求項２５】
１つまたは複数のプロセッサによって実行される時に、
ビデオ・ストリームから抽出される未知のオブジェクトを識別する方法であって、
前記ビデオ・ストリームからの複数のビデオ・フレームのうちの１つのビデオ・フレームにおいて、未知のオブジェクトを検出するオペレーションと、
前記ビデオ・フレームにおける前記未知のオブジェクトのありそうなアイデンティティにそれぞれ該当する複数の入力を受け取るオペレーション、
各入力を前記未知のオブジェクトに関連付けるオペレーション、
入力と前記未知のオブジェクトと一致する尤度に該当する相対重みを、各入力に関連付けるオペレーションと、
前記未知のオブジェクトに関連する各ありそうなアイデンティティから各基準オブジェクトへの距離の値を得るオペレーションと、
すべての未知のオブジェクトと各基準オブジェクトとの間のジョイント距離にして、前記未知のオブジェクトに関連する各ありそうなアイデンティティから基準オブジェクトへの距離の重み付き変換であるジョイント距離を得るオペレーションと、
前記未知のオブジェクトから各基準オブジェクトへの前記ジョイント距離または入力モーダリティ距離を比較するオペレーションと、
前記比較に基づいて前記未知のオブジェクトの識別をするオペレーションと
を実行する命令を含むコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本願は、その全体が参照によって本明細書に組み込まれている、２００７年１１月７日に出願した米国特許仮出願第６０／９８６２３４号、名称「ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＰＲＯＣＥＳＳＩＮＧ  ＤＩＧＩＴＡＬ  ＭＥＤＩＡ」および２００７年１２月３日に出願した米国特許出願第１１／９４９１２８号、名称「ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＰＲＯＣＥＳＳＩＮＧ  ＤＩＧＩＴＡＬ  ＭＥＤＩＡ」に対する米国特許法１１９（ｅ）条の下での優先権の利益を主張するものである。
【０００２】
（技術分野）
本願は、デジタル・メディアを処理するシステムおよび方法に関する。
【背景技術】
【０００３】
ビデオ・サーチを実行するために、メタデータが、しばしば、ビデオ・クリップに関連付けられ、その後、データベースに格納される。その後、データベースを、キーワードを使用してサーチすることができ、対応するキーワードが見つかる場合に、関連付けられたビデオ・クリップを識別することができる。
【０００４】
一実施形態を、限定的ではなく例示として添付の図面に示す。同図面では、類似する符号が類似する要素を示す。
【図面の簡単な説明】
【０００５】
【図１】一実施形態による、デジタル・メディアを処理するシステムおよび方法が実現されるアーキテクチャを示すブロック図である。
【図２】一実施形態による、デジタル・メディア・プロセッサを示すブロック図である。
【図３】一実施形態による、デジタル・メディア・プロセッサの様々なコンポーネントである。
【図４】一実施形態による、デジタル・メディアを処理するコンテキスト・フュージョン・プロセッサを示すブロック図である。
【図５】一実施形態による、デジタル・メディアを処理する方法を示す流れ図である。
【図６】一実施形態による、オブジェクトを抽出し格納する方法を示す流れ図である。
【図７】一実施形態による、関連テキストの光学文字認識を利用してイメージ内のオブジェクトに関連するテキスト・ブロックを識別する方法を示す流れ図である。
【図８】一実施形態による、ビデオ・クリップ内のオブジェクトに関連する名前を識別する方法を示す流れ図である。
【図９】コンピュータ・システムの形のマシン例を示す図であり、本明細書で述べる方法のうちのいずれか１つまたは複数を当該マシンに実行させるための命令セットを、実行できるマシン例を示す。
【発明を実施するための形態】
【０００６】
本明細書で説明する一実施形態は、コンピュータにインストールされたソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組合せを含むオペレーティング環境で実施することができる。このテクノロジを実施するコンピュータは、複数のプロセッサを有してよい。本明細書で説明される技法は、様々なソースからの情報に基づいてビデオ・クリップ内の人を自動的に識別するのに利用することができる。１つのソースを、ビデオ内の人のビジュアル・イメージとすることができる。そのビジュアル・イメージを、既知のイメージと比較することができ、その比較に基づいて、ビジュアル・イメージのアイデンティティを連想することができる。情報のもう１つのソースを、ビデオ・クリップに付随する字幕とすることができる。字幕内のテキストを、ビデオに現れる人の名前の可能な言及についてサーチすることができる。
【０００７】
情報のもう１つのソースを、ビデオ・クリップに付随するオーディオとすることができる。オーディオを、テキストに変換し、ビデオ・クリップに現れる人の名前について同様にサーチすることができる。情報のもう１つの可能なソースを、ビデオに現れるテキストとすることができる。例えば、ニュース放送で、インタビューされる人は、しばしば、彼らの名前および他の関連情報によってオンスクリーンでラベル付けされる。ビデオ・クリップ内の名前は、文字認識技法を使用して認識することができる。情報のもう１つのソースを、他の情報の中でもビデオ・クリップのタイトルおよびジャンルを含む可能性があるＥＰＧ（電子番組ガイド）とすることができる。これらの様々なソースによって生成される連想に基づいて、ビデオに現れる人を識別することができる。この技法は、例えばビジュアル・イメージだけに基づく識別よりも高い度合の確実性で識別を行うことを可能にする。
【０００８】
図１に、デジタル・メディアを処理する方法およびシステムが実行される環境例１００を示す。図１に示されているように、環境例１００は、ユーザ・システム１１０、デジタル・メディア処理ファシリティ１２０、ネットワーク１３０、サード・パーティ・コンテンツ・プロバイダ１４０、および衛星１５０を含むことができる。
【０００９】
ユーザ・システム１１０は、デジタル・メディア視聴アプリケーション１１２および衛星パラボラ・アンテナ１１４を含むことができる。ユーザ・システム１１０は、汎用コンピュータ、ＴＶ（テレビジョン・セット）、ＰＤＡ（携帯情報端末）、携帯電話機、無線デバイス、ならびに、様々な形で獲得され、格納され、または伝送されるイメージ（テキストを含む）のビジュアル提示が可能なすべての他のデバイスとすることができる。デジタル・メディア視聴アプリケーション１１２は、ユーザ・システム１１０を介するデジタル・メディアの表示を容易にする任意のアプリケーション・ソフトウェアを含むことができる。デジタル・メディア視聴アプリケーション１１２は、ユーザ・システム１１０、サード・パーティ・コンテンツ・プロバイダ１４０、またはデジタル・メディア処理ファシリティ１２０で実行することができる。いくつかの一実施形態では、デジタル・メディア視聴アプリケーション１１２を、異なるシステムにまたがって分散させることができる。
【００１０】
衛星パラボラ・アンテナ１１４は、一実施形態で、衛星に信号を送信し、かつ／または衛星から信号を受信するという特定の目的のために設計されたタイプのアンテナである。衛星パラボラ・アンテナ１１４は、様々なサイズおよび設計に従って製造することができ、衛星からデジタル・データを受信し、送信するのに使用することができる。衛星パラボラ・アンテナ１５４は、デジタル・メディア処理ファシリティ１２０の一部とし、衛星１５０を介してサード・パーティ・コンテンツ・プロバイダ１４０に通信するために設置することができる。デジタル・メディア処理ファシリティ１２０は、設置された電気配線および電子配線、ケーブリング、ならびに、ユーティリティ、グラウンド・ネットワーク、無線ネットワーク、および電子サポート構造などの機器およびサポートする構造を含む、モバイル構造または移動可能な構造とすることができる。デジタル・メディア・プロセッサ２００を、サード・パーティ・コンテンツ・プロバイダ１４０から受信されたデジタル・メディアを処理するように構成することができ、デジタル・メディア処理ファシリティ１２０に配置することもできる。いくつかの一実施形態で、デジタル・メディア処理ファシリティ１２０は、汎用のハードウェアおよびソフトウェアを含むことができ、オフィス・ビルディング内に配置され得る。
【００１１】
デジタル・メディア・プロセッサ２００は、さらに、コンテキスト・フュージョン・プロセッサ２２０およびデジタル・メディア・サーチ・プロセッサ２８０を含むことができる。デジタル・メディア・プロセッサ２００は、汎用コンピュータ・プロセッサまたは、特にデジタル・メディアの受信、作成、および分配のために設計されたタイプのプロセッサとすることができる。コンテキスト・フュージョン・プロセッサ２２０は、デジタル・メディア・プロセッサ２００に存在することができ、これを利用して、下でより詳細に説明するコンテキスト・プロセッサによって供給されるコンテキストを融合（フューズ）し、サード・パーティ・コンテンツ・プロバイダ１４０によって供給されるデジタル・メディアに関連するオブジェクトを識別することができる。様々なモジュールを含むコンテキスト・フュージョン・プロセッサ２２０の一実施形態を、下で図３を参照して例として説明する。コンテキスト・フュージョン・プロセッサ２２０でデジタル・メディアを処理するのに利用できる方法を、下で図５を参照して例として説明する。
【００１２】
デジタル・メディア・サーチ・プロセッサ２８０は、いくつかの一実施形態で、デジタル・メディア視聴アプリケーション１１２によって送られる要求を受け取り、叶えることによって、フィードまたはデジタル・メディアのサーチを容易にするのに利用することができる。いくつかの一実施形態で、デジタル・メディア・サーチ・プロセッサ２８０は、コンテキスト・フュージョン・プロセッサ２２０によって供給されるインデクシングされたデータを利用することができる。デジタル・メディア・サーチ・プロセッサ２８０は、デジタル・ビデオ・フィードから人を自動的に識別するコンピュータ駆動アプリケーションとすることができる。ネットワーク１３０は、データ通信のために相互接続されるデータ処理ノードのネットワークとすることができる。
【００１３】
サード・パーティ・コンテンツ・プロバイダ１４０は、さらに、デジタル・メディア・コンテンツ・ジェネレータ１４２および衛星パラボラ・アンテナ１８４を含むことができる。サード・パーティ・コンテンツ・プロバイダ１４０は、デジタル・ビデオなどのデジタル・メディア・コンテンツを所有するか、それに対する権利を有する実体とすることができる。例として、サード・パーティ・コンテンツ・プロバイダ１４０は、デジタル・メディア・ブロードキャスタにレポートを提供するニュース・サービスとすることができる。デジタル・メディア・コンテンツ・ジェネレータ１４２は、デジタル・メディア・コンテンツを生成し、デジタル・メディア処理ファシリティ１２０で受信されるために衛星パラボラ・アンテナ１８４またはネットワーク１３０を介してデジタル・メディア・コンテンツを送信する、ソフトウェア・アプリケーションとすることができる。デジタル・メディアを処理するシステムを、例として図２を参照して説明する。
【００１４】
図２に示されているように、デジタル・メディア・プロセッサ２００は、バッファード・フレーム・シーケンス・プロセッサ２２２と、顔コンテキスト抽出プロセッサ２２４、光学文字認識コンテンツ抽出プロセッサ２２６、テキストベース・コンテキスト作成プロセッサ２２８、名前抽出プロセッサ２３０、オーディオ・コンテキスト抽出プロセッサ２３２などの様々なコンテキスト抽出プロセッサと、コンテキスト・フュージョン・プロセッサ２２０とを含む。デジタル・メディア・プロセッサ２００は、クラスタＤＢ  ２３６、人ＤＢ  ２３８、インデックスＤＢ  ２４０、およびヒストリＤＢ  ２４２などの複数のデータベースをも含む。デジタル・メディア・プロセッサ２００は、フュージョン・パラメータ２４４、ビデオ入力２４６、オーディオ入力２４８、字幕入力２５０、ＥＰＧ入力２５２、および他の入力２５４などの複数の入力モジュールをも含む。
【００１５】
バッファード・フレーム・シーケンス・プロセッサ２２２および様々なコンテンツ抽出プロセッサを、一実施形態で、ビデオ・クリップを受け取り、そのビデオ・クリップに現れる人の識別に利用される様々な情報を抽出するように構成することができる。バッファード・フレーム・シーケンス・プロセッサ２２２を、一実施形態で、サード・パーティ・コンテンツ・プロバイダ１４０（図１）から受け取られるビデオ・フィードを処理するように構成することができる。ビデオ・フィードを、ある時間持続時間のビデオ・クリップまたはある個数のフレームを有するビデオ・クリップに区分することができる。処理されたビデオ・フレームを、顔コンテキスト抽出プロセッサ２２４によって受け取ることができ、顔コンテキスト抽出プロセッサ２２４は、ビデオ・フレームに現れる人の顔イメージを抽出し、検出するように構成される。したがって、顔コンテキスト抽出プロセッサ２２４は、一実施形態で、ビデオ・フレームに含まれる顔イメージを検出するために、バッファード・フレーム・シーケンス・プロセッサ２２２から受け取られるフレームを処理することができる。顔イメージが抽出されたならば、顔コンテキスト抽出プロセッサ２２４は、既知の基準オブジェクトとの比較に基づいて、ビデオ・フレームに現れる人のアイデンティティを連想することができる。顔コンテキスト抽出プロセッサ２２４を、光学文字認識コンテンツ抽出プロセッサ２２６によるさらなる処理のために保存されるビデオ・フレームのテキスト・コンテキストを抽出するように構成することもできる。さらなる処理のために保存されたテキスト・コンテンツを、顔イメージと同一のフレームから得られるテキスト内の未知のオブジェクトのアイデンティティに関する可能な連想のために分析することができる。受け取られたフレームから顔コンテキストを抽出する方法を、下で図６を参照して例として述べる。
【００１６】
光学文字認識コンテンツ抽出プロセッサ２２６を、一実施形態で、ビデオ・フレーム内のテキストのイメージをマシン編集可能テキストに変換することによって、顔コンテキスト抽出プロセッサ２２４によって保存されたテキスト・コンテキストを処理するように構成することができる。処理されたマシン編集可能テキストを、その後、さらなる処理のために、名前抽出プロセッサ２３０によって受け取ることができる。フレームのテキスト・コンテンツから抽出された名前を利用して、同一フレーム内のオブジェクトのアイデンティティに関する連想を行うことができる。テキストベース・コンテキスト作成プロセッサ２２８を、一実施形態で、フレーム内のオブジェクトに関連するテキスト・コンテンツを作成するために、字幕入力２５０およびＥＰＧ入力２５２を受け取るように構成することができる。テキスト・コンテンツを、名前抽出プロセッサ２３０によってさらに処理して、同一フレーム内のオブジェクトのアイデンティティに関して行われる連想に影響することができる。
【００１７】
名前抽出プロセッサ２３０を、一実施形態で、光学文字認識コンテンツ抽出プロセッサ２２６およびテキストベース・コンテキスト作成プロセッサ２２８によって処理されたテキスト・コンテンツを受け取るように構成することができる。抽出されたテキストを、テキスト・コンテンツと同一のフレームに現れるオブジェクトの識別に影響するために、オブジェクトの既知の名前と比較することができる。抽出されたテキストが、既知の名前のどれとも一致しない場合には、名前抽出プロセッサ２３０は、既知のアルゴリズムを利用して、抽出されたテキストを既知の名前のいずれかに変換するのに必要な演算の個数を判定することができる。例として、レーベンシュタイン距離アルゴリズムを利用して、抽出されたテキストと既知の名前との間の編集距離を測定することができる。
【００１８】
オーディオ・コンテキスト抽出プロセッサ２３２を、一実施形態で、音声を認識し、ビデオに現れるオブジェクトのアイデンティティに関する連想を行うために、オーディオ入力２４８を受け取るように構成することができる。オーディオ・コンテキスト抽出プロセッサ２３２を、音声信号をデジタル・データの形の単語のシーケンスに変換するように構成することもできる。この音声認識プロセスによって抽出された単語を、人の名前を抽出するために名前抽出プロセッサ２３０によって受け取ることができる。
【００１９】
コンテキスト・フュージョン・プロセッサ２２０を、一実施形態で、ビデオ・クリップ内に現れる未知のオブジェクトのアイデンティティに関する連想を、顔コンテキスト抽出プロセッサ２２４、名前抽出プロセッサ２３０、およびオーディオ・コンテンツ抽出プロセッサ２３２などの様々なコンテキスト抽出プロセッサから受け取るように構成することができる。コンテキスト・フュージョン・プロセッサ２２０は、コンテキスト抽出プロセッサから受け取られる連想のそれぞれに確率を割り当てるために、ヒストリＤＢ  ２４２から受け取られるフュージョン・パラメータ２４４を利用することができる。いくつかの一実施形態では、フュージョン・パラメータ２４４は、未知のオブジェクトのアイデンティティを正しく予測する尤度を表すことができる。フュージョン・パラメータ２４４を、ヒストリカル値に基づくものとし、ヒストリＤＢ  ２４２に格納することができる。例えば、オーディオ・コンテンツ抽出プロセッサ２３２が、以前のケースの９５％で未知のオブジェクトのアイデンティティを正しく連想した場合に、オーディオ・コンテンツ抽出プロセッサ２３２によって行われた連想に対応するフュージョン・パラメータの値を、大きい値にすることができる。その一方で、オーディオ・コンテンツ抽出プロセッサ２３２が、以前のケースの１５％のみで未知のオブジェクトのアイデンティティを正しく予測した場合に、オーディオ・コンテンツ抽出プロセッサ２３２によって行われた連想に対応するフュージョン・パラメータの値を、小さい値にすることができる。
【００２０】
ジョイント距離（ｊｏｉｎｔ  ｄｉｓｔａｎｃｅ）関数を利用して、フュージョン・パラメータ２４４に基づいて、抽出プロセッサによって連想されるアイデンティティを判定でき、アイデンティティと基準オブジェクトとの間の距離に基づいて、未知のオブジェクトのありそうなアイデンティティを判定することができる。本明細書で使用される距離が、差分ベクトル長さまたは、基準オブジェクトおよび未知のオブジェクトがあるベクトル空間に関してどれほど近いかまたはどれほど離れているかの尺度に類似することに留意されたい。ベクトル空間は、ユークリッド空間または非ユークリッド空間とすることができ、したがって、ベクトル空間内の距離メトリックを、ユークリッド距離または非ユークリッド距離とすることができる。アイデンティティが、コンテキスト抽出プロセッサによって与えられる連想に基づいてコンテキスト・フュージョン・プロセッサ２２０によって判定されたならば、アイデンティティ、フレーム内のオブジェクトの位置、およびビデオ・クリップ内のオブジェクトの出現の時刻が、インデックス・データベース２４０に書き込まれる。
【００２１】
クラスタＤＢ  ２３６は、一実施形態で、ビデオ・フィードから抽出された顔イメージのクラスタおよび関連するメタデータを格納するように構成されたデータベースとすることができる。顔イメージのクラスタを、クラスタＤＢ  ２３６に格納する前にクラスタ・キャッシュに保存することができる。いくつかの一実施形態で、顔イメージを、それらがクラスタに配置される前に、所定の判断基準に従って正規化することができる。顔コンテキスト抽出プロセッサ２２４は、所定の確実性を伴って、既存クラスタ・キャッシュ内の顔イメージが、顔イメージと同一の人に関連すると判定する場合に、クラスタ・キャッシュ内の既存クラスタにその顔イメージを追加することができる。クラスタ・キャッシュが、この時点で、クラスタ内の顔イメージに関連する人のアイデンティティに関する情報を全く含まない場合があることに留意されたい。
【００２２】
顔コンテキスト抽出プロセッサ２２４が、所定の確実性を伴って、顔コンテキスト抽出プロセッサ２２４から受け取られる顔イメージおよび既存クラスタ内の顔イメージが同一の人に関連するかどうかを判定できない時には、新しいクラスタを作成することができる。これは、ビデオ・クリップに現れる１人の人ごとに複数のクラスタが作成されることをもたらす場合がある。コンテキスト・フュージョン・プロセッサ２２０は、クラスタ内の以前に未知のオブジェクトが識別される時に、自動的に、クラスタ・キャッシュに含まれるクラスタ・メタデータを更新し、クラスタをクラスタＤＢ  ２３６に格納することができる。クラスタ・メタデータを、人ＤＢ  ２３８に格納された既知の基準オブジェクトへのクラスタからの顔イメージの比較の結果に基づいて、手動で更新することもできる。
【００２３】
人ＤＢ  ２３８は、一実施形態で、既知の基準オブジェクトを格納するように構成されたデータベースである。顔コンテキスト抽出プロセッサ２２４は、人ＤＢ  ２３８に格納された既知の基準オブジェクトを使用して、クラスタ内の顔イメージと比較し、その顔イメージに関連する人のアイデンティティに関する連想を行うことができる。人ＤＢ  ２３８は、未知の顔イメージと基準オブジェクトとの間の距離測定に利用するために、既知の基準オブジェクトをコンテキスト・フュージョン・プロセッサ２２０に供給することもできる。人ＤＢ  ２３８内の基準オブジェクトを、高解像度イメージによって表すことができる。
【００２４】
インデックスＤＢ  ２４０は、一実施形態で、コンテキスト・フュージョン・プロセッサ２２０によって、識別されたオブジェクトのインデクシングされたレコード、ビデオ・フレーム内でのオブジェクトの位置、およびビデオ・クリップ内でのオブジェクトの出現の時刻を移植（ポピュレート）れるデータベースである。ヒストリＤＢ  ２４２は、１つの実施形態で、識別がコンテキスト・フュージョン・プロセッサ２２０によって行われた後またはクラスタが正しいメタデータに関連することが手動で判定された後に、クラスタＤＢ  ２３６に格納されたクラスタによって移植されるデータベースである。ヒストリＤＢ  ２４２を、一実施形態で、既に上で説明したように、フュージョン・パラメータ２４４をコンテキスト・フュージョン・プロセッサ２２０に供給するように構成することができる。デジタル・メディア・プロセッサ２００の様々なコンポーネントの間の関係を、図３を参照して例として説明する。
【００２５】
図３に、様々な入力がどのように収集され、処理されるかを示す。コンテキスト・フュージョン・プロセッサ２２０は、データベースからの追加データと一緒にこれらの入力を使用して、ビデオ・クリップ内の未知のオブジェクトのアイデンティティを判定することができる。いくつかの一実施形態で、未知のオブジェクトのアイデンティティの判定を、次のように実行することができる。すべての入力ｉについて（ｉは入力番号１、２、３、．．．、Ｎである）、各基準オブジェクトＤiへの距離を入手し、重みｗiを、ヒストリＤＢ  ２４２から受け取られるヒストリカル・データに基づいて入力に割り当てる。次に、すべての距離を、例えばＣi＝１／（ａi＋ｂi・Ｄi2）である信頼値Ｃiに再計算し、ここで、ａi＋ｂiは、未知のオブジェクトのヒストリ的に実行された認識に基づいて選択される定数である。
【００２６】
その後、ジョイント信頼度（ｊｏｉｎｔ  ｃｏｎｆｉｄｅｎｃｅ）関数（Ｃw）を、Ｃw＝（ｗ1Ｃ1）＋（ｗ2Ｃ2）＋．．．（ｗnＣn）として入手することができる。ジョイント信頼度Ｃwを利用して、Ｄw＝ｓｑｒｔ（１／ｂwＣw＋ａw／ｂw）としてジョイント距離Ｄwを入手することができる。ここで、Ｄiは、未知のオブジェクトのベクトルと基準オブジェクトのベクトルとの間の距離とすることができる。Ｄiは、レーベンシュタイン距離として抽出される編集距離とすることができる。Ｄiは、基準データベース内の基準オブジェクトへの未知のオブジェクトの類似度を示す距離とすることができる。Ｄiは、いくつかの実施形態で、データベース内の基準人への音声類似度を示す距離とすることができる。
【００２７】
ジョイント距離関数値をヒストリカル認識から学習されるあるしきい値と比較することによって、未知のオブジェクトが基準オブジェクトとして識別されるかどうかに関する判断を行うことができる。ある基準オブジェクトに関する距離値が、しきい値未満である場合に、未知のオブジェクトは、この基準オブジェクトとして識別される。ジョイント距離がしきい値未満である複数の基準オブジェクトがある場合には、最小の距離値を有する基準オブジェクトが選択される。提示される例では、入力は、重みを用いて線形に組み合わされる。しかし、他のジョイント距離派生物を使用できることに留意されたい。例えば、重みを用いる入力の非線形組合せを利用することができる。例えば、部分的信頼度Ｃiではなく、真の条件付き確率を利用するiことができる。任意の他のタイプの距離から信頼度への変換を利用することができる。
【００２８】
いくつかの一実施形態で、コンテキスト・フュージョン・プロセッサ２２０は、識別されたオブジェクトのインデクシングされたレコードを作成し、そのインデクシングされたレコードをインデックスＤＢ  ２４０に格納することができる。コンテキスト・フュージョン・プロセッサ２２０の様々なコンポーネントを、図４に示す。図４に示されているように、コンテキスト・フュージョン・プロセッサ２２０は、受取モジュール２０２、関連付けモジュール２０４、計算モジュール２０６、比較モジュール２０８、識別モジュール２１０、インデクシング・モジュール２１２、および他のモジュール２１４を含むことができる。コンテキスト・フュージョン・プロセッサ２２０によって実行される様々なオペレーションを、図５の方法例５００を参照して説明する。
【００２９】
図５に、１つの一実施形態による、デジタル・メディアを処理する方法５００を示す。方法５００を、ハードウェア（例えば、専用論理、プログラマブル論理、マイクロコードなど）、ソフトウェア（汎用コンピュータ・システムまたは専用のマシンで実行できるものなど）、またはこの両方の組合せを含むことができる処理論理によって実行することができる。１つの実施形態で、処理論理は、図２に示されたデジタル・メディア・プロセッサ２００に存在する。方法５００を、図４を参照して上で述べた様々なモジュールによって実行することができる。これらのモジュールが、処理論理を含むことができる。
【００３０】
図５に示されているように、方法５００は、図４に示された受取モジュール２０２が、オペレーション５０２でコンテキスト抽出プロセッサから入力を受け取ることから開始される。いくつかの一実施形態では、コンテキスト抽出プロセッサから受け取られる各入力を、顔コンテキスト抽出プロセッサ２２４によって検出された未知のオブジェクトと人ＤＢ  ２３８の基準オブジェクトの中から選択された連想される基準オブジェクトとの間の距離とすることができる。図３を参照して上で述べたように、受取モジュール２０２によって受け取られる入力を作るために抽出プロセッサによって利用されるデジタル・メディア入力は、ビデオ・フレーム内で検出される顔イメージ、ＥＰＧ、テレビジョン・チャネル識別子、ビデオ・ストリームに付随する字幕、光学文字認識データ、ビデオに付随するオーディオ内で検出される人間の音声、付随するオーディオから導出されるテキスト・データ、およびビデオ・ストリームから導出されるオーディオのトランスクリプトを含むことができる。
【００３１】
受取モジュール２０２によって様々なコンテキスト抽出プロセッサから受け取られる連想は、未知のオブジェクトと基準オブジェクトとの間の距離を表すことができる。いくつかの一実施形態で、単一のコンテンツ抽出プロセッサから受け取られる複数の連想がある場合がある。単一のコンテキスト抽出プロセッサから受け取られる複数の連想は、複数の基準オブジェクトが未知のオブジェクトに似て見えることを示すことができる。オペレーション５０２では、複数の基準オブジェクトが未知のオブジェクトのあるしきい距離以内と判定される可能性があるので、単一のコンテキスト抽出プロセッサから受け取られる複数の連想がある場合がある。いくつかの実施形態では、基準オブジェクトと未知のオブジェクトとの間の最短距離だけが、単一のコンテキスト抽出プロセッサから受け取られる。いくつかの一実施形態では、コンテキスト抽出プロセッサから受け取られる基準オブジェクトへの入力距離が、非ユークリッド座標系でのベクトル差のノルムとして表される。
【００３２】
上で述べたように、受取モジュール２０２によって受け取られる各入力は、未知のオブジェクトと基準オブジェクトとの間の距離を表すことができ、ここで、正しい識別の尤度は、距離が小さくなるにつれて大きくなる可能性がある。どの抽出プロセッサが受取モジュール２０２に入力を供給しているのかに応じて、距離が、異なる種類である場合がある。顔コンテキスト抽出プロセッサ２２４から受け取られる距離は、未知の顔イメージと基準顔イメージとの間の距離を表す。オーディオ・コンテキスト抽出プロセッサ２３２から受け取られる距離は、未知のオブジェクトの音声と既知の基準オブジェクトとの間の差を表す。名前抽出プロセッサ２３０から受け取られる距離は、未知のオブジェクトの名前と既知の基準オブジェクトの名前との間の差を表す。未知のオブジェクトのあるしきい距離以内の基準オブジェクトの個数が多い時に、対応するコンテンツ抽出プロセッサに関連する連想に割り当てられる重みを、不正な識別のより高い尤度のゆえに、より小さくすることができる。
【００３３】
オペレーション５０４で、受取モジュール２０２は、オペレーション５０２で受け取った入力に関連付けるべき相対重みを受け取ることができる。相対重みは、基準オブジェクトと未知のオブジェクトとの間の距離が正しく判定された尤度を表すことができる。いくつかの実施形態で、重みを、図３に示されたヒストリＤＢ  ２４２から入手される正しい識別のヒストリカル確率に基づくものとすることができる。ヒストリカル・データの利用は、処理されたビデオ・ストリームの一部がヒストリＤＢ  ２４２への記入およびヒストリカル確率の導出のために手動で検証されることを暗示することができる。例として、コンテキスト抽出プロセッサは、基準オブジェクトと未知のオブジェクトとの間の距離が最小になることを識別の試みの９０％で正しく判定することができる。そのような識別ケースの９０％で、基準オブジェクトを、その後、未知のオブジェクトであると判定することができる。したがって、そのような連想に関連する重みを、ヒストリカル・ケースの３０％でのみ正しかった入力に関連する重みより大きいものとすることができる。ビデオの所与のカテゴリでのオブジェクトまたは人の出現のヒストリカル確率を使用して、未知のオブジェクトがビデオに現れる尤度を判定することができる。したがって、ある人がビデオにより頻繁に現れるほど、そのビデオ内で検出されるすべてのオブジェクトまたは顔がその人のものである可能性がより高くなり、したがって、そのような人に関連する重みを増やすことができる。
【００３４】
いくつかの実施形態で、入力の重みを、対応する抽出プロセッサによって、何個の他の可能な基準オブジェクトが未知のオブジェクトのしきい距離内にあるかに基づいて判定することができる。例として、抽出プロセッサが、お互いからのあるしきい距離以内に３つの可能な一致を有する場合に、誤りの尤度がより高いので、入力に割り当てられる重みを、より小さくすることができる。入力は、同種ではなく、ビデオ・フレーム、付随するオーディオ、字幕、および他のデジタル・メディアの分析に基づく場合があるので、ヒストリカル・データに基づいて各入力に割り当てられる重みは、以前の正しい識別のパーセンテージに直接に相関しない場合がある。
【００３５】
いくつかの実施形態では、入力に関連する相対重みに影響する追加の要因がある場合がある。そのような要因は、基準オブジェクトおよび未知のオブジェクトが同一ＴＶセット、同一ＴＶチャネル、同一ニュース・チャネル、および同一ウェブ・ブロードキャストで見られているか否かを含むことができる。他の要因は、社会生活、スポーツ、政治、ファッション、ショー・ビジネス、金融、および株式市場を含むビデオ・クリップのカテゴリを含むことができる。ビデオ・クリップのカテゴリに関する情報を、ＥＰＧ、ビデオ・トランスクリプトから導出するか、以前に学習したものとすることができる。ビデオのコンテキストのロケールも、入力の相対重みに影響する場合がある。例として、ビデオがフランスで撮影された場合に、異なる国の国民ではなくフランス国民がそのビデオに現れている可能性がより高い。
【００３６】
オペレーション５０６で、受取モジュール２０２によって受け取られた相対重みを、そのめいめいの入力に、図４に示された関連付けモジュール２０４によって関連付けることができる。いくつかの実施形態では、下で述べる計算を単純にするために、受取モジュール２０２によって受け取られた重みの合計が単位重み（例えば、１）と等しくなるようにするために、各入力の重みを正規化することができる。入力およびそれに関連付けられた重みを、コンテキスト・フュージョン・プロセッサ２２０によって、図４の受取モジュール２０２によって受け取られた入力およびその重みに基づいて、基準オブジェクトと未知のオブジェクトとの間の距離を判定するのに利用することができる。重み関数を利用して、距離を判定することができる。
【００３７】
オペレーション５０８で、図４に示された計算モジュール２０６が、重み関数を利用して、未知のオブジェクトと図３に示された人ＤＢ  ２３８からの基準オブジェクトとの間の距離を計算する。重み関数は、いくつかの要素に他の要素より大きい「重み」を与えるために合計、積分、または平均演算を実行するのに利用することができる。個々のコンテキスト抽出プロセッサについてセットされたしきい距離値に依存して、距離重み値を、基準オブジェクトの異なるセットについて計算することができる。
【００３８】
いくつかの実施形態で、ジョイント距離関数の値を、人ＤＢ  ２３８内のすべての基準オブジェクトについて計算することができる。オペレーション５０８で、未知のオブジェクトと人ＤＢ  ２３８からの基準オブジェクトとの間の距離を表すジョイント距離関数の値を、図４に示された計算モジュール２０６によって、入力およびその相対重みに基づいて計算することができる。例として、ジョイント距離関数の値Ｄwを、計算モジュール２０６によってＤw＝ｓｑｒｔ（１／ｂwＣw＋ａw／ｂw）として計算することができ、ここで、Ｃwは、入力信頼度の加重合計すなわちＣw＝（ｗ1Ｃ1）＋（ｗ2Ｃ2）＋．．．（ｗnＣn）として計算されるジョイント信頼度であり、各特定の入力信頼度は、Ｃi＝１／（ａi＋ｂi・Ｄi2）として、基準オブジェクトへの入力の距離から入手される。ここで、ｗi（ｉ＝１，２，．．．ｎ）は、入力Ｄiに対応する重みであり、Ｄi（ｉ＝１，２，．．．ｎ）は、コンテキスト抽出プロセッサのうちの１つから受け取られる入力モーダリティでの基準オブジェクトへの距離である。定数ａxおよびｂxは、ヒストリＤＢ  ２４２に格納されたヒストリカル・データから学習することができる。図２を参照して上で説明したように、コンテキスト抽出プロセッサから受け取られる入力は、未知のオブジェクトと人ＤＢ  ２３８からの基準オブジェクトとの間の距離を表す。
【００３９】
オペレーション５１０で、図４に示された比較モジュール２０８を利用して、計算モジュール２０６によって計算されたジョイント距離関数の値を所定のしきい値と比較することができる。ジョイント距離関数の値は、未知のオブジェクトと基準オブジェクトとの間の距離なので、所定のしきい値は、計算された距離がある範囲内にあることを保証するようにセットされる。したがって、顔イメージは、ジョイント距離関数の値が基準顔イメージについて計算された距離のうちの最小値であり、しきい値より小さい時に、正しく識別されると仮定することができる。
【００４０】
例として、未知の人の顔イメージを、ある数学的空間内の点によって表すことができ、ジョイント距離関数の値は、その空間内の球の半径を表すことができる。基準イメージの顔イメージを表す点が、その球の中になる場合に、未知の人の顔イメージおよび基準人の顔イメージを、同一の人に関連すると仮定することができる。未知のオブジェクトと基準オブジェクトとの間の距離を、人ＤＢ  ２３８内の基準人ごとに計算することができる。基準オブジェクトと共に人ＤＢ  ２３８に格納されるメタデータには、基準オブジェクトに関連する人の名前およびその人の生業または職業を含めることができる。このメタデータは、ビデオ・フィードおよびその人の職業が主題として対応する場合に、入力に割り当てられる相対重みの増加をもたらすことができる。ビデオ・フィードの主題に関する情報を、ＥＰＧから抽出することができる。いくつかの実施形態で、ある主題に伴うビデオ内の人の頻繁な出現が、その入力に関連する相対重みを増やすことができる。
【００４１】
オペレーション５１２で、比較モジュール２０８によって行われる比較の結果に基づいて、図４に示された識別モジュール２１０は、未知のオブジェクトの識別を行うことができる。未知のオブジェクトは、いくつかの実施形態で、顔イメージとすることができる。いくつかの識別ケースで、基準オブジェクトおよび未知のオブジェクトが、同一オブジェクトとして正しく識別される場合があるが、メタデータが、人ＤＢ  ２３８内の正しくない基準オブジェクトに割り当てられる場合がある。したがって、不正な識別が生じる場合があり、オペレーション５１２では、人ＤＢ  ２３８を、視覚的チェックを実行することによって手動で訂正し、または更新することができる。したがって、視覚的チェックを実行するオペレータは、彼の以前の知識を利用して、基準オブジェクトが正しくラベル付けされていないと判定し、人ＤＢ  ２３８を更新することができる。
【００４２】
オペレーション５２２で、フュージョン・パラメータ２４４を、各コンテキスト抽出入力が未知のオブジェクトのアイデンティティを予測する尤度をより正確に表すために、チューニングすることができる。そのような判定は、オペレーション５１２で行われる識別に基づくものとすることができる。オペレーション５２２で、正しい識別がオペレーション５１２で行われる高い尤度があるか否かを判定することができる。例えば、識別が、以前に利用されたフュージョン・パラメータから受け取られる相対重みに基づいて行われる場合に、あるプロセスを、図３に示されたヒストリＤＢ  ２４２に対して実行して、入力に関連する相対重みがヒストリカル識別に相関するかどうかを判定することができる。相対重みが、ヒストリカル識別の特色をよく示してはいない場合には、相対重みを、オペレーション５２４および５１６でのヒストリカル識別に基づいて再調整し、オペレーション５０６で入力に再関連付けすることができる。距離関数重み値を、もう一度オペレーション５０８での新しい相対重みに基づいて入手し、オペレーション５１０および５１２で比較および識別のプロセスを繰り返すことができる。したがって、本明細書で説明する方法は、ビデオのすべてのカテゴリについて認識パラメータを改善することによって達成されるビデオ内のオブジェクトまたは人の識別の常に改善されるプロセスである。
【００４３】
逆に、相対重みが、ヒストリカル識別の特色をよく示している場合には、図４に示されたインデクシング・モジュール２１２が、インデックス・ファイルを作成するか、新しいインデックス・データを既存インデックス・ファイルに追加することができる。入力ビデオ・ストリーム内のフレームごとに、レコード識別子、オブジェクトのアイデンティティ、フレーム内のオブジェクトの空間的位置、およびビデオ内のオブジェクトの出現の時刻を有する対応するレコードを、インデックス・ファイル内で作成することができる。オペレーション５１８でインデクシングされるデータを、その後に使用して、ユーザが、名前によってオブジェクトをビデオからサーチすることを可能にし、ユーザが、そのオブジェクトがビデオ・ストリームに現れる正確な瞬間からビデオを見ることを可能にすることができる。図４に示された他のモジュール２１４を使用して、コンテキスト・フュージョン・プロセッサ２２０のオペレーションを容易にすることができる。顔コンテキスト抽出プロセッサ２２４によって実行される様々なオペレーションを、図６を参照して例として説明する。
【００４４】
図６に、実施形態による、オブジェクトを抽出し格納する方法６００を示す。方法６００を、図２を参照して上で述べた様々なモジュールによって実行することができる。図６に示されているように、方法６００は、オペレーション６０２で、バッファード・フレーム・シーケンス・プロセッサ２２２から受け取られるフレーム内のシーン変化を検出することから開始することができる。オペレーション６０４で、識別されるオブジェクトを、フレーム内で突き止めることができる。いくつかの実施形態で、オブジェクト検出は、当初に各フレームで実行されなくてもよい。その代わりに、顔イメージなどのオブジェクトを、入力ビデオ・ストリームのバッファリングされた部分の最初のフレームおよび最後のフレームで検出することができ、オブジェクトのありそうな位置を、すべてのバッファの最初のフレームと最後のフレームとの間に配置されたフレームにまたがって近似することができる。性能を高めるために、オブジェクトを含む可能性がより低い領域を、さらなる検出から除外することができる。
【００４５】
オペレーション６０６で、オブジェクトがフレームに存在する場合に、フレームを、ＯＣＲ（光学文字認識）処理のためにキューイングすることができる。ＯＣＲコンテンツ抽出プロセッサ２２６をその後に利用して、フレームのテキスト・コンテキストを処理することができる。ＯＣＲ処理を、図面の図７を参照して下でより詳細に説明する。オペレーション６０８で、顔イメージが既に検出されている場合に、フレーム内で目を検出することができる。目検出は、複数の既知の方法のいずれかによる目の瞳孔中心の検出によって実施することができる。目検出を、顔イメージの正規化で利用することができる。
【００４６】
例として、目イメージのセットに対してトレーニングされたＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ  Ｂｏｏｓｔｉｎｇ、適応ブースティング）アルゴリズムを使用して、抽出された顔イメージ内の目の瞳孔中心を検出することができる。この方法は、まずイメージを正面方位に正規化することなく使用することができる。他の顔検出方法は、目の瞳孔の方向検出に基づく場合がある。オペレーション６１０で、目の間の距離がしきい距離より大きい場合にフレームを保存するために、判定を行うことができる。例えば、４０ピクセル未満の目の間の距離を有する顔は、オブジェクトを識別する時に抑制され、使用されないものとすることができる。オペレーション６１２で、前にオペレーション６１０で検出された顔イメージを、光強度についておよびサイズによって水平方向で正規化し、その結果、顔イメージ内の目中心の座標が、ある固定された値を有するようにする。
【００４７】
オペレーション６１４で、オペレーション６１２で正規化された顔イメージを、クラスタ・キャッシュ内でクラスタ化することができる。各顔イメージは、その顔イメージが既存顔イメージに類似するものとして識別される場合に、既存顔イメージに追加される。そのような識別は、このオブジェクトのクラスタが以前に作成されたことを意味する場合がある。クラスタ内のすべての顔が、その顔に類似する何個のイメージがビデオ・ストリーム内で検出されるかを表す、関連する存在レートを有することができる。顔イメージが、前に検出されたクラスタからのオブジェクトを表すかどうかを判定するために、現在の顔イメージと以前の顔イメージとの間の距離を測定する。この距離が、所定のしきい値未満である場合には、その顔イメージは、その人についてクラスタが既に作成されている人を表すと仮定することができる。いくつかの実施形態で、距離が、所定のしきい値未満である場合に、ほとんど同一の顔イメージを保存することに追加の価値がない場合があり、それに対応して、その顔イメージを捨てることができる。その一方で、前に作成されたクラスタ内の顔イメージと新たに正規化された顔イメージとの間の差が、所定のしきい値より大きい場合には、そのイメージは、異なる未知のオブジェクトに属する可能性があり、したがって、新しいクラスタを開始することができる。いくつかの実施形態では、同一の未知のオブジェクトについて作成される複数のクラスタがあってもよい。
【００４８】
オペレーション６１６で、オペレーション６１４で作成されたクラスタ・キャッシュに、ありそうなオブジェクトと、正規化された顔イメージからなどの識別された各ありそうなオブジェクトに対応する信頼度レベルとのリストを用いてラベル付けすることができる。正規化された顔イメージの識別は、人ＤＢ  ２３８からのすべての基準イメージへの未知のオブジェクトの距離の計算に基づく。あるしきい値未満でレーティングされた全体的プレゼンスを有するクラスタを、破棄し、将来の処理で使用されないものとすることができる。オペレーション６１８で、オペレーション６１４で作成されたクラスタ・キャッシュを、ラベル、顔サイズ、およびスクリーンショットと共にクラスタＤＢ  ２３６に保存することができる。上で述べたように、顔コンテキスト抽出プロセッサ２２４は、光学文字認識コンテンツ抽出プロセッサ２２６による後続処理のために入力ビデオ・ストリームから抽出されたテキスト・コンテキストを保存することができる。そのようなテキスト・コンテキストは、入力ビデオ・ストリームに現れる人の名前を含む場合があるので、そのような人の識別で役立つ可能性がある。光学文字認識コンテンツ抽出プロセッサ２２６によって実行される様々なオペレーションを、図７の方法例７００を参照して例として説明する。
【００４９】
図７に、一実施形態による、関連テキストの光学文字認識についてイメージ内の顔オブジェクトに関連するテキスト・ブロックを識別する方法を示す。方法７００は、図２を参照して上で述べた様々なモジュールによって実行することができる。これらのモジュールは、処理論理を含むことができる。オペレーション７０２で、テキスト・ブロックを、図面の図６を参照して上で説明したオペレーション６０６によってＯＣＲのために保存されたフレーム内で検出することができる。
【００５０】
オペレーション７０４で、フレーム・ブロックを、テキスト・コンテンツ内のありそうな名前位置に基づいて選択することができる。ありそうな名前は、その後、図面の図２を参照して上で述べたように、単語を名前に変換するのに要する可能性がある変換の個数を測定し、したがって、テキスト・コンテンツが名前を含む尤度を判定するための編集距離法（例えば、レーベンシュタイン法）を使用することによって、判定することができる。オペレーション７０６で、光学文字認識コンテンツ抽出プロセッサ２２６は、テキスト・ブロックを処理することができ、オペレーション７０８で、キャプション・パターン・テンプレートを見つけることができ、オペレーション７１０で、ＯＣＲ出力を分類することができ、オペレーション７１２で、生ＯＣＲコンテキストを作成することができる。オペレーション７１２で作成される生ＯＣＲコンテキストを、名前抽出プロセッサ２３０によって処理して、生ＯＣＲコンテキストから名前を抽出することができる。名前抽出プロセッサ２３０によって実行される様々なオペレーションを、図８の方法例８００を参照して例として説明する。
【００５１】
図８に、一実施形態による、ビデオ・クリップ内のオブジェクトに関連する名前を識別する方法を示す。方法８００は、図２を参照して上で述べた様々なモジュールによって実行することができる。これらのモジュールは、処理論理を含むことができる。図８に示されているように、方法８００は、オペレーション８０２で、オーディオ・コンテキスト抽出プロセッサ２３２から受け取られたオーディオをテキストに変換するのに使用される音声−テキスト認識テクノロジを用いて開始される。オペレーション８０４では、光学文字認識コンテンツ抽出プロセッサ２２６およびテキストベース・コンテキスト作成プロセッサ２２８から受け取られたテキスト・コンテキストが、オペレーション８０２で認識されたテキストと一緒に、名前を抽出するのに使用される。オペレーション８０４で抽出された名前は、未知のオブジェクトの識別を行う時に、コンテキスト・フュージョン・プロセッサ２２０によって利用するために使用可能にされる。
【００５２】
図９に、本明細書で述べる方法論のうちのいずれか１つまたは複数をマシンに実行させる命令のセットを実行できるコンピュータ・システム９００の電子的な形のマシンを示す。様々な実施形態で、このマシンは、独立のデバイスとしてオペレーションし、あるいは、他のマシンに接続され（例えば、ネットワーク化され）得る。ネットワーク化された展開では、このマシンは、サーバ−クライアント・ネットワーク環境内のサーバ・マシンまたはクライアント・マシンの能力で、あるいはピアツーピア（または分散）ネットワーク環境内のピア・マシンとしてオペレーションすることができる。このマシンは、パーソナル・コンピュータ（ＰＣ）、タブレットＰＣ、セットトップ・ボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、セル電話機、ポータブル音楽プレイヤ（例えば、Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ａｕｄｉｏ  Ｌａｙｅｒ  ３（ＭＰ３）プレイヤなどのポータブル・ハード・ドライブ・オーディオ・デバイス、ウェブ・アプライアンス、ネットワーク・ルータ、スイッチまたはブリッジ、あるいはそのマシンによって行われるアクションを指定する命令のセット（シーケンシャルまたは他の形）を実行できる任意のマシンとすることができる。さらに、単一のマシンだけが図示されているが、用語「マシン」は、本明細書で述べる方法論のうちの任意の１つまたは複数を実行するために命令のセット（１つまたは複数）を個別にまたは協同で実行するマシンの任意の集合を含むとも解釈されなければならない。
【００５３】
コンピュータ・システム例９００は、１つまたは複数のプロセッサ９０２（例えば、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、またはその両方）と、メイン・メモリ９０４およびスタティック・メモリ９０６とを含み、これらは、バス９０８を介して互いに通信する。コンピュータ・システム９００は、さらに、ビデオ・ディスプレイ・ユニット９１０（例えば、液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ））を含むことができる。コンピュータ・システム９００は、英数字入力デバイス９１２（例えば、キーボード）、カーソル制御デバイス９１４（例えば、マウス）、ディスク・ドライブ・ユニット９１６、信号生成デバイス９１８（例えば、スピーカ）、およびネットワーク・インターフェース・デバイス９２０をも含む。
【００５４】
ディスク・ドライブ・ユニット９１６は、コンピュータ可読媒体９２２を含み、コンピュータ可読媒体９２２には、本明細書で説明する方法論または機能のうちのいずれか１つまたは複数によって実施されまたは利用される命令およびデータ構造の１つまたは複数のセット（例えば、命令９２４）が格納される。命令９２４は、完全にまたは少なくとも部分的に、コンピュータ・システム９００によるその命令の実行中に、メイン・メモリ９０４および／またはプロセッサ９０２内に存在することもできる。メイン・メモリ９０４およびプロセッサ９０２も、マシン可読媒体を構成する。
【００５５】
命令９２４を、さらに、ネットワーク９２６上でネットワーク・インターフェース・デバイス９２０を介して複数の周知の転送プロトコル（例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ））のうちの任意の１つを利用して送信しまたは受信することができる。
【００５６】
コンピュータ可読媒体９２２は、一実施形態では、単一の媒体として示されているが、用語「コンピュータ可読媒体」は、命令の１つまたは複数のセットを格納する単一の媒体または複数の媒体（例えば、集中化されたもしくは分散されたデータベース、ならびに／または関連するキャッシュおよびサーバ）を含むと解釈されなければならない。また、用語「コンピュータ可読媒体」は、マシンによる実行のための命令のセットを格納し、符号化し、または担持することができ、かつ、本願の方法論のうちのいずれか１つまたは複数をマシンに実行させ、または、そのような命令のセットによって利用されるかそれに関連するデータ構造を格納し、符号化し、または担持することができる、すべての媒体を含むと解釈されなければならない。したがって、用語「コンピュータ可読媒体」は、ソリッド・ステート・メモリ、光媒体および磁気媒体、ならびに搬送波信号を含むが、これらに限定されないと解釈されなければならない。そのような媒体は、ハード・ディスク、フロッピー（登録商標）・ディスク、フラッシュ・メモリ・カード、デジタル・ビデオ・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、および類似物をも、限定なしに含むことができる。
【００５７】
本明細書で説明する一実施形態を、コンピュータ上にインストールされたソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組合せを含むオペレーティング環境で実施することができる。
【００５８】
以上、ビデオ・クラシファイヤおよびオーディオ・クラシファイヤを使用するオブジェクトのサーチおよび識別の方法およびシステムを説明した。実施形態を、特定の実施形態を参照して説明したが、本発明のより広義の趣旨および範囲から逸脱せずに、これらの実施形態に対して様々な修正および変更を行えることは明白である。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味で解釈されなければならない。
【符号の説明】
【００５９】
２２０  コンテキスト・フュージョン・プロセッサ；  
２２４  顔コンテキスト抽出プロセッサ；  
２２６  光学文字認識コンテンツ抽出プロセッサ；  
２２８  テキストベース・コンテキスト作成プロセッサ；  
２３０  名前抽出プロセッサ；  ２３２  オーディオ・コンテキスト抽出プロセッサ；  
２３６  クラスタＤＢ；  ２３８  人ＤＢ；  ２４０  インデックスＤＢ；  
２４２  ヒストリＤＢ；  ２４４  フュージョン・パラメータ；  
２４６  ビデオ入力モジュール；  ２４８  オーディオ入力モジュール；  
２５０  字幕入力モジュール；  ２５２  ＥＰＧ入力モジュール；  
８０２  音声−テキスト・コンテキスト抽出プロセッサ。
【図１】
2011505086.tif 000003
【図２】
2011505086.tif 000004
【図３】
2011505086.tif 000005
【図４】
2011505086.tif 000006
【図５】
2011505086.tif 000007
【図６】
2011505086.tif 000008
【図７】
2011505086.tif 000009
【図８】
2011505086.tif 000010
【図９】
2011505086.tif 000011
【国際調査報告】
2011505086.tif 000012