(57)【要約】映像データにおける話し手の人物がだれであるかを判定する方法及びシステムを開示する。これは映像コンテンツ解析及び検索アプリケーションにおける人物識別を付加するのに用い得る。相関が顔認識と話し手識別との両方に依存する人物認識率を向上するのに用いられる。潜在的意味アソシエーション（LSA）処理も話し手の顔と声との関連付けを改良するのに用いられる。データの別のソース（例えば、テキスト）も映像コンテンツ解釈アプリケーションの更に広い領域について統合し得る。
2005518031.tif 000002
【特許請求の範囲】
【請求項１】
映像データを処理するオーディオ映像システムであって：
該映像データから複数のオブジェクト特性を備えることができるオブジェクト検出モジュール；
該映像データから複数のオーディオ特性を備えることができるオーディオ・セグメント化モジュール；及び
該オブジェクト検出モジュール及び該オーディオ・セグメント化モジュールに結合された処理装置；
を有し、該処理装置は複数の顔特性と該複数のオーディオ特性との間の相関の判定を行うよう備えられることを特徴とするシステム。
【請求項２】
請求項１記載のシステムであって、該処理装置は更に、該映像データにおける動画オブジェクトがオーディオと関連付けられているかを判定するよう備えられることを特徴とするシステム。
【請求項３】
請求項２記載のシステムであって、該複数のオーディオ特性が以下：
平均エネルギ、ピッチ、ゼロ交差、帯域、バンド中央、ロール・オフ、低レシオ、スペクトル・フラックス、及び１２のMFCC成分；
のうちの2つ以上を有することを特徴とするシステム。
【請求項４】
請求項２記載のシステムであって、該動画オブジェクトが顔であり、該処理装置は該顔が話し手のものであるかを判定するよう備えられることを特徴とするシステム。
【請求項５】
請求項４記載のシステムであって、複数の画像特性が該顔の包括的な特性を表す固有顔であることを特徴とするシステム。
【請求項６】
請求項１記載のシステムであって、更に：
潜在的意味インデクシング・モジュール；
を有し、該モジュールは該処理装置に結合され、該相関の判定が行われる前に該複数のオブジェクト特性及び該複数のオーディオ特性を前処理することを特徴とするシステム。
【請求項７】
請求項６記載のシステムであって、該潜在的意味インデクシング・モジュールが：
特異値分解モジュール；
を有することを特徴とするシステム。
【請求項８】
映像データ内の話し手の人物を識別する方法であって：
画像とオーディオとの情報を有する映像データを受信する工程；
該映像データにおける1つ以上の顔から複数の顔画像特性を判定する工程；
オーディオ情報に関する複数のオーディオ特性を判定する工程；
該複数の顔画像特性と該複数のオーディオ特性との間の相関を算定する工程；及び
該相関に基づいて該話し手の人物を判定する工程；
を有する方法。
【請求項９】
請求項８記載の方法であって、更に：
該顔画像特性及び該オーディオ特性を正規化する工程；
を有することを特徴とする方法。
【請求項１０】
請求項９記載の方法であって、更に：
該正規化顔画像特性及び該オーディオ特性に特異値分解を行う工程；
を有することを特徴とする方法。
【請求項１１】
請求項８記載の方法であって、該話し手の人物を判定する工程が：
最大の相関を有する該1つ以上の顔に基づいて該話し手の人物を判定する工程；
を有することを特徴とする方法。
【請求項１２】
請求項１０記載の方法であって、該算定する工程が：
該顔画像特性と該オーディオ特性との行列を形成する工程；
を有することを特徴とする方法。
【請求項１３】
請求項１２記載の方法であって、更に：
該顔画像特性及び該オーディオ特性によって形成されるフルランクの行列と比較してより小さい行列を用いて最適近似適合を行う工程；
を有することを特徴とする方法。
【請求項１４】
請求項１３記載の方法であって、該より小さい行列のランクが該フルランクの行列から雑音及び非関連情報を除去するよう選択されることを特徴とする方法。
【請求項１５】
画像及びオーディオを有する映像を処理するコードを有するメモリ媒体であって、該コードが：
該映像から複数のオブジェクト特性を得るコード；
該映像から複数のオーディオ特性を得るコード；
該複数のオブジェクト特性と該複数のオーディオ特性との間の相関を判定するコード；及び
該映像及び該オーディオにおける1つ以上のオブジェクト間の関連付けを判定するコード；
を有することを特徴とするメモリ媒体。
【請求項１６】
請求項１５記載のメモリ媒体であって、該1つ以上のオブジェクトが1つ以上の顔を有することを特徴とするメモリ媒体。
【請求項１７】
請求項１６記載のメモリ媒体であって、更に：
話し手の顔を判定するコード；
を有することを特徴とするメモリ媒体。
【請求項１８】
請求項１５記載のメモリ媒体であって、更に：
該複数のオブジェクト特性及び該オーディオ特性を用いて行列を生成するコード；及び
該行列に特異値分解を行うコード；
を有することを特徴とするメモリ媒体。
【請求項１９】
請求項１８記載のメモリ媒体であって、更に：
該オブジェクト特性及び該オーディオ特性によって形成されるフルランク行列と比較してより小さい行列を用いて最適近似適合を行うコード；
を有することを特徴とするメモリ媒体。
【請求項２０】
請求項１９記載のメモリ媒体であって、該より小さい行列のランクが該フルランク行列から雑音及び非関連情報を除去するよう選択されることを特徴とするメモリ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、映像データにおけるオブジェクト識別の分野、特に、映像データ内の話し手の人物を識別する方法及びシステムに関するものである。
【背景技術】
【０００２】
人物識別は我々の日常生活において重要な役割を果たす。我々は人物を識別する方法を非常に低い年齢から知っている。ビデオ・カメラの広範囲における利用によって、映像データから自動的に人物を識別する必要性が高まっている。例えば、米国における百貨店はほとんど全て、監視カメラ・システムを有する。大容量映像群から、例えば、犯人、又は、別の人物を識別する必要性が存在する。しかしながら、該映像群を手作業でサーチするのは時間のかかる、高価な処理である。大容量映像アーカイブにおいて自動的に人物を識別する手段がそのような目的で必要になる。
【０００３】
人物を識別する従来のシステムは単一モダリティ処理、例えば、顔検出及び認識、話し手識別、及び名前スポッティング、に絞られてきた。特に、典型的な映像データは３つの補足的ソース、画像、オーディオ及びテキスト、による多量の情報を有する。各ソースにおける人物識別、例えば、画像領域における顔検出及び認識、オーディオ領域における話し手識別、及びテキスト領域における名前スポッティング、を行う手法がある。各々の手法は各々、独自の応用分野及び欠点を有する。例えば、名前スポッティングは、テレビ信号における字幕又はテレテキストのような、適切なテキスト・ソースなしでは映像においてうまく機能し得ない。
【０００４】
いくつかの従来のシステムで映像からの複数のキューを一体化しようとしたものがある（例えば、非特許文献１参照。）。該システムは確率手法を用いた顔検出/認識及び話し手識別手法を用いる。該システムは、しかしながら、ビデオに現れる人物が話し手の人物であるものとしているが、これは常にあてはまるものでない。
【０００５】
したがって、ビデオにおける話し手が誰であるかを見出し、低レベル特性から音声/オーディオと該ビデオにおける複数の顔との間の関係を構築することができる人物識別システムについての技術の必要性が存在する。
【非特許文献１】J.  Yang,  et.  al.,  Multi-modal  People  ID  For  A  Multimedia  Meeting  Browser,  Proceedings  of  ACM  Multimedia  ’99,  ACM,  1999
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、ビデオにおける話し手が誰であるかを見出し、低レベル特性から音声/オーディオと該ビデオにおける複数の顔との間の関係を構築することができる人物識別システムについての技術の必要性が存在する。
【課題を解決するための手段】
【０００７】
本発明は顔を音声と関連付けるよう低レベルの可聴・可視特性を利用し得る顔音声マッチング手法を実施する。これは、複雑な顔認識及び話し手識別手法に対する必要性なしで行い得る。本発明の種々の実施例を、一般的な映像データの解析に、映像内の人物の身元の事前知識なしで、用い得る。
【０００８】
本発明は、ビデオ会議における話し手検出、映像インデクシング、及び人間コンピュータ・インタフェースの向上のような種々の応用分野を有する。ビデオ会議においては、話し手が誰であるかを知ることによってその人物にビデオ・カメラをズーム・インさせるキューを出すのに用い得る。本発明は更に、話し手の映像のみが伝送されるよう、帯域制限ビデオ会議アプリケーションにも用い得る。本発明は更に、映像をインデックスする（例えば、「人物が話している全ての映像セグメントを見出す」）のにも用い得、顔認識手法と組み合わせる（例えば、「特定の人物が話している全ての映像セグメントを見出す」）ことが可能である。本発明は更に、人間とコンピュータとの相互作用を、ユーザがどこでいつ話しているかの知識をソフトウェア・アプリケーションに備えることによって、向上させるのに用い得る。
【０００９】
上記のように、人物識別は映像コンテンツ解析及び検索アプリケーションにおいて重要な役割を果たす。可視領域における顔認識と可聴領域における話し手識別は映像において人物を見出す２つの主要な手法である。本発明の一特徴は顔認識と話し手識別との両方のアプリケーションに依存する人物認識率を向上させることにある。一実施例においては、数学的手法、潜在的意味アソシエーション(LSA)、が話し手の顔と声とを関連付けるのに用いられる。この数学的手法は相関及び潜在的意味インデクシングの手法を組み入れたものである。該数学的手法は更に多くのソース（例えば、テキスト情報ソース）を統合化するのに拡張し得、映像コンテンツ解釈アプリケーションの更に広い領域において用い得る。
【００１０】
本発明の一実施例は映像データを処理するオーディオ映像システムに関する。該システムは該映像データから複数のオブジェクト特性を備えることができるオブジェクト検出モジュール及び該映像データから複数のオーディオ特性を備えることができるオーディオ・セグメント化モジュールを有する。処理装置が顔検出及びオーディオ・セグメント化のモジュールに結合されている。該処理装置は複数の顔特性と複数のオーディオ特性との相関を判定する。この相関は映像における顔が話しているかを判定するのに用い得る。
【００１１】
本発明の別の実施例は映像データ内の話し手の人物を識別する方法に関する。該方法は画像及びオーディオ情報を有する映像データを受信する工程、映像データにおける1つ以上の顔から複数の顔画像特性を判定する工程及びオーディオ情報に関する複数のオーディオ特性を判定する工程を有する。該方法は更に、複数の顔画像特性とオーディオ特性との間の相関を算定する工程及び該相関に基づいて該話し手の人物を判定する工程を有する。
【００１２】
本発明の更に別の実施例は画像及びオーディオを有する映像を処理するソフトウェア・コードを有するメモリ媒体に関する。該コードは該映像から複数のオブジェクト特性を得るコード及び該映像から複数のオーディオ特性を得るコードを有する。該コードは更に、複数のオブジェクト特性と複数のオーディオ特性との間の相関を判定するコード及び映像とオーディオとにおける1つ以上のオブジェクト間の関連付けを判定するコードを有する。
【００１３】
別の実施例においては、更に、潜在的意味インデクシング処理を、該相関手順を改良させるのに、行い得る。
【発明を実施するための最良の形態】
【００１４】
本発明の更に別の特性及び特徴及びそれらの効果は付属図面及び好適実施例の以下の詳細説明から更に明らかになるものである。
【００１５】
以下の説明においては、限定するのでなく説明する目的で、本発明の徹底的な理解を備えるのに、特定のアーキテクチャ、インタフェース、手法等のような、特定の詳細を示す。しかしながら、当業者には本発明が別の実施例において実施し得、それはこれらの特定の詳細から逸脱するものである。更に、簡潔性及び明瞭性の点で、周知の装置、回路、及び手法は割愛し、本発明の説明を不必要な詳細によってわかりにくくしないようにしている。
【実施例】
【００１６】
図１を参照すれば、人物識別システム１０は３つの別個でお互いに相互作用するモジュール、すなわち、話し手識別２０、顔認識３０及び名前スポッティング４０を有する。なお、しかしながら、該モジュールは別個のものでなくてよい、すなわち、いくつかは一体化されていてもよい。しかしながら、好適的には、各モジュールは別個のものであり、顔音声マッチング及び名前顔関連付けから更によい性能を得るのに相互作用し得る。話し手識別モジュール２０はオーディオ・セグメント化及び分類装置２１、話し手識別装置２２、及び話し手ID装置２３を有する。顔認識モジュール３０は顔全体検出装置３１、顔認識装置３２及び顔ＩＤ装置３３を有する。名前スポッティング・モジュール４０はテキスト検出認識装置４１、名前スポッティング装置４２及び名前装置４３を有する。人物識別システム１０は更に、顔音声マッチング装置５０、名前顔関連付け装置６０及び人物ＩＤ装置７０を有する。
【００１７】
顔検出及び認識、話し手識別及び名前スポッティングを別個に行ういくつかの周知の手法がある（例えば、テレビ・ニュースにおいて名前顔関連付けを行うシステムは、S.  Satoh他による、「Name-It:  Naming  and  detecting  faces  in  news  videos,  IEEE  Multimedia,  6(1):22-35,  January-March  (Spring)  1999」と題する文献参照。）。しかしながら、このシステムも映像に現れる顔は話し手の人物のものであることを前提とするが、それは常にあてはまるものでない。
【００１８】
各モジュール、例えば、オーディオ(A)、映像(V)、ビデオ・キャプション（VC）（ビデオテキストとも呼ばれる）及び字幕（CC）、への入力は、種々のソースからのものであり得る。該入力はテレビ会議システム、ディジタル・テレビ信号、インターネット、DVD又は如何なる別の映像ソースからのものでもあり得る。
【００１９】
人物が話している場合、該人物は一般に、多少、顔及び/又は頭を動かしているものである。例えば、該頭は前後に動いていることがあれば、該頭が左右に動いていることもある。話し手の口も開いたり閉じたりしている。時には、該人物は顔の表情を作っていることがあり、何らかの類のジェスチャを表していることもある。
【００２０】
頭の動きの初期の結果は顔画像の位置が変化するということである。テレビ会議の場合、通常、カメラの動きは、話し手の頭の動きとは異なる、すなわち、同期化されていない。該効果は顔からカメラまでの方向の変化である。したがって、顔のサブ画像はそのサイズ、強度及び色がわずかに変化する。この点で、頭の動きは顔の位置及び画像の変化を結果として生じる。
【００２１】
口の動きを捕捉するには、２つの主要な手法を用い得る。第1に口の動きを追跡し得る。読唇方法に関する従来のシステムが音声認識において知られている。そのようなシステムは何の単語が発音されたかを推測するよう唇の動きを追跡する。しかしながら、映像領域の複雑性によって、唇の動きを追跡するのは複雑な作業である。
【００２２】
上記とは別に、唇の動きから結果として生じる顔の変化を追跡し得る。唇の動きによって、顔画像下部の色強度が変化する。更に、顔画像サイズもわずかに変化する。顔画像下部における変化を追跡することによって、唇の動きを追跡し得る。唇の動きがあったかに関して知っているかということだけが必要であるので、該唇がどのようにして動いたかを厳密に知るという要求はない。
【００２３】
唇の動きと同様に、顔の表情は顔の画像を変化させる。そのような変化は同様にして追跡し得る。
【００２４】
音声から生じるこれらの３つの動作（すなわち、頭の動き、唇の動き及び顔の表情）を考えると、最も重要なものは唇の動きである。明らかなように、唇の動きは直接音声に関係する。したがって唇の動きを正確に追跡することによって、話し手の人物の判定を行い得る。この理由で、頭及び唇の動きを反映する、頭の位置及び顔下部の画像を追跡することが好適である。
【００２５】
上記は時間領域における映像の変化に絞られている。空間領域においては、いくつかの有用な観察を、画像の変化を追跡する手助けになるよう行い得る。第１に話し手はビデオ画像の中央に現れることがよくある。第２に話し手の顔は通常、表示される総画像の比較的大きな部分（例えば、該画像の２５％以上）を占める。第３に話し手の顔は通常、前面のものである。これらの観察は画像変化を追跡する手助けに用いられることがある。しかしながら、これらの観察は画像の変化を追跡するのに必要でない。
【００２６】
パターン認識システムにおいては、特性の選択が決定的な部分である。追跡するのに適切な特性の選定を助力するよう、上記の考察及び解析を用い得る。学習処理もその場合、特性の最適化及び削減を行うのに用い得る。
【００２７】
顔画像（映像入力）については、PCA（主成分解析）表現を用い得る(Francis  Kubula他による、「Integrated  Technologies  For  Indexing  Spoken  language,  Communication  of  ACM,  February  2000/Vol.  43,  No.2」と題する、文献参照。)。PCA表現は特性の数を劇的に削減するのに用い得る。しかしながら、PCAは顔の向きに対する感度が非常に高く、顔認識にとって損害が大きいことは周知である。しかしながら、一般に認められている知恵に反して、これはまさしく、それによって顔の向きの変化を追跡することを可能にするので、好適なものである。
【００２８】
上記とは別に、LFA（局所特性解析）表現を顔画像について用い得る。LFAはPCAを拡張したものである。LFAは局所特性を用いて１つの顔を表現する（Howard  D.  Wactlar他による、「Complementary  Video  and  Audio  Analysis  For  Broadcast  News  Archives,  Communications  of  ACM,  February  2000/Vol.  43,  No.2」と題する文献参照。）。LFAを用いれば、顔の、種々の動き、例えば唇の動き、を追跡し得る。
【００２９】
オーディオ・データ入力については、２０までのオーディオ特性を用い得る。これらのオーディオ特性は以下：
平均エネルギ；
ピッチ；
ゼロ交差；
帯域；
バンド中央；
ロール・オフ；
低レシオ；
スペクトル・フラックス；及び
１２のMFCC（メル周波数ケプストラム係数）成分；
である（Dongge  Li他による、「Classification  of  General  Audio  Data  For  Content-Based  Retrieval,  Pattern  Recognition  Letters,  22,  (2001)  533-544」と題する文献参照。）。これらのオーディオ特性の全て又は部分集合を話し手識別について用い得る。
【００３０】
数式では、オーディオ特性は以下：
〔１〕                          A=（a1,a2,…aΚ)’；
によって表し得る。
【００３１】
Κは音声信号を表すのに用いられるオーディオ特性の数を表す。したがって、例えば、各映像フレームについて、Κ次元ベクトルが特定の映像フレームにおいて音声を表すのに用いられる。記号「’」は行列転置を表す。
【００３２】
画像データ（例えば、映像入力）の場合、顔毎に、I特性がそれを表すのに用いられる。したがって映像フレーム毎に、I次元顔ベクトルが顔毎に用いられる。映像データにおいてMの顔があるとすれば、映像フレーム毎の顔は以下のように表される：
【００３３】
【数１】
2005518031.tif 000003
顔特性及びオーディオ特性の全ての成分を合成すれば、合成ベクトルは：
【００３４】
【数２】
2005518031.tif 000004
となる。
【００３５】
Vは１つの映像フレームにおける音声及び顔に関する全ての情報を表す。更に広い範囲において検討すれば、１つの軌道においてNのフレームがある場合、i番目のフレームのVベクトルはViである。
【００３６】
図１によって、顔音声マッチング装置５０を表す。顔音声マッチング装置５０は話し手識別２０と顔認識３０との両方のモジュールからのデータを用いる。上記のように、このデータはオーディオ特性及び画像特性を有する。顔音声マッチング装置５０はその場合、映像における話し手が誰であるかを判定して、音声/オーディオと映像における複数の顔との関係を低レベルの特性から構築する。
【００３７】
本発明の第１実施例においては、相関手法を、顔音声マッチングを行うのに、用い得る。正規化相関がオーディオと複数候補顔各々との間で計算される。オーディオとの最大相関を有する候補顔が話し手の顔である。顔と音声との間の関係が話し手の顔を判定するのに必要であることがわかる。相関処理は、2つの変数間の関係を計算するものであり、このタスクに適切である。
【００３８】
相関処理を行うには、オーディオ・ベクトル〔1〕と顔ベクトル〔２〕との間の相関を判定する計算を行う。オーディオとの最大の相関を有する顔が話し手の顔として選定される。これは映像データにおける顔の変化が映像における音声に相当することを考慮する。音声と話し手の人物との間にはいくらかの固有の関係がある；該相関は、数学における該関係の表現であり、これらの関係を測定する尺度を備える。オーディオ・ベクトルと顔ベクトルとの間の相関を計算する相関処理は数学的に以下のように表される：
映像の平均ベクトルは以下によって表される：
【００３９】
【数３】
2005518031.tif 000005
共分散行列Vは：
【００４０】
【数４】
2005518031.tif 000006
によって表される。
正規化共分散は：
【００４１】
【数５】
2005518031.tif 000007
によって表される。
【００４２】
A、オーディオ・ベクトル〔１〕と顔ベクトル〔２〕におけるｍ番目の顔との間の相関行列は部分行列  C(IM+1：IM+K,(m-1)I+1：mI)である。このc(m)として表される部分行列の全要素の和が計算され、該和はｍ番目の顔ベクトルとｍ番目の顔ベクトルとの相関である。最大のc(m)を有する顔は以下のように話し手の顔として選択される：
【００４３】
【数６】
2005518031.tif 000008
第２実施例においては、LSI（潜在的意味インデクシング）手法も顔音声マッチングを行うのに用い得る。LSIはテキスト情報検索において強力な手法である。LSIは、オブジェクト、すなわちキーワード及びドキュメント、間の固有で意味論的な関係を掘り出す。LSIは特異値分解（SVD）を行列計算において用いてキーワード及びドキュメントについて新たな表現を得る。この新しい表現においては、キーワード及びドキュメントについての基底は無相関である。これによってキーワード及びドキュメントを表すのにずっと小さい基底ベクトル群を用いることを可能にする。その結果、3つの便益が確保される。第１は次元削減である。第２は雑音除去である。第３はキーワードやドキュメントのような、異なるオブジェクト間の意味論的で隠れた関係を発見することである。
【００４４】
本発明の本実施例においては、LSIはオーディオと顔との間の固有の関係を見出すのに用いられる。LSIはある意味では雑音を除去して特性を削減することが可能であり、それは画像及びオーディオ・データが一般的に冗長な情報及び雑音を含んでいるので、特に有用である。
【００４５】
映像領域では、しかしながら、テキスト領域でよりも事情はずっと複雑であり得る。これはテキスト領域においては、基本構成ブロックであるドキュメント、キーワード、がそれら自体で意味があるからである。映像領域においては、画像及びオーディオの低レベルの表現はそれら自体では無意味であり得る。しかしながら、それらを合わせた組み合わせは個々の成分を超える何かを表すものである。この前提によれば、画像列と付随オーディオ列との間には何らかの関係があるはずである。発明者はLSIが映像領域における関係を取り決めるということを見出した。
【００４６】
LSI処理を行うには、映像列についての行列が上記のベクトルを用いて構築される：
【００４７】
【数７】
2005518031.tif 000009
上記のように、各成分Vは可視特性及び可聴特性を有する異質のものである：
【００４８】
【数８】
2005518031.tif 000010
それらを単に合わせて、直接SVDを行うのは道理にかなわないかもしれない。したがって、各成分は該成分の最高の要素によって以下のように正規化される：
【００４９】
【数９】
2005518031.tif 000011
式〔９〕においては、X(I,：)は行列Xのi番目の行を表す。分母はi番目の行の最高絶対値を有する要素である。結果として生じる行列Xは-1と１との間におさまる要素を有する。Vの次元がHの場合、XはHxN次元の行列である。特異値行列分解がその場合、Xに以下のように行われる：
〔10〕  X=SVD’
Sは列毎にXX’の固有ベクトルを有し、DはX’Xの固有ベクトルを有し、Vは対角成分が固有値である対角行列である。
【００５０】
通常、S、V、Dの行列は全て、フルランクのものでなければならない。該SVD処理は、しかしながら、小さい行列を用いて最適近似適合度に対するストラテジの簡素化を可能にする。固有値はVにおいて降順に配列される。最初のｋの要素はXが以下：
【００５１】
【数１０】
2005518031.tif 000012
によって表すことが可能なように保持される。
【００５２】
【数１１】
2005518031.tif 000013
はVの最初のｋの要素を有し、
【００５３】
【数１２】
2005518031.tif 000014
はSの最初のｋの列を有し、
【００５４】
【数１３】
2005518031.tif 000015
はDの最初のｋの列を有する。
【００５５】
【数１４】
2005518031.tif 000016
は最小2乗の意味でXの最適な表現であることを表し得る。
【００５６】
Xの新しい表現を備えた後、種々の操作を当該新領域において行い得る。例えば、顔ベクトル〔２〕とオーディオ・ベクトル〔１〕との相関を算定し得る。顔ベクトル〔２〕とオーディオ・ベクトル〔１〕との間の距離を算定し得る。フレームのクラスタ化を行う映像フレーム間の差異も算定し得る。顔音声マッチングについては、顔特性とオーディオ特性との間の相関が相関処理において上記のように算定される。
【００５７】
ｋの選択にはいくらかの柔軟性がある。この値は隠されたデータの主要情報を保持するのに十分大きいものであると同時に雑音及び非関連情報を除去するのに十分小さいものであるように選択されるものとする。一般に、ｋは良好なシステム性能をもたらすよう１０から２０までの範囲におさまるものとする。
【００５８】
図２は本発明の種々の実施例を実施し得る例示的物理構造を表す概念図を表す。この図はパソコンが有する構成部分を用いた方法の実現を表す。好適実施例においては、システム１０はデータ処理装置によって実行されるコンピュータ判読可能なコードによって実施される。該コードは該データ処理装置内のメモリに格納し得、又は、CD-ROM若しくはフロッピー（登録商標）・ディスクのようなメモリ媒体から読み出し/ダウンロードし得る。別の実施例では、本発明を実施するのに、ハードウェア回路が、ソフトウェア命令の代わりか、該命令との組み合わせで、用いられることがある。例えば、本発明は、ディジタル・テレビ・プラットフォーム又はセット・トップ・ボックス上で処理用トライメディア・プロセッサ及び表示用テレビ・モニターを用いて実施され得る。
【００５９】
図２に表すように、コンピュータ１００は、可変帯域網のようなデータ網、インターネット、にインタフェースするネットワーク接続101、及び/又はビデオ・カメラ若しくはディジタル・カメラのような別の遠隔ソース１０２とインタフェースするファックス/モデム接続（図なし）を有する。コンピュータ１００は更に、ユーザに対して（映像データを有する）情報を表示するディスプレイ１０３、テキスト及びユーザ・コマンドを入力するキーボード１０４、ディスプレイ103上にカーソルを位置決めし、ユーザ・コマンドを入力するマウス１０５、ディスク・ドライブ内にインストールされたフロッピー（登録商標）・ディスクから読み出し、該ディスクに書き込むディスク・ドライブ１０６及びCD-ROM又はDVDに格納された情報をアクセスするCD-ROM/DVDドライブ１０７を有する。コンピュータ１００は更に、そこに付属する1つ以上の、画像を入力するテレビ会議カメラ対等のような周辺装置、及び画像、テキスト、等を出力するプリンタ１０８を有し得る。
【００６０】
別の実施例がハードウェアとソフトウェアとの両方における種々の手段によって、かつ、種々の制御装置及び処理装置によって、実施し得る。例えば、ラップトップ又はパームトップ型コンピュータ、ビデオ会議システム、携帯情報端末（PDA）、ディスプレイ付電話、テレビ、セット・トップ・ボックス又は如何なる別の種類の同様な装置をも用い得る。
【００６１】
図３は、ランダム・アクセス・メモリ（RAM）、読み取り専用メモリ（ROM）及びハード・ディスクのようなコンピュータ判読可能媒体を有し得るメモリ１１０を有するコンピュータ１００の内部構造を表する。メモリ１１０に格納されるアイテムはオペレーティング・システム、種々のデータ及びアプリケーションを有する。メモリ１１０に格納されるアプリケーションは映像符号器、映像復号器及びフレーム・グラバを有し得る。映像符号器は通常の方法で映像データを符号化し、映像復号器は通常の方法で符号化された映像データを復号化する。該フレーム・グラバによって映像信号ストリームからの単一フレームを捕捉して処理することを可能にする。
【００６２】
更に、コンピュータ１００においては、中央処理装置（CPU）１２０、通信インタフェース１２１、メモリ・インタフェース１２２、CD-ROM/DVDドライブ・インタフェース１２３、ビデオ・インタフェース１２４及びバス１２５を有する。CPU１２０は、メモリ１１０からの、上記のような、コンピュータ判読可能コード、すなわち、アプリケーション、を実行するマイクロプロセッサ等を有する。そのようなアプリケーションは（上記のような）メモリ１１０に格納されても、ディスク・ドライブ１０６におけるフロッピー（登録商標）・ディスク又はCD-ROMドライブ１０７におけるCD-ROMに格納されてもよい。CPU１２０はメモリ・インタフェース１２２を介してフロッピー（登録商標）・ディスクに格納されたアプリケーション（又は別のデータ）をアクセスし、CD-ROMドライブ・インタフェース１２３を介してCD-ROMに格納されたアプリケーション（又は別のデータ）をアクセスする。
【００６３】
CPU１２０は、例えば、マイクロプロセッサ、中央処理装置、コンピュータ、回路カード、ディジタル信号プロセッサ又はアプリケーション特有集積回路（ASIC）、を表し得る。メモリ１１０は、例えば、ディスク・ベースの光又は磁気記憶装置、電子メモリ、及びこれら及び別のメモリ装置の一部又は組み合わせを表し得る。
【００６４】
システム10に関連する種々の機能動作の全部又は一部をメモリ110に格納された1つ以上のソフトウェア・プログラムによって実施し得、CPU１２０によって実行し得る。（図３に説明したような）この類の計算及びメディア処理装置は高度なセット・トップ・ボックスの一部であり得る。
【００６５】
図４では話し手識別手法に関する流れ図を図示する。該図示された工程は上記の構造/手順に相当する。特に、工程S１００においては、映像/オーディオ・データが得られる。該映像/オーディオ・データは直接相関手順を経るか（S102）、最初にLSI手順によって前処理される（S101）。相関手順の出力に基づいて、顔音声マッチング解析（S103）を行い得る。例えば、最大相関値のある顔が話し手の顔として選択される。この結果は更に、人物の識別を行うのに用い得る（S104）。更に下記のように、相関手順(S102)をテキスト・データを用いて行い得(S105)、該テキスト・データは名前顔関連付け手順（S106）を用いて処理されるものである。
【００６６】
上記の映像とオーディオとの間の関係を確認するよう、発明者は一連の実験を行った。２つの映像クリップが該実験に用いられた。１つの実験については、映像クリップが選定され、該クリップにおいては2人が画面上に現れ、一方が話している。別の実験については、映像クリップが選定され、該クリップにおいては、1人はあまり動きのない状態で話しており、1人は多くの動きを伴って話しており、1人はクリップ中で動きなしで座っていて、その際別の人が話しており、1人は多くの動きを伴って座っていて、その際別の人が話しているというものである。これらの実験については、映像における顔の手作業による選定及び注釈用プログラムが実施された。
【００６７】
実験は3つの部分を有する。第１部分はオーディオと映像との間の関係を示すのに用いられた。別の部分は顔音声マッチングをテストするのに用いられた。固有顔が顔を表すのに用いられたが、それは該実験の１つの目的が人物の識別であったからである。PCAを用いた顔認識も行われた。
【００６８】
いくつかの従来の研究はオーディオと映像との一般的な関係を調査した（Yao  Wang  他による、「Multimedia  Content  Analysis  Using  Both  Audio  and  Visual  Clues,  IEEE  Signal  Processing  Magazine,  November  2000,  pp12-36」と題する、文献参照。）。この研究は、しかしながら、オーディオ特性と全体映像フレーム特性との間に関係はないということを表している。これは正確でないが、それは従来技術のシステムにおいては映像においてもオーディオにおいても両方とも雑音が多すぎたからである。したがってオーディオと映像との関係は雑音によって覆い隠されている。対照的に、上記の実施例においては、顔画像のみが、オーディオと映像との間の関係を算定するのに、用いられる。
【００６９】
例として、（上記のように算定された）相関行列を図５に表す。１つのセル（例えば、正方形）は該相関行列の相当する要素を表す。要素が数値的に大きいほど、セルは白くなる。左の図は話し手の顔についての相関行列を表し、話し手の顔と声との間の関係を反映している。右の図は話し手でない聞き手と、別の人の音声との間の相関行列を表す。最初の４つの要素（EF）は固有顔についての相関値である。残りの要素はオーディオ特性（AF）であり、各々、平均エネルギ、ピッチ、ゼロ交差、帯域、バンド中央、ロール・オフ、低レシオ、スペクトル・フラックス及び１２のMFCC成分である。
【００７０】
これらの２つの行列から、オーディオと映像との間に関係があることがわかり得る。別の観察としては、左の映像における4行目より下の４つの列における要素（L）は右の映像における相当する要素（R）よりもずっと明るく、それは話し手の顔と声と関係があることを表すものであるということがある。実際に、これらの要素の和は左の行列では１５．６５９１であり、右の行列におけるこれらの要素の和は９．８６２８である。
【００７１】
図５を観察することによって明らかな別の点は左の映像における5行目と6行目との最初の4列が右の映像における相当する要素よりもずっと明るいということである。これらの８つの要素の和は左の映像では３．５０２８で、右の映像では０．７２２７である。5番目の行は顔と平均エネルギとの間の相関を表す。6番目の行は顔とピッチとの間の相関を表す。人物が話している場合、該人物の顔も変化しているということがわかる。特に、声のエネルギは話し手の口の開閉に関係する。ピッチには相当する関係がある。
【００７２】
これは更に図６に表し、図６には時間に対する第１固有顔と平均エネルギを表す。線AEは平均エネルギを表す。線FEは第１固有顔を表す。左の映像は話し手の固有顔を用いる。右の映像は非話し手の固有顔を用いる。図６の左の映像から、固有顔は平均エネルギと同様な変化の傾向を有する。対照的に、非話し手の顔は全く変化しない。
【００７３】
図７に、LSIによって変換された新領域上のオーディオと映像との特性の算定相関を表す。最初の2つの成分は話し手の固有顔（SE）である。次の2つの成分は聞き手の固有顔（LE）である。別の成分はオーディオ特性（AF）である。図７から、最初の２列は次の２列よりも明るく、それは話し手の顔と声に相関があることを表す。
【００７４】
顔音声マッチング手法に関する別の実験では、種々の映像クリップが収集された。最初の４つの映像クリップの群は4人の別の人物を有し、各クリップは少なくとも2人（1人の話し手と1人の聞き手）を有する。第２の１４の映像クリップの群は7人の別の人物を有し、各人物は少なくとも２つの話しているクリップを有する。更に、２つの人工的な聞き手がこれらの映像クリップにテストする目的で挿入される。したがって、第２の群には２８の顔音声対がある。合計で映像テスト群の集合体には３２の顔音声対がある。
【００７５】
最初に顔音声対各々についてオーディオ特性と固有顔との間の相関が相関実施例によって判定された。オーディオとの最大の相関を有する顔が話し手として選択された。１４の誤り判定があり、５６．２％の認識率をもたらした。LSI実施例は次に各対に実施された。次に相関がオーディオと顔との特性の間で算定された。このLSIの場合では、８つの誤り判定があり、24/32=75%の認識率をもたらした。したがって、LSIなしの相関実施例からの結果と比較するとかなりの向上があった。
【００７６】
上記の固有顔手法はPCA(主成分解析)の影響を判定するのに用いられた。映像群には7人の人物が存在し、各人物について４０の顔がある。各人物の10の顔の最初の群はトレーニング群として用いられ、３０の顔の残りの群はテスト群として用いられた。最初の１６の固有顔は顔を表すのに用いられる。１００％の認識率が実現された。この結果は該映像が非常に制御された環境を表すことに起因し得る。トレーニング群とテスト群との間の照明とポーズにあまり変化はない。この実験はPCAがある場合においては有効な顔認識手法であることを表す。この効果はわかり易く、実施しやすく、あまり多くのコンピュータ・ソースを要しないということである。
【００７７】
別の実施例では、データの別のソースを拡張人物識別、例えば、テキスト（名前顔関連付け装置６０）、を実現するよう使用する/組み合わせることが可能である。同様な相関処理を、該付加特性（例えば、テキスト）を扱うよう、用い得る。
【００７８】
更に、顔音声マッチング処理は映像解釈に拡張し、音と、その音を生成する間に何らかの類の固有の動きを表す動画オブジェクトとの間の関連付けを構築する。これに関して本発明は人物識別領域に制限されるものでない。本発明は更に、映像における可聴信号と可視信号との間の固有の何らかの関係を抽出することに適用する。例えば、音を、動画のオブジェクトとも、関連付けすることが可能である。犬のほえる声はほえている犬と、鳥の鳴き声は鳥と、黄色・赤色の拡張と爆発音とが、葉の動きと風の吹く音と、など、が関連付けられる。更に、この種の関連付けを構築するよう教師付き学習又はクラスタ化の手法を用い得る。その結果、該映像に関する知識が一体化される。
【００７９】
更に、上記のLSI実施例はLSIからの特性領域を用いたことを特筆する。しかしながら、フレーム領域も用い得る、例えば、フレーム領域はフレームのクラスタ化を行うのに用い得る。
【００８０】
本発明は特定の実施例によって上記で表したが、本発明は本明細書及び特許請求の範囲に開示された実施例に制限又は限定されることを企図するものでない。逆に、本発明は本特許請求の範囲記載の精神及び範囲が有する本発明の種々の構造及び変更を網羅することを企図するものである。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施例による人物識別システムを表す図である。
【図２】本発明の種々の実施例を実施し得るシステムの概念図を表す図である。
【図３】図２のシステムのアーキテクチャを表すブロック図である。
【図４】本発明の別の実施例による人物識別方法を説明する流れ図である。
【図５】顔特性とオーディオ特性との間の相関行列を図示した例を表す図である。
【図６】平均エネルギと第１固有顔との間の関係を表すグラフの例を表す図である。
【図７】LSI手順適用後の相関行列を図示した例を表す図である。
【図１】
2005518031.tif 000017
【図２】
2005518031.tif 000018
【図３】
2005518031.tif 000019
【図４】
2005518031.tif 000020
【図５Ａ】
2005518031.tif 000021
【図５Ｂ】
2005518031.tif 000022
【図６Ａ】
2005518031.tif 000023
【図６Ｂ】
2005518031.tif 000024
【図７】
2005518031.tif 000025
【国際調査報告】
2005518031.tif 000026
2005518031.tif 000027