【手続補正書】
【提出日】平成20年10月20日(2008.10.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ・サンプル中の二人以上の顔画像を検出すること、
前記ビデオ・サンプルに対応するオーディオ・サンプル中の二人以上の話し手を検出すること、
前記二人以上の話し手のうちの主要な話し手を検出すること、
前記二人以上の話し手を、時間的かつ空間的にクラスタ化すること、
話し手識別子によって話し手を識別する、各検出された話し手に対する話し手タイムラインと、前記話し手タイムラインの様々な時点における話し手の位置とを格納すること、
検出された各話し手毎に少なくとも１つの顔画像を顔データベースに格納すること、および
話し手タイムラインと顔画像とを検出された各話し手に関連付けること
を備えることを特徴とする方法。
【請求項２】
前記二人以上の顔画像を検出することは、フェイス・トラッキングを使用して前記二人以上の顔画像を検出することをさらに備えることを特徴とする請求項１に記載の方法。
【請求項３】
前記二人以上の話し手を検出することは、音源位置測定を使用して前記二人以上の話し手を検出することをさらに備えることを特徴とする請求項１に記載の方法。
【請求項４】
各話し手毎に複数の顔画像を識別すること、および
前記顔データベースに記憶すべき最良の顔画像を選択すること
をさらに備えることを特徴とする請求項１に記載の方法。
【請求項５】
前記選択することは、顔の最も正面からの撮影像を含む顔画像を前記最良の顔画像として選択することをさらに備えることを特徴とする請求項４に記載の方法。
【請求項６】
前記選択することは、最少の動きを示す顔画像を前記最良の顔画像として選択することをさらに備えることを特徴とする請求項４に記載の方法。
【請求項７】
前記選択することは、最大の対称性を示す顔画像を前記最良の顔画像として選択することをさらに備えることを特徴とする請求項４に記載の方法。
【請求項８】
前記話し手の位置は、ビデオ・サンプルの座標で識別される話し手バウンディング・ボックスによって表されることを特徴とする請求項１に記載の方法。
【請求項９】
前記話し手の位置は、ビデオ・サンプルにおいて方位角および仰角によって識別される話し手の顔の角度によって示されることを特徴とする請求項１に記載の方法。
【請求項１０】
二人以上の話し手をその中に含むオーディオ／ビデオ（Ａ／Ｖ）サンプルを表示すること、
前記二人以上の話し手のうちの主要な話し手を検出すること、
前記二人以上の話し手を、時間的かつ空間的にクラスタ化すること、
前記二人以上の話し手の各話し手に対応する話し手タイムラインであって、時間的な経過のどの時点で前記話し手タイムラインに対応する前記話し手が話しているかを示す、話し手タイムラインを表示すること、
各話し手タイムラインに、前記話し手タイムラインに関連付けられた前記話し手に対応する前記話し手の顔画像を関連付けること、および
前記顔画像を前記対応する話し手タイムラインと共に表示すること
を備えることを特徴とする方法。
【請求項１１】
話し手識別子、話し手の位置、および話し手が話している１つまたは複数の時点によって、各話し手を識別するタイムライン・データベースから前記話し手タイムラインを取り出すことをさらに備えることを特徴とする請求項１０に記載の方法。
【請求項１２】
話し手識別子に対応する話し手の少なくとも１つの顔画像に各話し手識別子を関連付ける顔データベースから話し手の顔画像を取り出すことをさらに備えることを特徴とする請求項１０に記載の方法。
【請求項１３】
実行可能なプログラムを記録した１つまたは複数のコンピュータ読み取り可能な記録媒体であって、前記プログラムは、
オーディオ／ビデオ（Ａ／Ｖ）サンプル中の各話し手を話し手識別子で識別すること、
前記Ａ／Ｖサンプル中の各話し手の位置を識別すること、
主要な話し手を検出すること、
各識別された話し手を、時間的かつ空間的にクラスタ化すること、
前記Ａ／Ｖサンプル中で識別された各話し手毎に少なくとも１つの顔画像を抽出すること、
前記Ａ／Ｖサンプル中で識別された各話し手毎に、それぞれが時間、話し手識別子および話し手の位置を示す話し手タイムラインを作成すること、および
話し手の前記顔画像を、同じ話し手に対応する話し手タイムラインに関連付けること
を備える動作をコンピュータに実行させることを特徴とする１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項１４】
音源位置測定を使用して各話し手を識別することをさらに備えることを特徴とする請求項１３に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項１５】
フェイス・トラッキングを使用して各話し手の位置を識別することをさらに備えることを特徴とする請求項１３に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項１６】
前記話し手の位置は、前記Ａ／Ｖサンプル中の話し手バウンディング・ボックスによって識別されることを特徴とする請求項１３に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項１７】
前記話し手タイムラインおよび前記顔画像を記憶し、各話し手タイムラインを適切な顔画像にリンクさせることをさらに備えることを特徴とする請求項１３に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項１８】
各話し手毎に複数の顔画像を抽出することをさらに備えることを特徴とする請求項１３に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項１９】
前記話し手タイムラインに関連付ける最良の顔画像を選択することをさらに備えることを特徴とする請求項１８に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項２０】
前記最良の顔画像を選択することは、顔の最も正面からの撮影像を有する顔画像を選択することをさらに備えることを特徴とする請求項１９に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項２１】
前記最良の顔画像を選択することは、最小の動きを示す顔画像を選択することをさらに備えることを特徴とする請求項１９に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項２２】
前記最良の顔画像を選択することは、顔の最大の対称性を示す顔画像を選択することをさらに備えることを特徴とする請求項１９に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項２３】
実行可能なプログラムを記録した１つまたは複数のコンピュータ読み取り可能な記録媒体であって、前記プログラムは、
Ａ／Ｖサンプルの各話し手毎の話し手タイムラインであって、それぞれが時間的経過の複数の時点における話し手および話し手の位置を識別する話し手タイムラインを含み、主要な話し手が決定され、各識別された話し手が、時間的かつ空間的にクラスタ化されている、話し手タイムライン・データベースと、
話し手タイムラインで識別された各話し手毎に少なくとも１つの顔画像と、各顔画像を前記話し手タイムライン・データベース中の適切な話し手タイムラインに関連付ける話し手識別子と、を含む顔データベースと
を備える動作をコンピュータに実行させることを特徴とする１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項２４】
前記話し手タイムライン・データベース中の各話し手タイムラインは、前記話し手タイムライン・データベースと前記顔データベースとをリンクさせるための適切な話し手識別子を含むことを特徴とする請求項２３に記載の１つまたは複数のコンピュータ読み取り可能な記録媒体。
【請求項２５】
Ａ／Ｖサンプルと、
前記オーディオ／ビデオ（Ａ／Ｖ）サンプルに登場する各話し手を識別する手段と、
前記Ａ／Ｖサンプルで識別された各話し手毎に顔画像を識別する手段と、
主要な話し手を検出する手段と、
各話し手を時間的かつ空間的にクラスタ化すること、
前記Ａ／Ｖサンプルで識別された各話し手毎に話し手タイムラインを作成する手段と、
顔画像を適切な話し手タイムラインに関連付ける手段と
を備えることを特徴とするシステム。
【請求項２６】
各話し手を識別する前記手段は、音源ローカライザをさらに備えることを特徴とする請求項２５に記載のシステム。
【請求項２７】
顔画像を識別する前記手段は、フェイス・トラッカをさらに備えることを特徴とする請求項２５に記載のシステム。
【請求項２８】
前記話し手タイムラインは、時間的経過の複数の時点のそれぞれにおける話し手識別子および話し手の位置によって、前記話し手タイムラインに関連付けられた話し手を識別することを特徴とする請求項２５に記載のシステム。
【請求項２９】
顔画像を適切な話し手タイムラインに関連付けることは、各顔画像を前記話し手識別子に関連付けることをさらに備えることを特徴とする請求項２８に記載のシステム。
【請求項３０】
前記話し手タイムラインおよび前記顔画像を格納することをさらに備えることを特徴とする請求項２５に記載のシステム。
【請求項３１】
前記話し手タイムラインと前記顔画像は、別々に記憶されることを特徴とする請求項３０に記載のシステム。
【請求項３２】
Ａ／Ｖサンプルは、録画された会議をさらに備えることを特徴とする請求項２５に記載のシステム。