(57)【要約】【課題】  動画像の中から代表する画像を高精度に抽出する。【解決手段】  入力される動画像から代表画像を抽出する代表画像抽出装置において、前記動画像に含まれる所定の区間から代表候補画像を決定する代表画像決定手段と、前記代表候補画像と、予め設定される顔画像及び顔画像に対応する個人識別情報を少なくとも有する複数の顔テンプレートとを照合し、顔画像の認識を行う顔画像認識手段と、前記顔画像認識手段により得られる前記個人識別情報に対応した照合結果に基づいて代表画像を探索し、探索した代表画像を出力する代表画像判定手段とを有することにより、上記課題を解決する。【選択図】        図１
2006331271.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像から代表画像を抽出する代表画像抽出装置において、
前記動画像に含まれる所定の区間から代表候補画像を決定する代表画像決定手段と、
前記代表候補画像と、予め設定される顔画像及び顔画像に対応する個人識別情報を少なくとも有する複数の顔テンプレートとを照合し、顔画像の認識を行う顔画像認識手段と、
前記顔画像認識手段により得られる前記個人識別情報に対応した照合結果に基づいて代表画像を探索し、探索した代表画像を出力する代表画像判定手段とを有することを特徴とする代表画像抽出装置。
【請求項２】
前記代表画像判定手段は、
前記複数の顔テンプレートによる前記代表候補画像との照合結果から、所定の条件に基づいて特定の個人識別情報に基づく代表画像を探索する代表画像探索手段と、
前記代表画像探索手段により得られる画像フレーム又は前記画像フレームの出現時刻情報に基づいて、前記代表候補画像から代表画像を抽出する代表画像出力手段とを有することを特徴とする請求項１に記載の代表画像抽出装置。
【請求項３】
前記代表画像探索手段は、
前記代表候補画像に含まれる各画像フレームに対して、前記複数の顔テンプレートのうち、ある特定の顔テンプレートにおけるマッチングスコアと、前記特定の顔テンプレート以外の顔画像におけるマッチングスコアとのスコア値の差に基づいて、前記画像フレーム又は前記出現時刻情報を探索することを特徴とする請求項２に記載の代表画像抽出装置。
【請求項４】
前記代表画像探索手段は、
前記スコア値の差が、最大もしくは予め設定された閾値以上の前記画像フレーム又は前記出現時刻情報を探索することを特徴とする請求項３に記載の代表画像抽出装置。
【請求項５】
前記代表画像探索手段は、
前記顔テンプレート毎に得られる複数のマッチングスコアの和を一定値に正規化することを特徴とする請求項３又は４に記載の代表画像抽出装置。
【請求項６】
入力される動画像から代表画像を抽出する代表画像抽出処理をコンピュータに実行させるための代表画像抽出プログラムにおいて、
前記動画像に含まれる所定の区間から代表候補画像を決定する代表画像決定処理と、
前記代表候補画像と、予め設定される顔画像及び顔画像に対応する個人識別情報を少なくとも有する複数の顔テンプレートとを照合し、顔画像の認識を行う顔画像認識処理と、
前記顔画像認識処理により得られる前記個人識別情報に対応した照合結果に基づいて代表画像を探索し、探索した代表画像を出力する代表画像判定処理とをコンピュータに実行させるための代表画像抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、代表画像抽出装置及び代表画像抽出プログラムに係り、特に動画像の中から代表する画像を高精度に抽出するための代表画像抽出装置及び代表画像抽出プログラムに関する。
【背景技術】
【０００２】
近年では、通常の地上波によるテレビ放送に加えて、ＢＳデジタル放送やケーブルテレビ等、多様な放送ネットワークが普及し、視聴者が視聴可能な番組の選択肢が広がると同時に視聴したい番組数も増加する傾向にある。これにより、視聴者は全ての番組を視聴するために多くの時間が必要になる。
【０００３】
そこで、放送される番組の大まかな内容を視聴者に把握させるために代表的な画像を抽出し、抽出した画像を用いて時間を短縮させた要約番組を生成し視聴者に提供するサービス等がある。
【０００４】
また、このような代表画面を抽出する１つの手法として、動画中の顔認識、音声認識、動作認識、顔表情認識、対象物認識やそれらを組み合わせた技術が有効な手法であり、そのための人物画像の認識手法がある（例えば、非特許文献１参照。）。
【０００５】
非特許文献１に示されている手法は、複数の代表顔判定器の出力の重み付き線形和を用いて、与えられた候補画像の中から代表画像を決定するものである。なお、それぞれの代表顔判定器は、代表顔を判定するために設計された異なる特徴量を用いる。判定器に用いる特徴量の具体例としては、顔の向き・大きさ・明るさ・移動量・目の検出結果の５種類の特徴量の組が提案されている。
【非特許文献１】平澤宏祐他，「ベストショット顔画像記録システムの開発」，社団法人  電子情報通信学会，ＰＲＭＵ２００４−１０３，ＨＩＰ２００４−４３（２００４−１１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上述したように代表画像の決定に複数の判定器を用いる手法では、個別に最適化された複数の判定器からの出力を統合した結果が用いられる。しかしながら、個々の判定器の評価値（特徴量）は、代表画像の特徴を表すと思われる対象画像（顔画像）の性質をシステム設計者が主観的な判断に基づいて設定している。そのため、選ばれた代表画像は、必ずしも顔画像の認識処理における個人の特定に有利な画像であるとは限らない。
【０００７】
また、システム設計者の想定した代表画像の性質（特徴量）が、個人の特定に有利な顔画像の特徴をよく反映している場合であっても、閾値等の内部変数（パラメータ）をそれぞれの判定器毎に事前に調整する必要があり、システムを運用する上の利便性が低い。
【０００８】
更に、顔画像の認識処理に用いられる判別器の個数についての基準はなく、また一般に、パラメータ調整用に予め用意された学習データに対するエラーは、判別器（特徴量）の数を増加するほど改善される。しかしながら、学習データに対する判別精度を向上するために判別器を増加すると、学習データへの過適応のため、未知のデータに対する判別能力（頑健性）が低下する危険を本質的に抱えてしまうことになる。
【０００９】
本発明は、上述した課題に鑑みなされたものであり、動画像の中から代表する画像を高精度に抽出するための代表画像抽出装置及び代表画像抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１１】
請求項１に記載された発明は、入力される動画像から代表画像を抽出する代表画像抽出装置において、前記動画像に含まれる所定の区間から代表候補画像を決定する代表画像決定手段と、前記代表候補画像と、予め設定される顔画像及び顔画像に対応する個人識別情報を少なくとも有する複数の顔テンプレートとを照合し、顔画像の認識を行う顔画像認識手段と、前記顔画像認識手段により得られる前記個人識別情報に対応した照合結果に基づいて代表画像を探索し、探索した代表画像を出力する代表画像判定手段とを有することを特徴とする。
【００１２】
請求項１記載の発明によれば、動画像の中から代表する画像を高精度に抽出することができる。これにより、例えば膨大な映像（動画像）の内容に関する情報、特に、映された人物に関する情報を代表的な静止画像を用いて要約することができる。したがって、直感的で簡便な動画像の閲覧を実現することができる。
【００１３】
請求項２に記載された発明は、前記代表画像判定手段は、前記複数の顔テンプレートによる前記代表候補画像との照合結果から、所定の条件に基づいて特定の個人識別情報に基づく代表画像を探索する代表画像探索手段と、前記代表画像探索手段により得られる画像フレーム又は前記画像フレームの出現時刻情報に基づいて、前記代表候補画像から代表画像を抽出する代表画像出力手段とを有することを特徴とする。
【００１４】
請求項２記載の発明によれば、代表画像判定のための処理に顔認識における照合結果を利用することで、装置全体の構成を単純化することができ、代表画像を高精度に抽出することができる。また、変動する未知の入力データに対する頑健性を改善することができる。
【００１５】
請求項３に記載された発明は、前記代表画像探索手段は、前記代表候補画像に含まれる各画像フレームに対して、前記複数の顔テンプレートのうち、ある特定の顔テンプレートにおけるマッチングスコアと、前記特定の顔テンプレート以外の顔画像におけるマッチングスコアとのスコア値の差に基づいて、前記画像フレーム又は前記出現時刻情報を探索することを特徴とする。
【００１６】
請求項３記載の発明によれば、スコア値の差に基づいて迅速に高精度な代表画像を抽出することができる。
【００１７】
請求項４に記載された発明は、前記代表画像探索手段は、前記スコア値の差が、最大もしくは予め設定された閾値以上の前記画像フレーム又は前記出現時刻情報を探索することを特徴とする。
【００１８】
請求項４記載の発明によれば、代表画像の目的に応じて最適な代表画像又は、最適な複数の代表画像を抽出することができる。
【００１９】
請求項５に記載された発明は、前記代表画像探索手段は、前記顔テンプレート毎に得られる複数のマッチングスコアの和を一定値に正規化することを特徴とする。
【００２０】
請求項５記載の発明によれば、正規化した値を用いる場合、マッチングスコアの最大値に注目するだけで代表画像の抽出を行うことができる。
【００２１】
請求項６に記載された発明は、入力される動画像から代表画像を抽出する代表画像抽出処理をコンピュータに実行させるための代表画像抽出プログラムにおいて、前記動画像に含まれる所定の区間から代表候補画像を決定する代表画像決定処理と、前記代表候補画像と、予め設定される顔画像及び顔画像に対応する個人識別情報を少なくとも有する複数の顔テンプレートとを照合し、顔画像の認識を行う顔画像認識処理と、前記顔画像認識処理により得られる前記個人識別情報に対応した照合結果に基づいて代表画像を探索し、探索した代表画像を出力する代表画像判定処理とをコンピュータに実行させる。
【００２２】
請求項６記載の発明によれば、動画像の中から代表する画像を高精度に抽出することができる。また、本発明における代表画像を抽出する実行プログラムを生成することで、特別な装置構成を必要とせず、低コストで代表画像抽出処理を実現することができる。また、プログラムをインストールすることにより、容易に代表画像抽出処理を実現することができる。
【発明の効果】
【００２３】
本発明によれば、動画像の中から代表する画像を高精度に抽出することができる。
【発明を実施するための最良の形態】
【００２４】
＜本発明の概要＞
本発明は、顔認識処理に用いたパラメータを、代表画像を判定する際にも利用することにより、代表画像の評価基準を顔認識処理における条件の優劣と直接関係のあるものとすることで、動画像の中から代表する画像を高精度に抽出する。また、代表画像の判定処理を顔認識の内部処理と共通化することで、装置全体の構成を単純化することができる。
【００２５】
＜実施形態＞
以下に、上述したような特徴を有する本発明における代表画像抽出装置及び代表画像抽出プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００２６】
図１は、本発明における代表画像抽出装置の一構成例を示す図である。図１に示す代表画像抽出装置１は、代表候補画像決定手段１０と、顔画像認識手段２０と、代表画像判定手段３０とを有するよう構成されている。
【００２７】
また、代表候補画像決定手段１０は、代表候補区間決定手段１１と、代表候補画像保存手段１２とを有するよう構成されている。また、顔画像認識手段２０は、顔テンプレート保存手段２１と、顔テンプレート照合手段２２とを有するよう構成されている。更に、代表画像判定手段３０は、代表画像探索手段３１と、代表画像出力手段３２とを有するよう構成されている。
【００２８】
代表候補区間決定手段１１は、入力画像（動画像）から代表候補画像の区間を決定する開始点と終了点の組を出力する。また、代表候補区間決定手段１１は、決定した開始点と終了点との組からなる代表候補画像（開始点から終了点までの連続静止画像群）を代表候補画像保存手段１２に出力する。
【００２９】
代表候補画像保存手段１２は、代表候補区間決定手段１１で決定した代表候補区間内の連続静止画像を、動画中における時刻の情報と共に保存する。また、代表候補画像保存手段１２は、保存された代表候補画像を顔画像認識手段２０及び代表画像判定手段３０に出力する。
【００３０】
顔画像認識手段２０における顔テンプレート保存手段２１は、予め設定された顔テンプレートを入力して保存する。つまり、顔テンプレート保存手段２１は、各個人の顔を識別するために必要な情報（顔画像や顔画像に対応した個人識別情報等）からなる顔テンプレートを保存する。また、顔テンプレート保存手段２１は、保存した顔テンプレートを顔テンプレート照合手段２２に出力する。
【００３１】
顔テンプレート照合手段２２は、代表候補画像決定手段１０により得られる代表候補画像と、顔テンプレート保存手段２１により得られる複数の顔テンプレートとから代表顔テンプレートを決定する。また、顔テンプレート照合手段２２は、代表顔テンプレートに対応する個人識別情報としての代表顔識別番号と、全ての顔テンプレートに関するマッチングスコア（代表候補画像と顔テンプレートとの類似度）の履歴情報（マッチングスコアテーブル）とを代表画像判定手段３０に出力する。
【００３２】
代表画像判定手段３０における代表画像探索手段３１は、顔画像認識手段２０から得られる代表顔識別番号と、マッチングスコアの履歴情報とを入力し、これらの情報に基づいて代表顔テンプレートのマッチングスコアと、その他の顔テンプレートのマッチングスコアの全てとの差が最大となる画像フレーム又は動画における画像フレームの時刻情報を代表候補区間の中から探索する。
【００３３】
なお、代表画像探索手段３１は、例えば顔テンプレート照合手段２２に登録されている複数の顔テンプレート毎に得られる複数のマッチングスコアの和を一定値に正規化して代表画像の探索を行うこともできる。また、代表画像探索手段３１は、上述したようにマッチングスコアの和を正規化する処理を行う場合には、代表顔テンプレートのマッチングスコアが最大となる時刻（代表画像出現時刻）を代表候補区間の中から探索する。このように、正規化した値を用いる場合、マッチングスコアの最大値に注目するだけで代表画像の抽出を行うことができる。
【００３４】
また、代表画像探索手段３１は、探索した最大となる時刻（代表画像出現時刻）を代表画像出力手段３２に出力する。なお、上述の探索手法については、与えられた一連の動画像の内容を代表する１枚の静止画像を探索する例を示しているが、本発明においてはこの限りではなく、例えば予め設定された閾値を基準として、スコア値の差が閾値以上である複数の画像フレーム又は画像フレームに対応する時刻を代表画像出力手段３２に出力してもよい。これにより、代表画像の目的に応じて最適な代表画像又は、最適な複数の代表画像を抽出することができる。
【００３５】
また、代表画像出力手段３２は，代表画像探索手段３１から得られる代表画像出現時刻に対応する画像（代表画像）を、代表候補画像決定手段１０から得られる代表候補画像から検索し、検索により抽出された代表画像を出力する。
【００３６】
上述した代表画像抽出装置１により、動画像の中から代表する画像を高精度に抽出することができる。具体的には、代表候補画像決定手段１０により与えられる代表候補画像により、顔テンプレート照合手段２２で算出した各々の顔テンプレートについてのマッチングスコアの履歴を代表画像判定手段３０に出力し、その情報を代表画像探索手段３１での処理に利用することで、装置全体を必要最小限の構成に単純化することができる。また、変動する未知の入力データに対する頑健性を改善することができる。つまり、可変テンプレートマッチングにおける顔画像処理の内部パラメータの履歴を用いることにより、高精度に顔画像の認識を実現することができる。
【００３７】
次に、代表候補画像決定手段１０、顔画像認識手段２０、及び代表画像判定手段３０における具体的な処理内容について説明する。
【００３８】
＜代表候補画像決定手段１０＞
代表候補画像決定手段１０は、入力される連続静止画像又は動画像のデータから、テクスチャや色の変化等に基づいて同一人物が映っている可能性の高い区間を推定し、その区間の開始点と終了点を出力する。特に、代候補画像の区間を固定としてよい場合には、開始点のみを出力し、終了点については開始点の時刻に固定長の遅延時間を足した時刻を代用してもよい。
【００３９】
なお、本実施形態で必要とする代表候補画像決定手段１０は、与えられた画像の中から同一人物が映っている区間を推定できる手法であれば特に制限はない。例えば、動画像の構図が変化する時刻を、色とテクスチャ情報、及び、音声の大きさの情報を用いて開始点及び終了点を推定する手法については、本出願人により出願されている特願２００４−１４９９７２号「要約番組生成装置、及び要約番組生成プログラム」に示されている手法が利用可能である。
【００４０】
上述の手法は、番組の内容を理解しやすい画像及び音声を効率的に抽出することにより、高精度な要約番組を生成する。具体的に説明すると、例えばドラマ映像及び音声をコンピュータに取り込み、映像の切り替わりを示す部分（カット点）及びセリフの喋り出し等に基づいて画像を抽出し、抽出した画像及びフレーム情報等からなるデータ（画像データ構造体）を蓄積する。次に、利用者がＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）上で記録された画像データ構造体の削除あるいは変更等を行い、利用者により設定される条件に対応する画像データ構造体を抽出する。
【００４１】
このようにして、代表候補区間決定手段１１により得られる代表候補画像は、代表候補画像保存手段１２に出力する。なお、上述以外の手法としては、例えば放送映像の内容記述（メタデータ）を用いて開始点及び終了点を決定することができ、これにより効率的で高精度に代表候補区間を抽出することができる。
【００４２】
＜顔画像認識手段２０＞
顔画像認識手段２０は、予め登録した顔画像に関するデータ（顔テンプレート）のそれぞれについて、代表候補画像中の顔画像との類似度（マッチングスコア）を算出する。なお、マッチングスコアの具体的な算出方法としては、例えばマッチングを行う対象画像（顔画像）の状態が個人識別の難易度を反映した方式であれば特に制限はない。例えば、顔の各器官の特徴的な部位（目の端点，鼻の頂点等）等からなる特徴点において、計算した空間周波数成分と、各々の特徴点を連結するグラフの歪みエネルギーとからマッチングスコアを算出する手法が適用可能である。なお、上述の手法については、本出願人により出願されている特願２００３−３８８２０３号「顔画像認識装置及び顔画像認識プログラム」に示されている。
【００４３】
上述の手法は、顔画像認識において対象物（顔）について想定される複数の変形サンプル画像を撮影し、そのサンプル画像上にプロットした特徴点の統計的な情報（分散・共分散行列）を抽出して利用する。つまり、顔の表情により特徴点毎の移動方向や移動位置がある程度対応付けられて移動するため、その移動情報を人物を特定したい画像の特徴点について適用することにより、顔画像認識を行う。
【００４４】
なお、サンプルとして与える画像は、その対象物（顔）が取り得る主な変形のパターンを網羅できればよいので、登録画像の対象物そのもの（例えば、顔画像による個人認証システムでは登録人物そのもの）についての変形の様子を撮影する必要はない。すなわち、変形のサンプルとして与える表情の異なる画像が、登録画像の人物そのものが異なる表情の画像を撮影するものでなく、顔の変形パターンが類似している関係、あるいはサンプル画像の表情が登録画像の人物が取り得る表情を包含する関係であれば適応が可能である。
【００４５】
具体的には、複数の特徴点毎に計算した局所的な類似度（空間周波数成分の類似度）の上位数個のみの和をとり、その和をそれぞれの顔テンプレートと入力顔画像とのマッチングスコアとして定義する。そのため、顔の向きや遮蔽による局所的な類似度が高い特徴点の欠落、すなわち個人識別の難易度に関わる顔の状態を同スコアの大小に反映させることが可能となる。
【００４６】
ここで、与えられる画像が連続静止画像の場合、与えられた画像全てについて、複数の顔テンプレート毎にマッチングスコアを積分し、その最大値を与える顔テンプレートを代表顔テンプレートとして出力する。
【００４７】
なお、本実施形態で示された顔画像認識手段２０は、各々の顔テンプレート毎のマッチングスコアを算出し、算出した結果から代表顔画像に関するテンプレート及びマッチングスコアを出力できる手法であれば特に制限はない。
【００４８】
＜顔テンプレート照合手段２２の具体例＞
ここで、本実施形態における顔テンプレート照合手段２２の具体例について図を用いて説明する。図２は、テンプレートの照合に用いた登録顔画像の一例を示す図である。また、図３は、顔認識の様子を説明するための一例を示す図である。
【００４９】
顔テンプレート保存手段２１には、図２に示す人物４０（ＩＤ＝２）のようなテンプレート画像（登録顔画像）が多数蓄積されている。また、図２に示す人物４０には、予めこの人物がどのような人物であり、画像中の角度、特徴点位置関係等を示す情報が画像と対応付けられて蓄積されている。
【００５０】
顔テンプレート照合手段２２は、図２に示すように、例えば代表候補画像保存手段１２により保存された画像フレーム０〜２０［ｆｒａｍｅ］に示された人物４０が誰であるかを特定するため、顔テンプレートと照合することにより認識処理を行う。
【００５１】
このような処理を行う場合には、上述したように、例えば予め設定される画像中の顔領域４１中に設定される顔画像における目元や目尻、鼻の頂点等の最大９点の特徴点４２から位置から顔の向きや各点の位置関係から照合が行われる。なお、９点の他にも口の端点等を含めた特徴点を用いてもよい。更に、例えば９点のうちの画像中に表示されている所定の特徴点（３点や５点等）を、各々の特徴点における顔テンプレートとのマッチングの度合いに応じて上位から順に選択し、選択した特徴点に基づいて顔画像の認識を行ってもよい。
【００５２】
ここで、図２に示すような顔画像が顔テンプレート２１として保存されているとすると、顔テンプレート照合手段２２は、各フレームとの照合を行い、それぞれのフレーム画像とのマッチングスコアを作成する。また、顔テンプレート照合手段２２は、顔テンプレート保存手段２１に保存されている図２に示す画像以外の顔画像についても同様の処理を行い、その照合結果であるマッチングスコアテーブルを代表顔識別番号（個人識別情報）と共に、代表画像探索手段３１に出力する。
【００５３】
ここで、図４は、マッチングスコアテーブルの一例を示す図である。図４に示すように、マッチングスコアテーブル５０は、顔テンプレート保存手段２１に保存されている顔画像（個人識別情報：ＩＤ）毎に各フレーム毎のマッチングスコアが出力されている。
【００５４】
なお、図４に示す出力データにおいて、”ｆｒａｍｅ”は、映像中に含まれる画像フレームを示し、具体的にはフレームに対応する時刻情報を示している。また、”ｉｔｅｒａｔｉｏｎ”は代表候補区間の開始点からの相対時刻を示し、”ｔｒａｃｋ＿ｎｏ”は個々の顔領域を識別する番号を示し、”ｔｒａｃｋ−＞ａｇｅ”は、検出した顔領域の履歴の長さを示し、”ｔｒａｃｋ−＞ｃｆｇｒｏｕｐ＿ｎｏ”は照合に用いた代表候補画像上の特徴点配点パターンの通し番号を示している。
【００５５】
また、”ｐｏｓｅ”は顔テンプレートの向き（例えば、正面を０とし、右に向いている場合は＋０〜＋９０とし、左に向いている場合は−０〜−９０とする。）を示し、”ｃｅｎ＿ｘ”は顔領域の中心位置（Ｘ座標）を示し、”ｃｅｎ＿ｙ”は顔領域の中心位置（Ｙ座標）を示し、”ｒａｄ”は顔領域の大きさを示している。更に、”ｍａｘ＿ｅｖｉｄ”は本実施形態で必要となるマッチングスコアを示し、”ｍａｘ＿ｅｖｉｄ＿ｉｄ”は個人識別情報としての個人識別番号を示している。
【００５６】
なお、マッチングスコアテーブル５０に含まれる情報は、これに限定されるものではない。また、マッチングスコアテーブル５０は、上述した情報の全てが必要ではなく、少なくとも個人識別情報と、マッチングスコアと、フレームに対する出現時刻情報とを有していればよい。
【００５７】
＜代表画像判定手段３０＞
代表画像判定手段３０は、上述した図４に示すマッチングスコアテーブルから、個人識別番号毎にマッチングスコアを比較して、最適な代表画像を探索する。
【００５８】
ここで、図５は、本実施形態における代表画像探索の結果の一例を示す図である。代表画像判定手段３０において、代表画像探索手段３１は、代表画像を探索する１手法として、顔テンプレートとして登録されるある１つの登録顔画像（ＩＤ）と、それ以外の全登録画像（ＩＤ）のマッチングスコアの平均とを比較して、その差が最大となる画像フレームを代表画像として抽出する。このように、マッチングスコアのスコア値に基づいて代表画像を探索することで、迅速に高精度な代表画像を抽出することができる。
【００５９】
例えば、上述した図２に示す登録顔画像ＩＤ＝２の画像について、他の登録顔画像ＩＤと比較した結果、図５に示すように予め設定した開始点から１６フレーム（ｆｒａｍｅ）目でマッチングスコア（ｍａｔｃｈｉｎｇ  ｓｃｏｒｅ）の差が最大となる。つまり、１６フレームは、登録顔画像ＩＤ＝２である人物が表示されている可能性が高いことになる。
【００６０】
したがって、代表画像探索手段３１は、１６フレームという情報を代表画像の出現時刻情報として代表画像出力手段３２に出力する。なお、代表画像探索手段３１は、対応する画像フレームがある場合には、その画像フレームを直接出力してもよい。
【００６１】
代表画像出力手段３２は、代表候補画像保存手段１２に保存されている代表候補画像から１６フレーム目の画像を抽出し、図６に示す代表画像の出力結果の一例に示すように、１６フレームを登録顔画像ＩＤ＝２の代表画像として出力する。これにより、動画像から画像（代表画像）の自動抽出を高精度に実現することができる。
【００６２】
なお、上述した代表画像の探索手法は、本発明においてはこの限りではない。上述では、ある特定の登録顔画像と、その他の全登録顔画像とを用いた探索手法を示しているが、その他の全登録顔画像のうち、マッチングスコアの大きい方から上位何位（例えば上位５位）までを用いて探索を行ってもよい。
【００６３】
また、上述した代表画像探索手段３１は、スコアの差が最大となる代表画像を１つ抽出する例を示すものであるが、本発明においてはこの限りではなく、例えば図５に示すようなマッチングスコアの比較において、予め閾値を設定しておき、スコアの差が閾値以上である画像フレーム又は時刻情報を全て抽出するようにしてもよい。
【００６４】
上述した代表画像抽出装置１を用いることにより、動画像の中から代表する画像を高精度に抽出することができる。これにより、例えば膨大な映像（動画像）の内容に関する情報、特に、映された人物に関する情報を代表的な静止画像を用いて要約することにより、直感的で簡便な動画像の閲覧を実現することができる。
また、顔画像認識の処理を反映したパラメータを代表画像の決定に用いることにより，入力画像の変動に対して頑健な代表画像の抽出を実現することができる。
【００６５】
ここで、上述した代表画像抽出装置１は、専用の装置構成により代表画像の抽出を行うこともできるが、例えば、代表画像抽出処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明における代表画像抽出処理を実現することができる。
【００６６】
＜ハードウェア構成＞
ここで、本発明における代表画像抽出処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図７は、本発明における代表画像抽出処理が実現可能なハードウェア構成の一例を示す図である。
【００６７】
図７におけるコンピュータ本体には、入力装置６１と、出力装置６２と、ドライブ装置６３と、補助記憶装置６４と、メモリ装置６５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６６と、ネットワーク接続装置６７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００６８】
入力装置６１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置６２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ６６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００６９】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体６８等により提供される。プログラムを記録した記録媒体６８は、ドライブ装置６３にセット可能であり、記録媒体６８に含まれる実行プログラムが、記録媒体６８からドライブ装置６３を介して補助記憶装置６４にインストールされる。
【００７０】
補助記憶装置６４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７１】
ＣＰＵ６６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置６５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して代表画像抽出における各処理を実現することができる。プログラムの実行中に必要な各種データ等は、補助記憶装置６４から取得することができ、また格納することもできる。
【００７２】
ネットワーク接続装置６７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００７３】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで代表画像抽出処理を実現することができる。また、プログラムをインストールすることにより、容易に代表画像抽出処理を実現することができる。
【００７４】
＜代表画像抽出処理手順＞
次に、実行プログラムにおける処理手順について、フローチャートを用いて説明する。図８は、本発明における代表画像抽出処理手順の一例を示すフローチャートである。まず、代表画像を抽出するための動画像を入力し（Ｓ０１）、入力された動画像から代表候補画像を抽出するための代表候補区間を決定する（Ｓ０２）。なお、代表候補区間は、上述したように、動画像から音声の開始や終了、シーンの切り替わり等に基づいて代表候補画像の区間の開始点及び終了点の組を出力する。また、Ｓ０２では、代表候補区間内の連続静止画像を動画中における時刻情報と関連付けた代表候補画像を抽出する。
【００７５】
次に、Ｓ０２の処理により取得した代表候補画像（連続静止画像群）と予め登録されている顔テンプレートの顔画像との照合を行う（Ｓ０３）。Ｓ０３の処理では、上述したように代表顔候補画像と顔テンプレートとから代表顔テンプレートを決定し、代表顔テンプレートを示す個人識別情報とマッチングスコアテーブルとを生成する。
【００７６】
次に、個人識別情報とマッチングスコアテーブルとに基づいて、代表顔テンプレートのマッチングスコアと、それ以外の顔テンプレート又は所定の顔テンプレートのマッチングスコアとの差を最大とする画像フレーム又は時刻を探索し（Ｓ０４）、その画像フレーム又は時刻に対応する画像を代表画像として出力する（Ｓ０５）。
【００７７】
ここで、未処理の動画像が存在するかを判断し（Ｓ０６）、未処理の動画像が存在する場合（Ｓ０６において、ＹＥＳ）、Ｓ０１に戻り未処理の動画像を入力して以降の処理を行う。また、未処理の動画像が存在しない場合（Ｓ０６において、ＮＯ）、代表画像抽出処理を終了する。
【００７８】
上述したように、代表画像抽出処理により動画像の中から代表する画像を高精度に抽出することができる。また、本発明における代表画像を抽出する実行プログラムを生成することで、特別な装置構成を必要とせず、低コストで代表画像抽出処理を実現することができる。また、プログラムをインストールすることにより、容易に代表画像抽出処理を実現することができる。
【００７９】
上述したように本発明によれば、動画像の中から代表する画像を高精度に抽出することができる。例えば膨大な映像（動画像）の内容に関する情報、特に、映された人物に関する情報を代表的な静止画像を用いて要約することができる。したがって、直感的で簡便な動画像の閲覧を実現することができる。
【００８０】
また、代表画像判定のための処理に顔認識における照合結果を利用することで、装置全体の構成を単純化することができ、代表画像を高精度に抽出することができる。また、変動する未知の入力データに対する頑健性を改善することができる。
【００８１】
なお、上述した実施形態では代表画像の抽出例として顔画像を抽出する例について説明したが、本発明においてはこの限りではなく、例えば手話の映像であれば、指の端点を特徴点として代表的な画像を抽出することができ、動物や植物、建物等についても所定の部分を特徴点として、上述した処理に適用することにより、顔や人物画像以外の代表画像を高精度に抽出することができる。
【００８２】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００８３】
【図１】本発明における代表画像抽出装置の一構成例を示す図である。
【図２】テンプレート照合に用いた登録顔画像の一例を示す図である。
【図３】顔認識の様子を説明するための一例を示す図である。
【図４】マッチングスコアテーブルの一例を示す図である。
【図５】本実施形態における代表画像探索の結果の一例を示す図である。
【図６】代表画像の出力結果の一例を示す図である。
【図７】本発明における代表画像抽出処理が実現可能なハードウェア構成の一例を示す図である。
【図８】本発明における代表画像抽出処理手順の一例を示すフローチャートである。
【符号の説明】
【００８４】
１  代表画像抽出装置
１０  代表候補画像決定手段
１１  代表候補区間決定手段
１２  代表候補画像保存手段
２０  顔画像認識手段
２１  顔テンプレート保存手段
２２  顔テンプレート照合手段
３０  代表画像判定手段
３１  代表画像探索手段
３２  代表画像出力手段
４０  人物
４１  顔領域
４２  特徴点
５０  マッチングスコアテーブル
６１  入力装置
６２  出力装置
６３  ドライブ装置
６４  補助記憶装置
６５  メモリ装置
６６  ＣＰＵ
６７  ネットワーク接続装置
６８  記録媒体
【図１】
2006331271.tif 000003
【図４】
2006331271.tif 000004
【図５】
2006331271.tif 000005
【図７】
2006331271.tif 000006
【図８】
2006331271.tif 000007
【図２】
2006331271.tif 000008
【図３】
2006331271.tif 000009
【図６】
2006331271.tif 000010