(57)【要約】【課題】統一感のある見やすい顔アイコン画像を表示する。【解決手段】  映像コンテンツに含まれる顔領域を検出し、前記顔領域を含む顔切出し画像を生成する顔検出処理部と、前記映像コンテンツに含まれる複数の顔切出し画像を前記映像コンテンツの登場人物毎にグルーピングして前記登場人物に対応したクラスタに分類する顔クラスタリング処理部と、前記顔切出し画像が有する複数の特徴に夫々対応する複数の評価項目のうちの１つ以上の評価項目について前記複数の顔切出し画像を夫々評価して評価値を得る評価部と、前記クラスタ中の前記複数の顔切出し画像のうち前記評価値が所定の範囲内の前記顔切出し画像を、表示に用いる代表顔アイコン画像として選択する選択部とを具備したことを特徴とする。【選択図】図１
2011019192.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツに含まれる顔領域を検出し、前記顔領域を含む顔切出し画像を生成する顔検出処理部と、
前記映像コンテンツに含まれる複数の顔切出し画像を前記映像コンテンツの登場人物毎にグルーピングして前記登場人物に対応したクラスタに分類する顔クラスタリング処理部と、
各顔切出し画像が有する複数の特徴に夫々対応する複数の評価項目のうちの１つ以上の評価項目について前記複数の顔切出し画像を夫々評価して評価値を得る評価部と、
前記クラスタ中の前記複数の顔切出し画像のうち前記評価値が所定の範囲内の前記顔切出し画像を、表示に用いる代表顔アイコン画像として選択する選択部と
を具備したことを特徴とする画像表示装置。
【請求項２】
前記選択部は、前記顔切出し画像の正面度合い、平均輝度、色調、ピント、背景、顔の向き、コントラスト、画像位置、順光、カラー、笑顔のうちの少なくとも１つを前記評価項目として、前記代表顔アイコン画像を選択することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
映像コンテンツに含まれる顔領域を検出し、前記顔領域を含む顔切出し画像を生成する顔検出処理部と、
前記映像コンテンツに含まれる複数の顔切出し画像を前記映像コンテンツの登場人物毎にグルーピングして前記登場人物に対応したクラスタに分類する顔クラスタリング処理部と、
各顔切出し画像が有する複数の特徴に夫々対応する複数の評価項目について前記複数の顔切出し画像を夫々評価して評価値を得る評価部と、
前記複数の評価項目についての複数の評価値に基づいて、前記クラスタから前記顔切出し画像を選択して表示に用いる代表顔アイコン画像とする選択部と
を具備したことを特徴とする画像表示装置。
【請求項４】
前記選択部は、
前記クラスタ中の前記顔切出し画像のうち、前記代表顔アイコン画像の候補とする画像を前記評価値に基づいて除外するフィルタリング部と、
前記代表顔アイコン画像の候補から、前記評価値に基づいて、前記代表顔アイコン画像を決定する決定部と
を具備したことを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記選択部は、前記登場人物に対応した前記クラスタについて前記所定の範囲として共通の値を用いることを特徴とする請求項１乃至４のいずれか１つに記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔クラスタリングの処理結果を用いて顔画像を表示する画像表示装置に関する。
【背景技術】
【０００２】
近年、映像のデジタル化及び蓄積メディアの大容量化に伴い、大量の映像コンテンツから所望のシーンを検索するための映像インデクシング技術の研究が進められている。映像インデクシング技術を活用することで、例えば登場人物毎に登場シーンを検索すること等が可能となる。
【０００３】
このような検索のために、顔検出等の画像認識技術が用いられる。特許文献１においては、人物の顔をキーに映像を検索する情報処理装置が開示されている。しかしながら、この特許文献１の発明では、予め登録した顔写真に類似した顔画像しか検出することができず、異なる大きさ、向き、明るさ、コントラスト、背景、周囲の明るさ、撮影時期及び表情等の顔については検出することができない。
【０００４】
これに対し、特許文献２においては、映像コンテンツに含まれる顔を検出する顔画像候補領域検索方法が開示されている。この発明による顔検出処理を利用することで、各シーンでどのような人物が登場するかを検索することが可能である。
【０００５】
しかしながら、映像コンテンツに含まれる全ての顔を検出して単に表示しただけでは、同一人についての検索結果が連続すること等があり、必ずしもシーンの検索等が容易になるとは限らない。そこで、同一人についての検出結果をグルーピングする技術、即ち、顔クラスタリング処理が採用される。
【０００６】
非特許文献１には、この顔クラスタリング処理の技術が詳述されている。非特許文献１に開示された技術は、予め登録された顔画像を元に生成した部分空間と映像中の顔画像を元に生成した部分空間との類似度を計算して、人物を認証する技術である。
【０００７】
このような顔クラスタリング処理を行うことで、映像コンテンツ内に登場する人物を効率よく表示することが可能となり、シーン等の検索が容易となる。
【０００８】
ところで、顔クラスタリング処理の処理結果を用いた各種アプリケーションでは、映像コンテンツの登場人物を顔画像によって表示することが考えられる。例えば、シーン検索等において、映像コンテンツから取得した顔画像を用いた表示とシーンとを対応付けることで、顔画像を参照したシーンの特定を可能にするのである。
【０００９】
しかしながら、シーン毎に検出された顔画像の大きさ、向き、明るさ、コントラスト、背景、周囲の明るさ及び表情等が異なり、表示する各人物の顔画像に統一感がない。また顔を確認しにくい顔画像もあり、十分な表示品位が得られないことがあるという問題があった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−８３８７７号公報
【特許文献２】特開２００５−１３４９６６号公報
【非特許文献】
【００１１】
【非特許文献１】山口修、福井和広「顔向きや表情の変化にロバストな顔認識システム"smart face"」電子情報通信学会、論文誌D-II,vol.J84-D-II, no.6, pp.1045-1052, June 2001
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、顔クラスタリングの処理結果に基づいて十分な表示品位の顔画像を表示することができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の一態様の画像表示装置は、映像コンテンツに含まれる顔領域を検出し、前記顔領域を含む顔切出し画像を生成する顔検出処理部と、前記映像コンテンツに含まれる複数の顔切出し画像を前記映像コンテンツの登場人物毎にグルーピングして前記登場人物に対応したクラスタに分類する顔クラスタリング処理部と、各顔切出し画像が有する複数の特徴に夫々対応する複数の評価項目のうちの１つ以上の評価項目について前記複数の顔切出し画像を夫々評価して評価値を得る評価部と、前記クラスタ中の前記複数の顔切出し画像のうち前記評価値が所定の範囲内の前記顔切出し画像を、表示に用いる代表顔アイコン画像として選択する選択部とを具備したことを特徴とする。
【００１４】
また、本発明の他の態様の画像表示装置は、映像コンテンツに含まれる顔領域を検出し、前記顔領域を含む顔切出し画像を生成する顔検出処理部と、前記映像コンテンツに含まれる複数の顔切出し画像を前記映像コンテンツの登場人物毎にグルーピングして前記登場人物に対応したクラスタに分類する顔クラスタリング処理部と、各顔切出し画像が有する複数の特徴に夫々対応する複数の評価項目について前記複数の顔切出し画像を夫々評価して評価値を得る評価部と、前記複数の評価項目についての複数の評価値に基づいて、前記クラスタから前記顔切出し画像を選択して表示に用いる代表顔アイコン画像とする選択部とを具備したことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、顔クラスタリングの処理結果に基づいて十分な表示品位の顔画像を表示することができるという効果を有する。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態に係る画像表示装置を示すブロック図。
【図２】本実施の形態において採用する映像インデクシング処理に用いる顔検出処理及び顔クラスタリング処理を説明するための説明図。
【図３】評価値の記憶手順を示すフローチャート。
【図４】代表顔アイコン画像の選択方法を示すフローチャート。
【図５】複数の評価項目を用いて代表顔アイコン画像を選択する場合の動作を示すフローチャート。
【図６】図５中のフィルタリング処理を具体的に示すフローチャート。
【図７】キャストアイコン表示を示す説明図。
【図８】ポップアップ顔アイコン表示を示す説明図。
【図９】登場タイムライン表示を示す説明図。
【図１０】フィルタリング処理を示すフローチャート。
【図１１】フィルタリング処理を示すフローチャート。
【図１２】本発明の第２の実施の形態を示すフローチャート。
【図１３】本発明の第３の実施の形態を示すフローチャート。
【図１４】本発明の第４の実施の形態を示すフローチャート。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１８】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像表示装置を示すブロック図である。
【００１９】
画像表示装置１０は、中央処理装置（ＣＰＵ）１１、ＲＯＭ１２、ＲＡＭ１３及びインターフェース部（以下、Ｉ／Ｆという）１４〜１６等によって構成された情報処理装置であり、パーソナルコンピュータ（ＰＣ）等によって構成することができる。ＲＯＭ１２には、映像インデクシング処理のための画像処理プログラム等が記憶されている。ＲＡＭ１３は、ＣＰＵ１１の作業用記憶領域である。Ｉ／Ｆ１４には内蔵又は外付けのハードディスク装置（以下、ＨＤＤという）１７が接続されており、ＨＤＤ１７には、動画像データ（映像コンテンツ）等が記憶されている。
【００２０】
Ｉ／Ｆ１５にはモニタ１８が接続されており、モニタ１８は、画像及び映像インデクシング処理結果等を表示することができるようになっている。Ｉ／Ｆ１６には、キーボード、マウス等の入力装置が接続されており、Ｉ／Ｆ１６は入力装置からの操作信号をＣＰＵ１１に与える。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、Ｉ／Ｆ１４〜１６相互間は、バス１９により接続されている。
【００２１】
ＣＰＵ１１は、ＲＯＭ１２に記憶されている映像インデクシングプログラムを読み出して実行する。即ち、ＣＰＵ１１は、ＨＤＤ１７から読み出した動画像のストリームデータ（映像コンテンツ）に対して映像インデクシング処理を施す。
【００２２】
なお、映像インデクシング処理のためのプログラムは、ＨＤＤ１７に記憶されていてもよく、この場合には、ＣＰＵ１１はＨＤＤ１７に記憶された映像インデクシング処理のためのプログラムを読み出して実行することになる。
【００２３】
なお、本実施の形態は、画像表示装置１０がＰＣ等の情報処理装置によって構成される例を説明するが、画像表示装置は、テレビ放送のストリームデータを記憶するテレビ受像機、テレビ受信機能付きHDDレコーダ等の装置、さらにあるいは、ネットワークを介して配信されるストリームデータ等を記憶する装置等に組み込まれていてもよい。例えば、画像表示装置がテレビ受像機に組み込まれた場合には、ＣＰＵ１１は、テレビ放送のストリームデータを受信しながら、受信中の映像コンテンツに対してリアルタイムに映像インデクシング処理を実行することも可能である。
【００２４】
なお、映像インクシング処理は、ＣＰＵで実行するだけでなく、ＣＰＵとコプロセッサ（ＣＰＵと別のストリームプロセッサ や、メディアプロセッサや、グラフィクスプロセッサや、アクセラレータと呼ばれるような処理装置）が連携して処理しても良い。この場合、コプロセッサとＣＰＵを合わせた装置を改めて「ＣＰＵ」と考えて、図１を参照すれば本実施の形態の構成が理解できる。
【００２５】
映像インデクシング処理は、映像コンテンツを処理して、有意のインデックス情報を作成する処理である。例えば、映像インデクシング処理としては、顔認識技術を用いて、認識された顔の画像毎にインデックスを付与する処理等が考えられる。このような映像インデクシング処理によって、テレビ番組等の動画像データ中の特定の出演者の場面だけを視聴すること等が可能であり、映像コンテンツの効率的な視聴が可能となる。映像インデクシングの効果は、効率的な視聴だけでなく、豊かな創作活動を支援することができたり、異なる視点と編集で映像コンテンツを視聴することで新しい感動を得ることができるなど、豊かな効果がある。
【００２６】
次に、図２の説明図を参照して、本実施の形態において採用する映像インデクシング処理に用いる顔検出処理及び顔クラスタリング処理について説明する。
【００２７】
（顔検出処理）
ＣＰＵ１１は、ＨＤＤ１７からの映像コンテンツを読み出して、顔検出処理を実行する。なお、ＣＰＵ１１は、テレビ放送のストリームデータを受信しながら、受信中の映像コンテンツに対してリアルタイムで顔検出処理を実行することも可能である。
【００２８】
即ち、先ず、ＣＰＵ１１は動画像を映像処理して、フレーム又はフィールドと呼ぶ静止画像の列の状態にする。図２はこのような時間的に連続した静止画像ｆ１〜ｆ４を示している。ＣＰＵ１１は、各静止画像内から、顔の領域を検出する。例えば、ＣＰＵ１１は、文献（特開２００６−２６８８２５号公報）にて開示された手法を採用して、各静止画像内から、顔の領域を検出することができる。文献（特開２００６−２６８８２５号公報）を静止画像の顔画像検出に応用するためには、事前の学習段階では、学習するサンプル画像を「多数の顔画像」に設定して学習し、その後の処理の段階では、静止画像の様々な位置と、サイズの部分画像領域に対して、顔画像が含まれているか否かを判定する処理を繰り返せばよい。
【００２９】
動画像コンテンツに対して顔検出処理を実行すると、非常に多くの顔画像が得られる。これを、人物ごとにグルーピング、すなわち、顔クラスタリング処理をするのだが、顔クラスタリング処理は、「顔シーケンス作成処理」と「顔画像処理技術を用いた顔クラスタリング処理」の２つの処理ステップに分けて実行する。
【００３０】
（顔シーケンス作成処理）
まず第１の処理ステップとして、同一被写体の（時間的に）連続する顔画像を集めて（グルーピングして）顔シーケンスを作成する。これを「顔シーケンス作成処理」と呼ぶことにする。
【００３１】
「顔シーケンス作成処理」の目的とするところは、第２ステップの「顔画像認識技術を用いた顔クラスタリング処理」のために、「顔画像の集合」の集合を作ることである。
【００３２】
各静止画像中には、さまざまな位置や大きさの顔画像が含まれる。各顔画像は、人物も異なるし、表情、明るさ、コントラスト、顔の向き、等も様々である。特に、テレビ放送の場合には、同一人物であっても、メイク、髪型、役どころ等の相違によって、静止画像列中の各顔の形等が異なることが多い。このような理由から、顔画像認識技術を用いても、単一の顔画像をそのまま人物毎にグルーピングすることは困難である。
【００３３】
そこで、同一人物の様々な（ある程度のバリエーションのある）顔画像を集め、顔画像の集合毎に顔クラスリングする手法が採用される。この「顔画像の集合」を作るために「顔シーケンス」を作成する。「顔シーケンス作成処理」は下記のように行う。
【００３４】
ＣＰＵ１１は、所定の顔辞書を用いて、各静止画像から顔の領域を特定し、顔の領域の周囲を含めた画像を切り出す。図２の領域Ｆ１ａ〜Ｆ４ａ及びＦ１ｂ〜Ｆ３ｂは、ＣＰＵ１１によって切り出される画像の領域（以下、顔切出し領域という）を示している。ＣＰＵ１１は、顔切出し領域の画像（以下、顔切出し画像という）を映像コンテンツとは別のファイルとして保存する。なお、この場合には、ＣＰＵ１１は、顔サイズを元に顔画像を正規化してもよい。更に、ＣＰＵ１１は、画像の大きさや画質を正規化した後顔切出し画像を保存するようにしてもよい。
【００３５】
更に、ＣＰＵ１１は、上述した顔検出と同時に、静止画像列の時間的類似性と、顔画像の検出位置の連続性を求める。即ち、ＣＰＵ１１は、各静止画像中の顔画像の領域（以下、顔領域という）の画面上の位置及びサイズを記憶すると共に比較し、連続する複数静止画像間で位置とサイズの変動が小さい顔領域を同一被写体についての顔領域と判定する。
【００３６】
図２の例では、領域Ｆ１ａ〜Ｆ４ａは相互に同一被写体の顔領域を含むと判定される。また、同様に、領域Ｆ１ｂ，Ｆ２ｂは相互に同一被写体、領域Ｆ３ｂは相互に異なる被写体の顔領域を含むと判定される。なお、カメラ切換り点の前後の連続するフレームで、別の被写体についての顔画像の位置及びサイズが略々同一である場合もある。そこで、ＣＰＵ１１は、このような場合等を考慮して、フレーム毎に、画面全体の色調と輝度配置パターンとの特徴量を計算し、その特徴量が急激に変動する点をショット切換り（カット）と推定することで、異なる被写体の顔画像を同一被写体の顔画像と誤判定することを防止している。
【００３７】
最も簡単に処理を行うには、例えば、映像コンテンツに対して連続的にフレーム間差分を計算し、その変化量が所定の設定値よりも大きい場合にカットがあったと判断すれば良い。つまり、顔画像の位置及びサイズや、顔画像の領域のフレーム間差分、また、背景の（あるいは、画面全体の）フレーム間差分などの、どれかに変化があった場合にはカットがあったと判断すればよい。この処理ステップでは、誤ってカットを検出してしまっても大きな問題ではなく、逆に人物が入れ替わったときにカットを検出漏れすることの方が問題になる。そこで、カット点の検出感度は敏感に設定しておく。
【００３８】
そして、ＣＰＵ１１は、連続した静止画像列における同一被写体の連続した顔画像の集合を顔シーケンスとして定義する。即ち、１つの顔シーケンスには、同一被写体と推定した時間的に連続した複数の顔画像のみが含まれる。例えば、図２の例では、領域Ｆ１ａ〜Ｆ４ａの４つの顔画像によって顔シーケンスａが生成され、領域Ｆ１ｂ〜Ｆ２ｂの２つの顔画像によって顔シーケンスｂが生成される。
【００３９】
また、１つの映像コンテンツでは、同一被写体につき複数の顔シーケンスが検出されるものと考えられる。例えば、映像コンテンツ中に全部で例えば１００００個の顔シーケンスが検出されたものとし、当該映像コンテンツの主な登場人物が１０人であったとすれば、平均的には一人当たり１０００個の顔シーケンスに分割されて検出されることになる。
【００４０】
（顔クラスタリング処理）
次に、第２の処理ステップである「顔画像処理技術を用いた顔クラスタリング処理」を行う。「顔画像認識技術を用いた顔クラスタリング処理」は、生成した顔シーケンスに対して画像認識技術によって、顔シーケンスを同一人物毎に統合（グルーピング）する処理である。
【００４１】
先ず、ＣＰＵ１１は、顔シーケンス中の各顔画像の目、鼻、口、眉等のパーツの位置を検出し、基本モデルのパーツ位置を基準にして、顔シーケンス中の全ての顔画像を正面向きの顔の画像（以下、正規化画像という）に変換する。そして、ＣＰＵ１１は、顔シーケンス中の正規化顔画像列から特徴抽出処理を行い、その部分空間を作成する。ＣＰＵ１１は、映像コンテンツ内の全ての顔シーケンスについて部分空間を作成する。ＣＰＵ１１は、部分空間のデータを顔シーケンスの辞書として扱い、この後の「顔シーケンスの統合処理」を行う。
【００４２】
なお、一連の画像列（もちろん、顔画像列を含む）から部分空間を作成する方法、部分空間同士の類似度を計算する方法については、文献（山口修、福井和広「顔向きや表情の変化にロバストな顔認識システム"smart face"」電子情報通信学会、論文誌D-II,vol.J84-D-II, no.6, pp.1045-1052, June 2001）に詳述されている。
【００４３】
また、ＣＰＵ１１は、部分空間の作成に際して、画像列の特徴として顔画像の輝度分布をそのまま画像特徴とするのではなく、部分的な画像切り出しを行って、数学的な変換や、幾何学的な変換を行った上で、特徴抽出する方法等を採用してもよい。画像特徴の抽出方法は様々な変化形がある。また、本実施の形態では画像特徴の次元数が多く、それを次元圧縮して部分空間に圧縮することを基本に説明しているが、顔シーケンスの特徴ベクトルの次元数が多くない場合には、部分空間法を採用せずに、特徴ベクトルをそのまま辞書データにするなどの変化形を採用しても良い。さらに、画像特徴を利用する方法でなく、画像の部分領域をそのまま利用し、他の顔シーケンスとの画像マッチングによって、顔シーケンスの統合処理を行うなどの方法も採用できる。以上の様に、この後の「顔シーケンスの統合処理」のために、抽出する情報や特徴量には様々な方法があるが、いずれにしろ、「顔シーケンス」を作成して「顔シーケンスを統合処理」するという手順は共通である。
【００４４】
続けて、「顔シーケンスの統合処理」を行う。
【００４５】
顔シーケンスは、同一実物に対して複数検出されている。そこで、同一人物についての顔シーケンス同士をマージする。即ち、ＣＰＵ１１は、各顔シーケンスの部分空間同士の類似度を計算して、映像コンテンツ内で検出された各顔シーケンスが同一人物の顔シーケンスであるか別の人物の顔シーケンスであるかを判別する。例えば、ＣＰＵ１１は、縦横に顔シーケンスが配列された総当たり表（以下、類似度マトリクスという）を用いて、各顔シーケンスの部分空間の類似度を総当たりで計算して、類似度が所定の閾値よりも高い顔シーケンス同士を統合する。
【００４６】
なお、類似度マトリクスは大規模行列になることが多いので、ＣＰＵ１１は、類似度マトリクスに対する類似度計算を進めるにあたって、総当たりの間引きを行ったり、優先順位を付けて計算を行ったり、階層的な類似度マトリクスを作成して階層的な解析をしてもよい。
【００４７】
部分空間同士の（すなわち顔シーケンス同士の）類似度の計算方法としては、相互部分空間法等を採用することができる。相互部分空間法については、例えば、文献（「局所的構造を導入したパターンマッチング法」，電子情報通信学会論文誌（D），vol. J68-D，no. 3，pp. 345-352，1985）にその詳細が記載されている。部分空間とその類似度の計算方法にも様々な変化形があるが、実施したい処理は、顔シーケンス間の類似度の計算と、顔シーケンス同士が同一人物か否かを判断することである。
【００４８】
ＣＰＵ１１は、統合した顔シーケンスに対して、統合した顔シーケンスに含まれる全ての正規化画像を用いて、再度部分空間を算出し、以後の類似度の計算に用いる。顔シーケンスが統合されることによって、顔シーケンスに含まれる顔画像が増え、顔シーケンスには顔画像の摂動（表情や顔向きなどに起因する微妙な変動）がより多く含まれることになり、類似度を計算するための特徴量に空間的な広がりが形成される。特徴量に空間的な広がりが形成されることで、顔シーケンス同士の統合がより加速されることになる。
【００４９】
このような顔シーケンスの統合を繰返すことによって、類似度マトリクスのサイズは徐々に小さくなる。類似度マトリクスの縮小が収束した時点で、顔クラスタリング処理が終了する。
【００５０】
こうして、類似度が高い顔シーケンス同士がグルーピングされた状態になる。各顔シーケンスのグループを「クラスタ」とも呼ぶ。顔クラスタリング処理する場合、クラスタリングの誤りは２種類ある。第１が「誤ってクラスタ統合してしまう」誤りであり、第２が「誤ってクラスタを分割してしまう」誤りである。顔クラスタリング結果の応用方法に依存するが、通常は、第１の誤りの方が問題になることが多い。よって、通常は、異なる人物についての顔シーケンスが誤って統合されないように、類似度の閾値は高めに設定される。従って、同一人物についての顔シーケンス同士が統合されないこともある。例えば、映像コンテンツにおける登場人物が５人であっても、２０００個の顔シーケンスが残ることがある。しかし、この場合でも、クラスタに含まれる顔画像の数が多い順にクラスタを選ぶと、例えば、１０個程度のクラスタに映像コンテンツ内の殆どの顔画像が含まれることが多く、実用上は問題はない。
【００５１】
（表示処理）
本実施の形態においては、顔クラスタリング結果を以下の３つの表示形態で表示する例について説明する。
【００５２】
第１の例は、映像コンテンツの代表的な登場人物を顔アイコン画像で表示するアプリケーションである。この例における顔アイコン画像を、配役（キャスト）が分かるアイコンという意味で、キャストアイコンと呼び、このような表示をキャストアイコン表示という。キャストアイコン表示では、映像コンテンツのファイル選択前に、映像コンテンツ内の代表的な登場人物を知ることができる。
【００５３】
第２の例は、タイムライン上で指定されたカットの登場人物の代表顔をポップアップして表示するアプリケーションであり、この例における顔アイコン画像をポップアップ顔アイコンと呼び、このような表示をポップアップ顔アイコン表示という。ポップアップ顔アイコン表示では、映像コンテンツを編集する場面において、所定の区切り（チャプタ）の登場人物を、コンテンツを再生することなく知ることができる。
【００５４】
第３の例は、人物別に登場シーンを時間軸（タイムライン）上で表示するアプリケーションであり、このような表示を登場タイムライン表示という。登場タイムライン表示では、コンテンツの再生ポイントを選んで再生しようとする際に、簡単にコンテンツの内容を俯瞰することができる。
【００５５】
本実施の形態においては、ＣＰＵ１１は、顔検出処理時において、各顔画像を種々の評価方法によって評価し、評価結果である評価値を各顔画像に対応させて記憶させるようになっている。上述したように、ＣＰＵ１１は、顔切出し領域の画像（顔切出し画像）を映像コンテンツとは別ファイルで保存するようになっている。ＣＰＵ１１は保存する顔切出し画像に対応させて、各種評価値を記憶させる。ＣＰＵ１１は保存した顔切出し画像を各種表示に用いる顔アイコン画像として利用するようになっている。
【００５６】
本実施の形態においては、ＣＰＵ１１は、各クラスタに含まれる顔切出し画像のうちの１つの画像を、各顔切出し画像に対応させて記憶された評価値に基づいて選択して、顔アイコン画像として表示に用いるようになっている。
【００５７】
例えば、ＣＰＵ１１は、評価値として正面度合い（frontality）を用いることができる。ＣＰＵ１１は顔検出処理に際して、顔辞書と各画像の一部部分との類似度を評価する。顔検出処理では、顔辞書は特定された個人の顔に反応するのでなく、様々な人の顔画像や、様々な表情の顔画像に対して反応するように作られるため、一般的には、正面を向いた、明瞭な（コントラストが十分、ボケてなくて、順光に近い）顔の画像についての評価値が高くなる。ＣＰＵ１１は各クラスタ中で評価値が最も高い、即ち、正面度合いが最も高い顔切出し画像を、顔アイコン画像（以下、代表顔アイコン画像という）として用いるのである。
【００５８】
ＣＰＵ１１は顔切出し画像のサイズを同一にして保存するか、又は代表顔アイコン画像として選択した顔切出し画像については顔の大きさを正規化し画像サイズを統一して用いる。これにより、各表示における顔アイコンのサイズや顔アイコンの中の顔のサイズに統一感が生じ、見やすい画像となる。
【００５９】
しかしながら、単に顔検出のための評価値を基準に顔切出し画像を選択したのでは、明るさ、コントラスト、色調等の他の画像特徴や顔の向き、表情等が不統一となることが考えられる。例えば、検出された顔画像の中に、たまたま真正面を向いた明瞭な画像があれば、それが選択されるかもしれないが、実際には右を向いていたり、下を向いている顔しか含まれていなければ、比較的正面に近い顔画像が選択されるに過ぎない。また、顔検出のための評価値は、顔向きだけで判断されるのでなく、表情が平均的かどうかや、画像の明瞭さにも影響されて決まる。したがって、単に顔検出のための評価値を基準に顔切り出し画像を選択したのでは、
・人物の顔の向きが不統一であり、人によって右を向いていたり、下を向いていたりする。
【００６０】
・顔によって暗かったり、明るかったり、平均輝度がそろっていない場合がある。
【００６１】
・顔によってコントラストが異なり、明瞭さが異なる。
【００６２】
・背景や照明条件が不統一で、色調（トーン）がそろっていない。
【００６３】
等のように表示が不統一で表示品位に欠けるという欠点がある。
【００６４】
本実施の形態においては、個々の代表顔アイコン画像として見やすい画像を選択するだけでなく、全体として統一感のある代表顔アイコン画像を選択することを可能にする。このため、ＣＰＵ１１は、顔検出処理時に画像に対して各種評価を行い、その評価値を顔切出し画像に対応させて記憶させるようになっている。
【００６５】
図３は評価処理の手順を示すフローチャートであり、図４は代表顔アイコン画像の選択方法を示すフローチャートである。図４の例は、各クラスタ内において１つ又は複数の評価値に応じて代表顔アイコン画像を選択するものである。
【００６６】
ＣＰＵ１１は、ステップＳ１において、顔領域の検出を行い、この検出時に各評価項目について、顔画像又は顔切出し画像の評価を行う（ステップＳ２）。ＣＰＵ１１は、画像Ｎｏにて特定される顔切出し画像に対応付けて評価値を記憶させる（ステップＳ３）。下記表１は評価項目の一例を示している。
【００６７】
［表１］
┌──────┬────┬────┬───┬───┬────┐
│正面度合い  │平均輝度│  色調  │ピント│  背景│顔の向き│
├──────┼────┼────┼───┼───┼────┤
│コントラスト│画像位置│  順光  │カラー│  笑顔│        │
└──────┴────┴────┴───┴───┴────┘
評価項目としては、表１に示すように、正面度合い、コントラスト、平均輝度、色調、ピント、順光、画像位置、笑顔、カラー、顔の向き、背景等が考えられる。各項目の評価値として、評価項目について検出した評価値をそのまま記憶させてもよく、評価値を段階的に分類して各分類に付した値を記憶させてもよい。例えば、顔の向きとしては、正面を基準に上下左右方向の角度を記憶させてもよく、上下左右の方向を８方向に分けていずれの方向を向いているかを記憶させてもよい。また例えば、笑顔については、笑顔の評価基準となる画像との類似度をそのまま記憶させてもよく、笑顔の度合いが何段階目に属するかを示す値を記憶させてもよい。
【００６８】
なお、ピントについては、顔切出し画像中の顔画像のみについて評価する。例えば、ＣＰＵ１１は、顔画像に２次元フーリエ変換を施して、その高周波領域のスペクトラムのパワーをピントの評価値とすることができる。この場合には、ＣＰＵ１１は、評価値が最も大きい顔画像を最もピントが合っている顔画像と判定することができる。
【００６９】
ＣＰＵ１１は、キャストアイコン表示等のために、先ず、ステップＳ５において、選択の基準となる評価項目を決定する。例えば、ＣＰＵ１１は評価項目として「ピント」を選択するものとする。ＣＰＵ１１は、各クラスタ毎に、当該クラスタに含まれる全ての顔切出し画像の顔画像についてピントの評価値を読み出して比較し（ステップＳ７）、最も高い評価値に対応する顔切出し画像を代表顔アイコン画像として選択する（ステップＳ８）。
【００７０】
こうして、ピントが合った代表顔アイコン画像をキャストアイコン表示等に用いることができる。従って、単に正面度合いが高い顔アイコン画像だけでなく、ピントが合った顔アイコン画像を表示することができ、視認性に優れている。
【００７１】
更に、本実施の形態においては、上記表１の評価項目の複数を選択し、複数の評価値に基づいて代表顔アイコン画像を選択することができる。この場合には、評価項目に優先順位を付すことで、最も見やすい顔アイコン画像を選択することを可能にする。
【００７２】
図５はこのような複数の評価項目を用いて代表顔アイコン画像を選択する場合の動作の一例を示すフローチャートである。
【００７３】
いま、ＣＰＵ１１がキャストアイコン表示を行うものとする。この場合には、ＣＰＵ１１は、ステップＳ１１において、映像コンテンツ中の全クラスタを、各クラスタに含まれる顔画像数で夫々ソートする。ＣＰＵ１１は、ステップＳ１２において、顔画像数が多い上位ｎ個のクラスタを選択する。即ち、ＣＰＵ１１は、顔の表示回数が多い人物に対応するクラスタをキャストアイコンとして表示に用いるのである。
【００７４】
なお、ＣＰＵ１１は、クラスタを顔画像数によってだけでなく、顔画像の表示時間の総和の多い順に選択してもよい。また、映像コンテンツの略全時間帯に亘って登場する人物の方が、司会者や主人公など、重要な人物である場合があるので、ＣＰＵ１１は、映像コンテンツ内で最初に登場した時間から、最後に登場した時間までが長い順にクラスタを選択しても良い。
【００７５】
次に、ＣＰＵ１１は、選択したクラスタの全ての顔切出し画像を代表顔アイコン画像の候補とする（ステップＳ１３）。次に、本実施の形態においては、ＣＰＵ１１は、ステップＳ１４において、フィルタリングを行う。このフィルタリングによって、全ての顔切出し画像のうち例えば画質が良い画像のみが選択される。
【００７６】
図６は図５中のフィルタリング処理を具体的に示すフローチャートである。図６に示すように、ＣＰＵ１１は、先ず、全顔切出し画像のうち画面端部の画像を代表顔アイコン画像の候補から除外する。顔切出し画像は顔画像の周囲の画像を含む。従って、顔画像が画面端部に位置する場合には、顔切出し画像が画面外の領域を含むことになり、この部分が例えば黒一色で表示されて画面品位が劣化することがある。そこで、ＣＰＵ１１は、顔切出し画像に一定割合以上の単色の領域が存在する場合には、このような顔切出し画像を代表顔アイコン画像の候補から除外する。
【００７７】
次に、ＣＰＵ１１は、代表顔アイコン画像の候補について、そのコントラスト値を算出し、所定の閾値よりも低いコントラスト値を有する顔切出し画像を代表顔アイコン画像の候補から除外する。ＣＰＵ１１は、例えば、上位１０％輝度値と下位１０％輝度値との輝度差をコントラスト値とし、この値が所定の閾値よりも小さい画像を低コントラストの画像として代表顔アイコン画像の候補から除外する。これにより、代表顔アイコン画像の候補からコントラストが小さい、即ち、不明瞭な画像が除外される。
【００７８】
次に、ＣＰＵ１１は、ステップＳ２３において、顔検出の評価値が所定の閾値よりも小さい顔切出し画像を代表顔アイコン画像の候補から除外する。顔検出処理においては、顔辞書を用いた類似度値、眉、目、口、鼻等の各顔パーツの検出に関する評価値、顔パーツの位置関係から算出される正面度の評価値等、各種の評価値を用いて画像中から顔領域が検出される。ＣＰＵ１１は、これらの評価値を重み付けし線形和等によって顔検出の評価値とし、この評価値を閾値と比較して判定を行う。この評価値が高い画像は、顔領域と背景とが高い信頼性で区別可能である。
【００７９】
次に、ＣＰＵ１１は、ステップＳ２４において、１つ以上の代表顔アイコン画像の候補が存在するか否かを判定する。存在しない場合には、処理をステップＳ２５に移行し、ステップＳ２１〜Ｓ２３におけるはみ出し割合、コントラスト値、顔検出における評価値等の基準値を緩和して、ステップＳ２１〜Ｓ２３の処理をやり直し、ステップＳ２４の判定時に１つ以上の代表顔アイコン画像の候補が残るようにする。
【００８０】
望ましくは、ＣＰＵ１１は、各クラスタ中の全顔切出し画像のうち代表顔アイコンの候補として例えば１０％程度の画像が残るように、基準値の変更を行う。なお、基準値としては、代表顔アイコン画像を用いるアプリケーションに応じて最適な値を試行錯誤によって求めればよい。
【００８１】
フィルタリング処理が終了すると、次のステップＳ１５において、ＣＰＵ１１は、代表顔アイコン画像の候補から最適な顔アイコンを選択する。例えば、図５の例では、ＣＰＵ１１は、ピントが最も合っている顔切出し画像を代表顔アイコン画像として選択する。
【００８２】
次に、ステップＳ１６において、ＣＰＵ１１は全クラスタに対する処理が終了したか否かを判定し、終了していない場合には、次のクラスタについてステップＳ１３〜Ｓ１５の処理を繰返す。こうして、全てのクラスタについて表示に用いる代表顔アイコン画像が決定される。
【００８３】
なお、図６に示すフィルタリングの処理Ｓ２１、Ｓ２２，Ｓ２３は順番を入れ替えることも可能である。
【００８４】
図７乃至図９はこのように選択された代表顔アイコン画像を用いた各種表示の一例を示す説明図であり、図７はキャストアイコン表示を示し、図８はポップアップ顔アイコン表示を示し、図９は登場タイムライン表示を示している。
【００８５】
図７は、キャストアイコン表示を、映像コンテンツの選択画面３１上に表示した例を示している。アイコン３２は各映像コンテンツのコンテンツファイルを示しており、各アイコン３２の近傍にはコンテンツファイルのファイル名が表示されている。図７の例では選択画面３１上で４つのコンテンツファイルを選択可能であることを示している。マウス等の操作に従って、ＣＰＵ１１は選択画面３１上のカーソル表示３４を移動させる。例えば、ユーザがカーソル表示３４をアイコン３２上に移動させることで、ＣＰＵ１１は、アイコン３２によって指定された映像コンテンツの主要な登場人物を代表顔アイコン画像によって表示することができる。
【００８６】
例えば、ＣＰＵ１１はマウス等によって指定された映像コンテンツの代表顔アイコン画像を、キャストアイコン表示領域３３上に表示する。なお、この場合には、ＣＰＵ１１は、例えば、主な登場人物として、登場回数が多い上位数名の人物に対応した代表顔アイコン画像を表示させる。図７の例では、ファイル名がａ０００．ｍｐｇである映像コンテンツの６人分の代表顔アイコン画像３５が、キャストアイコン表示領域３３上に表示されている。
【００８７】
図８は、ポップアップ顔アイコン表示を、登場人物確認画面４１上に表示した例を示している。表示領域４２には映像コンテンツの映像が表示される。表示領域４２の下方には、表示領域４２に表示されているコンテンツのチャプターを示すチャプター表示４５が表示されている。図８の例では現在表示領域４２に表示されている映像コンテンツは４つのチャプターＣ１〜Ｃ４を有することを示している。
【００８８】
マウス等の操作に従って、ＣＰＵ１１は登場人物確認画面４１上のカーソル表示４６を移動させる。例えば、ユーザがカーソル表示４６をチャプター表示４５上の任意の位置に移動させることで、ＣＰＵ１１は、カーソル表示４６によって指定されたチャプター期間の登場人物を代表顔アイコン画像によって表示することができる。
【００８９】
例えば、ＣＰＵ１１はマウス等によって指定されたチャプター期間における登場人物の代表顔アイコン画像を、ポップアップ顔アイコン表示領域４３上に表示する。図８の例では、チャプターＣ３における４人の登場人物の代表顔アイコン画像４４が、ポップアップ顔アイコン表示領域４３上に表示されている。
【００９０】
図９は登場タイムライン表示の表示例を示している。登場タイムライン表示５１は、登場人物表示領域５２、時間表示５４及び登場期間表示５５を有する。ＣＰＵ１１は、登場人物表示領域５２において、映像コンテンツの主要な登場人物の代表顔アイコン画像５３を表示する。なお、この場合には、ＣＰＵ１１は、例えば、主な登場人物として、登場回数が多い上位数名の人物に対応した代表顔アイコン画像５３を表示させる。各代表顔アイコン画像５３から延出された直線は映像コンテンツの時間軸を示しており、時間軸上の登場期間表示５５によって各登場人物の登場期間を示している。
【００９１】
図７乃至図９に示すこれらの表示においては、図５に示す選択処理に従って、例えばピントが最良の代表顔アイコン画像が選択されて表示されており、表示品位に優れていると共に、登場人物の確認が極めて容易である
なお、代表顔アイコン画像の選択する評価項目としては、上記表１に例を示すように種々のものが考えられ、例えば画質に関するもの以外であってもよく、顔の向きや正面度合いを評価項目としてもよい。正面度合いを顔画像処理で判別する方法としては種々の方法が考えられる。例えば、左右の瞳が検出できていれば正面向きであると判定してもよく、また、眉、目、鼻、口等の顔のパーツを検出して、左右対称性が高い画像ほど正面向きであると判定してもよい。更に、正面向きの顔の辞書データとの類似度が大きいほど正面向きであると判定してもよく、また、顔検出処理の顔判定値の高さで評価してもよい。
【００９２】
しかし、顔検出処理における正面度についての評価値を代表顔アイコン画像の選択に用いると、画像によっては、右を向いていたり、左、上、下など、それぞれの方向を向いている可能性がある。また、例えば、図９の登場タイムライン表示等においては、登場人物表示領域５２が画面の左端に配置されていることから、代表顔アイコン画像５３としては（画面上の向きで）右向き（すなわち、顔画像がタイムラインの方を向く向き）の顔の画像の方が見栄えがよい。
【００９３】
そこで、この場合には、評価値として顔の向きが右向きである顔切出し画像を代表顔アイコン画像として選択することも可能である。
【００９４】
また、例えば、フィルタリング処理によって、顔の向きが右向きの画像のみを代表顔アイコン画像の候補とすることも考えられる。
【００９５】
そこで、ＣＰＵ１１は図６のフィルタリング処理に代えるか又は加えて図１０のフローチャートに示すフィルタリング処理を行ってもよい。
【００９６】
即ち、ＣＰＵ１１は、図１０のステップＳ３１において、クラスタ毎に顔の向きを数値化する。例えば、ＣＰＵ１１は、顔切出し画像内の顔の正面を示す軸が上下左右にどれだけずれているかを数値化する。顔の向きは、眉、目、鼻、口等の顔パーツの位置を検出して、各パーツの配置と、正面向きのパーツ配置モデルとの２次元的な位置の差から、３次元運動解析を行うことで求めることができる。ＣＰＵ１１は、正面向きのパーツ配置モデルに対する顔の３次元変換パラメータ（並進方向と並進運動量、及び、回転軸と回転角度）を求めることで、顔の向きを数値化する。
【００９７】
ＣＰＵ１１は、顔の上下の向きが閾値を超える画像を代表顔アイコン画像の候補から除外する。例えば、顔の左右方向の角度が重要である場合には、顔の上下方向の角度については比較的大きな閾値を設定する。これにより、上下方向の多少のずれは許容され、上下方向に関しては比較的多くの画像が代表顔アイコン画像の候補として残ることになる。
【００９８】
次に、ＣＰＵ１１は、顔の左右の向きが閾値を超える画像を代表顔アイコン画像の候補から除外する。例えば、ＣＰＵ１１は、例えば顔の向きが右向きに統一されるように、予め定めた角度（例えば右向き１５度）の近傍の角度範囲を閾値として設定し、この角度範囲を超える画像を代表顔アイコン画像の候補から除外する。
【００９９】
次に、ＣＰＵ１１は代表顔アイコン画像の候補が残っているか否かを判定する（ステップＳ３４）。ＣＰＵ１１は、代表顔アイコン画像の候補が残っている場合には、フィルタリング処理を終了し、残っていない場合には、ステップＳ３５において、顔の向きが閾値に比較的近い画像を代表顔アイコン画像の候補とする。
【０１００】
仮に、クラスタ内に右向きの顔画像が存在しない場合には、ステップＳ３４において代表顔アイコン画像の候補が残っていないと判定されることになる。そこで、この場合には、左向き又は正面向きの画像の中から、顔の向きがステップＳ３３において設定した角度範囲に近い画像を代表顔アイコン画像の候補とするのである。なお、ステップＳ３５において、正面度が閾値以内（例えば、正面向きから１５度以内）の画像を代表顔アイコン画像の候補として残すようにしてもよい。
【０１０１】
また、ステップＳ３４において代表顔アイコン画像の候補が残っていないと判定された場合には、ステップＳ３３の閾値を変更して選択可能な画像の範囲を広げて、再度ステップＳ３３の処理を行うようにしてもよい。
【０１０２】
また、図１０に示すフィルタリングの処理Ｓ３１、Ｓ３２，Ｓ３３は順番を入れ替えることも可能である。
【０１０３】
以後、ＣＰＵ１１は、図１０のフィルタリング処理によって顔の向きが所定の範囲内に絞られた代表顔アイコン画像の候補の中から、上記表１等の評価項目による評価値を基準として代表顔アイコン画像を選択する。
【０１０４】
また、フィルタリング処理の他の例として、カラー画像のみを代表顔アイコン画像の候補とすることも考えられる。
【０１０５】
顔検出処理においては、輝度情報による解析が主であり、顔検出処理における評価値を代表顔アイコン画像の選択に用いると、セピア等のモノトーン画像、グレースケール画像、白黒画像等が選択されてしまうことがある。これらの画像とカラーの代表顔アイコン画像とが混在すると見栄えがよくないことが考えられる。
【０１０６】
この場合には、ＣＰＵ１１は図６のフィルタリング処理に代えるか又は加えて図１１のフローチャートに示すフィルタリング処理を行えばよい。
【０１０７】
即ち、ＣＰＵ１１は、図１１のステップＳ４１において、クラスタ毎に顔切出し画像をＹＵＶ変換して輝度と色調に分解する。次に、ＣＰＵ１１は、色調成分であるＵＶ成分のパワーを求める（ステップＳ４２）。ＣＰＵ１１は、ステップＳ４３において、ＵＶ成分のパワーが閾値より小さい画像が、白黒画像やモノトーングレースケールの画像であるものと判断して、これらの画像を代表顔アイコン画像の候補から除外する。
【０１０８】
ステップＳ２４，Ｓ２５の処理は図６と同様である。ＣＰＵ１１は、図１１のフィルタリング処理によってカラー画像と判定された顔切出し画像の中から、上記表１等の評価項目による評価値を基準として代表顔アイコン画像を選択する。
【０１０９】
なお、クラスタ内にカラー画像が含まれない場合には、ステップＳ２５による基準値の変更によって、白黒画像やモノトーンの画像が代表顔アイコン画像の候補として残ることになる。
【０１１０】
このように、フィルタリング処理に用いる項目としては、図６に示すもの以外に種々のものを採用することができる。例えば、表１に示す笑顔度をフィルタング処理の項目として採用することも可能である。
【０１１１】
このように本実施の形態においては、代表顔アイコン画像を種々の評価項目によって選択して表示させることができる。これにより、ユーザにとっては見やすく、つまり、登場人物が誰か分かりやすくなると共に、見栄えが改善されて美しい画面を構成することが可能になる。
【０１１２】
（第２の実施の形態）
図１２は本発明の第２の実施の形態を示すフローチャートである。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。本実施の形態は代表顔アイコン画像の選択方法が第１の実施の形態と異なるのみである。
【０１１３】
第１の実施の形態においては、各クラスタ内の顔切出し画像についての種々の評価値を相互に比較することで、最適な顔切出し画像を選択した。更に、本実施の形態においては、クラスタ間で統一感のある顔切出し画像を選択するようにしたものである。
【０１１４】
図１２のステップＳ５，Ｓ６の処理は第１の実施の形態と同様であり、ＣＰＵ１１は、決定した評価項目について、全顔切出し画像の評価値を読み出す。更に、ＣＰＵ１１は、ステップＳ４６において、全クラスタについて評価値の読出しを行ったか判定する。全クラスタについての評価値の読出しが完了すると、ＣＰＵ１１は、全クラスタの各顔切出し画像の評価値同士を比較する（ステップＳ４７）。そして、ＣＰＵ１１は、ステップＳ４８において、評価値の比較結果に基づいて、クラスタ感で統一感のある顔切出し画像同士を各クラスタの代表顔アイコン画像として選択する。
【０１１５】
例えば、評価項目として笑顔度を選択した場合には、第１の実施の形態では、各クラスタ内において、夫々最も笑顔度が高い顔切出し画像を各クラスタの代表顔アイコン画像として表示させることができる。しかし、この場合にはクラスタ毎に笑顔度が異なる可能性がある。
【０１１６】
これに対し、本実施の形態においては、全てのクラスタにおいて選択する代表顔アイコン画像の笑顔度を一致させることができる。これにより、全クラスタの代表顔アイコン画像は統一感を有して表示されることになる。
【０１１７】
このように本実施の形態においては、全クラスタの代表顔アイコン画像として統一感を有する画像を選択して表示させることができる。統一感のある代表顔アイコン画像が表示されることによって、ユーザにとっては見やすく、つまり、登場人物が誰か分かりやすくなると共に、見栄えが改善されて美しい画面を構成することが可能になる。
【０１１８】
（第３の実施の形態）
図１３は本発明の第３の実施の形態を示すフローチャートである。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。本実施の形態は代表顔アイコン画像の表示方法が第１の実施の形態と異なるのみである。
【０１１９】
上記第１及び第２の実施の形態においては、評価項目に応じてクラスタ内の最適な顔切出し画像を選択して代表顔アイコン画像とした。しかしながら、映像コンテンツ内から抽出した顔切出し画像の画質が十分でないことも考えられる。そこで、本実施の形態においては、選択した顔切出し画像の画質等を補正した後、代表顔アイコン画像として表示するようになっている。
【０１２０】
ＣＰＵ１１は、図１３のステップＳ４９において、選択した顔切出し画像の平均輝度を調整する。更に、ＣＰＵ１１は、ステップＳ５０において選択した顔切出し画像の平均コントラストを調整する。これにより、表示される代表顔アイコン画像は、平均輝度及び平均コントラストが調整されて、十分な輝度及びコントラストの見やすい代表顔アイコン画像を表示することができる。
【０１２１】
このように、本実施の形態においては、映像コンテンツ内の顔切出し画像の画質等を補正した後代表顔アイコン画像として表示することができ、更に一層表示品位を向上させることができる。
【０１２２】
（第４の実施の形態）
図１４は本発明の第４の実施の形態を示すフローチャートである。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。本実施の形態は代表顔アイコン画像の表示方法が第３の実施の形態と異なるのみである。
【０１２３】
第３の実施の形態においては、選択された顔切出し画像について画質等を調整した後代表顔アイコン画像として表示するようにした。更に、本実施の形態においては、画質等についてクラスタ間で統一感のある代表顔アイコン画像の表示を可能にするようにしたものである。なお、図１４においては、平均輝度及び平均コントラスト値により統一感のある代表顔アイコン画像を得る例を説明するが、統一感のある代表顔アイコン画像を得るための画像調整処理としては種々のものが考えられる。
【０１２４】
図１４のステップＳ５１において、ＣＰＵ１１は、各クラスタの選択された顔切出し画像について顔領域の平均輝度を算出する。次いで、ＣＰＵ１１は、ステップＳ５２において、各クラスタの選択された顔切出し画像について顔領域の平均コンストラスト値を算出する。次いで、ＣＰＵ１１は、全クラスタの選択された顔切出し画像の全てについて平均輝度及び平均コントラスト値を算出したか否かを判定し（ステップＳ５３）、ステップＳ５１，Ｓ５２を繰返すことで、全クラスタの選択された顔切出し画像について平均輝度及び平均コントラスト値を算出する。
【０１２５】
次に、ＣＰＵ１１は、ステップＳ５４において、全クラスタの選択された全ての顔切出し画像の顔領域について平均輝度の平均を算出する。次いで、ＣＰＵ１１は、ステップＳ５５において、全クラスタの選択された全ての顔切出し画像の顔領域について平均コントラスト値の平均を算出する。
【０１２６】
ＣＰＵ１１は、ステップＳ５６において、各クラスタの選択された顔切出し画像の平均輝度が、ステップＳ５４で求めた平均輝度の平均となるように平均輝度の補正を行う。同様に、ＣＰＵ１１は、ステップＳ５７において、各クラスタの選択された顔切出し画像の平均コントラスト値が、ステップＳ５５で求めた平均コントラスト値となるように平均コントラスト値の補正を行う。ＣＰＵ１１は、平均輝度及び平均コントラスト値を補正した顔切出し画像を代表顔アイコン画像として表示処理に用いる。
【０１２７】
このように本実施の形態においては、各クラスタの選択された顔切出し画像の顔領域における平均輝度の平均及び平均コントラスト値の平均と一致するように、各顔切出し画像の平均輝度及び平均コントラスト値が補正される。これにより、各クラスタ間の代表顔アイコン画像は、平均輝度及びコントラスト値の点から極めて統一感を有するものとなり、表示品位が著しく向上する。これにより、最適な顔切出し画像を選択することができるだけでなく、輝度及びコントラストを調整して統一感のある画像を代表顔アイコン画像として表示することができる。統一感のある代表顔アイコン画像を表示することができることから、ユーザにとっては見やすく、つまり、登場人物が誰か分かりやすくなり、見栄えも改善されて美しい画面を構成することが可能になる。
【０１２８】
なお、上記第３及び第４の実施の形態においては、平均輝度及び平均コントラスト値を顔切出し画像の顔領域について求めてもよく、また、顔切出し画像の全体について求めてもよいことは明らかである。
【０１２９】
また、上記実施の形態においては、平均輝度及び平均コントラスト値を調整する例について説明したが、色調を調整するようにしてもよい。テレビドラマ等においては、撮影場面が変わると照明条件が変わり、照明色が変化する。また、意図的に色調を変えて撮影する場合もある。このため、選択された顔切出し画像の色調もクラスタ毎に相違することがある。このような場合でも、顔切出し画像の色調を調整して代表顔アイコン画像とすることによって、統一感のある見やすい表示が可能となる。
【０１３０】
このように、第３及び第４の実施の形態によれば、上記表１等の各種評価項目に応じた画像調整処理を行うことができる。例えば、図１３及び図１４においては画質を調整する例を示したが、画質に限らず種々の調整項目が考えられる。
【０１３１】
例えば、第１の実施の形態においては、評価項目として顔の向きを選択可能とし、例えば右向き等の顔切出し画像を代表顔アイコン画像として選択することを可能にした。しかし、必ずしもクラスタ内において、右向きの顔切出し画像が存在するとは限らない。そこで、右向きの顔切出し画像が存在しない場合には、第３及び第４の実施の形態において、左向きの画像の顔を左右反転したり、正面向きの顔を３次元的に右向きの顔に変換したりして代表顔アイコン画像とするようにしてもよい。
【０１３２】
また、第１の実施の形態においては、カラーの代表顔アイコン画像を選択する例について説明した。しかし、クラスタ内にカラーの顔切出し画像が存在しないことも考えられる。この場合には、第４の実施の形態を適用して、カラーの代表顔アイコン画像の全てをグレースケール白黒画像に変換して表示することも考えられる。
【０１３３】
（変形例１）
上述したように、顔クラスタリング処理は、検出した全ての顔切出し画像の正規化画像から部分空間を作成し、各顔シーケンスの部分空間同士の類似度を計算して、顔シーケンスをマージする処理である。縦横に顔シーケンスが配列された類似度マトリクスを作成し、各顔シーケンスの部分空間の類似度を総当たりで計算して、類似度が所定の閾値よりも高い顔シーケンス同士を統合する。
【０１３４】
従って、長時間の映像コンテンツに対して顔クラスタリング処理を行う場合、或いは、登場人物が多い映像コンテンツについて顔クラスタリング処理を行う場合には、類似度計算の処理時間が膨大となってしまう。なお、類似度計算の計算数は、顔切出し画像の数の２乗に比例する。
【０１３５】
そこで、本変形例では、映像コンテンツを所定の時間間隔で区切り、この区切り毎に顔クラスタリング処理を行う。この場合には、ＣＰＵ１１は、先ず、映像コンテンツの大きな切れ目を検出する。例えば、ＥＰＧの番組の区切りや、パーソナルビデオであれば録画ボタンのON/OFF 点を区切り位置とする。なお、「大きな切れ目」とは、カメラのカット点よりも時間的に十分に長い単位とする。
【０１３６】
また、ＣＰＵ１１は、映像コンテンツに大きな切れ目が存在しない場合には、例えば６０分毎や３０分毎等の所定の時間単位を区切りとする。なお、区切りをユーザに指定させるようにしてもよい。
【０１３７】
ＣＰＵ１１はこの区切り毎に顔クラスタリング処理を実施する。区切りを単位に顔クラスタリング処理を行うため、類似度マトリクスのサイズを小さくすることができる。これにより、顔クラスタリング処理の処理時間を著しく短縮することが可能である。
【０１３８】
また、映像コンテンツに含まれる顔シーケンスの数が極めて多い場合でも、殆どの顔切出し画像には、比較的少ない数の顔シーケンスしか含まれないことが考えられる。そこで、含まれる顔切出し画像の数が上位から所定個（例えば１００個）の顔シーケンスのみを、顔クラスタリング処理に用いる方法も考えられる。これにより、顔クラスタリング処理の処理時間を著しく短縮することが可能である。
【０１３９】
また、含まれる顔切出し画像の数が所定個以上（例えば３００個）の顔シーケンスのみを顔クラスタリング処理に用いる方法も考えられる。この場合でも、顔クラスタリング処理の処理時間を著しく短縮することが可能である。
【０１４０】
更に、上述した２つの方法を組み合わせて、映像コンテンツを区切り、各区切り毎に、顔切出し画像の数が多い顔シーケンスのみを用いて顔クラスタリング処理を行う方法も考えられる。これにより、顔クラスタリング処理の処理時間を更に一層短縮することが可能である。
【０１４１】
（変形例２）
さらなる変形例は、階層的に顔シーケンスの統合処理を行う方法がある。すなわち、まず、小さい区切りの中で類似度マトリクスを作成し、相互に顔シーケンス間の類似度を計算して、顔シーケンスの統合処理を行う。次に、統合処理の済んだ、それぞれの区切りごとの顔シーケンスを行と列に並べて大きな類似度マトリクスを生成し、同様に相互に顔シーケンス間の類似度を計算して、顔シーケンスの統合処理を行うのである。第1段階の統合処理が済んでいれば、第2段階の類似度マトリクスのサイズは小さくなるので、第2段階の統合処理の処理時間を短縮することができる。ここで第1段階の統合処理が済んだ類似度マトリクスの中から、変形例１で説明したように、含まれる顔切り出し画像の数が上位の顔シーケンスのみを第2段階の統合処理で用いることにするなど、第1段階の処理結果をサンプリングして第2段階で利用することで、類似度マトリクスのサイズをさらに小さくすることができる。また、この階層化手続きは2段階だけでなく任意の段数で階層化することも可能である。これにより、顔クラスタリング処理の処理時間を著しく短縮することが可能である。
【符号の説明】
【０１４２】
１０…画像表示装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４〜１６…Ｉ／Ｆ、１７…ＨＤＤ、１８…モニタ、１９…バス。
【図１】
2011019192.tif 000003
【図２】
2011019192.tif 000004
【図３】
2011019192.tif 000005
【図４】
2011019192.tif 000006
【図５】
2011019192.tif 000007
【図６】
2011019192.tif 000008
【図７】
2011019192.tif 000009
【図８】
2011019192.tif 000010
【図９】
2011019192.tif 000011
【図１０】
2011019192.tif 000012
【図１１】
2011019192.tif 000013
【図１２】
2011019192.tif 000014
【図１３】
2011019192.tif 000015
【図１４】
2011019192.tif 000016