(57)【要約】【課題】入力された画像データの顔と、予め記憶された顔画像の中から検出された顔画像とを目視しやすくする。【解決手段】実施形態の表示装置は、人物毎に、その人物の顔画像を記憶する記憶手段と、入力された画像データから人物の顔が表された顔領域を検出し、検出された顔領域の特徴点と、記憶された顔画像の特徴点とが類似する人物の顔画像を検出する検出手段と、複数の画像処理の中から実施する画像処理を設定する設定手段と、入力された画像データの画像と、検出された顔画像とを、設定された画像処理を施して表示画面に表示する表示手段とを備える。【選択図】図４
2014059819.tif 000002
【特許請求の範囲】
【請求項１】
人物毎に、当該人物の顔画像を記憶する記憶手段と、
入力された画像データから人物の顔が表された顔領域を検出し、前記検出された顔領域の特徴点と、前記記憶された顔画像の特徴点とが類似する人物の顔画像を検出する検出手段と、
ユーザの操作を受け付けて、複数の画像処理の中から実施する画像処理を設定する設定手段と、
前記入力された画像データの画像と、前記検出された顔画像とを、前記設定された画像処理を施して表示画面に表示する表示手段と、
を備える表示装置。
【請求項２】
前記設定手段は、前記実施する画像処理として、所定の色要素の抽出を設定し、
前記表示手段は、前記入力された画像データの画像と、前記検出された顔画像とを、前記設定された色要素を抽出して前記表示画面に表示する、
請求項１に記載の表示装置。
【請求項３】
前記設定手段は、前記実施する画像処理として、水平及び垂直の少なくとも一方で前記入力された画像データの画像及び前記検出された顔画像を分割する分割線を設定し、
前記表示手段は、前記入力された画像データの画像と、前記検出された顔画像とを、前記設定された分割線で分割し、前記分割線で分割された領域を互いに入れ替えて前記表示画面に表示する、
請求項１又は２に記載の表示装置。
【請求項４】
前記設定手段は、前記実施する画像処理として、前記入力された画像データの画像及び前記検出された顔画像の表示位置を周期的に入れ替えるか否かを設定し、
前記表示手段は、前記周期的に入れ替える設定である場合、前記入力された画像データの画像と、前記検出された顔画像との表示位置を周期的に入れ替える、
請求項１乃至３のいずれか一項に記載の表示装置。
【請求項５】
前記設定手段は、前記実施する画像処理として、前記入力された画像データの画像及び前記検出された顔画像の重複表示の有無と、当該重複表示する際の互いの画像の混合率を設定し、
前記表示手段は、前記重複表示有りの設定である場合、前記入力された画像データの画像及び前記検出された顔画像を前記設定された混合率で重複した画像を前記表示画面に表示する、
請求項１乃至４のいずれか一項に記載の表示装置。
【請求項６】
前記設定手段は、前記実施する画像処理として、前記入力された画像データの画像及び前記検出された顔画像から一部の領域を抽出するか否かを設定し、
前記表示手段は、前記一部の領域を抽出する設定である場合、前記入力された画像データの画像から抽出した一部の領域と、前記検出された顔画像から抽出した一部の領域とを前記表示画面に表示する、
請求項１乃至５のいずれか一項に記載の表示装置。
【請求項７】
前記設定手段は、前記実施する画像処理として、前記入力された画像データから検出された顔領域と、前記検出された顔画像とにおける大きさ、明るさ、顔の向きの少なくとも一つを互いに合わせる正規化の有無を設定し、
前記表示手段は、前記正規化有りの設定である場合、前記入力された画像データから検出された顔領域と、前記検出された顔画像とを正規化した画像を前記表示画面に表示する、
請求項１乃至６のいずれか一項に記載の表示装置。
【請求項８】
前記検出手段は、入力された画像データに含まれる同一人物を撮影した複数のフレーム画像の中で、顔の認識に適する度合いが高いフレーム画像から前記顔領域を検出する、
請求項１乃至７のいずれか一項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、表示装置に関する。
【背景技術】
【０００２】
従来、監視カメラなどで撮影された画像データに含まれる人物の顔領域から、予め記憶された顔画像の特徴情報に基づいて、予め登録された人物を認識する認識技術が提案されている。この認識技術により予め登録された人物が認識された場合は、実際に撮影された画像と、予め記憶された顔画像中で認識された人物の顔画像とを表示装置の表示画面に表示して、監視員などの人員による目視確認が行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３１４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術は、実際に撮影された画像と、認識された顔画像とを単純に表示装置の表示画面に表示して見比べることしかできず、目視しやすく画像を表示するものではなかった。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、実施形態の表示装置は、人物毎に、当該人物の顔画像を記憶する記憶手段と、入力された画像データから人物の顔が表された顔領域を検出し、前記検出された顔領域の特徴点と、前記記憶された顔画像の特徴点とが類似する人物の顔画像を検出する検出手段と、ユーザの操作を受け付けて、複数の画像処理の中から実施する画像処理を設定する設定手段と、前記入力された画像データの画像と、前記検出された顔画像とを、前記設定された画像処理を施して表示画面に表示する表示手段と、を備える。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態にかかる表示装置の構成を示すブロック図である。
【図２】図２は、データベースに記憶されている人物毎の顔画像の具体例を示す概念図である。
【図３】図３は、表示装置の動作の一例を示すフローチャートである。
【図４】図４は、詳細分析画面の一例を示す概念図である。
【図５】図５は、コンポーネント表示の一例を示す概念図である。
【図６】図６は、表示オプションの一例を示す概念図である。
【図７】図７は、表示オプションの一例を示す概念図である。
【図８】図８は、表示オプションの一例を示す概念図である。
【図９】図９は、ブレンド比較表示の一例を示す概念図である。
【図１０】図１０は、表示領域の一例を示す概念図である。
【図１１】図１１は、正規化を例示する概念図である。
【図１２】図１２は、フレーム画像の選択を例示する概念図である。
【発明を実施するための形態】
【０００７】
以下、添付図面を参照して実施形態の表示装置を詳細に説明する。実施形態の表示装置は、街頭、建物、公共エリアなどに設置されている監視カメラ（以下、カメラ）などで撮影された画像データに含まれる人物の顔領域から、予め記憶された顔画像に基づいて、予め登録された人物を認識し、予め登録された人物が認識された場合は、実際に撮影された画像と、認識された人物の顔画像とを表示装置の表示画面に表示して、監視員などの人員による目視確認を行う用途を想定したものである。なお、本実施形態では、カメラで撮影された画像データを入力する構成を例示するが、スキャナなどで読み取った画像データを入力してもよく、元となる画像データの入力元はカメラに限定しない。例えば、身分証明書に印刷された顔画像をスキャナで読み取って、予め登録された人物を認識し、スキャナで読み取った顔画像と、認識された人物の顔画像とを表示装置で目視確認する照合システムなどにも適用可能である。
【０００８】
図１は、実施形態にかかる表示装置１の構成を示すブロック図である。図１に示すように、表示装置１は、監視員等のユーザが操作するＰＣ（Personal  Computer）などであり、ＵＳＢ（Universal  Serial  Bus）等のインターフェース（図示しない）を介して、街頭、建物、公共エリアなどに設置されているカメラ２で撮影された画像データの入力を受け付けている。
【０００９】
表示装置１は、制御部１０と、表示部１１と、操作部１２と、データベース１３としての機能を備える。制御部１０は、表示装置１の動作を制御する。具体的には、ＣＰＵ（Central  Processing  Unit）がＲＯＭ（Read  Only  Memory）やＨＤＤ（Hard  Disk  Drive）等の記憶装置に記憶されたプログラムをＲＡＭ（Random  Access  Memory）に展開して順次実行することで（ＣＰＵ、記憶装置、ＲＡＭについてはいずれも図示しない）、表示装置１の動作を制御する。具体的には、カメラ２より入力された画像についての各種処理、表示部１１への表示処理、操作部１２によるユーザからの操作の受け付けなどを行う。
【００１０】
表示部１１は、液晶ディスプレイなどの表示装置であり、制御部１０の制御のもとで表示画面を表示する。操作部１２は、キーボードや、マウス、タッチパネル等のポインティングデバイスであり、ユーザの操作を受け付ける。データベース１３は、予め登録された登録人物の情報として、少なくとも人物毎に、その人物の顔画像を記憶するデータベースであり、上述した記憶装置に格納されている。
【００１１】
図２は、データベース１３に保存されている人物毎の顔画像の具体例を示す概念図である。図２に示すように、データベース１３は、人物毎にユニークに割り当てられた管理番号１３１ごとに、顔画像１３２、辞書情報１３３、人物情報１３４を有する構成である。
【００１２】
カメラ２は、所定の領域に対して撮影を行う。例えば、カメラ２は、通行路の入退場対象エリアに対して撮影を行う監視カメラ等であり、撮影結果である動画像データを生成する。そして、制御部１０は、カメラ２からの動画像データを入力処理する。
【００１３】
カメラ２は、少なくとも１箇所、又は複数の地点に設置可能とする。また、カメラ２は、所定の領域に存在する人物の顔画像を入力するものであり、例えばＩＴＶ（Industrial  Television）カメラとする。カメラ２は、カメラ２のレンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化して所定のフレームレートの動画像データを生成し、表示装置１に対して出力する。
【００１４】
次に、制御部１０の制御の下で行われる表示装置１の動作について詳細に説明する。図３は、表示装置１の動作の一例を示すフローチャートである。
【００１５】
図３に示すように、処理が開始されると、制御部１０は、カメラ２で撮影されて入力された画像データに含まれる人物の顔と、データベース１３に予め登録された人物の顔画像とを比較して、類似度の高い人物を検出する（Ｓ１）。具体的には、制御部１０は、カメラ２より入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する。
【００１６】
より具体的には、入力された動画像データ（各フレーム画像）内において、その動画像データ上の輝度情報を利用して顔の領域を示す座標を求める。顔の領域を検出する手法としては、どのような手法を用いても良い。本実施形態は、例として、文献（三田雄志ほか：「顔検出に適した共起に基づくJoint  Haar-like特徴」電子情報通信学会論文誌(D),vol.J89-D,No8,pp1791-1801(2006)）に示された手法を用いて、顔領域の検出を行う。他の検出手法の例としては、予め用意されたテンプレートを、入力された画像データ内で移動させながら相関値を求めることで、最も高い相関値を与える位置を顔領域として検出する手法や、固有空間法や部分空間法を利用した顔抽出法等を用いる手法を適用しても良い。また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔の領域の形状を異ならせても良いが、本実施形態は、説明を容易にするために、矩形形状の顔領域を検出する。
【００１７】
ところで、監視カメラなどで撮影された映像データの場合、検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法としては、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用することで実現可能である。
【００１８】
次いで、制御部１０は、追跡処理により複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに目、鼻などの顔の特徴点を検出する。顔の特徴点の検出方法は、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文(D)、vol.J80-D-II、No.8、pp2170-2177(1997)）などの方法で実現可能である。本実施形態では顔領域の特徴を利用する例を記述したが虹彩・網膜・目の画像を対象として顔であるかどうかを判別する装置の場合にも上記処理によって検出された目の領域をもとにカメラをズームすることなどで検出が可能となる。また上記目・鼻の検出の他に口領域の検出については、文献（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集,pp219-224(2004)）の技術を利用することで容易に実現が可能である。いずれの場合でも二次元配列状の画像として取り扱える情報を獲得し、その中から顔特徴の領域を検出することが可能である。
【００１９】
次いで、制御部１０は、カメラ２より入力された画像から検出された顔領域の特徴点と、同様の手法によりデータベース１３に記憶された顔画像から検出された顔領域の特徴点とを比較して、互いの特徴点の類似度合いを示す類似度を算出する。そして、制御部１０は、データベース１３に記憶された顔画像の中で、算出された類似度が所定の閾値よりも高い顔画像の人物を、類似する人物の顔画像として検出する。
【００２０】
次いで、制御部１０は、カメラ２より入力された画像と、データベース１３に記憶された顔画像の中で、類似する人物の顔画像として検出された顔画像とを表示して詳細な分析を行うための表示画面である詳細分析画面を表示部１１に表示する（Ｓ２）。
【００２１】
図４は、詳細分析画面Ｇの一例を示す概念図である。図４に示すように、詳細分析画面Ｇでは、カメラ２より入力された撮影画像Ｇ１と、データベース１３に記憶された顔画像の中で、類似する人物の顔画像として検出された登録画像Ｇ２とを並べて表示する。ユーザは、詳細分析画面Ｇに並べて表示された撮影画像Ｇ１と登録画像Ｇ２とを見比べることで、正しく認識されているか否かを目視確認することができる。
【００２２】
次いで、制御部１０は、操作部１２よりユーザの操作を受け付けることで、詳細分析機能を設定する（Ｓ３）。ここで、詳細分析機能とは、詳細分析画面Ｇにおいて並べて表示した撮影画像Ｇ１と、登録画像Ｇ２とに画像処理を実施して、ユーザの目視確認を補助する機能である。Ｓ３では、予め用意された複数の画像処理の中から撮影画像Ｇ１と、登録画像Ｇ２とに実施する画像処理をユーザの操作により受け付ける。制御部１０は、Ｓ３において設定された画像処理を撮影画像Ｇ１と、登録画像Ｇ２とに実施し、その設定結果を詳細分析画面Ｇに表示する（Ｓ４）。
【００２３】
具体的には、図４に示すように、撮影画像Ｇ１と、登録画像Ｇ２とに実施する画像処理を、詳細分析画面Ｇに表示されたコンポーネント表示設定部Ｇ１１、表示オプション設定部Ｇ１２、ブレンド比較表示設定部Ｇ１３、表示顔領域設定部Ｇ１４、正規化設定部Ｇ１５、ガンマ補正設定部Ｇ１６、Ｇ１７により受け付ける。
【００２４】
コンポーネント表示設定部Ｇ１１は、撮影画像Ｇ１と、登録画像Ｇ２とに実施する画像処理として、所定の色要素（白黒（グレースケール）、赤、緑、青など）の抽出の設定を、操作部１２によるチェックボックスの選択操作などで受け付ける。Ｓ４では、コンポーネント表示設定部Ｇ１１のチェックボックスなどで設定された色要素を抽出した撮影画像Ｇ１、登録画像Ｇ２を詳細分析画面Ｇに表示する。これにより、ユーザは、色要素を抽出した撮影画像Ｇ１、登録画像Ｇ２とを比較して目視確認できる。
【００２５】
図５は、コンポーネント表示の一例を示す概念図である。図５に示すように、ユーザは、色要素の抽出前のカラーに対して、グレースケール（白黒）、赤、緑、青などの所望の色要素で抽出した撮影画像Ｇ１、登録画像Ｇ２を比較して目視確認できる。
【００２６】
表示オプション設定部Ｇ１２は、撮影画像Ｇ１と、登録画像Ｇ２とに実施する画像処理の各種オプションを、操作部１２によるチェックボックスの選択操作などで受け付ける。より具体的には、表示オプション設定部Ｇ１２では、各種オプションとして、「水平分割比較表示」の有無、「垂直分割比較表示」の有無、「タイル比較表示」の有無、「領域類似度表示」の有無、「アニメーション表示」の有無を設定する。
【００２７】
図６〜図８は、表示オプションの一例を示す概念図である。図６に示すように、表示オプション設定部Ｇ１２において「水平分割比較表示」のチェックボックスを選択した場合は、撮影画像Ｇ１、登録画像Ｇ２を水平に分割する分割線の設定を行う水平分割線設定部Ｇ１２１を表示する。ユーザは、操作部１２により水平分割線設定部Ｇ１２１のスライダを上下に移動させることで、撮影画像Ｇ１、登録画像Ｇ２を水平に分割する分割線を設定できる。
【００２８】
この設定をもとに、Ｓ４では、撮影画像Ｇ１と、登録画像Ｇ２とを設定された分割線で分割し、その分割された領域を互いに入れ替えた画像を詳細分析画面Ｇに表示する。具体的には、図６に示すように、水平分割線設定部Ｇ１２１の設定をもとに、撮影画像Ｇ１の下部分と、登録画像Ｇ２の下部分とを入れ替えて表示する（逆に上部分を入れ替えてもよい）。同様に、「垂直分割比較表示」のチェックボックスを選択した場合は、垂直分割線設定部Ｇ１２２（図７参照）の設定をもとに、撮影画像Ｇ１の右部分と、登録画像Ｇ２の右部分とを入れ替えて表示する（逆に左部分を入れ替えてもよい）。
【００２９】
図７に示すように、表示オプション設定部Ｇ１２において「タイル比較表示」のチェックボックスを選択した場合は、撮影画像Ｇ１、登録画像Ｇ２を水平に分割する分割線の設定を行う水平分割線設定部Ｇ１２１と、撮影画像Ｇ１、登録画像Ｇ２を垂直に分割する分割線の設定を行う垂直分割線設定部Ｇ１２２とを表示する。ユーザは、操作部１２により水平分割線設定部Ｇ１２１のスライダを上下に移動させることで、撮影画像Ｇ１、登録画像Ｇ２を水平に分割する分割線を設定できる。また、操作部１２により垂直分割線設定部Ｇ１２２のスライダを左右に移動させることで、撮影画像Ｇ１、登録画像Ｇ２を垂直に分割する分割線を設定できる。
【００３０】
この設定をもとに、Ｓ４では、撮影画像Ｇ１と、登録画像Ｇ２とを設定された分割線で分割し、その分割されたタイル状の領域を互いに入れ替えた画像を詳細分析画面Ｇに表示する。具体的には、図７に示すように、水平分割線設定部Ｇ１２１、垂直分割線設定部Ｇ１２２の設定をもとに、撮影画像Ｇ１の右上部分及び左下部分の領域と、登録画像Ｇ２の右上部分及び左下部分とを入れ替えて表示する（逆に左上部分及び右下部分を入れ替えてもよい）。このように、撮影画像Ｇ１とを、登録画像Ｇ２とにおいて分割線で分割された領域を互いに入れ替えて詳細分析画面Ｇに表示して、ユーザが撮影画像Ｇ１と、登録画像Ｇ２と目視確認する際のサポートを行なってもよい。
【００３１】
図８に示すように、表示オプション設定部Ｇ１２で「アニメーション表示」のチェックボックスを選択した場合は、詳細分析画面Ｇにおいて撮影画像Ｇ１、登録画像Ｇ２を時間ｔ１、ｔ２で周期的に入れ替えるアニメーション表示を行なってよい。このように、撮影画像Ｇ１とを、登録画像Ｇ２と周期的に入れ替えるアニメーション表示を行うことで、ユーザが撮影画像Ｇ１と、登録画像Ｇ２と目視確認する際のサポートを行なってもよい。
【００３２】
ブレンド比較表示設定部Ｇ１３は、操作部１２により、撮影画像Ｇ１及び登録画像Ｇ２の重複（ブレンド）表示の有無と、重複表示する際の互いの画像の混合率（ブレンド率）の設定を受け付ける。
【００３３】
図９は、ブレンド比較表示の一例を示す概念図である。図９に示すように、ブレンド比較表示設定部Ｇ１３では、チェックボックスの選択操作、スライダや数値入力によるブレンド率の設定操作を受け付ける。そして、Ｓ４では、ブレンド表示のチェックボックスが選択された場合、設定されたブレンド率で撮影画像Ｇ１、登録画像Ｇ２を重複したブレンド画像Ｇ３を詳細分析画面Ｇに表示する。この撮影画像Ｇ１、登録画像Ｇ２の重複は、例えばブレンド率を０−１００とした場合、撮影画像Ｇ１の透明度を０−１００、登録画像Ｇ２の透明度を１００−０としたブレンド画像Ｇ３を生成して表示を行う。これにより、ユーザは、撮影画像Ｇ１、登録画像Ｇ２を重複させたブレンド画像Ｇ３による目視確認を行うことができる。
【００３４】
表示顔領域設定部Ｇ１４は、撮影画像Ｇ１及び登録画像Ｇ２から一部の領域として中央部分を抽出するか否かの設定を、操作部１２によるチェックボックスの選択操作などで受け付ける。Ｓ４では、表示顔領域設定部Ｇ１４のチェックボックスなどで一部の領域（中央のみ）を抽出する設定があった場合、撮影画像Ｇ１及び登録画像Ｇ２から抽出の設定が合った表示領域をトリミングして詳細分析画面Ｇに表示する。
【００３５】
図１０は、表示領域の一例を示す概念図である。図１０に示すように、ユーザは、一部の領域（中央のみ）を抽出する設定を行うことで、中央をトリミングする前の全体の撮影画像Ｇ１、登録画像Ｇ２に対して、中央領域Ｒ１、Ｒ２をトリミングした画像を比較して目視確認できる。
【００３６】
正規化設定部Ｇ１５は、撮影画像Ｇ１と、登録画像Ｇ２とに実施する画像処理として、撮影画像Ｇ１から検出された顔領域と、登録画像Ｇ２の顔画像とにおける大きさ、明るさ、顔の向きの少なくとも一つを互いに合わせる正規化を行うか否かの設定を、操作部１２によるチェックボックスの選択操作などで受け付ける。
【００３７】
図１１は、正規化を例示する概念図である。図１１に示すように、撮影画像Ｇ１における人物の顔は、カメラ２の取り付け方向などによって横向きの場合がある。これに対し、データベース１３に記憶（登録）される顔画像は、ほぼ正面を向いた理想的な大きさの顔画像である。したがって、単純に撮影画像Ｇ１と、データベース１３に登録された顔画像とを見比べると、見間違う場合がある。したがって、Ｓ４では、正規化を行う設定である場合、撮影画像Ｇ１の特徴点Ｐをもとに顔領域Ｒ３を検出する。この検出された顔領域Ｒ３の形状、大きさは、顔の向きと顔画像の大きさに相当することから、データベース１３に記憶された顔画像の形状、大きさと合うように変形処理を行う。これにより、図示例のように、顔を正面に向けた撮影画像Ｇ１とすることができる。また、検出された顔領域Ｒ３の平均輝度を、データベース１３に登録された顔画像の輝度と合うように輝度調整を行う。これにより、ユーザは、正規化した撮影画像Ｇ１、登録画像Ｇ２とを比較して目視確認できる。
【００３８】
ガンマ補正設定部Ｇ１６、Ｇ１７は、撮影画像Ｇ１と、登録画像Ｇ２とに実施する画像処理として、ガンマ補正の補正量を設定する。Ｓ４では、撮影画像Ｇ１、登録画像Ｇ２に対してガンマ補正設定部Ｇ１６、Ｇ１７で設定された補正量でガンマ補正を行った画像を詳細分析画面Ｇに表示する。
【００３９】
なお、コンポーネント表示設定部Ｇ１１、表示オプション設定部Ｇ１２、ブレンド比較表示設定部Ｇ１３、表示顔領域設定部Ｇ１４、正規化設定部Ｇ１５、ガンマ補正設定部Ｇ１６、Ｇ１７における設定は、複数の設定を同時に受け付けてもよい。例えば、表示オプション設定部Ｇ１２における「タイル比較表示」及び「アニメーション表示」のチェックボックスの選択により、撮影画像Ｇ１と、登録画像Ｇ２とを設定された分割線で分割し、その分割されたタイル状の領域を互いに入れ替えた画像を詳細分析画面Ｇに表示するとともに、そのタイル状の領域を互いに入れ替えた画像を周期的に入れ替えてもよい。また、表示顔領域設定部Ｇ１４、正規化設定部Ｇ１５の設定を行うことで、顔の中央を正規化した撮影画像Ｇ１、登録画像Ｇ２を表示するようにしてもよい。
【００４０】
また、カメラ２より入力される動画像データから撮影画像Ｇ１とするフレーム画像ついては、上述した追跡処理において同一人物として対応付けられた複数フレームの顔領域のうち、人物を認識するために、適切なフレーム画像として抽出したものであってよい。
【００４１】
図１２は、フレーム画像の選択を例示する概念図である。図１２に示すように、カメラ２に向かって人物Ｈが歩いてくる場合には、フレーム画像Ｇ１０１〜Ｇ１０４にわたる一連のフレーム画像がカメラ２で撮影される。この一連のフレーム画像Ｇ１０１〜Ｇ１０４から顔領域を検出し、検出された顔領域の大きさ（解像度）、照度、表情、スポット光の存在などの各要素を評価点とし、認識に適する度合いを示す数値（通称「顔らしさ」）を算出する。この算出した顔らしさのスコアが最も高いフレーム画像（例えばフレーム画像Ｇ１０３）を、人物を認識するためのフレーム画像として抽出する。
【００４２】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００４３】
１…表示装置、２…カメラ、１０…制御部、１１…表示部、１２…操作部、１３…データベース、１３１…管理番号、１３２…顔画像、１３３…辞書情報、１３４…人物情報、Ｇ…詳細分析画面、Ｇ１…撮影画像、Ｇ２…登録画像、Ｇ３…ブレンド画像、Ｇ１１…コンポーネント表示設定部、Ｇ１２…表示オプション設定部、Ｇ１３…ブレンド比較表示設定部、Ｇ１４…表示顔領域設定部、Ｇ１５…正規化設定部、Ｇ１６、Ｇ１７…ガンマ補正設定部、Ｇ１２１…水平分割線設定部、Ｇ１２２…垂直分割線設定部、Ｇ１０１〜Ｇ１０４…フレーム画像、Ｈ…人物、Ｐ…特徴点、Ｒ１、Ｒ２…中央領域、Ｒ３…顔領域、ｔ１、ｔ２…時間
【図１】
2014059819.tif 000003
【図２】
2014059819.tif 000004
【図３】
2014059819.tif 000005
【図４】
2014059819.tif 000006
【図５】
2014059819.tif 000007
【図６】
2014059819.tif 000008
【図７】
2014059819.tif 000009
【図８】
2014059819.tif 000010
【図９】
2014059819.tif 000011
【図１０】
2014059819.tif 000012
【図１１】
2014059819.tif 000013
【図１２】
2014059819.tif 000014