(57)【要約】【課題】フリーフロー環境下で撮影した監視画像に基づいて、人物識別に最適な顔画像情報を生成する。【解決手段】本発明の監視画像処理方法は、動画像の監視画像をフレーム単位で順次取り込み、各フレーム中の一又は複数の人物の顔部を検出して異なる複数のフレーム間で追跡し、同一人物について追跡した複数の顔画像に基づいて少なくとも顔向きが異なる複数枚の顔画像を選択してメモリに格納する。また、メモリに格納した複数枚の顔画像を顔画像情報セットとして画像表示部に出力する構成とする。【選択図】  図３
2008199549.tif 000002
【特許請求の範囲】
【請求項１】
動画像の監視画像をフレーム単位で順次取り込み、各フレーム中の一又は複数の人物の顔部を検出して異なる複数のフレーム間で追跡し、同一人物について追跡した複数の顔画像に基づいて少なくとも顔向きが異なる複数枚の顔画像を選択してメモリに格納する処理を有する監視画像処理方法。
【請求項２】
請求項１に記載の監視画像処理方法において、
前記メモリに格納された複数枚の顔画像を顔画像情報セットとして画像表示部に出力することを特徴とする監視画像処理方法。
【請求項３】
請求項１に記載の監視画像処理方法において、
前記複数枚の顔画像を選択するにあたり、各顔画像の画質が高く、顔向きが異なる顔画像を複数選択することを特徴とする監視画像処理方法。
【請求項４】
動画像の監視画像を出力する画像入力装置と、該画像入力装置から入力される監視画像に基づいて人物識別に用いる顔画像情報を生成する画像処理装置を備えてなる監視システムにおいて、
前記画像処理装置は、
前記画像入力装置から前記監視画像をフレーム単位で順次取り込む画像入力部と、
該画像入力部により取り込まれた各フレーム中の一又は複数の人物の顔部を検出して異なる複数のフレーム間で追跡する顔画像処理部と、
該顔画像処理部により追跡された同一人物の複数のフレームの顔画像に基づいて少なくとも顔向きが異なる複数枚の顔画像を選択して、前記顔画像情報としてメモリに格納する画像選択部とを備えてなることを特徴とする監視システム。
【請求項５】
請求項４に記載の監視システムにおいて、
前記画像処理装置で生成された顔画像情報を表示画面に表示する表示装置を備え、
前記画像処理装置は、さらに、前記メモリに格納された顔画像情報を表示装置に出力する画像出力手段を備えてなることを特徴とする監視システム。
【請求項６】
動画像の監視画像を出力する画像入力装置と、該画像入力装置から入力される監視画像に基づいて人物識別に用いる顔画像情報を生成する画像処理装置を備えてなる監視システムにおいて、
前記画像処理装置は、
前記画像入力装置から前記監視画像をフレーム単位で順次取り込む画像入力部と、
該画像入力部から取り込まれる前記監視画像が格納される入力画像メモリと、
該入力画像メモリから前記監視画像をフレーム単位で順次読み出してフレーム中の一又は複数の人物の顔部を検出する顔画像検出部と、
該顔画像検出部により検出された各人物の顔画像を異なるフレーム間で追跡する顔画像追跡部と、
該顔画像追跡部により追跡された各人物の顔画像についてフレーム毎に、予め定めた顔画像の画質評価指標を算出する画質評価指標算出部と、
該画質評価指標算出部により算出された画質評価指標とともに複数枚の顔画像が格納される顔画像メモリと、
該顔画像メモリに格納された複数枚の顔画像の画質評価指標に基づいて、顔向きが異なる複数枚の顔画像を選択して顔画像情報を生成する画像選択部を有してなる監視システム。
【請求項７】
請求項６に記載の監視システムにおいて、
前記画像処理装置は、前記顔画像処理部により生成された前記顔画像情報を出力する画像出力手段を備え、
前記画像出力手段から出力される前記顔画像情報を表示する画像表示装置を備えてなる監視システム。
【請求項８】
請求項６に記載の監視システムにおいて、
前記画像処理装置は、さらに、
前記画質評価指標算出部によりフレーム毎に算出された顔画像の画質評価指標と顔向きに基づいて最良の顔画像を抽出する最良顔画像評価部と、
該最良顔画像評価部により抽出された最良顔画像が格納される最良顔画像メモリを備え、
前記画像選択部は、前記最良顔画像メモリに格納された最良顔画像と前記顔画像メモリに格納された複数枚の顔画像の画質評価指標に基づいて、顔向きが異なる複数枚の顔画像を選択して前記顔画像情報を生成することを特徴とする監視システム。
【請求項９】
請求項６に記載の監視システムにおいて、
前記画像入力装置は、異なる複数の監視カメラで撮影された動画像の複数の監視画像を入力可能に形成され、
前記画像処理装置は、前記顔画像メモリに格納された複数の監視画像に係る顔画像について同一人物ごとに統合して統合画像メモリに格納する画像統合部を有し、
前記画像選択部は、前記統合画像メモリに格納された同一人物の複数枚の顔画像を選択して前記顔画像情報生成することを特徴とする監視システム。
【請求項１０】
請求項６に記載の監視システムにおいて、
さらに、三次元形状データ再構成装置を備え、
該三次元形状データ再構成装置は、前記画像処理装置から出力される複数枚の顔画像に基づいて頭部の三次元形状モデルを再構成し、該三次元形状モデルに基づいて任意角度から見た顔画像を合成することを特徴とする監視システム。
【請求項１１】
請求項１０に記載の監視システムにおいて、
さらに、三次元顔認証装置を備え、
該三次元顔認証装置は、前記三次元形状データ再構成装置により再構成された前記三次元形状モデルに基づいて、監視対象人物の顔写真と同一の角度から見た顔画像を合成して監視対象人物か否かを識別することを特徴とする監視システム。
【請求項１２】
請求項４乃至１１のいずれか１項に記載の監視システムにおいて、
前記画像処理装置は、前記表示装置の表示画面に画像入力装置から入力される監視画像を表示し、該表示された監視画像上で指定される人物の前記顔画像情報を同一画面に並べて表示することを特徴とする監視システム。
【請求項１３】
請求項１２に記載の監視システムにおいて、
前記画像処理装置は、前記指定された人物が写っている監視画像に含まれる他の人物の前記顔画像情報を同一画面に並べて表示することを特徴とする監視システム。
【請求項１４】
請求項４乃至１３のいずれか１項に記載の監視システムにおいて、
前記顔画像情報には、該情報に含まれる顔画像が撮影された日時が含まれることを特徴とする監視システム。
【請求項１５】
動画像の監視画像をフレーム単位で順次取り込んで各フレーム中の一又は複数の人物の顔部を検出するとともに、各人物の顔画像を異なるフレーム間で追跡する第１処理と、
該第１処理で追跡された各人物の顔画像についてフレーム毎に、予め定めた顔画像の画質評価指標を算出する第２処理と、
第２処理で算出された画質評価指標が異なる複数枚の顔画像を選択して顔画像メモリに格納する第３処理と、
前記顔画像メモリに格納された複数枚の顔画像の評価指標に基づいて、前記顔向きが異なる複数枚の顔画像を選択して顔画像情報として画像表示部に出力する第４処理を備えてなる監視画像処理プログラム。
【請求項１６】
請求項１５に記載の監視画像処理プログラムにおいて、
前記第２処理で算出された各フレームの顔画像の画質評価指標と顔向きを評価して最良の顔画像を抽出して最良顔画像メモリに格納する第５処理とを備え、
前記第５処理は、前記最良顔画像と前記顔画像メモリに格納された複数枚の顔画像の評価指標に基づいて、前記顔向きが異なる複数枚の顔画像を選択して顔画像情報として画像表示部に出力することを特徴とする監視画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システムに係り、具体的には、監視システムにより撮影された動画像の監視画像に基づいて、人物識別に最適な顔画像情報を生成する監視画像処理方法、監視画像処理装置を備えた監視システム及び監視画像処理プログラムに関する。
【背景技術】
【０００２】
ビルのエントランス、駐車場、工場、学校などの敷地の入口、大規模店舗やコンビニエンスストアなどの店舗内部などに監視カメラを設け、監視カメラにより撮影された監視画像に基づいて、施設の管理者や警備員などによってリアルタイムで人流監視などを行う監視システムが設けられている。また、監視カメラにより撮影された監視画像を磁気テープや磁気ディスクなどの記憶媒体に記録しておき、必要に応じて監視画像を再生して施設の管理者や警備員などによって準リアルタイムで人流監視などを行う監視システムが設けられている。
【０００３】
このように人が自由に行き来するフリーフロー環境下における人流監視の主な目的は、テロリスト等の犯罪者や不審者を雑踏の中から発見したり、捜査願いの出ている失踪者等を発見するためである。しかし、四六時中、監視者が監視画面を眺めて対象者を発見することは人的コストが非常に大きく、また、疲労や集中力低下により見逃しをする可能性もあり、確実に発見することは困難である。
【０００４】
そこで、監視画像に対して画像処理及び画像認識処理を施して、自動的に対象者を発見することが望まれている。例えば、特許文献１には、監視画像から自動的に顔画像領域を連続的に切出し、時間的に連続する複数の切出し結果に対して、より良く映っている顔画像を各人物毎に１枚だけ抽出することが提案されている。
【０００５】
また、切出された顔画像を監視者により観察するだけでなく、顔画像を用いて人物を識別するシステムにおいては、身分証などによって予め登録した顔画像と、監視画像から切出された顔画像を対比して、一致又は不一致を識別することが要望されている。しかし、識別に用いるカメラで撮影した顔画像は、カメラに対する人物の姿勢の変化に起因する見かけの歪みや変形が起こるから、特定の姿勢の登録顔画像と対比して識別する方法においては、認証精度が低下する要因となっている。特に、顔認識処理のみを行うプログラム（以下、顔認識エンジンという。）においては、正面顔のみを対象にしたものが多く、こうした正面顔の顔認識エンジンでは、見かけの歪みや変形の影響を受けやすい。
【０００６】
このような問題を解決するために、例えば、特許文献２には、登録されている１枚の正面顔画像から三次元の頭部形状モデルを生成し、監視カメラなどで撮影された任意角度の顔画像と同じ向きを向かせるように画像変換を施し、比較・照合を行う手法が提案されている。
【０００７】
【特許文献１】特開２００５−２２７９５７号公報
【特許文献２】特開２００３−２６３６３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、各人物につき１枚の画像のみを出力するため、三次元的な奥行き情報を含む顔形状情報が失われてしまうため、人物の認証精度向上に限界がある。
【０００９】
一方、特許文献２では、フリーフロー環境下で撮影した監視画像の顔画像の画質や顔の向きが適切でない場合は、動画像の監視画像をコマ送りしながら適切な顔画像を選択して三次元の頭部形状モデルの画像変換をしなければならない。したがって、適切な顔画像を選択するために、監視画像の巻き戻し、コマ送りを繰返し行う必要があり、人物識別用の顔画像を生成するのに、手間及び時間がかかる。また、監視画像中に複数の人物が写っている場合は、一人ずつ照合しなければならないから、監視画像の巻き戻し及びコマ送りを繰返し行う必要があるという問題がある。
【００１０】
本発明が解決しようとする課題は、フリーフロー環境下で撮影した監視画像に基づいて、人物識別に最適な顔画像情報を生成することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の監視画像処理方法は、動画像の監視画像をフレーム単位で順次取り込み、各フレーム中の一又は複数の人物の顔部を検出して異なる複数のフレーム間で追跡し、同一人物について追跡した複数の顔画像に基づいて少なくとも顔向きが異なる複数枚の顔画像を選択してメモリに格納することを特徴とする。また、メモリに格納した複数枚の顔画像を顔画像情報セットとして画像表示部に出力する構成とすることができる。
【００１２】
すなわち、監視画像の連続する複数のフレーム中の一又は複数の人物の顔部を検出して追跡し、同一人物について追跡した複数の顔画像の中から、人物識別に適切な例えば顔向きの角度が異なる複数の顔画像が選択され表示される。したがって、監視カメラから送られてくる監視画像に基づいて、異なる角度から見た人物の特徴をよく表す複数の画像からなる画像セットを得ることができる。特に、監視者が人物を観察する場合、正面顔画像など特定の１枚の画像に加えて、適切に選択された横顔画像や斜め顔画像が同時に提示されると、人物識別をより容易に行うことができる。
【００１３】
しかも、異なる複数の人物ごとに複数枚セットの顔画像が表示されるから、複数の人物の識別、認証、等の監視を精度よく行うことができる。つまり、監視画像の巻き戻し及びコマ送りを繰返し行うことなく、一度の再生で複数の人物の物識別用顔画像を生成することができる。
【００１４】
また、本発明の監視システムは、監視カメラで撮影された動画像の監視画像が入力される画像入力手段と、該画像入力手段から入力される監視画像に基づいて人物識別に用いる顔画像情報を生成する画像処理手段と、該画像処理手段で生成された顔画像情報を表示装置に出力する画像出力手段と、該画像出力手段から出力される前記顔画像情報を表示する画像表示手段を備え、前記画像処理手段は、前記画像入力手段を介して前記監視画像をフレーム単位で順次取り込み、各フレーム中の一又は複数の人物の顔部を検出して異なる複数のフレーム間で追跡する顔画像追跡部と、該顔画像追跡部により追跡された同一人物の複数のフレームの顔画像に基づいて少なくとも顔向きが異なる複数枚の顔画像を選択して、前記顔画像情報として画像出力手段に出力する画像選択部とを備えて構成する。
【００１５】
また、これに代えて、前記画像処理手段は、前記画像入力手段から取り込まれる前記監視画像が格納される入力画像メモリと、該入力画像メモリから前記監視画像をフレーム単位で順次読み出してフレーム中の一又は複数の人物の顔部を検出する顔部検出部と、該顔部検出部により検出された各人物の顔画像を異なるフレーム間で追跡する顔画像追跡部と、該顔画像追跡部により追跡された各人物の顔画像についてフレーム毎に、予め定めた顔画像の画質評価指標を算出する画質評価指標算出部と、該画質評価指標算出部により算出された画質評価指標が異なる複数枚の顔画像が格納される顔画像メモリと、該顔画像メモリに格納された複数枚の顔画像の画質評価指標に基づいて、前記顔向きが異なる複数枚の顔画像を選択して前記顔画像情報として前記画像出力手段に出力する画像選択部とを有して構成することができる。
【００１６】
また、前記画像処理手段は、さらに、前記評価指標算出部によりフレーム毎に算出された顔画像の画質評価指標と顔向きとに基づいて最良の顔画像を抽出する最良顔画像評価部と、該最良顔画像評価部により抽出された最良顔画像が格納される最良顔画像メモリを備え、前記画像選択部は、前記最良顔画像メモリに格納された最良顔画像と前記顔画像メモリに格納された複数枚の顔画像の画質評価指標に基づいて、前記顔向きが異なる複数枚の顔画像を選択して前記顔画像情報として前記画像出力手段に出力する構成とすることができる。
【００１７】
また、顔向きが異なる複数枚の顔画像を取得できるから、高精度な三次元頭部形状の再構成を行うことができる。
【発明の効果】
【００１８】
本発明によれば、フリーフロー環境下で撮影した監視画像に基づいて、人物識別に最適な顔画像情報を生成することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の監視画像処理方法を適用してなる監視システムの実施形態について、図面を参照して説明する。
【００２０】
（第１の実施形態）
以下、本発明の監視システムの第１の実施形態について、図１〜図８を参照しながら詳細に説明する。図１は、本実施形態に係る監視システムの全体構成図である。図２は、本実施形態の主要部である画像処理装置の内部の処理ブロックの概略図である。図３は、画像処理装置の内部の処理の流れを示す図である。
【００２１】
図１に示すように、本実施形態の監視システムは、監視カメラなどの画像入力装置１と、画像入力装置１から入力される監視画像を処理して顔画像情報を生成する画像処理装置２と、生成された顔画像情報を出力表示する表示装置３を備えて構成されている。画像入力装置１としては、監視カメラの他、デジタルビデオレコーダや、ネットワークカメラ映像集約装置などを適用することができる。画像処理装置２は、プログラムによって動作する情報処理装置（ＣＰＵ）、半導体メモリやハードディスク記憶装置などからなる記憶装置及び各種の入出力装置を備えた、コンピュータによって実現される。
【００２２】
画像処理装置２は、図２に示すように、画像入力装置１に接続された画像入力部２１を備え、動画像の監視画像がフレーム毎に入力されるようになっている。画像入力部２１には、順次、画像処理部２２、画質評価部２３、最良顔画像判定部２４、相関計算部２５、出力部２６が接続されている。出力部２６からは、生成された顔画像情報が表示装置３に出力表示されるようになっている。画像入力部２１と画像処理部２２は、バス３２を介して入力画像メモリ２７に接続されている。画質評価部２３と相関計算部２５は、バス２８を介して顔画像メモリ２９に接続されている。また、最良顔画像判定部２４と相関計算部２５は、バス３０を介して最良顔画像メモリ３１に接続されている。
【００２３】
入力画像メモリ２７には、画像入力装置１から取込まれた画像が格納され、画像処理部２２から必要に応じてアクセスされる。顔画像メモリ２９には、画像処理部２２の処理結果画像、撮像時刻、処理結果画像の個数などの情報が、人物ごとに格納される。また、相関計算部２５は、顔画像メモリ２９に必要に応じてアクセスして、格納された情報を読み取ることができる。
【００２４】
図３は、画像処理装置２の内部の処理の流れを示すブロック図である。図に示すように、画像処理装置２は、画像読込手段４１、顔検出手段４２、顔追跡手段４３、顔向き算出手段４４、画質評価値算出手段４５、最良顔画像評価手段４７、追跡終了判定手段４９、画像間相関算出手段５０、画像選択手段５１、画像セット出力手段５２から構成され、画質評価値算出手段４５は顔画像メモリ２９に、最良顔画像評価手段４７は最良顔画像メモリ３１に、それぞれアクセスするようになっている。
【００２５】
なお、画像読込手段４１の一部と、顔画像メモリ２９、最良顔画像メモリ３１は、コンピュータの記憶装置の一部に割り当てられた記憶領域である。また、顔検出手段４２、顔追跡手段４３、顔向き算出手段４４、画質評価値算出手段４５、最良顔画像評価手段４７、追跡終了判定手段４９、画像間相関算出手段５０、画像選択手段５１は、ＣＰＵが記憶装置に格納されている所定のプログラムを実行することによって実現される。また、画像読込手段４１の一部と、画像セット出力手段５２は、コンピュータの入力又は出力インターフェース回路と、その回路を駆動・制御するプログラムをＣＰＵが実行することとによって実現される。
【００２６】
このように構成される画像処理装置２の各手段４１〜５２の詳細構成について、動作とともに説明する。画像読取手段４１は、画像入力装置１から提供される時間的に連続した映像系列（動画像）のある瞬間の映像フレームを画像データとして獲得する。顔検出手段４２は、獲得された画像データ中の顔領域を検出する。顔領域の検出は、一般的な手法を用いることができ、例えば、画像の輝度、色相、形状、目などの顔画像の特徴情報を用いて検出する。具体的には、非特許文献１に記載された手法を用いることができる。
【非特許文献１】Ｐａｕｌ  Ｖｉｏｌａ  ａｎｄ  Ｍｉｃｈａｅｌ  Ｊｏｎｅｓ、“Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ２００１（ＣＶＰＲ０１）。  顔追跡手段４３は、顔検出手段４２で検出された顔画像を連続する複数のフレーム間で追跡する。すなわち、顔検出手段４２によって連続する複数のフレーム毎に顔部の検出を行っても、ノイズ、顔の向き、又は照明条件の変化などにより、一瞬顔を見失うおそれがある。そこで、本実施形態では、顔追跡手段４３を用いて顔画像の追跡を行い、一定時間以内に一定範囲内に顔画像が存在する場合には、同じ顔と判断させている。
【００２７】
顔追跡手段４３による追跡は、検出された顔画像をテンプレートとし、残差逐次検定法（ＳＳＤＡ法）などの一般的手法を用い、テンプレートに一致度が高い画像を移動先として追跡することができる。また、検出精度をあげるために、必要に応じて、テンプレートの更新を行ってもよい。あるいは、連続するフレーム画像間でオプティカルフロー法などの一般的な移動体追跡手法を用いて、同一人物の同定を行ってもよい。さらには、検出された顔画像の位置から画面下方を調べて服装の画像を得ることができるから、服装の模様や色を特徴として、顔画像の追跡を行ってもよい。顔画像追跡は、入力装置から指定する特定の人物について行ってもよいが、フレーム画像中に検出された全ての顔画像について行うことができる。
【００２８】
顔向き算出手段４４は、顔検出手段４２又は顔追跡手段４３により処理が行われている間、検出及び追跡された顔画像に対して顔面の向いている方向を計算する。例えば、正面画像の直交３軸方向に対する向き（α、β、γ）を算出する。
【００２９】
画質評価値算出手段４５は、検出及び追跡された顔画像が、人間にとってどの程度見分けやすい画像かという観点で予め設定された評価ルールに従って評価し、顔画像の画質評価指標である画質評価値を計算する。また、画質評価値は、三次元再構成を行う際に有用な画像かという観点で、予め評価ルールを設定することができる。
【００３０】
顔画像メモリ２９は、顔検出手段４２又は顔追跡手段４３により検出及び追跡された顔画像、及び画質評価値算出手段４５で計算された画質評価値が格納されるようになっている。本実施形態では、顔検出手段４２又は顔追跡手段４３により検出及び追跡された全ての顔画像が顔画像メモリ２９に格納されるようになっている。しかし、顔画像メモリ２９の記憶容量を節約するために、画質評価値が明らかに低い画像は、格納しないようにすることもできる。また、顔画像を顔向き角度に関して離散化し、同一角度の顔画像のうち画質評価値が最良のもののみを格納するようにすることができる。
【００３１】
最良顔画像評価手段４７は、顔検出手段４２又は顔追跡手段４３により検出及び追跡された顔画像のうち、画質評価値算出手段４５で計算された画質評価値の高さ、及び顔向き角度の正面向きへの近さを基準として、 最良顔画像の評価値を算出する。そして、最良顔画像メモリ３１には、同一人物について算出された最良顔画像評価値が最も高い最良顔画像を１枚だけが記憶されるようになっている。すなわち、連続する複数フレームで検出及び追跡された顔画像に対して、その都度、最良顔画像評価値を算出し、既に記憶している最良顔画像があれば、新たに算出された顔画像の最良顔画像評価値と比較し、いずれか高い方の顔画像を最良顔画像として、最良顔画像メモリ３１に記憶する。なお、最良顔画像としては、必ずしも正面向きの顔画像が選択されるわけではなく、多少斜め向きでも最良顔画像評価値の高い顔画像が選択されることもある。
【００３２】
追跡終了判定手段４９は、同一人物が監視画像から消えたときに追跡を終了し、消えていないときは画像読込手段４１に戻って、手段４２〜４５、４７の処理を繰返し実行する。この追跡終了判定は、顔追跡手段４３の検出が一定時間失敗している場合には、追跡中の人物が撮像範囲外に出たと判定し、その人物の顔画像の追跡を終了する。
【００３３】
追跡が終了した場合は、画像間相関算出手段５０に進んで、顔画像メモリ２９に蓄積されている各顔画像に対し、最良顔画像メモリ３１に記憶されている最良顔画像、及び画像選択手段５１によって既に選択された顔画像を基準として、画像相関値を計算する。この画像相関値は、例えば、三次元再構成を目的とする場合は、自己遮蔽による奥行き情報獲得の困難さを回避するために、基準とする顔画像に対し、頭部を上下方向あるいは左右方向のどちらか一方にのみ角度変化があるような顔画像の画像相関値が高くなるように、画像相関値の計算式を事前に決めておく。
【００３４】
画像選択手段５１は、画像間相関算出手段５０により算出された画像相関値が高い顔画像を、あらかじめ設定された枚数を選択し、画像セットの複数枚の顔画像を抽出する。設定枚数に達していない場合は、再度、画像間相関算出手段５０に戻り、画像相関値を再計算して追加の画像を選択する。このようにして、画像選択手段５１は、同一人物について追跡した複数の顔画像に基づいて少なくとも顔向きが異なる複数枚の顔画像を選択して、画像セットの顔画像情報を生成する。画像セットの顔画像については、顔画像メモリ２９にその旨の符号を付しておく。
【００３５】
画像セット出力手段５２は、最良顔画像メモリ３１に記憶されている最良顔画像と、画像選択手段５１により選択されている顔画像メモリ２９内の顔画像とを、表示装置３に出力する。画像選択手段５１により選択されている顔画像は、図示していないが、画像セットとしてメモリに格納しておく。
【００３６】
次に、本実施形態の主要部における画像処理手段の詳細なフローについて説明する。
【００３７】
（顔検出手段４２・顔追跡手段４３）
図４に、顔検出及び顔追跡の処理フローを示す。図示のように、例えば、非特許文献１に記載されているＶｉｏｌａらの方法を用いて顔検出を行う（Ｓ６１）。次いで、検出された顔画像に基づいて、顔の位置、顔の大きさ、顔向き角度を算出する（Ｓ６２）。このステップＳ６１、Ｓ６２の処理は、同一の監視画像内に写っている複数の人物に対して行う。次に、同一人物の顔画像の位置の変化を追跡して同定する（Ｓ６３）。例えば、ステップＳ６３の処理において、同一人物が撮像範囲内を移動している場合、その人物の顔画像は連続する複数のフレーム間で比較的近接した位置で検出される。また、その人物の顔画像の顔の大きさも急激に変化しない。そこで、動画像中の連続するフレーム間で、顔の位置の変化量がある閾値以下で、かつ顔のサイズの変化量がある閾値以下の場合は、検出された顔画像が同一人物のものであると同定する。そして、同一人物の顔画像については、識別符号を付して対応付ける。
【００３８】
なお、必ずしも全てのフレームで確実に安定した顔検出が行えるとは限らないため、一般的な統計的手法であるカルマンフィルタを用いて、顔の位置や顔のサイズを追跡することで、一時的な見失いや外乱による追跡の失敗を軽減することができる。また、前述したように、テンプレートマッチング法、オプティカルフローの算出値に基づいて、顔領域の追跡を行ってもよい。この場合、一旦顔検出が成功すれば、横向きや後ろ向きになっても追跡が行えるという利点がある。
【００３９】
（顔向き算出手段４４）
顔向き算出手段４４は、検出又は追跡されている顔画像に対して、例えば、円形フィルターなどにより鼻腔を検出し、鼻腔と目との位置関係に基づいて、顔の向き（α、β、γ）を大まかに計測することができる。又は、各顔向き毎に予め平均的な参照顔画像を作成しておき、検出又は追跡されている顔画像と参照画像との類似度を計算し、最も近い参照顔画像の顔向き（角度）を採用するようにすることができる。
【００４０】
（画質評価値算出手段５５）
画質評価値算出手段５５は、検出又は追跡されている顔画像に対して、人間にとってどの程度見分けやすい画像か、という観点で予め設定された評価ルールに従って評価し、顔画像の画質評価指標である画質評価値を計算する。画質評価値の基準としては、少なくとも以下の項目のうちの１つを含む。
【００４１】
顔領域の大きさ（Ｌ）    （検出されたサイズ）
表情状態（Ｅ）          （閉目、口開き、隠れ状態）
画像の明るさ（Ｂ）      （ブライトネス）
画像の鮮明さ（Ｓ）      （コントラスト、Ｓ／Ｎ比）
照明の方向（Ｄ）        （セルフシャドウ）
顔の移動量（Ｍ）        （画像ぶれ）
画質評価値Ｔは、次式によって算出することができる。
【００４２】
Ｔ＝ｗ１（Ｌ）＋ｗ２（Ｅ）＋ｗ３（Ｂ）＋ｗ４（Ｓ）＋ｗ５（Ｄ）＋ｗ６（Ｍ）
ここで、ｗ１、ｗ２、ｗ３、ｗ４、ｗ５、ｗ６は重み付け係数であり、実験的に決められる数値である。
【００４３】
（顔画像メモリ２９）
顔画像メモリ２９には、切り出された顔画像を各人物毎に分けて蓄積される。蓄積は画像だけでなく、同一人物を識別する符号、画質評価値及び顔向きとを関連付けて蓄積することで、後述する画像間相関の算出を効率化することができる。全ての画像を蓄積する代わりに、画質評価値がある閾値よりも低い場合には、不適切な画像とみなし、蓄積から除外することも可能である。この場合、画質評価値を算出するための各評価要素に対して、それぞれ一定の閾値を設け、いずれかの評価要素の評価値が閾値以下であるものを蓄積から除外することで実現できる。
【００４４】
例えば、顔の大きさに関する閾値（Ｌｔｈｒ）、表情状態に関する閾値（Ｅｔｈｒ）、画像の明るさに関する閾値（Ｂｔｈｒ）、画像の鮮明さに関する閾値（Ｓｔｈｒ）、照明の方向に関する閾値（Ｄｔｈｒ）、顔の移動量に関する閾値（Ｍｔｈｒ）を設定し、次式のように画質評価値Ｔを定義して、Ｔ＞０のものだけ蓄積すればよい。
【００４５】
Ｔ＝｛ｗ１（Ｌ）＋ｗ２（Ｅ）＋ｗ３（Ｂ）＋ｗ４（Ｓ）＋ｗ５（Ｄ）＋ｗ６（Ｍ）｝
・ｆ（Ｌ＞Ｌｔｈｒ）・ｆ（Ｅ＞Ｅｔｈｒ）・ｆ（Ｂ＞Ｂｔｈｒ）・ｆ（Ｓ＞Ｓｔｈｒ）
・ｆ（Ｄ＞Ｄｔｈｒ）・ｆ（Ｍ＜Ｍｔｈｒ）
ただし、ここでｆ（ｘ）は、次の関数であり、閾値を超える評価要素、あるいは閾値未満の評価要素があれば、０とすることにより、その顔画像を蓄積対象から除外する。
【００４６】
ｆ（ｘ）＝１      ｉｆ  ｘ  ｉｓ  ＴＲＵＥ
ｆ（ｘ）＝０      ｉｆ  ｘ  ｉｓ  ＦＡＬＳＥ
ここで、顔の大きさ（Ｌ）、表情状態（Ｅ）、画像の明るさ（Ｂ）、画像の鮮明さ（Ｓ）、照明の方向（Ｄ）、顔の移動量（Ｍ）の具体的な決め方の例を詳細に説明する。
【００４７】
顔の大きさ（Ｌ）は、顔検出に非特許文献１の手法を用いる場合、検出と同時にその大きさが計測されるので、その大きさをそのままＬとすればよい。又は、顔の検出後、顔付近の肌色領域の面積をＬとしてもよい。さらに、眼や口等の顔部品をテンプレートとしたテンプレートマッチング法で求められる両目間隔をＬとすることができる。
【００４８】
表情の状態（Ｅ）は、目が開き、口が閉じ、頬が歪んでいない、自然な状態の顔画像を取得したいという観点から、表情変化の無い場合にＥが大きくなるように定義する。これは顔の向き毎及び顔部品毎に予め作成しておいた無表情の顔画像テンプレートとの比較を行い、その差分絶対値の逆数をＥとすることにより実現できる。又は、動的輪郭法などを適用して各顔部品の形状を抽出し、事前に設定しておいた無表情状態との形状差分の絶対値の逆数をＥとすることができる。逆に、表情変化にこそ個性が出るという観点で、前記差分の絶対値をそのままＥとすることも考えられる。
【００４９】
画像の明るさ（Ｂ）は、照明が適切にあてられている場合に取得された画像は情報量を多く含んでいるが、強すぎる照明による輝度値の飽和や、照明不足による不鮮明化が起こった画像は情報量が不足していて利用しにくい。このような観点より、顔画像中に含まれる画素の最大輝度値と最小輝度値の差をＢとすることにより、コントラストのはっきりしている顔領域に対し評価値を高くすることができる。又は、顔画像中に含まれる画素の輝度値の分散をＢとすることができる。輝度値の分散を利用することにより、ノイズの影響を低減することができる。
【００５０】
画像の鮮明さ（Ｓ）は、適切に焦点が合っている画像に対する評価値を高くし、ピントずれなどが起こっている場合は評価値を低くしたいという観点から、顔画像に対してエッジ抽出を行い、エッジ強度の合計値をＳとすればよい。又は、顔画像に対してフーリエ変換を行い、その特定帯域のエネルギをＳとすることができる。
【００５１】
照明の方向（Ｄ）は、顔面に対して均一な照明が当たっている顔画像に対しては評価値を高くし、下や真横から照明が当たり、セルフシャドウが発生しているような顔画像に対しては評価値を低くしたいという観点から、照明光源の方向を推定し、照明方向と顔面方向との角度の余弦をＤとすればよい。
【００５２】
顔の移動量（Ｍ）は、移動速度が速い場所で撮像した顔画像は、撮像時のブレが大きいと考えられるため、前フレームからの移動量が大きい場合に撮像した顔画像に対しては評価値を低くしたい。逆に、前フレームからの移動量が小さい場合には、比較的暗い環境であってもブレが少なく撮像できていると考えられる。このような観点で、カメラ撮像範囲内で顔画像が検出された位置を、動画像中の各フレームにおいて追跡し、前フレームからの移動量をＭとすればよい。又は、カメラ撮像範囲内において、前フレームと現在フレームの画像についてオプティカルフローを計算し、対応する顔画像のオプティカルフローの移動量の和をＭと  することができる。
【００５３】
（最良顔画像評価手段４７）
一般に、人間の頭部の特徴は、頭部前方の顔部に集まっている。このため、三次元頭部データを再構成する際も、正面向きに近い顔部が撮像できているほうが、より精度の高い三次元形状データが再構成できると期待される。一方、正面向きの顔画像であっても、撮像装置から遠く離れた画像は、解像度が非常に低く、有用ではないことがある。
【００５４】
そこで、最良顔画像評価手段４７は、顔向きに加えて、画質評価値を加味して、最良顔画像を選択するため、最良顔画像の評価指標である最良顔画像評価値Ｆを算出する。三次元空間中での顔向きを（α、β、γ）、画質評価値をＴとすると、次式により最良顔画像評価値Ｆを計算することができる。
【００５５】
Ｆ＝ｖ１・ｃｏｓ（α）＋ｖ２・ｃｏｓ（β）＋ｖ３・ｃｏｓ（γ）＋ｖ４・Ｔ
ここで、ｖ１、ｖ２、ｖ３、ｖ４は重み付け係数であり、実験的に決められる数値である。これにより、正面に近い向きで、かつ画質のよい最良顔画像を選択することができる。
【００５６】
また、正面付近での微小な向きの変化は、顔認証に対しては特に大きな影響を及ぼさない場合がある。この場合は、各回転成分に関しての角度閾値（αｔｈｒ、βｔｈｒ、γｔｈｒ）を設定しておき、その角度条件を満たす顔領域は画質評価値のみの比較を行うことにしてもよい。具体的には、次式のように最良顔画像評価値Ｆを定義すればよい。
【００５７】
Ｆ＝ｆ（‖α‖＜αthr）・ｆ（‖β‖＜βthr）・ｆ（‖γ‖＜γthr）・Ｔ
ただし、ここでｆ（ｘ）は以下の関数である。
【００５８】
ｆ（ｘ）＝１      ｉｆ  ｘ  ｉｓ  ＴＲＵＥ
ｆ（ｘ）＝０      ｉｆ  ｘ  ｉｓ  ＦＡＬＳＥ
これにより、真正面を向いている低画質の顔画像よりも、正面より多少角度がずれていても高画質の顔画像を選択することができるという効果がある。
【００５９】
（最良顔画像メモリ３１）
最良顔画像メモリ３１には、最適な最良顔画像が１人につき１枚ずつ別個に記憶されるようになっている。新しい人物が撮像範囲内に進入してくると、その人物に対する最良顔画像記憶スペースを作成し、最初に検出あるいは追跡された顔画像を格納する。そして、その人物に対して２回目以降の検出の場合は、既に格納されている最良顔画像評価値と、今回の追跡で得られた画像に対して最良顔画像評価手段４７で計算された最良顔画像評価値とを比較する。今回の画像の方が高い最良顔画像評価値を持つ場合、記憶している画像を更新する。
【００６０】
（追跡終了判定手段４９）
追跡終了判定手段４９は、顔追跡手段４３の結果が一定時間（例えば２秒間）失敗している場合には、追跡中の人物が撮像範囲外に出たと判定し、その人物の顔画像の追跡を終了する。追跡が終了していない場合は、再度、画像読込手段４１に戻り、動画像からの画像読込を継続する。
【００６１】
しかし、この場合、動画像中から人物がいなくなるまで出力結果が得られないことになるため、追跡状態であっても一定時間（例えば１０秒間）間隔で、以降の処理を実行し、画像セット出力手段５２の出力を得られるようにしてもよい。
【００６２】
（画像間相関算出手段５０、画像選択手段５１）
図５に、画像間相関算出手段５０と画像選択手段５１により選択される複数（ｎ）枚の顔画像を出力するまでの処理のフローを示す。
【００６３】
例えば、三次元頭部形状モデルを再構成するためには、同一対象を異なる方向から撮像した複数の頭部画像が必要である。監視画像に写る人物頭部に関して、高精度な三次元頭部形状を再構成するためには、撮影された複数の監視画像から、異なる複数の視点から撮影された画像を適切に選択する必要がある。
【００６４】
図５において、画像間相関算出手段５０では、最良顔画像メモリ３１に最初に選択された１枚の最良顔画像を初期選択顔画像とする（Ｓ７１）。そして、初期選択顔画像と顔画像メモリ２９に蓄積された各顔画像との相関を計算する（Ｓ７２）。この相関は、自己遮蔽による奥行き情報獲得の困難さを回避するために、最良顔画像又は選択された顔画像に対し、頭部を上下方向あるいは左右方向のどちらか一方にのみ角度変化がある顔画像の相関値が高くなるように、相関関数を設定すると都合がよい。これは、例えば、最初に選択されている画像の三次元空間中での顔向きを（α０、β０、γ０）とし、相関を計算する対象の顔画像の三次元空間中での顔向きを（αＣ、βＣ、γＣ）、画質評価値をＴＣとすると、例えば、相関値Ｃは次式のように表現できる。
【００６５】
Ｃ＝ｕ１・ｓｉｎ（ｕ０｜αＣ−α０｜）ｃｏｓ（βＣ−β０）ｃｏｓ（γＣ−γ０）
＋ｕ２・ｃｏｓ（αＣ−α０）ｓｉｎ（ｕ０｜βＣ−β０｜）ｃｏｓ（γＣ−γ０）
＋ｕ３・ｃｏｓ（αＣ−α０）ｃｏｓ（βＣ−β０）ｓｉｎ（ｕ０｜γＣ−γ０｜）
＋ｕ４・ＴＣ
ここで、ｕ０、ｕ１、ｕ２、ｕ３、ｕ４は重み付け係数であり、実験的に決められる数値である。
【００６６】
各顔画像に対して、相関値Ｃを計算した後、相関の最も高い顔画像を選択する（Ｓ７３）。その後、設定枚数の顔画像を選択したか否かを判断し（Ｓ７４）、選択終了ならば選択した設定枚数の顔画像からなる画像セットを出力する（Ｓ７５）。
【００６７】
図６を参照して、具体例を説明する。同図に示すように、例えば、入力された監視画像から得られた顔画像が、時系列順にＩ１〜Ｉ５、顔向きが以下のようになっていると考える。
Ｉ１    α＝＋１５、  β＝＋１５、  γ＝０
Ｉ２    α＝    ０、  β＝＋３０、  γ＝０
Ｉ３    α＝−１５、  β＝＋１５、  γ＝０
Ｉ４    α＝−１５、  β＝＋３０、  γ＝０
Ｉ５    α＝    ０、  β＝＋６０、  γ＝０
このとき、最良顔画像メモリ３１に、最良顔画像としてＩ１が記憶されている場合、（α０、β０、γ０）＝（１５、１５、０）であり、これを基準に他の顔画像を選択することになる。計算を容易にするために、仮に、ｕ0＝ｕ１＝ｕ２＝ｕ３＝ｕ４＝１とおくと、それぞれの画像に対する相関値は次のように計算できる。
Ｉ２    Ｃ２＝ｓｉｎ（１５）ｃｏｓ（１５）
Ｉ３    Ｃ３＝ｓｉｎ（３０）
Ｉ４    Ｃ４＝ｓｉｎ（３０）ｃｏｓ（１５）
Ｉ５    Ｃ５＝ｓｉｎ（１５）ｃｏｓ（４５）
明らかに、
ｓｉｎ（ａ）＜ｓｉｎ（ｂ）  ｉｆ  ０＜ａ＜ｂ＜１８０
ｃｏｓ（ｘ）≦１
であるため、顔画像Ｉ１と上下方向の角度のみ異なる顔画像Ｉ３に対応するＣ３が最大と計算できる。このように、上下方向あるいは左右方向のどちらか一方にのみ角度変化のある画像セットを選択することで、自己遮蔽による奥行き情報獲得の困難さを回避することができる。
【００６８】
図７に、画像相関の計算の別な方法の例を示す。同図は、入力動画像の各フレームにおいて、顔向き算出手段４４から得られた顔向き角度を、各人物毎に単位球７１上に投影し、顔向き変化の軌跡を連続的に表現したものである。この軌跡上で複数（ｎ）点を選択し、その点ｎに対応する顔画像を出力することを考える。まず、最良顔画像メモリ３１に記憶されている顔画像の顔向き方向に対応する単位球上の点７２を選択点に加える。次に、点７２を含み、選択された点を結ぶようなｎ多角形の面積が最大となるような（ｎ−１）個の点７３，７４を選択点に追加する。各選択点に対して、対応する顔向きの顔画像を選択し、画像セット７５として、顔画像メモリ２９にノア対応する顔画像にその旨を付す。これにより、視点の異なる複数の顔角度を自動的に選択し、その顔画像をセットとして出力することができる。
【００６９】
ここでは、多角形の面積のみに着目していたが、各点における画質評価値を考慮して、単位球上の点を選択してもよい。すなわち、単位球上の軌跡上にある各点の座標をＰｉとする（ｉ＝１、２、・・・）。Ｐｉに対応する顔画像の画質評価値をＴｉとし、Ｐｉにより形成される多角形の面積をＳ〔Ｐ１、Ｐ２、・・・、Ｐｎ〕とすると、次式の画像相関値Ｃを最大化するようなＰｉを選択する。これにより、低画質の顔画像の最適な角度の組合せよりも、高画質の顔画像の組合せを選択することができ、より高精度な三次元頭部形状の再構成が可能となったり、高画質な人物画像の組合せを監視者に提示することができたりする効果がある。
【００７０】
Ｃ＝Ｓ〔Ｐ１、Ｐ２、・・・、Ｐｎ〕＋ｕ０・Σ｛Ｔｉ・ｆ（Ｔｉ＞Ｔｔｈｒ）｝
ただし、ここでｆ（ｘ）は以下の関数である。
【００７１】
ｆ（ｘ）＝１      ｉｆ  ｘ  ｉｓ  ＴＲＵＥ
ｆ（ｘ）＝０      ｉｆ  ｘ  ｉｓ  ＦＡＬＳＥ
ここで、ｕ０は重み付け係数であり、実験的に決められる数値である。
【００７２】
さらに、図８を参照して、画像相関の計算の別な方法の例を説明する。同図は、動画像の監視画像の各フレームにおいて、顔向き算出手段４４から得られた顔向き角度を各人物毎に単位球７１上に投影し、顔向き変化の軌跡を連続的に表現したものである。この単位球上の軌跡上で複数（ｎ）点を選択することは図７の例と同様であるが、まず軌跡上の任意の２点をペアと考え、そのペアの画像相関値Ｃを計算しながら選択点を追加していく。
【００７３】
具体的な選択方法は、以下のように実行される。図８に示すように、軌跡上に２点７６，７７を取り、その位置の相対関係、ペアの各点での画像相関値を基準に最適な画像セットを選んでもよい。
【００７４】
画像選択手段５１では、上述のように計算された画像相関値を基に、出力する画像セットに含める顔画像を選択する。選択した画像の枚数が、設定枚数に満たなければ、再度、画像間相関算出手段５０に戻って、画像相関値の計算を行い、更に顔画像を追加選択する。画像セット出力手段５２では、最良顔画像メモリ３１に記憶されている最良顔画像と、画像間相関算出手段５０と画像選択手段５１で選択された顔画像とを画像セットとして出力する。
【００７５】
（顔画像の表示例）
図９〜図１３に、画像セット出力手段５２から表示装置３の画面上に出力表示する画像セットの表示構成例を示す。図９は、画面内にカメラ全体画像１０１と、画像セット出力手段５２から出力される最良顔画像及び選択された顔画像の画像セット１０２とを並べて表示する場合の例である。図から明らかなように、異なる角度から見た人物の特徴をよく表す複数の顔画像（正面顔画像、横顔画像、斜め顔画像等）からなる画像セット１０２が同時に表示されるから、監視者は人物識別をより容易に行うことができる。
【００７６】
また、図１０に示すように、画面に表示されたカメラ全体画像１０１あるいは画像セット１０２のいずれかで、注目人物をマウス等の入力デバイスによりカーソル１０３を操作して指定すると、指定された人物の詳細拡大画像１０４を並べて表示するようにすることができる。
【００７７】
また、図１１に示すように、画像セット１０２の１つの顔画像１０５をカーソル１０３で指定すると、指定した顔画像１０５が撮影された時刻のカメラ全体画像１０６を並べて表示するようにすることができる。
【００７８】
さらに、図１２に示すように、カメラ全体画像１０１の画像に指定された人物の移動軌跡１０７を表示することができる。この場合、移動軌跡１０７上をカーソル１０３で指定すると、指定された移動位置における詳細拡大画像１０８を並べて表示するようにすることができる。
【００７９】
さらに、別の表示例を図１３に示す。本図示例は、カメラ全体画像１０１に対応付けて撮影された日時１１０が表示され、カーソル１０３で注目人物を指定すると、その人物の画像セット１１１を同一画面上に並べて表示する。さらに、指定された人物が撮像されていた時間帯に、同じ撮像範囲にいた他の人物に関する画像セット１１２、１１３、１１４、１１５を同一画面上に並べて表示することができる。また、それらの画像セット１１２〜１１５が取得された日時、検出人数、移動方向等の付帯情報が分かる拡大画像１１６、１１７、１１８を同一画面上に並べて表示することができる。図１３の例によれば、指定した人物に関係のある人物を抽出することができ、人間関係を把握することができるとともに、その顔画像を得ることができる。
【００８０】
以上説明したように、第１の実施形態の画像処理装置２は、動画像中で顔が検出されてから、顔が検出されなくなるまでの一連の流れのなかで、最適な複数枚からなる顔画像セットを自動的に選択し、記録及び出力表示することができる。このため、三次元頭部形状モデルの再構成や監視画像に適した画像が得られ、顔認証の精度を向上でき、あるいは人間にとって監視しやすい監視システムを構築することができる。
【００８１】
（第２の実施形態）
図１４に、本発明の第２の実施形態に係る画像処理装置の概要構成図を示す。図示のように、本実施形態が第１の実施形態と相違する点は、画像処理装置２に接続して、三次元形状データ再構成装置４及び三次元顔認証装置５を設けたことにある。その他の点は、第１の実施形態と同一であることから、同一の符号を付して説明を省略する。
【００８２】
三次元形状データ再構成装置４は、画像処理装置２で生成された複数の顔画像を入力して、三次元頭部形状を復元するものである。三次元頭部形状を再構成する技術は、一般的に知られている手法を適用することができる。例えば、ステレオ距離測定技術、あるいは非特許文献２に示すような技術を用いることができる。
【００８３】
第１の実施形態で説明したように、画像処理装置２からは、動画像中で顔が検出されてから、顔が検出されなくなるまでの一連の流れのなかで、顔向きの異なる複数枚の顔画像セットを自動的に選択して出力される。三次元形状データ再構成装置４は、画像処理装置２から出力される顔画像セットに基づいて、例えば、頭部の三次元形状の頭部モデルを作成し、その頭部モデルに対して各顔画像の顔向きに応じて顔画像を投影することにより、人物頭部の三次元形状を再構成するようになっている。
【００８４】
このようにして、頭部の三次元形状データが作成できると、任意視点からみた人物の画像を合成することができる。その結果、監視画像中では斜め顔あるいは横顔のみしか映っていない人物についても、正面顔画像を生成することができるから、監視の視認性や認証精度向上に役立てることができる。
【００８５】
すなわち、三次元形状データ再構成装置４は、画像処理装置２から出力される複数枚の顔画像に基づいて頭部の三次元形状モデルを再構成し、これに基づいて任意角度から見た顔画像を合成する。
【００８６】
一方、三次元顔認証装置５は、三次元形状データ再構成装置４により再構成された三次元形状モデルに基づいて、監視対象人物の顔写真と同一の角度から見た顔画像を合成して監視対象人物か否かを識別することができるようになっている。
【非特許文献２】Ｒ．Ｍｏｈｒ、Ｌ．Ｑｕａｎ、Ｆ．Ｖｅｉｌｌｏｎ、“Ｒｅｌａｔｉｖｅ  ３Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  Ｕｓｉｎｇ  Ｍｕｌｔｉｐｌｅ  Ｕｎｃａｌｉｂｒａｔｅｄ  Ｉｍａｇｅｓ”、ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）１９９３  （第３の実施形態）  図１５に本発明の第３の実施形態の主要部である画像処理装置の内部の処理ブロックの概略図を示し、図１６に本実施形態の画像処理装置の内部の処理の流れ図を示す。本実施形態が第１の実施形態と異なる点は、最良顔画像判定部２４と最良顔画像メモリ３１を省略したことにある。その他の点は、第１の実施形態と同一であることから、同一の符号を付して説明を省略する。
【００８７】
図１６に示すように、最良顔画像評価手段４７及び最良顔画像メモリ３１を省略した他は、図３と同じ処理である。顔画像メモリ２９には、画質評価値算出主段４５で算出された画質評価値に応じて顔画像が送られてくる。画像相関計算手段５０は、顔画像メモリ２９に格納された各顔画像とその付属情報とから、画像相関値を算出する。画像選択手段５１は、画像相関値の高い複数枚の顔画像を選択して、画像セット出力手段５２を介して出力する。
【００８８】
本実施形態によれば、最良顔画像を評価して更新することしないで、顔画像メモリ２９に蓄積した顔画像に対して画像相関計算をまとめて行うようにしたことから、顔画像の記録時の処理負荷を低減できる。
【００８９】
（第４の実施形態）
図１７に、本発明の第４の実施形態の主要部である画像処理装置の内部の処理ブロックの概略図を示す。第３の実施形態と異なる点は、画質評価部２３は、相関計算部２５とは直接は接続せず、顔画像メモリ２９を介して情報をやり取りする。この構成により、画像撮像及び画質評価と、画像間の相関計算とを非同期に動作させることができる。具体的には、顔画像メモリ２９と相関計算部２５とを、異なるタスク、異なるスレッド、あるいは異なるプログラム等で分離することにより実現できる。
【００９０】
本実施形態によれば、人物の追跡が終了していなくても、相関計算部２５を定期的に動作させることができる。例えば、人物が１画面内で長時間滞留している場合、人物が画面外に出てから最適な顔画像を選択するのではなく、例えば５秒間隔で、その時点での最適な顔画像のセットを出力する。これにより、第２の実施形態を適用すれば、必要に応じて三次元頭部形状の再構成や、顔認証を行うことができ、監視システムのリアルタイム性が向上し、結果出力までのレイテンシを削減することができるという効果がある。
【００９１】
以上各実施形態により説明したように、本発明によれば、監視システムにおいて、動画像を入力として顔切出しによって得られた多数の顔画像から、撮影の上下、左右、斜め方向、あるいは顔の各種表情、照明変動などの様々な観点において、最適な複数枚からなる顔画像セットを得ることができる。
【００９２】
また、最適な顔画像セットを用いることで、高精度な三次元頭部形状を再構成でき、監視しやすい監視画面を提供することができる。
【００９３】
また、高精度の顔画像認識装置に適用して、信頼性及び確度の高い防犯システム、監視システム、セキュリティシステム等を実現することができる。
【図面の簡単な説明】
【００９４】
【図１】第１の実施形態の監視システムの概要構成図である。
【図２】第１実施形態の画像処理装置内部の処理ブロックの概略構成図である。
【図３】第１実施形態の画像処理装置の内部の処理の流れ図である。
【図４】第１実施形態の顔検出及び顔追跡の処理フロー図である。
【図５】第１実施形態の複数枚の顔画像を選択する処理の流れ図である。
【図６】画像相関計算の一例の方法を説明する図である。
【図７】画像相関計算の他の例の方法を説明する図である。
【図８】画像相関計算のさらに他の方法を説明する図である。
【図９】表示画像の一例を示す図である。
【図１０】表示画像の例１を示す図である。
【図１１】表示画像の例２を示す図である。
【図１２】表示画像の例３を示す図である。
【図１３】表示画像の例４を示す図である。
【図１４】本発明の第２の実施形態の監視システムの概要構成図である。
【図１５】本発明の第３の実施形態の主要部である画像処理装置の内部の処理ブロックの概略図である。
【図１６】第３の実施形態の画像処理装置の内部の処理の流れ図である。
【図１７】本発明の第４の実施形態の主要部である画像処理装置の内部の処理ブロックの概略図である。
【符号の説明】
【００９５】
１  画像入力装置
２  画像処理装置
３  表示装置
２１  画像入力部
２２  画像処理部
２３  画質評価部
２４  最良顔画像判定部
２５  相関計算部
２６  出力部
２７  入力画像メモリ
２９  顔画像メモリ
３１  最良顔画像メモリ
４１  画像読込手段
４２  顔検出手段
４３  顔追跡手段
４４  顔向き算出手段
４５  画質評価値算出手段
４７  最良顔画像評価手段
４９  追跡終了判定手段
５０  画像間相関算出手段
５１  画像選択手段
５２  画像セット出力手段
【図１】
2008199549.tif 000003
【図２】
2008199549.tif 000004
【図３】
2008199549.tif 000005
【図４】
2008199549.tif 000006
【図５】
2008199549.tif 000007
【図６】
2008199549.tif 000008
【図７】
2008199549.tif 000009
【図８】
2008199549.tif 000010
【図９】
2008199549.tif 000011
【図１０】
2008199549.tif 000012
【図１１】
2008199549.tif 000013
【図１２】
2008199549.tif 000014
【図１３】
2008199549.tif 000015
【図１４】
2008199549.tif 000016
【図１５】
2008199549.tif 000017
【図１６】
2008199549.tif 000018
【図１７】
2008199549.tif 000019