(57)【要約】【課題】少ない演算量で監視に必要な顔画像を確実に取得することのできる顔画像抽出装置及び顔画像抽出方法を提供する。【解決手段】入力された映像をメモリに蓄積し、前記入力映像をフレームレート変換手段で時間方向に間引いてフレームレートを変換し、前記メモリ又は前記フレームレート変換手段からの入力画像から人物の顔を抽出し顔画像を出力し、前記顔画像を所定の方法で評価して評価値を算出し、算出された前記評価値を蓄積し、蓄積された前記評価値から最も高い評価値が得られると考えられる範囲を決定し、前記メモリに該当する範囲の映像の再生を指示し、算出された前記評価値の中から最も高い評価値を選択し対応する顔画像を出力する。【選択図】図１
2006303897.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像を蓄積するメモリと、
前記映像を時間方向に間引いてフレームレートを変換するフレームレート変換手段と、
前記メモリの出力と前記フレームレート変換手段の出力とを切り替える切替手段と、
前記切替手段の出力から人物の顔を抽出し顔画像を出力する顔検出手段と、
前記顔検出手段から出力された顔画像を所定の方法で評価値を算出する評価値算出手段と、
算出された前記評価値の出力先を切り替える出力切替手段と、
前記出力切替手段からの前記評価値を蓄積する評価値蓄積手段と、
前記評価値蓄積手段に蓄積された前記評価値から最も高い評価値が得られると考えられる範囲を決定し、前記メモリに該当する範囲の映像の再生を指示する詳細解析範囲決定手段と、
前記出力切替手段からの前記評価値の中から最も高い評価値を選択し対応する顔画像を出力する最大評価値選択手段と、
を備える顔画像抽出装置。
【請求項２】
前記評価値蓄積手段が更新されるたびに詳細解析範囲の絞込みを行い、前記メモリから不要な画像を削除する画像削除手段を備える請求項１に記載の顔画像抽出装置。
【請求項３】
請求項１又は２に記載の顔画像抽出装置を備える監視システム。
【請求項４】
入力された映像をメモリに蓄積し、前記入力映像をフレームレート変換手段で時間方向に間引いてフレームレートを変換し、前記メモリ又は前記フレームレート変換手段からの入力画像から人物の顔を抽出し顔画像を出力し、前記顔画像を所定の方法で評価して評価値を算出し、算出された前記評価値を蓄積し、蓄積された前記評価値から最も高い評価値が得られると考えられる範囲を決定し、前記メモリに該当する範囲の映像の再生を指示し、算出された前記評価値の中から最も高い評価値を選択し対応する顔画像を出力する顔画像抽出方法。
【請求項５】
前記蓄積された評価値が更新されるたびに詳細解析範囲の絞込みを行い、前記メモリから不要な画像を削除する請求項４に記載の顔画像抽出方法。
【請求項６】
請求項４又は５に記載の顔画像抽出方法を実行するプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した映像から監視に必要な顔画像を抽出する顔画像抽出装置及び顔画像抽出方法に関する。
【背景技術】
【０００２】
近年、監視カメラを用いたセキュリティ映像監視システムの普及が進んでおり、金融機関や個人商店等を対象とした小規模なシステムから、数十台以上の監視カメラを用いて空港や駅など広範囲を監視する大規模なシステムまで、様々なシステムが利用されている。
【０００３】
こうした監視システムでは、モニタに表示された監視映像を監視員が直接モニタするだけでなく、撮影された映像をタイムラプスレコーダやハードディスクレコーダといった記録装置に録画し、後で記録された映像を必要に応じて確認する方法が採られていることが多い。常に映像を記録する方法では、記録装置の容量を無駄に消費し、確認時に人の映っていない無駄な部分も全て確認しなければならない。そのため、記録装置に接続された赤外線センサや、画像処理装置を用いて、例えば監視対象に動きがあった部分といった監視に必要と判断される映像のみを記録することのできる記録装置が知られている。
【０００４】
例えば、特許文献１では、撮影された映像から人物の顔画像を抽出しデータベースとして登録することで特定の人物の検索を実現し、監視業務を効率化することのできる顔画像監視システムが提案されている。
【０００５】
【特許文献１】特開２００２―１９１０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に開示されている顔画像監視システムに用いられている従来の顔画像抽出装置では、映像を記録すべきかどうかの判断に画像処理を行う必要があるため、処理を実現するための高速な演算装置が必要であり、顔画像抽出装置のコストが増加してしまうという問題がある。また、演算量を抑制するために入力映像を間引いて処理を行う方法もあるが、この方法では顔画像を取りこぼす可能性がある。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、少ない演算量で監視に必要な顔画像を確実に取得することのできる顔画像抽出装置及び顔画像抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的は下記構成及び方法により達成される。
（１）  顔画像抽出装置であって、入力された映像を蓄積するメモリと、前記映像を時間方向に間引いてフレームレートを変換するフレームレート変換手段と、前記メモリの出力と前記フレームレート変換手段の出力とを切り替える切替手段と、前記切替手段の出力から人物の顔を抽出し顔画像を出力する顔検出手段と、前記顔検出手段から出力された顔画像を所定の方法で評価値を算出する評価値算出手段と、算出された前記評価値の出力先を切り替える出力切替手段と、前記出力切替手段からの前記評価値を蓄積する評価値蓄積手段と、前記評価値蓄積手段に蓄積された前記評価値から最も高い評価値が得られると考えられる範囲を決定し、前記メモリに該当する範囲の映像の再生を指示する詳細解析範囲決定手段と、前記出力切替手段からの前記評価値の中から最も高い評価値を選択し対応する顔画像を出力する最大評価値選択手段と、を備える。
【０００９】
この構成により、出力切替手段からの評価値の中から最大評価値選択手段により最も高い評価値を選択し対応する顔画像を出力するので、少ない演算量で監視に必要な顔画像を確実に取得することができる。
【００１０】
（２）  上記（１）に記載の顔画像抽出装置において、前記評価値蓄積手段が更新されるたびに詳細解析範囲の絞込みを行い、前記メモリから不要な画像を削除する画像削除手段を備える。
【００１１】
この構成により、評価値蓄積手段が更新されるたびに、画像削除手段により詳細解析範囲の絞込みを行い、メモリから不要な画像を削除するので、メモリが蓄積しなければならない画像の量を削減することができる。
【００１２】
（３）  監視システムであって、上記（１）又は（２）に記載の顔画像抽出装置を備える。
【００１３】
この構成により、上記（１）又は（２）に記載の顔画像抽出装置による効果と同様の効果を有する監視システムを提供することができる。
【００１４】
（４）  顔画像抽出方法であって、入力された映像をメモリに蓄積し、前記入力映像をフレームレート変換手段で時間方向に間引いてフレームレートを変換し、前記メモリ又は前記フレームレート変換手段からの入力画像から人物の顔を抽出し顔画像を出力し、前記顔画像を所定の方法で評価して評価値を算出し、算出された前記評価値を蓄積し、蓄積された前記評価値から最も高い評価値が得られると考えられる範囲を決定し、前記メモリに該当する範囲の映像の再生を指示し、算出された前記評価値の中から最も高い評価値を選択し対応する顔画像を出力する。
【００１５】
この構成により、算出された評価値の中から最も高い評価値を選択し対応する顔画像を出力するので、比較的小さな演算量で監視に必要な顔画像を確実に取得するができる。
【００１６】
（５）  上記（４）に記載の顔画像抽出方法において、前記蓄積された評価値が更新されるたびに詳細解析範囲の絞込みを行い、前記メモリから不要な画像を削除する。
【００１７】
この構成により、蓄積された評価値が更新されるたびに、詳細解析範囲の絞込みを行い、メモリから不要な画像を削除するので、メモリが蓄積しなければならない画像の量を削減することができる。
【００１８】
（６）  記録媒体であって、上記（４）又は（５）に記載の顔画像抽出方法を実行するプログラムが記録されている。
【００１９】
この構成により、上記（４）又は（５）に記載の顔画像抽出方法による効果と同様の効果を有する記録媒体を提供することができる。
【発明の効果】
【００２０】
本発明は、出力切替手段からの評価値の中から最大評価値選択手段により最も高い評価値を選択し対応する顔画像を出力するので、少ない演算量で監視に必要な顔画像を確実に取得することができるという効果を有する顔画像抽出装置を提供できるものである。
【発明を実施するための最良の形態】
【００２１】
以下に、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００２２】
（実施の形態１）
図１は、本発明の実施の形態１に係る顔画像抽出装置の構成を示すブロック図である。この図において、本実施の形態の顔画像抽出装置１００は、入力された映像（入力映像）を蓄積するメモリ１０１と、前記入力映像を時間方向に間引いてフレームレートを変換するフレームレート変換部１０２と、メモリ１０１とフレームレート変換部１０２に接続され後段への入力を切り替える入力切替部１０３と、入力切替部１０３の出力から人物の顔を抽出し顔画像を出力する顔検出部１０４と、顔検出部１０４から出力された顔画像を所定の方法で評価して評価値を算出する評価値算出部１０５と、前記算出された評価値の出力先を切り替える出力切替部１０８と、出力切替部１０８の前記評価値を蓄積する評価値蓄積部１０７と、評価値蓄積部１０７に蓄積された前記評価値から最も高い評価値が得られると考えられる範囲を決定し、メモリ１０１に該当する範囲（詳細解析範囲）の映像の再生を指示する詳細解析範囲選択部１０６と、前記最も高い評価値が得られると考えられる範囲に対応するメモリ１０１に蓄積された映像の範囲の中から、出力切替部１０８からの出力に基づき前記最も高い評価値を選択し対応する顔画像を出力する最大評価値選択部１０９と、を備えている。
【００２３】
以上のように構成された顔画像抽出装置１００について、図１及び図２のフローチャートを参照しながらその動作を説明する。まず、入力切替部１０３はフレームレート変換部１０２を入力元とし、出力切替部１０８は評価値蓄積部１０７を出力先とするように設定しておく。撮影された映像（入力映像）はフレームレート変換部１０２によって、一定間隔で間引き処理が行われ(ステップＳ２０１)、入力切替部１０３を介して顔検出部１０４に入力される。顔検出部１０４は入力された画像から顔画像を抽出し（ステップＳ２０２）、評価値算出部１０５は抽出された顔画像に対して所定の方法で評価値を算出して、算出した評価値を出力切替部１０８を介して評価値蓄積部１０７に蓄積する（ステップＳ２０３）。
【００２４】
詳細解析範囲選択部１０６は、例えば評価値が閾値以下になったら（ステップＳ２０４）、評価値蓄積部１０７を確認して、それまでに蓄積された評価値の中で最も高い評価値を選択しその前後の評価値を元に、詳細に解析する映像の範囲を決定する（ステップＳ２０５）。そして、入力切替部１０３の入力元をメモリ１０１に、出力切替部１０８の出力先を最大評価値選択部１０９に設定し（ステップＳ２０６）、詳細に解析する範囲の映像の再生をメモリ１０１に指示する（ステップＳ２０７）。
【００２５】
顔検出部１０４、評価値算出部１０５は、上記と同様の方法で、メモリ１０１が再生した画像の各フレームに対する評価値を算出し、最大評価値選択部１０９に通知する（ステップＳ２０８、ステップＳ２０９）。該当範囲の評価値算出が全て終わった時点で最大評価値選択部１０９は、最も評価値の高かったフレームを選択して最終出力とする（ステップＳ２１０）。出力終了後、最大評価値選択部１０９は入力切替部１０３の入力元をフレームレート変換部１０２に、出力切替部１０８の出力先を評価値蓄積部１０７に設定する（ステップＳ２１１）。
【００２６】
顔検出部１０４としては様々な手法が提案されているが、例えば、入力画像と背景画像との差分をとり閾値で２値化し、２値画像の各領域に対してパターンマッチングを行って人らしいと判断された領域の上部を顔画像として取り出す方法を用いても良い。
【００２７】
評価値算出部１０５は、出力画像の良し悪しを評価できるものならば、どんなものでも良い。一般的には、顔の大きさや、画像のコントラスト、標準的な顔テンプレートとのマッチングなどを用いることができる。
【００２８】
なお、詳細解析範囲の選択においては、最も高い評価値が得られたフレームの前後としたが、例えば、評価値蓄積部１０７に蓄積されたデータを関数で近似し、最も高い評価値を得ることができると考えられるフレームを予測し、そのフレームの前後を詳細解析範囲として選択しても良い。
【００２９】
また、最大評価値選択部１０９は、評価値が最大のフレームを出力するものとしたが、例えば、評価値が上位のものを複数出力するように設定しても良い。
【００３０】
以上の構成及び動作により、顔画像の取りこぼしを発生させることなく、演算量の削減を図ることができる。ここで、図３を用いて、本実施の形態における演算量について説明する。図３（ａ）は従来例における処理しなければならないフレーム数を、図３（ｂ）は本実施の形態における処理しなければならないフレーム数をそれぞれ表している。縦軸は評価値を、横軸は時間軸を、横軸下の△印は顔検出及び評価値算出処理を行ったフレームをそれぞれ表している。
【００３１】
図３（ａ）では、全３１フレームの評価値を算出しているが、図３（ｂ）では、まずフレームを１／６に間引いて大きな○で示される６フレームの評価値を算出し、その結果から高い評価値の期待される５フレームについて、更に評価値を算出している。この結果、従来例においては３１フレームについて評価値を算出しているのに対して、本実施の形態においては１１フレームについて評価値を算出しているため、精度を落とさずに演算量を６５％削減できている。
【００３２】
（実施の形態２）
図４は、本発明の実施の形態２に係る顔画像抽出装置の構成を示すブロック図である。なお、この図において上述した図１と共通する構成部分には同一符号を付してその説明を省略する。
【００３３】
図４において、本実施の形態の顔画像抽出装置２００は、上述した実施の形態１の顔画像抽出装置１００と同じ構成の他に、メモリ１０１から不要な画像を削除する画像削除部２０１を追加した構成を有している。
【００３４】
以上のように構成された顔画像抽出装置２００の動作について、図４及び図５のフローチャートを参照しながらその動作を説明する。なお、図５において、図２と共通するステップについては、図２と同一符号を付してその説明を省略する。図５において、画像削除部２０１は、評価値蓄積部１０７が更新されるたびに、詳細解析範囲の絞込みを行い（ステップＳ３０１）、その時点で詳細解析範囲となり得ない範囲の画像（不要な画像）をメモリ１０１から削除する（ステップＳ３０２）。
【００３５】
このような構成及び動作により、メモリ１０１が蓄積しなければならない画像の量を削減することができる。
【産業上の利用可能性】
【００３６】
本発明は、少ない演算量で監視に必要な顔画像を確実に取得することができるという効果を有し、監視カメラを用いた映像監視システム等に用いて有用である。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態１に係る顔画像抽出装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る顔画像抽出装置の動作を説明するためのフローチャート
【図３】本発明の実施の形態１に係る顔画像抽出装置の演算量を説明するための図
【図４】本発明の実施の形態２に係る顔画像抽出装置の構成を示すブロック図
【図５】本発明の実施の形態２に係る顔画像抽出装置の動作を説明するためのフローチャート
【符号の説明】
【００３８】
１００、２００  顔画像抽出装置
１０１  メモリ
１０２  フレームレート変換部
１０３  入力切替部
１０４  顔検出部
１０５  評価値算出部
１０６  詳細解析範囲選択部
１０７  評価値蓄積部
１０８  出力切替部
１０９  最大評価値選択部
２０１  画像削除部
【図１】
2006303897.tif 000003
【図２】
2006303897.tif 000004
【図３】
2006303897.tif 000005
【図４】
2006303897.tif 000006
【図５】
2006303897.tif 000007