(57)【要約】  撮像画像中に顔領域が複数検出された場合に誤検出を除去することを可能とする為に、本開示の顔検出装置（２）は、時系列的に連続する撮像画像から人物の顔領域を検出する顔検出装置であって、撮像画像から顔領域を検出する顔検出処理と、顔領域が複数検出された場合に、各顔領域について時系列的に相前後する撮像画像間での移動方向を算出し、顔領域間の移動方向の相関度が予め定められた閾値以上である顔領域に対して、顔領域としての検出の正誤を判定する正誤判定処理と行うプロセッサ（１５）を備えた構成とする。
2017064838.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に連続する撮像画像から人物の顔領域を検出する顔検出装置であって、
前記撮像画像から前記顔領域を検出する顔検出処理と、
前記顔領域が複数検出された場合に、各顔領域について時系列的に相前後する前記撮像画像間での移動方向を算出し、前記顔領域間の前記移動方向の相関度が予め定められた閾値以上である複数の顔領域に対して、顔領域としての検出の正誤を判定する正誤判定処理とを行うプロセッサを備えた顔検出装置。
【請求項２】
前記正誤判定処理は、前記顔領域間の前記移動方向の相関度が予め定められた閾値以上である前記複数の顔領域における、前記顔領域の顔らしさの評価値が最大の顔領域を正検出と判定し、それ以外の顔領域を誤検出と判定することを特徴とする請求項１に記載の顔検出装置。
【請求項３】
前記正誤判定処理は、前記顔領域間の前記移動方向の相関度が予め定められた閾値以上である前記複数の顔領域における、前記顔領域の重心位置の前記人物の身長方向の座標値が極値となる顔領域を正検出と判定し、それ以外の顔領域を誤検出と判定することを特徴とする請求項１に記載の顔検出装置。
【請求項４】
前記正誤判定処理は、前記顔領域間の前記移動方向の相関度が予め定められた閾値以上である前記複数の顔領域における、前記顔領域の顔らしさの評価値が予め定められた閾値以上となる顔領域を正検出と判定し、それ以外の顔領域を誤検出と判定することを特徴とする請求項１に記載の顔検出装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の顔検出装置と、
人物の顔領域を時系列的に連続して撮像するための撮像装置と
を備えた顔検出システム。
【請求項６】
時系列的に連続する撮像画像から人物の顔領域を検出する顔検出方法であって、
前記撮像画像から前記顔領域を検出する顔検出処理ステップと、
前記顔領域が複数検出された場合に、各顔領域について時系列的に相前後する前記撮像画像間での移動方向を算出し、前記顔領域間の算出された前記移動方向の相関度が予め定められた閾値以上である複数の顔領域に対して、顔領域としての検出の正誤を判定する正誤判定処理ステップと
を有する顔検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、時系列的に連続する画像から人物の顔領域を検出する顔検出装置およびこれを備えた顔検出システムならびに顔検出方法に関する。
【背景技術】
【０００２】
従来、顔認証や顔照合等を目的として、カメラにより撮像された人物の撮像画像から、前記人物の顔領域を検出する技術が知られている。このような顔検出技術は、撮像画像から、顔の特徴的な部分である目、鼻、口等を顔特徴点として検出し、検出された顔特徴点に基づいて顔領域を検出している（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９０４５２公報
【発明の概要】
【０００４】
しかしながら、顔特徴点は、撮像画像中の特徴的な部分の画素点の集合であるため、人物の顔領域以外の部分に検出される場合がある。顔領域以外の部分に顔特徴点が検出された場合、その顔特徴点に基づいて検出される顔領域は、当然、誤検出となる。例えば、図３Ａおよび図３Ｂに示すように、人物２１の服２２の襟の部分２３に顔特徴点が検出された場合は、襟の部分２３が顔領域Ｂｔ−１、Ｂｔとして誤検出される。このような誤検出が生じると、検出された顔領域を利用するその後の処理（例えば、顔認証処理、顔照合処理等）に影響が及ぶため、誤検出は除去することが望ましい。特に、上記の図３Ａ，図３Ｂの例のように、撮像画像中に顔領域が複数検出された場合は、検出された複数の顔領域の中に誤検出が含まれている可能性が高いため、とりわけこのような場合は、誤検出を除去することが望まれる。
【０００５】
本開示は、このような従来技術の課題を鑑みて案出されたものであり、撮像画像中に顔領域が複数検出された場合に誤検出を除去することが可能な顔検出装置およびこれを備えた顔検出システムならびに顔検出方法を提供することを主目的とする。
【０００６】
本開示の顔検出装置は、時系列的に連続する撮像画像から人物の顔領域を検出する顔検出装置であって、前記撮像画像から前記顔領域を検出する顔検出処理と、前記顔領域が複数検出された場合に、各顔領域について時系列的に相前後する前記撮像画像間での移動方向を算出し、前記顔領域間の前記移動方向の相関度が予め定められた閾値以上である複数の顔領域に対して、顔領域としての検出の正誤を判定する正誤判定処理とを行うプロセッサを備えたことを特徴とする。
【０００７】
本開示によれば、撮像画像中に顔領域が複数検出された場合に誤検出を除去することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本開示の顔検出システムを実現するためのハードウェア構成を示すブロック図である。
【図２】図２は、プロセッサによる顔検出処理の流れを示すフロー図である。
【図３Ａ】図３Ａは、顔領域の検出結果の一例として、第ｔ−１フレームでの検出結果を示す図である。
【図３Ｂ】図３Ｂは、顔領域の検出結果の一例として、第ｔフレームでの検出結果を示す図である。
【図４】図４は、画像フレーム間での各顔領域の移動方向を説明するための図である。
【図５】図５は、追跡結果の一例を示す図である。
【図６】図６は、撮像画像中の追跡範囲の一例を示す図である。
【図７】図７は、正誤判定処理の流れを示すフロー図である。
【図８】図８は、正誤判定処理の流れを示すフロー図である。
【図９】図９は、正誤判定処理の流れを示すフロー図である。
【発明を実施するための形態】
【０００９】
上記課題を解決するためになされた第１の開示は、時系列的に連続する撮像画像から人物の顔領域を検出する顔検出装置であって、前記撮像画像から前記顔領域を検出する顔検出処理と、前記顔領域が複数検出された場合に、各顔領域について時系列的に相前後する前記撮像画像間での移動方向を算出し、前記顔領域間の前記移動方向の相関度が予め定められた閾値以上である複数の顔領域に対して、顔領域としての検出の正誤を判定する正誤判定処理とを行うプロセッサを備えたことを特徴とする。
【００１０】
この第１の開示に係る顔検出装置によれば、撮像画像中に顔領域が複数検出された場合に、時系列的に相前後する撮像画像間での移動方向の相関度が高い複数の顔領域に対して、顔領域としての正誤を判定する正誤判定処理を行うことができる。移動方向の相関度が高い複数の顔領域は、人物の顔領域と共に移動する部分（例えば人物が着ている服の襟の部分）を誤検出として含んでいる可能性が高い。したがって、移動方向の相関度が高い複数の顔領域に対して正誤判定処理を行うことにより、人物の顔領域と共に移動する部分などの誤検出を除去することが可能となる。また、移動方向の相関度を、時系列的に相前後する撮像画像間で算出することにより、顔領域間の移動方向の相関度を正確に判断することができる。
【００１１】
また、第２の開示では、上記第１の開示において、前記正誤判定処理は、前記顔領域間の前記移動方向の相関度が予め定められた閾値以上である前記複数の顔領域における、前記顔領域の顔らしさの評価値が最大の顔領域を正検出と判定し、それ以外の顔領域を誤検出と判定することを特徴とする。
【００１２】
この第２の開示に係る顔検出装置によれば、顔領域間の前記移動方向の相関度が予め定められた閾値以上である複数の顔領域について、各顔領域の顔らしさの評価値を互いに比較することにより、顔領域としての検出の正誤を判定することができる。これにより、撮像画像中に顔領域が複数検出された場合に、誤検出を簡単かつ容易に除去することが可能となる。
【００１３】
また、第３の開示では、上記第１の開示において、前記顔領域間の前記移動方向の相関度が予め定められた閾値以上である前記複数の顔領域における、前記顔領域の重心位置の前記人物の身長方向の座標値が極値をとる顔領域を正検出と判定し、それ以外の顔領域を誤検出と判定することを特徴とする。
【００１４】
この第３の開示に係る顔検出装置によれば、顔領域間の前記移動方向の相関度が予め定められた閾値以上である複数の顔領域について、各顔領域の重心位置の人物の身長方向の座標値を互いに比較することにより、顔領域としての検出の正誤を判定することができる。上述した図３の例のように、正判定の顔領域は、誤判定の顔領域よりも上側に位置する場合が多い。したがって、重心位置の人物の身長方向の座標値が極値をとる顔領域を正検出と判定することにより、誤検出を簡単かつ容易に除去することが可能となる。
【００１５】
また、第４の開示では、上記第１の開示において、前記正誤判定処理は、前記顔領域間の前記移動方向の相関度が予め定められた閾値以上である前記複数の顔領域における、前記顔領域の顔らしさの評価値が予め定められた閾値以上となる顔領域を正検出と判定し、それ以外の顔領域を誤検出と判定することを特徴とする。
【００１６】
この第４の開示に係る顔検出装置によれば、顔領域間の前記移動方向の相関度が予め定められた閾値以上である複数の顔領域について、各顔領域の顔らしさの評価値を予め定められた閾値と比較することにより、顔領域としての検出の正誤を判定することができる。これにより、撮像画像中に顔領域が複数検出された場合に、誤検出を簡単かつ容易に除去することが可能となる。また、顔らしさの評価値が高い顔領域は全て正検出と判定するので、例えば、複数の人物が並んで歩いている場合でも、各人物の顔領域を検出することが可能となる。
【００１７】
また、第５の開示は、上記第１の開示ないし第４の開示のいずれかに顔検出装置と、車両を時系列的に連続して撮像するための撮像装置とを備えた顔検出システムである。
【００１８】
また、第６の開示は、時系列的に連続する撮像画像から人物の顔領域を検出する顔検出方法であって、前記撮像画像から前記顔領域を検出する顔検出処理ステップと、前記顔領域が複数検出された場合に、各顔領域について時系列的に相前後する前記撮像画像間での移動方向を算出し、前記顔領域間の算出された前記移動方向の相関度が予め定められた閾値以上である複数の顔領域に対して、顔領域としての検出の正誤を判定する正誤判定処理ステップとを有することを特徴とする。
【００１９】
以下、本開示の実施形態について、図面を参照しながら説明する。
【００２０】
本開示に係る顔検出システムは、撮像装置により撮像された人物の撮像画像から前記人物の顔領域を検出するためのシステムであり、例えば、顔認証システム、顔照合システム、顔検索システム、および検出された顔領域を統計分析する各種分析システム（例えば、客層分析システム）等に適用可能である。以下では、本開示に係る顔検出システムを、顔認証システムに適用した場合について説明する。
【００２１】
図１は、本開示に係る顔検出システムを実現するためのハードウェア構成を示すブロック図である。図１に示すように、前記ハードウェア構成は、カメラ（撮像装置）１１、表示部１２、入力部１３、記憶部１４、プロセッサ１５、およびそれらを接続するバス１６を含む。記憶部１４およびプロセッサ１５は、本開示に係る顔検出装置２の構成要素である。
【００２２】
カメラ１１は、例えばＣＣＤカメラ等の一般的な撮像装置であり、建物のエントランスの近傍に配置され、エントランスに入った人物２１を略正面（略前方）から時系列的（時間的）に連続して撮像する。カメラ１１により撮像された時系列的に連続する撮像画像（以降、「画像フレーム」または単に「フレーム」とも称する）はプロセッサ１５に入力される。なお、カメラ１１は、人物２１を略正面から撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
【００２３】
表示部１２は、例えばモニタ（ディスプレイ）等の一般的な表示装置であり、プロセッサ１５での処理結果の表示等に使用される。なお、プロセッサ１５での処理結果は、表示部１２ではなく、顔認証システム等の外部のシステムに出力するようにしてもよい。
【００２４】
入力部１３は、例えば、キーボードやマウス等の入力デバイスであり、ユーザが顔検出装置２に各種の命令を入力するのに使用される。
【００２５】
記憶部１４は、例えばＲＯＭやハードディスク等の記憶装置（ストレージ）であり、顔検出装置２の各機能を実現するための各種プログラムおよび各種データを格納している。また、記憶部１４は、プロセッサ１５での検出結果および判定結果も記憶する。
【００２６】
プロセッサ１５は、例えばＣＰＵであり、記憶部１４から各種プログラムおよび各種データを図示しないＲＡＭ上に読み出して、顔検出装置２の各処理を実行する。また、プロセッサ１５は、顔検出装置２および顔検出システム１全体の制御を統括的に実行する。具体的には、プロセッサ１５は、カメラ１１から入力された撮像画像から人物の顔領域を検出する顔検出処理を行い、撮像画像中に複数の顔領域が検出された場合に、検出された顔領域の正誤判定処理をさらに行う。上記の顔検出処理および正誤判定処理は、画像フレーム毎に行われる。
【００２７】
図２は、プロセッサ１５による顔検出処理および正誤判定処理の流れを示すフロー図である。図２を参照して、プロセッサ１５による処理の流れを説明する。この処理は、第ｔフレームに対して行うものとする。
【００２８】
まず、カメラ１１から入力された撮像画像から、人物の顔領域を検出する（ステップＳＴ１０１）。顔領域の検出は、従来公知の方法を用いて行う。具体的には、まず、撮像画像中の所定の領域（顔候補領域）毎に、Ｈａａｒ−Ｌｉｋｅ特徴量などの公知の顔検出手法に用いられる特徴量を抽出する。次に、抽出された特徴量を、予め学習した学習モデルと比較する。そして、その比較結果に基づいて、前記顔候補領域の顔らしさを評価値として算出する。算出された評価値が予め定められた閾値Ｔ１以上の場合に、その顔候補領域を顔領域とする。評価値としては、１〜１００のスコアを使用するとよい。標準値が５０であり、値が大きくなるほど顔らしさが高くなるものとする。本実施形態では、閾値Ｔ１は６０に設定する。
【００２９】
図３Ａ、図３Ｂは、カメラ１１により略正面から撮像された人物２１の撮像画像（画像フレーム）の一例を示す図であり、図３Ａは第ｔ−１フレームでの検出結果、図３Ｂは第ｔフレームでの検出結果を示す。撮像画像中の水平方向をｘ座標、垂直方向をｙ座標とする。ｙ座標は、人物２１の身長方向である。図３Ａに示すように、第ｔ−１フレームでは、正検出（正しい検出）である顔領域Ａｔ−１と、誤検出である顔領域Ｂｔ−１の２つの顔領域が検出されている。また、図３Ｂに示すように、第ｔフレームでは、正検出である顔領域Ａｔと、誤検出である顔領域Ｂｔの２つの顔領域が検出されている。上述したように、顔領域の検出は撮像画像から抽出される特徴量に基づいて行われるため、画像によっては、人物の顔領域以外の部分に検出される場合もある。図３の例では、人物２１の服２２の襟の部分２３が、顔領域Ｂｔ−１、顔領域Ｂｔとして誤検出されている。
【００３０】
続いて、撮像画像から人物の顔領域が検出されたか否かを判定する（ステップＳＴ１０２）。顔領域が検出されたと判定された場合（ステップＳＴ１０２：Ｙｅｓ）は、ステップＳＴ１０３に進み、顔領域が検出されなかったと判定された場合（ステップＳＴ１０２：Ｎｏ）は、ステップＳＴ１０１に戻る。
【００３１】
ステップＳＴ１０３では、検出された顔領域毎に追跡処理を行う。追跡処理とは、時系列的に隣接する２つの画像フレーム間で同一の顔領域を互いに対応付け、かつ、追跡状態および顔領域の移動方向を検出することである。顔領域の対応付けは、顔領域の重心位置の座標および輝度情報等に基づいて行う。追跡状態は、隣接する２つの画像フレーム間に同一の顔領域が存在する場合はＯＮとし、存在しない場合はＯＦＦとする。
【００３２】
顔領域の移動方向は、各顔領域の重心位置を通る移動ベクトルの方向として求める。具体的には、図４に示すように、第ｔ−１フレームの顔領域（図３Ａと第ｔフレームの顔領域（図３Ｂ）の重心位置を通る移動ベクトルの方向を求める。図４の例では、顔領域Ａｔ−１、顔領域Ａｔの重心位置を通る移動ベクトルＶＡと、顔領域Ｂｔ−１、顔領域Ｂｔの重心位置を通る移動ベクトルＶＢは、両方とも左下を向いている。したがって、移動ベクトルＶＡおよび移動ベクトルＶＢの方向は左下と判断される。
【００３３】
各顔領域に追跡ＩＤが付与される。追跡ＩＤは、追跡状態、第ｔ−１フレームでの重心位置の座標および顔らしさの評価値（スコア）、第ｔフレームでの重心位置の座標および顔らしさの評価値（スコア）、移動ベクトルの方向と共に記憶部１４に追跡結果として記憶される。
【００３４】
図５は、記憶部１４に記憶された追跡結果の一例である。以降、顔領域Ａｔ−１、顔領域Ａｔを総称する場合は単に顔領域Ａと表記し、顔領域Ｂｔ−１、顔領域Ｂｔを総称する場合は単に顔領域Ｂと表記する。図５に示すように、顔領域Ａには「１」という追跡ＩＤが付与され、追跡状態「ＯＮ」、第ｔ−１フレームでの重心位置の座標およびスコア「重心位置ａ１、スコア９６」、第ｔフレームでの重心位置の座標およびスコア「重心位置ａ２、スコア９３」、移動ベクトルＶＡの方向「左下」と共に記憶されている。また、顔領域Ｂには「２」という追跡ＩＤが付与され、追跡状態「ＯＮ」、第ｔ−１フレームでの重心位置の座標およびスコア「重心位置ｂ１、スコア６２」、第ｔフレームでの重心位置の座標およびスコア「重心位置ｂ２、スコア６５」、移動ベクトルＶＢの方向「左下」と共に記憶されている。なお、図５では、重心位置の座標は、ａ１、ａ２、ｂ１、ｂ２で表しているが、実際には、重心位置に対応する画素（ピクセル）のｘ座標およびｙ座標値である。
【００３５】
続くステップＳＴ１０４では、撮像画像中の予め定められたサイズの追跡領域Ｒ内に、追跡状態ＯＮの顔領域が複数存在するか否かを判定する。追跡状態ＯＦＦの顔領域は、隣接する２つの画像フレーム間に存在していないので、判定対象にはならない。追跡領域Ｒは、縦横のピクセル数を指定して設定する。追跡領域Ｒは、検出された顔領域およびその周辺の領域が含まれるように適宜設定する。一例としては、検出された顔領域を中心とする所定の範囲の矩形領域を追跡領域Ｒとすることが考えられる。
【００３６】
図６は、追跡領域Ｒの一例を示す図である。図６では、顔領域Ａｔを中心とする所定の範囲の矩形領域を追跡領域Ｒとし、その追跡領域Ｒ内に追跡状態ＯＮの顔領域が複数存在するか否かを判定している。また、それと並行して、顔領域Ｂｔを中心とする所定の範囲の追跡領域Ｒ（図示せず）内に、追跡状態ＯＮの顔領域が複数存在するか否かも判定している。このような追跡領域Ｒ内に追跡状態ＯＮの顔領域が複数検出された場合は、人物２１と共に移動する部分、例えば人物２１が着ている服の一部などを顔領域として誤検出した可能性が高いと考えられる。図６の例では、追跡状態ＯＮの顔領域である顔領域Ａｔと顔領域Ｂｔが、追跡領域Ｒ内に存在しているので、少なくとも一方の顔領域が誤検出の可能性が高いと考えられる。なお、上述したように、撮像画像中に追跡領域Ｒを複数設定することも可能である。その場合は、追跡領域Ｒ毎に、以降の処理を行う。
【００３７】
追跡領域Ｒ内に追跡状態ＯＮの顔領域が複数存在すると判定された場合（ステップＳＴ１０４：Ｙｅｓ）は、ステップＳＴ１０５へ進み、複数存在しないと判定された場合（ステップＳＴ１０４：Ｎｏ）は、ステップＳＴ１０９に進む。ステップＳＴ１０９では、撮像画像から検出された顔領域を正検出として出力し、その後、処理を終了する。
【００３８】
続くステップＳＴ１０５では、顔領域間の移動ベクトルの相関度を算出する。図３の例では、顔領域Ａの移動ベクトルと、顔領域Ｂの移動ベクトルとの相関度を算出する。移動ベクトル（図４参照）の相関度は、公知の方法を用いて算出する。公知の方法の一例としては、ベクトルの正規化相関を用いることが挙げられる。相関度は、例えば、移動ベクトルの類似度を−１から＋１の範囲に正規化した相関値を用いるとよい。
【００３９】
次に、ステップＳＴ１０６では、顔領域間の移動ベクトルの相関度が予め定められた閾値Ｔ２以上であるか否かを判定する。相関度が閾値Ｔ２以上であると判定された場合（ステップＳＴ１０６：Ｙｅｓ）は、ステップＳＴ１０７へ進み、相関度が予め定められた閾値Ｔ２を下回ると判定された場合（ステップＳＴ１０６：Ｎｏ）は、ステップＳＴ１０９に進む。ステップＳＴ１０９では、上述したように、撮像画像から検出された顔領域を正検出として出力し、その後、処理を終了する。
【００４０】
ステップＳＴ１０７では、ステップＳＴ１０６で、相関度が閾値Ｔ２以上であると判定された全ての顔領域に対して、検出の正誤を判定する正誤判定処理を行う。図３の例では、顔領域Ａおよび顔領域Ｂの２つの顔領域に対して、検出の正誤判定処理を行う。なお、正誤判定処理の判定対象となる顔領域の数は２つに限定されるものではなく、例えば、相関度が閾値Ｔ２以上である顔領域が３つ存在する場合は、その３つの顔領域に対して検出の正誤判定処理を行う。
【００４１】
ステップＳＴ１０７での正誤判定処理は、下記の（１）〜（３）の判定方法のいずれかにより行うことができる。
【００４２】
（１）各顔領域の顔らしさの評価値（スコア）を互いに比較し、スコアが最大の顔領域を正検出と判定し、それ以外の顔領域を誤検出と判定する。図７のフロー図を参照して詳しく説明すると、まず、ステップＳＴ１０１の顔領域検出のときに算出され、記憶部１４に追跡結果（図５参照）として記憶されている第ｔフレームでの各顔領域のスコアを取得する（ステップＳＴ２０１）。続いて、取得した各顔領域のスコアを互いに比較し（ステップＳＴ２０２）、スコアが最大の顔領域を正検出と判定する（ステップＳＴ２０３）。正検出と判定された顔領域以外の顔領域は、誤検出と判定する。
【００４３】
図３および図５の例では、顔領域Ａ（追跡ＩＤ：１）の第ｔフレームでのスコアは９３であり、顔領域Ｂ（追跡ＩＤ：２）の第ｔフレームでのスコアは６５である。したがって、顔領域Ａのスコアは顔領域Ｂのスコアよりも大きいので、顔領域Ａを正検出と判定し、顔領域Ｂは誤検出と判定する。このように、各顔領域の顔らしさの評価値（スコア）を互いに比較することにより、顔領域としての検出の正誤を容易に判定することができる。これにより、撮像画像中に顔領域が複数検出された場合に、誤検出を簡単かつ容易に除去することが可能となる。
【００４４】
（２）各顔領域の重心位置のｙ座標値を互いに比較し、ｙ座標値が最大の顔領域を正検出と判定し、それ以外の顔領域を誤検出と判定する。図８のフロー図を参照して詳しく説明すると、まず、ＳＴ１０１の顔領域検出のときに算出され、記憶部１４に追跡結果（図５参照）として記憶されている第ｔフレームでの各顔領域の重心位置のｙ座標値を取得する（ステップＳＴ３０１）。続いて、取得した各顔領域のｙ座標値を互いに比較し（ステップＳＴ３０２）、ｙ座標値が最大の顔領域を正検出と判定する（ステップＳＴ３０３）。正検出と判定された顔領域以外の顔領域は、誤検出と判定する。
【００４５】
図３および図５の例では、顔領域Ａは顔領域Ｂよりも上方に位置しているので、顔領域Ａの重心位置のｙ座標値は、顔領域Ｂの重心位置のｙ座標値よりも大きい。したがって、顔領域Ａは正検出と判定し、顔領域Ｂは誤検出と判定する。このように、各顔領域の重心位置のｙ座標値を互いに比較することにより、顔領域としての検出の正誤を容易に判定することができる。これにより、撮像画像中に顔領域が複数検出された場合に、誤検出を簡単かつ容易に除去することが可能となる。図３の例のように、正判定の顔領域は、誤判定の顔領域よりも上側に位置する場合が多い。したがって、重心位置のｙ座標値が大きい方の顔領域を正検出と判定することにより、誤検出を簡単かつ容易に除去することが可能となる。この（２）の判定方法は、人間の顔領域は頭部に位置するので、人物２１の足側に位置する顔領域は頭部側に位置する顔領域と比較すると誤判定である可能性が高い、という前提に基づくものである。なお、図３および図５の例では人物２１の身長方向の座標としてｙ座標を用いたが、撮像画像中の座標系はその定義に依存するため、ｙ座標の代わりに他の座標軸（例えば、ｘ座標軸）を用いてもよい。同様に、座標値の大小も撮像画像の座標系の定義に依存するため、極値は、座標系の定義に合わせて極大値または極小値のいずれかを用いるとよい。
【００４６】
（３）各顔領域の顔らしさの評価値（スコア）を予め定められた閾値Ｔ３と比較し、スコアが閾値Ｔ３以上となる顔領域は全て正検出と判定し、それ以外の顔領域を誤検出と判定する。図９のフロー図を参照して詳しく説明すると、まず、ステップＳＴ１０１の顔領域検出のときに算出され、記憶部１４に追跡結果（図５参照）として記憶されている第ｔフレームでの各顔領域のスコアを取得する（ステップＳＴ４０１）。続いて、取得した各顔領域のスコアを予め定められた閾値Ｔ３と比較し（ステップＳＴ４０２）、スコアが閾値Ｔ３以上となる顔領域は全て正検出と判定する（ステップＳＴ４０３）。正検出と判定された顔領域以外の顔領域は、誤検出と判定する。
【００４７】
閾値Ｔ３は、ステップＳＴ１０１での顔領域検出に用いる閾値Ｔ１よりも大きい値に設定する。本実施形態では、閾値Ｔ１は６０に設定し、閾値Ｔ３は７０に設定する。図３および図５の例では、顔領域Ａ（追跡ＩＤ：１）の第ｔフレームでのスコアは９３なので閾値Ｔ２以上である。また、顔領域Ｂ（追跡ＩＤ：２）の第ｔフレームでのスコアは６５であり、閾値Ｔ２を下回る。したがって、顔領域Ａを正検出と判定し、顔領域Ｂは誤検出と判定する。このように、各顔領域の顔らしさの評価値（スコア）を予め定められた閾値Ｔ３と比較することにより、顔領域としての検出の正誤を容易に判定することができる。これにより、撮像画像中に顔領域が複数検出された場合に、誤検出を簡単かつ容易に除去することが可能となる。また、顔らしさの評価値が高い顔領域は全て正検出と判定するので、例えば、複数の人物が並んで歩いている場合でも、各人物の顔領域を検出することが可能となる。
【００４８】
なお、必要に応じて、照明ムラ（影の付き方）に基づく判定を組み合わせてもよい。例えば、人物が着ている服に顔の絵がプリントされている場合、上記の（３）の方法では、顔の絵を顔領域として誤検出するおそれがある。この場合、照明ムラに基づく判定を補助的に用いるとよい。顔の絵は２次元の平面であるため、撮像画像から検出された顔領域画像の照明ムラの度合いが小さくなる。したがって、照明ムラの度合いを予め定められた閾値と比べることにより、誤検出を除去することが可能となる。
【００４９】
ステップＳＴ１０７での正誤判定処理の終了後は、ステップＳＴ１０８に進む。ステップＳＴ１０８では、ステップＳＴ１０７での正誤判定結果に基づき、誤検出を除去し、正検出を出力し、その後、処理を終了する。誤検出の除去および正検出の出力は、第ｔ−１フレームの顔領域を対象にして行う。
【００５０】
以上のように、本実施形態によれば、撮像画像中に複数の顔領域が検出され、かつ前記複数の顔領域の、時系列的に相前後する２つの撮像画像間での移動ベクトルの相関度が予め定められた閾値以上である場合に、前記複数の顔領域に対して正誤判定処理を行うことにより、誤検出を簡単かつ容易に除去することができる。
【００５１】
なお、本実施形態では、検出の正誤判定処理は毎フレーム行うとしたが、検出の正誤判定処理は、毎フレームでなく、予め定められたフレーム数毎に行うようにしてもよい。その場合、追跡処理も、１つ前のフレームとの間ではなく、予め定められたフレーム数前のフレームとの間で行う。
【００５２】
また、本実施形態では、ステップＳＴ１０３の追跡処理は、撮像画像中の追跡領域Ｒ内に、追跡状態ＯＮの顔領域が複数存在するか否かを判定する判定処理（ステップＳＴ１０４）の前に行ったが、ステップＳＴ１０３の追跡処理は、ステップＳＴ１０４の判定処理の後に行うようにしてもよい。
【００５３】
以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本開示に係る顔検出装置およびこれを備えた顔検出システムならびに顔検出方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００５４】
本開示に係る顔検出装置およびこれを備えた顔検出システムならびに顔検出方法は、撮像画像中に顔領域が複数検出された場合に誤検出を除去することを可能とする顔検出装置およびこれを備えた顔検出システムならびに顔検出方法等として有用である。
【符号の説明】
【００５５】
１    顔検出システム
２    顔検出装置
１１  カメラ（撮像装置）
１２  表示部
１３  入力部
１４  記憶部
１５  プロセッサ
１６  バス
２１  人物
２２  服
２３  襟の部分
【図１】
2017064838.tif 000003
【図２】
2017064838.tif 000004
【図３Ａ】
2017064838.tif 000005
【図３Ｂ】
2017064838.tif 000006
【図４】
2017064838.tif 000007
【図５】
2017064838.tif 000008
【図６】
2017064838.tif 000009
【図７】
2017064838.tif 000010
【図８】
2017064838.tif 000011
【図９】
2017064838.tif 000012
【国際調査報告】
2017064838.tif 000013
2017064838.tif 000014