(57)【要約】【課題】逆光下において、撮像した人物の顔を適切に検出することである。【解決手段】撮像装置２は、撮像部１０により撮像された画像から動体を検出し、当該検出した動体を含む動体エリアの輝度情報に基づく逆光の度合いを算出し、当該算出した逆光の度合いに応じた２値化処理用のオフセット値を決定し、当該決定したオフセット値に基づいて前記画像を２値化し、当該２値化された画像から被写体の人物の顔を検出する顔検出部４１を備える。【選択図】図２
2010219862.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像から動体を検出し、当該検出した動体を含む動体エリアの輝度情報に基づいて逆光の度合いを算出し、当該算出した逆光の度合いに応じた２値化処理用のオフセット値を決定し、当該決定したオフセット値に基づいて前記画像を２値化し、当該２値化された画像から被写体の人物の顔を検出する顔検出部を備える顔検出装置。
【請求項２】
前記顔検出部は、前記動体エリア内の前記動体が含まれない輝度評価エリアの平均輝度値と、当該動体エリア内の前記動体が含まれる輝度評価エリアの平均輝度値と、の差分値を前記逆光の度合いとして算出する請求項１に記載の顔検出装置。
【請求項３】
前記顔検出部は、前記撮像された画像の輝度評価エリアの平均輝度値と、注目画素の平均輝度値と、の差分値を算出し、当該算出した差分値と前記算出されたオフセット値とを比較し、前記差分値が当該オフセット値よりも大きい注目画素を黒画素とし、それ以外の注目画素を白画素として前記画像を２値化する請求項１又は２に記載の顔検出装置。
【請求項４】
請求項１から３のいずれか一項に記載の顔検出装置と、
前記画像を撮像する撮像部と、
前記顔検出部により顔が検出されたか否かを判別し、顔が検出された場合に、当該検出された顔のエリアの輝度情報に応じた露出制御を前記撮像部に行う自動露出制御部と、を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から顔を検出する顔検出装置及び撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラにおいて、人物を撮像し、撮像した画像中から人物の顔を検出する技術が知られている。また、撮像した画像中から人物の顔を検出し、この検出した顔のエリアの輝度に応じて、人物の顔が適正露出になるよう自動露出制御を行って人物撮影を行うデジタルカメラが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１０７５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の顔の検出を利用した露出制御を行う構成では、撮像画像から人物の顔のパターンの検出が困難な逆光時において、人物の顔の検出がうまくできないおそれがあった。このため、逆光時には、人物の顔検出を利用した自動露出制御もうまくできないおそれがあった。
【０００５】
本発明の課題は、逆光下においても、撮像した人物の顔を適切に検出することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の顔検出装置は、
撮像された画像から動体を検出し、当該検出した動体を含む動体エリアの輝度情報に基づいて逆光の度合いを算出し、当該算出した逆光の度合いに応じた２値化処理用のオフセット値を決定し、当該決定したオフセット値に基づいて前記画像を２値化し、当該２値化された画像から被写体の人物の顔を検出する顔検出部を備える。
【０００７】
請求項２に記載の発明は、請求項１に記載の顔検出装置において、
前記顔検出部は、前記動体エリア内の前記動体が含まれない輝度評価エリアの平均輝度値と、当該動体エリア内の前記動体が含まれる輝度評価エリアの平均輝度値と、の差分値を前記逆光の度合いとして算出する。
【０００８】
請求項３に記載の発明は、請求項１又は２に記載の顔検出装置において、
前記顔検出部は、前記撮像された画像の輝度評価エリアの平均輝度値と、注目画素の平均輝度値と、の差分値を算出し、当該算出した差分値と前記算出されたオフセット値とを比較し、前記差分値が当該オフセット値よりも大きい注目画素を黒画素とし、それ以外の注目画素を白画素として前記画像を２値化する。
【０００９】
請求項４に記載の発明の撮像装置は、
請求項１から３のいずれか一項に記載の顔検出装置と、
前記画像を撮像する撮像部と、
前記顔検出部により顔が検出されたか否かを判別し、顔が検出された場合に、当該検出された顔のエリアの輝度情報に応じた露出制御を前記撮像部に行う自動露出制御部と、を備える。
【発明の効果】
【００１０】
本発明によれば、逆光下においても、撮像した人物の顔を適切に検出できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る実施の形態の撮像装置を備える自動販売機を示す図である。
【図２】撮像装置の機能構成を示すブロック図である。
【図３】自動露出制御処理を示すフローチャートである。
【図４】画像中の動体エリアを示す図である。
【図５】２値化処理用の注目画素及び輝度評価エリアを示す図である。
【図６】２値化処理用の別の注目画素及び輝度評価エリアを示す図である。
【図７】画像中の全エリアを示す図である。
【図８】画像中の中心エリアを示す図である。
【図９】画像中の分割エリアを示す図である。
【発明を実施するための形態】
【００１２】
添付図面を参照して本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１３】
先ず、図１を参照して、本実施の形態の撮像装置が使用される態様を説明する。図１に、本実施の形態の撮像装置２を備える自動販売機１を示す。
【００１４】
図１に示すように、本実施の形態の撮像装置２は、自動販売機１に固定して設けられている。自動販売機１は、成年の年齢確認が必要な商品としてたばこを販売する自動販売機であるものとする。成年の年齢確認が必要な商品としては、酒等であってもよい。自動販売機１は、商品の顧客である人物３を撮像装置２で撮像し、撮像した画像データを画像解析して人物３の年齢認証を行い、成年であると認証された場合に、商品を販売する。
【００１５】
自動販売機１は、屋外に設置されているものとする。このため、時間帯による太陽４の位置によっては、撮像装置２により人物３が逆光下で撮像されるおそれがあるものとする。
【００１６】
次に、図２を参照して、撮像装置２の内部構成を説明する。図２に、撮像装置２の機能構成を示す。撮像装置２は、撮像部１０と、信号処理部２０と、画像メモリ３０と、制御部４０と、を備える。
【００１７】
撮像部１０は、被写体を撮像するデジタルムービーカメラである。撮像部１０は、光学系、撮像素子、Ａ／Ｄ（Analog to Digital）変換部等を備える。光学系は、各種レンズ、絞り機構等を備える。撮像素子は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ等のイメージセンサであり、光学系により結像された被写体像の光信号をアナログの電気信号に光電変換し、アナログの画像信号（ＲＧＢデータ）として出力する。ＲＧＢデータは、赤、青、緑の成分の信号で表される画像データである。また、撮像部１０の絞り機構の絞り値、撮像素子の露出時間（シャッタスピード）、感度が調整されることにより撮像部１０の露出が調整可能であるものとする。Ａ／Ｄ変換部は、撮像素子から入力されるアナログの画像信号をデジタルの画像データに変換して出力する。撮像部１０は、動画の１フレーム毎の画像データを生成して出力する。撮像部１０の撮像スピードは、例えば、３０ｆｐｓとする。
【００１８】
信号処理部２０は、補間処理、色処理（ＲＧＢデータからＹＵＶデータへ変換する色差変換処理）、輝度信号処理（エッジ強調処理、ガンマ補正処理）等、各種信号処理の信号処理回路である。信号処理部２０は、撮像部１０から入力された画像データ（ＲＧＢデータ）に各種信号処理を施してＹＵＶデータに変換する。ＹＵＶデータは、輝度信号Ｙ、青色成分の色差信号Ｕ（Ｃｂ）、及び赤色成分の色差信号Ｖ（Ｃｒ）で表される画像データである。信号処理部２０は、変換後のＹＵＶデータを画像メモリ３０に記憶していくとともに、認証部（図示略）に出力する。認証部は、信号処理部２０から入力された画像データを画像解析し、被写体の人物の年齢認証を行う。
【００１９】
また、信号処理部２０は、測光エリア情報（測光エリアの座標情報）が制御部４０から入力されると、その座標情報をレジスタ（図示略）に記憶し、当該座標情報に対応する画像データを画像メモリ３０から読み出し、前記入力された測光エリア情報に応じて、前記読み出した画像データの画像における測光エリアの輝度情報（平均輝度値）を算出して制御部４０に出力する機能を有するものとする。
【００２０】
画像メモリ３０は、ＲＡＭ（Random Access Memory）で構成され、信号処理部２０から出力される１フレーム毎の画像データ（ＹＵＶデータ）を一時的に記憶する。
【００２１】
制御部４０は、撮像装置２の各部を制御する。制御部４０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ、ＲＯＭ（Read Only Memory）を有する。制御部４０において、ＲＯＭに記憶されたプログラムのうち、指定されたプログラムがＲＡＭに展開され、当該展開されたプログラムとＣＰＵとの協働で各種処理が実行される。ＲＯＭには、自動露出制御プログラムが記憶されているものとする。制御部４０は、自動露出制御プログラムに従い、機能部として、顔検出部４１と、自動露出制御部４２とを有する。
【００２２】
顔検出部４１は、撮像部１０により撮像された画像データの画像から動体を検出し、当該検出した動体を含む動体エリアの輝度情報に基づいて逆光の度合いを算出し、当該算出した逆光の度合いに応じた２値化処理用のオフセット値を決定し、当該決定したオフセット値に基づいて前記画像を２値化し、当該２値化された画像から被写体の人物の顔を検出する。自動露出制御部４２は、顔検出部４１により顔が検出されたか否かを判別し、顔が検出された場合に、当該検出された顔のエリアの輝度情報に応じた露出制御を撮像部１０に行う。
【００２３】
次に、図３〜図９を参照して、撮像装置２の動作を説明する。図３に、自動露出制御処理の流れを示す。図４に、画像Ｆ中の動体エリア１００を示す。図５に、２値化処理用の注目画素２０１及び輝度評価エリア２０２を示す。図６に、２値化処理用の注目画素２０１及び輝度評価エリア２０３を示す。図７に、画像Ｆ中の中心エリア３０１を示す。図８に、画像Ｆ中の全エリア３０２を示す。図９に、画像Ｆ中の分割エリア３０３を示す。
【００２４】
撮像装置２において、例えば、電源がオン入力されたことをトリガとして、制御部４０により、自動露出制御プログラムに基づく自動露出制御処理が実行される。また、電源オンをトリガとして、撮像部１０及び信号処理部２０により、被写体が撮像されて生成された各フレームの画像データ（ＹＵＶデータ）が、撮像順に、画像メモリ３０に記憶されていくとともに、認証部へ出力されていく。
【００２５】
図３に示すように、先ず、顔検出部４１により、読み出されていない最新の１フレームの画像データを含む複数の画像データが画像メモリ３０に記憶されているか否かが判別される（ステップＳ１）。読み出されていない最新の１フレームの画像データを含む複数の画像データが記憶されていない場合（ステップＳ１；ＮＯ）、ステップＳ１に移行される。
【００２６】
読み出されていない最新の１フレームの画像データを含む複数の画像データが記憶されている場合（ステップＳ１；ＹＥＳ）、顔検出部４１により、画像メモリ３０から最新の２フレーム分の画像データが読み出される（ステップＳ２）。ステップＳ２は、動体検出処理に用いる複数フレームの画像データを読み出すステップであり、３フレーム以上の画像データが読み出されることとしてもよい。
【００２７】
そして、顔検出部４１により、ステップＳ２で読み出された画像データの画像に基づいて、動体検出が行われる（ステップＳ３）。ステップＳ３では、複数のフレームの画像データにおける複数の画像間で輝度値に所定値以上の変化があるエリアが動体として検出される。ステップＳ３の動体検出は、公知の動体検出技術により行われる。動体としては、自動販売機１の顧客である人物が想定されている。人物によって背の高さが異なり、また撮像部１０のレンズ前で人物が認証用にポーズをとる際にも、画像中の同じ位置に人物（の顔）が位置しないおそれがある。このため、画像内の動体を検出することは、後述する逆光の度合いの算出や、人物の顔検出において有効である。
【００２８】
そして、顔検出部４１により、ステップＳ３で動体が検出されたか否かが判別される（ステップＳ４）。動体が検出されていない場合（ステップＳ３；ＮＯ）、ステップＳ１に移行される。動体が検出された場合（ステップＳ３；ＹＥＳ）、ステップＳ２で読み出された最新の１フレームの画像データの画像中に、ステップＳ３で検出された動体部分を囲むエリアに動体エリアが決定（設定）される（ステップＳ５）。
【００２９】
ステップＳ５では、例えば、図４に示すように、画像Ｆ中に動体Ｍが検出された場合に、動体Ｍを含む動体エリア１００が設定される。動体エリア１００には、後述する逆光の度合いの算出用の輝度評価エリア１０１，１０２，１０３を含む。輝度評価エリア１０１，１０２，１０３は、順に、動体エリア１００の左上、右上（動体Ｍが含まれないエリア）、中央下（動体Ｍが含まれるエリア）に配置されている。
【００３０】
そして、顔検出部４１により、ステップＳ５で決定された動体エリア内において、輝度情報が算出される（ステップＳ６）。具体的には、動体エリア１００の輝度評価エリア１０１，１０２，１０３それぞれの画素毎の平均輝度値が算出される。そして、ステップＳ６で算出された輝度情報から、動体Ｍが含まれない輝度評価エリア（輝度評価エリア１０１＋輝度評価エリア１０２）の平均輝度値と、動体Ｍが含まれる輝度評価エリア（輝度評価エリア１０３）の平均輝度値と、の差分値が算出される（ステップＳ７）。ステップＳ７で算出された差分値は、撮像画像中の逆光の度合いを表す値である。
【００３１】
そして、ステップＳ７で算出された差分値（逆光の度合い）に応じたオフセット値が設定される（ステップＳ８）。より具体的には、逆光の度合いが大きければ大きいほど、オフセット値が小さく設定される。オフセット値は、例えば、０〜８の９段階の値を範囲として設定されるものとする。例えば、差分値が２００を超えるような場合は、逆光の度合いが非常に大きいため、オフセット値が０に設定される。また、差分値が１３０より小さい場合は、逆光の度合いがそれほど大きくないため、オフセット値が８に設定される。通常の照明状態程度では、オフセット値が８程度に設定される。差分値が１３０〜２００の場合は、差分値が１３０〜２００を９等分し、各区分に順にオフセット値が８〜０まで割り当てられ、差分値に対応する区分のオフセット値が設定される。
【００３２】
そして、顔検出部４１により、ステップＳ８で算出されたオフセット値を用いて、ステップＳ２で読み出された最新の１フレームの画像データに２値化処理が施されて２値化データが取得される（ステップＳ９）。
【００３３】
ステップＳ９では、最新の１フレームの画像データの画像において、例えば、左上の画素が注目画素として選択される。そして、選択中の注目画素の輝度値が取得され、この注目画素に対応する輝度評価エリア内の画素の平均輝度値が算出される。輝度評価エリアは、予め設定されており、例えば、図５に示すように、注目画素２０１の周りの環状のパターンの輝度評価エリア２０２が用いられる。また、図６に示すように、注目画素２０１の上下の矩形のパターンの輝度評価エリア２０３が用いられることとしてもよい。また、輝度評価エリアの形状及び画素数は、顔検出（のための目、鼻、口の抽出）に適したものであれば、他の輝度評価エリアが用いられることとしてもよい。さらに、複数の輝度評価エリアが重ね合わされる構成としてもよい。
【００３４】
そして、算出された輝度評価エリアの平均輝度値と、取得された選択中の注目画素の輝度値と、の差分値が算出される。そして、算出された差分値について次式（１）が成立するか否かが判別される。
輝度評価エリアの平均輝度値−注目画素の輝度値＞ステップＳ８で設定されたオフセット値  …（１）
【００３５】
式（１）を満たす場合、選択中の注目画素位置に黒画素が設定される。式（１）を満たさない場合、選択中の注目画素位置に白画素が設定される。そして、注目画素が右に１画素分移動されて選択され、移動後の注目画素における黒画素又は白画素の設定がなされる。注目画素を移動する際、移動前の注目画素が最も右にある場合、１列下の最も左の画素に移動される。このようにして、注目画素の移動と、黒画素又は白画素の設定とが繰り返されて、黒画素と白画素とからなる画像データである２値化データが生成される。
【００３６】
そして、ステップＳ８で生成された２値化データを用いて顔検出処理がなされる（ステップＳ１０）。ステップＳ１０の顔検出処理は、２値化データから顔エリアの検出を行う公知の顔検出技術が用いられる。顔検出方法としては、例えば、パターンマッチングにより２値化データ中の目、鼻、口を特定し、特定した目、鼻、口を含む顔（のエリア）を検出する方法がある。
【００３７】
そして、自動露出制御部４２により、ステップＳ１０で顔が検出されたか否かが判別される（ステップＳ１１）。顔が検出された場合（ステップＳ１１；ＹＥＳ）、自動露出制御部４２により、ステップＳ１０で検出された顔のエリアの平均輝度値である顔エリアの輝度情報が算出される（ステップＳ１２）。ステップＳ１２では、例えば、ステップＳ１０において得られた顔エリアの座標情報と、画像メモリ３０に記憶されている最新の１フレームの画像データとが、信号処理部２０に送出される（なお、送出された画像データは、ステップＳ１０の処理において用いられた画像データでもよいし、撮像部１０により撮像され生成された最新の画像データを用いてもよい）。信号処理部２０により、入力された顔エリアの座標情報に応じて、顔エリアの輝度情報が算出されて自動露出制御部４２に出力される。同様に、ステップＳ６でも、顔検出部４１が、信号処理部２０に画像データの画像の動体エリア内の輝度評価エリアの輝度情報を算出させる構成となる。
【００３８】
そして、自動露出制御部４２により、ステップＳ１２で算出された顔エリアの輝度情報に応じて、撮像部１０に自動露出制御が行われ（ステップＳ１３）、ステップＳ１に移行される。より具体的には、自動露出制御部４２により、顔エリアの輝度情報に応じて、撮像部１０の絞り機構の絞り値、撮像素子の露出時間、感度が、適切な値に調整されることにより、撮像部１０が適切な露出に制御される。
【００３９】
顔が検出されていない場合（ステップＳ１１；ＮＯ）、自動露出制御部４２により、予め設定されたデフォルトの測光エリアの平均輝度値である測光エリアの輝度情報が算出され、算出された測光エリアの輝度情報に応じて、撮像部１０に自動露出制御が行われ（ステップＳ１４）、ステップＳ１に移行される。デフォルトの測光エリアは、例えば、図７に示す画像Ｆの中心に位置する中心エリア３０１、図８に示す画像Ｆの全エリア３０２、又は画像Ｆを分割した複数の分割エリア３０３中の選択されたエリアとしてもよく、他のエリアとしてもよい。また、ステップＳ１４では、例えば、自動露出制御部４２から測光エリアの座標情報及び画像データが信号処理部２０に入力される。信号処理部２０により、入力された測光エリアの座標情報に応じて、測光エリアの輝度情報が算出されて自動露出制御部４２に出力される。
【００４０】
以上、本実施の形態によれば、顔検出部４１が、撮像部１０で撮像された画像データの画像から動体を検出し、前記撮像された画像データの画像における前記検出した動体を含む動体エリア内の輝度情報に基づく逆光の度合いを算出し、当該算出した逆光の度合いに応じた２値化処理用のオフセット値を決定し、当該決定したオフセット値に基づいて、撮像された画像データの画像を２値化し、当該２値化された画像から被写体の人物の顔を検出する。このため、人物を動体エリアとして特定して逆光の度合いを適切に算出でき、逆光下においても、撮像した人物の顔を適切に検出できる。
【００４１】
また、顔検出部４１は、前記撮像された画像の動体エリア１００の動体Ｍが含まれない輝度評価エリア１０１，１０２の平均輝度値と、動体Ｍが含まれる輝度評価エリア１０３の平均輝度値と、の差分値を逆光の度合いとして算出する。このため、逆光の度合いをより正確に算出できる。
【００４２】
また、顔検出部４１は、前記撮像された画像の輝度評価エリア２０２、２０３の平均輝度値と、注目画素２０１の平均輝度値と、の差分値を算出し、当該算出した差分値と前記算出されたオフセット値とを比較し、前記差分値が当該オフセット値よりも大きい注目画素を黒画素とし、それ以外の注目画素を白画素として２値化データを生成する。このため、逆光の度合いに応じたオフセット値を用いて、逆光下においても、適切な２値化データを生成できる。
【００４３】
また、自動露出制御部４２が、顔検出部４１により顔が検出されたか否かを判別し、顔が検出された場合に、当該検出された顔のエリアの輝度情報に応じた露出制御を撮像部１０に行う。このため、逆光下においても、適切に自動露出制御できる。
【００４４】
なお、上記実施の形態における記述は、本発明に係る好適な顔検出装置及び撮像装置の一例であり、これに限定されるものではない。
【００４５】
例えば、上記実施の形態では、画像の動体エリアの輝度情報の差分値を逆光の度合いとし、当該逆光の度合いに応じて２値化のオフセット値を決定する構成としたが、これに限定されるものではない。例えば、顔検出部４１により、図４の動体エリア１００の輝度評価エリア１０１，１０２，１０３の平均輝度値がそれぞれ算出され、次式（２）且つ次式（３）を満たす否かに応じて、逆光であるか否かが判別される。
輝度評価エリア１０１の平均輝度値＞輝度評価エリア１０３の平均輝度値  …（２）
輝度評価エリア１０２の平均輝度値＞輝度評価エリア１０３の平均輝度値  …（３）
【００４６】
顔検出部４１により、逆光であると判別された場合に、２値化処理のためのオフセット値が比較的低い値（例えば、３）に設定され、逆光でないと判別された場合に、オフセット値が比較的高い値（例えば、８）に設定されるような構成としてもよい。つまり、（輝度評価エリア１０１の平均輝度値−輝度評価エリア１０３の平均輝度値）、（輝度評価エリア１０２の平均輝度値−輝度評価エリア１０３の平均輝度値）、をそれぞれ、第１の逆光の度合い、第２の逆光の度合いとし、第１の逆光の度合い及び第２の逆光の度合いがともに０より大きい場合に、オフセット値が３に設定され、それ以外の場合に、オフセット値が８に設定される。
【００４７】
また、上記実施の形態では、撮像装置２が自動販売機１に設けられる構成としたが、これに限定されるものではない。例えば、銀行、コンビニエンスストア等のＡＴＭ（Automated Teller Machine）、所定エリアへの入場者の認証装置等、他の顔検出を行う装置に撮像装置２が設けられる構成としてもよい。
【００４８】
また、上記実施の形態では、顔検出部４１、自動露出制御部４２が、信号処理部２０に画像データの画像の特定エリアの輝度情報の算出を行わせる構成としたが、これに限定されるものではない。顔検出部４１、自動露出制御部４２自体が、画像データの画像の特定エリアの輝度情報を算出する構成としてもよい。
【００４９】
また、以上の実施の形態における撮像装置２を構成する各部の細部構成及び細部動作に関して本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【００５０】
１  自動販売機
２  撮像装置
１０  撮像部
２０  信号処理部
３０  画像メモリ
４０  制御部
４１  顔検出部
４２  自動露出制御部
３  人物
４  太陽
【図１】
2010219862.tif 000003
【図２】
2010219862.tif 000004
【図３】
2010219862.tif 000005
【図４】
2010219862.tif 000006
【図５】
2010219862.tif 000007
【図６】
2010219862.tif 000008
【図７】
2010219862.tif 000009
【図８】
2010219862.tif 000010
【図９】
2010219862.tif 000011