(57)【要約】      （修正有）【課題】簡単な構成で顔認証に適した認証用顔画像撮像装置を提供する。【解決手段】認証用画像撮像装置１は、近赤外カメラ１２と、近赤外ＬＥＤ１０と、強度を変えて被写体を照射するように近赤外ＬＥＤ１０を制御すると共に、照明の強度変化に同期して被写体を撮像するように近赤外カメラ１２を制御する同期制御部１６と、近赤外カメラ１２にて撮像された画像から人の顔の画像を検出する顔検出部１８と、顔検出部１８で検出された顔の画像を複数の部分領域に分割し、各部分領域の画素値の分布を算出する画素値分布解析部２０と、照明の強度を変えて撮像された複数の画像において対応する部分領域の中から、画素値分布解析部２０にて求めた各部分領域の画素値の分布に基づいて一つの部分領域を選択する処理を、顔の画像を構成する全ての部分領域について行い、選択した部分領域を合成して認証用顔画像を合成する認証用顔画像合成部２２とを備える。【選択図】図１
2010026858.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
被写体に向けて光を照射する照明と、
強度を変えて被写体を照射するように前記照明を制御すると共に、前記照明の強度変化に同期して被写体を撮像するように前記撮像部を制御する同期制御部と、
前記撮像部にて撮像された画像から人の顔の画像を検出する顔検出部と、
前記顔検出部で検出された顔の画像を複数の部分領域に分割し、各部分領域の画素値の分布を算出する画素値分布解析部と、
照明の強度を変えて撮像された複数の画像において対応する部分領域の中から、前記画素値分布解析部にて求めた各部分領域の画素値の分布に基づいて一つの部分領域を選択する処理を、前記顔の画像を構成する全ての部分領域について行い、選択した部分領域を合成して認証用顔画像を合成する認証用顔画像合成部と、
を備えた認証用画像撮像装置。
【請求項２】
前記照明は、近赤外ＬＥＤであり、
前記撮像部は、近赤外光を感知して撮像を行うカメラである請求項１に記載の認証用画像撮像装置。
【請求項３】
前記画素値分布解析部は、前記顔の画像を横方向に分割して前記部分領域を生成する請求項１または２に記載の認証用画像撮像装置。
【請求項４】
照明の強度を変えて撮像された複数の画像からそれぞれ検出した顔の画像の向きおよび大きさを揃える正規化処理部を備える請求項１〜３のいずれかに記載の認証用画像撮像装置。
【請求項５】
前記同期制御部は、前記撮像部にて撮像した画像から人の顔が検出されたときに、前記照明と前記撮像部の同期制御を開始する請求項１〜４のいずれかに記載の認証用画像撮像装置。
【請求項６】
前記同期制御部は、前記撮像部にて撮像した画像から物体の動きを検出したときに、前記照明と前記撮像部の同期制御を開始する請求項１〜４のいずれかに記載の認証用画像撮像装置。
【請求項７】
照明が、強度を変えて被写体を照射するステップと、
撮像部が、前記照明の強度変化に同期して被写体を撮像するステップと、
撮像された画像から人の顔の画像を検出するステップと、
検出された顔の画像を複数の部分領域に分割し、各部分領域の画素値の分布を算出するステップと、
照明の強度を変えて撮像された複数の画像において対応する部分領域の中から、前記画素値分布解析部にて求めた各部分領域の画素値の分布に基づいて一つの部分領域を選択する処理を、前記顔の画像を構成する全ての部分領域について行い、選択した部分領域を合成して認証用顔画像を合成するステップと、
を備えた認証用画像撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人を監視、認証する装置に用いるための顔画像を撮像する装置に関する。
【背景技術】
【０００２】
従来から、例えば、入退室時のセキュリティを強化する等の目的で、人の顔を認証する認証装置が知られている。このような認証装置では、あらかじめ撮像して登録しておいた基準画像と、入退室時に撮像した顔画像とを比較し、一致の度合いが高い場合に入退室しようとする人を認証する。
【０００３】
実際に顔認証を実施する環境では、日光や蛍光灯等の外光の影響は無視できない。例えば、外光が入射する側の顔画像の輝度が飽和したり、外光の照射方向と反対側の顔画像に影ができる場合がある。このような環境では、適切な顔画像を取得できず、顔認証の精度が低下する場合があった。
【０００４】
従来の顔認証装置では、複数の照明装置を設置して光量調整を実施する等の工夫がなされていた。例えば、特許文献１は、最適な照明環境で写真撮影を行なうことのできる写真撮影方法を開示している。このような照明環境を用いることにより、日光や蛍光灯等の外光の影響を低減することができ、認証精度が安定した顔認証を行える顔画像を撮像できる。
【特許文献１】特開２００５−７０２２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記したような複数の照明を用いた装置では、環境に応じて適切な位置に照明を設置しなければならない上、それぞれの照明に対して光量調整を行う必要があり、手間がかかるという問題があった。
【０００６】
本発明は、上記背景に鑑み、簡単な構成で顔認証に適した顔画像を撮像できる認証用画像撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の認証用画像撮像装置は、被写体を撮像する撮像部と、被写体に向けて光を照射する照明と、強度を変えて被写体を照射するように前記照明を制御すると共に、前記照明の強度変化に同期して被写体を撮像するように前記撮像部を制御する同期制御部と、前記撮像部にて撮像された画像から人の顔の画像を検出する顔検出部と、前記顔検出部で検出された顔の画像を複数の部分領域に分割し、各部分領域の画素値の分布を算出する画素値分布解析部と、照明の強度を変えて撮像された複数の画像において対応する部分領域の中から、前記画素値分布解析部にて求めた各部分領域の画素値の分布に基づいて一つの部分領域を選択する処理を、前記顔の画像を構成する全ての部分領域について行い、選択した部分領域を合成して認証用顔画像を合成する認証用顔画像合成部とを備えた構成を有する。
【０００８】
この構成により、照明の強度を変えて撮像した複数の画像のそれぞれを部分領域に分割し、各部分領域の画素分布に基づいて、複数の顔画像において対応する部分領域の画像（以下、「部分画像」という）から、合成に用いる部分画像を選択するので、部分領域ごとに認証に適した画像を選択できる。認証に適した画像とは、例えば、輝度が飽和しておらず、かつ影のない部分画像である。このように選択した部分画像を合成することにより、外光の影響の少ない顔認証に適した認証用顔画像が得られる。
【０００９】
本発明の認証用画像撮像装置において、前記照明として、近赤外ＬＥＤを用い、前記撮像部として、近赤外光を感知して撮像を行うカメラを用いてもよい。
【００１０】
この構成により、可視光の影響を低減し、顔認証を精度良く行える画像を得られる。また、波長の長い近赤外光（８５０ｎｍ以上）を用いると人間の眼では感知しずらいため、可視光の照明と比較して、照明の強度変化による煩わしさを被写体に感じさせることがない。
【００１１】
本発明の認証用画像撮像装置において、前記画素値分布解析部は、前記顔の画像を横方向に分割して前記部分領域を生成してもよい。
【００１２】
この構成により、部分領域には、髪と肌の両方が含まれることになるので、部分領域内の画素の分布が高輝度から低輝度まで広く分布する。これにより、部分領域の画素分布に基づいて適切な画像を選択することが可能となる。
【００１３】
本発明の認証用画像撮像装置は、照明の強度を変えて撮像された複数の画像からそれぞれ検出した顔の画像の向きおよび大きさを揃える正規化処理部を備えてもよい。
【００１４】
この構成により、強度を変えて複数の画像を撮像する間に被写体が動いた場合にも、部分画像の合成により適切な認証用顔画像が得られる。
【００１５】
本発明の認証用画像撮像装置において、前記同期制御部は、前記撮像部にて撮像した画像から人の顔が検出されたときに、前記照明と前記撮像部の同期制御を開始してもよい。
【００１６】
この構成により、顔を検出したときに認証用画像の撮像が開始するので、適切なタイミングで認証用顔画像を撮像できる。
【００１７】
本発明の認証用画像撮像装置において、前記同期制御部は、前記撮像部にて撮像した画像から物体の動きを検出したときに、前記照明と前記撮像部の同期制御を開始してもよい。
【００１８】
この構成により、物体の移動を検出したときに認証用画像の撮像が開始するので、適切なタイミングで認証用顔画像を撮像できる。
【００１９】
本発明の認証用画像撮像方法は、照明が、強度を変えて被写体を照射するステップと、撮像部が、前記照明の強度変化に同期して被写体を撮像するステップと、撮像された画像から人の顔の画像を検出するステップと、検出された顔の画像を複数の部分領域に分割し、各部分領域の画素値の分布を算出するステップと、照明の強度を変えて撮像された複数の画像において対応する部分領域の中から、前記画素値分布解析部にて求めた各部分領域の画素値の分布に基づいて一つの部分領域を選択する処理を、前記顔の画像を構成する全ての部分領域について行い、選択した部分領域を合成して認証用顔画像を合成するステップと、を備えた構成を有する。
【００２０】
この構成により、本発明の認証用画像撮像装置と同様に、外光の影響の少ない顔認証に適した画像を撮像できる。また、本発明の認証用画像撮像装置の各種の構成を本発明の認証用画像撮像方法に適用することが可能である。
【発明の効果】
【００２１】
本発明は、外光の影響の少ない顔認証に適した画像を撮像できるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態の認証用画像撮像装置について、図面を用いて説明する。
図１は、本発明の実施の形態の認証用画像撮像装置１の構成を示す図である。認証用画像撮像装置１は、被写体に対して近赤外光を照射する近赤外ＬＥＤ１０と、被写体を撮像する近赤外カメラ１２と、近赤外カメラ１２にて撮像した画像信号から画像を取得する画像取得部１４と、近赤外ＬＥＤ１０と近赤外カメラ１２とを同期して制御する同期制御部１６と、画像取得部１４にて取得した画像から顔の画像を検出する顔検出部１８と、顔検出部１８にて検出された顔の画像を複数の部分領域に分割し、各部分領域について画素値の分布を解析する画素値分布解析部２０と、画素値分布解析部２０による解析結果に基づいて部分画像を合成して認証用顔画像を生成する認証用顔画像合成部２２とを有する。なお、顔の画像とは、顔が映った画像領域を意味する。
【００２３】
図２は、近赤外ＬＥＤ１０の構成を示す図である。近赤外ＬＥＤ１０は、発光強度を変化させることが可能な多数の発光素子２４を有する。なお、ここでは、各発光素子２４の発光強度を変化させることにより、近赤外ＬＥＤ１０の発光強度を変える例を示しているが、強度を変えることのできない発光素子を用いて、点灯する発光素子の数を変化させることにより、近赤外ＬＥＤ１０の全体の発光強度を変化させる構成としてもよい。この構成によれば、各発光素子２４に流す電流量を制御する必要がないので、近赤外ＬＥＤ１０のコストを低減できる。
【００２４】
図３は、近赤外ＬＥＤ１０と近赤外カメラ１２と被写体との位置関係を示す図である。近赤外ＬＥＤ１０と近赤外カメラ１２とは一体化されており、天井から懸架されている。近赤外ＬＥＤ１０は、近赤外カメラ１２による撮像範囲を照射する向きに向けられている。
【００２５】
同期制御部１６は、強度の異なる光を被写体に向けて発光するように近赤外ＬＥＤ１０を制御するとともに、その発光のタイミングに合わせて近赤外カメラ１２のシャッターを切って被写体を撮像するように近赤外カメラ１２を制御する。同期制御部１６は、微小時間間隔（たとえば、１／３０秒間隔）で被写体の撮像を行う。これにより、近赤外カメラ１２は、被写体が大きく動かない間に複数の写真を撮影し、画像取得部１４にて近赤外光の強度の異なる複数の画像を取得する。
【００２６】
なお、同期制御部１６は、常時、同期制御を行うわけではなく、所定のタイミングで同期制御を開始する。例えば、近赤外カメラ１２にて定期的（例えば１秒間隔またはそれ以下）に撮像を行い、撮像した画像から、顔検出部１８にて顔画像の検出処理を行う。顔検出部１８は、顔画像を検出した場合に、同期制御部１６に顔画像を検出したことを示す信号を送信し、同期制御部１６は、この信号を受けて同期制御を開始することとしてもよい。
【００２７】
次に、画素値分布解析部２０および認証用顔画像合成部２２の処理について説明する。画素値分布解析部２０は、顔検出部１８にて検出された顔の画像を受け取ると、顔の画像を複数の部分領域に分割する。画素値分布解析部２０は、部分領域に顔の複数の部分（髪、眉、目、鼻、口等）が含まれるように顔画像を分割する。部分領域に同質の部分（例えば、頬のみ）を含む部分領域では、画素値のダイナミックレンジが狭くなってしまい、画素値分布の解析を適切に行えなくなる可能性がある。本実施の形態では、画素値分布解析部２０は、顔画像を横方向に分割する。すなわち、複数の縦長の領域に分割することにより、各部分領域に、髪と肌の両方が含まれるようにしている。
【００２８】
画素値分布解析部２０は、部分領域に含まれる画素値分布を解析することによって、強度を変えて撮像した複数の画像に対応する部分領域の中から、外光の影響の少ない画像を選択する。具体的には、部分領域の平均の画素値が、画素値の取り得るレンジ（例えば、０〜２５５）の２０〜８０％（５１〜２０４）に含まれる部分領域を選択する。これにより、暗すぎる部分画像や、明るすぎて飽和している部分画像を認証用画像から除外することができる。また、画素値分布解析部２０は、標準偏差が最大の部分画像を選択する。これにより、ダイナミックレンジが大きい部分画像を選択することができる。
【００２９】
認証用顔画像合成部２２は、強度を変えて撮像した複数の画像から選択された部分画像を合成して、被写体の認証用顔画像を生成する。
【００３０】
図４は、本実施の形態の認証用画像撮像装置１の動作を示す図である。認証用画像撮像装置１は、近赤外カメラ１２によって撮像を行う（Ｓ１０）。続いて、認証用画像撮像装置１は、顔検出部１８にて、撮像画像から顔を検出する処理を行い、顔を検出できたか否か判定する（Ｓ１２）。顔を検出できなかった場合には（Ｓ１２でＮＯ）、認証用画像撮像装置１は、撮像の処理に戻り（Ｓ１０）、顔を検出するまで、繰り返し撮像を行う。
【００３１】
認証用画像撮像装置１は、撮像画像から顔を検出すると（Ｓ１２でＹＥＳ）、同期制御部１６にて近赤外ＬＥＤ１０および近赤外カメラ１２を同期制御し、近赤外ＬＥＤ１０にて強度を変えた近赤外光を照射しながら、近赤外カメラ１２は異なる強度の光の下で連続的に撮像を行う（Ｓ１４）。上記したとおり、撮像の時間間隔は、例えば、１／３０秒間隔で行い、ほぼ同じアングルから被写体を撮像した複数の画像を得る。
【００３２】
図５は、照明強度を変化させて連続して撮像した画像の例を示す図である。この例では、照明強度を５段階に変化させたものであり、上の方がより照明強度が強い画像である。図６は、右側から外光（例えば日光）が入射しているときに照明強度を変化させて連続して撮像した画像の例を示す図である。外光の影響がある場合は、図６に示すように、顔画像の輝度分布に偏りが生じる。
【００３３】
次に、認証用画像撮像装置１は、顔検出部１８にて、撮像された複数の画像のそれぞれから、顔を検出する処理を行い（Ｓ１６）、検出した顔画像を画素値分布解析部２０に渡す。画素値分布解析部２０は、撮像した複数の画像から検出した顔画像のそれぞれを部分領域に分割する（Ｓ１８）。続いて、画素値分布解析部２０は、部分領域毎の画素値の分布を解析し、複数の顔画像において対応する部分画像の中から、認証に適した部分画像を選択する（Ｓ２０）。具体的には、画素値の分布が高輝度あるいは低輝度に偏っておらず、かつ、画素値の分布のダイナミックレンジが広い部分画像を選択する。次に、認証用画像撮像装置１の認証用顔画像合成部２２は、選択された複数の部分画像を合成し、認証用の顔画像を合成する（Ｓ２２）。
【００３４】
図７は、認証用の顔画像の合成例を示す図である。図７で示す例では、第１の顔画像３０、第２の顔画像３６のいずれにも紙面の右側から入射した外光の影響で顔の右側が明るくなっている。認証用画像撮像装置１は、第１の顔画像３０を横方向に２分割し、部分画像３２と部分画像３４を得る。同様に、認証用画像撮像装置１は、異なる照明強度の下で撮像した第２の顔画像３６を分割し、部分画像３８と部分画像４０を得る。
【００３５】
次に、顔画像の左半分に相当する部分画像３２と部分画像３８のうちから、輝度が低輝度に偏っていない部分画像３８を選択する。また、顔画像の右半分に相当する部分画像３４と部分画像４０のうちから、輝度が高輝度に偏っていない部分画像３４を選択する。そして、部分画像３８と部分画像３４から認証用顔画像４２を合成する。以上、本発明の実施の形態の認証用画像撮像装置１の構成について説明した。
【００３６】
本実施の形態の認証用画像撮像装置１は、近赤外ＬＥＤ１０の強度を変えて撮像した複数の画像のそれぞれを部分領域に分割し、各部分領域の画素分布に基づいて認証に適した部分画像を選択して合成するので、外光の影響の少ない顔認証に適した画像が得られる。
【００３７】
また、本実施の形態の認証用画像撮像装置１は、近赤外ＬＥＤ１０および近赤外カメラ１２を用いているので、可視光の影響を低減することができる。また、人間は、近赤外光を感知しずらいので、近赤外光の強度を変化させても、煩わしく感じることがないという効果を有する。
【００３８】
以上、本発明の認証用画像撮像装置について、実施の形態を挙げて詳細に説明したが、本発明の認証用画像撮像装置は、上記した実施の形態に限定されるものではない。
【００３９】
上記した実施の形態では、照明として近赤外ＬＥＤ１０を用い、近赤外カメラ１２によって被写体を撮像する構成について説明したが、蛍光灯等の可視光の照明と、可視光を感知して撮像を行うカメラを用いてもよい。
【００４０】
上記した実施の形態では、画素値分布解析部２０は、顔画像を横方向に２分割する例について説明したが、画素値分布解析部２０は、顔画像を３つ以上に分割してもよい。また、必ずしも横方向に分割する必要はなく、例えば、斜め方向や縦方向、あるいはメッシュ状に分割してもよい。
【００４１】
上記した実施の形態では、撮像した画像から顔を検出したときに、同期制御部１６にて照度を変えて撮像を行う処理を行うこととしたが、照度を変えて撮像を行う処理を開始するためのトリガは、必ずしも顔を検出したことに限定されない。例えば、撮像した画像から、動体を検出したときに、同期制御部１６による撮像の制御を開始してもよい。なお、動体の検出処理は、例えば、撮像した画像と１回前（所定時間前）に撮像した画像とを比較し、両者に相違点があるか否かを判定することにより行ってもよいし、あらかじめ動体のない状況で撮像した基準画像と比較することにより判定してもよい。
【００４２】
また、普段は近赤外カメラ１２による撮像を行わず、被認証者からの要求が入力されたときに認証用画像の撮像処理を開始することとしてもよい。例えば、入退室管理のための認証用画像を撮像する場合等において、被認証者が、入退室時に認証を要求した際に、認証用画像を撮像して、撮像した認証用画像を用いて認証を行ってもよい。
【００４３】
上記した実施の形態において、顔検出部１８にて検出した顔画像の向きおよび大きさを揃える正規化処理部を有することとしてもよい。正規化処理部は、照度を変えて撮像した複数の画像から検出した複数の顔画像を、あらかじめ定めた基準となる大きさの正面向きの画像となるように、画像処理を行う。これにより、照度を変えて撮像している最中に、顔の向きが変わってしまったり、近赤外カメラ１２との距離が変わってしまったりした場合にも、適切な合成画像を得ることができる。
【００４４】
上記した実施の形態において、対応する部分領域の中から認証に適した部分領域を選択する方法として、平均の画素値のレンジで判定する方法、および画素値の分布の標準偏差を用いる方法を挙げたが、認証に適した部分領域を選択する方法はこれらに限定されない。例えば、画素値の分布の形状が理想環境で撮影した画像の分布に近い部分領域を選択する等の方法を採用することも可能である。
【産業上の利用可能性】
【００４５】
以上説明したように、本発明は、外光の影響の少ない顔認証に適した画像を撮像できるというすぐれた効果を有し、監視やセキュリティを目的とした認証システムに適した顔画像を撮像できる装置等として有用である。
【図面の簡単な説明】
【００４６】
【図１】実施の形態の認証用画像撮像装置の構成を示す図
【図２】近赤外ＬＥＤの構成を示す図
【図３】近赤外ＬＥＤと近赤外カメラと被写体との位置関係を示す図
【図４】実施の形態の認証用画像撮像装置の動作を示す図
【図５】照明強度を変化させて連続して撮像した画像の例を示す図
【図６】外光の影響がある場合に、照明強度を変化させて連続して撮像した画像の例を示す図
【図７】認証用の顔画像の合成例を示す図
【符号の説明】
【００４７】
１  認証用画像撮像装置
１０  近赤外ＬＥＤ
１２  近赤外カメラ
１４  画像取得部
１６  同期制御部
１８  顔検出部
２０  画素値分布解析部
２２  認証用顔画像合成部
２４  発光素子
３０，３６  撮像画像
３２，３４，３８，４０  部分画像
４２  認証用顔画像
【図１】
2010026858.tif 000003
【図２】
2010026858.tif 000004
【図３】
2010026858.tif 000005
【図４】
2010026858.tif 000006
【図５】
2010026858.tif 000007
【図６】
2010026858.tif 000008
【図７】
2010026858.tif 000009