(57)【要約】【課題】顔画像による個人認証に用いるのに適した顔画像を撮像することができる撮像装置、およびこの撮像装置を適用し、認証精度を向上させた顔画像認証システムを提供する。【解決手段】撮像装置１は、撮像部１２で撮像している認識対象者の第１の画像を処理し、この認識対象者の白目部分の輝度を検知する。そして、検知した輝度を用いて、認識対象者の白目部分の輝度が予め設定されている輝度値になる露出を最適露出として推定する。さらに、ここで推定した最適露出で、認証対象者の顔認証に用いる顔画像を撮像する。【選択図】図１
2008139973.tif 000002
【特許請求の範囲】
【請求項１】
認証対象者の顔画像を撮像する撮像装置と、
前記撮像装置で撮像された認証対象者の顔画像を用いて、当該認証対象者が登録者であるかどうかの認証を行う認証装置と、を有する顔画像認証システムにおいて、
前記撮像装置は、
固体撮像素子を用いて、撮像領域内に位置する認証対象者の顔を撮像する撮像手段と、
前記撮像手段において撮像されている、認証対象者の顔画像を第１の画像として取り込む画像取込手段と、
前記画像取込手段が取り込んだ前記第１の画像における、認証対象者の白目部分を検出する白目部分検出手段と、
前記白目部分検出手段が検出した認証対象者の白目部分の輝度を検出する輝度検出手段と、
前記撮像手段が撮像する第２の画像を撮像画像として取り込むときに、前記輝度検出手段が検出した輝度を用いて、白目部分の最大輝度が予め定めた最適輝度値になる露出またはフラッシュの発光量の一方を推定した推定結果に基づいて、露出またはフラッシュの発光量の一方を調整する調整手段と、
前記調整手段により露出またはフラッシュの発光量の一方を調整して取り込まれた第２の画像を前記認証装置へ出力する撮像画像出力手段と、を備えた、
顔画像認証システム。
【請求項２】
固体撮像素子を用いて、撮像領域内に位置する撮像対象者の顔を撮像する撮像手段を備えた撮像装置において、
前記撮像手段において撮像されている、撮像対象者の顔画像を第１の画像として取り込む画像取込手段と、
前記画像取込手段が取り込んだ前記第１の画像における、撮像対象者の白目部分を検出する白目部分検出手段と、
前記白目部分検出手段が検出した撮像対象者の白目部分の輝度を検出する輝度検出手段と、
前記撮像手段が撮像する第２の画像を撮像画像として取り込むときに、前記輝度検出手段が検出した輝度に基づいて、露出またはフラッシュの発光量の一方を調整する調整手段と、を備えた撮像装置。
【請求項３】
前記調整手段は、白目部分の最大輝度が予め定めた最適輝度値になる露出またはフラッシュの発光量の一方を推定した推定結果に基づいて、露出またはフラッシュの発光量の一方を調整する手段である請求項２に記載の撮像装置。
【請求項４】
前記調整手段により露出またはフラッシュの発光量の一方を調整して取り込まれた前記第２の画像を出力する撮像画像出力手段を備えた請求項２または３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、認証対象者の顔画像を用いて、当該認証対象者が登録者であるかどうかの認証を行う顔画像認証システム、および撮像装置に関する。
【背景技術】
【０００２】
従来、顔、虹彩、指紋、声紋等の生体情報を用いて個人を認証する個人認証システムがあった。例えば、撮像装置で撮像した認証対象者の虹彩の撮像画像を処理し、撮像対象者が登録者であるかどうかを認証する装置がある（特許文献１、２参照）。特許文献１では、撮像装置において、認証対象者の瞳孔が開きすぎておらず、認証に用いるのに適した撮像画像を得るための構成として、認証対象者の虹彩を撮像するときの赤外線または可視光線の発光量（フラッシュの発光量）を、撮像装置周辺の明るさや、認証対象者の白目の明るさに基づいて調整することが提案されている。また、特許文献２では、黒目と白目の境界エッジから、フラッシュの発光量と、撮像装置のゲインを調整することで、認証に用いるの適した撮像画像を得ることが提案されている。
【０００３】
また、人物の目領域にフォーカスを合せ、撮像する撮像装置も提案されている（特許文献３参照）。
【特許文献１】特開２００４−２６１５１５号公報
【特許文献２】特開２００５−３２７１６１号公報
【特許文献３】特開２００２−    ６２０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１、２で提案されているように、認証対象者の瞳孔が開きすぎないように赤外線または可視光線の発光量を調整する撮像方法は、認証対象者の顔画像を用いて認証する顔画像認証システムに用いても、認証に用いるのに適した撮像画像を得ることができないという問題があった。具体的に言うと、特許文献１、２では、認証対象者の瞳孔が開きすぎないように、赤外線または可視光線の発光量を調整する制御であるため、この制御で認証対象者の顔を撮像したときに得られる撮像画像においては、認証対象者の顔画像の輝度が全体的に低くなり、黒つぶれが生じることがあった。また、このような撮像画像を用いて顔認証を行うと、認証精度を低下させてしまうという問題があった。
【０００５】
この発明の目的は、顔画像による個人認証に用いるのに適した最適輝度の顔画像を撮像することができる撮像装置、およびこの撮像装置を適用し、認証精度を向上させた顔画像認証システムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明の撮像装置は、上記課題を解決するために以下の構成を備えている。
【０００７】
（１）固体撮像素子を用いて、撮像領域内に位置する撮像対象者の顔を撮像する撮像手段を備えた撮像装置において、
前記撮像手段において撮像されている、撮像対象者の顔画像を第１の画像として取り込む画像取込手段と、
前記画像取込手段が取り込んだ前記第１の画像における、撮像対象者の白目部分を検出する白目部分検出手段と、
前記白目部分検出手段が検出した撮像対象者の白目部分の輝度を検出する輝度検出手段と、
前記撮像手段が撮像する第２の画像を撮像画像として取り込むときに、前記輝度検出手段が検出した輝度に基づいて、露出またはフラッシュの発光量の一方を調整する調整手段と、を備えている。
【０００８】
この構成では、撮像対象者である撮像対象者の顔画像を取り込む前に、白目部分検出手段が、撮像手段で撮像している撮像対象者の第１の画像を処理し、この第１の画像における撮像対象者の白目部分を検出する。また、輝度検出手段が、検出された白目部分の輝度を検出する。人間の顔において、最も白い部分が白目であり、また、白目の白さの度合いは、個人的ばらつきが小さいと言われている。すなわち、輝度検出手段により、白目の輝度を検出することで、撮像領域周辺の明るさを判断することができる。
【０００９】
そして、撮像手段が撮像する第２の画像を撮像画像として取り込むときに、前記輝度検出手段が検出した輝度に基づいて、調整手段が露出またはフラッシュの発光量の一方を調整する。露出の調整とは、シャッタスピードや絞り等の調整である。これにより、撮像領域周辺の明るさの変化に殆ど影響されることなく、撮像対象者の顔画像を撮像することができ、その結果、白トビや黒つぶれの無い画像を得ることができる。
【００１０】
また、撮像対象者が、顔画像による個人認証を行う認証対象者であれば、顔画像による個人認証に用いるのに適した顔画像の撮像が行える。
【００１１】
（２）前記調整手段は、白目部分の最大輝度が予め定めた最適輝度値になる露出またはフラッシュの発光量の一方を推定した推定結果に基づいて、露出またはフラッシュの発光量の一方を調整する手段である。
【００１２】
この構成では、肌の色や瞳の色、髪の色に影響されることなく、白トビや黒つぶれのない画像を略確実に得ることができる。
【００１３】
（３）前記調整手段により露出またはフラッシュの発光量の一方を調整して取り込まれた前記第２の画像を出力する撮像画像出力手段を備えている。
【００１４】
この構成では、認証装置において、撮像装置から出力された撮像対象者の顔画像を用いた認証が行える。これにより、認証装置における、認証精度の向上が図れる。
【発明の効果】
【００１５】
この発明によれば、撮像領域周辺の明るさの変化にともなう輝度の変化を抑えた撮像画像、すなわち撮像対象者の顔画像、を得ることができる。
【００１６】
また、肌の色や瞳の色、髪の色に影響されることなく、白トビや黒つぶれのない撮像画像を得ることができる。
【００１７】
さらに、認証装置における、顔認証の認証精度の向上が図れる。
【発明を実施するための最良の形態】
【００１８】
以下、この発明の実施形態である顔画像認証システムの実施形態について説明する。
【００１９】
図１は、この発明の実施形態にかかる顔画像認証システムの構成を示す図である。この実施形態の顔画像認証システムは、認証対象者の顔画像を撮像する撮像装置１と、撮像装置１で撮像された認証対象者の顔画像を用いて、認証対象者が登録者であるかどうかを認証する認証装置２と、を備えている。
【００２０】
図２は、この実施形態の顔画像認証システムの撮像装置の主要部の構成を示す図である。撮像装置１は、装置本体の動作を制御する制御部１１と、撮像領域内に位置する認証対象者を撮像する撮像部１２と、撮像部１２で撮像された第１の画像を処理する画像処理部１３と、撮像部１２で撮像された第２の画像を出力する出力部１４と、撮像部１２で撮像される第１の画像や第２の画像の焦点を合せるオートフォーカス部１５（以下、ＡＦ部１５と言う。）と、撮像部１２で撮像される第１の画像や第２の画像について露出を調整する露出調整部１６と、を備えている。図示していないが、制御部１１は、各部に接続されている。撮像部１２は、ＣＣＤ等の固体撮像素子を有し、この固体撮像素子上に投影された画像を第１の画像または第２の画像として画像処理部１３に入力する。画像処理部１３は、撮像部１２から入力された第１の画像を処理し、この第１の画像における認証対象者の顔検出、認証対象者の目検出、認証対象者の白目部分検出、白目部分の輝度検出を、この順番に行う。出力部１４は、撮像部１２が撮像した第２の画像を認証装置２へ出力する。ここで言う第１の画像とは、認証対象者が登録者であるかどうかの認証に用いない画像を意味し、第２の画像とは認証対象者が登録者であるかどうかの認証に用いる画像、すなわち出力部１４から認証装置２へ出力する画像、を意味している。ＡＦ部１５は、撮像部１２で撮像される認証対象者の顔に焦点が合うように、撮像部１２に設けられている撮像レンズ（不図示）の位置を調整する。露出調整部１６は、撮像部１２で認証対象者を撮像するときのシャッタスピードや絞り等を調整する。
【００２１】
図３は、この実施形態の顔画像認証システムの認証装置の主要部の構成を示す図である。認証装置２は、装置本体の動作を制御する制御部２１と、撮像装置１から第２の画像が入力される画像入力部２２と、登録者毎に顔部品の特徴量データを対応づけて登録した登録者データベース２３（以下、登録者ＤＢ２３と言う。）と、画像入力部２２に入力された認証対象者の顔画像（第２の画像）と、登録者ＤＢ２３に登録されている登録者の顔部品の特徴量データとを用いて、認証対象者が登録者であるかどうかを判別する照合を行う照合部２４と、照合部２４における認証結果を出力する出力部２５と、を備えている。画像入力部２２は、撮像装置１と有線で接続し第２の画像の入力を受け付ける構成であってもよいし、また無線通信部を設け、撮像装置１との無線通信で第２の画像の入力を受け付ける構成であってもよい。顔の特徴量とは、目、鼻、口、輪郭等の顔部品の特徴的な形状である。登録者ＤＢ２３には、登録者毎に、その登録者の顔部品の特徴量を示す特徴量データを対応づけて記憶している。照合部２４は、画像入力部２２に入力された第２の画像を処理し、撮像されている認証対象者の顔画像から顔部品の特徴量を抽出する。そして、抽出した認証対象者の顔部品の特徴量と、登録者ＤＢ２３に登録されている登録者の顔部品の特徴量と、を照合して、認証対象者が登録者であるかどうかを判別する。出力部２５は、照合部２４における認証結果を出力する。この認証結果は、出力部２５に接続されている装置に入力される。例えば、認証結果を、部屋のドアに取り付けられた電子錠を開閉する装置や、取引を処理する取引処理装置に入力する。
【００２２】
次に、この実施形態にかかる顔画像認証システムの動作について説明する。図４は、この実施形態の顔画像認証システムの撮像装置の動作を示すフローチャートである。撮像装置１は、撮像部１２の撮像領域内に認証対象者が位置していることを検知すると、図４に示す処理を実行する。撮像部１２の撮像領域内に認証対象者が位置しているかどうかの検知は、人の存在有無を検知する人検知センサを用いた構成であってもよいし、撮像部１２における第１の画像を一定時間毎に処理して撮像部１２の撮像領域内に認証対象者が位置しているかどうかを検知する構成であってもよいし、さらには認証対象者によるスイッチ操作により認証対象者を検知する構成であってもよい。
【００２３】
撮像装置１は、撮像領域内に認証対象者が位置していることを検知すると、撮像部１２で撮像している第１の画像の焦点を、この認証対象者の顔に合わせるオートフォーカス処理（ＡＦ処理）を行う（ｓ１）。ｓ１にかかる処理は、ＡＦ部１５が撮像部１２に設けられている撮像レンズを移動し、撮像部１２で撮像されている第１の画像の焦点を認証対象者の顔に合わせる処理である。このＡＦ処理については、公知であるので、ここでは説明を省略する。撮像装置１は、ｓ１にかかるＡＦ処理が完了すると、画像処理部１３が、この時点における第１の画像を取り込む（ｓ２）。また、ＡＦ処理用のＡＦ測距画像を第１の画像として取り込んでもよい。このｓ２で取り込む第１の画像は、認証処理に用いる画像ではない。ｓ２で第１の画像を画像処理部１３に取り込むときの、シャッタスピード、絞り等の露出は、予め設定されている値で行ってもよいし、取り込む直前の第１の画像の輝度から算出した値で行ってもよい。
【００２４】
撮像装置１は、画像処理部１３において、ｓ２で取り込んだ第１の画像を処理し、この第１の画像における認証対象者の顔画像の位置を検知する（ｓ３）。ｓ３で顔の位置を検知すると、目の位置を検知し（ｓ４）、さらに白目部分の位置を検知する（ｓ５）。このように、撮像装置１は検知した認証対象者の顔の位置から目の位置を検知し、さらにここで検知した目の位置から白目部分の位置を検知する構成であるので、白目部分の検知が適正に行える。撮像装置は、ｓ５で白目部分の位置を検知すると、ｓ２で取り込んだ第１の画像における、認証対象者の白目部分の輝度を検知する（ｓ６）。人間の顔において、最も白い部分が白目であり、また、白目の白さの度合いは、個人的ばらつきが小さいと言われている。したがって、白目部分の輝度を検出することにより、撮像部１２の撮像領域周辺の明るさを判断することができる。
【００２５】
撮像装置１は、ｓ６で検出した白目部分の輝度から、認証対象者の認証に用いる第２の画像を取り込むときの、最適露出（シャッタスピードや絞り等）を推定する（ｓ７）。ｓ７では、ｓ２で第１の画像を取り込んだときの露出、およびｓ６で検出した第１の画像における認識対象者の白目部分の輝度のピーク値を用いて、この認証対象者の白目部分の輝度のピーク値が、予め定めた値になる露出を最適露出として推定する。このとき、シャッタスピード、または絞りの一方を固定値とし、他方について最適露出になる値を算出してもよいし、シャッタスピード、および絞りの両方について最適露出になる値を算出してもよい。そして、撮像部１２が、ｓ７で推定した最適露出で、認証対象者の顔画像を撮像する（ｓ８）。ｓ８で撮像した認証対象者の顔画像が、認証対象者の顔認証に用いる第２の画像である。ｓ８では、露出調整部１６が、ｓ７で推定した最適露出に基づいてシャッタスピードや絞り等を調整している。撮像装置１は、ｓ８で撮像した認証対象者の顔画像を、出力部１４から認証装置２へ出力し（ｓ９）、本処理を終了する。
【００２６】
このように、撮像装置１は、ｓ２で取り込んだ認証対象者の第１の画像における白目部分の輝度を用いて、認証対象者の認証に用いる第２の画像を取り込むときの露出を推定し、ここで推定した露出で認証対象者の認証に用いる第２の画像を取り込む（撮像する）。すなわち、撮像装置１は、撮像部１２の撮像領域周辺の明るさに応じて露出を調整し、認証対象者の認証に用いる第２の画像を撮像することができる。したがって、撮像装置１は、撮像部１２の撮像領域周辺の明るさの変化に殆ど影響されることなく、また、肌の色や瞳の色、髪の色に影響されることなく、白トビや黒つぶれの無い、認証対象者の顔画像を得ることができる。すなわち、撮像装置１は、顔認証に用いるのに適した、認証対象者の顔画像を撮像することができる。
【００２７】
図５は、この実施形態の顔画像認証システムの認証装置の動作を示すフローチャートである。認証装置２は、撮像装置１が出力した認証対象者の顔画像が画像入力部２２に入力されると、この図５に示す処理を実行する。認証装置２は、照合部２４において、画像入力部２２に入力された認証対象者の顔画像を処理し、この認識対象者の顔部品の特徴量を抽出する（ｓ１１）。認証装置２は、ｓ１１で抽出した認証対象者の顔部品の特徴量を、登録者データベース２３に登録されている各登録者の顔部品の特徴量データと照合し、その類似度から認証対象者が登録者であるかどうかを判別する認証処理を行う（ｓ１２）。認証装置２は、ｓ１２の認証結果を出力部２５から出力し（ｓ１３）、本処理を終了する。
【００２８】
上述したように、撮像装置１において、個人認証に用いるのに適した顔画像の撮像が行えることから、この実施形態の顔画像認証システムでは、認証装置２における認証精度を十分に確保することができる。
【００２９】
なお、認証装置２がｓ２３で出力した認証結果は、出力部２５に接続されている、部屋のドアに取り付けられた電子錠を開閉する装置や、取引を処理する取引処理装置等に入力される。そして、認証結果が入力された装置が、入力された認証結果に応じた処理、例えば電子錠の開閉や、取引処理、を行う。
【００３０】
次に、この発明の別の実施形態にかかる顔画像認証システムについて説明する。この別の実施形態にかかる顔画像認証システムも図１に示す構成である。上述の実施形態と異なる点は、図６に示すように、撮像装置１が、認証対象者に対してフラッシュ光を照射する照射部１７を備えている点であり、認証装置２については図３に示す構成である。照射部１７は、認証対象者に対して照射するフラッシュ光の光量を調整する光量調整機能を有している。以下、この別の実施形態にかかる顔画像認証システムの動作について説明する。
【００３１】
図７は、この別の実施形態にかかる撮像装置の動作を示すフローチャートである。図７では、図４に示したステップと同じ処理については、同じステップ番号（ｓ＊）を付している。また、この別の実施形態の認証装置２は、上述の実施形態の認証装置２と同様に、図５に示した処理を実行する。
【００３２】
この別の実施形態にかかる撮像装置１は、撮像部１２の撮像領域内に認証対象者が位置していることを検知すると、図７に示す処理を実行する。撮像部１２の撮像領域内に認証対象者が位置しているかどうかの検知は、上述した実施形態と同様である。撮像装置１は、撮像領域内に認証対象者が位置していることを検知すると、撮像部１２で撮像している第１の画像の焦点を、この認証対象者の顔に合わせるオートフォーカス処理（ＡＦ処理）を行う（ｓ１）。撮像装置１は、ｓ１にかかるＡＦ処理が完了すると、周辺輝度からフラッシュの発光、非発光を判断し、非発光の場合は前述した実施形態と同様に作動し、発光の場合は、ＡＦ測距用取り込み画像などから、周辺輝度に応じた光量で照射部１７にプリ発光を行わせ（ｓ２１）、プリ発光時における第１の画像を取り込む（ｓ２）。また、ｓ２で第１の画像を画像処理部１３に取り込むときの、シャッタスピード、絞り等は予め設定されている値で行う。
【００３３】
撮像装置１は、画像処理部１３において、ｓ２で取り込んだ第１の画像について、上述の実施形態で説明した、ｓ３〜ｓ６にかかる処理を行い、認証対象者の白目部分の輝度を検知する。撮像装置１は、ｓ６で検出した白目部分の輝度から、認証対象者の認証に用いる第２の画像を取り込むときに、認証対象者に照射するフラッシュ光の最適光量を推定する（ｓ２２）。ｓ２２では、認証対象者の認証に用いる第２の画像において、この認証対象者の白目部分の輝度のピーク値が、予め定めた値になるフラッシュ光の光量を、最適光量として推定する。撮像装置１は、プリ発光時の光量、およびｓ６で検出した第１の画像における認識対象者の白目部分の輝度のピーク値を用いて、最適光量を推定する。そして、撮像装置１は、照射部１７をｓ２２で推定した最適光量で発光させ（ｓ２３）、撮像部１２において認証対象者の顔画像を撮像する（ｓ２４）。ｓ２４で撮像した認証対象者の顔画像が、認証対象者の顔認証に用いる第２の画像である。ｓ２４で証対象者の顔画像を取り込むときの露出は、ｓ２と同じ条件である。すなわち、ｓ２と、ｓ２４とでは、シャッタスピードや絞り等を同じにしている。撮像装置１は、ｓ２４で撮像した認証対象者の顔画像を、出力部１４から認証装置２へ出力し（ｓ９）、本処理を終了する。
【００３４】
このように、この別の実施形態にかかる撮像装置１は、第１の画像における認証対象者の白目部分の輝度を用いて、認証対象者の認証に用いる第２の画像を取り込むときのフラッシュの発光量を推定し、ここで推定した発光量でフラッシュを発光させて、認証対象者の顔認証に用いる第２の画像を取り込む（撮像する）。すなわち、撮像装置１は、撮像部１２の撮像領域周辺の明るさに応じてフラッシュの発光量を調整し、認証対象者の顔認証に用いる第２の画像を撮像している。したがって、この別の実施形態にかかる撮像装置１も、撮像部１２の撮像領域周辺の明るさの変化に殆ど影響されることなく、また、肌の色や瞳の色、髪の色に影響されることなく、白トビや黒つぶれの無い、認証対象者の顔画像を得ることができる。すなわち、撮像装置１は、顔認証に用いるのに適した、認証対象者の顔画像を撮像することができる。
【００３５】
また、これにより、この別の実施形態にかかる顔画像認証システムも、認証装置２における認証精度を十分に確保することができる。
【００３６】
なお、上述の実施形態では、絞り調整、フラッシュの光量調整を個別に行う場合について説明したが、絞り調整、およびフラッシュの光量調整を組み合わせて、認証対象者の認証に用いる顔画像の輝度を略一定に保つ構成としてもよい。
【００３７】
また、この発明にかかる撮像装置１は、顔画像認証システムにのみ適用可能なわけではなく、撮像装置単体であっても、肌の色や瞳の色、髪の色に影響されることなく、白トビや黒つぶれの無い適正な画像を得ることができる。
【図面の簡単な説明】
【００３８】
【図１】この発明の実施形態にかかる顔画像認証システムの構成を示す図である。
【図２】この実施形態の顔画像認証システムの撮像装置の主要部の構成を示す図である。
【図３】この実施形態の顔画像認証システムの認証装置の主要部の構成を示す図である。
【図４】この実施形態の顔画像認証システムの撮像装置の動作を示すフローチャートである。
【図５】この実施形態の顔画像認証システムの認証装置の動作を示すフローチャートである。
【図６】この実施形態の顔画像認証システムの撮像装置の主要部の構成を示す図である。
【図７】別の実施形態の顔画像認証システムの撮像装置の動作を示すフローチャートである。
【符号の説明】
【００３９】
１−撮像装置
２−認証装置
１１−制御部
１２−撮像部
１３−画像処理部
１４−出力部
１５−オートフォーカス部（ＡＦ部）
１６−露出調整部
１７−照射部
２１−制御部
２２−画像入力部
２３−登録者データベース
２４−照合部
２５−出力部
【図１】
2008139973.tif 000003
【図２】
2008139973.tif 000004
【図３】
2008139973.tif 000005
【図４】
2008139973.tif 000006
【図５】
2008139973.tif 000007
【図６】
2008139973.tif 000008
【図７】
2008139973.tif 000009