(57)【要約】【課題】限られた時間の中でなるべく多くの顔に対して顔認証を行うことができるようにする。【解決手段】まず、被写体である人物の顔の位置から顔画像データを検出し、検出した顔画像データから顔の大きさ、顔の傾き、及び顔の明るさのうち、少なくとも１つの顔情報を検出する。次に、これらの顔情報から補正処理量の評価値を算出し、算出した評価値に低い顔画像データから顔認証を行い、タイマーが０になるまで複数の顔画像データに対して顔認証を行う。【選択図】図１
2013152643.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像データから複数の顔画像データを検出する顔検出手段と、
前記顔検出手段によって検出された顔画像データから、顔の傾き、顔の大きさ、及び明るさのうち、少なくとも１つを含む顔情報を検出する顔情報検出手段と、
前記顔情報検出手段によって前記顔情報が検出された複数の顔画像データのそれぞれについて、顔認証を行うために必要な補正の負荷を示す評価値を算出する算出手段と、
前記算出手段によって算出された評価値に応じた順序で、前記複数の顔画像データの補正及び顔認証を行う顔認証手段とを有することを特徴とする画像処理装置。
【請求項２】
前記顔認証手段は、前記補正の負荷が小さい順に顔認証を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記顔情報検出手段は、顔の大きさを含む顔情報を検出し、
前記顔認証手段は、前記顔の大きさの補正が不要である顔画像データを優先して前記補正の負荷が小さい順に顔認証を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記顔情報検出手段は、顔の大きさを含む顔情報を検出し、
前記顔認証手段は、前記顔の大きさが小さい順に顔認証を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記顔認証手段は、顔認証を開始してから所定の時間が経過するまで顔認証を行うことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
撮影画像データから複数の顔画像データを検出する顔検出工程と、
前記顔検出工程において検出された顔画像データから、顔の傾き、顔の大きさ、及び明るさのうち、少なくとも１つを含む顔情報を検出する顔情報検出工程と、
前記顔情報検出工程において前記顔情報が検出された複数の顔画像データのそれぞれについて、顔認証を行うために必要な補正の負荷を示す評価値を算出する算出工程と、
前記算出工程において算出された評価値に応じた順序で、前記複数の顔画像データの補正及び顔認証を行う顔認証工程とを有することを特徴とする画像処理方法。
【請求項７】
撮影画像データから複数の顔画像データを検出する顔検出工程と、
前記顔検出工程において検出された顔画像データから、顔の傾き、顔の大きさ、及び明るさのうち、少なくとも１つを含む顔情報を検出する顔情報検出工程と、
前記顔情報検出工程において前記顔情報が検出された複数の顔画像データのそれぞれについて、顔認証を行うために必要な補正の負荷を示す評価値を算出する算出工程と、
前記算出工程において算出された評価値に応じた順序で、前記複数の顔画像データの補正及び顔認証を行う顔認証工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、顔認証を行うために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、顔画像データから特徴点を解析し、予め登録されている登録顔画像データとのテンプレートマッチング処理を行うことにより顔認証を行う撮像装置が知られている。従来の技術としては、選択された１人の主顔とされた顔画像データについて顔認証を実行することにより、短時間での顔認証を行うことを可能とする撮像装置が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２６２３０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
顔認証を行う場合、顔認証に適した所定の顔の大きさ、明るさ及び角度に顔画像データを補正する必要がある。例えば、顔画像データにおける顔が顔認証に適した顔よりも大きすぎると、テンプレートに含まれていない多くの特徴が顔画像データから抽出されてしまい、誤認証の原因となってしまう可能性が高い。反対に、顔画像データにおける顔が顔認証に適した顔よりも小さすぎると、テンプレートと比較するために必要な特徴が抽出できず、認証に失敗する可能性が高くなる。
【０００５】
また、顔画像データにおける顔の明るさが適切でないと、例えば、所定の輝度変化量を有する箇所をエッジとして抽出する場合に、エッジの抽出に失敗する可能性が高くなる。さらに、顔の角度が適切でない（傾いている）と、テンプレートに類似した特徴を抽出できた場合であっても、その角度が異なるために、不一致と判断される可能性が高くなる。
【０００６】
従来の技術では、主顔とされた顔画像データを顔認証するための補正を行う場合に、主顔判定を行う時間と前記補正に要する時間とを考慮する必要がある。そのため、複数の顔に対して顔認証を行うと処理の負荷が多くなり過ぎることから主顔とされた顔画像のみ顔認証を行っていた。
【０００７】
本発明は前述の問題点に鑑み、限られた時間の中でなるべく多くの顔に対して顔認証を行うことができるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、撮影画像データから複数の顔画像データを検出する顔検出手段と、前記顔検出手段によって検出された顔画像データから、顔の傾き、顔の大きさ、及び明るさのうち、少なくとも１つを含む顔情報を検出する顔情報検出手段と、前記顔情報検出手段によって前記顔情報が検出された複数の顔画像データのそれぞれについて、顔認証を行うために必要な補正の負荷を示す評価値を算出する算出手段と、前記算出手段によって算出された評価値に応じた順序で、前記複数の顔画像データの補正及び顔認証を行う顔認証手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影画像から複数の顔画像データの顔認証を行うことが容易となり、従来よりも多くの顔を認証することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】第１の実施形態に係る撮像装置による顔認証の処理手順の一例を示すフローチャートである。
【図３】補正の要否及び顔認証を行う順序の一例を示す図である。
【図４】第２及び第３の実施形態に係る撮像装置による顔認証の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本実施形態に係る顔認証機能を備える撮像装置１００の構成例を示すブロック図である。本実施形態に係る撮像装置１００は、撮影レンズ１に内蔵された、フォーカスレンズ、絞り及びシャッタを制御することにより、撮像される被写体の合焦状態および露出を制御することが可能に構成されている。
【００１２】
撮像素子２は、撮影レンズ１を通過した被写体の光束を光電変換し、電気信号に変換するＣＣＤやＣＭＯＳ等である。Ａ／Ｄ変換部３は、撮像素子２から出力されたアナログの画像信号にクランプ処理、ゲイン処理等を行い、デジタル信号である画像データに変換する。
【００１３】
信号処理部４は、Ａ／Ｄ変換部３からの画像データに対して、予め定めた画素補間処理や色変換処理などの画像処理を実行する。また、信号処理部４は、撮像して得られた画像データを用いて予め定めた演算処理を実行し、得られた演算結果に基づいて自動白バランス処理等の信号処理を実行する。このように、Ａ／Ｄ変換部３によるゲイン処理、及び信号処理部４によるアナログ的またはデジタル的にゲインの可変処理を行うことによって詳細な露出制御を行う。
【００１４】
信号処理部４で信号処理された画像データは、画像メモリ５に一時的に記憶される。そして、画像メモリ５に一時的に記憶された画像データは記録再生部６に供給され、ユーザからの指示により取り外し可能な記録媒体７に記録される。また、画像データは表示制御部８に送られ、表示装置９にその画像が表示される。記録媒体７は、光デイスク記録媒体、半導体記録媒体等、各種の取り外し可能な記録媒体である。
【００１５】
システム制御部１２は、基本的に、撮像装置１００全体の動作を制御するものであって、内部にＣＰＵを備える。例えば、撮像して得られる画像データを用いて予め定めた演算処理を信号処理部４で実行し、システム制御部１２は、その演算結果に基づいて、レンズ制御部１０、及び撮像制御部１１を制御する。そして、レンズ制御部１０の制御により自動焦点制御（ＡＦ）を実行する。さらに、レンズ制御部１０により絞り及びシャッタを制御し、撮像制御部１１により撮像素子２の電子シャッタを制御し、自動露出制御（ＡＥ）を実行する。
【００１６】
システム制御部１２に接続されたＲＡＭ２１は、表示装置９に表示するための画像データを記憶してもよく、この場合には、表示制御部８に画像データを供給する。また、ＲＡＭ２１は、システム制御部１２の作業領域としても使用される。
【００１７】
画像メモリ５は、撮像して得られた静止画像データや動画像データを一時的に格納し、予め定めた枚数の静止画像データや、予め定めた時間分の動画像データを格納するのに十分に高速かつ大量の記憶容量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮像や複数枚の撮像画像データを合成するパノラマ撮像の場合にも、画像メモリ５を使用して実行することが可能となる。
【００１８】
表示装置９は、撮像して得られた画像データに係る画像を逐次表示することにより、電子ビューファインダ（以下ＥＶＦ）として使用される。また、表示装置９は、システム制御部１２によるプログラムの実行に従って任意に表示のオン／オフを切り替えることが可能に構成されている。さらに、表示装置９は、顔検出状態表示、顔認証状態表示、合焦枠表示、合焦表示、非合焦の警告の表示なども行う。
【００１９】
記録再生部６は、メモリカードやハードディスク等の取り外し可能な記録媒体７とのインタフェースである。この記録再生部６により、画像データや画像データに付属した管理情報を、記録媒体７との間で転送し合うことができる。システム制御部１２に接続されたＲＡＭ２１またはＲＯＭ２０には、このシステム制御部１２の動作用の定数、変数、プログラム、顔認証又は識別処理用の登録された人物の顔画像データの特徴情報、顔検出に必要なデータ等が記憶されている。
【００２０】
顔検出部１３は、撮像して得られた画像データに含まれる被写体から、目、口等のエッジを検出して人物の顔の特徴部分を検出する。この場合、ＲＡＭ２１またはＲＯＭ２０に記憶された、顔検出に必要なデータに基づいて検出を実行する。そして、顔が占める画像データの領域（顔位置及び顔の大きさ）、及び顔の確からしさ（顔信頼度）から、その画像領域のデータを顔画像データとして検出する。さらに、顔検出部１３は、検出された顔画像データの数と、検出された顔毎の、顔の傾き及び顔の明るさなどの顔情報をシステム制御部１２に送る。
【００２１】
顔認証部１４は、顔画像データが、ＲＡＭ２１またはＲＯＭ２０に記憶されたデータにおける人物の顔であるか否かの顔認証を行う。顔認証については、登録顔とのパターンマッチングを行う方法や、顔画像の周波数解析を行い、特徴点を登録された顔の特徴点と照合する方法などを用いることが可能である。
【００２２】
傾き補正部１５は、アフィン変換処理などを行い、顔の傾きを補正する。リサイズ処理部１６は、顔画像のリサイズを行い、明るさ補正部１７は、顔画像にガンマ補正及びデジタルゲイン処理を行う。なお、傾き補正部１５、リサイズ処理部１６及び明るさ補正部１７は、信号処理部４に内蔵する構成としてもよく、システム制御部１２によりソフト的な処理を行ってもよい。これらの詳細については後述する。
【００２３】
操作スイッチ（ＳＷ１）１８は、撮像装置１００に対して撮影前の予備動作を指示する。操作スイッチ（ＳＷ２）は、撮像装置１００に対して撮影動作を指示する。システム制御部１２は、操作スイッチ（ＳＷ１）１８がＯＮであることを検出し、ＡＦ及びＡＥを行い、操作スイッチ（ＳＷ２）１９がＯＮであることを検出すると、撮影動作を行う。
【００２４】
なお、図１に示した撮像装置１００の構成は一例であり、以下に説明する動作を実行できるのであれば、図１に示した構成に限定されるものではない。
【００２５】
次に、図２のフローチャートを参照しながら、本実施形態に係る撮像装置１００の動作について詳細に説明する。図２は、本実施形態に係る撮像装置１００による顔認証の処理手順の一例を示すフローチャートである。なお、図２に示す各処理は、システム制御部１２の制御により行われる。
【００２６】
まず、ステップＳ２０１において、撮影レンズ１、撮像素子２、Ａ／Ｄ変換部３及び信号処理部４を介して撮影画像データを取得し、取得した撮影画像データを画像メモリ５に一時的に記憶する。
【００２７】
次に、ステップＳ２０２において、ステップＳ２０１で画像メモリ５に記憶した撮影画像データに対して、顔検出部１３により顔検出処理を実行する。この顔検出部１３での顔検出処理の結果、撮影画像データに含まれる被写体から、目、口等のエッジを検出して顔の特徴部分を検出する。そして、顔情報検出手段として被写体である人物の顔の位置から顔画像データを検出し、検出した顔画像データから顔の大きさ、顔の傾き、及び顔の明るさのうち、少なくとも１つの顔情報を検出する。そして、システム制御部１２により、検出された顔毎に顔情報がＲＡＭ２１に記憶される。
【００２８】
次に、ステップＳ２０３において、システム制御部１２は、顔検出部１３で検出された顔画像データのそれぞれについて、補正処理量の評価値Ｋを算出する。ここで、顔の大きさ補正を行うリサイズ処理の負荷量を「Ｌｏａｄ＿Ｓ」、顔の傾き補正を行う処理の負荷量を「Ｌｏａｄ＿Ｒ」、顔の明るさ補正を行う処理負荷量を「Ｌｏａｄ＿Ｃ」とすると、検出された顔の評価値Ｋは以下の式（１）により算出される。
Ｋ＝Ｓ×Ｌｏａｄ＿Ｓ＋Ｒ×Ｌｏａｄ＿Ｒ＋Ｃ×Ｌｏａｄ＿Ｃ    ・・・（１）
【００２９】
式中の定数Ｓ、Ｒ、Ｃについては、例えば、顔の大きさ補正を要する場合にＳ＝１、不要の場合にＳ＝０、顔の傾き補正を要する場合にＲ＝１、不要の場合にＲ＝０、顔の明るさ補正を要する場合にＣ＝１、不要の場合にＣ＝０とする。それぞれの負荷量は、顔検出部１３で検出された顔画像データと登録顔のサイズ、傾き、または、明るさの差分に応じて決定されるものであり、それぞれの差分に応じた処理負荷量は事前に求められ、ＲＯＭ２０に記憶されているものとする。
【００３０】
具体例として、４つの顔が検出された場合について説明する。図３（ａ）は、システム制御部１２が必要と判断した補正処理の例を示す図である。ここで、Ｌｏａｄ＿Ｓ＝１．０、Ｌｏａｄ＿Ｒ＝１．１、Ｌｏａｄ＿Ｃ＝０．８である場合、顔Ａ〜顔Ｄの評価値ＫA〜ＫDはそれぞれ、ＫA＝１．９、ＫB＝０、ＫC＝１．８、ＫD＝２．９となる。
【００３１】
次に、ステップＳ２０４において、システム制御部１２により、顔判別で算出された評価値Ｋの小さい順に、顔認証を行う顔の順序を決定する。図３（ａ）に示した例の場合は、図３（ｂ）に示すように、顔認証を行う順序として、顔Ｂ、顔Ｃ、顔Ａ、顔Ｄの順に決定する。
【００３２】
次に、ステップＳ２０５において、画像メモリ５に記録された撮影画像データに含まれる顔が、予めＲＯＭ２０またはＲＡＭ２１に記録された登録顔と同一であるか否かを認証する。顔Ｂに関しては、登録された顔の大きさ、顔の角度、顔の明るさに合わせる処理がいずれも不要であるため、そのまま顔認証部１４にて顔認証処理を行う。一方、顔Ｄの顔認証を行う場合は、明るさ補正部１７、リサイズ処理部１６及び傾き補正部１５により顔の補正処理を実行した後に顔認証部１４にて顔認証処理を行う。
【００３３】
次に、ステップＳ２０６において、顔認証を開始してから所定の時間が経過してタイマーが０になったか否かを判定する。この判定の結果、タイマーが０となった場合は、処理を終了する。一方、タイマーが０になっていない場合は、ステップＳ２０７において、顔認証を行う顔画像がまだ残っているか否かを判定する。この判定の結果、顔認証を行う顔が残っている場合はＳ２０５に戻って次の顔の顔認証を行い、顔認証を行う顔が残っていない場合は処理を終了する。
【００３４】
以上のように本実施形態によれば、顔画像データにおける評価値の小さいものから順に顔認証を行うようにしたので、処理の負荷が小さい顔から顔認証を行うことができる。これにより、撮影画像に複数の顔が含まれているような場合でも、限られた時間の中では従来よりも多くの顔を認証することができる。また、時間が限られていない場合であっても、従来よりも早い段階で多くの顔認証を行うことができるため、初めの数人に対する顔認証に時間が掛かってしまう場合に比べて、ユーザが顔認証の処理を待つことで感じるストレスを軽減させることが可能となる。
【００３５】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。なお、本実施形態に係る撮像装置の構成については図１と同様であるため、説明は省略する。
【００３６】
図４（ａ）は、本実施形態における顔認証の処理手順の一例を示すフローチャートである。なお、図４（ａ）に示す各処理は、システム制御部１２の制御により行われる。
ステップＳ４０１及びＳ４０２はそれぞれ、図２のステップＳ２０１、Ｓ２０２と同様である。そして、ステップＳ４０３において、システム制御部１２は、顔のリサイズ処理を行うか否かを判定する。この処理では、画像メモリ５に記録された撮影画像データに含まれる顔が顔認証に可能な顔サイズである場合は、顔のリサイズ処理を不要と判定する。
【００３７】
次に、ステップＳ４０４において、図２のステップＳ２０３と同様の手順により顔判別を行う。ただし、ステップＳ４０４では、それぞれの顔画像データの評価値を算出するが、リサイズ処理についての評価値は、Ｓ４０３の判定結果をそのまま用いてもよい。
【００３８】
次に、ステップＳ４０５において、システム制御部１２により、顔判別で算出された評価値Ｋから顔認証を行う顔の順序を決定する。顔認証を行う順序の決定方法については基本的には第１の実施形態と同様であるが、ステップＳ４０５では、リサイズ処理の不要な顔画像を優先するようにする。図３（ａ）に示した例の場合は、図３（ｃ）に示すように、リサイズ処理の不要な顔を優先するよう、顔Ｂ、顔Ａ、顔Ｃ、顔Ｄの順序に決定する。ステップＳ４０６〜Ｓ４０８はそれぞれ、図２のステップＳ２０５〜Ｓ２０７と同様である。
【００３９】
以上のように本実施形態によれば、顔のリサイズ処理を不要とするものを優先して顔認証を行う順序を決定するようにしたので、処理の負荷が小さい顔から顔認証を行うことができる。これにより、撮影画像に複数の顔が含まれているような場合でも、従来よりも多くの顔を認証することができる。
【００４０】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。なお、本実施形態に係る撮像装置の構成については図１と同様であるため、説明は省略する。
【００４１】
図４（ｂ）は、本実施形態における顔認証の処理手順の一例を示すフローチャートである。なお、図４（ｂ）に示す各処理は、システム制御部１２の制御により行われる。また、第２の実施形態で説明した図４（ａ）と同じ番号の処理については説明を省略する。
ステップＳ４１１においては、システム制御部１２は、顔の大きさを判別し、例えば顔の小さいものから順に顔認証処理を行うよう重み付けを行う。
【００４２】
次に、ステップＳ４１２において、顔判別を行い、それぞれの顔画像データの評価値を算出する。ただし、ステップＳ４１２では、顔の小さいものから順に重み付けを行っているため、顔の大きさ補正を行うリサイズ処理を除いた評価値を算出してもよい。そして、ステップＳ４１３において、顔認証を行う顔の順序を決定する。元の顔画像が小さいものは画像メモリ５に記録されている情報量が少ないため、読み出しに要する時間が短い。そこで本実施形態では、顔認証を行う順序を決定する際には、顔の小さい順とし、顔のサイズが同じ場合にはステップＳ４１２で算出した評価値によって順序を決定する。
【００４３】
以上のように本実施形態によれば、顔が小さいものから顔認証を行うようにしたので、読み出しに要する時間が短いものから顔認証を行うことができ、より多くの顔に対して顔認証を行うことができる。
【００４４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４５】
１２  システム制御部
１３  顔検出部
１４  顔認証部
１５  傾き補正部
１６  リサイズ処理部
１７  明るさ補正部
【図１】
2013152643.tif 000003
【図２】
2013152643.tif 000004
【図３】
2013152643.tif 000005
【図４】
2013152643.tif 000006