(57)【要約】【課題】認証時のなりすましを精度良く検出する。【解決手段】対象人物を撮像した撮像画像を取得し、撮像画像の入力画像において対象人物の顔を検出する顔認識部２１と、入力画像において直線状の枠を検出する枠検出部２２と、顔の検出により取得した顔位置情報と、枠の検出により取得した枠位置情報とを用いて、対象人物の顔を囲む枠が存在するかどうかを判定する配置判定部２３と、枠の配置判定結果に基づき、対象人物の顔情報の認証結果の有効性を判定する有効判定部２５と、を備える。【選択図】図２
2018169943.tif 000002
【特許請求の範囲】
【請求項１】
対象人物を撮像した撮像画像を取得し、前記撮像画像の入力画像において前記対象人物の顔を検出する顔検出部と、
前記入力画像において直線状の枠を検出する枠検出部と、
前記顔の検出により取得した顔位置情報と、前記枠の検出により取得した枠位置情報とを用いて、前記対象人物の顔を囲む枠が存在するかどうかを判定する配置判定部と、
前記枠の配置判定結果に基づき、前記対象人物の顔情報の認証結果の有効性を判定する認証判定部と、
を備える顔認証処理装置。
【請求項２】
請求項１に記載の顔認証処理装置であって、
前記対象人物の撮像画像の顔情報と登録された顔情報とを照合する顔照合部を備え、
前記認証判定部は、前記顔情報の顔照合結果と、前記枠の配置判定結果とに基づき、前記対象人物の顔情報の認証結果の有効性を判定する、
顔認証処理装置。
【請求項３】
請求項１に記載の顔認証処理装置であって、
前記対象人物の撮像画像の顔情報と登録された顔情報とを照合する顔照合部を備え、
前記顔照合部は、前記枠の配置判定結果において前記対象人物の顔を囲む枠が存在しない場合に、前記顔情報の照合を行い、
前記認証判定部は、前記顔情報の顔照合結果によって前記対象人物の顔情報の認証結果の有効性を判定する、
顔認証処理装置。
【請求項４】
請求項１から３のいずれか一項に記載の顔認証処理装置であって、
前記対象人物のＩＤ情報を取得して認証するＩＤ認証部を備え、
前記認証判定部は、前記ＩＤ情報の認証結果をさらに用いて、前記対象人物の顔情報の認証結果の有効性を判定する、
顔認証処理装置。
【請求項５】
請求項１に記載の顔認証処理装置であって、
前記枠検出部は、前記入力画像における背景を除去する背景除去部を有する、
顔認証処理装置。
【請求項６】
請求項５に記載の顔認証処理装置であって、
前記背景除去部は、前記対象人物を撮像した際の背景を背景画像として用い、前記入力画像の背景を除去する、
顔認証処理装置。
【請求項７】
請求項５に記載の顔認証処理装置であって、
前記背景除去部は、前記対象人物が存在しない場合の背景を背景画像として用い、前記入力画像の背景を除去する、
顔認証処理装置。
【請求項８】
請求項１に記載の顔認証処理装置であって、
前記枠検出部は、前記入力画像として動画像の複数フレームの画像を用い、複数フレームにおける検出結果を統合した枠の検出結果を取得する、
顔認証処理装置。
【請求項９】
対象人物の顔認証を行う顔認証処理装置における顔認証処理方法であって、
前記対象人物を撮像した撮像画像を取得し、前記撮像画像の入力画像において前記対象人物の顔を検出し、
前記入力画像において直線状の枠を検出し、
前記顔の検出により取得した顔位置情報と、前記枠の検出により取得した枠位置情報とを用いて、前記対象人物の顔を囲む枠が存在するかどうかを判定し、
前記枠の配置判定結果に基づき、前記対象人物の顔情報の認証結果の有効性を判定する、
顔認証処理方法。
【請求項１０】
対象人物を撮像する撮像部と、
前記対象人物の撮像画像を取得し、前記撮像画像の入力画像において前記対象人物の顔を検出する顔検出部と、
前記入力画像において直線状の枠を検出する枠検出部と、
前記顔の検出により取得した顔位置情報と、前記枠の検出により取得した枠位置情報とを用いて、前記対象人物の顔を囲む枠が存在するかどうかを判定する配置判定部と、
前記対象人物の撮像画像の顔情報と登録された顔情報とを照合する顔照合部と、
前記顔情報の顔照合結果と、前記枠の配置判定結果とに基づき、前記対象人物の顔情報の認証結果の有効性を判定する認証判定部と、
前記認証結果を制御対象へ出力する認証結果出力部と、
前記撮像部、前記顔検出部、前記枠検出部、前記配置判定部、前記認証判定部のうちの少なくとも一つの処理結果を表示する表示部と、
を備える顔認証処理システム。
【請求項１１】
請求項１０に記載の顔認証処理システムであって、
前記対象人物のＩＤ情報を読み取るＩＤ読取部、又は前記ＩＤ情報を入力するＩＤ入力部を備えるとともに、
前記ＩＤ情報を認証するＩＤ認証部を備え、
前記認証判定部は、前記ＩＤ情報の認証結果をさらに用いて、前記対象人物の顔情報の認証結果の有効性を判定する、
顔認証処理システム。
【請求項１２】
請求項１１に記載の顔認証処理システムであって、
前記ＩＤ情報は、前記対象人物の顔の照合データを含み、
前記顔照合部は、前記ＩＤ情報の照合データを用いて前記対象人物の撮像画像の顔情報を照合する、
顔認証処理システム。
【請求項１３】
請求項１１に記載の顔認証処理システムであって、
前記対象人物の顔の照合データを記憶する記憶部を備え、
前記顔照合部は、前記記憶部より照合データを取得して前記対象人物の撮像画像の顔情報を照合する、
顔認証処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、対象人物の顔画像によって認証を行う顔認証処理装置、顔認証処理方法及び顔認証処理システムに関する。
【背景技術】
【０００２】
対象人物の認証を行うために、対象人物の顔画像を取得し、登録者の顔画像と照合して本人であるかどうか認証を行う顔認証技術が知られている。この種の顔認証技術において、正規の登録者に成り代わって不正利用するいわゆる「なりすまし」行為を検知する技術が種々提案されている。
【０００３】
例えば、特許文献１には、所定の時間の顔画像列を入力し、顔画像列から抽出された所定の色情報の時間的な変化に基づいて、顔画像列に含まれる顔がなりすましであるか否かを判定する情報処理装置が開示されている。この従来例によれば、顔認証の際に、偽物の顔が提示された場合のなりすましを精度良く検知できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１５／１２２１８３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１では、顔画像列から抽出された所定の色情報の時間的な変化に基づき、顔画像から測定される血流の変化等に由来する情報を取得することにより、変装用マスクを装着した場合など、変化の少ない顔画像となる状態のなりすましを検知可能である。しかし、従来の顔認証装置では、顔画像の動画像を用いたなりすまし等に対して、不正の検知が困難な場合があった。
【０００６】
本開示は、上述した従来の事情に鑑みて案出され、認証時のなりすましを精度良く検出することができる顔認証処理装置、顔認証処理方法及び顔認証処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示は、対象人物を撮像した撮像画像を取得し、前記撮像画像の入力画像において前記対象人物の顔を検出する顔検出部と、前記入力画像において直線状の枠を検出する枠検出部と、前記顔の検出により取得した顔位置情報と、前記枠の検出により取得した枠位置情報とを用いて、前記対象人物の顔を囲む枠が存在するかどうかを判定する配置判定部と、前記枠の配置判定結果に基づき、前記対象人物の顔情報の認証結果の有効性を判定する認証判定部と、を備える顔認証処理装置を提供する。
【０００８】
また、本開示は、対象人物の顔認証を行う顔認証処理装置における顔認証処理方法であって、前記対象人物を撮像した撮像画像を取得し、前記撮像画像の入力画像において前記対象人物の顔を検出し、前記入力画像において直線状の枠を検出し、前記顔の検出により取得した顔位置情報と、前記枠の検出により取得した枠位置情報とを用いて、前記対象人物の顔を囲む枠が存在するかどうかを判定し、前記枠の配置判定結果に基づき、前記対象人物の顔情報の認証結果の有効性を判定する、顔認証処理方法を提供する。
【０００９】
また、本開示は、対象人物を撮像する撮像部と、前記対象人物の撮像画像を取得し、前記撮像画像の入力画像において前記対象人物の顔を検出する顔検出部と、前記入力画像において直線状の枠を検出する枠検出部と、前記顔の検出により取得した顔位置情報と、前記枠の検出により取得した枠位置情報とを用いて、前記対象人物の顔を囲む枠が存在するかどうかを判定する配置判定部と、前記対象人物の撮像画像の顔情報と登録された顔情報とを照合する顔照合部と、前記顔情報の顔照合結果と、前記枠の配置判定結果とに基づき、前記対象人物の顔情報の認証結果の有効性を判定する認証判定部と、前記認証結果を制御対象へ出力する認証結果出力部と、前記撮像部、前記顔検出部、前記枠検出部、前記配置判定部、前記認証判定部のうちの少なくとも一つの処理結果を表示する表示部と、を備える顔認証処理システムを提供する。
【発明の効果】
【００１０】
本開示によれば、認証時のなりすましを精度良く検出することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の顔認証システムの構成の第１例を示す図
【図２】第１の実施形態の顔認証装置の機能構成を示すブロック図
【図３】本実施形態における枠検出処理を説明する図
【図４】本実施形態における背景除去処理を説明する図
【図５】本実施形態における枠検出部の機能構成の第１例を示す図
【図６】本実施形態における枠検出部の機能構成の第２例を示す図
【図７】本実施形態における配置判定処理を説明する図
【図８】第１の実施形態における顔認証処理の第１例の手順を示すフローチャート
【図９】第１の実施形態における顔認証処理の第２例の手順を示すフローチャート
【図１０】第２の実施形態の顔認証装置の機能構成を示すブロック図
【図１１】第３の実施形態の顔認証装置の機能構成を示すブロック図
【図１２】第３の実施形態における顔認証処理の第１例の手順を示すフローチャート
【図１３】第３の実施形態における顔認証処理の第２例の手順を示すフローチャート
【図１４】第４の実施形態の顔認証装置の機能構成を示すブロック図
【図１５】本実施形態の顔認証システムの構成の第２例を示す図
【図１６】本実施形態の顔認証システムの構成の第３例を示す図
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、本開示に係る顔認証処理装置、顔認証処理方法及び顔認証処理システムを具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１３】
（顔認証システムのシステム構成、第１例）
図１は、本実施形態の顔認証システムの構成の第１例を示す図である。本実施形態では、対象人物の顔認証を行う際に、対象人物を撮像した動画像の顔画像を用いて登録者の顔画像と照合し認証する顔認証装置及び顔認証システムの例を示す。
【００１４】
顔認証に用いる画像情報として、対象人物の顔画像の動画像を用いることにより、認証対象の人物における脈動などの生体情報を取得でき、写真を用いたなりすまし等の不正を検知可能である。しかし、例えば非正規の人物がタブレット端末等の携帯型の表示端末を用いて、正規の登録者の顔が写っている動画像を再生してなりすましを行うような場合、動画像を用いた顔認証を行っても不正を検知できず、認証結果として承認と判定してしまうことが起こり得る。上記事情に鑑み、本実施形態では、携帯型の表示端末を用いた正規登録者の動画像再生によるなりすましなどに対して、不正を検知可能な構成例を示す。
【００１５】
顔認証システム１００Ａは、顔認証装置１０Ａを含む構成であり、対象人物３０を撮像して顔認証を行い、認証結果を制御対象４０に出力する。制御対象４０の一例としては、カーシェアリング等のサービスの利用管理装置、セキュリティエリアにおける入退場管理装置などが想定される。カーシェアリングの利用管理装置に適用した場合、利用者の顔認証の認証結果に基づき、登録されている正規の利用者であるとき（認証結果が承認の場合）は車の利用を許可し、正規の利用者でないとき（認証結果が否認の場合）は車を利用不可とする。車の利用許可に関する制御は、例えば自動車の制御コンピュータに対して認証結果を入力し、制御コンピュータが認証結果に応じて自車の動作を有効又は無効とすることによって実現できる。入退場管理装置に適用した場合、入退場者の顔認証の認証結果に基づき、許可された人物であるとき（認証結果が承認の場合）は通行を許可し、許可された人物でないとき（認証結果が否認の場合）は通行の遮断、侵入者検知の報知等を行う。
【００１６】
顔認証装置１０Ａは、撮像部１１、表示部１２、ＩＤ読取部１３、演算部２０を含む構成である。撮像部１１は、例えば監視カメラ等のカメラにより構成される。撮像部１１は、撮像レンズ、撮像デバイス、画像信号処理回路、通信インタフェース等を含む構成であり、対象人物３０を含む撮像領域の動画像を撮像し、撮像画像を演算部２０に出力する。ＩＤ読取部１３は、例えばカードリーダ等の情報読取装置により構成され、対象人物３０が所持する会員証、身分証明カード、運転免許証などのＩＤカード３５のＩＤ情報を読み取り、演算部２０に出力する。
【００１７】
演算部２０は、例えばＰＣ等のコンピュータにより構成される。演算部２０は、プロセッサ、メモリ、通信インタフェース等を含む構成であり、撮像部１１にて取得した撮像画像の画像情報、ＩＤ読取部１３にて取得したＩＤ情報を用いて顔認証に関する各種演算処理を実行し、認証結果を出力する。表示部１２は、液晶ディスプレイ等の表示デバイスを含む表示装置により構成され、演算部２０における処理実行時の各種情報として、操作案内画面、撮像画像の入力画像、顔検出結果、枠検出結果、顔照合結果、顔認証の認証結果などを表示する。枠検出等の本実施形態の顔認証装置における処理については後で詳述する。表示部１２は、例えば顔認証システム１００Ａの監視室などに配置され、顔認証システム１００Ａの管理者や運用者が視認可能に設けられる。なお、表示部１２は、撮像部１１の近傍に対象人物３０への案内表示のために設けてもよい。
【００１８】
（顔認証装置の第１の実施形態）
図２は、第１の実施形態の顔認証装置の機能構成を示すブロック図である。顔認証装置の演算部２０Ａは、機能的な構成要素として、顔認識部２１、枠検出部２２、配置判定部２３、顔照合部２４、有効判定部２５を含む。演算部２０Ａは、所定のプログラムをプロセッサにより実行することによって、各部の機能を実現する。本実施形態では、携帯型の表示端末を用いた正規登録者の動画像再生によるなりすましなどがあった場合でも、枠検出を行うことによって表示端末の外形を認識し、顔画像の動画像を用いた不正を検知する。
【００１９】
顔認識部２１は、顔検出部の機能を有する。顔認識部２１は、顔画像を含む撮像画像の入力画像を用いて、顔認識処理によって入力画像において対象人物の顔を検出し、顔の特徴情報と位置情報（顔配置情報）を取得する。枠検出部２２は、撮像画像の入力画像と背景画像とを用いて、背景画像を除去した入力画像において直線状の枠の検出を行い、撮像画像中に表示端末等の枠がある場合に枠の位置情報（枠配置情報）を取得する。配置判定部２３は、顔配置情報と枠配置情報とを用いて、表示端末等の枠内に顔が位置しているかどうかの配置判定を行う。この配置判定により、入力画像の撮像画像中に表示端末が存在し、表示端末の枠内に表示端末によって顔画像が表示されていることを検出する。
【００２０】
顔照合部２４は、撮像画像から取得した顔の特徴情報と登録者の顔情報の照合データとを用いて、顔認識部２１にて検出された撮像画像中の顔の照合を行って登録者の顔と一致するかどうか判定する。照合データとしては、登録者の顔画像の画像データ、又は登録者の顔の特徴情報を含む特徴データを用いる。照合データは、例えば対象人物が所持するＩＤカードにＩＤ情報の一つとして記録されたものを利用し、ＩＤカードから読み取ったＩＤ情報の照合データを演算部２０Ａの顔照合部２４に入力する。有効判定部２５は、認証判定部、及び認証結果出力部の機能を有する。有効判定部２５は、配置判定部２３による配置判定結果と顔照合部２４による顔照合結果とに基づき、入力画像における対象人物の顔が有効かどうか、すなわち顔認証の認証結果の有効性として承認か否認かを判定し、認証結果を出力する。
【００２１】
ここで、枠検出部２２の機能構成及び動作の一例について詳細に説明する。図３は、本実施形態における枠検出処理を説明する図である。図示例は、撮像画像の入力画像５１として、携帯型の表示端末に正規の登録者の顔が写っている動画像を再生してなりすましを行っている状況を撮像した画像が入力された場合を示したものである。この場合、撮像画像において、表示端末に表示された登録者の顔が被写体として撮像され、入力画像５１には、表示端末の筐体５３と、表示端末の表示部における表示画像上の人物５４とが含まれている。枠検出部２２は、入力画像５１について公知の輪郭抽出（エッジ検出）処理を行い、エッジ画像５２を生成する。エッジ画像５２は、表示端末の筐体の輪郭５５と、表示端末の表示部内の人物の輪郭５６とを含むものとなる。そして、枠検出部２２は、エッジ画像５２について直線検出処理を行い、画像中の直線部分（線分）５７を抽出する。直線検出処理としては、例えばハフ（Ｈｏｕｇｈ）変換を用いた直線検出などを用いればよい。次いで、枠検出部２２は、抽出した画像中の直線部分５７において、平行な２つの直線とこれに垂直の直線とがあるかを判定し、四辺で囲まれた枠５８を抽出し、枠座標を取得する。なお、四辺が閉じていない方形状の線分の組や三辺又は二辺の直交する線分の組などであっても、所定条件に基づいて線分で囲まれた枠として判定し、枠５８を抽出してもよい。
【００２２】
また、枠検出部２２は、枠検出処理において、撮像画像から背景画像を除去する背景除去をした後で直線検出及び枠抽出を行ってもよい。撮像画像において背景部分を除去することによって、枠検出の精度を向上できる。図４は、本実施形態における背景除去処理を説明する図である。図示例は、撮像画像の入力画像６１として、表示端末を用いたなりすましが行われておらず、対象人物の顔を直接撮像した画像が入力された場合を示したものである。この場合、入力画像６１には、背景６５と人物６６とが含まれている。背景画像６２としては、入力画像６１と同じ撮像領域において、人物がいない状態での背景６５が含まれた画像を用いる。背景画像６２は、例えば、人物がいないタイミングで背景のみを撮像した画像、或いは撮像画像において位置変化が無い（移動量が検出されない）不動点を抽出した画像などによって取得する。枠検出部２２は、入力画像６１と背景画像６２とを用いて入力画像６１における背景６５を除去し、背景除去後の画像６３を生成する。背景除去後の画像６３は、背景部分が無く、人物６６などの動きがある被写体のみの画像となる。なお、表示端末を用いたなりすましが行われた場合、背景除去後の画像には表示端末と人物とが含まれる。
【００２３】
図５は、本実施形態における枠検出部の機能構成の第１例を示す図である。第１例の枠検出部２２Ａは、機能的な構成要素として、輪郭抽出部２２１、２２２、背景除去部２２３、直線検出部２２４、枠抽出部２２５を含む。第１例は、入力画像と背景画像のそれぞれについて輪郭を抽出し、撮像画像の輪郭から背景部分の輪郭を除去し、背景除去したエッジ画像において枠検出を行う例である。輪郭抽出部２２１は、撮像画像の入力画像についてエッジ検出を行って撮像画像の輪郭を抽出する。輪郭抽出部２２２は、背景画像についてエッジ検出を行って背景画像の輪郭を抽出する。背景除去部２２３は、撮像画像の輪郭から背景画像の輪郭を除去し、背景を含まない輪郭によるエッジ画像を生成する。直線検出部２２４は、エッジ画像についてハフ変換等による直線検出処理を行い、画像中の直線部分を抽出する。枠抽出部２２５は、抽出した画像中の直線部分において、四辺の線分で囲まれた枠を抽出し、枠座標として出力する。このように、入力画像の輪郭と背景画像の輪郭をそれぞれ抽出した後で背景画像の輪郭を除去することによって、背景の除去効率を高めることができ、精度良く枠検出を実行できる。
【００２４】
図６は、本実施形態における枠検出部の機能構成の第２例を示す図である。第２例の枠検出部２２Ｂは、機能的な構成要素として、背景除去部２２６、輪郭抽出部２２７、直線検出部２２４、枠抽出部２２５を含む。第２例は、入力画像から背景画像を除去し、背景除去後の画像について輪郭を抽出し、背景除去したエッジ画像において枠検出を行う例である。背景除去部２２６は、撮像画像から背景画像を除去し、背景を含まない撮像画像を生成する。輪郭抽出部２２７は、背景除去後の撮像画像についてエッジ検出を行って撮像画像の輪郭を抽出する。直線検出部２２４は、エッジ画像についてハフ変換等による直線検出処理を行い、画像中の直線部分を抽出する。枠抽出部２２５は、抽出した画像中の直線部分において、四辺の線分で囲まれた枠を抽出し、枠座標として出力する。このように、撮像画像と背景画像について、画像の明度などの条件が近似している場合は、背景除去後の画像から輪郭を抽出し、精度良く枠検出を実行できる。
【００２５】
図７は、本実施形態における配置判定処理を説明する図である。図示例は、図３と同様、撮像画像として、携帯型の表示端末に正規の登録者の顔が写っている動画像を再生してなりすましを行っている状況を撮像した画像が入力された場合を示したものである。配置判定部２３は、顔認識部２１による顔検出結果の一つとして得られた対象人物の顔配置情報を取得する。顔配置情報は、撮像画像の入力画像中の顔の輪郭位置を示す顔枠６８を含むものである。また、配置判定部２３は、枠検出部２２による枠検出結果の一つとして得られた表示端末の枠配置情報を取得する。枠配置情報は、図３に示したように、撮像画像において検出された表示端末の輪郭位置を示す枠５８を含むものである。配置判定部２３は、配置判定処理として、顔枠６８と枠５８の双方の位置を比較し、枠５８の内側の領域に顔枠６８が存在するかどうか、すなわち表示端末の枠内に対象人物の顔が位置しているかどうかを判定する。配置判定部２３は、図７のように枠５８の内側に顔枠６８がある場合、枠内に顔画像ありとの配置判定結果を出力する。有効判定部２５は、配置判定部２３による配置判定結果に基づき、枠内に顔画像が存在する場合、撮像画像において検出された顔画像が表示端末によって表示された顔画像であるとみなし、顔照合結果は無効であると判定する。このように、有効判定部２５による判定結果が無効判定となった場合、表示端末を用いたなりすまし発生が検出されたことになる。有効判定部２５は、無効判定の場合は、顔認証の認証結果として否認を出力する。
【００２６】
図８は、第１の実施形態における顔認証処理の第１例の手順を示すフローチャートである。顔認証装置の演算部２０Ａは、顔認識部２１において、入力画像の取込みを行い（Ｓ１１）、入力画像中の対象人物の顔認識処理を行う（Ｓ１２）。演算部２０Ａは、顔認識部２１によって対象人物の顔検出がなされたかどうかを判定し（Ｓ１３）、入力画像において顔が検出されるまで顔認識処理を継続する。演算部２０Ａは、対象人物の顔が検出された場合（Ｓ１３：Ｙｅｓ）、顔照合部２４において、検出された対象人物の顔照合を行う（Ｓ１４）。演算部２０Ａは、顔照合部２４による顔照合において、対象人物の顔の特徴情報が登録者の顔の照合データと一致するかどうかを判定し（Ｓ１５）、一致した場合（Ｓ１５：Ｙｅｓ）、顔認証処理を継続する。一方、演算部２０Ａは、対象人物の顔の特徴情報が登録者の顔の照合データと一致しない場合（Ｓ１５：Ｎｏ）、有効判定部２５において無効の判定を行い、顔認証の認証結果として否認を出力する。
【００２７】
また、演算部２０Ａは、枠検出部２２において入力画像中の枠検出を行い（Ｓ１６）、配置判定部２３において、顔検出による顔の位置と枠検出による枠の位置との配置判定を行う（Ｓ１７）。演算部２０Ａは、配置判定部２３による配置判定において、入力画像中に枠が検出され、枠の内側に顔が存在するかどうか、すなわち対象人物の顔の外側を囲む枠が存在するかどうかを判定する（Ｓ１８）。演算部２０Ａは、対象人物の顔の外側を囲む枠が存在する場合（Ｓ１８：Ｙｅｓ）、有効判定部２５において無効の判定を行い、顔認証の認証結果として否認を出力する。一方、演算部２０Ａは、対象人物の顔の外側を囲む枠が無い場合（Ｓ１８：Ｎｏ）、有効判定部２５において有効の判定を行い、顔認証の認証結果として承認を出力する。
【００２８】
なお、上記顔認証処理において、顔検出と枠検出とは、並列的にそれぞれの処理を並行して実行してもよいし、直列的に一方の処理を実行してから他方の処理を実行してもよく、処理の実施タイミングや順序は限定されない。また、顔照合と配置判定とは、並列的にそれぞれの処理を並行して実行してもよいし、直列的に一方の処理を実行してから他方の処理を実行してもよく、処理の実施タイミングや順序は限定されない。
【００２９】
図９は、第１の実施形態における顔認証処理の第２例の手順を示すフローチャートである。顔認証処理の第２例では、撮像画像の入力画像において、複数の顔が存在する場合の処理例を示す。顔認証用に撮像した画像は、例えば複数の人物の顔画像が写っている、なりすましの顔画像と本人又は他の人物の顔画像との複数の顔画像が存在する、などの複数の顔画像が検出される場合がある。
【００３０】
顔認証装置の演算部２０Ａは、顔認識部２１において、入力画像の取込みを行い（Ｓ２１）、入力画像中の対象人物の顔認識処理を行う（Ｓ２２）。このとき、演算部２０Ａは、顔認識部２１によって検出された顔画像の数として顔検出数（Ｎ）を取得する。演算部２０Ａは、顔検出数（Ｎ）が０より大きいかどうか、すなわち対象人物を含む顔検出がなされたかどうかを判定し（Ｓ２３）、入力画像において顔が検出されるまで顔認識処理を継続する。演算部２０Ａは、一つ以上の顔が検出されて顔検出数（Ｎ）が１以上である場合（Ｓ２３：Ｙｅｓ）、枠検出部２２において入力画像中の枠検出を行う（Ｓ２４）。また、演算部２０Ａは、顔認証処理のカウンタをｋとして初期値ｋ＝１から開始し、顔照合部２４において、検出された顔のうちｋ番目の顔について顔照合を行う（Ｓ２５）。演算部２０Ａは、顔照合部２４による顔照合において、処理対象の顔の特徴情報が登録者の顔の照合データと一致するかどうかを判定する（Ｓ２６）。
【００３１】
ここで、演算部２０Ａは、処理対象の顔の特徴情報が登録者の顔の照合データと一致しない場合（Ｓ２６：Ｎｏ）、顔認証処理のカウンタをｋ＝ｋ＋１と増分し、未処理の顔が存在するかどうか、例えば顔の処理数が顔検出数を超えていないか（ｋ≦Ｎであるか）を判定する（Ｓ２７）。演算部２０Ａは、未処理の顔がある場合（Ｓ２７：Ｙｅｓ）、次のｋ番目の顔について顔照合を行い（Ｓ２５、Ｓ２６）、未処理の顔が無くなるまで同様の処理を繰り返す。演算部２０Ａは、顔照合結果が不一致となり、未処理の顔が存在しない場合（Ｓ２６：Ｎｏ、Ｓ２７：Ｎｏ）、有効判定部２５において無効の判定を行い、顔認証の認証結果として否認を出力する。
【００３２】
一方、演算部２０Ａは、処理対象の顔の特徴情報が登録者の顔の照合データと一致した場合（Ｓ２６：Ｙｅｓ）、配置判定部２３において、ｋ番目の顔について顔検出による顔の位置と枠検出による枠の位置との配置判定を行う（Ｓ２８）。演算部２０Ａは、配置判定部２３による配置判定において、入力画像中に枠が検出され、枠の内側に顔が存在するかどうか、すなわち処理対象の顔の外側を囲む枠が存在するかどうかを判定する（Ｓ２９）。演算部２０Ａは、処理対象の顔の外側を囲む枠が存在する場合（Ｓ２９：Ｙｅｓ）、顔認証処理のカウンタをｋ＝ｋ＋１と増分し、未処理の顔が存在するかどうかを判定する（Ｓ２７）。演算部２０Ａは、未処理の顔がある場合（Ｓ２７：Ｙｅｓ）、次のｋ番目の顔について同様に顔照合、配置判定を行う（Ｓ２５、Ｓ２６、Ｓ２８、Ｓ２９）。演算部２０Ａは、未処理の顔が存在しない場合（Ｓ２７：Ｎｏ）、有効判定部２５において無効の判定を行い、顔認証の認証結果として否認を出力する。一方、演算部２０Ａは、処理対象の顔の外側を囲む枠が無い場合（Ｓ２９：Ｎｏ）、有効判定部２５において有効の判定を行い、顔認証の認証結果として承認を出力する。
【００３３】
なお、上記顔認証処理において、顔検出と枠検出とは、並列的にそれぞれの処理を並行して実行してもよいし、直列的に一方の処理を実行してから他方の処理を実行してもよく、処理の実施タイミングや順序は限定されない。また、顔照合と配置判定とは、検出された複数の顔のそれぞれについて、並列的にそれぞれの処理を並行して実行してもよいし、直列的に一方の処理を実行してから他方の処理を実行してもよく、処理の実施タイミングや順序は限定されない。
【００３４】
また、上記枠検出処理において、入力画像として動画像の複数フレームの画像を用いて、各フレームにて枠検出を行い、複数フレームにおける検出結果を統合した枠の検出結果を取得するようにしてもよい。例えば、携帯型の表示端末の表示部に人物の手がかかっている場合など、１つのフレームの画像では枠が検出できない場合も生じ得る。このように、例えば５フレーム中の３フレームの画像において枠が検出された場合など、１つのフレームでは枠検出結果が欠落するような場合であっても、複数フレームにおける検出結果を統合することによって、精度良く枠検出を実行でき、枠検出の安定性を向上できる。
【００３５】
上述したように、本実施形態によれば、携帯型の表示端末を用いたなりすましなどの不正を枠検出によって検知可能であり、認証時のなりすましを精度良く検出することができる。これにより、精度の高い顔認証装置、顔認証システムを実現可能となる。
【００３６】
なお、顔認証装置において、撮像部にて撮像した動画像の撮像画像から取得した生体情報を用いて、顔照合において顔の特徴情報と生体情報とを組み合わせて照合を行ってもよい。生体情報と顔画像情報とを組み合わせることにより、顔認証の信頼性を向上できる。
【００３７】
（顔認証装置の第２の実施形態）
図１０は、第２の実施形態の顔認証装置の機能構成を示すブロック図である。第２の実施形態の顔認証装置の演算部２０Ｂは、機能的な構成要素として、顔認識部２１、枠検出部２２、配置判定部２３、顔照合部２４、有効判定部２５ａ、ＩＤ認証部２６を含む。なお、顔認識部２１、枠検出部２２、配置判定部２３、顔照合部２４の機能及び動作は、図２に示した第１の実施形態と同様であり、ここでは説明を省略し、異なる部分を中心に説明する。
【００３８】
ＩＤ認証部２６は、ＩＤ読取部１３により取得したＩＤ情報を用いて、対象人物が所持する身分証明カード、会員証、運転免許証などのＩＤカードに記録されたＩＤ情報の認証を行う。なお、ＩＤ認証部２６は、ＩＤカードから取得したＩＤ情報の代わりに、対象人物である利用者等により入力されたパスワードや識別符号の入力情報、又は対象人物の虹彩や指紋等の人物ごとに固有の識別情報をＩＤ情報として用いて、ＩＤ情報の認証を行ってもよい。
【００３９】
有効判定部２５ａは、認証判定部、及び認証結果出力部の機能を有する。有効判定部２５ａは、配置判定部２３による配置判定結果、顔照合部２４による顔照合結果、及びＩＤ認証部２６によるＩＤ認証結果に基づき、入力画像における対象人物の顔が有効かどうか、すなわち顔認証の認証結果が承認か否認かを判定し、認証結果を出力する。
【００４０】
上述したように、本実施形態によれば、携帯型の表示端末を用いたなりすましなどの不正を枠検出によって検知可能であり、認証時のなりすましを精度良く検出することができる。これにより、精度の高い顔認証装置、顔認証システムを実現可能となる。また、ＩＤ情報と顔画像情報とを組み合わせることにより、顔認証の信頼性を向上できる。
【００４１】
（顔認証装置の第３の実施形態）
図１１は、第３の実施形態の顔認証装置の機能構成を示すブロック図である。第３の実施形態の顔認証装置の演算部２０Ｃは、機能的な構成要素として、顔認識部２１、枠検出部２２、配置判定部２３、顔照合部２４ａを含む。なお、顔認識部２１、枠検出部２２、配置判定部２３の機能及び動作は、図２に示した第１の実施形態と同様であり、ここでは説明を省略し、異なる部分を中心に説明する。
【００４２】
顔照合部２４ａは、認証判定部、及び認証結果出力部の機能を有する。顔照合部２４ａは、配置判定部２３による配置判定結果に基づき、撮像画像中に枠が検出されない場合、又は枠が検出されても顔の外側を囲むものではない場合に、顔認識部２１にて検出された撮像画像中の顔の照合を行って登録者の顔と一致するかどうか判定する。顔照合部２４ａは、顔照合の結果に基づき、顔認証の認証結果が承認か否認かを判定し、認証結果を出力する。
【００４３】
図１２は、第３の実施形態における顔認証処理の第１例の手順を示すフローチャートである。顔認証装置の演算部２０Ｃは、顔認識部２１において、入力画像の取込みを行い（Ｓ３１）、入力画像中の対象人物の顔認識処理を行う（Ｓ３２）。演算部２０Ｃは、顔認識部２１によって対象人物の顔検出がなされたかどうかを判定し（Ｓ３３）、入力画像において顔が検出されるまで顔認識処理を継続する。演算部２０Ｃは、対象人物の顔が検出された場合（Ｓ３３：Ｙｅｓ）、枠検出部２２において入力画像中の枠検出を行い（Ｓ３４）、配置判定部２３において、顔検出による顔の位置と枠検出による枠の位置との配置判定を行う（Ｓ３５）。演算部２０Ｃは、配置判定部２３による配置判定において、入力画像中に枠が検出され、枠の内側に顔が存在するかどうか、すなわち対象人物の顔の外側を囲む枠が存在するかどうかを判定する（Ｓ３６）。演算部２０Ｃは、対象人物の顔の外側を囲む枠が存在する場合（Ｓ３６：Ｙｅｓ）、顔照合部２４ａにおいて無効の判定を行い、顔認証の認証結果として否認を出力する。
【００４４】
一方、演算部２０Ｃは、対象人物の顔の外側を囲む枠が無い場合（Ｓ３６：Ｎｏ）、顔照合部２４ａにおいて、検出された対象人物の顔照合を行う（Ｓ３７）。演算部２０Ｃは、顔照合部２４ａによる顔照合において、対象人物の顔の特徴情報が登録者の顔の照合データと一致するかどうかを判定し（Ｓ３８）、一致した場合（Ｓ３８：Ｙｅｓ）、顔認証の認証結果として承認を出力する。一方、演算部２０Ｃは、対象人物の顔の特徴情報が登録者の顔の照合データと一致しない場合（Ｓ３８：Ｎｏ）、顔照合部２４ａにおいて無効の判定を行い、顔認証の認証結果として否認を出力する。
【００４５】
なお、上記顔認証処理において、顔検出と枠検出とは、並列的にそれぞれの処理を並行して実行してもよいし、直列的に一方の処理を実行してから他方の処理を実行してもよく、処理の実施タイミングや順序は限定されない。
【００４６】
図１３は、第３の実施形態における顔認証処理の第２例の手順を示すフローチャートである。顔認証処理の第２例では、撮像画像の入力画像において、複数の顔が存在する場合の処理例を示す。
【００４７】
顔認証装置の演算部２０Ｃは、顔認識部２１において、入力画像の取込みを行い（Ｓ４１）、入力画像中の対象人物の顔認識処理を行う（Ｓ４２）。このとき、演算部２０Ｃは、顔認識部２１によって検出された顔画像の数として顔検出数（Ｎ）を取得する。演算部２０Ｃは、顔検出数（Ｎ）が０より大きいかどうか、すなわち対象人物を含む顔検出がなされたかどうかを判定し（Ｓ４３）、入力画像において顔が検出されるまで顔認識処理を継続する。演算部２０Ｃは、一つ以上の顔が検出されて顔検出数（Ｎ）が１以上である場合（Ｓ４３：Ｙｅｓ）、枠検出部２２において入力画像中の枠検出を行う（Ｓ４４）。また、演算部２０Ｃは、顔認証処理のカウンタをｋとして初期値ｋ＝１から開始し、配置判定部２３において、検出された顔のうちｋ番目の顔について顔検出による顔の位置と枠検出による枠の位置との配置判定を行う（Ｓ４５）。演算部２０Ｃは、配置判定部２３による配置判定において、入力画像中に枠が検出され、枠の内側に顔が存在するかどうか、すなわち処理対象の顔の外側を囲む枠が存在するかどうかを判定する（Ｓ４６）。
【００４８】
ここで、演算部２０Ｃは、処理対象の顔の外側を囲む枠が存在する場合（Ｓ４６：Ｙｅｓ）、顔認証処理のカウンタをｋ＝ｋ＋１と増分し、未処理の顔が存在するかどうか、例えば顔の処理数が顔検出数を超えていないか（ｋ≦Ｎであるか）を判定する（Ｓ４７）。演算部２０Ｃは、未処理の顔がある場合（Ｓ４７：Ｙｅｓ）、次のｋ番目の顔について配置判定を行い（Ｓ４５、Ｓ４６）、未処理の顔が無くなるまで同様の処理を繰り返す。演算部２０Ｃは、配置判定結果が枠ありとなり、未処理の顔が存在しない場合（Ｓ４６：Ｙｅｓ、Ｓ４７：Ｎｏ）、顔照合部２４ａにおいて無効の判定を行い、顔認証の認証結果として否認を出力する。
【００４９】
一方、演算部２０Ｃは、処理対象の顔の外側を囲む枠が無い場合（Ｓ４６：Ｎｏ）、顔照合部２４ａにおいて、ｋ番目の顔について顔照合を行う（Ｓ４８）。演算部２０Ｃは、顔照合部２４ａによる顔照合において、処理対象の顔の特徴情報が登録者の顔の照合データと一致するかどうかを判定する（Ｓ４９）。演算部２０Ｃは、処理対象の顔の特徴情報が登録者の顔の照合データと一致しない場合（Ｓ４９：Ｎｏ）、顔認証処理のカウンタをｋ＝ｋ＋１と増分し、未処理の顔が存在するかどうかを判定する（Ｓ４７）。演算部２０Ｃは、未処理の顔がある場合（Ｓ４７：Ｙｅｓ）、次のｋ番目の顔について同様に配置判定、顔照合を行う（Ｓ４５、Ｓ４６、Ｓ４８、Ｓ４９）。演算部２０Ｃは、未処理の顔が存在しない場合（Ｓ４７：Ｎｏ）、顔照合部２４ａにおいて無効の判定を行い、顔認証の認証結果として否認を出力する。一方、演算部２０Ｃは、処理対象の顔の特徴情報が登録者の顔の照合データと一致した場合（Ｓ４９：Ｙｅｓ）、顔照合部２４ａにおいて有効の判定を行い、顔認証の認証結果として承認を出力する。
【００５０】
なお、上記顔認証処理において、顔検出と枠検出とは、並列的にそれぞれの処理を並行して実行してもよいし、直列的に一方の処理を実行してから他方の処理を実行してもよく、処理の実施タイミングや順序は限定されない。
【００５１】
上述したように、本実施形態によれば、携帯型の表示端末を用いたなりすましなどの不正を枠検出によって検知可能であり、認証時のなりすましを精度良く検出することができる。これにより、精度の高い顔認証装置、顔認証システムを実現可能となる。
【００５２】
（顔認証装置の第４の実施形態）
図１４は、第４の実施形態の顔認証装置の機能構成を示すブロック図である。第４の実施形態の顔認証装置の演算部２０Ｄは、機能的な構成要素として、顔認識部２１、枠検出部２２、配置判定部２３、顔照合部２４ａ、有効判定部２５ｂ、ＩＤ認証部２６を含む。なお、顔認識部２１、枠検出部２２、配置判定部２３の機能及び動作は、図２に示した第１の実施形態と同様であり、また、顔照合部２４ａの機能及び動作は、図１１に示した第３の実施形態と同様であり、ここでは説明を省略し、異なる部分を中心に説明する。
【００５３】
ＩＤ認証部２６は、ＩＤ読取部１３により取得したＩＤ情報を用いて、対象人物が所持する身分証明カード、会員証、運転免許証などのＩＤカードに記録されたＩＤ情報の認証を行う。なお、ＩＤ認証部２６は、ＩＤカードから取得したＩＤ情報の代わりに、対象人物である利用者等により入力されたパスワードや識別符号の入力情報、又は対象人物の虹彩や指紋等の人物ごとに固有の識別情報をＩＤ情報として用いて、ＩＤ情報の認証を行ってもよい。
【００５４】
有効判定部２５ｂは、認証判定部、及び認証結果出力部の機能を有する。有効判定部２５ｂは、顔照合部２４ａによる顔照合結果とＩＤ認証部２６によるＩＤ認証結果とに基づき、入力画像における対象人物の顔が有効かどうか、すなわち顔認証の認証結果が承認か否認かを判定し、認証結果を出力する。
【００５５】
上述したように、本実施形態によれば、携帯型の表示端末を用いたなりすましなどの不正を枠検出によって検知可能であり、認証時のなりすましを精度良く検出することができる。これにより、精度の高い顔認証装置、顔認証システムを実現可能となる。また、ＩＤ情報と顔画像情報とを組み合わせることにより、顔認証の信頼性を向上できる。
【００５６】
（顔認証システムのシステム構成、第２例）
図１５は、本実施形態の顔認証システムの構成の第２例を示す図である。顔認証システム１００Ｂは、顔認証装置１０Ｂを含む構成であり、対象人物３０を撮像して顔認証を行い、認証結果を制御対象４０に出力する。
【００５７】
顔認証装置１０Ｂは、撮像部１１、表示部１２、入力装置１４、記憶装置１５、演算部２０を含む構成である。なお、撮像部１１、表示部１２、演算部２０の機能及び動作は、図１に示した第１例と同様であり、ここでは説明を省略し、異なる部分を中心に説明する。入力装置１４は、ＩＤ情報を入力するＩＤ入力部の機能を有する。入力装置１４は、タッチパネル、キーボード、マウス等の入力デバイスにより構成され、対象人物３０又は他の操作者による入力操作に基づき、対象人物３０の会員番号、身分証明番号、運転免許証番号等のＩＤ情報を入力する。記憶装置１５は、照合データを記憶する記憶部の機能を有する。記憶装置１５は、メモリ、ハードディスク等のストレージデバイスを含む構成であり、登録者の顔の照合データ（顔画像の画像データ、顔の特徴情報など）を記憶して蓄積し、対象人物３０のＩＤ情報に対応する照合データを読み出して演算部２０に出力する。演算部２０は、上述した顔認証に関する各種演算処理を実行し、認証結果を出力する。
【００５８】
なお、入力装置１４より対象人物３０がパスワードを入力してパスワード認証を行うことも可能であり、顔照合とパスワード認証とを複合した顔認証を行ってもよい。
【００５９】
このような第２例の顔認証システム１００Ｂにおいても、上述した第１例の顔認証システム１００Ａと同様に、顔検出と枠検出とを実行し、枠検出によって携帯型の表示端末を用いたなりすましなどの不正を検知可能にでき、対象人物３０の顔認証の精度を向上できる。
【００６０】
（顔認証システムのシステム構成、第３例）
図１６は、本実施形態の顔認証システムの構成の第３例を示す図である。顔認証システム１００Ｃは、顔認証装置１０Ｃと、サーバ装置８０とを含む構成であり、対象人物３０を撮像して顔認証を行い、認証結果を制御対象４０に出力する。顔認証装置１０Ｃとサーバ装置８０とはネットワーク７０を介して接続され、各種情報の送受信が可能になっている。
【００６１】
顔認証装置１０Ｃは、撮像部１１、表示部１２、ＩＤ読取部１３、制御部１６を含む構成である。なお、撮像部１１、表示部１２、ＩＤ読取部１３の機能及び動作は、図１に示した第１例と同様であり、ここでは説明を省略し、異なる部分を中心に説明する。制御部１６は、例えばＰＣ等のコンピュータにより構成され、通信機能を持つ通信部を有する。制御部１６は、撮像部１１にて取得した撮像画像の画像情報、ＩＤ読取部１３にて取得したＩＤ情報など、認証に用いる情報を符号化し、サーバ装置８０との間で通信する。また、制御部１６は、サーバ装置８０から伝送される顔認証の認証結果などの処理情報を入力し、操作案内画面や撮像画像の入力画像などとともに、表示部１２に送信して表示させる。
【００６２】
サーバ装置８０は、演算装置８１、記憶装置８２を含む構成である。演算装置８１は、プロセッサ、メモリ、通信インタフェース等を含むコンピュータにより構成され、第１例の顔認証装置１０Ａの演算部２０と同様に、顔認証に関する各種演算処理を実行する。記憶装置８２は、照合データを記憶する記憶部の機能を有する。記憶装置８２は、メモリ、ハードディスク等のストレージデバイスを含む構成であり、登録者の顔の照合データ（顔画像の画像データ、顔の特徴情報など）を記憶して蓄積し、対象人物３０のＩＤ情報に対応する照合データを読み出して演算装置８１に出力する。演算装置８１は、上述した顔認証に関する各種演算処理を実行し、認証結果を出力する。
【００６３】
なお、顔認証に関する各種演算処理は、顔認証装置１０Ｃの制御部１６において、第１例の顔認証装置１０Ａの演算部２０と同様に行ってもよいし、顔認証装置１０Ｃの制御部１６とサーバ装置８０の演算装置８１とで分散して行ってもよい。制御部１６において顔認証処理を行う場合、顔認証装置１０Ｃはサーバ装置８０からネットワーク７０を介して照合データを取得し、顔認証処理を実行する。また、認証結果をネットワーク７０を介して伝送し、制御対象４０やサーバ装置８０だけでなく、他の場所の管理装置などに通知してもよい。
【００６４】
このような第３例の顔認証システム１００Ｃにおいても、上述した第１例の顔認証システム１００Ａと同様に、顔検出と枠検出とを実行し、枠検出によって携帯型の表示端末を用いたなりすましなどの不正を検知可能にでき、対象人物３０の顔認証の精度を向上できる。また、サーバ装置８０の記憶装置８２に蓄積した照合データを用いることで、多数の照合データを用いた顔認証が可能となる。
【００６５】
以上のように、本実施形態の顔認証処理装置の一例としての顔認証装置１０Ａ、１０Ｂ、１０Ｃは、対象人物を撮像した撮像画像を取得し、撮像画像の入力画像において対象人物の顔を検出する顔検出部としての顔認識部２１と、入力画像において直線状の枠を検出する枠検出部２２と、顔の検出により取得した顔位置情報と、枠の検出により取得した枠位置情報とを用いて、対象人物の顔を囲む枠が存在するかどうかを判定する配置判定部２３と、枠の配置判定結果に基づき、対象人物の顔情報の認証結果の有効性を判定する認証判定部としての有効判定部２５又は顔照合部２４ａと、を有する。
【００６６】
上記構成により、撮像画像の枠検出を行い、撮像画像における枠の有無、及び顔に対する枠の配置を判定し、この枠の判定結果に基づき、携帯型の表示端末を用いたなりすましなどの不正を検知可能であり、認証時のなりすましを精度良く検出することができる。これにより、顔認証の信頼性及び安定度を向上でき、精度の高い顔認証処理装置、顔認証処理システムを実現可能となる。
【００６７】
また、顔認証装置１０Ａの演算部２０Ａは、対象人物の撮像画像の顔情報と登録された顔情報とを照合する顔照合部２４を備え、有効判定部２５は、顔情報の顔照合結果と、枠の配置判定結果とに基づき、対象人物の顔情報の認証結果の有効性を判定する。これにより、携帯型の表示端末を用いたなりすましなどの不正を検知可能であり、認証時のなりすましを精度良く検出することができる。
【００６８】
また、顔認証装置１０Ａの演算部２０Ｃは、対象人物の撮像画像の顔情報と登録された顔情報とを照合する顔照合部２４ａを備え、顔照合部２４ａは、枠の配置判定結果において対象人物の顔を囲む枠が存在しない場合に、顔情報の照合を行い、顔情報の顔照合結果によって対象人物の顔情報の認証結果の有効性を判定する。これにより、携帯型の表示端末を用いたなりすましなどの不正を検知可能であり、認証時のなりすましを精度良く検出することができる。
【００６９】
また、顔認証装置１０Ａの演算部２０Ｂ、２０Ｄは、対象人物のＩＤ情報を取得して認証するＩＤ認証部２６を備え、有効判定部２５ａ、２５ｂは、ＩＤ情報の認証結果をさらに用いて、対象人物の顔情報の認証結果の有効性を判定する。これにより、ＩＤ情報と顔画像情報とを組み合わせることにより、顔認証の信頼性を向上できる。
【００７０】
また、顔認証装置１０Ａの枠検出部２２Ａ、２２Ｂは、入力画像における背景を除去する背景除去部２２３、２２６を有する。これにより、撮像画像において背景部分を除去することによって、人物などの動きがある被写体のみの画像から枠検出を実行でき、枠検出の精度を向上できる。
【００７１】
また、顔認証装置１０Ａの背景除去部２２３、２２６は、対象人物を撮像した際の背景を背景画像として用い、入力画像の背景を除去する。或いは、背景除去部２２３、２２６は、対象人物が存在しない場合の背景を背景画像として用い、入力画像の背景を除去する。これにより、背景部分が無く、人物などの動きがある被写体のみの画像から枠検出を実行でき、枠検出の精度を向上できる。
【００７２】
また、顔認証装置１０Ａの枠検出部２２Ａ、２２Ｂは、入力画像として動画像の複数フレームの画像を用い、複数フレームにおける検出結果を統合した枠の検出結果を取得する。これにより、１つのフレームの画像では枠が検出できず、枠検出結果が欠落するような場合であっても、複数フレームにおける検出結果を統合することによって、精度良く枠検出を実行でき、枠検出の安定性を向上できる。
【００７３】
また、本実施形態の顔認証処理システムの一例としての顔認証システム１００Ａ、１００Ｂ、１００Ｃは、対象人物を撮像する撮像部１１と、対象人物の撮像画像を取得し、前記撮像画像の入力画像において前記対象人物の顔を検出する顔検出部としての顔認識部２１と、入力画像において直線状の枠を検出する枠検出部２２と、顔の検出により取得した顔位置情報と、枠の検出により取得した枠位置情報とを用いて、対象人物の顔を囲む枠が存在するかどうかを判定する配置判定部２３と、対象人物の撮像画像の顔情報と登録された顔情報とを照合する顔照合部２４と、顔情報の顔照合結果と、枠の配置判定結果とに基づき、対象人物の顔情報の認証結果の有効性を判定する認証判定部、及び認証結果を制御対象へ出力する認証結果出力部としての有効判定部２５と、撮像部１１、顔認識部２１、枠検出部２２、配置判定部２３、有効判定部２５のうちの少なくとも一つの処理結果を表示する表示部１２と、を備える。
【００７４】
上記構成により、撮像画像の枠検出を行い、枠が検出された場合に顔に対する枠の配置を判定し、枠の配置の判定結果に基づき、携帯型の表示端末を用いたなりすましなどの不正を検知可能である。これにより、認証時のなりすましを精度良く検出でき、顔認証の信頼性及び安定度を向上できる。
【００７５】
また、顔認証システム１００Ａ、１００Ｂ、１００Ｃは、対象人物のＩＤ情報を読み取るＩＤ読取部１３、又はＩＤ情報を入力するＩＤ入力部としての入力装置１４を備えるとともに、ＩＤ情報を認証するＩＤ認証部２６を備え、有効判定部２５は、ＩＤ情報の認証結果をさらに用いて、対象人物の顔情報の認証結果の有効性を判定する。これにより、ＩＤ情報と顔画像情報とを組み合わせることにより、顔認証の信頼性を向上できる。
【００７６】
また、顔認証システム１００Ａ、１００Ｃは、ＩＤ情報が、対象人物の顔の照合データを含み、顔照合部２４は、ＩＤ情報の照合データを用いて対象人物の撮像画像の顔情報を照合する。これにより、ＩＤ情報に含まれる照合データを用いて、顔認証が可能であり、枠検出結果と顔検出結果とＩＤ情報とを組み合わせることにより、顔認証の信頼性を向上できる。
【００７７】
また、顔認証システム１００Ｂ、１００Ｃは、対象人物の顔の照合データを記憶する記憶部としての記憶装置１５、８２を備え、顔照合部２４は、記憶装置１５、８２より照合データを取得して対象人物の撮像画像の顔情報を照合する。これにより、自装置の記憶装置又は外部のサーバ装置等の記憶装置に記憶された照合データを用いて、顔照合が可能であり、多数の照合データを用いた顔認証が可能となる。
【００７８】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【００７９】
本開示は、認証時のなりすましを精度良く検出することができる顔認証処理装置、顔認証処理方法及び顔認証処理システムとして有用である。
【符号の説明】
【００８０】
１０Ａ、１０Ｂ、１０Ｃ  顔認証装置
１１  撮像部
１２  表示部
１３  ＩＤ読取部
１４  入力装置
１５  記憶装置
１６  制御部
２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ  演算部
２１  顔認識部
２２、２２Ａ、２２Ｂ  枠検出部
２３  配置判定部
２４、２４ａ  顔照合部
２５、２５ａ、２５ｂ  有効判定部
２６  ＩＤ認証部
３０  対象人物
３５  ＩＤカード
４０  制御対象
７０  ネットワーク
８０  サーバ装置
８１  演算装置
８２  記憶装置
１００Ａ、１００Ｂ、１００Ｃ  顔認証システム
２２１、２２２、２２７  輪郭抽出部
２２３、２２６  背景除去部
２２４  直線検出部
２２５  枠抽出部
【図１】
2018169943.tif 000003
【図２】
2018169943.tif 000004
【図３】
2018169943.tif 000005
【図４】
2018169943.tif 000006
【図５】
2018169943.tif 000007
【図６】
2018169943.tif 000008
【図７】
2018169943.tif 000009
【図８】
2018169943.tif 000010
【図９】
2018169943.tif 000011
【図１０】
2018169943.tif 000012
【図１１】
2018169943.tif 000013
【図１２】
2018169943.tif 000014
【図１３】
2018169943.tif 000015
【図１４】
2018169943.tif 000016
【図１５】
2018169943.tif 000017
【図１６】
2018169943.tif 000018