(57)【要約】  なりすまし検知装置３００は、撮像装置３１０から、発光装置３２０が発光中に得られた、対象者の顔を含む第１の画像フレーム、及び発光装置３２０が消灯中に得られた、対象者の顔を含む第２の画像フレームを取得する、顔画像取得部３０１と、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、第２の画像フレームから、対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部３０２と、第１の画像フレームから、第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する、特徴量算出部３０３と、特徴量に基づいて対象者の真偽判定を行う、なりすまし判定部３０４と、を備えている。
2019163065.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、特徴量算出部と、
前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする、なりすまし検知装置。
【請求項２】
請求項１に記載のなりすまし検知装置であって、
前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、撮影制御部を更に備えている、
ことを特徴とする、なりすまし検知装置。
【請求項３】
請求項１または２に記載のなりすまし検知装置であって、
前記特徴量算出部が、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
前記なりすまし判定部が、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知装置。
【請求項４】
請求項３に記載のなりすまし検知装置であって、
前記なりすまし判定部が、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知装置。
【請求項５】
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする、なりすまし検知方法。
【請求項６】
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、プログラムを記録している、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認証時のなりすましを検知するための、なりすまし検知装置、及びなりすまし検知方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
顔認証をはじめとする、生体認証技術を利用したログインシステムは、パスワードを利用したログインシステムと異なり、パスワードの記憶及び管理の負担がないという利点を有している。【０００３】
但し、生体認証技術を利用したログインシステムでは、パスワードを利用したログインシステムと異なり、本人が正しくシステムを使用していても、認証エラーが起こる可能性がある。更に、生体認証技術を利用したログインシステムでは、誤って第三者を本人と認識してしまう可能性、悪意を持った第三者が本人の画像又は動画を用いて認証を試みたときに認証されてしまう可能性もある。【０００４】
このため、生体認証技術を利用したログインシステムでは、セキュリティの観点から、本人でない第三者による、このような偽装（なりすまし）ログインは大きな問題となっており、なりすましを防ぐための検知技術の需要が高まっている。【０００５】
特に、モバイル端末上のアプリケーションプログラムによるログインにおいて、顔認証を利用する場合には、モバイル端末に搭載されているハードウェアが限られているため、なりすまし対策は、一般的に、より困難なものとなる。例えば、顔認証におけるなりすまし検知システムに用いられる技術としては、赤外線カメラのような特殊センサを用いる技術、複数台のカメラで別方向から撮影を行う技術、フォーカス切り替えを行って顔の奥行きを測る技術等が挙げられる。【０００６】
しかし、これらの技術を用いるために必要なハードウェアを搭載しているモバイル端末は、現在のところ、一般的ではない。顔認証時のなりすまし検知に使用可能なハードウェアのうち、多くのモバイル端末が具備しているハードウェアとしては、ユーザ側に向いたインカメラと、それに付随して設けられた発光装置（フラッシュ）とがある。このため、これらを利用して、なりすましを検知する技術が提案されている（例えば、特許文献１参照）。【０００７】
具体的には、特許文献１は、本物の人間の顔ならば、カメラのフラッシュが、瞳の虹彩領域に鏡面反射し、結果、輝点として画像に映るが、写真又はディスプレイ上の画像の顔では同現象が起こらないことを利用した、なりすまし検知装置を開示している。【０００８】
特許文献１に開示された、なりすまし検知装置は、まず、フラッシュ点灯時に撮影した画像と、フラッシュ消灯時に撮影した画像とを比較して、前者における輝点の部分を抽出する。次いで、なりすまし検知装置は、抽出した部分の特徴量を求め、求めた特徴量と、予め撮影されているリファレンス画像から求めた特徴量とを対比することによって、なりすましの検知を行う。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第４６０９２５３号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、瞳の虹彩領域での鏡面反射によって形成される輝点には、位置依存性があり、輝点は、画像の撮影条件によって変化してしまう。言い換えると、一般的に、発光装置、眼球、及びカメラの空間上の位置といった条件に応じて、輝点が観測される場所は変化する。この結果、撮影時におけるモバイル端末と顔との位置関係によって、輝点の部分の特徴量も変化してしまい、なりすまし検知の精度が低下してしまう。【００１１】
このため、特許文献１に開示された、なりすまし検知装置は、輝点の位置依存性を解消すべく、眼球においてフラッシュからの光の鏡面反射が発生する位置を推定し、推定結果を用いて、輝点の部分の特徴量の補正を行っている。【００１２】
具体的には、なりすまし検知装置は、まず、瞳の虹彩部分を特定し、特定した虹彩部分の楕円形状から瞳の注視方向を推定する。次いで、なりすまし検知装置は、予め取得しているカメラの位置情報と、推定した注視方向とに基づいて、フラッシュによって輝点が発生する位置を推定し、推定結果に基づいて、輝点の部分の特徴量を補正する。【００１３】
しかしながら、実際には、輝点の位置がずれしまった場合の特徴量を、輝点の位置がずれなかった場合の特徴量と同じになるように補正することは、特徴量の性質上、困難である。このため、特許文献１に開示された、なりすまし検知装置では、撮影時におけるモバイル端末と顔との位置関係によって、輝点の部分の特徴量が変化した場合に、なりすまし検知の精度低下を抑制することは困難である。【００１４】
本発明の目的の一例は、上記課題を解消し、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行しうる、なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明の一側面におけるなりすまし検知装置は、
撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、特徴量算出部と、
前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする。【００１６】
また、上記目的を達成するため、本発明の一側面におけるなりすまし検知方法は、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする。【００１７】
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、プログラムを記録している、
ことを特徴とする。
【発明の効果】
【００１８】
以上のように本発明によれば、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明において、瞳の虹彩領域での反射によって形成された輝点を抽出する手法の一例を示す説明図である。
【図２】図２は、本発明によって算出される特徴量と従来手法によって算出される特徴量とを比較して示す説明図である。
【図３】図３は、本発明の実施の形態１におけるなりすまし検知装置の構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１によって得られた特徴量の一例を示す図である。
【図５】図５は、本発明の実施の形態１における、なりすまし検知装置の動作を示すフロー図である。
【図６】図６は、本発明の実施の形態２におけるなりすまし検知装置の構成を示すブロック図である。
【図７】図７は、本発明の実施の形態２における、なりすまし検知装置の動作を示すフロー図である。
【図８】図８は、本発明の実施の形態３における、なりすまし検知装置の動作を示すフロー図である。
【図９】図９は、本実施の形態３において、虹彩領域から算出された特徴量と顔領域から算出された特徴量との一例を示す図である。
【図１０】図１０は、本発明の実施の形態１〜３における、なりすまし検知装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００２０】
（発明の概要）
まず、本発明の実施の形態を説明する前に、本発明の概要について説明する。上述のように、瞳の虹彩領域での反射によって形成された輝点の位置は、フラッシュからの光の虹彩領域への入射角、対象者の顔の向きによって変化してしまう。このため、背景技術の欄に記載した特許文献１においては、輝点の位置を予測し、予測した輝点の位置に基づいてなりすましを検知している。これに対して、本発明では、後述するように、位置依存性を解消した特徴量が用いられる。
【００２１】
ここで、図１及び図２を参照して、本発明における、フラッシュ点灯中、及び、フラッシュ消灯中に撮影された画像から、位置依存を解消した特徴量を計算する方法を、従来からの特徴量の計算方法と対比して説明する。図１は、本発明において、瞳の虹彩領域での反射によって形成された輝点を抽出する手法の一例を示す説明図である。図２は、本発明によって算出される特徴量と従来手法によって算出される特徴量とを比較して示す説明図である。
【００２２】
まず、図１の上段に示すように、ユーザ１０１は、自身の顔を、フラッシュ点灯中のカメラ付きの端末装置１０２によって、少なくとも１回撮影を行い、更に、フラッシュ消灯中のカメラ付きの端末装置１０３によっても、少なくとも１回撮影を行う。本発明では、これらの撮影によって得られた各画像から、輝点部分を抽出し、抽出した輝点部分における特徴量が計算される。
【００２３】
図１において、画像１０５は、フラッシュ点灯中の画像を示し、画像１０６は、フラッシュ消灯中の画像を示している。本発明では、両者を比較することで、輝点の部分が抽出され、抽出された部分について特徴量が計算される。また、本発明では、輝点の部分が抽出できた場合は、画像１０５及び１０６に映っている顔は、真の人の顔であると判定される。一方、輝点の部分が抽出できなかった場合は、画像１０５及び１０６に映っている顔は、偽の顔であると判定される。
【００２４】
ところが、上述のようにフラッシュ反射で形成された輝点の位置は、撮影条件によって変化する。このため、図２の左側の画像２０１及び２０２に示すように、同じ真の顔であっても、輝点の位置がずれてしまう可能性がある。そして、輝点の位置がずれてしまうと、画像を１次元ベクトルの特徴量に変換した場合に、異なる特徴量が算出されてしまう。
【００２５】
図２の中央に示す特徴量２０３は、画像２０１から算出され、特徴量２０４は、画像２０２から算出されている。特徴量２０３と特徴量２０４とは、位置のみが違う輝点から算出されているが、両者の類似度は低いものとなっている。そして、この類似度の低下は、判別精度の低下を招いてしまう。但し、特徴量２０３と特徴量２０４は、共に、本物の顔と判定されるべき特徴量である。上述したように、特許文献１に開示された、なりすまし検知装置は、この問題を、輝点の位置を予測し、予測結果に基づいて特徴量を補正することによって対処している。
【００２６】
これに対して、本発明では、ある程度の不確かさが伴う輝点位置の予測を行う代わりに、図２の右側に示す特徴量２０５と特徴量２０６とが算出される。特徴量２０５と特徴量２０６とは、輝点の位置に依存しない特徴量である。従って、本発明によれば、環境変化に対して頑健な、なりすまし検知を、より容易に、且つ、より正確に行うことができる。
【００２７】
以下、本発明の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化が為されている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。また、各実施の形態で示す具体的な数値などは、発明の理解を容易とするための例示に過ぎず、これに限定されるものではない。
【００２８】
（実施の形態１）
以下、本発明の実施の形態１における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図３〜図５を参照しながら説明する。
【００２９】
［装置構成］
最初に、図３を用いて、本実施の形態１におけるなりすまし検知装置の構成について説明する。図３は、本発明の実施の形態１におけるなりすまし検知装置の構成を示すブロック図である。
【００３０】
図３に示す、本実施の形態１における、なりすまし検知装置３００は、顔認証時のなりすましを検知するための装置である。図１に示すように、なりすまし検知装置３００は、顔画像取得部３０１と、顔情報抽出部３０２と、特徴量算出部３０３と、なりすまし判定部３０４とを備えている。
【００３１】
顔画像取得部３０１は、撮像装置３１０から、それに付随する発光装置３２０によって発光が行われた際の対象者の顔を含む第１の画像フレームと、発光装置３２０が消灯している際の対象者の顔を含む第２の画像フレームを取得する。
【００３２】
顔情報抽出部３０２は、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出する。また、顔情報抽出部３０２は、第２の画像フレームから、対象者の顔の部分を特定する情報を第２の顔情報として抽出する。
【００３３】
特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出する。また、特徴量算出部３０３は、第２の画像フレームから、第２の顔情報に基づいて、上記の輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する。
【００３４】
なりすまし判定部３０４は、特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。
【００３５】
このように、本実施の形態１においては、なりすまし検知装置３００は、背景技術の欄に記載した従来のなりすまし検知装置と異なり、輝点の位置に依存しない特徴量を算出することができる（上述の図２参照）。このため、本実施の形態１によれば、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすましを検知することができる。
【００３６】
続いて、本実施の形態１におけるなりすまし検知装置３００の構成についてより具体的に説明する。まず、図１に示すように、本実施の形態１では、なりすまし検知装置３００は、発光装置３２０を備えた撮像装置３１０に接続されている。撮像装置３１０としては、デジタルカメラ、デジタルビデオカメラ等が挙げられる。
【００３７】
顔画像取得部３０１は、上述したように、発光装置が発光中に撮影された第１の画像フレームと、発光装置が消灯中に撮影された第２の画像フレームとを取得する。また、このとき取得される第１の画像フレーム及び第２の画像フレームは、静止画像の画像フレームであっても良いし、動画像の画像フレームあっても良い。
【００３８】
顔情報抽出部３０２は、本実施の形態１では、まず、第１の画像フレーム及び第２の画像フレームそれぞれから、対象者の顔の部分の領域（以下「顔領域」と表記する）を検出する。具体的には、顔情報抽出部３０２は、例えば、Ｈａａｒ−ｌｉｋｅ特徴量を用いて、顔領域を検出する。Ｈａａｒ−ｌｉｋｅ特徴量を用いた顔領域の検出方法は、例えば、下記の参考文献１に開示されている。
【００３９】
［参考文献１］
P.Viola and M. Jones, “Rapid Object Detection Using aBoosted Cascade of Simple Features,” Proceedings of the2001 IEEE Computer Society Conference on Computer Vision and PatternRecognition (CVPR), Vol. 1, 2001, pp. 511-518.
【００４０】
続いて、顔情報抽出部３０２は、第１の画像フレームから抽出した顔領域から、第１の顔情報を抽出し、第２の画像フレームから抽出した顔領域から、第２の顔情報を抽出する。具体的には、顔情報抽出部３０２は、顔領域から、顔の各部の領域を推定し、推定した各部の領域の位置を特定する情報を顔情報とする。また、顔情報には、推定された虹彩領域の位置を特定する情報も含まれている。
【００４１】
また、虹彩領域の推定方法としては、例えば、まず、目の領域を検出して目間距離を算出し、次いで、この目間距離を用いて、目の中心と同じ中心を持ち、且つ一辺が目間距離の六分の一である、正方形を設定し、この正方形の領域を虹彩領域とする方法が挙げられる。また、目の領域の検出方法としては、例えば、下記の参考文献２に開示されているリングガボールフィルターを用いた方法が挙げられる。
【００４２】
［参考文献２］
Zhang, Y., Sun, N., Gao, Y., and Cao, M. (2008). A new eye locationmethod based on Ring Gabor Filter. In Automation and Logistics, 2008. ICAL2008. IEEE International Conference On, (IEEE), pp. 301-305.
【００４３】
特徴量算出部３０３は、本実施の形態１では、第１の顔情報を用いて、第１の画像フレーム中の虹彩領域（以下「第１の虹彩領域」と表記する）を抽出し、更に、第２の顔情報を用いて、第２の画像フレーム中の虹彩領域（以下「第２の虹彩領域」と表記する）を抽出する。
【００４４】
そして、特徴量算出部３０３は、第１の虹彩領域のピクセル毎の輝度値Linと、第２の虹彩領域のピクセル毎の輝度値Loutとを求め、ピクセル毎に、両者の差分（Lin-Lout）を仮の特徴量として算出する。また、特徴量算出部３０３は、仮の特徴量（Lin-Lout）に対して、標準化又はスケーリング等を行って、これを扱いやすい形に変形することもできる。
【００４５】
続いて、特徴量算出部３０３は、輝点の位置依存性のない特徴量を得るため、仮の特徴量に対して、位置依存性を解消するための変換処理を実行する。例えば、特徴量算出部３０３は、２次元平面である虹彩領域から計算された仮の特徴量（ピクセル毎の差分（Lin-Lout））を、１次元のベクトルに変換し、ピクセル毎の値を昇順または降順に並び替えことによって、変換を行う。このようにして変換された特徴量は、位置依存性を解消した特徴量となる。
【００４６】
図４は、本発明の実施の形態１によって得られた特徴量の一例を示す図である。図４の例では、特徴量６０１は、対象者が本物の人である場合に得られた特徴量である。特徴量６０２は、写真又は画像の顔から得られた特徴量である。
【００４７】
なりすまし判定部３０４は、本実施の形態１では、特徴量算出部３０３によって計算された特徴量算出部を、予め作成された分類器に適用することによって、対象者の真偽判定、即ち、対象者が本物の人間であるかどうかを判定する。
【００４８】
具体的には、分類器としては、例えば、サポートベクトルマシン（ＳＶＭ：Support Vector Machine）を用いて構築されたＳＶＭ２値分類器が挙げられる。また、この分類器は、予め、本物の人の顔の画像から算出された特徴量と、偽の人の顔の画像から算出された特徴量とを用意し、これらを用いた学習を行うことによって構築される。なお、サポートベクトルマシンを用いた分類器の構築方法は、下記の参考文献３に開示されている。
【００４９】
［参考文献３］
V. Vapnik and A. Lerner. Pattern recognition using generalizedportrait method. Automation and Remote Control, 24, 1963.
【００５０】
［装置動作］
次に、本発明の実施の形態１における、なりすまし検知装置３００の動作について図５を用いて説明する。図５は、本発明の実施の形態１における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図３及び図４を参酌する。また、本実施の形態１では、なりすまし検知装置３００を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態１におけるなりすまし検知方法の説明は、以下のなりすまし検知装置３００の動作説明に代える。
【００５１】
図５に示すように、最初に、顔画像取得部３０１は、撮像装置３１０から、それに付随する発光装置３２０によって発光が行われた際の対象者の顔を含む第１の画像フレームと、発光装置３２０が消灯している際の対象者の顔を含む第２の画像フレームを取得する（ステップＡ１）。
【００５２】
次に、顔情報抽出部３０２は、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＡ２）。
【００５３】
次に、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する（ステップＡ３）。
【００５４】
具体的には、ステップＡ３では、特徴量算出部３０３は、まず、第１の顔情報を用いて、第１の画像フレーム中の第１の虹彩領域を抽出し、更に、第２の顔情報を用いて、第２の画像フレーム中の第２の虹彩領域を抽出する。次いで、特徴量算出部３０３は、第１の虹彩領域のピクセル毎の輝度値Linと、第２の虹彩領域のピクセル毎の輝度値Loutとの、ピクセル毎の差分（Lin-Lout）を仮の特徴量として算出する。そして、特徴量算出部３０３は仮の特徴量に対して、位置依存性を解消するための変換処理を実行して、位置依存性を解消した特徴量を算出する。
【００５５】
その後、なりすまし判定部３０４は、ステップＡ３で特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＡ４）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。
【００５６】
ステップＡ４の実行後、なりすまし検知装置は、検知結果を利用する装置に、判定結果を通知する。通知を受けた装置は、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
【００５７】
［実施の形態１における効果］
以上のように本実施の形態１によれば、なりすまし検知装置３００は、対象者の瞳の虹彩領域に形成された輝点の位置に依存しない特徴量を算出し、この特徴量に基づいて、なりすましかどうかを判定することができる。このため、本実施の形態１によれば、撮像装置３１０と顔との位置関係に影響されることなく、即ち、反射輝点の位置依存性に影響されることなく、なりすまし検知を行うことができる。
【００５８】
［プログラム］
本実施の形態１におけるプログラムは、コンピュータに、図５に示すステップＡ１〜Ａ４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における、なりすまし検知装置３００となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、及びなりすまし判定部３０４として機能し、処理を行なう。
【００５９】
また、本実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、及びなりすまし判定部３０４のいずれかとして機能しても良い。
【００６０】
（実施の形態２）
次に、本発明の実施の形態２における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図６及び図７を参照しながら説明する。
【００６１】
［装置構成］
最初に、図６を用いて、本実施の形態２におけるなりすまし検知装置の構成について説明する。図６は、本発明の実施の形態２におけるなりすまし検知装置の構成を示すブロック図である。
【００６２】
図６に示すように、本実施の形態２における、なりすまし検知装置３５０は、携帯型の端末装置５００によって構築されている。具体的には、なりすまし検知装置３５０は、端末装置５００のオペレーティングシステム上で動作するプログラムによって構築されている。また、端末装置５００は、撮像装置３１０と、発光装置３２０と、表示装置３３０と、入力装置３４０とを備えている。
【００６３】
また、図６に示すように、本実施の形態２においても、なりすまし検知装置３５０は、図３に示した実施の形態１における、なりすまし検知装置３００と同様に、顔画像取得部３０１と、顔情報抽出部３０２と、特徴量算出部３０３と、なりすまし判定部３０４とを備えている。これらの機能は、実施の形態１で述べた通りである。
【００６４】
但し、本実施の形態２では、実施の形態１と異なり、なりすまし検知装置３５０は、更に、撮影制御部３０５を備えている。撮影制御部３０５は、撮像装置３１０による撮影、発光装置３２０による発光及び消灯を制御し、発光装置３２０における発光時間、及び撮像装置３１０における撮影タイミングを設定する。
【００６５】
具体的には、撮影制御部３０５は、発光装置３２０に対して発光を指示した後、撮像装置３１０に対して１５０ミリ秒の撮影を指示する。また、その後、撮影制御部３０５は、発光装置３２０に対して消灯を指示した後、撮像装置３１０に対して１５０ミリ秒の撮影を指示する。
【００６６】
［装置動作］
次に、本発明の実施の形態２における、なりすまし検知装置３５０の動作について図５を用いて説明する。図７は、本発明の実施の形態２における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図６を参酌する。また、本実施の形態２では、なりすまし検知装置３５０を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態２におけるなりすまし検知方法の説明は、以下のなりすまし検知装置３５０の動作説明に代える。
【００６７】
なお、図７の例では、対象者の顔の発光中の画像と、消灯中の画像とがそれぞれ１枚撮影されているものとする。また、発光装置３２０の発光時間は３００ミリ秒で、発光開始から１５０ミリ秒後に１枚の画像が撮影され、消灯開始から１５０ミリ秒後に１枚の画像が撮影されるものとする。
【００６８】
図７に示すように、最初に、端末装置５００に対して認証が指示されると、撮影制御部３０５は、発光装置３２０に対して撮影と同時に発光を行うように指示を与え（ステップＢ１）、更に、撮像装置３１０に対して撮影を指示する（ステップＢ２）。
【００６９】
ステップＢ２が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第１の画像フレームとして取得する（ステップＢ３）。
【００７０】
次に、ステップＢ３の実行後、撮影制御部３０５は、発光装置３２０に対して消灯を行うように指示を与え（ステップＢ４）、更に、撮像装置３１０に対して撮影を指示する（ステップＢ５）。
【００７１】
ステップＢ５が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第２の画像フレームとして取得する（ステップＢ６）。
【００７２】
次に、顔情報抽出部３０２は、ステップＢ３で取得された第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、ステップＢ６で取得された第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＢ７）。
【００７３】
次に、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する（ステップＢ８）。
【００７４】
次に、なりすまし判定部３０４は、ステップＢ８で特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＢ９）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。なお、ステップＢ７〜Ｂ９は、それぞれ、図５に示したステップＡ２〜Ａ４の対応するステップと同様のステップである。
【００７５】
その後、なりすまし判定部３０４は、ステップＢ９の判定の結果（検知結果）を、端末装置５００の表示装置３３０によって画面上に提示する（ステップＢ１０）。これにより、端末装置５００のユーザは、検知結果を確認することができる。また、端末装置５００、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
【００７６】
［実施の形態２の効果］
以上のように本実施の形態２においても、実施の形態１と同様に、なりすまし検知装置３５０は、対象者の瞳の虹彩領域に形成された輝点の位置に依存しない特徴量を算出し、この特徴量に基づいて、なりすましかどうかを判定することができる。このため、本実施の形態２によれば、撮像装置３１０と顔との位置関係に影響されることなく、即ち、反射輝点の位置依存性に影響されることなく、なりすまし検知を行うことができる。
【００７７】
［プログラム］
本実施の形態２におけるプログラムは、コンピュータに、図７に示すステップＢ１〜Ｂ１０を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態２における、なりすまし検知装置３５０となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５として機能し、処理を行なう。
【００７８】
また、本実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５のいずれかとして機能しても良い。
【００７９】
（実施の形態３）
次に、本発明の実施の形態３における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図８〜図９を参照しながら説明する。
【００８０】
［装置構成］
最初に、本実施の形態３におけるなりすまし検知装置の構成について説明する。本実施の形態３において、なりすまし検知装置の構成は、図６に示した実施の形態２における、なりすまし検知装置３５０と同様の構成を備えている。従って、本実施の形態３においては、図６を参照する。
【００８１】
但し、本実施の形態３における、なりすまし検知装置は、特徴量算出部３０３及びなりすまし判定部３０４の機能の点で、実施の形態２における、なりすまし検知装置３５０と異なっている。以下、相違点を中心に説明する。
【００８２】
本実施の形態３では、より正確ななりすまし検知を達成する。このため、特徴量算出部３０３は、実施の形態１及び２に示した、輝点の位置に依存しない特徴量（以下「第１の特徴量」と表記する）に加えて、第２の特徴量を算出し、これらを統合する。
【００８３】
本実施の形態３において、第２の特徴量は、対象者の顔の拡散反射に基づいて求められており、顔の立体的形状を反映する特徴量である。人の顔領域では、虹彩領域で起こる鏡面反射は起こらず、フラッシュの光は、顔の立体的形状（凹凸）によって拡散反射する。従って、この拡散反射のパターンに基づいて、顔の立体形状を反映した特徴量を計算すれば、立体的な真の顔なのか、平面的な写真又は表示画面上の顔なのかを判定することができる。
【００８４】
具体的には、特徴量算出部３０３は、第１の画像データから、第１の顔情報に基づいて、対象者の顔領域（以下「第１の顔領域」と表記する）を特定し、第２の画像データからも、第２の顔情報に基づいて、対象者の顔領域（以下「第２の顔領域」と表記する）を特定する。そして、特徴量算出部３０３は、第１の顔領域の輝度分布と第２の顔領域の輝度分布との差分を求め、求めた差分から第２の特徴量を算出する。
【００８５】
ここで、第２の特徴量の算出方法について説明する。まず、拡散反射のモデルであるランバートモデルを検討する。ランバートモデルは、観測された輝度値Lを以下のように光源成分I、反射係数K、表面の角度成分θに由来すると考えるものである。
【００８６】
【数１】
2019163065.tif 000003
【００８７】
ここで、Kが光の波長λの関数であるため、観測された輝度値Lもまた波長λの関数となってしまう。よって、輝度値Lは、光の波長λ、即ち、光の色に依存性のある観測値であると言える。ところが、顔表面の色に依存して特徴量が変化してしまっては、正確に、なりすましを検知することができなくなる。そこで、発光装置３２０の発光中の画像と、発光装置３２０の消灯中の画像とを利用して、反射係数Kに依存しない第２の特徴量が算出される。具体的には、第２の特徴量は、以下のようにして算出される。
【００８８】
発光装置３２０の発光中に撮影された第１の画像フレームのピクセル毎の輝度値Linと、発光装置３２の消灯中に撮影された第２の画像フレームのピクセル毎の輝度値Loutとは、それぞれ以下の数２及び数３に示すように書き表すことができる。
【００８９】
【数２】
2019163065.tif 000004
【００９０】
【数３】
2019163065.tif 000005
【００９１】
ここで、上記の数１に倣い、Iは光源成分、Kは色依存の反射係数、θは表面の角度成分である。また、Ic及びIbは、それぞれ、カメラのフラッシュ光の強度、背景光（環境光）の強度である。x及びyは、画像フレームにおけるピクセルの位置を表している。θc及びθbは、それぞれ、カメラ光の入射角、背景光の入射角を表している。そして、顔領域の表面の色に依存せず、且つ、顔の立体的形状を反映する、第２の特徴量を求めることは、Kに依存しない特徴量を求めることに等しい。そこで、ピクセル毎の輝度値LinとLoutとの比を用いた特徴量として、次の数４を導入する。
【００９２】
【数４】
2019163065.tif 000006
【００９３】
数４に示す特徴量は、反射係数Kに非依存であり、色依存性が解消された特徴量であると言える。また、特徴量算出部３０３は、数４に示す特徴量を、１次元のベクトルに変換し、ピクセル毎の値を昇順または降順に並び替えことによって、変換を行う。これにより、得られた特徴量は、顔の表面で生じる光拡散反射が大きいほど値が大きくなるので、顔の立体的形状を反映している。
【００９４】
なりすまし判定部３０４は、本実施の形態３では、統合された第１の特徴量と第２の特徴量とを用いて真偽判定を行う。つまり、本実施の形態３では、顔情報を基にして、顔の複数の領域から異なる特徴量が計算され、それらを統合した特徴量に基づいて、真偽判定が行われる。
【００９５】
［装置動作］
次に、本発明の実施の形態３における、なりすまし検知装置の動作について図８を用いて説明する。図８は、本発明の実施の形態３における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図６を参酌する。また、本実施の形態３では、なりすまし検知装置を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態３におけるなりすまし検知方法の説明は、以下のなりすまし検知装置の動作説明に代える。
【００９６】
なお、図８の例においても、図７の例と同様に、対象者の顔のフラッシュ点灯中の画像と、フラッシュ消灯中の画像とがそれぞれ１枚撮影されているものとする。また、フラッシュ点灯時間は３００ミリ秒で、フラッシュ点灯開始から１５０ミリ秒後に１枚の画像が撮影され、フラッシュ消灯開始から１５０ミリ秒後に１枚の画像が撮影されるものとする。
【００９７】
図８に示すように、最初に、端末装置５００に対して認証が指示されると、撮影制御部３０５は、発光装置３２０に対して撮影と同時に発光を行うように指示を与え（ステップＣ１）、更に、撮像装置３１０に対して撮影を指示する（ステップＣ２）。
【００９８】
ステップＣ２が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第１の画像フレームとして取得する（ステップＣ３）。
【００９９】
次に、ステップＣ３の実行後、撮影制御部３０５は、発光装置３２０に対して消灯を行うように指示を与え（ステップＣ４）、更に、撮像装置３１０に対して撮影を指示する（ステップＣ５）。
【０１００】
ステップＣ５が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第２の画像フレームとして取得する（ステップＣ６）。
【０１０１】
次に、顔情報抽出部３０２は、ステップＣ３で取得された第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、ステップＣ６で取得された第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＣ７）。
【０１０２】
次に、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、輝点の位置に依存しない特徴量を算出する（ステップＣ８）。
【０１０３】
上述したステップＣ１〜Ｃ８は、実施の形態２において図７に示したステップＢ１〜Ｂ８と同様のステップであり、これらのステップによって同様の処理が行われる。但し、本実施の形態３においては、ステップＣ８に並行して、又はステップＣ８と前後して、ステップＣ９が実行される。
【０１０４】
ステップＣ９では、特徴量算出部３０３は、対象者の顔の拡散反射に基づいて、顔の立体的形状を反映する第２の特徴量を算出する。具体的には、特徴量算出部３０３は、第１の画像データから、第１の顔情報に基づいて、第１の顔領域を特定し、第２の画像データからも、第２の顔情報に基づいて、第２の顔領域を特定する。そして、特徴量算出部３０３は、第１の顔領域の輝度分布と第２の顔領域の輝度分布との差分を求め、求めた差分から第２の特徴量を算出する。
【０１０５】
図９は、本実施の形態３において、虹彩領域から算出された特徴量と顔領域から算出された特徴量との一例を示す図である。図９に示すように、本実施の形態３では、虹彩領域から算出された特徴量と顔領域から算出された特徴量とが得られている。図９において、７０１は、本物の顔の虹彩領域から計算された特徴ベクトルを示し、７０２は、偽物の顔の虹彩領域から計算された特徴ベクトルを示している。
【０１０６】
次に、特徴量算出部３０３は、ステップＣ８で得られた特徴量と、ステップＣ９で得られた特徴量とを統合する（ステップＣ１０）。具体的には、各特徴量は、１次元のベクトルに変換されているので、２つの特徴量を統合して１つのベクトルとする。
【０１０７】
次に、なりすまし判定部３０４は、ステップＣ１０で統合された特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＣ１０）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。ステップＣ１０は、図７に示したステップＢ９と同様のステップである。
【０１０８】
その後、なりすまし判定部３０４は、ステップＢ９の判定の結果（検知結果）を、端末装置５００の表示装置３３０によって画面上に提示する（ステップＣ１１）。ステップＣ１１は、図７に示したステップＢ１０と同様のステップである。
【０１０９】
これにより、本実施の形態３においても、端末装置５００のユーザは、検知結果を確認することができる。また、端末装置５００、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
【０１１０】
［実施の形態３の効果］
以上のように、本実施の形態３では、発光装置３２０からの光が鏡面反射する虹彩領域と、発光装置３２０からの光が拡散反射する顔領域という反射の形態が異なる２領域を組み合わせて、特徴量が算出される。そして、この組合せによる特徴量によって真偽判定が行われるので、本実施の形態３によれば、より精度の高い、なりすまし検知が可能となる。
【０１１１】
［プログラム］
本実施の形態３におけるプログラムは、コンピュータに、図８に示すステップＣ１〜Ｃ１２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態３における、なりすまし検知装置となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５として機能し、処理を行なう。
【０１１２】
また、本実施の形態３におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５のいずれかとして機能しても良い。
【０１１３】
（各実施の形態における変形例）
上述の実施の形態３においては、なりすまし判定部３０４は、ステップＣ８で算出した特徴量に基づいた真偽判定と、ステップＣ９で算出した特徴量に基づいた真偽判定とを別々に実行することができる。この場合、なりすまし判定部３０４は、２つの真偽判定の結果から総合的に判断して、最終的になりすましか否かを判定する。
【０１１４】
具体的には、なりすまし判定部３０４は、真偽判定毎に、真である可能性を示すスコア（真贋値）を算出し、例えば、２つのスコアの平均値を求め、平均値が一定値以上を超えたら真である（本物の人間である）と判定する。
【０１１５】
また、上述の実施の形態２及び３では、発光装置３２０の発光中及び消灯中に撮影する顔画像はそれぞれ１枚の静止画であり、発光時間は３００ミリ秒、撮影タイミングは、それぞれ、発光開始から１５０ミリ秒と、消灯後１５０ミリ秒とであるとしている。但し、これらの設定は、一例であり、変更されても良い。例えば、撮影制御部３０５は、ユーザが端末装置５００に入力した値に応じて、設定を変更することもできる。
【０１１６】
また、上述の実施の形態１〜３においては、撮像装置３１０による撮影は、対象者の顔が静止している状態で行われる。これは、画像中の対象者の顔の抽出が必要となるからである。そのため、撮影時において、対象者に顔を動かさないよう促すことが好ましい。このため、顔画像取得部３０１は、例えば、撮影を指示する前に、表示装置の表示画面等に、対象者の顔を動かさないように促すメッセージを表示するのが良い。
【０１１７】
（物理構成）
ここで、実施の形態１〜３におけるプログラムを実行することによって、なりすまし検知装置を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態１〜３における、なりすまし検知装置を実現するコンピュータの一例を示すブロック図である。
【０１１８】
図１０に示す、コンピュータ４００は、例えば、携帯電話機、スマートフォンなどの携帯型の端末装置に組み込まれるコンピュータである。図１０に示すように、コンピュータ４００は、プロセッサ４０１と、メモリ４０２と、ストレージ４０３と、入出力インタフェース（入出力Ｉ／Ｆ）４０４と、通信インタフェース（通信Ｉ／Ｆ）４０５とを備えている。プロセッサ４０１、メモリ４０２、ストレージ４０３、入出力インタフェース４０４、及び通信インタフェース４０５は、相互にデータを送受信するためのデータ伝達路（バス）４０６で接続されている。なお、コンピュータ４００のハードウェア構成は、図１０に示される構成に制限されるものではない。
【０１１９】
プロセッサ４０１は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）等の演算処理装置である。メモリ４０２は、例えば、ＲＡＭ（random Access Memory）、ＲＯＭ（read only memory）等のメモリである。ストレージ４０３は、例えば、ＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、又はメモリカード等の記憶装置である。
【０１２０】
メモリ４０２またはストレージ４０３は、なりすまし検知装置を構成する各部を実現するためのプログラムを記憶している。プロセッサ４０１が、プログラムを実行することで、各部が実現され、各種処理が実行される。ここで、プロセッサ４０１は、プログラムを実行する際、プログラムをメモリ４０２上に読みだしてから、これを実行しても良いし、メモリ４０２上に読みださずに、これを実行しても良い。
【０１２１】
また、上記のプログラムは、様々なタイプの非一時的なコンピュータ読み取り可能な記録媒体に格納されて、コンピュータ４００に供給されても良い。非一時的なコンピュータ読み取り可能な記録媒体としては、様々なタイプの実体のある記録媒体が挙げられる。
【０１２２】
非一時的なコンピュータ読み取り可能な記録媒体の例としては、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（compact disc read only memory）、ＣＤ−Ｒ（compactdisc recordable）、ＣＤ−Ｒ／Ｗ（compact disc rewritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）等が挙げられる。
【０１２３】
また、プログラムは、様々なタイプの一時的なコンピュータ読み取り可能な記録媒体によってコンピュータ４００に供給されても良い。一時的なコンピュータ読み取り可能な記録媒体の例としては、電気信号、光信号、及び電磁波が挙げられる。一時的なコンピュータ読み取り可能な記録媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【０１２４】
入出力インタフェース４０４は、撮像装置３１０、表示装置３３０、及び入力装置３４０等と接続される。表示装置３３０は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイのような、プロセッサ４０１により処理された描画データに対応して画面を表示する装置である。通信インタフェース４０５は、外部の装置との間でデータを送受信する。例えば、通信インタフェース４０５は、有線ネットワーク又は無線ネットワークを介して外部装置と通信する。
【０１２５】
撮像装置３１０は、デジタルカメラ、デジタルビデオカメラ等のように、ユーザ又は対象者自身が対象者の顔等を撮影するための装置である。入力装置３４０は、ユーザの操作入力を受け付ける装置であり、例えば、キーボード、タッチセンサ、タッチパネル等である。入力装置３４０が、例えば、タッチパネルである場合は、入力装置３４０と表示装置３３０とは一体化されていても良い。
【０１２６】
なお、本実施の形態における、なりすまし検知装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、なりすまし検知装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【０１２７】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
【０１２８】
（付記１）
撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、特徴量算出部と、
前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする、なりすまし検知装置。
【０１２９】
（付記２）
付記１に記載のなりすまし検知装置であって、
前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、撮影制御部を更に備えている、
ことを特徴とする、なりすまし検知装置。
【０１３０】
（付記３）
付記１または２に記載のなりすまし検知装置であって、
前記特徴量算出部が、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
前記なりすまし判定部が、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知装置。
【０１３１】
（付記４）
付記３に記載のなりすまし検知装置であって、
前記なりすまし判定部が、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知装置。
【０１３２】
（付記５）
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする、なりすまし検知方法。
【０１３３】
（付記６）
付記５に記載のなりすまし検知方法であって、
（ｅ）前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、ステップを更に有する、
ことを特徴とする、なりすまし検知方法。
【０１３４】
（付記７）
付記５または６に記載のなりすまし検知方法であって、
前記（ｃ）のステップにおいて、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知方法。
【０１３５】
（付記８）
付記７に記載のなりすまし検知方法であって、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知方法。
【０１３６】
（付記９）
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、プログラムを記録している、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
【０１３７】
（付記１０）
付記９に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
（ｅ）前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、ステップを実行させる命令を更に含む、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
【０１３８】
（付記１１）
付記９または１０に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
【０１３９】
（付記１２）
付記１１に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
【０１４０】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【０１４１】
以上のように本発明によれば、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行することができる。本発明は、顔認証が行われる種々のシステムに有用である。
【符号の説明】
【０１４２】
１０１  ユーザ
１０２  フラッシュ点灯中のカメラ付き端末装置
１０３  フラッシュ消灯中のカメラ付き端末装置
１０５  フラッシュ点灯中の画像
１０６  フラッシュ消灯中の画像
２０１、２０２  虹彩領域の画像の一部
２０３、２０４  虹彩領域から計算された従来の特徴量
２０５、２０６  虹彩領域から計算された本発明の特徴量
３００  なりすまし検知装置（実施の形態１）
３０１  顔画像取得部
３０２  顔情報抽出部
３０３  特徴量算出部
３０４  なりすまし判定部
３０５  撮影制御部
３１０  撮像装置
３２０  発光装置
３３０  表示装置
３４０  入力装置
３５０  なりすまし検知装置（実施の形態２）
４００  コンピュータ
４０１  プロセッサ
４０２  メモリ
４０３  ストレージ
４０４  入出力インタフェース（入出力Ｉ／Ｆ）
５００  端末装置
７０１  本物の顔の虹彩領域から計算された特徴ベクトル
７０２  偽物の顔の虹彩領域から計算された特徴ベクトル
【図１】
2019163065.tif 000007
【図２】
2019163065.tif 000008
【図３】
2019163065.tif 000009
【図４】
2019163065.tif 000010
【図５】
2019163065.tif 000011
【図６】
2019163065.tif 000012
【図７】
2019163065.tif 000013
【図８】
2019163065.tif 000014
【図９】
2019163065.tif 000015
【図１０】
2019163065.tif 000016
【手続補正書】
【提出日】令和2年7月13日(2020.7.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、特徴量算出部と、
前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする、なりすまし検知装置。
【請求項２】
請求項１に記載のなりすまし検知装置であって、
前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、撮影制御部を更に備えている、
ことを特徴とする、なりすまし検知装置。
【請求項３】
請求項１または２に記載のなりすまし検知装置であって、
前記特徴量算出部が、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
前記なりすまし判定部が、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知装置。
【請求項４】
請求項３に記載のなりすまし検知装置であって、
前記なりすまし判定部が、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知装置。
【請求項５】
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする、なりすまし検知方法。
【請求項６】
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、顔認証時のなりすましを検知するための、なりすまし検知装置、及びなりすまし検知方法に関し、更には、これらを実現するためのプログラムに関する。 
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の目的の一例は、上記課題を解消し、顔認証の際に、反射輝点の位置依存性に影響されることなく、なりすまし検知を実行しうる、なりすまし検知装置、なりすまし検知方法、及びプログラムを提供することにある。 
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、
を実行させる命令を含む、ことを特徴とする。 
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１３６
【補正方法】変更
【補正の内容】
【０１３６】
（付記９）
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、前記輝点の位置に依存しない特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる命令を含む、プログラム。 
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
（付記１０）
付記９に記載のプログラムであって、
前記コンピュータに、
（ｅ）前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、ステップを実行させる命令を更に含む、
ことを特徴とする、プログラム。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】
（付記１１）
付記９または１０に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記輝点の位置に依存しない特徴量に加えて、対象者の顔の立体的形状を反映する第２の特徴量を算出し、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、プログラム。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
（付記１２）
付記１１に記載のプログラムであって、
前記（ｄ）のステップにおいて、前記輝点の位置に依存しない特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、プログラム。
【国際調査報告】
2019163065.tif 000017
2019163065.tif 000018
2019163065.tif 000019