(57)【特許請求の範囲】
【請求項１】
撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
前記第１の顔情報を用いて、前記第１の画像フレームにおける顔の部分の輝度値を求め、前記第２の顔情報を用いて、前記第２の画像フレームにおける顔の部分の輝度値を求め、求めた各輝度値に基づいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量を算出する、特徴量算出部と、
前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする、なりすまし検知装置。
【請求項２】
請求項１に記載のなりすまし検知装置であって、
前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、撮影制御部を更に備えている、
ことを特徴とする、なりすまし検知装置。
【請求項３】
請求項１または２に記載のなりすまし検知装置であって、
前記特徴量算出部が、更に、前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、第２の特徴量を算出し、
前記なりすまし判定部が、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知装置。
【請求項４】
請求項３に記載のなりすまし検知装置であって、
前記なりすまし判定部が、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知装置。
【請求項５】
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の顔情報を用いて、前記第１の画像フレームにおける顔の部分の輝度値を求め、前記第２の顔情報を用いて、前記第２の画像フレームにおける顔の部分の輝度値を求め、求めた各輝度値に基づいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする、なりすまし検知方法。
【請求項６】
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の顔情報を用いて、前記第１の画像フレームにおける顔の部分の輝度値を求め、前記第２の顔情報を用いて、前記第２の画像フレームにおける顔の部分の輝度値を求め、求めた各輝度値に基づいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認証時のなりすましを検知するための、なりすまし検知装置、及びなりすまし検知方法に関し、更には、これらを実現するためのプログラムに関する。
【背景技術】
【０００２】
顔認証をはじめとする、生体認証技術を利用したログインシステムは、パスワードを利用したログインシステムと異なり、パスワードの記憶及び管理の負担がないという利点を有している。【０００３】
但し、生体認証技術を利用したログインシステムでは、パスワードを利用したログインシステムと異なり、本人が正しくシステムを使用していても、認証エラーが起こる可能性がある。更に、生体認証技術を利用したログインシステムでは、誤って第三者を本人と認識してしまう可能性、悪意を持った第三者が本人の画像又は動画を用いて認証を試みたときに認証されてしまう可能性もある。【０００４】
このため、生体認証技術を利用したログインシステムでは、セキュリティの観点から、本人でない第三者による、このような偽装（なりすまし）ログインは大きな問題となっており、なりすましを防ぐための検知技術の需要が高まっている。【０００５】
特に、モバイル端末上のアプリケーションプログラムによるログインにおいて、顔認証を利用する場合には、モバイル端末に搭載されているハードウェアが限られているため、なりすまし対策は、一般的に、より困難なものとなる。例えば、顔認証におけるなりすまし検知システムに用いられる技術としては、赤外線カメラのような特殊センサを用いる技術、複数台のカメラで別方向から撮影を行う技術、フォーカス切り替えを行って顔の奥行きを測る技術等が挙げられる。【０００６】
しかし、これらの技術を用いるために必要なハードウェアを搭載しているモバイル端末は、現在のところ、一般的ではない。顔認証時のなりすまし検知に使用可能なハードウェアのうち、多くのモバイル端末が具備しているハードウェアとしては、ユーザ側に向いたインカメラと、それに付随して設けられた発光装置（フラッシュ）とがある。このため、これらを利用して、なりすましを検知する技術が提案されている（例えば、特許文献１及び２参照）。【０００７】
特許文献１及び２は、共に、顔の表面に光を照射し、顔で反射された反射光を利用して、顔が本物の人であるかどうかを判定する、なりすまし検知装置を開示している。具体的には、特許文献１に開示された、なりすまし検知装置は、立体的な本物の人間の顔と、写真又は動画における平面的な顔とでは、顔表面へ当たる光の入射角が違い、特定の位置から観測した反射光が異なるという拡散反射の特性を利用して、なりすましを検知する。【０００８】
また、特許文献２に開示された、なりすまし検知装置は、まず、画像データに含まれる顔の複数の特徴点を検出し、検出した特徴点を予め用意されている３次元モデルに適用して、画像データに含まれる顔を正規化する。正規化により、特徴点と、３次元モデル上の特徴点との位置関係が求められる。よって、特許文献２に開示された、なりすまし検知装置は、正規化によって得られたパターンから、光の照明方向を推定し、推定結果から、なりすましを検知する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１５−２１５８７６号公報
【特許文献２】特開２０１０−２３１３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、対象者の顔表面に光を照射すると、眼球、メガネなどの例外的な面を除いて光は拡散反射する。従って、上記特許文献１及び２に開示された、なりすまし検知装置では、この反射光に基づいて対象者の顔の立体形状を計測することになる。【００１１】
しかしながら、このような拡散反射を利用する手法には、色依存性の問題が存在する。色依存せいの問題は、同じ立体形状を呈する物体であっても、色によって、拡散反射の結果が異なるという問題である。この点について以下に具体的に説明する。【００１２】
まず、拡散反射は、一般的に物質表面の色に依存する。拡散反射のモデルであるランバートモデルは、観測された輝度値Lを、以下の数１に示すように、光源成分I、反射係数K、表面の角度成分θに由来すると考える。【００１３】
【数１】
0006984724.tif 000002
【００１４】
数１において、Kは光の波長λの関数であるため、観測された輝度値Lもまた波長λの関数となる。つまり、輝度値Lは、光の波長、即ち、色に依存性のある観測値であると言える。【００１５】
従って、特許文献１及び２に開示された、なりすまし検知装置は、物体表面で拡散反射された光に基づいて、なりすまし検知を行うため、これらのなりすまし検知装置には、上記数１と同様のランバートモデルが適用できる。つまり、上記特許文献１及び２に開示された、なりすまし検知装置では、色依存性の問題が生じていると考えられる。【００１６】
本発明の目的の一例は、上記の問題を解消し、顔認証の際に、色依存性に影響されることなく、なりすまし検知を実行し得る、なりすまし検知装置、なりすまし検知方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明の一側面における、なりすまし検知装置は、
撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
前記第１の顔情報を用いて、前記第１の画像フレームにおける顔の部分の輝度値を求め、前記第２の顔情報を用いて、前記第２の画像フレームにおける顔の部分の輝度値を求め、求めた各輝度値に基づいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量を算出する、特徴量算出部と、
前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする。【００１８】
また、上記目的を達成するため、本発明の一側面における、なりすまし検知方法は、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の顔情報を用いて、前記第１の画像フレームにおける顔の部分の輝度値を求め、前記第２の顔情報を用いて、前記第２の画像フレームにおける顔の部分の輝度値を求め、求めた各輝度値に基づいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする。【００１９】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の顔情報を用いて、前記第１の画像フレームにおける顔の部分の輝度値を求め、前記第２の顔情報を用いて、前記第２の画像フレームにおける顔の部分の輝度値を求め、求めた各輝度値に基づいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる、プログラム。
【発明の効果】
【００２０】
以上のように本発明によれば、顔認証の際に、色依存性に影響されることなく、なりすまし検知を実行することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明において、顔領域上での拡散反射による特徴量の算出手法の一例を示す図である。
【図２】図２は、色依存性による特徴量の変化を説明する説明図である。
【図３】実施の形態１に係るなりすまし検知装置の機能ブロック構成の例を示す機能ブロック図である。
【図４】図４は、本発明の実施の形態において算出される特徴量の一例を示す図である。
【図５】図５は、本発明の実施の形態１における、なりすまし検知装置の動作を示すフロー図である。
【図６】図６は、本発明の実施の形態２におけるなりすまし検知装置の構成を示すブロック図である。
【図７】図７は、本発明の実施の形態２における、なりすまし検知装置の動作を示すフロー図である。
【図８】図８は、本発明の実施の形態３における、なりすまし検知装置の動作を示すフロー図である。
【図９】図９は、本実施の形態３において顔領域から算出された特徴量と虹彩領域から算出された特徴量との一例を示す図である。
【図１０】図１０は、本発明の実施の形態１〜３における、なりすまし検知装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００２２】
（発明の概要）
まず、本発明の実施の形態を説明する前に、本発明の概要について説明する。上述のように、顔表面における拡散反射は、顔表面の色彩に依存してしまう。このため、背景技術の欄に記載した特許文献１及び２においては、顔表面の色彩の影響を受けてしまい、同じ立体形状を呈する顔であっても、色によって、なりすましの検知結果が変化する可能性がある。これに対して、本発明は、フラッシュ点灯中に撮影された対象者の画像と、フラッシュ消灯中に撮影された対象者の顔画像とに基づいて、色非依存の特徴量を計算することにより、この問題に対処する。
【００２３】
ここで、図１および図２を参照して、本発明における、フラッシュ点灯中、及び、フラッシュ消灯中に撮影された画像から、色依存性を解消した特徴量を計算する方法を、従来からの特徴量の計算方法と対比して説明する。図１は、本発明において、顔領域上での拡散反射による特徴量の算出手法の一例を示す図である。図２は、色依存性による特徴量の変化を説明する説明図である。
【００２４】
まず、図１に示すように、ユーザ１０１は、自身の顔を、フラッシュ点灯中のカメラ付きの端末装置１０２によって、少なくとも１回撮影を行い、更に、フラッシュ消灯中のカメラ付きの端末装置１０３によっても、少なくとも１回撮影を行う。本発明では、各撮影によって得られた２種類の画像フレームから、顔領域における特徴量が計算される。図１において、１０４は、特徴量の計算プロセスを抽象的に示す図形である。
【００２５】
計算の結果、図１の右側に示す特徴量１０５又は特徴量１０６が得られる。特徴量１０５のように立体形状が現れていれば、撮影された顔は、真の顔であると判定される。一方、特徴量１０６のように平面的であれば、撮影された顔は、写真又はディスプレイに映された偽の顔であると判定される。
【００２６】
ところが、上述のように顔領域では、数１に示したように、色に依存した反射が行われる。図２に示すように、例えば、立体形状を定める特性の１つである傾きが似通っている顔上の点２０１と点２０２とが存在するとする。このとき、顔にかかる陰等により、点２０１と点２０２との色彩が異なっていると、波長λに依存する反射係数Kが、グラフ２０３とグラフ２０４とに示されるように異なってしまう。この場合、上述した特許文献１及び２に開示された、なりすまし検知装置では、結果として、顔の部分に応じて、特徴量の値が変化し、正確ななりすまし判定に支障をきたす可能性がある。
【００２７】
本発明では、このような色依存性の問題に対処するために、フラッシュ点灯中、及び、フラッシュ消灯中に撮影された画像フレームより、反射係数Kに依存しない特徴量が計算される。この結果、本発明によれば、対象者の顔表面の色彩変化に対して頑健ななりすまし検知を正確に行うことができる。
【００２８】
以下、本発明の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化が為されている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。また、各実施の形態で示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、これに限定されるものではない。
【００２９】
（実施の形態１）
以下、本発明の実施の形態１における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図３〜図５を参照しながら説明する。
【００３０】
［装置構成］
最初に、図３を用いて、本実施の形態１におけるなりすまし検知装置の構成について説明する。図３は、本発明の実施の形態１におけるなりすまし検知装置の構成を示すブロック図である。
【００３１】
図３に示す、本実施の形態１における、なりすまし検知装置３００は、顔認証時のなりすましを検知するための装置である。図１に示すように、なりすまし検知装置３００は、顔画像取得部３０１と、顔情報抽出部３０２と、特徴量算出部３０３と、なりすまし判定部３０４とを備えている。
【００３２】
顔画像取得部３０１は、撮像装置３１０から、それに付随する発光装置３２０によって発光が行われた際の対象者の顔を含む第１の画像フレームと、発光装置３２０が消灯している際の対象者の顔を含む第２の画像フレームを取得する。
【００３３】
顔情報抽出部３０２は、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出する。また、顔情報抽出部３０２は、第２の画像フレームから、対象者の顔の部分を特定する情報を第２の顔情報として抽出する。
【００３４】
特徴量算出部３０３は、まず、第１の顔情報を用いて、第１の画像フレームにおける顔の部分の輝度値を求め、第２の顔情報を用いて、第２の画像フレームにおける顔の部分の輝度値を求める。そして、特徴量算出部３０３は、求めた各輝度値に基づいて、対象者の顔の立体的形状を反映し、且つ、対象者の顔の表面の色彩には依存しない、特徴量を算出する。
【００３５】
なりすまし判定部３０４は、特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。
【００３６】
このように、本実施の形態１においては、なりすまし検知装置３００は、背景技術の欄に記載した従来のなりすまし検知装置と異なり、対象者の顔の表面の色彩に依存しない特徴量を算出することができる（上述の図２参照）。このため、本実施の形態１によれば、顔認証の際に、色依存性に影響されることなく、なりすましを検知することができる。
【００３７】
続いて、本実施の形態１におけるなりすまし検知装置３００の構成についてより具体的に説明する。まず、図３に示すように、本実施の形態１では、なりすまし検知装置３００は、発光装置３２０を備えた撮像装置３１０に接続されている。撮像装置３１０としては、デジタルカメラ、デジタルビデオカメラ等が挙げられる。
【００３８】
顔画像取得部３０１は、上述したように、発光装置が発光中に撮影された第１の画像フレームと、発光装置が消灯中に撮影された第２の画像フレームとを取得する。また、このとき取得される第１の画像フレーム及び第２の画像フレームは、静止画像の画像フレームであっても良いし、動画像の画像フレームあっても良い。
【００３９】
顔情報抽出部３０２は、本実施の形態１では、まず、第１の画像フレーム及び第２の画像フレームそれぞれから、対象者の顔の部分の領域（以下「顔領域」と表記する）を検出する。具体的には、顔情報抽出部３０２は、例えば、Ｈａａｒ−ｌｉｋｅ特徴量を用いて、顔領域を検出する。Ｈａａｒ−ｌｉｋｅ特徴量を用いた顔領域の検出方法は、例えば、下記の参考文献１に開示されている。
【００４０】
［参考文献１］
P.Viola and M. Jones, “Rapid Object Detection Using aBoosted Cascade of Simple Features,” Proceedings of the2001 IEEE Computer Society Conference on Computer Vision and PatternRecognition (CVPR), Vol. 1, 2001, pp. 511-518.
【００４１】
続いて、顔情報抽出部３０２は、第１の画像フレームから抽出した顔領域から、第１の顔情報を抽出し、第２の画像フレームから抽出した顔領域から、第２の顔情報を抽出する。具体的には、顔情報抽出部３０２は、顔領域から、顔の各部の領域を推定し、推定した各部の領域の位置を特定する情報を顔情報とする。
【００４２】
顔情報抽出部３０２は、例えば、目間距離を用いて、顔中心と同じ中心を持ち、横幅が目間距離の２倍、縦幅が目間距離の３倍ある矩形によって、顔領域を定義するこができ、この定義を顔情報とする。また、目間距離は、画像フレームから目を検出することによって算出される。目の検出には、例えば、リングガボールフィルターを用いることができる。リングガボールフィルターを用いた顔領域の検出は、例えば、下記の参考文献２に開示されている。
【００４３】
［参考文献２］
Zhang,Y., Sun, N., Gao, Y., and Cao, M. (2008). A new eye location method based onRing Gabor Filter. In Automation and Logistics, 2008. ICAL 2008. IEEEInternational Conference On, (IEEE), pp. 301-305.
【００４４】
本実施の形態１において、特徴量算出部３０３は、対象者の顔の拡散反射に基づいて、特徴量を算出している。人の顔領域では、発光装置３２０からの光は、顔の立体的形状（凹凸）によって拡散反射する。従って、この拡散反射のパターンに基づいて、顔の立体形状を反映した特徴量を計算すれば、立体的な真の顔なのか、平面的な写真又は表示画面上の顔なのかを判定することができる。
【００４５】
ここで、本実施の形態１における特徴量の算出方法についてより詳細に説明する。まず、拡散反射のモデルであるランバートモデル（発明が解決しようする課題の欄の数１を参照）から分かるように、輝度値Lは、光源成分I、反射係数K、表面の角度成分θに由来すると考えられる。
【００４６】
そして、上記数１から分かるように、反射係数Kが光の波長λの関数であるため、観測された輝度値Lもまた波長λの関数となってしまう。よって、輝度値Lは、光の波長λ、即ち、光の色に依存性のある観測値であると言える。ところが、顔表面の色に依存して特徴量が変化してしまっては、正確に、なりすましを検知することができなくなる。そこで、本実施の形態１では、発光装置３２０の発光中の画像と、発光装置３２０の消灯中の画像とを利用して、反射係数Kに依存しない特徴量が算出される。具体的には、特徴量は、以下のようにして算出される。
【００４７】
発光装置３２０の発光中に撮影された第１の画像フレームのピクセル毎の輝度値Linと、発光装置３２の消灯中に撮影された第２の画像フレームのピクセル毎の輝度値Loutとは、それぞれ以下の数２及び数３に示すように書き表すことができる。
【００４８】
【数２】
0006984724.tif 000003
【００４９】
【数３】
0006984724.tif 000004
【００５０】
ここで、上記の数１に倣い、Iは光源成分、Kは色依存の反射係数、θは表面の角度成分である。また、Ic及びIbは、それぞれ、カメラのフラッシュ光の強度、背景光（環境光）の強度である。x及びyは、画像フレームにおけるピクセルの位置を表している。θc及びθbは、それぞれ、カメラ光の入射角、背景光の入射角を表している。そして、顔領域の表面の色に依存せず、且つ、顔の立体的形状を反映する、特徴量を求めることは、Kに依存しない特徴量を求めることに等しい。そこで、ピクセル毎の輝度値LinとLoutとの比を用いた特徴量として、次の数４を導入する。
【００５１】
【数４】
0006984724.tif 000005
【００５２】
上記数４に示す特徴量は、反射係数Kに非依存であり、色依存性が解消された特徴量であると言える。従って、特徴量算出部３０３は、上記数４を用いて特徴量を算出する。また、図４は、本発明の実施の形態において算出される特徴量の一例を示す図である。図４の例では、６０１は、本物の顔から算出された特徴量であり、６０２は、偽物の顔（写真、表示装置の画面に表示された顔）から算出された特徴量である。
【００５３】
なりすまし判定部３０４は、本実施の形態１では、特徴量算出部３０３によって計算された特徴量を、予め作成された分類器に適用することによって、対象者の真偽判定、即ち、対象者が本物の人間であるかどうかを判定する。
【００５４】
具体的には、分類器としては、例えば、サポートベクトルマシン（ＳＶＭ：Support Vector Machine）を用いて構築されたＳＶＭ２値分類器が挙げられる。また、この分類器は、予め、本物の人の顔の画像から算出された特徴量と、偽の人の顔の画像から算出された特徴量とを用意し、これらを用いた学習を行うことによって構築される。なお、サポートベクトルマシンを用いた分類器の構築方法は、下記の参考文献３に開示されている。
【００５５】
［参考文献３］
V. Vapnik and A. Lerner. Pattern recognition using generalizedportrait method. Automation and Remote Control, 24, 1963.
【００５６】
［装置動作］
次に、本発明の実施の形態１における、なりすまし検知装置３００の動作について図５を用いて説明する。図５は、本発明の実施の形態１における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図３及び図４を参酌する。また、本実施の形態１では、なりすまし検知装置３００を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態１におけるなりすまし検知方法の説明は、以下のなりすまし検知装置３００の動作説明に代える。
【００５７】
図５に示すように、最初に、顔画像取得部３０１は、撮像装置３１０から、それに付随する発光装置３２０によって発光が行われた際の対象者の顔を含む第１の画像フレームと、発光装置３２０が消灯している際の対象者の顔を含む第２の画像フレームを取得する（ステップＡ１）。
【００５８】
次に、顔情報抽出部３０２は、第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＡ２）。
【００５９】
次に、特徴量算出部３０３は、まず、第１の顔情報を用いて、第１の画像フレームにおける顔の部分の輝度値を求め、第２の顔情報を用いて、第２の画像フレームにおける顔の部分の輝度値を求める。そして、特徴量算出部３０３は、求めた各輝度値に基づいて、対象者の顔の立体的形状を反映し、且つ、対象者の顔の表面の色彩には依存しない、特徴量を算出する（ステップＡ３）。
【００６０】
具体的には、ステップＡ３では、特徴量算出部３０３は、第１の顔情報から、第１の画像フレームの顔の部分のピクセル毎の輝度値Linを求め、第２の顔情報から、第２の画像フレームの顔の部分のピクセル毎の輝度値Loutを求め、求めた各輝度値を上記数４に適用して、特徴量を算出する。
【００６１】
その後、なりすまし判定部３０４は、ステップＡ３で特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＡ４）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。
【００６２】
ステップＡ４の実行後、なりすまし検知装置は、検知結果を利用する装置に、判定結果を通知する。通知を受けた装置は、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
【００６３】
［実施の形態１における効果］
以上のように、本実施の形態１によれば、なりすまし検知装置３００は、対象者の顔表面の色彩に依存しない特徴量を算出し、この特徴量に基づいて、なりすましかどうかを判定することができる。このため、本実施の形態１によれば、顔認証の際に、色味に依存しないより正確な真偽判定を行うことができる。
【００６４】
［プログラム］
本実施の形態１におけるプログラムは、コンピュータに、図５に示すステップＡ１〜Ａ４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における、なりすまし検知装置３００となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、及びなりすまし判定部３０４として機能し、処理を行なう。
【００６５】
また、本実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、及びなりすまし判定部３０４のいずれかとして機能しても良い。
【００６６】
（実施の形態２）
次に、本発明の実施の形態２における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図６及び図７を参照しながら説明する。
【００６７】
［装置構成］
最初に、図６を用いて、本実施の形態２におけるなりすまし検知装置の構成について説明する。図６は、本発明の実施の形態２におけるなりすまし検知装置の構成を示すブロック図である。
【００６８】
図６に示すように、本実施の形態２における、なりすまし検知装置３５０は、携帯型の端末装置５００によって構築されている。具体的には、なりすまし検知装置３５０は、端末装置５００のオペレーティングシステム上で動作するプログラムによって構築されている。また、端末装置５００は、撮像装置３１０と、発光装置３２０と、表示装置３３０と、入力装置３４０とを備えている。
【００６９】
また、図６に示すように、本実施の形態２においても、なりすまし検知装置３５０は、図３に示した実施の形態１における、なりすまし検知装置３００と同様に、顔画像取得部３０１と、顔情報抽出部３０２と、特徴量算出部３０３と、なりすまし判定部３０４とを備えている。これらの機能は、実施の形態１で述べた通りである。
【００７０】
但し、本実施の形態２では、実施の形態１と異なり、なりすまし検知装置３５０は、更に、撮影制御部３０５を備えている。撮影制御部３０５は、撮像装置３１０による撮影、発光装置３２０による発光及び消灯を制御し、発光装置３２０における発光時間、及び撮像装置３１０における撮影タイミングを設定する。
【００７１】
具体的には、撮影制御部３０５は、発光装置３２０に対して発光を指示した後、撮像装置３１０に対して１５０ミリ秒の撮影を指示する。また、その後、撮影制御部３０５は、発光装置３２０に対して消灯を指示した後、撮像装置３１０に対して１５０ミリ秒の撮影を指示する。
【００７２】
［装置動作］
次に、本発明の実施の形態２における、なりすまし検知装置３５０の動作について図７を用いて説明する。図７は、本発明の実施の形態２における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図６を参酌する。また、本実施の形態２では、なりすまし検知装置３５０を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態２におけるなりすまし検知方法の説明は、以下のなりすまし検知装置３５０の動作説明に代える。
【００７３】
なお、図７の例では、対象者の顔の発光中の画像と、消灯中の画像とがそれぞれ１枚撮影されているものとする。また、発光装置３２０の発光時間は３００ミリ秒で、発光開始から１５０ミリ秒後に１枚の画像が撮影され、消灯開始から１５０ミリ秒後に１枚の画像が撮影されるものとする。
【００７４】
図７に示すように、最初に、端末装置５００に対して認証が指示されると、撮影制御部３０５は、発光装置３２０に対して撮影と同時に発光を行うように指示を与え（ステップＢ１）、更に、撮像装置３１０に対して撮影を指示する（ステップＢ２）。
【００７５】
ステップＢ２が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第１の画像フレームとして取得する（ステップＢ３）。
【００７６】
次に、ステップＢ３の実行後、撮影制御部３０５は、発光装置３２０に対して消灯を行うように指示を与え（ステップＢ４）、更に、撮像装置３１０に対して撮影を指示する（ステップＢ５）。
【００７７】
ステップＢ５が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第２の画像フレームとして取得する（ステップＢ６）。
【００７８】
次に、顔情報抽出部３０２は、ステップＢ３で取得された第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、ステップＢ６で取得された第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＢ７）。
【００７９】
特徴量算出部３０３は、まず、第１の顔情報を用いて、第１の画像フレームにおける顔の部分の輝度値を求め、第２の顔情報を用いて、第２の画像フレームにおける顔の部分の輝度値を求める。そして、特徴量算出部３０３は、求めた各輝度値に基づいて、対象者の顔の立体的形状を反映し、且つ、対象者の顔の表面の色彩には依存しない、特徴量を算出する（ステップＢ８）。
【００８０】
次に、なりすまし判定部３０４は、ステップＢ８で特徴量算出部３０３が算出した特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＢ９）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。なお、ステップＢ７〜Ｂ９は、それぞれ、図５に示したステップＡ２〜Ａ４の対応するステップと同様のステップである。
【００８１】
その後、なりすまし判定部３０４は、ステップＢ９の判定の結果（検知結果）を、端末装置５００の表示装置３３０によって画面上に提示する（ステップＢ１０）。これにより、端末装置５００のユーザは、検知結果を確認することができる。また、端末装置５００、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
【００８２】
以上のように、本実施の形態２においても、実施の形態１と同様に、なりすまし検知装置３５０は、対象者の顔表面の色に依存しない特徴量を算出し、この特徴量に基づいて、なりすましかどうかを判定することができる。このため、本実施の形態２によっても、顔認証の際に、色彩に依存しないなりすまし検知を、より正確に行うことができる。
【００８３】
［プログラム］
本実施の形態２におけるプログラムは、コンピュータに、図７に示すステップＢ１〜Ｂ１０を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態２における、なりすまし検知装置３５０となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５として機能し、処理を行なう。
【００８４】
また、本実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５のいずれかとして機能しても良い。
【００８５】
（実施の形態３）
次に、本発明の実施の形態３における、なりすまし検知装置、なりすまし検知方法、及びプログラムについて、図８〜図１０を参照しながら説明する。
【００８６】
［装置構成］
最初に、本実施の形態３におけるなりすまし検知装置の構成について説明する。本実施の形態３において、なりすまし検知装置の構成は、図６に示した実施の形態２における、なりすまし検知装置３５０と同様の構成を備えている。従って、本実施の形態３においては、図６を参照する。
【００８７】
但し、本実施の形態３における、なりすまし検知装置は、特徴量算出部３０３及びなりすまし判定部３０４の機能の点で、実施の形態２における、なりすまし検知装置３５０と異なっている。以下、相違点を中心に説明する。
【００８８】
本実施の形態３では、より正確ななりすまし検知を達成する。このため、特徴量算出部３０３は、実施の形態１及び２に示した、対象者の顔の立体的形状を反映し、且つ、対象者の顔の表面の色彩には依存しない、特徴量（以下「第１の特徴量」と表記する）に加えて、第２の特徴量を算出し、これらを統合する。
【００８９】
本実施の形態３において、第２の特徴量は、対象者の瞳の虹彩領域での反射で形成された輝点から求められる。本物の人間の顔ならば、発光装置３２０からの光が、瞳の虹彩領域に鏡面反射すると、結果、輝点として画像に映るが、写真又はディスプレイ上の画像の顔では同現象が起こらないため、第２の特徴量を用いることで、検知精度の向上が図られる。
【００９０】
具体的には、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出する。また、特徴量算出部３０３は、第２の画像フレームから、第２の顔情報に基づいて、上記の輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、第２の特徴量を算出する。
【００９１】
本実施の形態３では、顔情報抽出部３０２は、瞳の虹彩領域を推定し、推定した虹彩領域の位置を特定する情報を含む、顔情報を抽出する。また、虹彩領域の推定方法としては、例えば、まず、目の領域を検出して目間距離を算出し、次いで、この目間距離を用いて、目の中心と同じ中心を持ち、且つ一辺が目間距離の六分の一である、正方形を設定し、この正方形の領域を虹彩領域とする方法が挙げられる。また、目の領域の検出方法としては、例えば、上述の参考文献２に開示されているリングガボールフィルターを用いた方法が挙げられる。
【００９２】
ここで、第２の特徴量の算出手法についてより詳細に説明する。特徴量算出部３０３は、まず、第１の顔情報を用いて、第１の画像フレーム中の虹彩領域（以下「第１の虹彩領域」と表記する）を抽出し、更に、第２の顔情報を用いて、第２の画像フレーム中の虹彩領域（以下「第２の虹彩領域」と表記する）を抽出する。
【００９３】
次いで、特徴量算出部３０３は、第１の虹彩領域のピクセル毎の輝度値Linと、第２の虹彩領域のピクセル毎の輝度値Loutとを求め、ピクセル毎に、両者の差分（Lin-Lout）を求め、これを第２の特徴量として算出する。また、特徴量算出部３０３は、得られた第２の特徴量（Lin-Lout）に対して、標準化又はスケーリング等を行って、これを扱いやすい形に変形することもできる。
【００９４】
また、特徴量算出部３０３は、第２の特徴量から、輝点の位置依存性を除去するため、第２の特徴量に対して、位置依存性を解消するための変換処理を実行することもできる。これは、瞳の虹彩領域での反射によって形成された輝点の位置は、フラッシュからの光の虹彩領域への入射角、対象者の顔の向きによって変化してしまう可能性があるからである。即ち、撮像装置３１０と顔との位置関係の変化によって輝点の位置が変化し、輝度値が同じ輝点であっても特徴量が変動してしまい、結果、なりすまし検知の精度が低下するからである。
【００９５】
従って、特徴量算出部３０３は、変換処理として、例えば、２次元平面である虹彩領域から計算された第２の特徴量（ピクセル毎の差分（Lin-Lout））を、１次元のベクトルに変換し、ピクセル毎の値を昇順または降順に並び替える。このようにして変換された特徴量は、位置依存性を解消した特徴量となる。
【００９６】
［装置動作］
次に、本発明の実施の形態３における、なりすまし検知装置の動作について図８を用いて説明する。図８は、本発明の実施の形態３における、なりすまし検知装置の動作を示すフロー図である。以下の説明においては、適宜図６を参酌する。また、本実施の形態３では、なりすまし検知装置を動作させることによって、なりすまし検知方法が実施される。よって、本実施の形態３におけるなりすまし検知方法の説明は、以下のなりすまし検知装置の動作説明に代える。
【００９７】
なお、図８の例においても、図７の例と同様に、対象者の顔のフラッシュ点灯中の画像と、フラッシュ消灯中の画像とがそれぞれ１枚撮影されているものとする。また、フラッシュ点灯時間は３００ミリ秒で、フラッシュ点灯開始から１５０ミリ秒後に１枚の画像が撮影され、フラッシュ消灯開始から１５０ミリ秒後に１枚の画像が撮影されるものとする。
【００９８】
図８に示すように、最初に、端末装置５００に対して認証が指示されると、撮影制御部３０５は、発光装置３２０に対して撮影と同時に発光を行うように指示を与え（ステップＣ１）、更に、撮像装置３１０に対して撮影を指示する（ステップＣ２）。
【００９９】
ステップＣ２が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第１の画像フレームとして取得する（ステップＣ３）。
【０１００】
次に、ステップＣ３の実行後、撮影制御部３０５は、発光装置３２０に対して消灯を行うように指示を与え（ステップＣ４）、更に、撮像装置３１０に対して撮影を指示する（ステップＣ５）。
【０１０１】
ステップＣ５が実行されると、撮像装置３１０によって撮影が行われ、画像データが出力されてくるので、顔画像取得部３０１は、出力されてきた画像データを、第２の画像フレームとして取得する（ステップＣ６）。
【０１０２】
次に、顔情報抽出部３０２は、ステップＣ３で取得された第１の画像フレームから、対象者の顔の部分を特定する情報を第１の顔情報として抽出し、ステップＣ６で取得された第２の画像フレームからも、対象者の顔の部分を特定する情報を第２の顔情報として抽出する（ステップＣ７）。
【０１０３】
次に、特徴量算出部３０３は、第１の顔情報を用いて、第１の画像フレームにおける顔の部分の輝度値を求め、第２の顔情報を用いて、第２の画像フレームにおける顔の部分の輝度値を求める。そして、特徴量算出部３０３は、求めた各輝度値に基づいて、対象者の顔の立体的形状を反映し、且つ、対象者の顔の表面の色彩には依存しない、第１の特徴量を算出する（ステップＣ８）。
【０１０４】
上述したステップＣ１〜Ｃ８は、実施の形態２において図７に示したステップＢ１〜Ｂ８と同様のステップであり、これらのステップによって同様の処理が行われる。但し、本実施の形態３においては、ステップＣ８に並行して、又はステップＣ８と前後して、ステップＣ９が実行される。
【０１０５】
ステップＣ９では、特徴量算出部３０３は、第１の画像フレームから、第１の顔情報に基づいて、輝点を含む部分を抽出し、第２の画像フレームから、第２の顔情報に基づいて、輝点を含む部分に対応する部分を抽出する。そして、特徴量算出部３０３は、抽出した２つの部分から、第２の特徴量を算出する（ステップＣ９）。
【０１０６】
図９は、本実施の形態３において顔領域から算出された特徴量と虹彩領域から算出された特徴量との一例を示す図である。図９に示すように、本実施の形態３では、虹彩領域から算出された特徴量と顔領域から算出された特徴量とが得られている。図９において、７０１は、本物の顔の虹彩領域から計算された特徴量を示し、７０２は、偽物の顔の虹彩領域から計算された特徴量を示している。
【０１０７】
次に、特徴量算出部３０３は、ステップＣ８で得られた特徴量と、ステップＣ９で得られた特徴量とを統合する（ステップＣ１０）。具体的には、特徴量算出部３０３は、各特徴量を、１次元のベクトルに変換し、変換後の２つの特徴量を統合して１つのベクトルとする。
【０１０８】
次に、なりすまし判定部３０４は、ステップＣ１０で統合された特徴量に基づいて、撮像装置３１０によって撮影された対象者の真偽判定を行う（ステップＣ１０）。具体的には、なりすまし判定部３０４は、撮影された対象者が、本物の人間であるかどうかを判定する。ステップＣ１０は、図７に示したステップＢ９と同様のステップである。
【０１０９】
その後、なりすまし判定部３０４は、ステップＢ９の判定の結果（検知結果）を、端末装置５００の表示装置３３０によって画面上に提示する（ステップＣ１１）。ステップＣ１１は、図７に示したステップＢ１０と同様のステップである。
【０１１０】
これにより、本実施の形態３においても、端末装置５００のユーザは、検知結果を確認することができる。また、端末装置５００、検知結果が本物の人間である場合は、認証処理を続行し、検知結果が本物の人間でない場合は、認証処理を停止する。
【０１１１】
［実施の形態３の効果］
以上のように、本実施の形態３では、発光装置３２０からの光が鏡面反射する虹彩領域と、発光装置３２０からの光が拡散反射する顔領域といった、反射の形態が異なる２つ領域を組み合わせて、特徴量が算出される。そして、この組合せによる特徴量によって真偽判定が行われるので、本実施の形態３によれば、より精度よく真偽分類を行うことができ、なりすましを検知することができる。
【０１１２】
［プログラム］
本実施の形態３におけるプログラムは、コンピュータに、図８に示すステップＣ１〜Ｃ１２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態３における、なりすまし検知装置となりすまし検知方法とを実現することができる。この場合、コンピュータのプロセッサは、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５として機能し、処理を行なう。
【０１１３】
また、本実施の形態３におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、顔画像取得部３０１、顔情報抽出部３０２、特徴量算出部３０３、なりすまし判定部３０４、及び撮影制御部３０５のいずれかとして機能しても良い。
【０１１４】
（各実施の形態における変形例）
上述の実施の形態３においては、なりすまし判定部３０４は、ステップＣ８で算出した特徴量に基づいた真偽判定と、ステップＣ９で算出した特徴量に基づいた真偽判定とを別々に実行することができる。この場合、なりすまし判定部３０４は、２つの真偽判定の結果から総合的に判断して、最終的になりすましか否かを判定する。
【０１１５】
具体的には、なりすまし判定部３０４は、真偽判定毎に、真である可能性を示すスコア（真贋値）を算出し、例えば、２つのスコアの平均値を求め、平均値が一定値以上を超えたら真である（本物の人間である）と判定する。
【０１１６】
また、上述の実施の形態２及び３では、発光装置３２０の発光中及び消灯中に撮影する顔画像はそれぞれ１枚の静止画であり、発光時間は３００ミリ秒、撮影タイミングは、それぞれ、発光開始から１５０ミリ秒と、消灯後１５０ミリ秒とであるとしている。但し、これらの設定は、一例であり、変更されても良い。例えば、撮影制御部３０５は、ユーザが端末装置５００に入力した値に応じて、設定を変更することもできる。
【０１１７】
また、上述の実施の形態１〜３においては、撮像装置３１０による撮影は、対象者の顔が静止している状態で行われる。これは、画像中の対象者の顔の抽出が必要となるからである。そのため、撮影時において、対象者に顔を動かさないよう促すことが好ましい。このため、顔画像取得部３０１は、例えば、撮影を指示する前に、表示装置の表示画面等に、対象者の顔を動かさないように促すメッセージを表示するのが良い。
【０１１８】
（物理構成）
ここで、実施の形態１〜３におけるプログラムを実行することによって、なりすまし検知装置を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態１〜３における、なりすまし検知装置を実現するコンピュータの一例を示すブロック図である。
【０１１９】
図１０に示す、コンピュータ４００は、例えば、携帯電話機、スマートフォンなどの携帯型の端末装置に組み込まれるコンピュータである。図１０に示すように、コンピュータ４００は、プロセッサ４０１と、メモリ４０２と、ストレージ４０３と、入出力インタフェース（入出力Ｉ／Ｆ）４０４と、通信インタフェース（通信Ｉ／Ｆ）４０５とを備えている。プロセッサ４０１、メモリ４０２、ストレージ４０３、入出力インタフェース４０４、及び通信インタフェース４０５は、相互にデータを送受信するためのデータ伝達路（バス）で接続されている。なお、コンピュータ４００のハードウェア構成は、図１０に示される構成に制限されるものではない。
【０１２０】
プロセッサ４０１は、例えばＣＰＵ（central processing unit）やＧＰＵ（graphics processing unit）等の演算処理装置である。メモリ４０２は、例えばＲＡＭ（random Access Memory）やＲＯＭ（read only memory）等のメモリである。ストレージ４０３は、例えばＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、又はメモリカード等の記憶装置である。
【０１２１】
メモリ４０２またはストレージ４０３は、なりすまし検知装置を構成する各部を実現するためのプログラムを記憶している。プロセッサ４０１が、プログラムを実行することで、各部が実現され、各種処理が実行される。ここで、プロセッサ４０１は、上記各プログラムを実行する際、これらのプログラムをメモリ４０２上に読みだしてから、これを実行しても良いし、メモリ４０２上に読みださずに、これを実行しても良い。
【０１２２】
また、上記のプログラムは、様々なタイプの非一時的なコンピュータ読み取り可能な記録媒体に格納されて、コンピュータ４００に供給されても良い。非一時的なコンピュータ読み取り可能な記録媒体としては、様々なタイプの実体のある記録媒体が挙げられる。
【０１２３】
非一時的なコンピュータ読み取り可能な記録媒体の例としては、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（compact disc read only memory）、ＣＤ−Ｒ（compact disc recordable）、ＣＤ−Ｒ／Ｗ（compact disc rewritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）等が挙げられる。
【０１２４】
また、プログラムは、様々なタイプの一時的なコンピュータ読み取り可能な記録媒体によってコンピュータ４００に供給されてもよい。一時的なコンピュータ読み取り可能な記録媒体の例としては、電気信号、光信号、及び電磁波が挙げられる。一時的なコンピュータ読み取り可能な記録媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【０１２５】
入出力インタフェース４０４は、撮像装置３１０、表示装置３３０、及び入力装置３４０等と接続される。表示装置３３０は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイのような、プロセッサ４０１により処理された描画データに対応する画面を表示する装置である。通信インタフェース４０５は、外部の装置との間でデータを送受信する。例えば、通信インタフェース４０５は、有線ネットワーク又は無線ネットワークを介して外部装置と通信する。
【０１２６】
撮像装置３１０は、デジタルカメラ、デジタルビデオカメラ等のように、ユーザ又は対象者自身が顔等を撮影するための装置である。入力装置３４０は、ユーザの操作入力を受け付ける装置であり、例えば、キーボード及びタッチセンサ、タッチパネル等である。入力装置３４０が、例えば、タッチパネルである場合は、入力装置３４０と表示装置３３０とは一体化されていても良い。
【０１２７】
なお、本実施の形態における、なりすまし検知装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、なりすまし検知装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【０１２８】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
【０１２９】
（付記１）
撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、顔画像取得部と、
前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、顔情報抽出部と、
前記第１の顔情報を用いて、前記第１の画像フレームにおける顔の部分の輝度値を求め、前記第２の顔情報を用いて、前記第２の画像フレームにおける顔の部分の輝度値を求め、求めた各輝度値に基づいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量を算出する、特徴量算出部と、
前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、なりすまし判定部と、を備えている、
ことを特徴とする、なりすまし検知装置。
【０１３０】
（付記２）
付記１に記載のなりすまし検知装置であって、
前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、撮影制御部を更に備えている、
ことを特徴とする、なりすまし検知装置。
【０１３１】
（付記３）
付記１または２に記載のなりすまし検知装置であって、
前記特徴量算出部が、更に、前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、第２の特徴量を算出し、
前記なりすまし判定部が、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知装置。
【０１３２】
（付記４）
付記３に記載のなりすまし検知装置であって、
前記なりすまし判定部が、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知装置。
【０１３３】
（付記５）
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の顔情報を用いて、前記第１の画像フレームにおける顔の部分の輝度値を求め、前記第２の顔情報を用いて、前記第２の画像フレームにおける顔の部分の輝度値を求め、求めた各輝度値に基づいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を有する、
ことを特徴とする、なりすまし検知方法。
【０１３４】
（付記６）
付記５に記載のなりすまし検知方法であって、
（ｅ）前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、ステップを更に有する、
ことを特徴とする、なりすまし検知方法。
【０１３５】
（付記７）
付記５または６に記載のなりすまし検知方法であって、
前記（ｃ）のステップにおいて、更に、前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、第２の特徴量を算出し、
前記（ｄ）のステップにおいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、なりすまし検知方法。
【０１３６】
（付記８）
付記７に記載のなりすまし検知方法であって、
前記（ｄ）のステップにおいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、なりすまし検知方法。
【０１３７】
（付記９）
コンピュータに、
（ａ）撮像装置から、前記撮像装置に付随する発光装置によって発光が行われた際の対象者の顔を含む第１の画像フレーム、及び前記発光装置が消灯している際の対象者の顔を含む第２の画像フレームを取得する、ステップと、
（ｂ）前記第１の画像フレームから、前記対象者の顔の部分を特定する情報を第１の顔情報として抽出し、前記第２の画像フレームから、前記対象者の顔の部分を特定する情報を第２の顔情報として抽出する、ステップと、
（ｃ）前記第１の顔情報を用いて、前記第１の画像フレームにおける顔の部分の輝度値を求め、前記第２の顔情報を用いて、前記第２の画像フレームにおける顔の部分の輝度値を求め、求めた各輝度値に基づいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量を算出する、ステップと、
（ｄ）前記特徴量に基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、ステップと、を実行させる、プログラム。
【０１３８】
（付記１０）
付記９に記載のプログラムであって、
前記コンピュータに、
（ｅ）前記発光装置における発光時間、及び前記撮像装置における撮影タイミングを設定する、ステップを実行させる命令を更に含む、
ことを特徴とする、プログラム。
【０１３９】
（付記１１）
付記９または１０に記載のプログラムであって、
前記（ｃ）のステップにおいて、更に、前記第１の画像フレームから、前記第１の顔情報に基づいて、対象者の瞳の虹彩領域での反射で形成された輝点を含む部分を抽出し、更に、前記第２の画像フレームから、前記第２の顔情報に基づいて、前記輝点を含む部分に対応する部分を抽出し、抽出した２つの部分から、第２の特徴量を算出し、
前記（ｄ）のステップにおいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量と、前記第２の特徴量とに基づいて、前記撮像装置によって撮影された前記対象者の真偽判定を行う、
ことを特徴とする、プログラム。
【０１４０】
（付記１２）
付記１１に記載のプログラムであって、
前記（ｄ）のステップにおいて、前記対象者の顔の立体的形状を反映し、且つ、前記対象者の顔の表面の色彩には依存しない、特徴量に基づいた真偽判定と、前記第２の特徴量に基づいた真偽判定とを別々に実行し、真偽判定毎に、真である可能性を示すスコアを算出し、各真偽判定で算出された前記スコアに基づいて、最終的な真偽判定を実行する、
ことを特徴とする、プログラム。                                                                              
【０１４１】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【０１４２】
以上のように本発明によれば、顔認証の際に、色依存性に影響されることなく、なりすまし検知を実行することができる。本発明は、顔認証が行われる種々のシステムに有用である。
【符号の説明】
【０１４３】
１０１  ユーザ
１０２  フラッシュ点灯中のカメラ付き端末装置
１０３  フラッシュ消灯中のカメラ付き端末装置
１０４  特徴量の計算プロセス
１０５  本物の顔から計算された特徴量
１０６  偽物の顔から計算された特徴量
２０１  一定の傾きを持つ顔上の点 (x1, y1)
２０２  一定の傾きを持つ顔上の点 (x2, y2)
２０３  点 (x1, y1)上の反射係数Ｋを示すグラフ
２０４  点 (x2, y2)上の反射係数Ｋを示すグラフ
３００  なりすまし検知装置（実施の形態１）
３０１  顔画像取得部
３０２  顔情報抽出部
３０３  特徴量算出部
３０４  なりすまし判定部
３０５  撮影制御部
３１０  撮像装置
３２０  発光装置
３３０  表示装置
３４０  入力装置
３５０  なりすまし検知装置（実施の形態２）
４００  コンピュータ
４０１  プロセッサ
４０２  メモリ
４０３  ストレージ
４０４  入出力インタフェース（入出力Ｉ／Ｆ）
５００  端末装置
７０１  本物の顔から計算された特徴ベクトル
７０２  偽物の顔から計算された特徴ベクトル
９０１  本物の顔領域・虹彩領域から計算された特徴ベクトル
９０２  偽物の顔領域・虹彩領域から計算された特徴ベクトル
【図１】
0006984724.tif 000006
【図２】
0006984724.tif 000007
【図３】
0006984724.tif 000008
【図４】
0006984724.tif 000009
【図５】
0006984724.tif 000010
【図６】
0006984724.tif 000011
【図７】
0006984724.tif 000012
【図８】
0006984724.tif 000013
【図９】
0006984724.tif 000014
【図１０】
0006984724.tif 000015