(57)【要約】【課題】  生体の判定精度が高く盗撮に対して堅牢である顔認証装置を提供するとともに、当該顔認証装置に適用可能な画像処理装置及び生体判定装置を提供する。【解決手段】  顔認証装置２０は、人が作為的に顔の粘膜を露出させた部分である露出粘膜を検出する露出粘膜検出部２４と、露出粘膜検出部２４が検出したそれぞれの露出粘膜について人の生命活動に起因する画像的な変化の有無を検出することで被認証者が生体であるか否かを判定する生体判定部２５と、登録者の顔の特徴を示す登録者データを記録するデータベース２６と、被認証者の顔が登録者の顔に該当するか否かを判定する本人判定部２７と、被認証者が生体であると生体判定部２５が判定しかつ被認証者が登録者に該当すると本人判定部２７が判定する場合に被認証者を認証する認証決定部２８と、を備える。【選択図】  図６
2016152029.tif 000002
【特許請求の範囲】
【請求項１】
被認証者の顔を撮像して生成された画像データが示す画像の中から、人が作為的に顔の粘膜を露出させた部分である露出粘膜を検出する露出粘膜検出部と、
時間的に連続した撮像により生成された複数の前記画像データが示す複数の前記画像のそれぞれの中から、前記露出粘膜検出部が検出したそれぞれの前記露出粘膜について、人の生命活動に起因する画像的な変化の有無を検出することで、前記被認証者が生体であるか否かを判定する生体判定部と、
登録者の顔の特徴を示す登録者データを記録するデータベースと、
前記画像データが示す前記画像の中の前記被認証者の顔の特徴と、前記データベースが記録する前記登録者データが示す前記登録者の顔の特徴と、を比較することで、前記被認証者が前記登録者に該当するか否かを判定する本人判定部と、
前記被認証者が生体であると前記生体判定部が判定し、かつ、前記被認証者が前記登録者に該当すると前記本人判定部が判定する場合に、前記被認証者を認証する認証決定部と、
を備えることを特徴とする顔認証装置。
【請求項２】
前記画像データが示す前記画像の中から、人の顔に存在する所定の部位である顔部位を検出する顔部位検出部を、さらに備え、
前記データベースが記録する前記登録者データが、前記登録者の前記顔部位を示すものであり、
前記本人判定部は、前記顔部位検出部が検出した前記被認証者の前記顔部位が、前記登録者データが示す前記登録者の前記顔部位に該当するか否かに基づいて、前記被認証者が前記登録者に該当するか否かを判定することを特徴とする請求項１に記載の顔認証装置。
【請求項３】
前記露出粘膜検出部は、前記顔部位検出部が検出した前記顔部位の位置に基づいて、前記露出粘膜の出現が予測される領域である出現予測領域を設定し、設定した前記出現予測領域の中から前記露出粘膜を検出することを特徴とする請求項２に記載の顔認証装置。
【請求項４】
前記露出粘膜検出部は、前記画像の赤色成分に基づいて、前記露出粘膜の検出を行うことを特徴とする請求項３に記載の顔認証装置。
【請求項５】
前記顔部位検出部は、前記画像の輝度成分に基づいて、前記顔部位の検出を行うことを特徴とする請求項２〜４のいずれか１項に記載の顔認証装置。
【請求項６】
前記データベースが記録する前記登録者データが、前記登録者の前記露出粘膜を示すものであり、
前記本人判定部は、前記露出粘膜検出部が検出した前記被認証者の前記露出粘膜が、前記登録者データが示す前記登録者の前記露出粘膜に該当するか否かに基づいて、前記被認証者が前記登録者に該当するか否かを判定することを特徴とする請求項１〜５のいずれか１項に記載の顔認証装置。
【請求項７】
前記データベースが記録する前記登録者データが、前記登録者毎に設定されている個人を識別するための識別コードを示すものであり、
前記本人判定部は、前記被認証者が入力する前記識別コードが、前記登録者データが示す前記識別コードと一致する前記登録者を特定した上で、前記被認証者の顔の特徴と特定した前記登録者の顔の特徴とを比較することを特徴とする請求項１〜６のいずれか１項に記載の顔認証装置。
【請求項８】
対象者の顔を撮像して生成された画像データが示す画像の中から、人が作為的に顔の粘膜を露出させた部分である露出粘膜を検出する露出粘膜検出部と、
前記画像の中から、人の顔に存在する所定の部位である顔部位を検出する顔部位検出部と、を備え、
前記露出粘膜検出部は、前記顔部位検出部が検出した前記顔部位の位置に基づいて、前記露出粘膜の出現が予測される領域である出現予測領域を設定し、設定した前記出現予測領域の中から前記露出粘膜を検出することを特徴とする画像処理装置。
【請求項９】
対象者の顔を撮像して生成された画像データが示す画像の中から、人が作為的に顔の粘膜を露出させた部分である露出粘膜を検出する露出粘膜検出部と、
時間的に連続した撮像により生成された複数の前記画像データが示す複数の前記画像のそれぞれの中から、前記露出粘膜検出部が検出したそれぞれの前記露出粘膜について、人の生命活動に起因する画像的な変化を検出することで、前記対象者の生命活動の状態を判定する生体判定部と、
を備えることを特徴とする生体判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の中から検出した人の顔について認証を行う顔認証装置と、当該顔認証装置に適用可能な画像処理装置及び生体判定装置と、に関する。
【背景技術】
【０００２】
近年、情報機器の不正使用や不審者の侵入などを防止するためのセキュリティ対策として、様々な認証システムが利用されている。特に、人の顔を認証キーとして用いる顔認証装置は、認証キーが人体の一部であるために認証キーの盗難や紛失、忘却などの問題が生じない点や、認証を受けようとする者（以下、「被認証者」という）が認証用のカメラに対して顔を向けるという非接触かつ簡易な方法で認証が可能である点など、様々な利点を有しているため、注目されている。
【０００３】
しかし、顔認証装置では、認証すべき者として顔認証装置に顔が登録されている者（以下、「登録者」という）の顔を盗撮し、それによって作製した当該登録者の顔の写真を認証用のカメラに向けるという不正な方法によって、認証が成功してしまうという問題がある。
【０００４】
そこで、特許文献１では、被認証者が生体であることを確認してから顔認証を行うことで、上記のような不正な方法による認証の成功を防止する顔認証装置が提案されている。具体的に、この顔認証装置では、顔の特定領域における毛細血管を流れる血液の変化が、被認証者の動画を撮像して得られる一連の画像データが示す画像の変化として検出されるか否かによって、被認証者が生体か否かを判定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１８４００２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１で提案されている顔認証装置では、外界に晒されるために丈夫で厚く形成されている表面層（典型的には皮膚の表皮。なお、唇は、外界に晒される外側部分は皮膚と同じく角質層から成る表皮が形成されており、皮膚の一種である。）の下の毛細血管を流れる血流の変化という、外観上極めて微細な変化を検出しなければならない。したがって、特許文献１で提案されている顔認証装置は、原理的には生体か否かを判定することが可能であるものの、現実的には生体の判定精度が低く実用化が困難であるため、問題となる。
【０００７】
さらに、特許文献１で提案されている顔認証装置において、仮に生体か否かを判定することができたとしても、写真などの静止画が認証用のカメラに向けられた場合は生体ではないと判定することができるが、動画を再生した表示装置が認証用のカメラに向けられた場合は生体であると誤判定してしまう。即ち、特許文献１で提案されている顔認証装置では、登録者の顔を動画として盗撮し、それによって得られた当該動画を再生した表示装置を認証用のカメラに向けるという不正な方法によって、認証が成功してしまう。したがって、特許文献１で提案されている顔認証装置は、盗撮に対して脆弱であるため、問題となる。
【０００８】
そこで、本発明は、生体の判定精度が高く盗撮に対して堅牢である顔認証装置を提供することを目的とする。また、当該顔認証装置に適用可能な画像処理装置及び生体判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、被認証者の顔を撮像して生成された画像データが示す画像の中から、人が作為的に顔の粘膜を露出させた部分である露出粘膜を検出する露出粘膜検出部と、時間的に連続した撮像により生成された複数の前記画像データが示す複数の前記画像のそれぞれの中から、前記露出粘膜検出部が検出したそれぞれの前記露出粘膜について、人の生命活動に起因する画像的な変化の有無を検出することで、前記被認証者が生体であるか否かを判定する生体判定部と、登録者の顔の特徴を示す登録者データを記録するデータベースと、前記画像データが示す前記画像の中の前記被認証者の顔の特徴と、前記データベースが記録する前記登録者データが示す前記登録者の顔の特徴と、を比較することで、前記被認証者が前記登録者に該当するか否かを判定する本人判定部と、前記被認証者が生体であると前記生体判定部が判定し、かつ、前記被認証者が前記登録者に該当すると前記本人判定部が判定する場合に、前記被認証者を認証する認証決定部と、を備えることを特徴とする顔認証装置を提供する。
【００１０】
この顔認証装置によれば、皮膚等の常に外界に晒されている部分と比較して表面層が薄くなっており、毛細血管及びその中を流れる血液が外部から明確に視認される露出粘膜に基づいて、被認証者が生体か否かを判定することができる。また、人が意図的に行う表情であって、人前では滅多にしない特殊な表情である、露出粘膜が現れた表情に基づいて、被認証者が登録者に該当するか否かを判定することができる。
【００１１】
また、上記特徴の顔認証装置において、前記画像データが示す前記画像の中から、人の顔に存在する所定の部位である顔部位を検出する顔部位検出部を、さらに備え、前記データベースが記録する前記登録者データが、前記登録者の前記顔部位を示すものであり、前記本人判定部は、前記顔部位検出部が検出した前記被認証者の前記顔部位が、前記登録者データが示す前記登録者の前記顔部位に該当するか否かに基づいて、前記被認証者が前記登録者に該当するか否かを判定すると、好ましい。
【００１２】
この顔認証装置によれば、顔部位という人毎に異なる特徴を比較することによって、被認証者が登録者に該当するか否かを精度良く判定することができる。
【００１３】
さらに、上記特徴の顔認証装置において、前記露出粘膜検出部は、前記顔部位検出部が検出した前記顔部位の位置に基づいて、前記露出粘膜の出現が予測される領域である出現予測領域を設定し、設定した前記出現予測領域の中から前記露出粘膜を検出すると、好ましい。
【００１４】
この顔認証装置によれば、不特定の広がりを有する領域であるために網羅的な検出が困難な露出粘膜を、背景などの非顔領域から誤検出することを抑制しながら、精度良く検出することが可能になる。さらに、この顔認証装置によれば、出現予測領域という限られた領域内から露出粘膜を検出するため、露出粘膜を検出するために必要な計算量を低減して迅速に検出を行うことが可能になる。
【００１５】
さらに、上記特徴の顔認証装置において、前記露出粘膜検出部は、前記画像の赤色成分に基づいて、前記露出粘膜の検出を行うと、好ましい。
【００１６】
この顔認証装置によれば、背景などの非顔領域の赤い部分を露出粘膜として誤検出することを防止しながら、顔の中で際立って赤い色をしている露出粘膜を検出することができる。したがって、精度良く露出粘膜を検出することが可能になる。
【００１７】
また、上記特徴の顔認証装置において、前記顔部位検出部は、前記画像の輝度成分に基づいて、前記顔部位の検出を行うと、好ましい。
【００１８】
この顔認証装置によれば、人の顔に特有の明暗パターンが存在することを利用して、精度良く顔部位を検出することが可能になる。
【００１９】
また、上記特徴の顔認証装置において、前記データベースが記録する前記登録者データが、前記登録者の前記露出粘膜を示すものであり、前記本人判定部は、前記露出粘膜検出部が検出した前記被認証者の前記露出粘膜が、前記登録者データが示す前記登録者の前記露出粘膜に該当するか否かに基づいて、前記被認証者が前記登録者に該当するか否かを判定すると、好ましい。
【００２０】
この顔認証装置によれば、露出粘膜という人毎に異なる特徴を比較することによって、被認証者が登録者に該当するか否かを精度良く判定することができる。また、露出粘膜に加えて顔部位の比較を行うことによって、被認証者が登録者に該当するか否かをさらに精度良く判定することが可能になる。
【００２１】
また、上記特徴の顔認証装置において、前記データベースが記録する前記登録者データが、前記登録者毎に設定されている個人を識別するための識別コードを示すものであり、前記本人判定部は、前記被認証者が入力する前記識別コードが、前記登録者データが示す前記識別コードと一致する前記登録者を特定した上で、前記被認証者の顔の特徴と特定した前記登録者の顔の特徴とを比較すると、好ましい。
【００２２】
この顔認証装置によれば、識別コードに基づいて比較すべき登録者を予め特定することによって、本来は該当する登録者が存在しない被認証者が、偶然にいずれかの登録者に該当すると誤判定されることを防止することができる。したがって、被認証者が登録者に該当するか否かを精度良く判定することが可能になる。
【００２３】
また、本発明の画像処理装置は、対象者の顔を撮像して生成された画像データが示す画像の中から、人が作為的に顔の粘膜を露出させた部分である露出粘膜を検出する露出粘膜検出部と、前記画像の中から、人の顔に存在する所定の部位である顔部位を検出する顔部位検出部と、を備え、前記露出粘膜検出部は、前記顔部位検出部が検出した前記顔部位の位置に基づいて、前記露出粘膜の出現が予測される領域である出現予測領域を設定し、設定した前記出現予測領域の中から前記露出粘膜を検出することを特徴とする。
【００２４】
この画像処理装置によれば、不特定の広がりを有する領域であるために網羅的な検出が困難な露出粘膜を、背景などの非顔領域から誤検出することを抑制しながら、精度良く検出することが可能になる。さらに、この画像処理装置によれば、出現予測領域という限られた領域内から露出粘膜を検出するため、露出粘膜を検出するために必要な計算量を低減して迅速に検出を行うことが可能になる。
【００２５】
また、本発明の生体判定装置は、対象者の顔を撮像して生成された画像データが示す画像の中から、人が作為的に顔の粘膜を露出させた部分である露出粘膜を検出する露出粘膜検出部と、時間的に連続した撮像により生成された複数の前記画像データが示す複数の前記画像のそれぞれの中から、前記露出粘膜検出部が検出したそれぞれの前記露出粘膜について、人の生命活動に起因する画像的な変化を検出することで、前記対象者の生命活動の状態を判定する生体判定部と、を備えることを特徴とする。
【００２６】
この生体判定装置によれば、皮膚等の常に外界に晒されている部分と比較して表面層が薄くなっており、毛細血管及びその中を流れる血液が外部から明確に視認される露出粘膜に基づいて、対象者の生命活動の状態を精度良く判定することが可能になる。
【発明の効果】
【００２７】
上記特徴の顔認証装置では、露出粘膜に基づいて被認証者が生体か否かを判定するため、被認証者が生体か否かを精度良く判定することが可能になる。さらに、露出粘膜が現れた表情という人前では滅多にしない特殊な表情に基づいて、被認証者が登録者に該当するか否かを判定するため、盗撮に対して堅牢な顔認証装置を実現することが可能になる。
【図面の簡単な説明】
【００２８】
【図１】登録者データ生成装置の構成の一例について示すブロック図。
【図２】図１の登録者データ生成装置の動作の一例を示すフローチャート。
【図３】顔部位検出部及び露出粘膜検出部の動作の一例について示す図。
【図４】登録者データの構成の一例を示す表。
【図５】顔部位検出部及び露出粘膜検出部の動作の別例について示す図。
【図６】本発明の実施形態に係る顔認証装置の構成の一例について示すブロック図。
【図７】図６の顔認証装置の動作の一例を示すフローチャート。
【図８】露出粘膜検出部の動作の別例を示す図。
【発明を実施するための形態】
【００２９】
＜登録者データ生成装置＞
本発明の実施形態に係る顔認証装置について説明する前に、当該顔認証装置で使用する登録者データを生成するための登録者データ生成装置について、図面を参照して説明する。最初に、登録者データ生成装置の構成について、図面を参照して説明する。図１は、登録者データ生成装置の構成の一例について示すブロック図である。
【００３０】
図１に示すように、登録者データ生成装置１０は、識別コード取得部１１と、撮像部１２と、顔部位検出部１３と、露出粘膜検出部１４と、登録者データ生成部１５と、データベース１６と、を備える。
【００３１】
識別コード取得部１１は、登録者が入力する識別コードを取得して、当該識別コードを示す識別コードデータを登録者データ生成部１５に与える。例えば、識別コード取得部１１は、キーパッドやキーボードなとの入力装置や、接触型または非接触型のカードリーダなどの読取装置によって構成される。また、識別コードとは、登録者毎に設定されている個人を識別するための符号であり、例えば従業員ＩＤや登録者の名前などである。
【００３２】
撮像部１２は、登録者の顔を撮像して画像データを生成する。例えば、撮像部１２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサなどの撮像素子を備えた撮像装置によって構成される。また、撮像部１２が生成する画像データが示す画像は、ＲＧＢ（赤緑青）などの色の成分を含むカラーの画像である。
【００３３】
顔部位検出部１３は、撮像部１２が生成する画像データが示す画像の中から、人の顔に存在する所定の部位である顔部位を検出して、当該顔部位を示す顔部位データを生成する。
【００３４】
顔部位とは、目、口、鼻、耳、眉毛などの、形状や色などによって他の部分と区別され得る、顔を構成するそれぞれのパーツである。また、例えば顔部位データは、画像中のそれぞれの顔部位における、１または複数の特徴点（例えば、中心位置、左右端位置、上下端位置など）の座標を表すデータである。
【００３５】
露出粘膜検出部１４は、撮像部１２が生成する画像データが示す画像の中から、人が作為的に粘膜を露出させた部分である露出粘膜を検出して、当該露出粘膜を示す露出粘膜データを生成する。
【００３６】
露出粘膜とは、通常の状態（顔の筋肉を脱力した無表情の状態であって、手で皮膚を引っ張るなどの外部から意図的に顔の表情を変形させる行為を行っていない状態）では外界に晒されていないが、顔の筋肉を動かしたり手で皮膚を引っ張ったりするなどの作為によって外界に晒される粘膜である。例えば、露出粘膜には、目の下側（顎側）の結膜や、目の上側（頭頂側）の結膜、目蓋の裏側の結膜、舌、唇の内側（口腔側）、口腔粘膜などが含まれる。また、例えば露出粘膜データは、画像中の露出粘膜の領域の輪郭線を多角形で近似した場合における、当該多角形の各頂点の座標を表すデータである。
【００３７】
登録者データ生成部１５は、識別コード取得部１１から与えられる識別コードデータと、顔部位検出部１３が生成する顔部位データと、露出粘膜検出部１４が生成する露出粘膜データと、を関連付ける（紐付ける）ことで、登録者データを生成する。
【００３８】
顔部位検出部１３、露出粘膜検出部１４及び登録者データ生成部１５は、各種データの処理を行う部分であり、全体として１または複数の演算装置及び記憶装置によって実現することができる。なお、演算装置として、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphic Processing Unit)を用いてもよい。また、記憶装置として、例えばＲＡＭ（Random Access Memory）を用いてもよい。
【００３９】
データベース１６は、登録者データが生成する登録者データを記録する。例えば、データベース１６は、ハードディスクやフラッシュメモリなどの不揮発性の記録装置によって構成される。
【００４０】
次に、登録者データ生成装置１０の動作について、図面を参照して説明する。図２は、図１の登録者データ生成装置の動作の一例を示すフローチャートである。図３は、顔部位検出部及び露出粘膜検出部の具体的な動作について説明する図である。なお、図３（ａ）は、撮像部が生成する画像データが示す画像に含まれる顔の具体例を模式的に示した図である。また、図３（ｂ）は、図３（ａ）に示す顔を含む画像の中から顔部位を検出する場合の顔部位検出部の動作の具体例について模式的に示した図である。また、図３（ｃ）及び図３（ｄ）は、図３（ａ）に示す顔を含む画像の中から露出粘膜を検出する場合の露出粘膜検出部の動作の具体例について模式的に示した図である。
【００４１】
図２に示すように、最初に、識別コード取得部１１が、登録者の識別コードを取得して、当該識別コードを示す識別コードデータを登録者データ生成部１５に与える（ステップ＃１０）。このとき、登録者は、識別コード取得部１１に対して所定の操作（例えば、キーパッドを打つ、カードリーダに従業員カードをかざして読み取らせるなど）を行うことで、識別コード取得部１１に識別コードを入力する。
【００４２】
次に、撮像部１２が、登録者の顔を撮像して画像データを生成する（ステップ＃１１）。このとき、登録者は、撮像部１２に撮像される際に、意図的に露出粘膜が現れた表情を作る。
【００４３】
例えば、図３（ａ）に示すように、登録者は、右目の下側の皮膚を右手の指で下側に引っ張ることで右目の下側の結膜を露出させるとともに、口の周囲の筋肉及び舌の筋肉を使って舌の上面を露出させる（いわゆる「あっかんべ」をする）。
【００４４】
次に、顔部位検出部１３が、撮像部１２が生成した画像データが示す画像の中から、顔部位を検出する（ステップ＃１２）。さらに、顔部位検出部１３は、検出した顔部位を示す顔部位データを生成する。
【００４５】
人の顔には、顔部位の凹凸に起因した明暗（鼻などの周囲より凸となる部分が明るくなり、眼窩などの周囲より凹となる部分が暗くなる）や、顔部位の色の違いに起因した明暗（白目などの周囲よりも白い部分が明るくなり、虹彩及び瞳孔や眉などの周囲よりも黒い部分が暗くなる）などの、特有の明暗パターンが存在する。そこで、顔部位検出部１３は、画像を構成する各画素の輝度成分を取得し（例えば、撮像部１２が生成したカラーの画像データを、各画素を輝度成分で表したグレースケールの画像に変換し）、上記の特有の明暗パターンを当該輝度成分の分布に当てはめることによって、当該画像データが示す画像の中から、背景の領域と区別して顔の領域を検出するとともに、当該顔の領域の中から顔部位を検出する。
【００４６】
例えば、図３（ｂ）に示すように、顔部位検出部１３は、図３（ａ）に示す顔を含む画像の中から、左右の目（瞳孔または中心位置）ＥＬ，ＥＲと、左右の口角ＭＬ，ＭＲと、のそれぞれを検出する。なお、図３（ｂ）及び図３（ｃ）では、図示の都合上、左右の口角ＭＬ，ＭＲについては黒塗りの矩形で表しており、左右の目ＥＬ，ＥＲについては白塗りの矩形で表している。また、ここでは説明を簡略化するために、左右の目ＥＬ，ＥＲのそれぞれにおける１つの特徴点（瞳孔または中心位置）と、口における２つの特徴点（左右端位置）と、の合計４つの特徴点のみ例示しているが、実際の処理では５以上の多くの特徴点を検出することも可能である。特に、顔認証を高精度に行うためには、多数の顔部位について多数の特徴点を検出すると、好ましい。
【００４７】
また、このとき顔部位検出部１３が生成する顔部位データは、上記のそれぞれの特徴点の座標を示すデータである。例えば、顔部位データは、画像の左下隅などの特定の位置の座標を基準座標（０，０）として、それぞれの特徴点の位置を座標（ｘ，ｙ）で表したデータであってもよい。また例えば、顔部位データは、左目の中心位置などの特定の特徴点の座標を基準座標（０，０）として、それぞれの特徴点の位置を座標（ｘ，ｙ）で表したデータであってもよい。
【００４８】
ところで、図３（ａ）に示す例のように、右手で右目の下側の皮膚を下側に引っ張ると、右手が顔と重なってしまう。しかし、この右手は、特徴が少ない頬と重なっているだけであり、目、鼻、口などの特徴が豊富な部位とは重ならない。そのため、図３（ｂ）に示すように、顔部位検出部１３は、目、鼻、口などの部位を手掛かりとして、顔及び顔部位を検出することができる。
【００４９】
次に、露出粘膜検出部１４が、撮像部１２が生成した画像データが示す画像の中から、露出粘膜を検出する（ステップ＃１３）。さらに、露出粘膜検出部１４は、検出した露出粘膜を示す露出粘膜データを生成する。
【００５０】
露出粘膜は、皮膚等の常に外界に晒されている部分と比較して表面層が薄くなっており、毛細血管及びその中を流れる血液が外部から明確に視認される。換言すると、露出粘膜は、顔の中で際立って赤い色をしている部分と言える。そこで、露出粘膜検出部１４は、撮像部１２が生成した画像データが示す画像の中から、画像の赤色成分が大きい領域（例えば、赤色成分が所定の閾値以上となる領域）を検出することによって、露出粘膜を検出する。
【００５１】
さらに、人の顔の構造上、露出粘膜は、目及び口などの特定の顔部位に隣接した位置に出現する。そこで、露出粘膜検出部１４は、顔部位検出部１３が生成する顔部位データが示す顔部位の位置に基づいて、露出粘膜の検出を行う。具体的に、露出粘膜検出部１４は、顔部位の位置に基づいて、露出粘膜の出現が予測される領域である出現予測領域を設定し、当該出現予測領域の中から露出粘膜を検出する。
【００５２】
具体的に例えば、図３（ｃ）に示すように、露出粘膜検出部１４は、左右の目ＥＬ，ＥＲを結ぶ直線に対して垂直であり、かつ、左目ＥＬ及び右目ＥＲのそれぞれから左右の口角ＭＬ，ＭＲを結んだ直線ＭＬＲまで伸びる線分ＳＬ，ＳＲを規定する。ここで、線分ＳＬは、左目ＥＬから直線ＭＬＲまで伸びる線分であり、線分ＳＲは、右目ＥＲから直線ＭＬＲまで伸びる線分である。
【００５３】
次に、露出粘膜検出部１４は、線分ＳＬ，ＳＲについて、画像の赤色成分が閾値以上となる部分を検出する。図３（ｃ）に示す例の場合、線分ＳＲの右目ＥＲに近い部分（線分ＳＲと右目ＥＲの下側の結膜ＣＲとが重なる部分）が、画像の赤色成分が閾値以上であるとして露出粘膜検出部１４に検出される。
【００５４】
次に、露出粘膜検出部１４は、線分ＳＲにおける画像の赤色成分が閾値以上となる部分の周囲に出現予測領域ＰＲを設定する。このとき、露出粘膜検出部１４が設定する出現予測領域ＰＲの大きさを、事前に决定しておいた固定の大きさとしてもよいし、目の位置や大きさ、顔の大きさ、線分ＳＲにおける画像の赤色成分が閾値以上となる部分の長さなどに応じた可変の大きさとしてもよい。
【００５５】
そして、露出粘膜検出部１４は、設定した出現予測領域ＰＲの中で画像の赤色成分が閾値以上となる領域を露出粘膜として検出する。図３（ｃ）に示す例の場合、右目ＥＲの下側の結膜ＣＲが、露出粘膜として検出される。なお、登録者が、右目ＥＲの下側の結膜ＣＲに代えて（または加えて）、左目ＥＬの下側の結膜ＣＬを露出させた場合、図３（ｃ）に示した右目ＥＲの下側の結膜ＣＲを露出した場合と同様に、左目ＥＬの周囲に出現予測領域が設定されて、左目ＥＬの下側の結膜の全体が露出粘膜として検出される。
【００５６】
また例えば、図３（ｄ）に示すように、露出粘膜検出部１４は、図３（ｃ）に示した線分ＳＬ，ＳＲの始点を左右の目ＥＬ，ＥＲから左右の口角ＭＬ，ＭＲに平行移動させて得られる線分ＴＬ，ＴＲと、左右の口角ＭＬ，ＭＲを結ぶ線分と、線分ＴＬ，ＴＲの終点を結ぶ線分と、によって囲まれる矩形の領域を、出現予測領域Ｑとして設定する。そして、露出粘膜検出部１４は、設定した出現予測領域Ｑの中で画像の赤色成分が閾値以上となる領域を露出粘膜として検出する。図３（ｄ）に示す例の場合、舌Ｕが露出粘膜として検出される。
【００５７】
また、このとき露出粘膜検出部１４が生成する露出粘膜データは、上記のそれぞれの露出粘膜の領域の座標を示すデータである。例えば、露出粘膜データは、出現予測領域を設定した顔部位における特定の特徴点の座標を基準座標（０，０）として、当該出現予測領域内から検出された露出粘膜の領域の輪郭線を多角形で近似した場合における、当該多角形の各頂点の位置を座標（ｘ，ｙ）で表したデータであってもよい。具体的に例えば、図３（ｃ）に示す右目ＥＲの下側の結膜ＣＲは、露出粘膜データにおいて、右目（瞳孔または中心位置）ＥＲの座標を基準座標（０，０）とした、領域の位置の座標として規定される。また例えば、図３（ｄ）に示す舌Ｕの領域は、露出粘膜データにおいて、左右の口角ＭＬ，ＭＲの中心である口角中心ＭＣの座標を基準座標（０，０）とした、領域の位置の座標として規定される。
【００５８】
ところで、露出粘膜データも、顔部位データと同様に、画像の左下隅などの特定の位置の座標を基準座標（０，０）として規定することが可能である。ただし、露出粘膜データについては、顔部位における特定の特徴点の座標を基準座標（０，０）として規定すると、後述する顔認証装置における処理において登録者の露出粘膜の位置を迅速かつ精度良く特定することができるため、好ましい。
【００５９】
次に、登録者データ生成部１５が、識別コード取得部１１が生成した識別コードデータと、顔部位検出部１３が生成した顔部位データと、露出粘膜検出部１４が生成した露出粘膜データと、を関連付けて（紐付けて）登録者データを生成する（ステップ＃１４）。
【００６０】
登録者データ生成部１５が生成する登録者データの具体例について、図面を参照して説明する。図４は、登録者データの構成の一例を示す表である。なお、図４に示す登録者データは、１人の登録者についての登録者データの構成例を示したものである。
【００６１】
図４に示すように、登録者データには、登録者の識別コードを示す識別コードデータと、当該登録者の顔部位の位置を示す顔部位データと、当該登録者の露出粘膜の位置を示す露出粘膜データと、が含まれる。上述の通り、例えば顔部位データは、画像中における顔部位の特徴点の位置（絶対位置）を表すデータである。また、例えば露出粘膜データは、顔部位の特定の特徴点の座標を基準とした露出粘膜の領域の位置（相対位置）を表すデータである。
【００６２】
そして、登録者データ生成部１５が生成した登録者データを、データベース１６が記録して（ステップ＃１５）、登録者データ生成装置１０の動作が終了する。
【００６３】
なお、図２に示した動作例では、識別コードの取得（ステップ＃１０）が最初に行われているが、ステップ＃１４よりも前であればどのタイミングで行ってもよい。
【００６４】
また、図２は、登録者データ生成装置１０の基本的な動作を例示したものに過ぎない。そのため、顔認証に適した登録者データを得るなどの観点から、様々な変形を加えてもよい。
【００６５】
例えば、顔部位検出部１３において、正面を向いた十分な大きさの顔が所定時間以上継続して検出されるまで、露出粘膜検出部１４における露出粘膜の検出や登録者データ生成部１５における登録者データの生成を待機してもよい。登録者が正面を向いているか否かについては、顔及び顔部位の検出時におけるスコア（正面顔用の明暗パターンがマッチングする程度を示す値）に基づいて判定することが可能である。さらに、露出粘膜検出部１４において、十分な大きさの露出粘膜が所定時間以上継続して検出されるまで、登録者データ生成部１５における登録者データの生成を待機してもよい。
【００６６】
この場合、撮像部１２は、連続的に複数の画像データを生成することになる。また、顔部位検出部１３及び露出粘膜検出部１４は、撮像部１２が生成する複数の画像データが示す複数の画像のそれぞれについて、顔部位及び露出粘膜の検出を行うことになる。
【００６７】
また、図３では、正面を向きかつ顔の中心線（左右の目の中間点及び口角中心を通る直線）と画像の縦軸（図中の上下方向）とが平行になっている場合について例示したが、図５に示すように、正面を向いているが顔の中心線と画像の縦軸とが平行ではない場合（即ち、ヨー方向及びピッチ方向には回転していないがロール方向に回転している場合）でも、図３と同様に登録者データを生成することが可能である。ここで、図５は、顔部位検出部及び露出粘膜検出部の動作の別例について示す図であり、図３における顔が傾いた場合（具体的には、左目ＥＬ及び右目ＥＲが水平方向に沿って並ぶ状態から、左目ＥＬが下がるとともに右目ＥＲが上がるように首を傾げた場合）を示すものである。
【００６８】
図３を参照して説明したように、顔部位検出部１３は、画像の輝度成分の分布に対して、人の顔における特有の明暗パターンを当てはめることで、顔部位を検出する。そのため、画像の縦軸や横軸の方向とは無関係に、画像の中から登録者の顔を検出することができる。同様に、露出粘膜検出部１４は、顔部位の位置関係（上述の例では目と口の位置関係）に基づいて出現予測領域を設定し、当該出現予測領域の中から露出粘膜を検出する。そのため、画像の縦軸や横軸の方向とは無関係に、露出粘膜を検出することができる。したがって、図５に示すように、画像中で登録者の顔が傾いたとしても、登録者データを生成することが可能である。
【００６９】
＜顔認証装置＞
次に、本発明の実施形態に係る顔認証装置について、図面を参照して説明する。最初に、顔認証装置の構成について、図面を参照して説明する。図６は、顔認証装置の構成の一例について示すブロック図である。
【００７０】
図６に示すように、顔認証装置２０は、識別コード取得部２１と、撮像部２２と、顔部位検出部２３と、露出粘膜検出部２４と、生体判定部２５と、データベース２６と、本人判定部２７と、認証決定部２８と、を備える。
【００７１】
識別コード取得部２１は、登録者データ生成装置１０における識別コード取得部１１と同様に、キーパッドやキーボードなとの入力装置や、接触型または非接触型のカードリーダなどの読取装置によって構成される。ただし、識別コード取得部２１は、被認証者によって操作され、被認証者の識別コードを取得するとともに、被認証者の識別コードを示す識別コードデータを本人判定部２７に与える。
【００７２】
撮像部２２は、登録者データ生成装置１０における撮像部２２と同様に、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子を備えた撮像装置によって構成され、ＲＧＢなどの色の成分を含むカラーの画像を生成する。ただし、撮像部２２は、被認証者に対して、時間的に連続した撮像（動画撮像）を行う。
【００７３】
顔部位検出部２３は、登録者データ生成装置１０における顔部位検出部２３と同様に、撮像部２２が生成する画像データが示す画像の中から顔部位を検出して、当該顔部位を示す顔部位データを生成する。ただし、顔部位検出部２３は、撮像部２２が時間的に連続した撮像によって生成する複数の画像データが示す複数の画像のそれぞれについて、顔部位を検出する。
【００７４】
露出粘膜検出部２４は、登録者データ生成装置１０における露出粘膜検出部２４と同様に、撮像部２２が生成する画像データが示す画像の中から露出粘膜を検出して、当該露出粘膜を示す露出粘膜データを生成する。ただし、露出粘膜検出部２４は、撮像部２２が時間的に連続した撮像によって生成する複数の画像データが示す複数の画像のそれぞれについて、露出粘膜を検出する。また、露出粘膜検出部２４が生成する露出粘膜データは、顔部位データと同じ基準座標（０，０）を用いた、露出粘膜の領域の位置（画像中の絶対位置）の座標を規定したデータである。
【００７５】
生体判定部２５は、撮像部２２が時間的に連続した撮像によって生成した複数の画像データと、これらの複数の画像データが示す複数の画像のそれぞれの中から露出粘膜検出部２４が検出した露出粘膜の領域の位置を示す露出粘膜データと、に基づいて、これらの複数の画像のそれぞれの中の露出粘膜を表す領域を特定する。さらに、生体判定部２５は、特定した露出粘膜を表す領域について、人の生命活動に起因する画像的な変化の有無を検出することで、被認証者が生体であるか否かを判定し、その判定結果を示す生体判定結果データを生成する。
【００７６】
上述のように、露出粘膜は、毛細血管及びその中を流れる血液が外部から明確に視認されるために、顔の中で際立って赤い色をしている部分となっている。そのため、被認証者が生体であれば、毛細血管の中を流れる血液の心拍に応じた拍動が、画像の赤色成分の変動となって表れる。そこで、生体判定部２５は、画像中から露出粘膜の拍動が検出されれば、被認証者を生体であると判定する。具体的に例えば、生体判定部２５は、人の平均的な心拍数である６０回／分以上９０回／分以下程度（換算すると１Ｈｚ以上１．５Ｈｚ以下程度）で、少なくとも１つの露出粘膜における赤色成分が変動していれば、被認証者を生体であると判定する。
【００７７】
この場合、拍動は１秒間に１回程度になる。そのため、被認証者が生体であるか否かを精度良く判定するため観点から、生体判定部２５が、連続して数秒以上撮像した画像データを取得するように構成すると、好ましい。具体的に例えば、撮像部２２のフレームレートが３０ｆｐｓの場合、生体判定部２５が、３００フレーム程度（撮像時間にして１０秒程度）の画像データを取得するように構成すると、好ましい。
【００７８】
データベース２６は、登録者データ生成装置１０におけるデータベース１６と同様に、ハードディスクやフラッシュメモリなどの不揮発性の記録装置によって構成され、登録者データ生成装置１０が生成する登録者データを記録している。なお、顔認証装置２０が備えるデータベース２６と、登録者データ生成装置１０が備えるデータベース１６と、は同一の記録装置によって構成されていてもよい。
【００７９】
本人判定部２７は、まず、識別コード取得部２１から与えられる識別コードデータが示す被認証者の識別コードに基づいて、当該被認証者に対応する登録者を特定し、当該登録者の登録者データをデータベース２６から読み出す。具体的に、本人判定部２７は、データベース２６に記録されている登録者データの中で、被認証者の識別コードと一致する登録者の識別コードを示す識別コードデータが関連付けられている登録者データ（特に、顔部位データ及び露出粘膜データ）を、選択的に読み出す。
【００８０】
次に、本人判定部２７は、顔部位検出部２３が生成した顔部位データが示す被認証者の顔部位が、データベース２６から読み出した登録者データに含まれる顔部位データが示す登録者の顔部位に該当するか否かを判定する。
【００８１】
例えばこのとき、本人判定部２７は、顔部位検出部２３が生成した顔部位データが示す被認証者の顔部位の特徴点の座標相互位置関係（各特徴点の座標の相互の位置関係）と、データベース２６から読み出した登録者データに含まれる顔部位データが示す登録者の顔部位の特徴点の座標相互位置関係と、を比較して、所定の程度以上合致すれば、被認証者の顔部位が登録者の顔部位に該当すると判定する。
【００８２】
さらにこのとき、本人判定部２７が、画像中における登録者及び被認証者の顔のロール方向におけるズレを解消するために、被認証者及び登録者の顔部位の特徴点の座標相互位置関係に対する回転を許容した上で、両者の比較を行ってもよい。また、本人判定部２７が、画像中における登録者及び被認証者の顔の大きさのズレ（撮像部１２に対する登録者の距離と撮像部２２に対する被認証者の距離との差に起因するズレ）を解消するために、被認証者及び登録者の顔部位の特徴点の座標相互位置関係に対する相似変形を許容した上で、両者の比較を行ってもよい。また、本人判定部２７が、画像中における登録者及び被認証者の顔のヨー方向及びピッチ方向におけるズレを解消するために、被認証者及び登録者の顔部位の特徴点の座標相互位置関係に対する左右方向及び上下方向の変形を許容した上で、両者の比較を行ってもよい。
【００８３】
さらに、本人判定部２７は、露出粘膜検出部２４が生成した露出粘膜データが示す被認証者の露出粘膜が、データベース２６から読み出した登録者データに含まれる露出粘膜データが示す登録者の露出粘膜に該当するか否かを判定する。
【００８４】
例えばこのとき、本人判定部２７は、顔部位検出部２３が生成する顔部位データが示す被認証者の顔部位の特徴点の座標と、顔部位の特定の特徴点の座標を基準座標（０，０）とした相対位置の座標として規定されている登録者データに含まれる露出粘膜データが示す登録者の露出粘膜の領域の座標と、に基づいて、被認証者の当該特定の特徴点を基準座標（０，０）とした登録者の露出粘膜の領域の位置（画像中の絶対位置）の座標を算出する。そして、本人判定部２７は、上記のようにして算出した登録者の露出粘膜の領域の位置（画像中の絶対位置）の座標と、露出粘膜検出部２４が生成する露出粘膜データが示す被認証者の露出粘膜の領域の位置（画像中の絶対位置）の座標と、を比較して、所定の程度以上合致すれば、被認証者の露出粘膜が登録者の露出粘膜に該当すると判定する。
【００８５】
さらにこのとき、本人判定部２７が、被認証者及び登録者の顔部位の特徴点の座標相互位置関係の比較を行った場合と同様に、被認証者及び登録者の露出粘膜の回転、相似変形、左右方向及び上下方向の変形を許容した上で、両者の比較を行ってもよい。
【００８６】
そして、例えば本人判定部２７が、被認証者の顔部位が登録者の顔部位に該当すると判定し、かつ、被認証者の露出粘膜が登録者の露出粘膜に該当すると判定する場合に、被認証者が登録者に該当すると判定して、その判定結果を示す本人判定結果データを生成する。
【００８７】
認証決定部２８は、本人判定結果データ及び生体判定結果データに基づいて、被認証者に対する認証の可否を決定し、その決定結果を示す認証結果データを生成する。具体的に、認証决定部２８は、被認証者が登録者に該当する旨の判定結果を示すものであり、かつ、生体判定結果データが、被認証者が生体である旨の判定結果を示すものである場合に、被認証者を認証する。
【００８８】
顔部位検出部２３、露出粘膜検出部２４、生体判定部２５、本人判定部２７及び認証決定部２８は、各種データの処理を行う部分である。そのため、全体として１または複数の演算装置及び記憶装置によって実現することができる。なお、演算装置として、例えばＣＰＵやＧＰＵを用いてもよい。また、記憶装置として、例えばＲＡＭを用いてもよい。
【００８９】
次に、顔認証装置２０の動作について、図面を参照して説明する。図７は、図６の顔認証装置の動作の一例を示すフローチャートである。
【００９０】
図７に示すように、最初に、識別コード取得部２１が、被認証者の識別コードを取得して、当該識別コードを示す識別コードデータを本人判定部２７に与える（ステップ＃２０）。
【００９１】
次に、本人判定部２７が、識別コード取得部２１が生成する識別コードデータが示す被認証者の識別コードを、データベース２６に記録されている登録者データの識別コードデータが示す登録者の識別コードと照合する（ステップ＃２１）。
【００９２】
このとき、被認証者の識別コードと一致する識別コードの登録者が存在すれば、本人判定部２７は、当該登録者を被認証者に該当する登録者として特定する。一方、被認証者の識別コードと一致する識別コードの登録者が存在しなければ、本人判定部２７は、被認証者に該当する登録者を特定できないと判定する。
【００９３】
本人判定部２７が、被認証者に該当する登録者を特定することができないと判定する場合（ステップ＃２２、ＮＯ）、被認証者が登録者に該当しない旨の判定結果を示す本人判定結果データを生成する。そして、この本人判定結果データを取得した認証決定部２８が、被認証者について認証しない（認証失敗）旨を示す認証結果データを生成して（ステップ＃２３）、顔認証装置２０の動作が終了する。
【００９４】
一方、本人判定部２７が、被認証者に該当する登録者を特定すると（ステップ＃２３、ＹＥＳ）、特定した登録者の登録者データ（特に、顔部位データ及び露出粘膜データ）を、データベース２６から選択的に読み出す（ステップ＃２４）。
【００９５】
次に、撮像部２２が、被認証者の顔を撮像して画像データを生成する（ステップ＃２５）。このとき、被認証者は、撮像部２２に撮像される際に、登録者データ生成装置１０の撮像部１２に撮像された際の登録者の表情と同じ表情を作る。具体的に、被認証者は、意図的に露出粘膜が現れた表情を作る（例えば、図３（ａ）参照）。また、撮像部２２は、被認証者について、時間的に連続した撮像（例えば、１０秒以上の動画撮像）を行う。
【００９６】
次に、顔部位検出部２３が、登録者データ生成装置１０の顔部位検出部１３と同様に、撮像部２２が生成した画像データが示す画像の中から、顔部位を検出する（ステップ＃２６）。
【００９７】
このとき、顔部位検出部２３は、時間的に連続した撮像により生成された複数の画像データが示す複数の画像の中から、それぞれの顔部位を検出する。さらに、顔部位検出部２３は、登録者データ生成装置１０の顔部位検出部１３と同様に、検出した顔部位を示す顔部位データを生成する。
【００９８】
次に、本人判定部２７が、顔部位検出部２３が生成する顔部位データが示す被認証者の顔部位と、データベース２６から読み出した登録者データに含まれる顔部位データが示す登録者の顔部位と、を比較する（ステップ＃２７）。
【００９９】
上述のように、本人判定部２７は、顔部位検出部２３が生成した顔部位データが示す被認証者の顔部位の特徴点の座標相互位置関係と、データベース２６から読み出した登録者データに含まれる顔部位データが示す登録者の顔部位の特徴点の座標相互位置関係と、を比較して、所定の程度以上合致すれば、被認証者の顔部位が登録者の顔部位に該当すると判定する。
【０１００】
ここで、本人判定部２７は、複数の画像のそれぞれの中から顔部位検出部２３が検出した複数の被認証者の顔部位について比較を行ってもよいし、任意の１つの画像の中から顔部位検出部２３が検出した１つの被認証者の顔部位について比較を行ってもよい。また、本人判定部２７が、複数の画像のそれぞれの中から顔部位検出部２３が検出した複数の被認証者の顔部位について比較を行う場合、例えば、複数の被認証者の顔部位の特徴点の座標相互位置関係と登録者の顔部位の特徴点の座標相互位置関係とのそれぞれの比較結果を平均化することで最終的な比較結果を算出してもよいし、被認証者の顔部位の特徴点の座標相互位置関係を平均化した上で登録者の顔部位の特徴点の座標相互位置関係と比較することで比較結果を算出してもよいし、複数の被認証者の顔部位の特徴点の座標相互位置関係と登録者の顔部位の特徴点の座標相互位置関係とのそれぞれの比較結果の中で最も類似しているものを最終の比較結果として算出してもよい。
【０１０１】
本人判定部２７が、被認証者の顔部位が登録者の顔部位に該当しないと判定する場合（ステップ＃２８、ＮＯ）、被認証者が登録者に該当しない旨の判定結果を示す本人判定結果データを生成する。そして、この本人判定結果データを取得した認証決定部２８が、被認証者について認証しない（認証失敗）旨を示す認証結果データを生成して（ステップ＃２３）、顔認証装置２０の動作が終了する。
【０１０２】
一方、本人判定部２７が、被認証者の顔部位が登録者の顔部位に該当すると判定する場合（ステップ＃２８、ＹＥＳ）、露出粘膜検出部２４が、登録者データ生成装置１０の露出粘膜検出部１４と同様に、撮像部２２が生成した画像データが示す画像の中から、露出粘膜を検出する（ステップ＃２９）。
【０１０３】
このとき、露出粘膜検出部２４は、時間的に連続した撮像により生成された複数の画像データが示す複数の画像の中から、それぞれの露出粘膜を検出する。さらに、露出粘膜検出部２４は、顔部位検出部２３が生成する顔部位データと同じ基準座標（０，０）を用いて、露出粘膜の領域の位置（画像中の絶対位置）の座標を示した露出粘膜データを生成する。
【０１０４】
次に、本人判定部２７が、露出粘膜検出部２４が生成する露出粘膜データが示す被認証者の露出粘膜と、データベース２６から読み出した登録者データに含まれる露出粘膜データが示す登録者の露出粘膜と、を比較する（ステップ＃３０）。
【０１０５】
上述のように、本人判定部２７は、顔部位検出部２３が生成する顔部位データが示す被認証者の顔部位の特徴点の座標と、顔部位の特定の特徴点の座標を基準座標（０，０）とした相対位置の座標として規定されている登録者データに含まれる露出粘膜データが示す登録者の露出粘膜の領域の座標と、に基づいて、被認証者の当該特定の特徴点を基準座標（０，０）とした登録者の露出粘膜の領域の位置（画像中の絶対位置）の座標を算出する。そして、本人判定部２７は、上記のようにして算出した登録者の露出粘膜の領域の位置（画像中の絶対位置）の座標と、露出粘膜検出部２４が生成する露出粘膜データが示す被認証者の露出粘膜の領域の位置（画像中の絶対位置）の座標と、を比較して、所定の程度以上合致すれば、被認証者の露出粘膜が登録者の露出粘膜に該当すると判定する。
【０１０６】
ここで、本人判定部２７は、複数の画像のそれぞれの中から露出粘膜検出部２４が検出した複数の被認証者の露出粘膜について比較を行ってもよいし、任意の１つの画像の中から露出粘膜検出部２４が検出した１つの被認証者の露出粘膜について比較を行ってもよい。また、本人判定部２７が、複数の画像のそれぞれの中から露出粘膜検出部２４が検出した複数の被認証者の露出粘膜について比較を行う場合、例えば、複数の被認証者の露出粘膜の位置の座標と登録者の露出粘膜の位置の座標とのそれぞれの比較結果を平均化することで最終的な比較結果を算出してもよいし、被認証者の露出粘膜の位置の座標を平均化した上で登録者の露出粘膜の位置の座標と比較することで最終的な比較結果を算出してもよいし、複数の被認証者の露出粘膜の位置の座標と登録者の露出粘膜の位置の座標とのそれぞれの比較結果の中で最も類似しているものを最終の比較結果として算出してもよい。
【０１０７】
本人判定部２７が、被認証者の露出粘膜が登録者の露出粘膜に該当しないと判定する場合（ステップ＃３１、ＮＯ）、被認証者が登録者に該当しない旨の判定結果を示す本人判定結果データを生成する。そして、この本人判定結果データを取得した認証決定部２８が、被認証者について認証しない（認証失敗）旨を示す認証結果データを生成して（ステップ＃２３）、顔認証装置２０の動作が終了する。
【０１０８】
一方、本人判定部２７が、被認証者の露出粘膜が登録者の露出粘膜に該当すると判定する場合（ステップ＃３１、ＹＥＳ）、被認証者が登録者に該当する旨の判定結果を示す本人判定結果データを生成する。
【０１０９】
次に、生体判定部２５が、撮像部２２が時間的に連続した撮像によって生成した複数の画像データと、これらの複数の画像データが示す複数の画像のそれぞれの中から露出粘膜検出部２４が検出した露出粘膜の領域の位置を示す露出粘膜データと、に基づいて、これらの複数の画像のそれぞれの中の露出粘膜を表す領域を特定する。さらに、生体判定部２５は、特定した露出粘膜を表す領域について、人の生命活動に起因する画像的な変化の有無を検出することで、被認証者が生体であるか否かを判定し、その判定結果を示す生体判定結果データを生成する（ステップ＃３２）。
【０１１０】
このとき、生体判定部２５は、露出粘膜を表す領域から検出した画像的な変化が、人の生命活動に起因するものであるか否かを判定する。例えは、生体判定部２５は、露出粘膜を表す領域における赤色成分の変動が、６０回／分以上９０回／分以下（１Ｈｚ以上１．５Ｈｚ以下）であれば被認証者を生体と判定し、この条件を満たさなければ被認証者を生体ではないと判定する。
【０１１１】
生体判定部２５が、被認証者が生体ではないと判定する場合（ステップ＃３３、ＮＯ）、被認証者が生体ではない旨の判定結果を示す生体判定結果データを生成する。そして、この生体判定結果データを取得した認証決定部２８が、被認証者について認証しない（認証失敗）旨を示す認証結果データを生成して（ステップ＃２３）、顔認証装置２０の動作が終了する。
【０１１２】
一方、生体判定部２５が、被認証者が生体であると判定する場合（ステップ＃３３、ＹＥＳ）、被認証者が生体である旨の判定結果を示す生体判定結果データを生成する。そして、上述の被認証者が登録者に該当する旨の判定結果を示す本人判定結果データと、この生体判定結果データと、を取得した認証決定部２８が、被認証者について認証する旨（認証成功）を示す認証結果データを生成して（ステップ＃３４）、顔認証装置２０の動作が終了する。
【０１１３】
以上のように、本発明の実施形態における顔認証装置２０では、皮膚等の常に外界に晒されている部分と比較して表面層が薄くなっており、毛細血管及びその中を流れる血液が外部から明確に視認される露出粘膜に基づいて、被認証者が生体か否かを判定することができる。そのため、被認証者が生体か否かを精度良く判定することが可能になる。
【０１１４】
さらに、本発明の実施形態における顔認証装置２０では、人が意図的に行う表情であって、人前では滅多にしない特殊な表情である、露出粘膜が現れた表情に基づいて、被認証者が登録者に該当するか否かを判定することができる。そのため、盗撮に対して堅牢な顔認証装置２０を実現することが可能になる。
【０１１５】
なお、図７は、顔認証装置２０の基本的な動作を例示したものに過ぎない。そのため、要求されるセキュリティレベルなどに応じた適切な動作をするなどの観点から、様々な変形を加えてもよい。
【０１１６】
例えば、識別コードに基づく登録者の特定（ステップ＃２０〜＃２４）を行わなくてもよい。この場合、被認証者の顔部位が登録者の顔部位に該当するか否かの判定（ステップ＃２７及び＃２８）や、被認証者の露出粘膜が登録者の露出粘膜に該当するか否かの判定（ステップ＃３０及び＃３１）を行う際に、登録者の全員について網羅的に判定を行えばよい。
【０１１７】
ただし、この方法では、本人判定部２７が、本来は該当する登録者が存在しない被認証者を、偶然にいずれかの登録者に該当すると誤判定する可能性がある。そこで、要求されるセキュリティレベルが高く、被認証者が登録者に該当するか否かを精度良く判定することが必要である場合は、識別コードに基づく登録者の特定（ステップ＃２０〜＃２４）を行うと、好ましい。
【０１１８】
また、被認証者の顔部位が登録者の顔部位に該当するか否かの判定（ステップ＃２７及び＃２８）と、被認証者の露出粘膜が登録者の露出粘膜に該当するか否かの判定（ステップ＃３０及び＃３１）と、のいずれか一方を行わなくてもよい。
【０１１９】
ただし、要求されるセキュリティレベルが高く、被認証者が登録者に該当するか否かを精度良く判定することが必要である場合は、顔部位及び露出粘膜の両方について被認証者が登録者に該当するか否かの判定を行うと、好ましい。
【０１２０】
また、被認証者の露出粘膜が登録者の露出粘膜に該当するか否かの判定（ステップ＃３０及び＃３１）において、結膜などの人の顔の左右に存在する露出粘膜について判定を行う際に、人の顔の左右を無視してもよい。具体的に例えば、本人判定部２７が、被認証者が登録者に該当しないと判定する場合において、被認証者及び登録者の露出粘膜のいずれか一方を左右反転させた上で再度比較を行ってもよい。
【０１２１】
この場合、例えば、被認証者が左目の下側の結膜を露出させているが、当該被認証者と同一人物である登録者の登録者データに含まれる露出粘膜データが当該登録者の右目の下側の結膜を示すものであったとしても、本人判定部２７が、被認証者が登録者に該当すると判定し得る。
【０１２２】
ただし、要求されるセキュリティレベルが高く、露出粘膜の選択自体（即ち、登録者がどの粘膜を露出して登録者データを作成したか）も認証キーとして利用する場合は、このような処理を行わない方が好ましい。
【０１２３】
また、被認証者の露出粘膜が登録者の露出粘膜に該当するか否かの判定（ステップ＃３０及び＃３１）において、被認証者の露出粘膜と登録者の露出粘膜とがほとんど一致しない場合において、被認証者に対して露出するべき粘膜が正しくない旨を報知してもよいし、被認証者に対して露出するべき粘膜を指示してもよい。
【０１２４】
具体的に例えば、被認証者は左目の下側の結膜を露出させているが、当該被認証者と同一人物である登録者の登録者データに含まれる露出粘膜データが当該登録者の右目の下側の結膜を示すものであった場合、被認証者に対して、音声または画像表示によって「露出する粘膜が違います」や「右目の下側の結膜を露出させて下さい」などの警告を報知してもよい。
【０１２５】
ただし、要求されるセキュリティレベルが高く、露出粘膜の選択自体も認証キーとして利用する場合は、このような処理を行わない方が好ましい。
【０１２６】
＜変形等＞
［１］  図３及び図５では、目の下側の結膜及び舌を露出粘膜の具体例として挙げて説明したが、これ以外の粘膜を露出粘膜として検出することも可能である。ここで、図３及び図５とは異なる粘膜を露出粘膜として検出する場合について、図面を参照して説明する。図８は、露出粘膜検出部の動作の別例を示す図である。
【０１２７】
図８（ａ）に示すように、露出粘膜検出部１４，２４が、目の上側の結膜を検出する場合、図３（ｃ）における線分ＳＬ，ＳＲと始点（左目ＥＬ及び右目ＥＲ）は共通するが反対方向に伸びる線分ＳＬ１，ＳＲ１に基づいて、出現予測領域ＰＲ１を設定してもよい。なお、図８（ａ）に示す例の場合、右目ＥＲの上側に出現予測領域ＰＲ１が設定され、右目ＥＲの上側の結膜ＣＲ１が露出粘膜として検出される。
【０１２８】
また、図８（ｂ）に示すように、露出粘膜検出部１４，２４が、口腔内の全体の粘膜（単に口を開けた状態で露出する粘膜）を検出する場合、図３（ｄ）における線分ＴＬ，ＴＲの中心を左右の口角ＭＬ，ＭＲに合わせた線分ＴＬ２，ＴＲ２に基づいて、出現予測領域Ｑ２を設定すればよい。なお、図８（ｂ）に示す例の場合、開けた口の内部及び外部に出現予測領域Ｑ２が設定され、口腔内の全体の粘膜Ｕ２が露出粘膜として検出される。
【０１２９】
また、露出粘膜の選択自体も認証キーとして利用する場合など、登録者及び被認証者がどの粘膜を露出すべきかを限定しない場合は、露出粘膜検出部１４，２４が、全ての露出粘膜を検出が可能となるように、線分及び出現予測領域を設定すると、好ましい。例えば、露出粘膜検出部１４，２４が、図３（ｃ）の線分ＳＬ，ＳＲ及び図８（ａ）の線分ＳＬ１，ＳＲ１のそれぞれに基づいて、出現予測領域を設定してもよい。また、露出粘膜検出部１４，２４が、図３（ｄ）の線分ＴＬ，ＴＲ及び図８（ｂ）の線分ＴＬ２，ＴＲ２のそれぞれに基づいて、出現予測領域を設定してもよい。
【０１３０】
［２］  図３及び図５に示した顔部位検出部１３，２３による顔部位の検出方法や露出粘膜検出部１４，２４による露出粘膜の検出方法は例示に過ぎず、別の検出方法で顔部位や露出粘膜を検出してもよい。
【０１３１】
例えば、露出粘膜検出部１４，２４が、露出粘膜を検出する際に、顔部位の位置に基づいた出現予測領域を設定しなくてもよい。この場合、露出粘膜検出部１４，２４は、画像全体の中から網羅的に露出粘膜を検出することになる。
【０１３２】
ただし、露出粘膜は不特定の広がりを有する領域であるため、網羅的な検出は困難である。特に、画像の赤色成分に基づいて画像の全体の中から露出粘膜を検出しようとすると、背景などの非顔領域の赤い部分を露出粘膜として誤検出する可能性がある。
【０１３３】
そこで、図３及び図５に例示したように、露出粘膜検出部１４，２４が、顔部位の位置に基づいた出現予測領域を設定して露出粘膜を検出すると、精度良く露出粘膜を検出することができるため、好ましい。さらにこの場合、露出粘膜検出部１４，２４が、出現予測領域という限られた領域内から露出粘膜を検出することで、露出粘膜を検出するために必要な計算量を低減して迅速に検出を行うことができるため、好ましい。
【０１３４】
［３］  上述の実施形態では、図１及び図６において、登録者データ生成装置１０及び顔認証装置２０が別々の装置であるかのように図示しているが、同一の装置（以下、「共通装置」という）であってもよい。例えばこの場合、共通装置が「登録モード」で動作する場合は、図１に示す登録者データ生成装置１０の各ブロックの動作を実現し、共通装置が「認証モード」で動作する場合は、図６に示す顔認証装置２０の各ブロックの動作を実現する。
【０１３５】
例えば、この共通装置では、識別コード取得部１１，２１が、同一の入力装置または読取装置によって構成され得る。また例えば、撮像部１２，２２が、同一の撮像装置によって構成され得る。また例えば、データベース１６，２６が、同一の記録装置によって構成され得る。また例えば、顔部位検出部１３，２３、露出粘膜検出部１４，２４、登録者データ生成部１５，生体判定部２５及び本人判定部２７が、同一の演算装置及び記憶装置によって構成され得る。
【０１３６】
［４］  顔認証装置２０の露出粘膜検出部２４及び生体判定部２５は、顔認証装置２０に限らず、対象者の生命活動の状態を判定する他の装置にも適用することができる。例えば、画像中の対象者の脈拍を計測したり、計測した脈拍について異常の有無を判定したりする医療用などの用途の生体判定装置において、露出粘膜検出部２４及び生体判定部２５を用いてもよい。
【０１３７】
上述のように、露出粘膜は、皮膚等の常に外界に晒されている部分と比較して表面層が薄くなっており、毛細血管及びその中を流れる血液が外部から明確に視認される。そのため、上記のような生体判定装置において、露出粘膜に着目して生命活動の状態を判定すると、対象者の生命活動の状態を精度良く判定することが可能になる。
【０１３８】
［５］  登録者データ生成装置１０の顔部位検出部１３及び露出粘膜検出部１４や、顔認証装置２０の顔部位検出部２３及び露出粘膜検出部２４は、顔認証を行うための装置に限らず、露出粘膜を検出する他の画像処理装置にも適用することができる。例えば、画像中から結膜や舌などの粘膜部分を検出する医療用などの用途の画像処理装置において、顔部位検出部１３，２３及び露出粘膜検出部１４，２４を用いてもよい。
【０１３９】
上述のように、露出粘膜は、不特定の広がりを有する領域であるために網羅的な検出が困難であり、背景などの非顔領域から誤検出することが懸念される。また、画像の全体から露出粘膜を検出する場合、露出粘膜の検出に必要な計算量が膨大となることから迅速な検出が困難になる。そこで、上記のような画像処理装置において、顔部位の位置に基づいて出現予測領域を設定し、当該出現予測領域内から露出粘膜を検出することで、露出粘膜を精度良く検出することが可能になるとともに、露出粘膜の検出に必要な計算量を低減して迅速に検出を行うことが可能になる。
【産業上の利用可能性】
【０１４０】
本発明は、画像の中から検出した人の顔について認証を行う顔認証装置に利用可能である。また、当該顔認証装置に適用可能な画像処理装置及び生体判定装置に利用可能である。
【符号の説明】
【０１４１】
１０  ：  登録者データ生成装置
１１  ：  識別コード取得部
１２  ：  撮像部
１３  ：  顔部位検出部
１４  ：  露出粘膜検出部
１５  ：  登録者データ生成部
１６  ：  データベース
２０  ：  顔認証装置
２１  ：  識別コード取得部
２２  ：  撮像部
２３  ：  顔部位検出部
２４  ：  露出粘膜検出部
２５  ：  生体判定部
２６  ：  データベース
２７  ：  本人判定部
２８  ：  認証決定部
ＥＬ，ＥＲ  ：  目
ＭＬ，ＭＲ  ：  口角
ＭＣ  ：  口角中心
ＭＬＲ  ：  口角を結んだ直線
ＳＬ，ＳＲ，ＳＬ１，ＳＲ１  ：  線分
ＴＬ，ＴＲ，ＴＬ２，ＴＲ２  ：  線分
ＰＲ，ＰＲ１  ：  出現予測領域（結膜）
Ｑ，Ｑ２  ：  出現予測領域（舌、口腔内）
ＣＲ，ＣＲ１  ：  結膜
Ｕ  ：  舌
Ｕ２  ：  口腔内の全体の粘膜
【図１】
2016152029.tif 000003
【図２】
2016152029.tif 000004
【図３】
2016152029.tif 000005
【図４】
2016152029.tif 000006
【図５】
2016152029.tif 000007
【図６】
2016152029.tif 000008
【図７】
2016152029.tif 000009
【図８】
2016152029.tif 000010