(57)【要約】【課題】写真によるなりすましを防止するとともに、小型化、低消費電力化、低コスト化、高精度化、高速化を実現した顔認証装置および顔認証方法を提供する。【解決手段】少なくとも１つの３次元顔情報を保存している３次元顔情報記録部７と、認証対象者の顔を含む光学像を形成する撮像光学系３と、認証対象者の光学像を撮像し、認証対象者の顔の２次元画像データおよび像面位相差情報を取得する撮像素子５と、撮像素子５が取得した２次元画像データおよび像面位相差情報に基づいて、３次元顔情報記録部７内に保存されている３次元顔情報と認証対象者の顔との照合を実行することにより、認証対象者の３次元顔認証を実行する顔認証処理部９と、を備える顔認証装置１。【選択図】図２
2018173731.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの３次元顔情報を保存している３次元顔情報記録部と、
認証対象者の顔を含む光学像を形成する撮像光学系と、
前記認証対象者の前記光学像を撮像し、前記認証対象者の前記顔の２次元画像データおよび像面位相差情報を取得する撮像素子と、
前記撮像素子が取得した前記２次元画像データおよび前記像面位相差情報に基づいて、前記３次元顔情報記録部内に保存されている前記３次元顔情報と前記認証対象者の前記顔との照合を実行することにより、前記認証対象者の３次元顔認証を実行する顔認証処理部と、を備えることを特徴とする顔認証装置。
【請求項２】
前記顔認証処理部は、さらに、前記認証対象者の前記顔の前記２次元画像データを用いて前記認証対象者の２次元顔認証を実行し、前記認証対象者の前記２次元顔認証および前記３次元顔認証の双方が成功した場合に、前記認証対象者の顔認証が成功したことを表す信号を出力する請求項１に記載の顔認証装置。
【請求項３】
前記２次元画像データおよび前記像面位相差情報から、前記認証対象者の３次元顔情報を生成する３次元顔情報生成部をさらに備え、
前記顔認証処理部は、前記認証対象者の前記３次元顔情報に基づいて、前記認証対象者の前記３次元顔認証を実行する請求項１または２に記載の顔認証装置。
【請求項４】
前記顔認証処理部は、前記認証対象者の前記３次元顔情報から、前記認証対象者の前記顔の３次元特徴を抽出し、前記３次元顔情報記録部内に保存されている前記３次元顔情報から抽出された３次元特徴と照合することにより、前記認証対象者の前記３次元顔認証を実行する請求項３に記載の顔認証装置。
【請求項５】
前記３次元特徴は、鼻の高さ、鼻の形状、眼の窪みの深さ、および顔の各部位間の奥行方向の離間距離の少なくとも１つを含む請求項４に記載の顔認証装置。
【請求項６】
認証対象者の顔の認証を行うための顔認証方法であって、
前記認証対象者の光学像を撮像することにより、前記認証対象者の前記顔の２次元画像データおよび像面位相差情報を取得可能な撮像素子を用いて、前記認証対象者の前記２次元画像データおよび前記像面位相差情報を取得する工程と、
プロセッサーを用いて、前記認証対象者の前記２次元画像データおよび前記像面位相差情報に基づいて、３次元顔情報記録部内に保存されている３次元顔情報と前記認証対象者の前記顔との照合を実行することにより、前記認証対象者の３次元顔認証を実行する工程と、を含むことを特徴とする顔認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に顔認証装置および顔認証方法に関し、より具体的には、認証対象者の顔の２次元画像データおよび像面位相差情報を取得可能な撮像素子を利用した顔認証装置および顔認証方法に関する。
【背景技術】
【０００２】
従来、携帯電話、スマートフォン、ノートパソコン、ラップトップコンピューターのような様々なデバイスにおいて、パスワードとＩＤや、指紋認証、声紋認証、虹彩認証のような生体認証技術等が、本人確認を行うために利用されてきた。特に、近年のカメラモジュールの小型化・高性能化によって様々なデバイスにカメラモジュールが搭載されたことに伴い、認証対象者の顔を撮影し、撮影した顔画像と、予め登録した本人の顔画像とを照合することによる本人確認を行う顔認証技術が広く用いられるようになった。
【０００３】
このような認証対象者の顔画像を用いた認証には、本人以外の人物がなんらかの手段で本人になりすまして認証を不正に通過するという「なりすまし」問題が存在する。例えば、認証対象者の顔を撮影するときに、本人の顔写真を撮影することにより「なりすまし」が実行されることが多い。本人の顔写真を利用したなりすましでは、紙のような媒体に印刷された顔写真やモニタのような表示装置に表示された顔写真が用いられる。
【０００４】
また、認証対象者の顔画像を用いた認証では、化粧の有無、表情の変化、顔の向き、撮影時の照明の違い等によって認証精度が低下する可能性がある。
【０００５】
このような問題に対し、認証対象者の顔の３次元情報（３次元顔情報）を用いた３次元顔認証技術が用いられている。例えば、特許文献１は、図１に示すような認証対象者の顔の２次元画像データを取得するための撮影部５０１と、認証対象者の顔の奥行情報を取得するための複数の距離センサー５０２とを備える顔認証装置５００を開示している。
【０００６】
特許文献１の顔認証装置５００では、紙のような媒体に印刷された顔写真やモニタのような表示装置に表示された顔写真は平面であることに着目し、撮影部５０１によって取得された２次元画像データを用いた通常の顔認証に加え、複数の距離センサー５０２によって得られた認証対象者の顔の奥行情報を用いて被写体が平面であるか立体であるかを判別することにより、顔写真を用いたなりすましを防止している。
【０００７】
また、このような認証対象者の顔の奥行情報は、化粧の有無、表情の変化、顔の向き、撮影時の照明の違い等によって変化しないまたは変化が小さいので、認証対象者の顔の奥行情報を用いた３次元顔認証を実行することにより、より正確な顔認証を実行することができる。
【０００８】
しかしながら、特許文献１のような顔認証装置では、認証対象者の顔の２次元画像データを取得するための撮影部に加え、認証対象者の顔の奥行情報を取得するため距離センサーを用いる必要がある。そのため、システム構成の規模が大きくなり、顔認証装置の大型化、消費電力量の増加、コストの増加といった問題が発生する。
【０００９】
また、認証対象者の顔の２次元画像データを取得するための撮像部と、認証対象者の顔の奥行情報を取得するため距離センサーはそれぞれ異なった位置に設けられているため、認証対象者の顔の２次元画像データと、距離センサーが取得した認証対象者の顔の奥行情報との間には、視差が存在する。そのため、認証対象者の顔の２次元画像データに対し認証対象者の顔の奥行情報を対応付けて認証対象者の３次元顔情報を生成する際には、フィッティング処理が必要となる。このようなフィッティング処理によって、顔認証精度の低下、顔認証処理に要する時間の増大、消費電力量の増加といった問題が発生する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００６−２５９９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、上記従来の問題点を鑑みたものであり、その目的は、認証対象者の顔の２次元画像データおよび像面位相差情報を取得可能な撮像素子を利用することにより、写真によるなりすましを防止するとともに、小型化、低消費電力化、低コスト化、高精度化、高速化を実現した顔認証装置および顔認証方法を提供することにある。
【課題を解決するための手段】
【００１２】
このような目的は、以下の（１）〜（６）の本発明により達成される。
（１）少なくとも１つの３次元顔情報を保存している３次元顔情報記録部と、
認証対象者の顔を含む光学像を形成する撮像光学系と、
前記認証対象者の前記光学像を撮像し、前記認証対象者の前記顔の２次元画像データおよび像面位相差情報を取得する撮像素子と、
前記撮像素子が取得した前記２次元画像データおよび前記像面位相差情報に基づいて、前記３次元顔情報記録部内に保存されている前記３次元顔情報と前記認証対象者の前記顔との照合を実行することにより、前記認証対象者の３次元顔認証を実行する顔認証処理部と、を備えることを特徴とする顔認証装置。
【００１３】
（２）前記顔認証処理部は、さらに、前記認証対象者の前記顔の前記２次元画像データを用いて前記認証対象者の２次元顔認証を実行し、前記認証対象者の前記２次元顔認証および前記３次元顔認証の双方が成功した場合に、前記認証対象者の顔認証が成功したことを表す信号を出力する上記（１）に記載の顔認証装置。
【００１４】
（３）前記２次元画像データおよび前記像面位相差情報から、前記認証対象者の３次元顔情報を生成する３次元顔情報生成部をさらに備え、
前記顔認証処理部は、前記認証対象者の前記３次元顔情報に基づいて、前記認証対象者の前記３次元顔認証を実行する上記（１）または（２）に記載の顔認証装置。
【００１５】
（４）前記顔認証処理部は、前記認証対象者の前記３次元顔情報から、前記認証対象者の前記顔の３次元特徴を抽出し、前記３次元顔情報記録部内に保存されている前記３次元顔情報から抽出された３次元特徴と照合することにより、前記認証対象者の前記３次元顔認証を実行する上記（３）に記載の顔認証装置。
【００１６】
（５）前記３次元特徴は、鼻の高さ、鼻の形状、眼の窪みの深さ、および顔の各部位間の奥行方向の離間距離の少なくとも１つを含む上記（４）に記載の顔認証装置。
【００１７】
（６）認証対象者の顔の認証を行うための顔認証方法であって、
前記認証対象者の光学像を撮像することにより、前記認証対象者の前記顔の２次元画像データおよび像面位相差情報を取得可能な撮像素子を用いて、前記認証対象者の前記２次元画像データおよび前記像面位相差情報を取得する工程と、
プロセッサーを用いて、前記認証対象者の前記２次元画像データおよび前記像面位相差情報に基づいて、３次元顔情報記録部内に保存されている３次元顔情報と前記認証対象者の前記顔との照合を実行することにより、前記認証対象者の３次元顔認証を実行する工程と、を含むことを特徴とする顔認証方法。
【発明の効果】
【００１８】
本発明の顔認証装置および顔認証方法は、認証対象者の顔の２次元画像データおよび像面位相差情報を取得可能な撮像素子を用いる。そのため、本発明の顔認証装置および顔認証方法は、認証対象者の顔の３次元情報（３次元顔情報）を利用した３次元顔認証を実行することができるため、写真によるなりすましを防止することができる。さらに、化粧の有無、表情の変化、顔の向き、撮影時の照明の違い等によって顔認証の精度が低下することを防止することができるので、顔認証の精度を向上させることができる。
【００１９】
さらに、本発明の顔認証装置では、従来の顔認証装置のように、被写体の顔の２次元画像データを取得する撮像部に加えて、被写体の顔の奥行情報を取得するための距離センサーを別途設ける必要がない。そのため、顔認証装置の小型化、消費電力化、低コスト化を実現することができる。
【００２０】
また、本発明の顔認証装置および顔認証方法で用いられる撮像素子は、認証対象者の顔の２次元画像データおよび像面位相差情報の双方を取得可能である。そのため、該撮像素子から取得された２次元画像データと像面位相差情報との間には視差が存在しない。そのため、従来の顔認証装置および顔認証方法で実行されていたフィッティング処理を実行する必要がない。よって、本発明の顔認証装置および顔認証方法では、フィッティング処理による顔認証精度の低下、顔認証処理に要する時間の増大、消費電力量の増加といった問題が存在しない。
【図面の簡単な説明】
【００２１】
【図１】従来の顔認証装置の構成を示す図である。
【図２】本発明の顔認証装置を概略的に示すブロック図である。
【図３】本発明の顔認証方法を示すフローチャートである。
【図４】図３に示す顔認証方法における顔認証処理を示すフローチャートである。
【図５】本発明の顔認証装置の携帯デバイスにおける利用例の１つを示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の顔認証装置および顔認証方法を添付図面に示す好適な実施形態に基づいて説明する。最初に、図２を参照して、本発明に係る顔認証装置を説明する。図２は、本発明の顔認証装置を概略的に示すブロック図である。
【００２３】
図２に示す本発明の顔認証装置１は、顔認証装置１の制御を行う制御部２と、認証対象者の顔を含む光学像を形成する撮像光学系３と、オートフォーカス機能やズーム機能を実現するために撮像光学系３を駆動する光学系駆動部４と、認証対象者の顔の２次元画像データおよび像面位相差情報を取得可能な撮像素子５と、撮像素子５が取得した２次元画像データおよび像面位相差情報から、認証対象者の３次元顔情報を生成する３次元顔情報生成部６と、３次元顔情報を保存する３次元顔情報記録部７と、３次元顔情報記録部７に３次元顔情報を登録するための登録処理部８と、認証対象者の顔認証を実行する顔認証処理部９と、液晶パネル等の任意の情報を表示するための表示部１０と、ユーザーによる操作を入力するための操作部１１と、外部デバイスとの間で通信を実行するための通信部１２と、顔認証装置１の各コンポーネント間のデータの授受を実行するためのデータバス１３を備えている。
【００２４】
制御部２は、データバス１３を介して、各コンポーネントとの間で各種データや各種指示の授受を行い、顔認証装置１の制御を実行する。制御部２は、演算処理を実行するためのプロセッサーと、顔認証装置１の制御を行うために必要なデータ、プログラム、モジュール等を保存しているメモリーとを備えており、制御部２のプロセッサーは、メモリー内に保存されているデータ、プログラム、モジュール等を用いることにより、顔認証装置１の制御を実行する。また、制御部２のプロセッサーは、顔認証装置１の各コンポーネントを用いることにより、所望の機能を提供することができる。例えば、制御部２のプロセッサーは、顔認証処理部９を用いることにより、認証対象者の顔認証を実行することができる。
【００２５】
制御部２のプロセッサーは、例えば、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー（ＤＳＰ）、中央演算処理装置（ＣＰＵ）、メモリーコントールユニット（ＭＣＵ）、画像処理用演算処理装置（ＧＰＵ）、状態機械、論理回路、特定用途向け集積回路（ＡＳＩＣ）、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、制御部２のプロセッサーは、制御部２のメモリー内に保存されているコンピューター可読命令（例えば、データ、プログラム、モジュール等）をフェッチし、信号操作および制御を実行するよう構成されている。
【００２６】
制御部２のメモリーは、揮発性記憶媒体（例えば、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ）、不揮発性記憶媒体（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、ハードディスク、光ディスク、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、磁気カセット、磁気テープ、磁気ディスク）、またはこれらの組み合わせを含む着脱式または非着脱式のコンピューター可読媒体である。
【００２７】
撮像光学系３は、認証対象者の顔を含む光学像を形成する機能を有する。撮像光学系３は、１つ以上のレンズや絞り等の光学素子から構成され、認証対象者から入射してくる光を集光し、撮像素子５の撮像面上に認証対象者の顔を含む光学像を形成する。また、撮像光学系３は、任意選択的に、オートフォーカス機能を提供するためのフォーカスレンズ、ズーム機能を提供するためのズームレンズ、および手振れ補正機能を提供するための手振れ補正レンズの少なくとも１つを含んでいてもよい。すなわち、撮像光学系３は、認証対象者の顔を含む光学像を形成する機能のみを提供するよう構成されていてもよいし、該機能に加えて、追加的な機能として、オートフォーカス機能のみを提供するよう構成されていてもよく、該機能に加えて、追加的な機能として、オートフォーカス機能、ズーム機能、および手振れ補正機能の全てを提供するよう構成されていてもよい。撮像光学系３が、オートフォーカス機能、ズーム機能、および手振れ補正機能の少なくとも１つを提供するよう構成されている場合、撮像光学系３のフォーカスレンズ、ズームレンズおよび／または手振れ補正レンズは、光学系駆動部４によって駆動制御される。
【００２８】
光学系駆動部４は、撮像光学系３のフォーカスレンズ、ズームレンズおよび／または手振れ補正レンズを駆動させることにより、オートフォーカス機能、ズーム機能および／または手振れ補正機能を実現する機能を有している。光学系駆動部４は、例えば、撮像光学系３のフォーカスレンズを光軸方向に移動させることにより撮像光学系３のフォーカスを調整し、撮像光学系３のズームレンズを光軸方向に移動させることにより撮像光学系３の倍率を調整し、撮像光学系３の手振れ補正レンズを光軸方向に対して垂直な方向に移動させることにより手振れを補正する。光学系駆動部４は、撮像光学系３のフォーカスレンズ、ズームレンズおよび／または手振れ補正レンズを駆動させることができれば特に限定されないが、例えば、ＤＣモーター、ステッピングモーター、ボイスコイルモーター等のアクチュエーターにより構成することができる。
【００２９】
なお、図示の形態では、顔認証装置１は、光学系駆動部４を備えていているが、本発明はこれに限られない。例えば、撮像光学系３がフォーカスレンズ、ズームレンズおよび手振れ補正レンズを含んでおらず、顔認証装置１が光学系駆動部４を備えていない様態も、本発明の範囲内である。この場合、顔認証装置１の撮像光学系３は、単焦点光学系であり、オートフォーカス機能、ズーム機能、および手振れ補正機能を提供しないため、光学系駆動部４は顔認証装置１から省略される。
【００３０】
撮像素子５は、撮像光学系３によって形成された認証対象者の顔を含む光学像を撮像することにより、認証対象者の顔の２次元画像データと像面位相差情報を取得する機能を有している。なお、ここでいう像面位相差情報とは、撮像素子５の撮像面の任意の画素に入射してくる光が、撮像光学系３のベストフォーカス面からどの程度光軸方向にシフトした面から入射してきたかを表す情報である。
【００３１】
例えば、撮像光学系３のベストフォーカス面と同一の面からの光が撮像素子５の任意の画素に入射した場合、その画素に対応する像面位相差情報は、「０」である。撮像光学系３のベストフォーカス面よりも撮像光学系３に近づく方向にシフトした面からの光が撮像素子５の任意の画素に入射した場合、その画素に対応する像面位相差情報は、シフト量に応じたプラスの値を取り、一方、撮像光学系３のベストフォーカス面よりも撮像光学系３から遠ざかる方向にシフトした面からの光が撮像素子５の任意の画素に入射した場合、その画素に対応する像面位相差情報は、シフト量に応じたマイナスの値を取る。
【００３２】
したがって、認証対象者の顔の像面位相差情報は、認証対象者の顔の各部位の撮像光学系３のベストフォーカス面からの奥行方向の離間距離、すなわち、認証対象者の顔の奥行情報を表す。なお、認証対象者の顔の像面位相差情報は、認証対象者の顔の２次元画像データの全ての画素に対応していてもよいし、認証対象者の３次元顔認証を実行するために必要なだけの画素に対応していてもよい。例えば、認証対象者の顔の像面位相差情報は、認証対象者の顔の２次元画像データの全ての画素のうちの数％（例えば、３％）にだけ対応していてもよい。
【００３３】
このような撮像素子５を用いることにより、認証対象者の顔の２次元画像データと、認証対象者の顔の奥行情報に対応する像面位相差情報とを１つの撮像素子で取得することができる。そのため、本発明の顔認証装置１では、被写体の顔の２次元画像データを取得する撮像部に加えて、被写体の顔の奥行情報を取得するための距離センサーを別途設ける必要がない。そのため、顔認証装置１の小型化、消費電力化、低コスト化を実現することができる。
【００３４】
また、撮像素子５によって取得される認証対象者の顔の２次元画像データと像面位相差情報との間には視差が存在しない。そのため、本発明の顔認証装置１では、従来の顔認証装置において必要だったフィッティング処理を実行する必要がない。これにより、フィッティング処理による顔認証精度の低下、顔認証処理に要する時間の増大、消費電力量の増加といった問題の発生を避けることができる。
【００３５】
なお、本発明の顔認証装置１において、撮像素子５によって取得される認証対象者の顔の像面位相差情報は、認証対象者の３次元顔認証に用いられるが、像面位相差情報を光学系駆動部４によるオートフォーカス機能を実現するために利用してもよい。この場合、光学系駆動部４は、フォーカス点の画素に対応する像面位相差情報が「０」となる、すなわち、ベストフォーカスとなるように、撮像光学系３のフォーカスレンズを光軸方向に移動させる。
【００３６】
３次元顔情報生成部６は、撮像素子５によって取得された認証対象者の顔の２次元画像データおよび像面位相差情報に基づいて、認証対象者の３次元顔情報を生成する機能を有している。撮像素子５によって取得された段階で像面位相差情報が認証対象者の顔の２次元画像データの全ての画素に対応している場合には、３次元顔情報生成部６は、像面位相差情報を２次元画像データの画素のそれぞれに対応付けることにより３次元顔情報を生成する。撮像素子５によって取得された段階で像面位相差情報が認証対象者の顔の２次元画像データの一部の画素にしか対応していない場合には、３次元顔情報生成部６は、一部の画素の像面位相差情報に基づいて、バイリニア補間、バイキュービック補間、最近傍補間等の補間技術を用いて像面位相差情報の補間を実行し、補間された像面位相差情報を２次元画像データの画素のそれぞれに対応付けることにより３次元顔情報を生成する。
【００３７】
このようにして生成された３次元顔情報は、認証対象者の顔認証装置１に対する登録時には、登録処理部８によって３次元顔情報記録部７内に保存され、認証対象者に対する認証処理実行時には、３次元顔情報記録部７内に保存されている少なくとも１つの３次元顔情報と照合される。
【００３８】
３次元顔情報記録部７は、３次元顔情報を保存するための任意の不揮発性記録媒体（例えば、ハードディスク、フラッシュメモリー）である。認証対象者の顔認証装置１に対する登録時には、３次元顔情報生成部６によって生成された認証対象者の３次元顔情報が３次元顔情報記録部７内に記録される。認証対象者に対する認証処理実行時において、３次元顔情報記録部７は、少なくとも１つの３次元顔情報を保存している。
【００３９】
なお、図示の形態では、３次元顔情報記録部７は、顔認証装置１の内部に設けられているが、本発明はこれに限られない。例えば、３次元顔情報記録部７は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）等の種々の有線または無線ネットワークを介して顔認証装置１に接続された外部サーバーや外部ストレージデバイスであってもよい。また、３次元顔情報記録部７が外部サーバーや外部ストレージデバイスである場合、１つ以上の３次元顔情報記録部７が複数の顔認証装置１間で共用されていてもよい。
【００４０】
登録処理部８は、認証対象者を顔認証装置１に登録するための処理を実行する機能を有している。認証対象者の登録時において、登録処理部８は、３次元顔情報生成部６によって生成された認証対象者の３次元顔情報を３次元顔情報記録部７内に保存する。また、認証対象者の登録時において、登録処理部８は、認証対象者の３次元顔情報に、操作部１１を介して顔認証装置１に入力された認証対象者に関する任意の情報（例えば、氏名、性別、年齢、身長、認証の有効期限等）を関連付け、認証対象者の３次元顔情報と該任意の情報の双方を、３次元顔情報記録部７内に保存してもよい。
【００４１】
顔認証処理部９は、撮像素子５が取得した認証対象者の顔の２次元画像データおよび像面位相差情報（すなわち、３次元顔情報）に基づいて、３次元顔情報記録部７内に保存されている少なくとも１つの３次元顔情報と認証対象者の顔との照合を実行することにより、認証対象者の３次元顔認証を実行する機能を有している。なお、ここでいう「３次元顔認証」とは、認証対象者の顔の３次元情報（例えば、本発明の３次元顔情報）を利用した顔認証処理を意味する。
【００４２】
認証対象者に対する３次元顔認証実行時において、顔認証処理部９は、認証対象者の３次元顔情報から、認証対象者の顔の３次元特徴を抽出し、さらに、３次元顔情報記録部７内に保存されている少なくとも１つの３次元顔情報から顔の３次元特徴を抽出する。その後、顔認証処理部９は、認証対象者の顔の３次元特徴と、３次元顔情報記録部７内に保存されている３次元顔情報から抽出された顔の３次元特徴とを照合することにより、認証対象者の３次元顔認証を実行する。
【００４３】
３次元顔情報から抽出される顔の３次元特徴としては、例えば、鼻の高さ、鼻の形状（鼻尖の向きや形、鼻背の形や高さ、鼻翼の形等）、眼の窪みの深さ、顔の各部位（眼、鼻、口、耳、眉等）間の奥行方向の離間距離を挙げることができる。このような顔の３次元特徴は、例えば、３次元顔情報から顔の３次元グリッドおよびテクスチャを生成し、顔を３次元モデル化することにより抽出することができる。
【００４４】
顔認証処理部９は、このようにして抽出された認証対象者の顔の３次元特徴の少なくとも１つと、３次元顔情報記録部７内に保存されている３次元顔情報から抽出された３次元特徴の少なくとも１つとを比較することにより、認証対象者の３次元顔認証を実行することができる。
【００４５】
さらに、顔認証処理部９は、上述した３次元顔認証に加えて、３次元顔情報に含まれる２次元画像データを用いて、認証対象者の２次元顔認証を実行するよう構成されていてもよい。具体的には、顔認証処理部９は、固有顔法、線形判別分析、グラフマッチング法、周波数解析法、ニューラルネットワーク法、Ｖｉｏｌａ−Ｊｏｎｅｓ法等の２次元顔認証アルゴリズムを用いて、認証対象者の顔の２次元画像データと、３次元顔情報記録部７内に保存されている３次元顔情報に含まれている２次元画像データとの照合を行い、認証対象者の２次元顔認証を実行することができる。なお、ここでいう「２次元顔認証」とは、認証対象者の顔の２次元情報（例えば、本発明の顔の２次元画像データ）を利用した顔認証処理を意味する。
【００４６】
この場合、顔認証処理部９は、認証対象者の２次元顔認証と３次元顔認証の双方を実行し、認証対象者の２次元顔認証と３次元顔認証の双方が成功した場合に認証対象者の顔認証が成功したことを出力する。これにより、２次元顔認証と３次元顔認証とによる二重のチェックを実行することができ、顔認証の精度を向上させることができる。
【００４７】
また、顔認証処理部９による２次元顔認証と３次元顔認証の実行順は特に限定されないが、顔認証処理部９は、先に２次元顔認証を実行し、２次元顔認証を通過した場合にのみ、３次元顔認証をさらに実行するように構成されていることが好ましい。一般に、２次元画像データを用いる２次元顔認証の処理速度の方が、顔の３次元モデル等を用いる３次元顔認証の処理速度よりも速い。そのため、最初に、２次元顔認証を実行することにより３次元顔情報記録部７内に保存されている３次元顔情報をスクリーニングし、その後、２次元顔認証を通過した３次元顔情報のみを用いて３次元顔認証を実行することにより、２次元顔認証と３次元顔認証とによる二重のチェックを用いた顔認証に要する時間を短縮することができる。
【００４８】
顔認証処理部９による認証対象者の顔認証が終了すると、認証対象者の顔認証結果に応じた信号等が制御部２のプロセッサーに送られ、制御部２のプロセッサーが認証対象者の顔認証結果に応じた処理を実行する。例えば、制御部２のプロセッサーは、認証対象者の顔認証が成功した場合には、任意のデバイスのロックを解除、または、任意のアプリケーションの起動を許可し、認証対象者の顔認証が成功した場合には、任意のデバイスのロックを維持、または、任意のアプリケーションの起動を許可しない。
【００４９】
表示部１０は、液晶表示部等のパネル型表示部であり、制御部２のプロセッサーからの信号に応じて、撮像素子５によって取得された認証対象者の２次元画像データや、認証対象者の顔認証が成功したか失敗したか等の情報、顔認証装置１を操作するための情報等が文字または画像の様態で表示部１０に表示される。
【００５０】
操作部１１は、顔認証装置１の使用者が操作を実行するために用いられる。操作部１１は、顔認証装置１の使用者が操作を実行することができれば特に限定されず、例えば、マウス、キーボード、テンキー、ボタン、ダイヤル、レバー、タッチパネル等を操作部１１として用いることができる。操作部１１は、顔認証装置１の使用者による操作に応じた信号を制御部２のプロセッサーに送信する。
【００５１】
通信部１２は、顔認証装置１に対するデータの入力または顔認証装置１から外部デバイスへのデータの出力を行う機能を有している。通信部１２は、インターネットのようなネットワークに接続されていてもよい。この場合、顔認証装置１は、通信部１２を用いることにより、外部に設けられたウェブサーバーやデータサーバーのような外部デバイスと通信を行うことができる。
【００５２】
このように、本発明の顔認証装置１は、認証対象者の顔の２次元画像データおよび像面位相差情報を取得可能な撮像素子５を用いている。そのため、顔認証装置１は、認証対象者の顔の３次元情報（奥行情報）を利用した３次元顔認証を実行することができるため、写真によるなりすましを防止することができる。さらに、認証対象者の顔の３次元情報は、化粧の有無、表情の変化、顔の向き、撮影時の照明の違い等によって変化しないまたは変化が小さいため、認証対象者の顔の３次元情報を用いることにより、顔認証の精度を向上させることができる。
【００５３】
さらに、顔認証装置１では、従来の顔認証装置のように、被写体の顔の２次元画像データを取得する撮像部に加えて、被写体の顔の奥行情報を取得するための距離センサーを別途設ける必要がない。そのため、顔認証装置１の小型化、消費電力化、低コスト化を実現することができる。
【００５４】
また、顔認証装置１で用いられる撮像素子５は、認証対象者の顔の２次元画像データおよび像面位相差情報の双方を取得可能である。そのため、撮像素子５によって取得された２次元画像データと像面位相差情報との間には視差が存在しない。そのため、従来の顔認証装置および顔認証方法で実行されていたフィッティング処理を実行する必要がない。そのため、顔認証装置１では、フィッティング処理による顔認証精度の低下、顔認証処理に要する時間の増大、消費電力量の増加といった問題が存在しない。
【００５５】
これらのことから、本発明の顔認証装置１は、写真によるなりすましを防止することができるとともに、高い顔認証の精度を実現させることができ、さらに、小型化、消費電力化、低コスト化、顔認証処理の高精度化および高速化を実現することができる。
【００５６】
次に図３および図４を参照して、本発明の顔認証方法について説明する。なお、本発明の顔認証方法は、上述した本発明の顔認証装置１および本発明の顔認証装置１と同等の機能を有する任意の装置を用いて実行することができるが、以下、顔認証装置１を用いて実行されるものとして説明する。
【００５７】
図３は、本発明の顔認証方法を示すフローチャートである。図４は、図３に示す顔認証方法における顔認証処理を示すフローチャートである。
【００５８】
図３に示す顔認証方法Ｓ１００は、認証対象者が操作部１１を用いて、顔認証処理を開始するための操作を実行することにより開始される。工程Ｓ１１０において、３次元顔情報記録部７内に少なくとも１つの３次元顔情報が保存されているか否かが判別される。顔認証装置１の３次元顔情報記録部７内に少なくとも１つの３次元顔情報が保存されていないと判別された場合、処理は、工程Ｓ１２０に移行する。
【００５９】
工程Ｓ１２０において、表示部１０に認証対象者に対して３次元顔情報の登録処理を実行するよう促すメッセージが表示される。その後、認証対象者は、操作部１１を操作し、３次元顔情報の登録処理を開始する。３次元顔情報の登録処理が開始されると、認証対象者は、撮像光学系３、光学系駆動部４、および撮像素子５を用いて、自身の顔を撮影する。認証対象者の顔が撮影されると、撮像素子５によって認証対象者の顔の２次元画像データおよび像面位相差情報が取得され、３次元顔情報生成部６によって、認証対象者の顔の２次元画像データおよび像面位相差情報から、認証対象者の３次元顔情報が生成される。その後、登録処理部８によって、生成された認証対象者の３次元顔情報が３次元顔情報記録部７内に保存される。
【００６０】
なお、工程Ｓ１２０における３次元顔情報の登録処理が開始される前に、登録処理部８は、認証対象者に対し、認証対象者の３次元顔情報を３次元顔情報記録部７内に登録してもよいかどうかの確認処理を実行してもよい。例えば、登録処理部８は、認証対象者に対し、ＩＤとパスワードを顔認証装置１に入力するよう促し、認証対象者が顔認証装置１の管理者権限を有しているか否かを確認する。この場合、登録処理部８は、認証対象者が顔認証装置１の管理者権限を有していることを確認できた場合にのみ、工程Ｓ１２０における３次元顔情報の登録処理を実行してもよい。一方、登録処理部８が、認証対象者が顔認証装置１の管理者権限を有していることを確認できなかった場合には、顔認証方法Ｓ１００は終了する。
【００６１】
工程Ｓ１２０が終了した後、または、工程Ｓ１１０において３次元顔情報記録部７内に少なくとも１つの３次元顔情報が保存されていると判別された場合、処理は、工程Ｓ１３０に移行する。工程Ｓ１３０において、認証対象者に対して撮像光学系３、光学系駆動部４、および撮像素子５を用いて、自身の顔を撮影することを促すメッセージが表示部１０に表示される。認証対象者が撮像光学系３、光学系駆動部４、および撮像素子５を用いて、自身の顔を撮影すると、処理は、工程Ｓ１４０に移行する。
【００６２】
工程Ｓ１４０において、撮像素子５によって認証対象者の顔の２次元画像データおよび像面位相差情報が取得される。次に、工程Ｓ１５０において、３次元顔情報生成部６によって、認証対象者の顔の２次元画像データおよび像面位相差情報から、認証対象者の３次元顔情報が生成される。
【００６３】
工程Ｓ１５０において認証対象者の３次元顔情報が生成されると、処理は、工程Ｓ１６０に移行する。図４は、工程Ｓ１６０の詳細を示すフローチャートである。工程Ｓ１６０が開始されると、工程Ｓ１６１において、顔認証処理部９によって認証対象者の２次元顔認証処理が実行される。工程Ｓ１６１において、顔認証処理部９は、認証対象者の３次元顔情報に含まれる認証対象者の顔の２次元画像データと、３次元顔情報記録部７内に保存されている少なくとも１つの３次元顔情報に含まれる顔の２次元画像データとを照合することにより、認証対象者の２次元顔認証処理を実行する。
【００６４】
工程Ｓ１６２において、工程Ｓ１６１における認証対象者の２次元顔認証処理が成功したか失敗したかが判別される。工程Ｓ１６１の２次元顔認証処理において、３次元顔情報記録部７内に、認証対象者の顔の２次元画像データに対する照合が成功した２次元画像データが存在しない場合、認証対象者の２次元顔認証は失敗したと判別される。一方、３次元顔情報記録部７内に、認証対象者の顔の２次元画像データに対する照合が成功した２次元画像データが１つでも存在する場合、認証対象者の２次元顔認証は成功したと判別される。
【００６５】
工程Ｓ１６２において、認証対象者の２次元顔認証処理が失敗したと判別された場合、処理は、工程Ｓ１６３に移行する。工程Ｓ１６３において、顔認証処理部９は、認証対象者の顔認証が失敗したことを表す信号（メッセージ）を制御部２のプロセッサーに出力し、工程Ｓ１６０が終了する。
【００６６】
一方、工程Ｓ１６２において、認証対象者の２次元顔認証処理が成功したと判別された場合、処理は、工程Ｓ１６４に移行する。工程Ｓ１６４において、顔認証処理部９によって認証対象者の３次元顔認証処理が実行される。
【００６７】
工程Ｓ１６４において、顔認証処理部９は、認証対象者の３次元顔情報に基づいて認証対象者の顔の３次元特徴を抽出する。次に、顔認証処理部９は、３次元顔情報記録部７内に保存されている少なくとも１つの３次元顔情報のうち、工程Ｓ１６２において認証対象者の顔の２次元画像データに対する照合が成功した２次元画像データを含む３次元顔情報から顔の３次元特徴を抽出し、認証対象者の顔の３次元特徴と照合することにより、認証対象者の３次元顔認証処理を実行する。
【００６８】
工程Ｓ１６５において、工程Ｓ１６４における認証対象者の３次元顔認証処理が成功したか失敗したかが判別される。工程Ｓ１６４の３次元顔認証処理において、認証対象者の３次元特徴に対する照合が成功した３次元特徴が存在しない場合、認証対象者の３次元顔認証は失敗したと判別される。一方、認証対象者の３次元特徴に対する照合が成功した３次元特徴が存在する場合、認証対象者の３次元顔認証は成功したと判別される。
【００６９】
工程Ｓ１６５において、認証対象者の３次元顔認証処理が失敗したと判別された場合、処理は、工程Ｓ１６３に移行する。一方、工程Ｓ１６５において、認証対象者の３次元顔認証処理が成功したと判別された場合、処理は、工程Ｓ１６６に移行する。工程Ｓ１６６において、顔認証処理部９は、認証対象者の顔認証が成功したことを表す信号（メッセージ）を制御部２のプロセッサーに出力し、工程Ｓ１６０が終了する。
【００７０】
図３に戻り、工程Ｓ１７０において、制御部２のプロセッサーは、顔認証処理部９から信号を受信し、受信した信号に応じた認証結果を表示部１０に表示する。その後、制御部２のプロセッサーは、認証結果に応じた処理を実行する。例えば、認証結果が成功であれば、任意のデバイスのロックの解除または任意のアプリケーションの起動を許可するといった処理を実行し、認証結果が失敗であれば、任意のデバイスのロック維持または任意のアプリケーションの起動を許可しないといった処理を実行する。認証結果が表示部１０に表示され、制御部２のプロセッサーは、認証結果に応じた処理を実行すると顔認証方法Ｓ１００は、終了する。
【００７１】
以上、本発明の顔認証装置および顔認証方法を図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではない。本発明の各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の各構成に任意の構成のものを付加することができる。
【００７２】
例えば、図２に示された顔認証装置１のコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された様態も、本発明の範囲内である。また、顔認証装置１の各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。
【００７３】
また、図３および図４に示された顔認証方法Ｓ１００の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合わされ、または、任意の工程が削除される様態も、本発明の範囲内である。
【００７４】
例えば、図４に示す工程Ｓ１６１の認証対象者の２次元顔認証処理および工程Ｓ１６２の判別処理を省略してもよいし、２次元顔認証処理と３次元顔認証処理の実行順を入れ替えてもよい。
【００７５】
＜利用例＞
上述のように、本発明の顔認証装置１は、写真によるなりすましを防止することができるとともに、高い顔認証の精度を実現させることができ、さらに、小型化、消費電力化、低コスト化、顔認証処理の高精度化および高速化を実現することができることから、様々な用途において有効に利用することができる。以下、本発明の顔認証装置１の利用例について説明する。
【００７６】
（携帯デバイス）
図５は、本発明の顔認証装置の携帯デバイスにおける利用例の１つを示す図である。図５に示すように、本発明の顔認証装置１は、スマートフォン、携帯電話、ＰＤＦ、ノートパソコン、携帯型ゲーム機、携帯型音楽プレイヤー、ウェアラブル端末等の携帯デバイスにおいて利用することができる。この場合、携帯デバイスの前面および／または後面に顔認証装置１の撮像光学系３が設けられており、さらに、撮像素子５を含む顔認証装置１の各コンポーネントが携帯デバイスの内部に組み込まれている。なお、顔認証装置１の各コンポーネントが全て、携帯デバイスのコンポーネントとは別個に携帯デバイスの内部に組み込まれていてもよいし、顔認証装置１の各コンポーネントが携帯デバイスのコンポーネントによって代替されていてもよい。例えば、顔認証装置１の制御部２が携帯デバイスの制御部と代替されていてもよい。
【００７７】
このような携帯デバイスは、顔認証装置１を用いて実行される認識対象者の顔認証結果に応じて、様々な処理を実行することができる。例えば、携帯デバイスは、認識対象者の顔認証が成功した場合、携帯デバイスのロックを解除するよう構成されていてもよいし、任意のアプリケーションの起動を許可するよう構成されていてもよい。
【００７８】
このように本発明の顔認証装置１を携帯デバイスにおいて利用することにより、携帯デバイスの使用者は、自身の顔を撮影するだけで本人確認ができ、携帯デバイスのロックの解除やアプリケーションの起動を行う事ができる。そのため、本発明の顔認証装置１を携帯デバイスにおいて利用することにより、携帯デバイスの利便性を向上させることができる。
【００７９】
また、本発明の顔認証装置１を利用することにより、写真によるなりすましや、化粧等による顔認証精度の低下といった従来の２次元顔認識の問題を克服できる。そのため、本発明の顔認証装置１を携帯デバイスにおいて利用することにより、携帯デバイスのセキュリティを向上させることができる。
【００８０】
また、顔認証装置１の３次元顔情報記録部７内に複数人の３次元顔情報が保存されていてもよい。この場合には、複数人で携帯デバイスを共有して使用することができる。
【００８１】
（固定デバイス）
本発明の顔認証装置１は、ラップトップコンピューター、サーバー、ＡＴＭ、固定型ゲーム機等の固定デバイスにおいて利用することができる。この場合、固定デバイスの前面に顔認証装置１の撮像光学系３が設けられており、さらに、撮像素子５を含む顔認証装置１の各コンポーネントが固定デバイスの内部に組み込まれている。なお、顔認証装置１の各コンポーネントが全て、固定デバイスのコンポーネントとは別個に固定デバイスの内部に組み込まれていてもよいし、顔認証装置１の各コンポーネントが固定デバイスのコンポーネントによって代替されていてもよい。
【００８２】
この場合も、前述の携帯デバイスでの利用例と同様に、固定デバイスは、顔認証装置１を用いて実行される認識対象者の顔認証結果に応じて、様々な処理を実行することができる。例えば、固定デバイスは、認識対象者の顔認証が成功した場合、携帯デバイスのロックを解除するよう構成されていてもよいし、任意のアプリケーションの起動を許可するよう構成されていてもよい。
【００８３】
このように本発明の顔認証装置１を固定デバイスにおいて利用することにより、固定デバイスの使用者は、自身の顔を撮影するだけで本人確認ができ、固定デバイスのロックの解除やアプリケーションの起動を行うことができる。そのため、本発明の顔認証装置１を固定デバイスにおいて利用することにより、固定デバイスの利便性を向上させることができる。
【００８４】
また、本発明の顔認証装置１を利用することにより、写真によるなりすましや、化粧等による顔認証精度の低下といった従来の２次元顔認識の問題を回避できる。そのため、本発明の顔認証装置１を固定デバイスにおいて利用することにより、固定デバイスのセキュリティを向上させることができる。
【００８５】
（ドアの開錠システム）
本発明の顔認証装置１は、ドアの開錠システムにおいて利用することができる。この場合、ドアの前面またはドア付近の壁や天井に顔認証装置１の撮像光学系３が設けられる。このようなドアの開錠システムは、顔認証装置１を用いて実行される認識対象者の顔認証結果に応じて、様々な処理を実行することができる。例えば、ドアの開錠システムは、認識対象者の顔認証が成功した場合にドアのロックを解除するよう構成されている。
【００８６】
このようなドアの開錠システムが、家の玄関ドアに用いられる場合、家族全員の３次元顔情報が顔認証装置１の３次元顔情報記録部７内に保存されている。このようなドアの開錠システムが、オフィスのドアに用いられる場合、オフィスを利用する従業員等の３次元顔情報が顔認証装置１の３次元顔情報記録部７内に保存されている。
【００８７】
このように本発明の顔認証装置１をドアの開錠システムにおいて利用することにより、ドアの開錠システムが設けられた施設の利用者は、鍵やＩＤカード等を持ち歩かなくともドアを開錠することができる。そのため、このようなドアの開錠システムが設けられた施設の利便性を向上させることができる。
【００８８】
また、本発明の顔認証装置１を利用することにより、写真によるなりすましや、化粧等による顔認証精度の低下といった従来の２次元顔認識の問題を回避できる。そのため、このようなドアの開錠システムが設けられた施設のセキュリティを向上させることができる。
【００８９】
（車載システム）
本発明の顔認証装置１は、車載システムにおいて利用することができる。この場合、車内の１つ以上の箇所に顔認証装置１の撮像光学系３が設けられる。このような車載システムは、顔認証装置１を用いて実行される認識対象者の顔認証結果に応じて、様々な処理を実行することができる。例えば、車載システムは、運転席に座った認証対象者の顔認証が成功した場合に、車のエンジンを駆動させるよう構成されている。
【００９０】
また、車内に複数の人間が存在する場合、顔認証装置１は、運転席に座っている人だけではなく、助手席や後部座席に座っている人に対しても顔認証処理を実行してもよい。これにより、車内に存在する人の数や車内に存在する人が既に顔認証装置１に登録されているか否かを判別することができる。例えば、このような車載システムをバスに設けることにより、予め顔認証装置１の３次元顔情報記録部７内に３次元顔情報が登録された乗客が全て車内に存在するか否か、登録された乗客が入れ替わっていないか等を容易に判別することができる。
【００９１】
以上、本発明の顔認証装置１の利用例について説明したが、本発明の顔認証装置１の利用は、上述の利用例に限られるものではない。本分野における当業者が想到し得る様々な用途に、本発明の顔認証装置１を利用することができる。
【００９２】
なお、本発明の顔認証装置１および顔認証方法Ｓ１００においては、撮像素子５によって取得された像面位相差情報は、主として認証対象者の３次元顔認証に用いられているが、撮像素子５によって取得された像面位相差情報の利用方法はこれに限られない。例えば、撮像素子５によって取得された像面位相差情報を利用することにより、奥行情報（３Ｄ情報）が付与された画像データを取得する３Ｄ写真撮影を実現することができる。また、撮像素子５によって取得された像面位相差情報を用いて、被写体までの距離を測定する測長撮影を実現することができる。
【符号の説明】
【００９３】
１…顔認証装置  ２…制御部  ３…撮像光学系  ４…光学系駆動部  ５…撮像素子  ６…３次元顔情報生成部  ７…３次元顔情報記録部  ８…登録処理部  ９…顔認証処理部  １０…表示部  １１…操作部  １２…通信部  １３…データバス  Ｓ１００…顔認証方法  Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０、Ｓ１６０、Ｓ１７０…工程  Ｓ１６１〜Ｓ１６６…工程  ５００…顔認証装置  ５０１…撮像部  ５０２…距離センサー
【図１】
2018173731.tif 000003
【図２】
2018173731.tif 000004
【図３】
2018173731.tif 000005
【図４】
2018173731.tif 000006
【図５】
2018173731.tif 000007