(57)【要約】【課題】顔認証と虹彩認証との両方を行うことができる生体認証装置を提供する。【解決手段】生体認証装置は、近赤外の光学パターンを照射する投影装置３と、近赤外の光を受光可能な撮像装置５とを備え、投影装置３は、顔の３次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを、同時あるいは逐次に照射可能となっている。よって、撮像装置５により撮影された画像から、顔の３次元情報と、虹彩の情報とを取得することができる。したがって、顔認証と虹彩認証との両方を行うことができる。【選択図】図１
2020013443.tif 000002
【特許請求の範囲】
【請求項１】
近赤外の光学パターンを照射する投影装置と、前記近赤外の光を受光可能な撮像装置とを備え、
前記投影装置は、顔の３次元情報を取得するための前記光学パターンと、虹彩の情報を取得するための前記光学パターンとを、同時あるいは逐次に照射可能となっていることを特徴とする生体認証装置。
【請求項２】
前記投影装置は、
前記近赤外の光を出射する光源と、
前記光源の光から顔の３次元情報を取得するための前記光学パターンを生成する第一の領域と、前記光源の光から虹彩の情報を取得するための前記光学パターンを生成する第二の領域とが同一平面内に配置されたフォトマスクと、
投影レンズと、を有することを特徴とする請求項１に記載の生体認証装置。
【請求項３】
前記投影装置は、印加される信号によって前記光学パターンを変更可能なフォトマスクを備えることを特徴とする請求項１に記載の生体認証装置。
【請求項４】
等間隔の格子状の前記光学パターンを照射した状態で、前記撮像装置により撮影された略正弦波状の格子像の、局所最大値と局所最小値とを算出して正弦波の振幅を一定とした後に、略同じ周期の正弦波と余弦波とを掛け合わせてそれぞれ一周期分積分してから、割り算をして逆正接演算をすることによって、顔の高さに相当する位相情報を算出する位相情報算出部を備えることを特徴とする請求項１から３のいずれか１項に記載の生体認証装置。
【請求項５】
位相情報を３次元情報に変換する際に、位相の不連続を解消するための位相接続を少なくとも１回行ってその結果を初期解とした反復法によって３次元情報の近似解を求めることを特徴とする請求項４に記載の生体認証装置。
【請求項６】
顔の３次元情報と虹彩の情報とを得ることを特徴とする請求項１から５のいずれか１項に記載の生体認証装置。
【請求項７】
可視画像から得られる情報と、近赤外画像から得られる３次元情報とに基づいて顔認証を行う顔認証部を備え、
前記撮像装置は、イメージセンサとして、前記可視画像と前記近赤外画像とを撮影可能なＲＧＢ−ＩＲセンサを有することを特徴とする請求項１から６のいずれか１項に記載の生体認証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体認証装置に関する。
【背景技術】
【０００２】
一般に、近赤外光を利用して顔認証や虹彩認証を行う生体認証装置が知られている。このような生体認証装置においては、近赤外光を顔に向かって照射投影し、専用カメラで撮影して画像処理することによって特徴量を抽出し、予め登録された個人の特徴量と比較することで認証を行う。
【０００３】
近年では、スマートフォン等のモバイル機器においても、カメラを用いた虹彩認証や顔認証等の生体認証が採用されている。顔認証あるいは虹彩認証には、それぞれ独自の照明投影装置、撮像装置および認証アルゴリズムが用いられており、認証精度の高精度化によって本人受け入れ率、他人排除率を高める努力がなされている。
【０００４】
また、画像から物体の形状を解析する方法としては、例えば、特許文献１に記載のサンプリングモアレ法などが知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１７４８７４号公報
【非特許文献】
【０００６】
【非特許文献１】Cesar D.Perciante et al., "Wrapping-freephase retrieval with applications to interferometry, 3D-shape profiling, anddeflectometry", Applied optics/Vol.54, No.10/1 April 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、例えばモバイル機器等においては、認証精度を高めるにはハード、ソフト共に限界があり、顔認証あるいは虹彩認証単独で生体認証を行うと、フェイク（偽物）を用いてセキュリティを突破される可能性がある。また、この問題を解決するには個人における複数の生体情報を合わせて認証するいわゆるマルチモーダルが有効であるが、これらを同時あるいは逐次に行うためには、顔認証用の生体認証装置と虹彩認証用の生体認証装置とを並べて配置する必要があり、大型化、コストの増加、消費電力の増加といった問題が生じる。
【０００８】
本発明は、前記事情に鑑みてなされたもので、顔認証と虹彩認証との両方を行うことができる生体認証装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明の生体認証装置は、近赤外の光学パターンを照射する投影装置と、前記近赤外の光を受光可能な撮像装置とを備え、
前記投影装置は、顔の３次元情報を取得するための前記光学パターンと、虹彩の情報を取得するための前記光学パターンとを、同時あるいは逐次に照射可能となっていることを特徴とする。
【００１０】
このような構成によれば、投影装置は、顔の３次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを、同時あるいは逐次に照射する。そして、撮像装置は、投影装置から光学パターンが照射された対象物を撮影する。よって、撮像装置により撮影された画像から、顔の３次元情報と、虹彩の情報とを取得することができる。したがって、顔認証と虹彩認証との両方を行うことができる。
【００１１】
また、本発明の前記構成において、前記投影装置は、前記近赤外の光を出射する光源と、
前記光源の光から顔の３次元情報を取得するための前記光学パターンを生成する第一の領域と、前記光源の光から虹彩の情報を取得するための前記光学パターンを生成する第二の領域とが同一平面内に配置されたフォトマスクと、
投影レンズと、を有することとしてもよい。
【００１２】
このような構成によれば、１つのフォトマスクで顔の３次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを生成し、これら２つの光学パターンを同時に照射することができる。
【００１３】
また、本発明の前記構成において、前記投影装置は、印加される信号によって前記光学パターンを変更可能なフォトマスクを備えることとしてもよい。
【００１４】
このような構成によれば、フォトマスクに印加する信号を変化させることにより、光学パターンを変化させることができる。したがって、認証の種類や、撮影の対象物の状態等に応じて、光学パターンを変化させることができる。
【００１５】
また、本発明の前記構成において、等間隔の格子状の前記光学パターンを照射した状態で、前記撮像装置により撮影された略正弦波状の格子像の、局所最大値と局所最小値とを算出して正弦波の振幅を一定とした後に、略同じ周期の正弦波と余弦波とを掛け合わせてそれぞれ一周期分積分してから、割り算をして逆正接演算をすることによって、顔の高さに相当する位相情報を算出する位相情報算出部を備えることとしてもよい。
【００１６】
例えば、文献１に記載のサンプリングモアレ法によると、位相情報を算出するために４枚の画像情報が必要になるところ、本構成によれば、このような４枚の画像情報を用意することなく位相情報を算出することができる。
【００１７】
また、本発明の前記構成において、位相情報を３次元情報に変換する際に、位相の不連続を解消するための位相接続を少なくとも１回行ってその結果を初期解とした反復法によって３次元情報の近似解を求めることとしてもよい。
【００１８】
このような構成によれば、反復法における計算回数を削減することができる。
【００１９】
また、本発明の前記構成において、生体認証装置は、顔の３次元情報と虹彩の情報とを得ることとしてもよい。
【００２０】
また、本発明の前記構成において、可視画像から得られる情報と、近赤外画像から得られる３次元情報とに基づいて顔認証を行う顔認証部を備え、
前記撮像装置は、イメージセンサとして、前記可視画像と前記近赤外画像とを撮影可能なＲＧＢ−ＩＲセンサを有することとしてもよい。
【００２１】
このような構成によれば、１つのイメージセンサで、可視画像と近赤外画像とを撮影することができる。そして、このイメージセンサで撮影された可視画像と近赤外画像とに基づいて顔認証を行うことができる。したがって、例えば、近赤外画像から得られる３次元情報のみに基づいて顔認証を行う場合に比べ、より正確に顔認証をすることができる。
【発明の効果】
【００２２】
本発明の生体認証装置によれば、顔認証と虹彩認証との両方を行うことができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施の形態に係る生体認証装置を示す分解斜視図である。
【図２】同、光学フィルタを示す図である。
【図３】同、カラーフィルタの配列パターンを説明するための図である。
【図４】同、生体認証装置のブロック図である。
【図５】同、位相情報の取得に係る処理を説明するための図である。
【図６】同、位相情報の取得に係る処理を説明するための図である。
【図７】同、位相情報の取得に係る処理を説明するための図である。
【図８】同、生体認証装置が行う処理を説明するための図である。
【図９】同、位相情報から３次元情報を得る際の、反復法における反復回数と誤差との関係を説明するための図である
【図１０】本発明の第２の実施の形態に係るフォトマスクの画素を示す分解斜視図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について図面を参照して説明する。
【００２５】
（第１の実施の形態）
図１に示すように、本実施の形態の生体認証装置１は、近赤外の光学パターンを照射する投影装置３と、当該近赤外光を受光可能な撮像装置５とを備えている。なお、近赤外とは、約８００〜２５００ｎｍの波長帯域をいう。
【００２６】
投影装置３は、撮像装置５による撮影の対象物（以下、単に対象物と呼ぶ）に対して所定の光学パターンを照射する。また、撮像装置５は投影装置３から光学パターンが投射された対象物（光学パターンの反射像）を撮影する。そして、生体認証装置１は、撮像装置５により撮影された画像に基づいて、顔認証および虹彩認証を行う。本実施の形態の生体認証装置１においては、投影装置３は、人の顔や目に所定の光学パターンを照射し、撮像装置５は、この光学パターンが照射された人の顔や目を撮影する。ただし、撮影の対象物はこれに限られず、他の撮影対象物の画像に基づいて生体認証を行うこととしてもよい。
【００２７】
投影装置３は、回路基板１０と、近赤外ＬＥＤ１１と、ビーム整形レンズ１２と、ブラケット１３と、フォトマスク１４と、フォーカスアクチュエータ（ＶＣＭ）１５と、投影レンズ１６とを備えている。
【００２８】
近赤外ＬＥＤ１１は、近赤外の光を出射する光源であり、回路基板１０に実装されている。近赤外ＬＥＤ１１からの光は、ビーム整形レンズ１２で整形され、フォトマスク１４を通過し、投影レンズ１６を介して投影装置３から出射される。
【００２９】
フォトマスク１４は、図２に示すように、顔認証用の光学パターンを生成する第一透過領域１４ａと、虹彩認証用の光学パターンを生成する第二透過領域１４ｂとを有している。換言すると、フォトマスク１４は、顔の３次元情報を取得するための光学パターンを生成する第一透過領域１４ａと、虹彩の情報を取得するための光学パターンを生成する第二透過領域１４ｂとを有している。また、フォトマスク１４は、ブラケット１３に支持され、回路基板１０やビーム整形レンズ１２、投影レンズ１６等に対する位置決めがされている。
【００３０】
第一透過領域１４ａは、対象物に対して光を格子状に照射可能に形成されている。具体的には、第一透過領域１４ａは、一方向（縦方向）に長いスリット状に形成された光を透過させる光透過部２０（図２に白色で図示）が、当該一方向に交差する方向（横方向）に等間隔に並べて形成されている。換言すると、第一透過領域１４ａには、光透過部２０が格子状に配置されている。このため、第一透過領域１４ａを透過した近赤外ＬＥＤ１１からの光は、格子状の光学パターンとなり対象物に向かう。
なお、第一透過領域１４ａは、格子状の光学パターンを生成するものでなくてもよく、対象物の３次元情報を取得可能にする光学パターンを生成できればよい。例えば、光学パターンは、複数のドットで構成されるパターンであってもよい。また、本実施の形態においては、第一透過領域１４ａが生成する光学パターンは、対象物である人の顔に対して縦縞を投影するようになっているが、対象物に対して、斜めの縞や横縞を投影するように構成されていてもよい。
【００３１】
第二透過領域１４ｂは、対象物の所定部位に対して光を略一様に照射可能に形成されている。具体的には、第二透過領域１４ｂは、例えば、目に対して光を照射するための領域となっている。第二透過領域１４ｂは、第一透過領域１４ａの一部を横断するようにして光透過部２０が配置されることにより形成されている。換言すると、第二透過領域１４ｂは、第一透過領域１４ａの一部を開口させるようにして形成されている。このため、第二透過領域１４ｂを透過した近赤外ＬＥＤ１１からの光は、対象物の所定部位を略一様に照らすように対象物に向かう。
なお、第二透過領域１４ｂは、図２に示すように、一つのまとまった領域であってもよく、例えば、図２に示す第二透過領域１４ｂの左右方向中央部に格子状のパターン（第一透過領域１４ａ）が形成され、二つの領域に分かれて構成されていてもよい。すなわち、例えば、第二透過領域１４ｂは、両目に対して光を照射する１つの光透過部２０によって構成されていてもよく（図８の近赤外画像７０参照）、それぞれの目に対して光を照射する２つの光透過部によって構成されていてもよい（図５の近赤外画像７０参照）。また、第二透過領域１４ｂは、対象物の所定部位に対して光を略一様に照射可能にするものでなくてもよい。すなわち、本実施の形態においては、虹彩認証を容易に行うために略一様に光を照射可能にするよう形成されているが、虹彩認証に係る処理に合わせて、当該処理に適した光学パターンを照射可能にするよう形成されていればよい。
【００３２】
本実施の形態のフォトマスク１４は、ガラス板にエッチングを施すことにより、光を通す部分（光透過部２０：図２に白色で図示）と光を通さない部分（光非透過部２１：図２に黒色で図示）とが作られ、これにより第一透過領域１４ａと第二透過領域１４ｂとが形成されている。換言すると、フォトマスク１４は、３次元情報を取得可能にする光学パターンを生成する第一透過領域１４ａと、虹彩情報を取得可能にする光学パターンを生成する第二透過領域１４ｂとが同一平面内に配置されている。
なお、フォトマスク１４は、上述の所定の光学パターンを生成可能になっていれば、その材質はガラスに限られず、製法もエッチングに限られない。また、光を通さない部分とは、光を完全に遮断するものでなくてもよく、光を通す部分に比べて相対的に、対象物に投射される光が少なくなるものであればよい。
【００３３】
フォトマスク１４を通過し、所定のパターン状となった近赤外ＬＥＤ１１からの光は、投影レンズ１６を介して投影装置３から出射される。投影レンズ１６では、対象物に投射される光学パターンの焦点を調整する。フォーカスアクチュエータ１５は、投影レンズ１６をフォトマスク１４に近づく方向（対象物から遠ざかる方向）に動かしたり、フォトマスク１４から遠ざかる方向（対象物に近づく方向）に動かしたりすることにより、投影装置３から出射される光の焦点の調整をする。
【００３４】
撮像装置５は、可視光および近赤外光を受光して撮影することが可能になっている。また、撮像装置５は、投影装置３から出射され、対象物に当たって反射された光学パターンを受光して撮影可能に配置されている。撮像装置５は、図１に示すように、回路基板３０と、イメージセンサ３１と、ブラケット３２と、光学フィルタ３３と、フォーカスアクチュエータ３４と、撮像レンズ３５とを備えている。
【００３５】
イメージセンサ３１は、回路基板３０に実装されている。イメージセンサ３１には、撮像レンズ３５および光学フィルタ３３を介して光が入光する。そして、イメージセンサ３１がこの光を電気信号に変換する。
【００３６】
撮像レンズ３５は、撮像装置５に入光しイメージセンサ３１に向かう光の焦点を調整する。フォーカスアクチュエータ３４は、撮像レンズ３５をイメージセンサ３１に近づく方向（対象物から遠ざかる方向）に動かしたり、イメージセンサ３１から遠ざかる方向（対象物に近づく方向）に動かしたりすることにより、撮像装置５に入光する光の焦点の調整をする。また、光学フィルタ３３は、例えば、ショートパスフィルタやバンドパスフィルタ等であり、顔認証や虹彩認証に不必要な所定の波長の光を遮るフィルタとなっている。また、光学フィルタ３３は、ブラケット３２に支持され、回路基板３０およびイメージセンサ３１に対する位置決めがされている。
【００３７】
イメージセンサ３１は、近赤外画像と可視画像が撮影可能なＲＧＢ−ＩＲセンサとなっている。イメージセンサ３１は、図３に示すカラーフィルタ３１ａを有している。そして、イメージセンサ３１では、カラーフィルタ３１ａを介して受光素子に光が届くようになっている。また、カラーフィルタ３１ａは、赤Ｒ、緑Ｇ、青Ｂ、赤外ＩＲの４種類の領域を有している。そして、これら４種類の領域は、図３に示す配列で配置されている。具体的には、４種類の領域がそれぞれ同様の割合で配置されており、各領域は、等間隔で配置されている。
なお、カラーフィルタ３１ａの４種類の領域の配列は、図３に示すものに限られず、他の配列のカラーフィルタを用いてもよい。ただし、可視光の各色の領域とＩＲの領域との両方を含むことが好ましい。
【００３８】
カラーフィルタ３１ａの可視光の各色の領域（赤Ｒ、緑Ｇ、青Ｂ）は、各色に対応した波長帯域の光を透過する。また、可視光の各色の領域は、赤外の波長帯域の光も透過する。また、赤外ＩＲの領域は、近赤外の波長帯域の光を透過する。このため、イメージセンサ３１は、可視光に基づいた可視画像と、近赤外光に基づいた近赤外画像とを撮影可能になっている。
【００３９】
なお、投影装置３の回路基板１０と、撮像装置５の回路基板３０とは、１つの基板となっていてもよい。また、回路基板１０と回路基板３０とが同一の平面内に配置されるように配置してもよい。また、投影装置３の対象物側の面（前面）と、撮像装置５の対象物側の面（前面）とが同一の平面内に配置されるようにしてもよい。また、投影装置３と撮像装置５とは、互いの軸が平行な状態で、互いに隣接して配置されていてもよい。また、投影装置３と撮像装置５とは、それぞれ別体のモジュールではなく、一体化された１つのモジュールとなっていてもよい。
【００４０】
次に、生体認証装置１で行う処理について説明する。なお、この処理は、例えば、イメージセンサ３１や、回路基板３０または他の基板に実装されている各種のプロセッサ、あるいはＲＯＭやＲＡＭ等の情報記憶媒体等のハードウェアや、ＲＯＭ等に予め記憶されている所定のプログラムからなるソフトウェア等により実現される。また、全ての処理を同一の回路において行う必要はなく、各処理を行う回路が異なっていてもよい。また、一つの処理を複数の回路で行うこととしてもよい。
【００４１】
また、生体認証に必要な、個人を特定し認証するための情報としての本人情報は、予め登録されているものとする。本実施の形態においては、本人情報として、顔の三次元情報と虹彩の情報とが登録されている。そして、生体認証装置１で取得される顔の三次元情報と予め登録されている顔の三次元情報とを比較するとともに、生体認証装置１で取得される虹彩の情報と予め登録されている虹彩の情報とを比較することにより、認証を行う。
なお、予め登録されている本人情報は、生体認証装置１内の情報記憶媒体に記憶されていてもよく、生体認証装置１とネットワークを介して接続されるサーバ等の情報記憶媒体に記憶されていてもよい。
【００４２】
図４に生体認証装置１のブロック図を示す。
生体認証装置１は、ＲＡＷ画像取得部５０と、画像分離部５１と、デモザイク処理部５２と、可視画像出力部５３と、３次元情報取得部（位相情報算出部）６０と、顔認証部６１と、虹彩認証部６２とを備えている。
【００４３】
ＲＡＷ画像取得部５０は、イメージセンサ３１で撮影されたＲＡＷ画像（ＲＡＷデータ）を取得する。次に、画像分離部５１は、ＲＡＷ画像取得部５０が取得したＲＡＷデータのＲＧＢ成分（可視光成分）とＩＲ成分（赤外成分）とを分離する。
【００４４】
そして、後段では画像分離部５１から出力されるＲＧＢ成分とＩＲ成分との両方あるいはいずれか一方に基づいて、可視画像（ＲＧＢ画像：可視光に基づく画像）を生成する処理と、３次元情報（３次元画像）を抽出して顔認証を行う処理と、虹彩情報（虹彩画像）を抽出して虹彩認証を行う処理を実行する。
【００４５】
まず、可視画像を生成する処理について説明する。
デモザイク処理部５２は、画像分離部５１から出力されるＲＧＢ成分に基づいてデモザイク処理を行い可視画像（ＲＧＢ画像）を生成する。また、上述のように、カラーフィルタ３１ａの可視光の各色の領域は、赤外の波長帯域の光も透過するようになっているため、デモザイク処理を行う際に、画像分離部５１から出力されるＩＲ成分に基づいて、可視光の各色の領域を介して混ざり込むＩＲ成分を除去する処理も行う。そして、デモザイク処理部５２で生成された可視画像を可視画像出力部５３が出力する。
【００４６】
次に、３次元情報を抽出する処理について図５を参照しながら説明する。この処理は、３次元情報取得部６０で行われる。
第一透過領域１４ａは、縦縞の格子状の光学パターン（格子パターン）を生成し、この格子パターンが投影装置３から投影されるものとする。このとき、対象物としての人の顔に投影装置３から格子パターンを投影し、イメージセンサ３１で撮影して、画像分離部５１でＲＧＢ成分とＩＲ成分とを分離することにより得られる近赤外画像７０（近赤外光に基づく画像）は、図５あるいは図８に示すもののようになる。なお、このように格子パターンを投影して得られる近赤外画像７０を格子画像７０と呼ぶこととする。また、格子画像７０に含まれる格子パターンの格子の像を格子像と呼ぶこととする。
【００４７】
このとき得られる格子画像７０の輝度について、格子パターンの格子（縞模様）に交差する方向（例えば、図５に示す線Ａ部分）における輝度プロファイル（輝度情報ａ）は、下記の式（１）で表される。ここで、輝度情報ａは、格子像に相当する。
【００４８】
【数１】
2020013443.tif 000003
【００４９】
３次元情報取得部６０は、得られた格子画像に対して下記の処理を行う。
まず、画像の輝度情報ａの微分（差分）を取って、局所的な極値（極大および極小）（局所最大値および局所最小値）を求める。次いで、求めた極値に基づいて、輝度情報ａの上側包絡線ｂおよび下側包絡線ｃを算出する。次いで、ｂとｃとの差分値で規格化し、式（１）におけるＡ（ｘ，ｙ）およびＢ（ｘ，ｙ）を実効的に消去し、式（２）に示す格子パターンのみの信号ｄを得る。
【００５０】
【数２】
2020013443.tif 000004
【００５１】
次いで、信号ｄに、格子パターンの搬送波に相当するｃｏｓ（ωｘ）、−ｓｉｎ（ωｘ）をそれぞれ乗じて変形すると、次の式（３）、式（４）のようになる。
【００５２】
【数３】
2020013443.tif 000005
【００５３】
Ｉｃ、Ｉｓ共に右辺第２項は振動項であるため、１周期の積分あるいは平均化をするとφの変化が小さいところではほぼゼロになり、第１項の平均値が残る。すなわち、式（５）、式（６）のようになる。
【００５４】
【数４】
2020013443.tif 000006
【００５５】
なお、式（５）、式（６）における積分、加算は、それぞれωｘの一周期分の積分および加算を行うものであり、上線は１周期分の平均を表すものとする。
【００５６】
すなわち、式（３）のようにＩ’（ｘ，ｙ）×ｃｏｓ（ωｘ）の演算を行うと、図６に示すようにωで振動する搬送波にモアレ縞（格子パターンの縦縞）に相当する基準線の変動が表れる。このとき、図６に示す区間ｅで積分（平均化）を行うと搬送波を消去でき、モアレ縞ｆのみを取り出すことができる。なお、上下の包絡線を検出して、その中間値をｆとすることとしてもよい。
【００５７】
式（５）と式（６）の結果から、式（７）に示すように、被検知物（対象物）の高さに起因する格子パターンの位相が得られる。換言すると、顔の高さに相当する位相情報が得られる。
【００５８】
【数５】
2020013443.tif 000007
【００５９】
そして、３次元情報取得部６０は、こうして得られた位相情報に基づいて、位相差画像７６を生成する（図７、図８参照）。さらに、３次元情報取得部６０は、位相差画像７６に含まれる位相情報から、周知の方法により３次元情報を解析し、３次元情報を持つ画像としての３次元画像７８を生成する。換言すると、３次元情報取得部６０は、撮像装置５で撮影された画像のＩＲ成分から、３次元情報を抽出（生成）し、出力する。
以上のようにして、格子画像７０から３次元情報が取得され、３次元画像７８が生成される。
なお、撮像装置５で撮影された画像から３次元情報を抽出する処理は、必ずしも上述の演算により行うものでなくてもよく、周知の種々の方法により行ってもよい。例えば、サンプリングモアレ法を利用して行ってもよい。
【００６０】
３次元画像７８を生成する処理について、図７および図８を参照しながら改めて説明すると以下の通りである。すなわち、格子画像７０の輝度情報ａから信号ｄを得ることにより、画像７１が得られる。次いで、信号ｄに、ｃｏｓ（ωｘ）、−ｓｉｎ（ωｘ）をそれぞれ乗じて変形すると（式（３）および式（４）参照）、画像７２と画像７３とがそれぞれ得られる。次いで、Ｉｃ、Ｉｓそれぞれの平均をとることにより（式（５）および式（６）参照）画像７４と画像７５とが得られる。次いで、画像７４と画像７５とに基づいて位相差画像７６が得られる。次いで、位相差画像７６に基づいて３次元画像７８が得られる。
【００６１】
３次元画像７８を計算によって求める際には、例えば、位相差画像７６を中心部から上下左右に走査していき、位相差の変化がほぼ±πになる点を不連続点として位相に±πを加えて連続位相となるような操作を行う(アンラップ処理)。この際に特異点(この点を周回してアンラップ処理を行っても位相が元に戻らない点)が表れても無視する。
このようにして得られた位相差情報を反復法（例えば、共役勾配法）の初期解として反復計算を行うことによって反復法における計算回数の多さという問題を緩和することができる。
具体的には非特許文献１にあるように、式（７）から式（８）のようなポアソン方程式の形の偏微分方程式を構成する。
【００６２】
【数６】
2020013443.tif 000008
【００６３】
偏微分を前方(後方)差分で近似すると式（８）の左辺は、式（１１）のように１次式で表され、ｍ×ｎ個の１次連立方程式となる。
【００６４】
【数７】
2020013443.tif 000009
【００６５】
これを共役勾配法などの反復法で解く場合、φに初期値として０を入れて解くと収束に時間がかかるが、ある程度解に近い値から出発すると当然計算時間は短縮される。換言すると、位相情報を３次元情報に変換する際に、位相の不連続を解消するための位相接続を少なくとも１回行ってその結果を初期解とした反復法によって３次元情報の近似解を求めることで、反復法における反復回数を削減することができる。
図９は１実施例で、反復回数と誤差との関係を示したものである。点線は上記の方程式におけるφの初期値をゼロとして計算し、反復回数による誤差の変化を表したものである。一般的に点線のように反復回数と共に誤差が減少していくが、従来の計算法では目標誤差（１Ｅ−６）となるまでに約４３０回の反復回数が必要であった。一方、前記の方法によれば、初期解がＡ点となり、目標誤差（１Ｅ−６）となるまでの反復回数は実線のように実質１８０回に削減された。
また動画において時間的に緩やかな変化をする場合は一つ手前のフレームの情報を次のフレームにおける初期解として用いることで収束を早めることもできる。
【００６６】
顔認証部６１は、３次元情報取得部６０で取得された３次元情報に基づいて顔認証を行う。具体的には、顔認証部６１は、３次元情報取得部６０で生成された３次元画像７８から特徴量を抽出する。そして、この抽出された特徴量を、本人情報として予め登録されている顔の３次元情報の特徴量と比較し、撮像装置５で撮影された対象物が、登録されている本人情報で特定される個人と一致するか否か判定する。そして、一致する場合には認証成功となり、一致しない場合には認証失敗となる。換言すると、顔認証部６１は、撮像装置５で撮影された近赤外画像から得られる３次元情報と、予め登録されている顔の３次元情報とを比較し、顔認証を行う。
なお、３次元情報に基づいて、登録されている人物であるか判定する方法については、周知の技術を用いればよい。
【００６７】
また、顔認証部６１は、３次元情報だけでなく、可視画像８０の情報も用いて顔認証を行ってもよい。この場合、例えば、顔認証部６１は、可視画像出力部５３から出力される可視画像８０から、顔のパーツ（目、鼻、口等）の配置等を判別し、これを本人情報として予め登録されている顔のパーツの配置の情報と比較して、撮像装置５で撮影された対象物が、登録されている本人情報で特定される個人と一致するか否か判定する。
顔認証に３次元情報と可視画像の情報とを用いる場合、いずれかの情報に基づく判定において、対象物と本人情報で特定される個人とが一致しないと判定された場合、顔認証は失敗となる。換言すると、３次元情報と可視画像の情報とが、両方とも登録されている本人情報と一致する場合に顔認証が成功となる。
【００６８】
次に、虹彩情報を抽出する処理について説明する。
第二透過領域１４ｂは、対象物の所定部位に対して光を略一様に照射する光学パターン（虹彩認証用パターン）を生成し、この虹彩認証用パターンが投影装置３から投影されるものとする。このとき、当該所定部位としての人の目に、近赤外ＬＥＤ１１から出射され第二透過領域１４ｂを透過した略一様な光が照射される。投影装置３から虹彩認証用パターンを投影し、イメージセンサ３１で撮影して、画像分離部５１でＲＧＢ成分とＩＲ成分とを分離することにより得られる近赤外画像７０は、図５あるいは図８に示すもののようになる。なお、このように虹彩認証用パターンを投影して得られる近赤外画像７０を虹彩認証用画像７０と呼ぶこととする。
なお、本実施の形態のフォトマスク１４においては、第一透過領域１４ａと第二透過領域１４ｂとが同一平面内に配置されているため、格子パターンと虹彩認証用パターンとは同時に照射され、格子画像と虹彩認証用画像とが同時に取得される。すなわち、格子画像と虹彩認証用画像とは、同一の画像となる。そして、この画像に基づき、顔認証と虹彩認証とが行われる。ただし、顔認証用の画像と虹彩認証用の画像とを別々に取得するものとしてもよい。また、顔認証用の画像と虹彩認証用の画像とを別々に取得する場合に、虹彩認証用画像は、対象物の虹彩の部分のみが写る画像となるようにしてもよい。
【００６９】
また、生体認証装置１は、虹彩認証用パターンが投影される部分を指示する投影箇所指示部（図示せず）を備えていてもよい。例えば、生体認証装置１がモバイル端末に内蔵される場合、投影箇所指示部は、インカメラあるいは撮像装置５により撮影され、モバイル端末の画面上に表示される画像に、虹彩認証用パターンが投影される部分を示す枠を重ねて表示することとしてもよい。この場合、ユーザーは、当該枠内に自分の目が表示されるように調整することで、目に虹彩認証用パターンが当たるようにでき、虹彩認証を正しく行うことができる。また、生体認証装置１は、目の位置を検知する検知部（図示せず）を備えていてもよい。例えば、検知部が、虹彩認証用パターンが投影される位置に目が位置しているか判定し、虹彩認証用パターンが投影される位置に目が位置している場合に、投影装置３から虹彩認証用パターンが投影された目の画像を撮像装置５が撮影するようにしてもよい。
【００７０】
虹彩認証部６２は、虹彩認証用画像７０から得られる虹彩の情報と、本人情報として予め登録されている虹彩の情報とに基づいて虹彩認証を行う。虹彩認証は、例えば、虹彩認証用画像７０から対象物の虹彩が写っている部分を切り出すことにより得られる画像（虹彩画像）についてＦＦＴ（高速フーリエ変換）をすることにより位相情報を抽出し、ＰＯＣ（位相限定相関法）により、虹彩認証用画像７０に含まれる虹彩画像と登録されている虹彩の画像との相関をとり、この相関の情報に基づいて虹彩認証を行う。
なお、虹彩認証の方法は、上述の方法に限られるものではなく、周知の種々の認証方法から適宜選択すればよい。また、虹彩認証用画像７０から対象物の虹彩が写っている部分を切り出すことにより得られる虹彩画像をコード化し、本人情報として予め登録してあるコードと照合して認証を行うこととしてもよい。
【００７１】
なお、顔認証および虹彩認証のそれぞれにおいて、比較の対象となる本人情報は１つの場合もあれば、複数の場合もある。例えば、本実施の形態の生体認証装置１がモバイル端末に内蔵され、当該モバイル端末の持ち主であるか否かを判定してロックを解除するといった用途に用いられる場合、本人情報はモバイル端末に記憶されている持ち主１人の情報であって、この情報と、撮像装置５により撮影された画像から抽出された特徴とを比較し、撮影された対象物が、このモバイル端末の持ち主に該当するか否かという判定をしてもよい。また、例えば、本実施の形態の生体認証装置１が建物のドア付近に設置され、当該建物の関係者であるか否かを判定してドアのロックを解除するといった用途に用いられる場合、本人情報はサーバに記憶されている当該建物に関係する複数人の情報であって、この複数人の情報それぞれと、撮像装置５により撮影された画像から抽出された特徴とを比較し、撮影された対象物が、この複数人のうちの誰に該当するか、あるいは誰にも該当しないのかという判定をしてもよい。
【００７２】
本実施の形態の生体認証装置１によれば、近赤外の光学パターンを照射する投影装置３と、近赤外の光を受光可能な撮像装置５とを備え、投影装置３は、顔の３次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを、同時に照射可能となる。そして、撮像装置５は、投影装置３から光学パターンが照射された対象物を撮影する。よって、撮像装置５により撮影された画像から、顔の３次元情報と、虹彩の情報とを取得することができる。したがって、顔認証と虹彩認証との両方を行うことができる。
【００７３】
また、投影装置３は、近赤外の光を出射する光源としての近赤外ＬＥＤ１１と、近赤外ＬＥＤ１１の光から顔の３次元情報を取得するための光学パターンを生成する第一透過領域と近赤外ＬＥＤ１１の光から虹彩の情報を取得するための光学パターンを生成する第二透過領域とが同一平面内に配置されたフォトマスク１４と、投影レンズ１６と、を有する。したがって、１つのフォトマスク１４で顔の３次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを生成し、これら２つの光学パターンを同時に照射することができる。
【００７４】
また、等間隔の格子状の光学パターンを照射した状態で、撮像装置５により撮影された略正弦波状の格子像の、局所最大値と局所最小値とを算出して正弦波の振幅を一定とした後に、略同じ周期の正弦波と余弦波とを掛け合わせてそれぞれ一周期分積分してから、割り算をして逆正接演算をすることによって、顔の高さに相当する位相情報を算出する位相情報算出部（３次元情報取得部）６０を備えるので、簡易な処理で位相情報を算出することができる。
【００７５】
また、可視画像８０から得られる情報と、近赤外画像７０から得られる３次元情報とに基づいて顔認証を行う顔認証部６１を備え、撮像装置５は、イメージセンサ３１として、可視画像８０と近赤外画像７０とを撮影可能なＲＧＢ−ＩＲセンサを有するので、１つのイメージセンサ３１で、可視画像８０と近赤外画像７０とを撮影することができる。そして、このイメージセンサ３１で撮影された可視画像８０と近赤外画像７０とに基づいて顔認証を行うことができる。したがって、例えば、近赤外画像７０から得られる３次元情報のみに基づいて顔認証を行う場合に比べ、より正確に顔認証をすることができる。
【００７６】
（第２の実施の形態）
本実施の形態の生体認証装置１が、第１の実施の形態の生体認証装置１と主に異なる点は、フォトマスクの構成なので、以下ではこの点について説明し、第１の実施の形態と同様の構成については、その説明を省略ないし簡略化する。
【００７７】
本実施の形態の生体認証装置１のフォトマスク１４は、図１０に示す画素９２（単位ブロック）が縦横に複数並べられて構成されている。フォトマスク１４の各画素９２は、液晶表示素子９３が２つの偏光板９４に挟まれて形成されている。各画素９２は、各画素９２の液晶表示素子９３に加える電圧のＯＮ／ＯＦＦによって、光の透過／非透過が切り替わる。例えば、光を遮断したい画素に電圧を加え、光を透過させたい画素には電圧を加えないことで、生成したい光学パターンに対応した光透過部２０の配置が実現される。換言すると、フォトマスク１４は、印加される信号によって光学パターンを変更可能となっている。
【００７８】
このような構成によれば、フォトマスク１４のパターンを切り替えることが可能となる。したがって、第１の実施の形態においては、投影装置３は、顔の３次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを同時に照射していたところ、第２の実施の形態においてはこれらの光学パターンを逐次に照射することが可能となる。すなわち、例えば、フォトマスク１４に所定の信号を印加し、顔の３次元情報を取得するための光学パターンを生成可能な状態にした後、フォトマスク１４に別の信号を印加し、虹彩の情報を取得するための光学パターンを生成可能な状態にすることで、２つの光学パターンを逐次に照射することが可能となる。
【００７９】
この場合、顔の３次元情報を取得するための光学パターンが照射された状態で、撮像装置５により撮影された画像に基づいて顔認証を行い、虹彩の情報を取得するための光学パターンが照射された状態で、撮像装置５により撮影された画像に基づいて、虹彩認証を行えばよい。
【００８０】
また、本実施の形態のフォトマスク１４は、第１の実施の形態のフォトマスク１４と同様に、第一透過領域１４ａと第二透過領域１４ｂとが同一平面内に配置されるように信号が印加されるようになっていてもよい。このような場合に、対象物の形状や状態等に応じて、例えば第一透過領域１４ａの形状や第二透過領域１４ｂの位置が変わるようになっていてもよい。例えば、人の目の位置に合わせて第二透過領域１４ｂの位置が変化するようになっていてもよい。具体的には、生体認証装置１が、目の位置を検知する検知部（図示せず）を備えており、この検知部によって検出された目の位置に合わせて、フォトマスク１４に印加する信号を変化させて第二透過領域１４ｂの位置を調整し、目に、虹彩認証をするのに適した光が投影されるようにしてもよい。
なお、このような目の位置を検出する検知部は、従来から知られている物体認識技術を適用することにより実現できる。
【００８１】
本実施の形態の生体認証装置１においては、投影装置３は、印加される信号によって光学パターンを変更可能なフォトマスク１４を備えるので、フォトマスク１４に印加する信号を変化させることにより、光学パターンを変化させることができる。したがって、認証の種類や、撮影の対象物の状態等に応じて、光学パターンを変化させることができる。
【００８２】
なお、本発明の生体認証装置は、スマートフォン等のモバイル機器におけるユーザー認証だけでなく、例えば、車に搭載してユーザー認証に利用してもよく、建物に設置して関係者の認証に利用してもよい。また、この他にも、生体認証が必要とされるあらゆる機器、装置に適用し、生体認証が必要とされるあらゆる用途に用いることができる。
【符号の説明】
【００８３】
１  生体認証装置
３  投影装置
５  撮像装置
１１  近赤外ＬＥＤ（光源）
１４  フォトマスク
１４ａ  第一透過領域（第一の領域）
１４ｂ  第二透過領域（第二の領域）
３１  イメージセンサ（ＲＧＢ−ＩＲセンサ）
６０  ３次元情報取得部（位相情報算出部）
６１  顔認証部
６２  虹彩認証部
【図１】
2020013443.tif 000010
【図２】
2020013443.tif 000011
【図３】
2020013443.tif 000012
【図４】
2020013443.tif 000013
【図５】
2020013443.tif 000014
【図６】
2020013443.tif 000015
【図７】
2020013443.tif 000016
【図８】
2020013443.tif 000017
【図９】
2020013443.tif 000018
【図１０】
2020013443.tif 000019