(57)【要約】【課題】撮像装置で撮像された画像に基づいて３次元情報を得る計算の負担を軽減できる３次元情報生成装置、生体認証装置および３次元画像生成装置を提供する。【解決手段】３次元情報生成装置本発明、生体認証装置または３次元画像生成装置は、近赤外の光学パターンを照射する投影装置３と、近赤外の光を受光可能な撮像装置５と、撮像装置５により撮像される撮像対象の画像に基づいて顔の器官を検出して顔の領域を特定する顔領域特定部１０２と、光学パターンを照射した状態で撮像装置５により撮像される撮像対象の近赤外画像のうち、顔領域特定部１０２により特定された顔の領域に対応する部分についての３次元情報を生成する３次元情報取得部６０と、を備える。【選択図】図１１
2020129175.tif 000002
【特許請求の範囲】
【請求項１】
近赤外の光学パターンを照射する投影装置と、
近赤外の光を受光可能な撮像装置と、
前記撮像装置により撮像される撮像対象の画像に基づいて顔の器官を検出して顔の領域を特定する顔領域特定部と、
前記光学パターンを照射した状態で前記撮像装置により撮像される撮像対象の近赤外画像のうち、前記顔領域特定部により特定された前記顔の領域に対応する部分についての３次元情報を生成する３次元情報取得部と、を備えることを特徴とする３次元情報生成装置。
【請求項２】
請求項１に記載の３次元情報生成装置と、虹彩認証部と、を備え、
前記顔領域特定部は、前記検出において目の位置を特定し、
前記虹彩認証部は、前記近赤外画像と、前記顔領域特定部により特定される前記目の位置の情報とに基づいて前記近赤外画像に写る目についての虹彩の情報を取得することを特徴とする生体認証装置。
【請求項３】
前記虹彩認証部は、空間フィルタ処理によって前記近赤外画像の撮像時に照射された前記光学パターンの影響を除去して、虹彩の認証を行うことを特徴する請求項２に記載の生体認証装置。
【請求項４】
請求項１に記載の３次元情報生成装置または請求項２もしくは３に記載の生体認証装置と、
３次元画像を生成する３次元画像生成部と、
前記３次元画像生成部で生成された前記３次元画像を通信相手に送信する送信部と、を備え、
前記撮像装置は、可視光を受光可能であり、
前記３次元画像生成部は、前記３次元情報取得部により生成された前記３次元情報と、前記撮像装置により撮像される可視画像とに基づいて前記３次元画像を生成することを特徴とする３次元画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元情報生成装置、生体認証装置および３次元画像生成装置に関する。
【背景技術】
【０００２】
一般に、近赤外光を利用して顔認証や虹彩認証を行う生体認証装置が知られている。このような生体認証装置においては、近赤外光を顔に向かって照射投影し、専用カメラで撮影して画像処理することによって特徴量を抽出し、予め登録された個人の特徴量と比較することで認証を行う。
【０００３】
近年では、スマートフォン等のモバイル機器においても、カメラを用いた虹彩認証や顔認証等の生体認証が採用されている。顔認証あるいは虹彩認証には、それぞれ独自の照明投影装置、撮像装置および認証アルゴリズムが用いられており、認証精度の高精度化によって本人受け入れ率、他人排除率を高める努力がなされている。
【０００４】
また、画像から物体の形状を解析する方法としては、例えば、特許文献１に記載のサンプリングモアレ法などが知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１７４８７４号公報
【非特許文献】
【０００６】
【非特許文献１】Cesar D.Perciante et al., "Wrapping-freephase retrieval with applications to interferometry, 3D-shape profiling, anddeflectometry", Applied optics/Vol.54, No.10/1 April 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、投影装置からの赤外光を投射した状態で撮像装置によって撮像される画像について、画像の全範囲について３次元情報を取得する場合、投影装置からの赤外光が届かない部分があったり、大きく位相のずれた部分からの情報があったりすることにより、３次元情報を取得するための計算が収束し難い場合等があり、当該計算において誤差が大きくなってしまったり、収束するまでの計算回数が増加してしまったりするおそれがある。
【０００８】
本発明は、前記事情に鑑みてなされたもので、撮像装置で撮像された画像に基づいて３次元情報を得る計算の負担を軽減できる３次元情報生成装置、生体認証装置および３次元画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、本発明の３次元情報生成装置は、
近赤外の光学パターンを照射する投影装置と、
近赤外の光を受光可能な撮像装置と、
前記撮像装置により撮像される撮像対象の画像に基づいて顔の器官を検出して顔の領域を特定する顔領域特定部と、
前記光学パターンを照射した状態で前記撮像装置により撮像される撮像対象の近赤外画像のうち、前記顔領域特定部により特定された前記顔の領域に対応する部分についての３次元情報を生成する３次元情報取得部と、を備えることを特徴とする。
【００１０】
このような構成によれば、顔領域特定部は、撮像装置により撮像される画像について、顔の領域を特定し、３次元情報取得部は、撮像装置により撮像される近赤外画像のうち、顔領域特定部により特定される顔の領域に対応する部分についての３次元情報を生成する。すなわち、３次元情報取得部は、撮像装置により撮像される近赤外画像に基づいて３次元情報を生成する際に、顔の領域部分についてのみ計算を行えばよく、顔の領域外の部分（例えば、背景部分等）については、計算を行う必要がない。したがって、３次元情報を生成するための計算において、顔の領域外の部分の影響を除去することができ、当該計算における収束を早めたり、解を安定させたりすることができ、当該計算の負担を軽減することができる。
【００１１】
なお、顔領域特定部が顔の領域を特定するのに用いる画像は、近赤外画像でもよく可視光の画像（可視画像）であってもよい。すなわち、撮像装置は、近赤外の光が受光可能であれば、可視光を受光可能であってもよく、可視光が受光不可能であってもよい。
【００１２】
また、本発明の生体認証装置は、前記３次元情報生成装置と、虹彩認証部と、を備え、
前記顔領域特定部は、前記検出において目の位置を特定し、
前記虹彩認証部は、前記近赤外画像と、前記顔領域特定部により特定される前記目の位置の情報とに基づいて前記近赤外画像に写る目についての虹彩の情報を取得することとしてもよい。
【００１３】
このような構成によれば、虹彩認証部は、近赤外画像に写る目についての虹彩の情報を取得する場合に、顔領域特定部により特定される目の位置の情報に基づいて虹彩の情報を取得する。このため、虹彩の情報を取得するための計算においては、目の部分についてのみ計算を行えばよく、当該計算についての処理負担を軽減できる。特に、３次元情報を取得するための光学パターンが、撮像対象としての人の目の部分にも照射されるような構成の場合、虹彩認証をするための虹彩情報の取得にあたって、当該光学パターンの影響を除去することが望ましいが、当該除去に係る計算をする場合でも、計算する範囲を狭めることができるので、計算についての処理負担を軽減することができる。
【００１４】
また、本発明の前記構成において、前記虹彩認証部は、空間フィルタ処理によって前記近赤外画像の撮像時に照射された前記光学パターンの影響を除去して、虹彩の認証を行うこととしてもよい。
【００１５】
このような構成によれば、虹彩認証部は、空間フィルタ処理によって近赤外画像の撮像時に照射された光学パターンの影響を除去して虹彩の認証を行うので、虹彩認証の精度を高めることができる。
【００１６】
また、本発明の３次元画像生成装置は、前記３次元情報生成装置または前記生体認証装置と、
３次元画像を生成する３次元画像生成部と、
前記３次元画像生成部で生成された前記３次元画像を通信相手に送信する送信部と、を備え、
前記撮像装置は、可視光を受光可能であり、
前記３次元画像生成部は、前記３次元情報取得部により生成された前記３次元情報と、前記撮像装置により撮像される可視画像とに基づいて前記３次元画像を生成すること特徴とする。
【００１７】
このような構成によれば、３次元画像生成部は、３次元情報取得部により生成された３次元情報に基づいて３次元画像を生成する。ここで、３次元情報取得部により生成される３次元情報は、顔の領域に対応する部分についての３次元情報なので、撮像装置により撮像される画像のうち、背景に相当する部分等の情報は含まない。したがって、３次元画像生成部で生成される３次元画像にも、撮像装置により撮像される背景等の情報は含まれない。このため、通信相手に、背景等に関する情報が送られることがない。また、３次元画像生成部は、３次元情報と可視画像とに基づいて３次元画像を生成するので、３次元情報に基づいて立体的な形状を作り出すとともに、可視画像に基づいて色付け等を行うことができる。したがって、撮像対象としての人の顔を再現した３次元画像（アバター）を生成することができる。このように、本構成によれば、アバターを生成し、背景情報を含まないアバターの情報のみを通信相手に送信することができるので、３次元画像生成装置のユーザーのプライバシーは保護しつつ、当該ユーザーと通信相手のユーザーとのコミュニケーションを可能とすることができる。
【発明の効果】
【００１８】
本発明の３次元情報生成装置、生体認証装置または３次元画像生成装置によれば、撮像装置で撮像された画像に基づいて３次元情報を得る計算の負担を軽減できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態に係る生体認証装置を示す分解斜視図である。
【図２】同、光学フィルタを示す図である。
【図３】同、カラーフィルタの配列パターンを説明するための図である。
【図４】同、生体認証装置のブロック図である。
【図５】同、位相情報の取得に係る処理を説明するための図である。
【図６】同、位相情報の取得に係る処理を説明するための図である。
【図７】同、位相情報の取得に係る処理を説明するための図である。
【図８】同、生体認証装置が行う処理を説明するための図である。
【図９】同、位相情報から３次元情報を得る際の、反復法における反復回数と誤差との関係を説明するための図である
【図１０】本発明の第２の実施の形態に係るフォトマスクの画素を示す分解斜視図である。
【図１１】本発明の第３の実施の形態に係る生体認証装置のブロック図である。
【図１２】同、顔の領域を特定して３次元情報を取得する処理を説明するための図である。
【図１３】同、目の位置を特定して虹彩認証を行う処理を説明するための図である。
【図１４】本発明の第４の実施の形態に係る３次元画像生成装置のブロック図である。
【図１５】同、３次元の顔画像を生成する処理を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して説明する。
【００２１】
（第１の実施の形態）
図１に示すように、本実施の形態の生体認証装置１は、近赤外の光学パターンを照射する投影装置３と、当該近赤外光を受光可能な撮像装置５とを備えている。なお、近赤外とは、約８００〜２５００ｎｍの波長帯域をいう。
【００２２】
投影装置３は、撮像装置５による撮影の対象物（以下、単に対象物と呼ぶ）に対して所定の光学パターンを照射する。また、撮像装置５は投影装置３から光学パターンが投射された対象物（光学パターンの反射像）を撮影する。そして、生体認証装置１は、撮像装置５により撮影された画像に基づいて、顔認証および虹彩認証を行う。本実施の形態の生体認証装置１においては、投影装置３は、人の顔や目に所定の光学パターンを照射し、撮像装置５は、この光学パターンが照射された人の顔や目を撮影する。ただし、撮影の対象物はこれに限られず、他の撮影対象物の画像に基づいて生体認証を行うこととしてもよい。
【００２３】
投影装置３は、回路基板１０と、近赤外ＬＥＤ１１と、ビーム整形レンズ１２と、ブラケット１３と、フォトマスク１４と、フォーカスアクチュエータ（ＶＣＭ）１５と、投影レンズ１６とを備えている。
【００２４】
近赤外ＬＥＤ１１は、近赤外の光を出射する光源であり、回路基板１０に実装されている。近赤外ＬＥＤ１１からの光は、ビーム整形レンズ１２で整形され、フォトマスク１４を通過し、投影レンズ１６を介して投影装置３から出射される。
【００２５】
フォトマスク１４は、図２に示すように、顔認証用の光学パターンを生成する第一透過領域１４ａと、虹彩認証用の光学パターンを生成する第二透過領域１４ｂとを有している。換言すると、フォトマスク１４は、顔の３次元情報を取得するための光学パターンを生成する第一透過領域１４ａと、虹彩の情報を取得するための光学パターンを生成する第二透過領域１４ｂとを有している。また、フォトマスク１４は、ブラケット１３に支持され、回路基板１０やビーム整形レンズ１２、投影レンズ１６等に対する位置決めがされている。
【００２６】
第一透過領域１４ａは、対象物に対して光を格子状に照射可能に形成されている。具体的には、第一透過領域１４ａは、一方向（縦方向）に長いスリット状に形成された光を透過させる光透過部２０（図２に白色で図示）が、当該一方向に交差する方向（横方向）に等間隔に並べて形成されている。換言すると、第一透過領域１４ａには、光透過部２０が格子状に配置されている。このため、第一透過領域１４ａを透過した近赤外ＬＥＤ１１からの光は、格子状の光学パターンとなり対象物に向かう。
なお、第一透過領域１４ａは、格子状の光学パターンを生成するものでなくてもよく、対象物の３次元情報を取得可能にする光学パターンを生成できればよい。例えば、光学パターンは、複数のドットで構成されるパターンであってもよい。また、本実施の形態においては、第一透過領域１４ａが生成する光学パターンは、対象物である人の顔に対して縦縞を投影するようになっているが、対象物に対して、斜めの縞や横縞を投影するように構成されていてもよい。
【００２７】
第二透過領域１４ｂは、対象物の所定部位に対して光を略一様に照射可能に形成されている。具体的には、第二透過領域１４ｂは、例えば、目に対して光を照射するための領域となっている。第二透過領域１４ｂは、第一透過領域１４ａの一部を横断するようにして光透過部２０が配置されることにより形成されている。換言すると、第二透過領域１４ｂは、第一透過領域１４ａの一部を開口させるようにして形成されている。このため、第二透過領域１４ｂを透過した近赤外ＬＥＤ１１からの光は、対象物の所定部位を略一様に照らすように対象物に向かう。
なお、第二透過領域１４ｂは、図２に示すように、一つのまとまった領域であってもよく、例えば、図２に示す第二透過領域１４ｂの左右方向中央部に格子状のパターン（第一透過領域１４ａ）が形成され、二つの領域に分かれて構成されていてもよい。すなわち、例えば、第二透過領域１４ｂは、両目に対して光を照射する１つの光透過部２０によって構成されていてもよく（図８の近赤外画像７０参照）、それぞれの目に対して光を照射する２つの光透過部によって構成されていてもよい（図５の近赤外画像７０参照）。また、第二透過領域１４ｂは、対象物の所定部位に対して光を略一様に照射可能にするものでなくてもよい。すなわち、本実施の形態においては、虹彩認証を容易に行うために略一様に光を照射可能にするよう形成されているが、虹彩認証に係る処理に合わせて、当該処理に適した光学パターンを照射可能にするよう形成されていればよい。
【００２８】
本実施の形態のフォトマスク１４は、ガラス板にエッチングを施すことにより、光を通す部分（光透過部２０：図２に白色で図示）と光を通さない部分（光非透過部２１：図２に黒色で図示）とが作られ、これにより第一透過領域１４ａと第二透過領域１４ｂとが形成されている。換言すると、フォトマスク１４は、３次元情報を取得可能にする光学パターンを生成する第一透過領域１４ａと、虹彩情報を取得可能にする光学パターンを生成する第二透過領域１４ｂとが同一平面内に配置されている。
なお、フォトマスク１４は、前述の所定の光学パターンを生成可能になっていれば、その材質はガラスに限られず、製法もエッチングに限られない。また、光を通さない部分とは、光を完全に遮断するものでなくてもよく、光を通す部分に比べて相対的に、対象物に投射される光が少なくなるものであればよい。
【００２９】
フォトマスク１４を通過し、所定のパターン状となった近赤外ＬＥＤ１１からの光は、投影レンズ１６を介して投影装置３から出射される。投影レンズ１６では、対象物に投射される光学パターンの焦点を調整する。フォーカスアクチュエータ１５は、投影レンズ１６をフォトマスク１４に近づく方向（対象物から遠ざかる方向）に動かしたり、フォトマスク１４から遠ざかる方向（対象物に近づく方向）に動かしたりすることにより、投影装置３から出射される光の焦点の調整をする。
【００３０】
撮像装置５は、可視光および近赤外光を受光して撮影することが可能になっている。また、撮像装置５は、投影装置３から出射され、対象物に当たって反射された光学パターンを受光して撮影可能に配置されている。撮像装置５は、図１に示すように、回路基板３０と、イメージセンサ３１と、ブラケット３２と、光学フィルタ３３と、フォーカスアクチュエータ３４と、撮像レンズ３５とを備えている。
【００３１】
イメージセンサ３１は、回路基板３０に実装されている。イメージセンサ３１には、撮像レンズ３５および光学フィルタ３３を介して光が入光する。そして、イメージセンサ３１がこの光を電気信号に変換する。
【００３２】
撮像レンズ３５は、撮像装置５に入光しイメージセンサ３１に向かう光の焦点を調整する。フォーカスアクチュエータ３４は、撮像レンズ３５をイメージセンサ３１に近づく方向（対象物から遠ざかる方向）に動かしたり、イメージセンサ３１から遠ざかる方向（対象物に近づく方向）に動かしたりすることにより、撮像装置５に入光する光の焦点の調整をする。また、光学フィルタ３３は、例えば、ショートパスフィルタやバンドパスフィルタ等であり、顔認証や虹彩認証に不必要な所定の波長の光を遮るフィルタとなっている。また、光学フィルタ３３は、ブラケット３２に支持され、回路基板３０およびイメージセンサ３１に対する位置決めがされている。
【００３３】
イメージセンサ３１は、近赤外画像と可視画像が撮影可能なＲＧＢ−ＩＲセンサとなっている。イメージセンサ３１は、図３に示すカラーフィルタ３１ａを有している。そして、イメージセンサ３１では、カラーフィルタ３１ａを介して受光素子に光が届くようになっている。また、カラーフィルタ３１ａは、赤Ｒ、緑Ｇ、青Ｂ、赤外ＩＲの４種類の領域を有している。そして、これら４種類の領域は、図３に示す配列で配置されている。具体的には、４種類の領域がそれぞれ同様の割合で配置されており、各領域は、等間隔で配置されている。
なお、カラーフィルタ３１ａの４種類の領域の配列は、図３に示すものに限られず、他の配列のカラーフィルタを用いてもよい。ただし、可視光の各色の領域とＩＲの領域との両方を含むことが好ましい。
【００３４】
カラーフィルタ３１ａの可視光の各色の領域（赤Ｒ、緑Ｇ、青Ｂ）は、各色に対応した波長帯域の光を透過する。また、可視光の各色の領域は、赤外の波長帯域の光も透過する。また、赤外ＩＲの領域は、近赤外の波長帯域の光を透過する。このため、イメージセンサ３１は、可視光に基づいた可視画像と、近赤外光に基づいた近赤外画像とを撮影可能になっている。
【００３５】
なお、投影装置３の回路基板１０と、撮像装置５の回路基板３０とは、１つの基板となっていてもよい。また、回路基板１０と回路基板３０とが同一の平面内に配置されるように配置してもよい。また、投影装置３の対象物側の面（前面）と、撮像装置５の対象物側の面（前面）とが同一の平面内に配置されるようにしてもよい。また、投影装置３と撮像装置５とは、互いの軸が平行な状態で、互いに隣接して配置されていてもよい。また、投影装置３と撮像装置５とは、それぞれ別体のモジュールではなく、一体化された１つのモジュールとなっていてもよい。
【００３６】
次に、生体認証装置１で行う処理について説明する。なお、この処理は、例えば、イメージセンサ３１や、回路基板３０または他の基板に実装されている各種のプロセッサ、あるいはＲＯＭやＲＡＭ等の情報記憶媒体等のハードウェアや、ＲＯＭ等に予め記憶されている所定のプログラムからなるソフトウェア等により実現される。また、全ての処理を同一の回路において行う必要はなく、各処理を行う回路が異なっていてもよい。また、一つの処理を複数の回路で行うこととしてもよい。
【００３７】
また、生体認証に必要な、個人を特定し認証するための情報としての本人情報は、予め登録されているものとする。本実施の形態においては、本人情報として、顔の三次元情報と虹彩の情報とが登録されている。そして、生体認証装置１で取得される顔の三次元情報と予め登録されている顔の三次元情報とを比較するとともに、生体認証装置１で取得される虹彩の情報と予め登録されている虹彩の情報とを比較することにより、認証を行う。
なお、予め登録されている本人情報は、生体認証装置１内の情報記憶媒体に記憶されていてもよく、生体認証装置１とネットワークを介して接続されるサーバ等の情報記憶媒体に記憶されていてもよい。
【００３８】
図４に生体認証装置１のブロック図を示す。
生体認証装置１は、ＲＡＷ画像取得部５０と、画像分離部５１と、デモザイク処理部５２と、可視画像出力部５３と、３次元情報取得部（位相情報算出部）６０と、顔認証部６１と、虹彩認証部６２とを備えている。
【００３９】
ＲＡＷ画像取得部５０は、イメージセンサ３１で撮影されたＲＡＷ画像（ＲＡＷデータ）を取得する。次に、画像分離部５１は、ＲＡＷ画像取得部５０が取得したＲＡＷデータのＲＧＢ成分（可視光成分）とＩＲ成分（赤外成分）とを分離する。
【００４０】
そして、後段では画像分離部５１から出力されるＲＧＢ成分とＩＲ成分との両方あるいはいずれか一方に基づいて、可視画像（ＲＧＢ画像：可視光に基づく画像）を生成する処理と、３次元情報（３次元画像）を抽出して顔認証を行う処理と、虹彩情報（虹彩画像）を抽出して虹彩認証を行う処理を実行する。
【００４１】
まず、可視画像を生成する処理について説明する。
デモザイク処理部５２は、画像分離部５１から出力されるＲＧＢ成分に基づいてデモザイク処理を行い可視画像（ＲＧＢ画像）を生成する。また、前述のように、カラーフィルタ３１ａの可視光の各色の領域は、赤外の波長帯域の光も透過するようになっているため、デモザイク処理を行う際に、画像分離部５１から出力されるＩＲ成分に基づいて、可視光の各色の領域を介して混ざり込むＩＲ成分を除去する処理も行う。そして、デモザイク処理部５２で生成された可視画像を可視画像出力部５３が出力する。
【００４２】
次に、３次元情報を抽出する処理について図５を参照しながら説明する。この処理は、３次元情報取得部６０で行われる。
第一透過領域１４ａは、縦縞の格子状の光学パターン（格子パターン）を生成し、この格子パターンが投影装置３から投影されるものとする。このとき、対象物としての人の顔に投影装置３から格子パターンを投影し、イメージセンサ３１で撮影して、画像分離部５１でＲＧＢ成分とＩＲ成分とを分離することにより得られる近赤外画像７０（近赤外光に基づく画像）は、図５あるいは図８に示すもののようになる。なお、このように格子パターンを投影して得られる近赤外画像７０を格子画像７０と呼ぶこととする。また、格子画像７０に含まれる格子パターンの格子の像を格子像と呼ぶこととする。
【００４３】
このとき得られる格子画像７０の輝度について、格子パターンの格子（縞模様）に交差する方向（例えば、図５に示す線Ａ部分）における輝度プロファイル（輝度情報ａ）は、下記の式（１）で表される。ここで、輝度情報ａは、格子像に相当する。
【００４４】
【数１】
2020129175.tif 000003
【００４５】
３次元情報取得部６０は、得られた格子画像に対して下記の処理を行う。
まず、画像の輝度情報ａの微分（差分）を取って、局所的な極値（極大および極小）（局所最大値および局所最小値）を求める。次いで、求めた極値に基づいて、輝度情報ａの上側包絡線ｂおよび下側包絡線ｃを算出する。次いで、ｂとｃとの差分値で規格化し、式（１）におけるＡ（ｘ，ｙ）およびＢ（ｘ，ｙ）を実効的に消去し、式（２）に示す格子パターンのみの信号ｄを得る。
【００４６】
【数２】
2020129175.tif 000004
【００４７】
次いで、信号ｄに、格子パターンの搬送波に相当するｃｏｓ（ωｘ）、−ｓｉｎ（ωｘ）をそれぞれ乗じて変形すると、次の式（３）、式（４）のようになる。
【００４８】
【数３】
2020129175.tif 000005
【００４９】
Ｉｃ、Ｉｓ共に右辺第２項は振動項であるため、１周期の積分あるいは平均化をするとφの変化が小さいところではほぼゼロになり、第１項の平均値が残る。すなわち、式（５）、式（６）のようになる。
【００５０】
【数４】
2020129175.tif 000006
【００５１】
なお、式（５）、式（６）における積分、加算は、それぞれωｘの一周期分の積分および加算を行うものであり、上線は１周期分の平均を表すものとする。
【００５２】
すなわち、式（３）のようにＩ’（ｘ，ｙ）×ｃｏｓ（ωｘ）の演算を行うと、図６に示すようにωで振動する搬送波にモアレ縞（格子パターンの縦縞）に相当する基準線の変動が表れる。このとき、図６に示す区間ｅで積分（平均化）を行うと搬送波を消去でき、モアレ縞ｆのみを取り出すことができる。なお、上下の包絡線を検出して、その中間値をｆとすることとしてもよい。
【００５３】
式（５）と式（６）の結果から、式（７）に示すように、被検知物（対象物）の高さに起因する格子パターンの位相が得られる。換言すると、顔の高さに相当する位相情報が得られる。
【００５４】
【数５】
2020129175.tif 000007
【００５５】
そして、３次元情報取得部６０は、こうして得られた位相情報に基づいて、位相差画像７６を生成する（図７、図８参照）。さらに、３次元情報取得部６０は、位相差画像７６に含まれる位相情報から、周知の方法により３次元情報を解析し、３次元情報を持つ画像としての３次元画像７８を生成する。換言すると、３次元情報取得部６０は、撮像装置５で撮影された画像のＩＲ成分から、３次元情報を抽出（生成）し、出力する。
以上のようにして、格子画像７０から３次元情報が取得され、３次元画像７８が生成される。
なお、撮像装置５で撮影された画像から３次元情報を抽出する処理は、必ずしも前述の演算により行うものでなくてもよく、周知の種々の方法により行ってもよい。例えば、サンプリングモアレ法を利用して行ってもよい。
【００５６】
３次元画像７８を生成する処理について、図７および図８を参照しながら改めて説明すると以下の通りである。すなわち、格子画像７０の輝度情報ａから信号ｄを得ることにより、画像７１が得られる。次いで、信号ｄに、ｃｏｓ（ωｘ）、−ｓｉｎ（ωｘ）をそれぞれ乗じて変形すると（式（３）および式（４）参照）、画像７２と画像７３とがそれぞれ得られる。次いで、Ｉｃ、Ｉｓそれぞれの平均をとることにより（式（５）および式（６）参照）画像７４と画像７５とが得られる。次いで、画像７４と画像７５とに基づいて位相差画像７６が得られる。次いで、位相差画像７６に基づいて３次元画像７８が得られる。
【００５７】
３次元画像７８を計算によって求める際には、例えば、位相差画像７６を中心部から上下左右に走査していき、位相差の変化がほぼ±πになる点を不連続点として位相に±πを加えて連続位相となるような操作を行う(アンラップ処理)。この際に特異点(この点を周回してアンラップ処理を行っても位相が元に戻らない点)が表れても無視する。
このようにして得られた位相差情報を反復法（例えば、共役勾配法）の初期解として反復計算を行うことによって反復法における計算回数の多さという問題を緩和することができる。
具体的には非特許文献１にあるように、式（７）から式（８）のようなポアソン方程式の形の偏微分方程式を構成する。
【００５８】
【数６】
2020129175.tif 000008
【００５９】
偏微分を前方(後方)差分で近似すると（８）式の左辺は、式（１１）のように１次式で表され、ｍ×ｎ個の１次連立方程式となる。
【００６０】
【数７】
2020129175.tif 000009
【００６１】
これを共役勾配法などの反復法で解く場合、φに初期値として０を入れて解くと収束に時間がかかるが、ある程度解に近い値から出発すると当然計算時間は短縮される。換言すると、位相情報を３次元情報に変換する際に、位相の不連続を解消するための位相接続を少なくとも１回行ってその結果を初期解とした反復法によって３次元情報の近似解を求めることで、反復法における反復回数を削減することができる。
図９は１実施例で、反復回数と誤差との関係を示したものである。点線は上記の方程式におけるφの初期値をゼロとして計算し、反復回数による誤差の変化を表したものである。一般的に点線のように反復回数と共に誤差が減少していくが、従来の計算法では目標誤差（１Ｅ−６）となるまでに約４３０回の反復回数が必要であった。一方、前記の方法によれば、初期解がＡ点となり、目標誤差（１Ｅ−６）となるまでの反復回数は実線のように実質１８０回に削減された。
また動画において時間的に緩やかな変化をする場合は一つ手前のフレームの情報を次のフレームにおける初期解として用いることで収束を早めることもできる。
【００６２】
顔認証部６１は、３次元情報取得部６０で取得された３次元情報に基づいて顔認証を行う。具体的には、顔認証部６１は、３次元情報取得部６０で生成された３次元画像７８から特徴量を抽出する。そして、この抽出された特徴量を、本人情報として予め登録されている顔の３次元情報の特徴量と比較し、撮像装置５で撮影された対象物が、登録されている本人情報で特定される個人と一致するか否か判定する。そして、一致する場合には認証成功となり、一致しない場合には認証失敗となる。換言すると、顔認証部６１は、撮像装置５で撮影された近赤外画像から得られる３次元情報と、予め登録されている顔の３次元情報とを比較し、顔認証を行う。
なお、３次元情報に基づいて、登録されている人物であるか判定する方法については、周知の技術を用いればよい。
【００６３】
また、顔認証部６１は、３次元情報だけでなく、可視画像８０の情報も用いて顔認証を行ってもよい。この場合、例えば、顔認証部６１は、可視画像出力部５３から出力される可視画像８０から、顔のパーツ（目、鼻、口等）の配置等を判別し、これを本人情報として予め登録されている顔のパーツの配置の情報と比較して、撮像装置５で撮影された対象物が、登録されている本人情報で特定される個人と一致するか否か判定する。
顔認証に３次元情報と可視画像の情報とを用いる場合、いずれかの情報に基づく判定において、対象物と本人情報で特定される個人とが一致しないと判定された場合、顔認証は失敗となる。換言すると、３次元情報と可視画像の情報とが、両方とも登録されている本人情報と一致する場合に顔認証が成功となる。
【００６４】
次に、虹彩情報を抽出する処理について説明する。
第二透過領域１４ｂは、対象物の所定部位に対して光を略一様に照射する光学パターン（虹彩認証用パターン）を生成し、この虹彩認証用パターンが投影装置３から投影されるものとする。このとき、当該所定部位としての人の目に、近赤外ＬＥＤ１１から出射され第二透過領域１４ｂを透過した略一様な光が照射される。投影装置３から虹彩認証用パターンを投影し、イメージセンサ３１で撮影して、画像分離部５１でＲＧＢ成分とＩＲ成分とを分離することにより得られる近赤外画像７０は、図５あるいは図８に示すもののようになる。なお、このように虹彩認証用パターンを投影して得られる近赤外画像７０を虹彩認証用画像７０と呼ぶこととする。
なお、本実施の形態のフォトマスク１４においては、第一透過領域１４ａと第二透過領域１４ｂとが同一平面内に配置されているため、格子パターンと虹彩認証用パターンとは同時に照射され、格子画像と虹彩認証用画像とが同時に取得される。すなわち、格子画像と虹彩認証用画像とは、同一の画像となる。そして、この画像に基づき、顔認証と虹彩認証とが行われる。ただし、顔認証用の画像と虹彩認証用の画像とを別々に取得するものとしてもよい。また、顔認証用の画像と虹彩認証用の画像とを別々に取得する場合に、虹彩認証用画像は、対象物の虹彩の部分のみが写る画像となるようにしてもよい。
【００６５】
また、生体認証装置１は、虹彩認証用パターンが投影される部分を指示する投影箇所指示部（図示せず）を備えていてもよい。例えば、生体認証装置１がモバイル端末に内蔵される場合、投影箇所指示部は、インカメラあるいは撮像装置５により撮影され、モバイル端末の画面上に表示される画像に、虹彩認証用パターンが投影される部分を示す枠を重ねて表示することとしてもよい。この場合、ユーザーは、当該枠内に自分の目が表示されるように調整することで、目に虹彩認証用パターンが当たるようにでき、虹彩認証を正しく行うことができる。また、生体認証装置１は、目の位置を検知する検知部（図示せず）を備えていてもよい。例えば、検知部が、虹彩認証用パターンが投影される位置に目が位置しているか判定し、虹彩認証用パターンが投影される位置に目が位置している場合に、投影装置３から虹彩認証用パターンが投影された目の画像を撮像装置５が撮影するようにしてもよい。
【００６６】
虹彩認証部６２は、虹彩認証用画像７０から得られる虹彩の情報と、本人情報として予め登録されている虹彩の情報とに基づいて虹彩認証を行う。虹彩認証は、例えば、虹彩認証用画像７０から対象物の虹彩が写っている部分を切り出すことにより得られる画像（虹彩画像）についてＦＦＴ（高速フーリエ変換）をすることにより位相情報を抽出し、ＰＯＣ（位相限定相関法）により、虹彩認証用画像７０に含まれる虹彩画像と登録されている虹彩の画像との相関をとり、この相関の情報に基づいて虹彩認証を行う。
なお、虹彩認証の方法は、前述の方法に限られるものではなく、周知の種々の認証方法から適宜選択すればよい。また、虹彩認証用画像７０から対象物の虹彩が写っている部分を切り出すことにより得られる虹彩画像をコード化し、本人情報として予め登録してあるコードと照合して認証を行うこととしてもよい。
【００６７】
なお、顔認証および虹彩認証のそれぞれにおいて、比較の対象となる本人情報は１つの場合もあれば、複数の場合もある。例えば、本実施の形態の生体認証装置１がモバイル端末に内蔵され、当該モバイル端末の持ち主であるか否かを判定してロックを解除するといった用途に用いられる場合、本人情報はモバイル端末に記憶されている持ち主１人の情報であって、この情報と、撮像装置５により撮影された画像から抽出された特徴とを比較し、撮影された対象物が、このモバイル端末の持ち主に該当するか否かという判定をしてもよい。また、例えば、本実施の形態の生体認証装置１が建物のドア付近に設置され、当該建物の関係者であるか否かを判定してドアのロックを解除するといった用途に用いられる場合、本人情報はサーバに記憶されている当該建物に関係する複数人の情報であって、この複数人の情報それぞれと、撮像装置５により撮影された画像から抽出された特徴とを比較し、撮影された対象物が、この複数人のうちの誰に該当するか、あるいは誰にも該当しないのかという判定をしてもよい。
【００６８】
本実施の形態の生体認証装置１によれば、近赤外の光学パターンを照射する投影装置３と、近赤外の光を受光可能な撮像装置５とを備え、投影装置３は、顔の３次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを、同時に照射可能となる。そして、撮像装置５は、投影装置３から光学パターンが照射された対象物を撮影する。よって、撮像装置５により撮影された画像から、顔の３次元情報と、虹彩の情報とを取得することができる。したがって、顔認証と虹彩認証との両方を行うことができる。
【００６９】
また、投影装置３は、近赤外の光を出射する光源としての近赤外ＬＥＤ１１と、近赤外ＬＥＤ１１の光から顔の３次元情報を取得するための光学パターンを生成する第一透過領域と近赤外ＬＥＤ１１の光から虹彩の情報を取得するための光学パターンを生成する第二透過領域とが同一平面内に配置されたフォトマスク１４と、投影レンズ１６と、を有する。したがって、１つのフォトマスク１４で顔の３次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを生成し、これら２つの光学パターンを同時に照射することができる。
【００７０】
また、等間隔の格子状の光学パターンを照射した状態で、撮像装置５により撮影された略正弦波状の格子像の、局所最大値と局所最小値とを算出して正弦波の振幅を一定とした後に、略同じ周期の正弦波と余弦波とを掛け合わせてそれぞれ一周期分積分してから、割り算をして逆正接演算をすることによって、顔の高さに相当する位相情報を算出する位相情報算出部（３次元情報取得部）６０を備えるので、簡易な処理で位相情報を算出することができる。
【００７１】
また、可視画像８０から得られる情報と、近赤外画像７０から得られる３次元情報とに基づいて顔認証を行う顔認証部６１を備え、撮像装置５は、イメージセンサ３１として、可視画像８０と近赤外画像７０とを撮影可能なＲＧＢ−ＩＲセンサを有するので、１つのイメージセンサ３１で、可視画像８０と近赤外画像７０とを撮影することができる。そして、このイメージセンサ３１で撮影された可視画像８０と近赤外画像７０とに基づいて顔認証を行うことができる。したがって、例えば、近赤外画像７０から得られる３次元情報のみに基づいて顔認証を行う場合に比べ、より正確に顔認証をすることができる。
【００７２】
（第２の実施の形態）
本実施の形態の生体認証装置１が、第１の実施の形態の生体認証装置１と主に異なる点は、フォトマスクの構成なので、以下ではこの点について説明し、第１の実施の形態と同様の構成については、その説明を省略ないし簡略化する。
【００７３】
本実施の形態の生体認証装置１のフォトマスク１４は、図１０に示す画素９２（単位ブロック）が縦横に複数並べられて構成されている。フォトマスク１４の各画素９２は、液晶表示素子９３が２つの偏光板９４に挟まれて形成されている。各画素９２は、各画素９２の液晶表示素子９３に加える電圧のＯＮ／ＯＦＦによって、光の透過／非透過が切り替わる。例えば、光を遮断したい画素に電圧を加え、光を透過させたい画素には電圧を加えないことで、生成したい光学パターンに対応した光透過部２０の配置が実現される。換言すると、フォトマスク１４は、印加される信号によって光学パターンを変更可能となっている。
【００７４】
このような構成によれば、フォトマスク１４のパターンを切り替えることが可能となる。したがって、第１の実施の形態においては、投影装置３は、顔の３次元情報を取得するための光学パターンと、虹彩の情報を取得するための光学パターンとを同時に照射していたところ、第２の実施の形態においてはこれらの光学パターンを逐次に照射することが可能となる。すなわち、例えば、フォトマスク１４に所定の信号を印加し、顔の３次元情報を取得するための光学パターンを生成可能な状態にした後、フォトマスク１４に別の信号を印加し、虹彩の情報を取得するための光学パターンを生成可能な状態にすることで、２つの光学パターンを逐次に照射することが可能となる。
【００７５】
この場合、顔の３次元情報を取得するための光学パターンが照射された状態で、撮像装置５により撮影された画像に基づいて顔認証を行い、虹彩の情報を取得するための光学パターンが照射された状態で、撮像装置５により撮影された画像に基づいて、虹彩認証を行えばよい。
【００７６】
また、本実施の形態のフォトマスク１４は、第１の実施の形態のフォトマスク１４と同様に、第一透過領域１４ａと第二透過領域１４ｂとが同一平面内に配置されるように信号が印加されるようになっていてもよい。このような場合に、対象物の形状や状態等に応じて、例えば第一透過領域１４ａの形状や第二透過領域１４ｂの位置が変わるようになっていてもよい。例えば、人の目の位置に合わせて第二透過領域１４ｂの位置が変化するようになっていてもよい。具体的には、生体認証装置１が、目の位置を検知する検知部（図示せず）を備えており、この検知部によって検出された目の位置に合わせて、フォトマスク１４に印加する信号を変化させて第二透過領域１４ｂの位置を調整し、目に、虹彩認証をするのに適した光が投影されるようにしてもよい。
なお、このような目の位置を検出する検知部は、従来から知られている物体認識技術を適用することにより実現できる。
【００７７】
本実施の形態の生体認証装置１においては、投影装置３は、印加される信号によって光学パターンを変更可能なフォトマスク１４を備えるので、フォトマスク１４に印加する信号を変化させることにより、光学パターンを変化させることができる。したがって、認証の種類や、撮影の対象物の状態等に応じて、光学パターンを変化させることができる。
【００７８】
なお、本発明の生体認証装置は、スマートフォン等のモバイル機器におけるユーザー認証だけでなく、例えば、車に搭載してユーザー認証に利用してもよく、建物に設置して関係者の認証に利用してもよい。また、この他にも、生体認証が必要とされるあらゆる機器、装置に適用し、生体認証が必要とされるあらゆる用途に用いることができる。
【００７９】
（第３の実施の形態）
本実施の形態の生体認証装置が、第１または第２の実施の形態の生体認証装置と主に異なる点は、主に生体認証装置で行う処理なので、以下ではこの点について説明し、第１または第２の実施の形態と同様の構成については、その説明を省略ないし簡略化する。
【００８０】
本実施形態の生体認証装置１のフォトマスク１４は、第二透過領域１４ｂを有さず、その略全面が第一透過領域１４ａとなっている。すなわち、図２に示す第１の実施の形態のフォトマスク１４において、第一透過領域１４ａの一部が開口したような形状となっておらず、その略全面に光透過部２０が格子状に配置されている。そして、近赤外ＬＥＤ１１からの光が格子状（縦縞）の光学パターンとなり、当該光学パターンが対象物としての人の顔全体（目の部分を含む）に投影されるようになっている。
なお、本実施形態の生体認証装置１においてもフォトマスク１４として、第１の実施の形態のフォトマスクのような第二透過領域１４ｂを備えるフォトマスクを使用してもよく、第２の実施の形態のフォトマスクのような印加される信号によって光学パターンを変更可能なフォトマスクを使用してもよい。
【００８１】
本実施の形態の生体認証装置１は、図１１に示すように、顔領域特定部１０２を備えている。顔領域特定部１０２は、可視画像出力部５３から出力された可視画像８０に基づいて顔の領域を特定し、顔の領域を示すマスク画像１５０を生成する（図１２参照）。
【００８２】
顔領域特定部１０２は、可視画像８０から、機械学習により顔の器官（ランドマーク）を検出する。ここで、顔の器官とは、例えば、目、鼻または口等の、人の顔を構成する器官である。顔領域特定部１０２は、目、鼻および口のすべてを検出しても良いが、いずれか１つを検出するものであってもよい。なお、目の虹彩情報を取得するために、顔領域特定部１０２が検出する器官の中に、少なくとも目が含まれていることが好ましい。
【００８３】
顔領域特定部１０２による顔の検出によって、図１２に示すように、可視画像８０上の点であって、顔の器官それぞれを示す複数の点１５２が、情報として得られる。次いで、顔領域特定部１０２は、目、鼻、口それぞれを示す複数の点１５２のうち、最も外側の点を用いて顔の輪郭を抽出する。具体的には、顔領域特定部１０２は、目、鼻、口それぞれを示す複数の点のうち最も外側の点よりも若干外側を通る線によって、これらの複数の点１５２を囲うようにして、顔の領域１５３を特定する。すなわち、顔領域特定部１０２は、目と鼻と口とを囲うようにして顔の領域１５３を決める。換言すると、顔領域特定部１０２は、目と鼻と口とを含む範囲を顔の領域１５３とする。このように、顔領域特定部１０２は、検出した顔の器官の情報に基づいて、顔の領域１５３を特定する。
なお、顔の器官を示す複数の点１５２のうち、目を示す複数の点１５２ａには、目尻を表す点と、目頭を表す点と、目の上縁における１点または２点以上の点と、目の下縁における１点または２点以上の点とが含まれる。
【００８４】
次いで、顔領域特定部１０２は、抽出した顔の領域１５３の情報に基づいて、マスク画像１５０を生成する。具体的には、特定した顔の領域１５３（目、鼻、口が含まれる領域）を「１」とし、顔の領域１５３の外側を「０」とした２値画像として、マスク画像を生成する。
【００８５】
なお、顔領域特定部１０２による、顔の器官の検出および顔の領域の特定においては、公知の種々の技術を適用可能である。例えば、顔の器官を検出し、顔の領域を特定する機械学習のアルゴリズムについては、オープンソフトウェアのＤｌｉｂ等を用いてもよい。なお、顔領域特定部１０２は、必ずしも目と鼻と口とに関する検出結果に基づいて顔の領域１５３を特定する必要はない。例えば、公知の技術を用いることで、鼻や口がマスクに覆われている状態であっても、顔の領域を特定することができるので、このような技術を用いて顔の領域を特定してもよい。また、顔領域特定部１０２は、可視画像８０ではなく、近赤外画像７０に基づいて顔の領域を特定するものであってもよく、可視画像８０と近赤外画像７０との両方に基づいて顔の領域を特定するものであってもよい。
【００８６】
本実施形態の生体認証装置１における３次元情報取得部６０は、第１の実施の形態の生体認証装置１と同様に、撮像装置５で撮影された画像のＩＲ成分から、３次元情報を抽出（生成）し出力する。この３次元情報の生成において、マスク画像１５０を用いることにより、処理負担を軽減している。
【００８７】
具体的には、３次元情報取得部６０は、近赤外画像７０（格子画像７０）から３次元情報を抽出するための前述の演算をする際（例えば、前述のように共役勾配法で数値解を求める際等）に、近赤外画像７０のうち、マスク画像１５０において「１」となっている部分に対応する部分についてのみ計算を行い、マスク画像１５０において「０」となっている部分に対応する部分については計算を行わないようにする。このようにすることで、３次元情報を抽出するための演算において、背景等の顔以外の部分の影響が除去される。このため、例えば共役勾配法で数値解を求める際には、収束が早くなるとともに、解が安定する。
【００８８】
次に、顔領域特定部１０２による顔の器官の検出結果を利用した、虹彩の情報の取得について説明する。
顔領域特定部１０２は、顔の器官それぞれを示す複数の点１５２のうち、目に相当する点１５２ａの可視画像８０上における座標情報を出力する。虹彩認証部（虹彩情報取得部）６２は、図１３に示すように、当該座標情報に基づいて、虹彩認証用画像としての近赤外画像７０上における目の位置を特定し、近赤外画像７０から目の領域の画像（目領域画像１５６）を抽出する。換言すると、前述した目を示す複数の点１５２ａを用いて目の領域を特定し、当該目の領域の画像１５６を抽出する。このとき、目を示す複数の点１５２ａのうちの、外側の点を通る線によって目の領域を特定することで、目の領域をできるだけ狭く取ることができ、虹彩認証に係る処理負担を軽減することなどができる。そして、抽出された目領域画像１５６から、Ｈｏｕｇｈ変換等により円形を検出することによって、虹彩や瞳の画像を得ることができる（虹彩の外形を示す円１５４ａと、瞳の外形を示す円１５４ｂとを図１３に示す。）。
【００８９】
虹彩認証においては、抽出された目領域画像１５６（虹彩の画像）を極座標から直交座標に写像して、本人情報として予め登録されている虹彩の画像（元画像１５７）と比較したり、アイリスコードに変換して認証したりすることが知られている。しかし、目の部分に３次元情報を取得するための光学パターンが投射されている場合、当該光学パターンの影響により、直接的な比較や、２値化に支障を来すおそれがある。そこで、本実施形態の生体認証装置１においては、虹彩認証部６２は、抽出された目領域画像１５６から、光学パターンによる縞を除去する前処理を行ってから、座標変換を行う（縦縞を除去した縦縞除去画像１５８を生成してからこの縦縞除去画像１５８について座標変換を行う）。なお、ここでの前処理は、例えば、フーリエ変換を用いたフィルタ処理でもよく、縞の周期性を用いた輝度均一化処理あるいはその他の処理でもよい。すなわち、虹彩認証部６２は、空間フィルタ処理によって近赤外画像７０の撮像時に照射された光学パターンの影響を除去して、虹彩の認証を行うこととしてもよい。
【００９０】
目領域画像１５６と元画像１５７との輝度の相関関係について、前処理を行わなかった場合の相関関係を示すグラフ１６０を図１３の右上に示し、前処理を行なった場合の相関関係を示すグラフ１６１を図１３の右下に示す。図１３に示すように、光学パターンの影響を除去する前処理を行わなかった場合、目領域画像１５６と元画像１５７との輝度についての相関係数Ｒ２＝０．００３２であるのに対し、前処理を行なった場合Ｒ２＝０．９１５８となり、高い相関性が得られていることがわかる。このように、前処理を行うことにより、目領域画像１５６と元画像１５７との輝度の相関性を高くし、虹彩認証の精度を高めることができる。すなわち、撮像装置５により撮像された目について、輝度等の虹彩に関する情報を取得する前に、前処理を行うことにより、取得される虹彩情報の精度が高くなり、こうして取得された虹彩情報を、本人情報として予め登録されている虹彩情報と比較することで、虹彩認証の精度を高めることができる。
【００９１】
なお、図１３に示す展開画像１５９とは、目領域画像１５６や、元画像１５７、縦縞除去画像１５８を展開した画像であり、本実施形態の生体認証装置１においては、このように各画像を展開して認証に係る処理を行うが、虹彩認証において画像を展開して認証を行う方法については、周知の技術であるため、ここでは説明を省略する。また、画像を展開せずに認証を行うこととしてもよい。
【００９２】
本実施形態の生体認証装置１（３次元情報生成装置）は、近赤外の光学パターンを照射する投影装置３と、近赤外の光を受光可能な撮像装置５と、撮像装置５により撮像される撮像対象の画像に基づいて顔の器官を検出して顔の領域を特定する顔領域特定部１０２と、光学パターンを照射した状態で撮像装置５により撮像される撮像対象の近赤外画像のうち、顔領域特定部１０２により特定された顔の領域に対応する部分についての３次元情報を生成する３次元情報取得部６０と、を備える。よって、顔領域特定部１０２は、撮像装置５により撮像される画像について、顔の領域を特定し、３次元情報取得部６０は、撮像装置５により撮像される近赤外画像のうち、顔領域特定部１０２により特定される顔の領域に対応する部分についての３次元情報を生成する。すなわち、３次元情報取得部６０は、撮像装置５により撮像される近赤外画像に基づいて３次元情報を生成する際に、顔の領域部分についてのみ計算を行えばよく、顔の領域外の部分（例えば、背景部分等）については、計算を行う必要がない。したがって、３次元情報を生成するための計算において、顔の領域外の部分の影響を除去することができ、当該計算における収束を早めたり、解を安定させたりすることができ、当該計算の負担を軽減することができる。
【００９３】
また、本実施形態の生体認証装置１において、顔領域特定部１０２は、顔の器官の検出において目の位置を特定し、虹彩認証部６２は、近赤外画像と、顔領域特定部１０２により特定される目の位置の情報とに基づいて近赤外画像に写る目についての虹彩の情報を取得する。よって、虹彩認証部６２は、近赤外画像に写る目についての虹彩の情報を取得する場合に、顔領域特定部１０２により特定される目の位置の情報に基づいて虹彩の情報を取得する。このため、虹彩の情報を取得するための計算においては、目の部分についてのみ計算を行えばよく、当該計算についての処理負担を軽減できる。特に、３次元情報を取得するための光学パターンが、撮像対象としての人の目の部分にも照射されるような構成の場合、虹彩認証をするための虹彩情報の取得にあたって、当該光学パターンの影響を除去することが望ましいが、当該除去に係る計算をする場合でも、計算する範囲を狭めることができるので、計算についての処理負担を軽減することができる。
【００９４】
また、虹彩認証部６２は、空間フィルタ処理によって近赤外画像の撮像時に照射された光学パターンの影響を除去して、虹彩の認証を行う。したがって、虹彩認証の精度を高めることができる。
【００９５】
なお、イメージセンサ３１は、赤外の画素を含むセンサであって、画素数が８メガピクセル以上であることが好ましい。このように、画素数が８メガピクセル以上となっていることで、虹彩認証を高精度で行うことできる。また、画素数を８メガピクセル以上としても、撮像装置５により撮像された画像から目領域画像１５６を切り出して虹彩認証を行うので、虹彩認証に係る処理負担を軽減して高速に処理することができる。
【００９６】
（第４の実施の形態）
次に、第３の実施の形態の生体認証装置における３次元情報を取得するための構成を、３次元の顔画像を生成する装置に適用した場合について説明する。
【００９７】
３次元画像生成装置１２０は、第３の実施の形態の生体認証装置１の構成に加えて、図１４に示すように、３次元画像生成部１２２と、３次元画像生成部１２２で生成された３次元画像（３次元の顔画像）を通信相手に送信する送信部１２４とを備えている。３次元画像生成部１２２は、図１５に示すように、３次元情報取得部６０によって抽出される３次元情報（３次元画像７８）と、可視画像出力部５３から出力される可視画像８０とに基づいて３次元の顔画像１７０を生成する。
なお、３次元画像生成装置１２０は、顔認証部６１や虹彩認証部６２を備えず顔認証や虹彩認証を行わないこととしてもよい。
【００９８】
３次元画像生成部１２２は、３次元情報取得部６０から出力される３次元情報としての奥行情報に基づく３次元画像７８と、可視画像８０とに基づいて、３次元の顔画像１７０を生成する。近赤外画像７０から奥行情報（位相情報）を得て３次元画像７８を構成し、レンダリング処理の際に可視画像８０の色情報（イメージセンサ３１において、カラーフィルタ３１ａの赤Ｒ、緑Ｇ、青Ｂの領域を通った光に基づいて得られる情報）を用いることで、３次元の顔画像１７０が得られる。
なお、ここで奥行情報に基づく３次元画像７８の生成は、３次元情報取得部６０で行ってもよく、３次元画像生成部１２２で行ってもよい。例えば、奥行情報から３次元画像７８を構成する際に、同時に可視画像８０の色情報を用いた色付け等を行い３次元の顔画像１７０に色付け等することとしてもよい。
【００９９】
３次元画像生成部１２２で生成された３次元の顔画像１７０は、アバター情報として、通信相手に送信される。ここで、通信相手とは、３次元画像生成装置１２０とネットワークを介して接続される機器である。例えば、３次元画像生成装置１２０は、パソコンや、スマートフォン（携帯端末）等のコンピュータに組み込まれるもの、あるいは外付けされるものとし、送信部１２４は、通信相手としてのコンピュータに３次元画像生成部１２２で生成された３次元の顔画像１７０を送信する。
【０１００】
３次元の顔画像１７０を取得した相手方のコンピュータは、当該３次元の顔画像１７０をいわゆるアバターとしてディスプレイに表示させる。すなわち、本実施形態の３次元画像生成装置１２０によれば、撮像された人物の顔に基づいて生成される、アバターとしての３次元の顔画像１７０を通信相手に送信して、通信相手のユーザーとコミュニケーションを取ることができる。このような３次元画像生成装置１２０は、ビデオチャット（ビデオ通話）や、ソーシャルネットワーキングサービス、ゲーム等、様々な用途に用いることができる。
【０１０１】
本実施形態の３次元画像生成装置１２０は、３次元画像を生成する３次元画像生成部１２２と、３次元画像生成部１２２で生成された３次元画像を通信相手に送信する送信部１２４と、を備え、撮像装置５は、可視光を受光可能であり、３次元画像生成部１２２は、３次元情報取得部６０により生成された３次元情報と、撮像装置５により撮像される可視画像とに基づいて３次元画像を生成する。
【０１０２】
本実施形態の３次元画像生成装置１２０においては、３次元情報の生成においてマスク画像１５０が用いられる。よって、３次元情報取得部６０によって生成される３次元情報は、顔領域部分のみの３次元情報であり、撮像装置５により撮像される画像における背景部分等の情報が含まれない。したがって、３次元画像生成部１２２で生成される３次元の顔画像１７０にも、撮像装置５により撮像される背景等の情報は含まれない。このため、３次元画像生成装置１２０のユーザーは、相手方に自分の撮像環境の背景等に関する情報を知られることなく、相手方とコミュニケーションを取ったりすることが可能となる。
【符号の説明】
【０１０３】
１  生体認証装置
３  投影装置
５  撮像装置
１１  近赤外ＬＥＤ（光源）
１４  フォトマスク
３１  イメージセンサ
６０  ３次元情報取得部
６１  顔認証部
６２  虹彩認証部
１０２  顔領域特定部
１２０  ３次元画像生成装置
１２２  ３次元画像生成部
１２４  送信部
【図１】
2020129175.tif 000010
【図２】
2020129175.tif 000011
【図３】
2020129175.tif 000012
【図４】
2020129175.tif 000013
【図５】
2020129175.tif 000014
【図６】
2020129175.tif 000015
【図７】
2020129175.tif 000016
【図８】
2020129175.tif 000017
【図９】
2020129175.tif 000018
【図１０】
2020129175.tif 000019
【図１１】
2020129175.tif 000020
【図１２】
2020129175.tif 000021
【図１３】
2020129175.tif 000022
【図１４】
2020129175.tif 000023
【図１５】
2020129175.tif 000024