(57)【要約】【課題】指紋認証における認証精度を向上させること。【解決手段】検出面に置かれた指から第１の指紋画像を取得し、前記第１の指紋画像の取得より後に第２の指紋画像を取得し、前記検出面に対する前記指の傾きと指紋の歪みを推定し、前記傾きおよび前記歪みに基づいて、前記第２の指紋画像を補正し、前記補正された第２の指紋画像に基づいて、前記指の三次元形状を示す三次元情報を生成する。【選択図】図１
2018049391.tif 000002
【特許請求の範囲】
【請求項１】
検出面に置かれた指から第１の指紋画像を取得し、前記第１の指紋画像の取得より後に第２の指紋画像を取得する指紋センサと、
前記第２の指紋画像に基づいて、前記検出面に対する前記指の傾きを推定する傾き推定部と、
前記第１の指紋画像と前記第２の指紋画像に基づいて、指紋の歪みを推定する歪み推定部と、
前記傾きおよび前記歪みに基づいて、前記第２の指紋画像を補正する補正部と、
前記補正された第２の指紋画像に基づいて、前記指の三次元形状を示す三次元情報を生成する復元部と、
を有することを特徴とする生体画像処理装置。
【請求項２】
前記傾き推定部は、前記第２の指紋画像を複数の領域に分割し、前記複数の領域それぞれの画素の画素値の平均値を算出し、前記平均値に基づいて、前記傾きを示す傾き情報を算出することを特徴とする請求項１記載の生体画像処理装置。
【請求項３】
前記歪み推定部は、前記第２の指紋画像を複数の領域に分割し、前記複数の領域のうちの第１の領域の位置と前記第１の領域と最も類似する前記第２の指紋画像内の第２の領域の位置との差を算出することを特徴とする請求項１または２記載の生体画像処理装置。
【請求項４】
生体画像処理装置が
検出面に置かれた指から第１の指紋画像を取得し、
前記第１の指紋画像の取得より後に第２の指紋画像を取得し、
前記第２の指紋画像に基づいて、前記検出面に対する前記指の傾きを推定し、
前記第１の指紋画像と前記第２の指紋画像に基づいて、指紋の歪みを推定し、
前記傾きおよび前記歪みに基づいて、前記第２の指紋画像を補正し、
前記補正された第２の指紋画像に基づいて、前記指の三次元形状を示す三次元情報を生成する
処理を有する生体画像処理方法。
【請求項５】
検出面に置かれた指から第１の指紋画像を取得し、
前記第１の指紋画像の取得より後に第２の指紋画像を取得し、
前記第２の指紋画像に基づいて、前記検出面に対する前記指の傾きを推定し、
前記第１の指紋画像と前記第２の指紋画像に基づいて、指紋の歪みを推定し、
前記傾きおよび前記歪みに基づいて、前記第２の指紋画像を補正し、
前記補正された第２の指紋画像に基づいて、前記指の三次元形状を示す三次元情報を生成する
処理をコンピュータに実行させる生体画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体画像処理装置、生体画像処理方法、および生体画像処理プログラムに関する。
【背景技術】
【０００２】
生体認証の一種である指紋認証は、ビルや部屋等への入退室管理、パーソナルコンピュータ（ＰＣ）のアクセス管理、またはスマートフォンのロック解除など幅広い分野で利用されている。
【０００３】
認証に利用する指紋画像を取得するセンサとして、指紋の入力動作による影響を低減できるタッチ型の指紋センサが多く普及している。しかし、指紋センサの指がタッチされる面は平面であるのに対して、人の指の腹の形状は三次元的に緩やかな曲面であり、入力時にその三次元形状を二次元に押し付けることにより、指紋に歪みが発生する。
【０００４】
検出面が一定の圧力で押されるまでの感知信号を一定時間検出して時系列のモーションデータとして出力し，指紋データおよび前記モーションデータの照合を行う指紋認証装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１７１３０７号公報
【特許文献２】特開２００６−２１５９７５号公報
【特許文献３】特開２００１−１０１４０４号公報
【非特許文献】
【０００６】
【非特許文献１】Xuanbin Si、外３名、”Detection and Rectification of Distorted Fingerprints”、 IEEE PAMI、 2015
【発明の概要】
【発明が解決しようとする課題】
【０００７】
歪んだ指紋が写った指紋画像を用いて照合を行うと、照合ミスの可能性が高くなり、認証精度が低下する。
【０００８】
本発明の課題は、指紋認証における認証精度を向上させることである。
【課題を解決するための手段】
【０００９】
実施の形態に係る生体画像処理装置は、指紋センサと、傾き推定部と、歪み推定部と、補正部と、復元部と、を有する。
【００１０】
前記指紋センサは、検出面に置かれた指から第１の指紋画像を取得し、前記第１の指紋画像の取得より後に第２の指紋画像を取得する。
【００１１】
前記傾き推定部は、前記第２の指紋画像に基づいて、前記検出面に対する前記指の傾きを推定する。
【００１２】
前記歪み推定部は、前記第１の指紋画像と前記第２の指紋画像に基づいて、指紋の歪みを推定する。
【００１３】
前記補正部は、前記傾きおよび前記歪みに基づいて、前記第２の指紋画像を補正する。
前記復元部は、前記補正された第２の指紋画像に基づいて、前記指の三次元形状を示す三次元情報を生成する。
【発明の効果】
【００１４】
実施の形態に係る生体画像処理装置によれば、指紋認証における認証精度を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態に係る生体画像処理装置の構成図である。
【図２】実施の形態に係る生体情報の入力・復元処理のフローチャートである。
【図３】指紋画像の例である。
【図４】ブロック毎に画素値を平均化した指紋画像の例である。
【図５】画素値の平均とフィッティング平面を示す図である。
【図６】指が検出面に対して傾いている場合の傾き情報の例である。
【図７】指が検出面に対して平行である場合の傾き情報の例である。
【図８】歪み推定部の処理を説明する図である。
【図９】実施の形態に係る生体情報の入力・復元処理を示す図である。
【図１０】実施の形態に係る登録処理のフローチャートである。
【図１１】実施の形態に係る照合処理のフローチャートである。
【図１２】情報処理装置（コンピュータ）の構成図である。
【発明を実施するための形態】
【００１６】
従来の指紋の歪みを補正する技術では、指紋画像の歪み具合を予め推定するためのモデルデータを用いるため、新規な指紋画像に対して歪みを推定および補正することが困難である。また、従来の指紋の歪みを補正する技術では、指紋画像を取得するための指紋センサ以外の圧力センサ等のデバイスを用いたり、利用者に追加の操作を行わせている。それにより、認証操作自体の使い勝手が劣化するという問題がある。
【００１７】
以下、図面を参照しながら実施の形態について説明する。
図１は、実施の形態に係る生体画像処理装置の構成図である。
【００１８】
生体画像処理装置１０１は、指紋センサ２０１、入力装置３０１、表示装置４０１、傾き推定部１１１、傾き補正部１２１、歪み推定部１３１、歪み補正部１４１、復元部１５１、登録部１６１、照合部１７１、通知部１８１、および記憶部１９１を備える。生体画像処理装置１０１は、例えば、サーバ、パーソナルコンピュータ、携帯電話、または携帯端末等である。
【００１９】
指紋センサ２０１は、タッチ型の指紋センサであり、平面状の検出面を有し、検出面に置かれた指の表面の凹凸、すなわち指紋を検出し、指紋の模様を示す指紋画像を生成する。指紋の検出方法は、例えば、静電容量式、感熱式、電界式、光学式、超音波式、または光学式等のいずれの手法を用いてもよい。指紋センサ２０１は、時系列で指紋を読み取り指紋画像を生成する。すなわち、指紋センサ２０１は、所定の間隔毎に指紋を読み取り、複数の指紋画像Ｉ[i]（i＝０〜ｋ）を生成する。
【００２０】
入力装置３０１は、ユーザからの指示や情報が入力される。また入力装置３０１は、生体画像処理装置１０１で用いられる利用者ＩＤ等のデータを取得する。入力装置３０１は、例えば、キーボード、タッチパネル、磁気カードリーダ、またはIntegrated Circuit（ＩＣ）カードリーダ等である。
【００２１】
表示装置４０１は、指紋の認証結果や指紋の読み取りが出来ない旨の警告等を表示する。表示装置４０１は、例えば、液晶ディスプレイ装置である。
【００２２】
傾き推定部１１１は、指紋センサ２０１の検出面に対する指紋の入力時の指の傾きを推定する。指紋センサ２０１がタッチ型の指紋センサの場合、検出面に対して強く押下されている領域ほど指紋画像に現れる画像応答が強くなることを利用して、指紋画像中に現れる画素値を解析して入力時の指の傾きを推定する。言い換えれば、傾き推定部１１１は、入力時の指にかかる圧力を推定する。具体的には、指紋画像を複数のブロックに分割し、各ブロックの画素値の平均値をそのブロックにおける平均押圧力とする。各ブロックにおいて算出された平均押圧力を平面でフィッティング（近似）して、その平面を示す傾き情報p[i]を指紋の入力時の指の傾きとする。傾き推定部１１１は、傾き情報p[i]を押圧力に応じて強いほど大きな値、弱いほど小さな値となるように正規化する。正規化された傾き情報p[i]は傾き情報P[i]と表記する。
【００２３】
傾き補正部１２１は、傾き情報P[i]に基づいて、指紋画像I[i]の傾きを補正する。
歪み推定部１３１は、指紋画像I[i]の入力動作に起因する指紋の歪みを推定する。
【００２４】
復元部１５１は、補正した指紋画像から指（詳細には指の腹）の三次元形状を示す三次元情報を生成する。
【００２５】
登録部１６１は、指紋の特徴を示す特徴量を利用者ＩＤと対応付けてデータベース（ＤＢ）１９２に記録する。特徴量は、指紋の特徴点（中心点、分岐点、端点、または三角州）の位置を示す複数の位置情報を含み、各位置情報は３つの要素（x,y,z）を含む。すなわち、特徴点の位置は、ｘ（横）方向の位置ｘ、ｙ（縦）方向の位置ｙだけでなくｚ（深さ）方向を示すｚにより示される。
【００２６】
照合部１７１は、ＤＢ１９２に記録された特徴量と指紋センサ２０１から入力された指紋の特徴量とを照合し、一致するか否か判定する。照合部１７１は、例えば、マニューシャ・マッチング方式を用いて、一致するか否か判定する。
【００２７】
通知部１８１は、指紋の照合結果や指紋の読み取りが出来ない旨の警告等を表示装置４０１に表示する。
【００２８】
記憶部１９１は、指紋の特徴を示す特徴量を含むＤＢ１９２を記憶する。ＤＢ１９２には、指紋の特徴を示す特徴量と利用者ＩＤが対応付けられて記録されている。ＤＢ１９２は、複数の特徴量と複数の利用者ＩＤを含む。尚、ＤＢ１９２に記録されている特徴量はテンプレートと称する場合がある。
【００２９】
図２は、実施の形態に係る生体情報の入力・復元処理のフローチャートである。
先ず、ユーザは、指紋センサ２０１の検出面に指を接触させる。
【００３０】
ステップＳ５０１において、指紋センサ２０１は、変数ｋを０に設定する。
ステップＳ５０２において、指紋センサ２０１は、指紋画像I[k]を取得する。詳細には、指紋センサ２０１は、検出面に置かれた指の指紋を検出し、指紋の模様を示す指紋画像I[k]を生成する。
【００３１】
図３は、指紋画像の例である。
指紋画像I[k]は、谷線であるほど白く、隆線であるほど黒く表示される。例えば、指紋画像I[k]の各画素値が１ｂｙｔｅで表現される場合、谷線領域の画素の画素値は２５５に近く、隆線領域の画素の画素値は０に近い値となる。
【００３２】
例えば、指が指紋センサ２０１の検出面に対して傾いている場合には、指先には大きな圧力がかかり、指の第１関節付近には小さな圧力がかかる。その場合、指紋画像I[k]の指先付近に対応する領域において隆線を示す黒色はさらに強くなり、第１関節付近に対応する領域において、指先付近に対応する領域に比べて隆線を示す黒色は弱く（すなわち、灰色）なる。
【００３３】
図２に戻り説明を続ける。
ステップＳ５０３において、傾き推定部１１１は、指紋の入力時の指の傾きを推定する。詳細には、傾き推定部１１１は、指紋画像I[k]を所定のサイズ毎に複数のブロックに分割する。傾き推定部１１１は、ブロック毎にブロック内の画素の画素値の平均値を算出し、平均値をそのブロックにおける画素の画素値とする。算出した平均値をブロックの画素の画素値として表すと図４に示すような画像となる。
【００３４】
ブロックの中心座標を（ｘ，ｙ）、当該ブロックの画素の画素値の平均値をｚとして、ｘ方向、ｙ方向、およびｚ方向で示される３次元空間にプロットすると図５に示すようになる。図５に示される各点が各ブロックの画素の画素値の平均値を示す。
【００３５】
傾き推定部１１１は、各ブロックの画素の画素値の平均値を平面でフィッティング（近似）する。すなわち、各ブロックの画素の画素値の平均値からの距離が最小となるような平面を算出し、算出した平面を示す情報（傾き情報）p[k]を生成する。傾き情報p[k]は、ｘ方向の座標値ｘとｙ方向の座標値ｙに対応する算出した平面上の値を含む。尚、傾き情報p[k]に含まれるｘ方向の座標値ｘとｙ方向の座標値ｙに対応する算出した平面上の値を傾き情報p[k]の値と称する場合がある。傾き情報p[k]は、指紋画像I[k]と同じサイズのｘ方向とｙ方向の領域内の複数の座標それぞれに対応する算出した平面上の値を含む。例えば、指紋画像I[k]が横ｍ画素、縦ｎ画素の画像である場合、ｘ方向の座標値ｘは１〜ｍであり、ｙ方向の座標値ｙは１〜ｎである。このとき、傾き情報p[k]は、座標値ｘ＝１〜ｍと座標値ｙ＝１〜ｎの組み合わせそれぞれに対応する平面上の値を含む。
【００３６】
傾き推定部１１１は、傾き情報p[k]を正規化する。詳細には、傾き情報p[k]の値の範囲が０〜２５５である場合、傾き推定部１１１は、２５５から傾き情報p[k]の値を減算して傾き情報P[k]を生成する。例えば、傾き情報p[k]においてある座標（ｘ、ｙ）に対応する値が２５５であれば、傾き情報P[k]において当該座標（ｘ、ｙ）に対応する値は０となる。このように、正規化により、傾き情報p[k]において大きな値は、傾き情報P[k]では小さな値となる。一方、正規化により、傾き情報p[k]において小さな値は、傾き情報P[k]では大きな値となる。
【００３７】
例えば、指が指紋センサ２０１の検出面に対して、傾きがある場合に、傾き情報P[k]の値を画素値として、傾き情報P[k]をグレースケール画像として示すと図６に示すようになる。図６の傾き情報P[k]は、上部が白色（すなわち画素値が大きく）になっており、下部に行くにしたがって黒く（すなわち画素値が小さく）なっている。
【００３８】
例えば、指が指紋センサ２０１の検出面に対して、平行である場合に、傾き情報P[k]の値を画素値として、傾き情報P[k]をグレースケール画像として示すと図７に示すようなる。図７の傾き情報P[k]は、全ての画素値がほぼ一様になっている。
【００３９】
ステップＳ５０４において、傾き推定部１１１は、傾きが閾値th1より大きいか判定する。傾きが閾値th1より大きい場合、制御はステップＳ５０５に進み、傾きが閾値th1より大きくない場合、制御はステップＳ５０６に進む。ここで、傾きは傾き情報P[k]の値の分散とする。
【００４０】
ステップＳ５０５において、通知部１８１は、不適切な入力である旨を通知する。例えば、通知部１８１は、表示装置４０１に不適切な入力である旨を表示する。
【００４１】
ステップＳ５０６において、傾き補正部１２１は、指紋画像I[k]の傾きを補正し、傾きを補正した指紋画像I’[k]を生成する。詳細には、傾き補正部１２１は、傾きを補正した指紋画像I’[k]をI’[k]＝I[k]+ηP[k]により算出する。ηは、適当な正の係数である。すなわち、傾きを補正した指紋画像I’[k]の各画素の画素値は、指紋画像I[k]の各画素の画素値に傾き情報P[k]の各座標に対応する値に係数ηを乗算した値を加算することで算出される。
【００４２】
上述のように、例えば、指が指紋センサ２０１の検出面に対して傾いている場合には、指先には大きな圧力がかかり、指の第１関節付近には小さな圧力がかかる。その場合、指紋画像I[k]の指先付近に対応する領域において隆線を示す黒色はさらに強くなり、指の第１関節付近に対応する領域において、指先付近に対応する領域に比べて隆線を示す黒色は弱く（すなわち、灰色）なる。
【００４３】
例えば、指先には大きな圧力がかかり、指の第１関節付近には小さな圧力がかかっており、図３の指紋画像I[k]において、上部が指先付近に対応する領域であり、下部が指の第１関節付近に対応する領域とすると、指紋画像I[k]の上部の隆線を示す黒色はさらに強くなっている（すなわち、画素値が小さくなる）。また、指紋画像I[k]の下部の隆線を示す黒色は指先付近に対応する領域に比べて弱く（すなわち、灰色）なっている。
【００４４】
このような指紋画像I[k]に対し、ステップＳ５０３の処理により、指紋画像I[k]の各ブロックの画素の画素値の平均値を平面でフィッティングし、算出した平面を示す傾き情報p[k]を生成する。生成した傾き情報p[k]を上述のように正規化して傾き情報P[k]を生成する。傾き情報P[k]の値を画素値として、傾き情報P[k]をグレースケール画像として示すと図６に示すようになり、上部が白色（すなわち画素値が大きく）になり、下部に行くにしたがって黒く（すなわち画素値が小さく）なる。
【００４５】
ステップＳ５０６の処理により、指紋画像I[k]と傾き情報P[k]とを加算すると、指紋画像I[k]の上部の各画素の画素値には、大きな値が加算され、下部の各画素の画素値には、上部に比べて小さな値が加算される。これにより、補正された指紋画像I’[k]において、隆線を示す画素の画素値は、指紋画像I’[k]の上部と下部で近い値となる。よって、補正された指紋画像I’[k]は、指が検出面に対して傾いていない場合の指紋画像I[k]と同じような画像となる。
【００４６】
ステップＳ５０７において、傾き補正部１２１は、ｋが０であるか判定する。ｋが０である場合、制御はステップＳ５０８に進み、ｋが０でない場合、制御はステップＳ５０９に進む。
ステップＳ５０８において、指紋センサ２０１は、変数ｋを１加算する。
【００４７】
ステップＳ５０９において、傾き補正部１２１は、指紋の読み取りが完了したか判定する。例えば、傾き補正部１２１は、指紋画像I[k]において、指紋の領域が所定の大きさより大きければ、指紋の読み取りが完了したと判定する。また、傾き補正部１２１は、指紋画像I[k]において、指紋の領域が所定の大きさ以下であれば、指紋の読み取りが完了していないと判定する。指紋の読み取りが完了した場合、制御はステップＳ５１０に進み、指紋の読み取りが完了していない場合、制御はステップＳ５０２に戻る。
【００４８】
ステップＳ５１０において、歪み推定部１３１は、指紋の入力時の動作に起因する指紋画像I[k]の指紋の歪みを推定する。詳細には、歪み推定部１３１は、指紋画像I[k]と指紋画像I[k-1]を用いて、歪みを推定する。
【００４９】
図８は、歪み推定部の処理を説明する図である。
歪み推定部１３１は、指紋画像I[k]を所定のサイズ（例えば、縦s画素、横s画素）で複数のブロックに分割する。
【００５０】
例えば、図８において、指紋画像I[k]の複数のブロックのうち、中心座標がｏ（ｘｏ，ｙｏ）であるブロックｂの位置ずれ量を算出する場合を説明する。歪み推定部１３１は、指紋画像I[k-1]の座標ｏ（ｘｏ，ｙｏ）を中心とする縦がαｓ画素（例えば、αは１より大きい実数）、横がαｓ画素の領域を探索領域Ｓとして設定する。
【００５１】
歪み推定部１３１は、ブロックｂと探索領域Ｓとで画像マッチングを行い、探索領域Ｓ内で最もマッチングが取れる（すなわち、ブロックｂと最も類似する）領域（以下、マッチング領域と称する）を算出する。歪み推定部１３１は、探索領域Ｓの中心座標ｏ（ｘｏ，ｙｏ）（すなわち、ブロックｂの中心座標ｏ（ｘｏ，ｙｏ））とマッチング領域の中心座標ｍ（ｘｍ、ｙｍ）との位置ずれ量を算出する。位置ずれ量は、中心座標ｏ（ｘｏ，ｙｏ）から中心座標ｍ（ｘｍ、ｙｍ）への方向、および中心座標ｏ（ｘｏ，ｙｏ）と中心座標ｍ（ｘｍ、ｙｍ）間の距離を含む。
【００５２】
尚、マッチングの方法は、例えば、Normalized Cross Correlationや位相限定相関法等を用いることができる。
【００５３】
歪み推定部１３１は、算出した位置ずれ量に対してThin Plate Spline（ＴＰＳ）を適用してノイズを削除し、歪みを示すＴＰＳモデルを作成する。
【００５４】
ステップＳ５１１において、歪み推定部１３１は、歪みが閾値th2より大きいか判定する。歪みが閾値th2より大きい場合、制御はステップＳ５０５に進み、歪みが閾値th2より大きくない場合、制御はステップＳ５１２に進む。ここで、歪みは、ステップＳ５１０で算出された各ブロックの位置ずれ量の絶対値の平均値とする。
【００５５】
ステップＳ５１２において、歪み補正部１４１は、ステップＳ５１０で作成されたＴＰＳモデルを用いて、傾きを補正した指紋画像I’[k]の歪みを補正し、傾きおよび歪みが補正された指紋画像I’’[k]を生成する。
【００５６】
ステップＳ５１３において、復元部５１３は、傾きおよび歪みが補正された指紋画像I’’[k]から指の三次元形状を示す三次元情報を生成する。詳細には、復元部５１３は、傾きおよび歪みが補正された指紋画像I’’[k]の画素の画素値を深さ情報として使用することで三次元情報を生成する。
【００５７】
図９は、実施の形態に係る生体情報の入力・復元処理を示す図である。
指紋センサ２０１は、指紋画像I[0]を取得し、傾き補正部１２１は、指紋画像I[0]の傾きを補正した指紋画像I’[0]を生成する。
【００５８】
指紋センサ２０１は、指紋画像I[0]の取得より後に指紋画像I[1]の取得を取得し、傾き補正部１２１は、指紋画像I[1]の傾きを補正した指紋画像I’[1]を生成する。
【００５９】
歪み推定部１３１は、指紋画像I[0]と指紋画像I[1]から歪みを推定し、歪み補正部１４１は、傾きを補正した指紋画像I’[1]を補正して、傾きおよび歪みを補正した指紋画像I’’[1]を生成する。
【００６０】
復元部５１３は、傾きおよび歪みが補正された指紋画像I’’[1]から指の三次元形状を示す三次元情報を生成する。
【００６１】
尚、上述の説明では、指紋画像I[0]、I[1]から指の三次元形状を示す三次元情報を作成していたが、これに限らず、例えば、指紋センサ２０１がさらに指紋画像I[2]、I[3]、...、I[j]を取得し、最初に取得された指紋画像I[0]と最後に取得された指紋画像I[j]から指の三次元形状を示す三次元情報を作成してもよい。
【００６２】
すなわち、取得した複数の指紋画像のうちのいずれか２枚を用いて傾きと歪みを推定し、２枚の指紋画像うちの後に取得された指紋画像の傾きと歪みを補正して、指の三次元形状を示す三次元情報を作成してもよい。
【００６３】
図１０は、実施の形態に係る登録処理のフローチャートである。
ステップＳ６０１において、入力装置３０１は、ユーザにより入力された利用者ＩＤを取得する。例えば、入力装置３０１がキーボードまたはタッチパネルである場合、入力装置３０１は、キーボードまたはタッチパネルを用いて利用者により入力された利用者ＩＤを取得する。また、入力装置３０１が磁気カードリーダまたはＩＣカードリーダである場合、入力装置３０１は、磁気カードまたはＩＣカードを読み取り、磁気カードまたはＩＣカードに含まれる利用者ＩＤを取得する。
【００６４】
ステップＳ６０２において、生体画像処理装置１０１は、生体情報の入力・復元処理を行う。尚、生体情報の入力・復元処理の詳細は、図２で述べた通りである。生体情報の入力・復元処理により、指の三次元形状を示す三次元情報が生成される。
【００６５】
ステップＳ６０３において、登録部１６１は、指の三次元形状を示す三次元情報から特徴量を検出する。特徴量は、指紋の特徴点（中心点、分岐点、端点、または三角州）の位置を示す複数の位置情報を含み、各位置情報は３つの要素（x,y,z）を含む。すなわち、特徴点の位置は、ｘ（横）方向の位置ｘ、ｙ（縦）方向の位置ｙだけでなくｚ（深さ）方向を示すｚにより示される。
【００６６】
ステップＳ６０４において、登録部１６１は、利用者ＩＤと特徴量とを対応付けてＤＢ１９２に記録する。
【００６７】
図１１は、実施の形態に係る照合処理のフローチャートである。
ステップＳ７０１において、入力装置３０１は、ユーザにより入力された利用者ＩＤを取得する。例えば、入力装置３０１がキーボードまたはタッチパネルである場合、入力装置３０１は、キーボードまたはタッチパネルを用いて利用者により入力された利用者ＩＤを取得する。また、入力装置３０１が磁気カードリーダまたはＩＣカードリーダである場合、入力装置３０１は、磁気カードまたはＩＣカードを読み取り、磁気カードまたはＩＣカードに含まれる利用者ＩＤを取得する。
【００６８】
ステップＳ７０２において、生体画像処理装置１０１は、生体情報の入力・復元処理を行う。尚、生体情報の入力・復元処理の詳細は、図２で述べた通りである。
【００６９】
ステップＳ７０３において、照合部１７１は、指の三次元形状を示す三次元情報から特徴量を検出する。特徴量は、指紋の特徴点（中心点、分岐点、端点、または三角州）の位置を示す複数の位置情報を含み、各位置情報は３つの要素（x,y,z）を含む。すなわち、特徴点の位置は、ｘ（横）方向の位置ｘ、ｙ（縦）方向の位置ｙだけでなくｚ（深さ）方向を示すｚにより示される。
【００７０】
ステップＳ７０４において、照合部１７１は、ステップＳ７０１で取得した利用者ＩＤに対応付けられた特徴量をＤＢ１９２から読み出す。
【００７１】
ステップＳ７０５において、照合部１７１は、ステップＳ７０３で検出した特徴量とステップＳ７０４でＤＢ１９２から読み出した特徴量から、２つの特徴量の類似度を示す比較スコアを算出する。２つの特徴量が類似しているほど、比較スコアは大きくなる。
【００７２】
ステップＳ７０６において、照合部１７１は、比較スコアが閾値Ｔｈより大きいか判定する。比較スコアが閾値Ｔｈより大きい場合、制御はステップＳ７０７に進み。比較スコアが閾値Ｔｈより大きくない場合、制御はステップＳ７０８に進む。
【００７３】
ステップＳ７０７において、通知部１８１は、認証成功を通知する。例えば、通知部１８１は、表示装置４０１に認証が成功した旨を表示する。そして、生体画像処理装置１０１は、認証成功に応じた処理（例えば、ドアのロック解除やスマートフォンのロック解除等）を実行する。
【００７４】
ステップＳ７０８において、通知部１８１は、認証失敗を通知する。例えば、通知部１８１は、表示装置４０１に認証が失敗した旨とユーザへ再度正しく入力する指示を表示する。
【００７５】
実施の形態に係る生体画像処理装置によれば、指紋画像を補正して指の三次元形状を作成して指紋認証を行うことにより、指紋認証における認証精度を向上させることができる。
【００７６】
実施の形態に係る生体画像処理装置によれば、指紋画像の歪み具合を予め推定するためのモデルデータが必要でなく、新規な指紋画像に対して歪みの推定および補正することができる。
【００７７】
実施の形態に係る生体画像処理装置によれば、指紋センサが取得した指紋画像から傾きや歪みを推定するため、指紋センサ以外の傾きや歪みの推定に用いる情報を取得するためのデバイスをさらに具備する必要がないので、小型化できる。
【００７８】
実施の形態に係る生体画像処理装置によれば、傾きや歪みの推定に用いる情報を取得するための追加の操作を利用者に要求する必要がなく、認証操作の使い勝手が劣化しない。
【００７９】
図１２は、情報処理装置（コンピュータ）の構成図である。
実施の形態の生体画像処理装置１０１は、例えば、図１２に示すような情報処理装置（コンピュータ）１によって実現可能である。
【００８０】
情報処理装置１は、ＣＰＵ２、メモリ３、入力装置４、出力装置５、記憶部６、記録媒体駆動部７、及びネットワーク接続装置８を備え、それらはバス９により互いに接続されている。
【００８１】
ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置である。ＣＰＵ２は、傾き推定部１１１、傾き補正部１２１、歪み推定部１３１、歪み補正部１４１、復元部１５１、登録部１６１、照合部１７１、および通知部１８１として動作する。
【００８２】
メモリ３は、プログラム実行の際に、記憶部６（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ＲＯＭ)やRandom Access Memory(ＲＡＭ)等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。
【００８３】
この場合、可搬記録媒体１０等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
【００８４】
入力装置４は、ユーザ又はオペレータからの指示や情報の入力、情報処理装置１で用いられるデータの取得等に用いられる。入力装置４は、例えば、キーボード、マウス、タッチパネル、カメラ、磁気カードリーダ、ＩＣカードリーダ、または指紋センサ等である。入力装置４は、指紋センサ２０１および入力装置３０１に対応する。
【００８５】
出力装置５は、ユーザ又はオペレータへの問い合わせや処理結果を出力したり、ＣＰＵ２による制御により動作する装置である。出力装置５は、例えば、ディスプレイ、またはプリンタ等である。出力装置５は、表示装置４０１に対応する。
【００８６】
記憶部６は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置１は、記憶部６に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３に読み出して使用する。メモリ３および記憶部６は、記憶部１９１に対応する。
【００８７】
記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ−ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３に読み出して使用する。
【００８８】
ネットワーク接続装置８は、Local Area Network（ＬＡＮ）やWide Area Network（ＷＡＮ）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インターフェースである。ネットワーク接続装置８は、通信ネットワークを介して接続された装置へデータの送信または通信ネットワークを介して接続された装置からデータを受信する。
【００８９】
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
検出面に置かれた指から第１の指紋画像を取得し、前記第１の指紋画像の取得より後に第２の指紋画像を取得する指紋センサと、
前記第２の指紋画像に基づいて、前記検出面に対する前記指の傾きを推定する傾き推定部と、
前記第１の指紋画像と前記第２の指紋画像に基づいて、指紋の歪みを推定する歪み推定部と、
前記傾きおよび前記歪みに基づいて、前記第２の指紋画像を補正する補正部と、
前記補正された第２の指紋画像に基づいて、前記指の三次元形状を示す三次元情報を生成する復元部と、
を有することを特徴とする生体画像処理装置。
（付記２）
前記傾き推定部は、前記第２の指紋画像を複数の領域に分割し、前記複数の領域それぞれの画素の画素値の平均値を算出し、前記平均値に基づいて、前記傾きを示す傾き情報を算出することを特徴とする付記１記載の生体画像処理装置。
（付記３）
前記歪み推定部は、前記第２の指紋画像を複数の領域に分割し、前記複数の領域のうちの第１の領域の位置と前記第１の領域と最も類似する前記第２の指紋画像内の第２の領域の位置との差を算出することを特徴とする付記１または２記載の生体画像処理装置。
（付記４）
生体画像処理装置が
検出面に置かれた指から第１の指紋画像を取得し、
前記第１の指紋画像の取得より後に第２の指紋画像を取得し、
前記第２の指紋画像に基づいて、前記検出面に対する前記指の傾きを推定し、
前記第１の指紋画像と前記第２の指紋画像に基づいて、指紋の歪みを推定し、
前記傾きおよび前記歪みに基づいて、前記第２の指紋画像を補正し、
前記補正された第２の指紋画像に基づいて、前記指の三次元形状を示す三次元情報を生成する
処理を有する生体画像処理方法。
（付記５）
前記傾きを推定する処理は、前記第２の指紋画像を複数の領域に分割し、前記複数の領域それぞれの画素の画素値の平均値を算出し、前記平均値に基づいて、前記傾きを示す傾き情報を算出することを特徴とする付記４記載の生体画像処理方法。
（付記６）
前記歪みを推定する処理は、前記第２の指紋画像を複数の領域に分割し、前記複数の領域のうちの第１の領域の位置と前記第１の領域と最も類似する前記第２の指紋画像内の第２の領域の位置との差を算出することを特徴とする付記４または５記載の生体画像処理方法。
（付記７）
検出面に置かれた指から第１の指紋画像を取得し、
前記第１の指紋画像の取得より後に第２の指紋画像を取得し、
前記第２の指紋画像に基づいて、前記検出面に対する前記指の傾きを推定し、
前記第１の指紋画像と前記第２の指紋画像に基づいて、指紋の歪みを推定し、
前記傾きおよび前記歪みに基づいて、前記第２の指紋画像を補正し、
前記補正された第２の指紋画像に基づいて、前記指の三次元形状を示す三次元情報を生成する
処理をコンピュータに実行させる生体画像処理プログラム。
（付記８）
前記傾きを推定する処理は、前記第２の指紋画像を複数の領域に分割し、前記複数の領域それぞれの画素の画素値の平均値を算出し、前記平均値に基づいて、前記傾きを示す傾き情報を算出することを特徴とする付記７記載の生体画像処理プログラム。
（付記９）
前記歪みを推定する処理は、前記第２の指紋画像を複数の領域に分割し、前記複数の領域のうちの第１の領域の位置と前記第１の領域と最も類似する前記第２の指紋画像内の第２の領域の位置との差を算出することを特徴とする付記７または８記載の生体画像処理プログラム。
【符号の説明】
【００９０】
１０１    生体画像処理装置
２０１    指紋センサ
３０１    入力装置
４０１    表示装置
１１１    傾き推定部
１２１    傾き補正部
１３１    歪み推定部
１４１    歪み補正部
１５１    復元部
１６１    登録部
１７１    照合部
１８１    通知部
１９１    記憶部
１９２    データベース
【図１】
2018049391.tif 000003
【図２】
2018049391.tif 000004
【図３】
2018049391.tif 000005
【図４】
2018049391.tif 000006
【図５】
2018049391.tif 000007
【図６】
2018049391.tif 000008
【図７】
2018049391.tif 000009
【図８】
2018049391.tif 000010
【図９】
2018049391.tif 000011
【図１０】
2018049391.tif 000012
【図１１】
2018049391.tif 000013
【図１２】
2018049391.tif 000014
【手続補正書】
【提出日】平成29年9月20日(2017.9.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
ステップＳ５１３において、復元部１５１は、傾きおよび歪みが補正された指紋画像I’’[k]から指の三次元形状を示す三次元情報を生成する。詳細には、復元部５１３は、傾きおよび歪みが補正された指紋画像I’’[k]の画素の画素値を深さ情報として使用することで三次元情報を生成する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
指紋センサ２０１は、指紋画像I[0]の取得より後に指紋画像I[1]を取得し、傾き補正部１２１は、指紋画像I[1]の傾きを補正した指紋画像I’[1]を生成する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
復元部１５１は、傾きおよび歪みが補正された指紋画像I’’[1]から指の三次元形状を示す三次元情報を生成する。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2018049391.tif 000015
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2018049391.tif 000016
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2018049391.tif 000017