(57)【要約】【課題】装置を小型化させつつ、生体情報を正確に取得し認証精度を向上させる。【解決手段】指が設置される設置領域と、前記設置領域に提示された指に光を照射する光源と、前記指を透過した前記光源からの光を撮影する撮像部と、前記提示領域に設置された指からの圧力を検知する検知部と、前記撮像部によって撮像された画像を処理する画像処理部と、を備え、前記画像処理部は、前記画像に含まれる、前記指からの圧力が所定の圧力値以上となる第１の圧迫領域の位置を取得し、予め記憶された複数の登録画像の夫々に含まれる登録圧迫領域の位置と、前記第１の圧迫領域の位置との類似度を算出し、前記算出された類似度に基づいて、前記複数の登録画像のうち、前記画像と照合を行う登録画像を選択することを特徴とする血管画像取得装置を提供する。【選択図】図１
2015026228.tif 000002
【特許請求の範囲】
【請求項１】
指が設置される設置領域と、
前記設置領域に提示された指に光を照射する光源と、
前記指を透過した前記光源からの光を撮影する撮像部と、
前記提示領域に設置された指からの圧力を検知する圧力検知部と、
前記撮像部によって撮像された画像を処理する画像処理部と、
を備え、
前記画像処理部は、
前記画像に含まれる、前記指からの圧力が所定の圧力値以上となる圧迫領域の位置を取得し、
予め記憶された複数の登録画像の夫々に含まれる登録圧迫領域の位置と、前記圧迫領域の位置との類似度を算出し、
前記算出された類似度に基づいて、前記複数の登録画像のうち、前記画像と照合を行う登録画像を選択することを特徴とする血管画像取得装置。
【請求項２】
前記画像処理部は、
前記画像に含まれる前記指の輪郭を抽出し、
前記輪郭の基準点から前記圧迫領域までの圧力ベクトル値を算出し、
前記圧力ベクトル値を、前記圧迫領域の位置として取得し、
前記複数の登録画像の夫々に含まれる、輪郭の基準点から圧迫領域までの登録圧力ベクトル値を、前記登録圧迫領域の位置として取得することを特徴とする請求項１記載の血管画像取得装置。
【請求項３】
少なくとも４つの前記圧力検知部を有し、
前記４つの圧力検知部は、前記設置領域の中心に対して四方に夫々配置され、
前記圧迫領域の位置は、少なくとも前記４つの圧力検知部によって検知された夫々の圧力値に基づいて算出されることを特徴とする請求項１記載の血管画像取得装置。
【請求項４】
前記撮像部は、筐体内の底部に配置され、
前記少なくとも４つの圧力検知部は、前記底部に配置されることを特徴とする請求項４記載の血管画像取得装置。
【請求項５】
前記光源は、
第１波長の光と、前記第１波長と波長の異なる第２波長の光とを夫々照射し、
前記撮像部は、
前記第１波長の光から第１画像を撮影し、前記第２波長の光から第２画像を撮影し、
前記画像処理部は、
前記第１画像の輝度値と前記第２画像の輝度値を比較して、前記血管画像における前記血管領域の情報を分離し、
前記血管領域の情報を用いて、前記第１画像から前記血管領域の情報が除去された血管除去画像を作成し、
前記血管除去画像に含まれるノイズ情報を抽出し、
前記ノイズ情報を用いて、前記第１画像から前記ノイズ情報を除去して認証用血管画像を取得することを特徴とする請求項１記載の血管画像取得装置。
【請求項６】
前記認証用血管画像及び前記ノイズ情報と、予め登録された登録データとの照合を行うことを特徴とする請求項５記載の血管画像取得装置。
【請求項７】
前記第２波長の光は、前記第１波長の光よりも血液による光の吸収率が小さい光であって、
前記画像処理部は、
前記第認証用血管画像と前記第２画像とを比較して、前記認証用血管画像に含まれる血管パターンの三次元方向の形状を算出することを特徴とする請求項５記載の血管画像取得装置。
【請求項８】
前記複数の登録画像は、夫々の登録画像と対応する登録圧力値と共に予め記憶されており、
前記画像処理部は、
前記複数の登録圧力値のうち、前記圧力検知部によって検知された圧力値と対応する登録圧力値を検出し、
前記検出された登録圧力値と対応する登録画像に含まれる前記圧迫領域の位置と、前記圧迫領域の位置との類似度を算出することを特徴とする請求項１記載の血管画像取得装置。
【請求項９】
前記光源は、
第１波長の光を照射する複数の第１光源及び、前記第１波長と波長の異なる第２波長の光を照射する複数の第２光源であって、
前記複数の第１光源及び前記複数の第２光源は、前記設置領域の周囲に円状に配置されることを特徴とする請求項１記載の血管画像取得装置。
【請求項１０】
前記複数の第１光源及び前記複数の第２光源は、交互に配置されることを特徴とする請求項９記載の血管画像取得装置。
【請求項１１】
端末を操作する操作部と、
前記操作部に配置される、第１波長の光を照射する複数の第１光源及び、前記第１波長と波長の異なる第２波長の光を照射する複数の第２光源と、
前記指を透過した前記光源からの光を撮影する撮像部と、
前記操作部に設置された指からの圧力を検知する検知部と、
前記撮像部によって撮像された画像を処理する画像処理部と、
を備え、
前記画像処理部は、
前記画像に含まれる、前記指からの圧力が所定の圧力値以上となる圧迫領域の位置を取得し、
予め記憶された複数の登録画像の夫々に含まれる登録圧迫領域の位置と、前記圧迫領域の位置との類似度を算出し、
前記算出された類似度に基づいて、前記複数の登録画像のうち、前記画像と照合を行う登録画像を選択することを特徴とする端末。
【請求項１２】
前記複数の第１光源及び前記複数の第２光源は、前記操作部に交互に、かつ円状に配置されることを特徴とする請求項１１記載の端末。
【請求項１３】
前記照合結果に基づいて、個人の認証を実行することを特徴とする請求項１１記載の端末。
【請求項１４】
前記画像処理部は、
前記圧迫領域の形状と、前記登録圧迫領域の形状との類似度を算出することを特徴とする請求項１記載の血管画像取得装置。
【請求項１５】
前記画像に含まれる血管パターンと、前記選択された登録画像に含まれる血管パターンとを照合し、個人の認証を実行することを特徴とする請求項１記載の血管画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体を用いて個人を認証する認証システムに関し、特に、小型で利便性に優れ、高精度な認証技術に関する。
【背景技術】
【０００２】
様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用するため優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。
【０００３】
近年では、携帯電話機、ノート型ＰＣ（Personal Computer）、スマートフォンやタブレット端末などの携帯端末、ロッカー、金庫、プリンターなどの機器に生体認証装置を搭載し、各機器のセキュリティを確保する事例が増加している。また、生体認証が適用される分野として、入退室管理、勤怠管理、コンピュータへのログインなどに加え、近年では決済などにも生体認証が利用されてきている。特に公共で利用される生体認証装置は、確実な個人認証を実現するだけでなく、装置のスループットを高めることも必要となる。装置のスループットは認証速度やエラーによる再試行回数だけでなく、利用者の操作時間にも影響を受ける。そのため、認証精度が高い上に、誰もが簡単に操作できる認証装置を提供することが重要となる。操作が簡単で利便性の高い認証装置である条件としては、装置の使い方が直感的に分かりやすいことや、生体を提示する際に置き方などの制約が少ないことなどがある。さらには、近年のタブレット型携帯端末の普及やウェアラブル・コンピューティングの潮流を鑑みると、上記のように利便性を担保しつつ、装置の小型化を実現することも重要な要件の一つとなる。
【０００４】
特許文献１には、利用者の利便性を高めるために装置を開放的に設計し、また指の位置がずれないように、指先と指の根元とを載置するための指置き台が設置される構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許公開２０１１−１９４２４５
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、装置の小型化が進むことで、例えば指の位置決めを行う指置き台などの構成が小型化のために除去されるため、装置に提示される指の位置が煩雑となり、撮影箇所の位置ずれが大きくなったり、撮影された画像にぼけやしわ等のノイズが多く写り込んでしまう等、認証に用いる所望の血管画像を撮影できず認証精度が低下してしまうという課題があった。
【０００７】
そこで本発明では、小型で使い勝手が良い状態にて、高精度な個人認証を実行するべく、生体を提示する際の自由度が高く保ちつつ、個人を特徴付ける情報を多分に有する生体特徴を情報を取得する血管画像取得装置を実現することを目的とする。
【課題を解決するための手段】
【０００８】
指が設置される設置領域と、前記設置領域に提示された指に光を照射する光源と、前記指を透過した前記光源からの光を撮影する撮像部と、前記提示領域に設置された指からの圧力を検知する検知部と、前記撮像部によって撮像された画像を処理する画像処理部と、を備え、前記画像処理部は、前記画像に含まれる、前記指からの圧力が所定の圧力値以上となる圧迫領域の位置を取得し、予め記憶された複数の登録画像の夫々に含まれる登録圧迫領域の位置と、前記圧迫領域の位置との類似度を算出し、前記算出された類似度に基づいて、前記複数の登録画像のうち、前記画像と照合を行う登録画像を選択することを特徴とする血管画像取得装置を提供する。
【発明の効果】
【０００９】
本発明によれば、指を用いた生体認証装置において、指の曲げや屈曲が生じにくく、かつ指の押し付けが発生しても高精度に認証を行うことができ、小型で利便性に優れた認証精度の高い認証装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態の生体認証システムの全体の構成を示す図である。
【図２】第１の実施の形態の生体認証システムの装置構成を説明する図である。
【図３】第１の実施の形態の認証処理の生体認証システムにおける一実施例を示すフローチャートである。
【図４】従来のしわ除去技術の処理概要の一実施例を説明する図である。
【図５】生体内部における光の挙動をモデル化した概念図の一例である。
【図６】第１の実施の形態の生体認証システムにおける皮膚のしわ除去の処理手順を説明する図である。
【図７】第１の実施の形態の生体認証システムにおける２波長の透過画像より血管深さを計測する際の生体内のモデルの一例である。
【図８】第１の実施の形態の生体認証システムにおける血管深さを活用することによる識別能力の向上の原理を説明する図である。
【図９】第１の実施の形態の生体認証システムにおける圧力の時間的変化と撮影終了のタイミングとの関係性を示した説明図である。
【図１０】第１の実施の形態の生体認証システムにおける圧力ベクトルの概念と算出方法の説明図である。
【図１１】第１の実施の形態の生体認証システムにおける計測した圧力と獲得した指静脈パターンとを利用した照合データの一例の説明図である。
【図１２】第１の実施の形態の生体認証システムにおける計測した圧力と獲得した指静脈パターンとを利用した照合処理の過程と結果を示す説明図である。
【図１３】第１の実施の形態の生体認証システムにおける指を取り囲むように光源を配置した実施例を示す図である。
【図１４】第１の実施の形態の生体認証システムにおける指の下方に光源を円形に配置した認証装置の一実施例を示す図である。
【図１５】第１の実施の形態の生体認証システムにおける指の下方に光源を円形に配置した認証装置において撮影した複数の画像より血管像を再構成する一実施例を示す図である。
【図１６】第１の実施の形態の生体認証システムを携帯端末に搭載した一実施例を示す図である。
【図１７】生体認証システムの装置構成を説明する図である。
【図１８】生体認証システムにおけるタッチパネルに表示された指のガイダンスの一例を示す図である。
【図１９】生体認証システムにおけるミラーに反射して映し出された利用者の指と顔の撮影状態の一例を示した図である。
【発明を実施するための形態】
【実施例１】
【００１１】
図１は、第１の実施の形態の指の血管を用いた生体認証システムの全体の構成を示す図である。尚、本発明はシステムとしてではなく、全てまたは一部の構成を筐体に搭載した装置としての構成であってもよいことは言うまでも無い。装置は、認証処理を含めた個人認証装置としても良いし、認証処理は装置外部で行い、血管画像の取得に特化した血管画像取得装置、血管画像抽出装置としてもよい。また、後述のように端末としての実施形態であってもよい。
【００１２】
実施１の形態の認証システムは、入力装置２、認証処理部１０、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８を含む。
【００１３】
入力装置２は、その筐体に設置された光源３及び筐体内部に設置された撮像装置９を含む。なお、認証処理部１０の画像処理機能の部分、又は、この画像処理機能に画像入力部１８を含めて画像処理部という場合がある。いずれにしても、認証処理部１０は画像処理機能を備える。
【００１４】
光源３は、例えば、赤外線ＬＥＤ（Light Emitting Diode）などの発光素子であり、入力装置２の上に提示された指１に赤外光を照射する。撮像装置９は、入力装置２に提示された指１の画像を撮影する。
【００１５】
画像入力部１８は、入力装置２の撮像装置９で撮影された画像を取得し、取得した画像を認証処理部１０へ入力する。
【００１６】
認証処理部１０は、中央処理部（ＣＰＵ：Central Processing Unit）１１、メモリ１２及び種々のインターフェイス（ＩＦ）１３を含む。
【００１７】
ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することによって各種処理を行う。メモリ１２は、ＣＰＵによって実行されるプログラムを記憶する。また、メモリ１２は、画像入力部１８から入力された画像を一時的に記憶する。
【００１８】
インターフェイス１３は、認証処理部１０と外部の装置とを接続する。具体的には、インターフェイス１３は、入力装置２、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８などと接続する。
【００１９】
記憶装置１４は、利用者の登録データを予め記憶している。登録データは、利用者を照合するための情報であり、例えば、指静脈パターンの画像等である。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管（指静脈）を暗い影のパターンとして撮像した画像である。
【００２０】
表示部１５は、例えば、液晶ディスプレイであり、認証処理部１０から受信した情報を表示する出力装置である。
【００２１】
入力部１６は、例えば、キーボードであり、利用者から入力された情報を認証処理部１０に送信する。スピーカ１７は、認証処理部１０から受信した情報を、音響信号（例えば、音声）で発信する出力装置である。
【００２２】
図２は、実施例１の形態の生体認証システムの入力装置の構造を説明する図である。
【００２３】
入力装置２は、指先を載置する設置領域を備える個人認証装置である。設置領域は、例えば本実施例でいえば、アクリル板２２や、アクリル板２２の周りの枠体等によって形成される、実際に指が設置される領域を指す。ただしこれはあくまでも一例であり、指が筐体と非接触である場合も含めて、撮影された指が筐体表面に提示される領域が形成されていれば良いことはいうまでもない。
【００２４】
光源３−ａ、３−ｂ、３−ｃは、指１に対して前方に設置されており、指の前方より指１に対して光を照射する。本実施例では、各光源はそれぞれ異なる波長の光を発光することができるものとする。また装置内部にはカメラ筐体支持部２１が形成されており、その上面には指先を提示するアクリル板２２が、その下方にはカメラ９が固定されている。また、カメラ筐体支持部２１の下には圧力センサ２３（２３−ａ、２３−ｂ、２３−ｃ、２３−ｄ）が配置されており、両部材はこの接点で固定され、カメラ筐体支持部２１は入力装置２と一体化している。
【００２５】
以下、上記３つの光源が異なる波長の光を照射するものとして説明するが、一つの光源から複数の異なる波長の光を照射させる構成としてもよい。
【００２６】
指１をアクリル板２２に押し付けると、カメラ筐体支持部２１がそのまま下方に押し込まれ、その圧力が圧力センサ２３に掛かり、結果として指１がアクリル板２２を押下する圧力を検知できる。
【００２７】
本実施例では４つの圧力センサ２３が、アクリル板２２等によって形成される指設置領域の中心に対して四方に具備されている。言い換えれば、指先側、指根元側、指の両側方の四方である。ただし、圧力センサ２３は４つに限られるものではなく、例えば上記のような四方ではなく八方に配置してもよい。
【００２８】
また、本発明では圧力センサとしているが、圧力を検知できる構成であればセンサに限られるものではなく、圧力検知部であればよいことは言うまでもない。
【００２９】
指がアクリル板２２を圧迫する際の、指の先端方向に対して前後左右の圧力のバランスを測定することができる。利用者が指１をアクリル板２２の上に提示すると、圧力センサ２３は指の押圧の強度に応じて電気的特性が変化し、その変化に応じて圧力信号が出力され、インターフェイス１３を介して認証処理部１０に入力される。ただし、アクリル板２２や装置筐体そのものの自重は事前のキャリブレーションにより圧力データとして考慮されないものとする。
【００３０】
なお、圧力センサ２３をアクリル板２２とカメラ筐体支持部２１との間に設置してもほぼ同等の効果が得られる。しかしながら、圧力センサは圧力によって僅かに変形を伴うことも考えられるため、この場合はカメラ９の光軸とアクリル板２２との位置関係が僅かにずれることも想定される。一方、本実施例の構成のように、筐体内の底部に圧力センサを配置することでその影響を緩和できる。さらに、カメラや光源などを制御する基板は装置下部に集約されることが多く、従って圧力センサに電気的配線を行なう際に装置下方に圧力センサが具備されていると実装が容易化できるという効果ももたらす。
【００３１】
図３は本発明の一実施例を示す処理フローである。当処理フローを用いて本実施例を詳述する。
【００３２】
初めに、圧力センサより圧力値Ｐを読み込む処理を実施する（Ｓ３０１）。また、この段階で画像は撮影されていないため、撮影枚数を示すフレーム数Ｆをゼロに初期化する処理を併せて実施する。ただし、指の圧力の強さは、例えば４つのすべての圧力センサの圧力値の総和を求めることで得る。このとき、圧力センサの出力する圧力信号が一定の閾値を越えるかどうか、もしくは他の方法により指の有無を判定する（Ｓ３０２）。もし圧力が検知できない、あるいは指が無いと判定された場合は前ステップへ戻る。もし指が検知された場合は次のステップに進んで認証処理を開始する。
【００３３】
ここで、圧力検知以外の指の有無の判定方法は、指が極めて軽く置かれて圧力センサが反応しない場合でも指検知が可能となる方法が好適である。その一例として、事前に光源３−ａ、３−ｂ、３−ｃのいずれかを点滅させながら画像を撮影し、点滅の周期に合わせて一定面積以上の輝度変化が観察されたときは指が装置に置かれたものと判断できる。
【００３４】
この方法を圧力検知の方法と併用することで、一定の圧力が掛けられたか、あるいは一定の面積以上の被写体が装置上にかざされた場合に認証が開始されるため、安定して認証処理を開始できる。また、圧力を検知する際に各圧力センサの出力値のバランスを判定し、著しく圧力に偏りがある場合は認証処理を開始せず、その旨を利用者に表示すると共に正しい位置に誘導してもよい。例えば装置手前側の圧力センサ２３−ｃのみに大きな圧力が掛けられた場合は指を前に移動するように指示する。さらには、圧力の総和がある一定以上の場合は強く押し付けすぎであると判定し、利用者に圧力を緩める旨を指示しても良い。これにより、正しい位置かつ適切な圧力の状態に指を誘導することができる。
【００３５】
指が提示されると、撮影フレーム数Ｆを一つ増やし(Ｓ３０３)、そして指に対する透過光を得るために光源３−ｃを点灯する（Ｓ３０４）。ただし、光源３−ｃは他の２つの光源の波長に比べて環境光の光スペクトル成分が最も弱い波長とすることで、後述の指輪郭検出などの処理が外光の影響に頑健になる。光源は指１の背面側に照射され、指内部で散乱し、掌側の皮膚より出力された光がカメラ９に到達する。このとき、指１が明るく光った映像が撮影されるため、指１の大まかな位置を把握することができる。なお、このとき照射する光量値は、平均的な指で平均的な輝度値が得られる値とすることができる。あるいは、ＩＤの入力を前提とした１：１認証を実施する場合は、登録時に最適光量値として決定された値を保存しておき、この光量値を照射しても良く、これにより後述の光量制御処理を行うことなく最適値に近い光量を照射できる利点がある。
【００３６】
次に、この映像に従って指の輪郭を検出する（Ｓ３０５）。透過光の照射により指１は明るく光っているため、画像に映る輪郭を検出できる。このとき、背景が明るく光っている場合もあるため、光源３−ｃを点灯しない状態で指画像を撮影し、この画像と光源３−ｃを点灯した画像との差分を取ることで、背景と指領域とをより高精度に分離することが可能となる。これにより外光の影響にロバストな指輪郭検出が可能となる。このように撮影された指画像に対して具体的な輪郭座標の獲得処理を行うが、その方法としては、一般的なエッジ強調フィルタと強調されたエッジの接続に基づく方法や、RANSAC(Random Sample Consensus)やカルマンフィルタなどの統計的手法を組み合わせる手法、グラフカットなどに基づく指領域と背景領域とのセグメンテーションなど、一般的な輪郭検出処理あるいは指領域分類処理を利用できる。なお、指輪郭のうち最も曲率の高い部分を指先位置と見なし、指先位置が観測できない場合は指の位置を置き直す旨のフィードバックを利用者に戻すことができる。指先位置は指の位置補正の基準になる部分であり、指先位置が確実に映し出されるように誘導することで後段の照合処理の位置補正精度が高まり、認証精度の向上に寄与する。
【００３７】
続いて、３波長光源の光量調整を実施する（Ｓ３０６）。上記の処理によって指輪郭を検出し、その内部領域の平均輝度が一定値になるように光量を調整する。平均輝度値が高い場合は光量値を下げ、平均輝度値が低い場合は光量値を上げるようにフィードバック制御を行なうが、どの程度光量値を変化させるかは、事前に光量値と平均輝度値との間の関係を定式化しておき、ターゲットとなる平均輝度値が得られる光量値を照射するように制御すると高速に収束させることが可能となる。ここで、光量調整は光源の波長ごとに独立して光量制御を行う。このとき、波長ごとに画像の明るさは変化するため、改めて光量値をフィードバック制御しても良いが、波長ごとのカメラ感度と設定光量値に対する輝度値との関係が事前に分かっていれば、ある波長の適正な光量値が分かれば他の波長の光量値も推測可能である。このキャリブレーションを実施することで、調整のためのフィードバック制御が不要となり、撮影が高速化される。これを３波長の光源に対して実施し、３枚の透過画像を獲得する。
【００３８】
そして、現在取得した画像に対応する指先の圧力を測定するため、現時点での各圧力センサの値を読み取る（Ｓ３０７）。これにより、どの程度の押し付けがなされた状態で撮影された画像であるかを把握できる。
【００３９】
次に、得られた画像を用いて特徴抽出処理を実施する（Ｓ３０８）。この処理は、指輪郭に基づく指の位置・回転補正処理、しわ除去処理、ぼけ除去処理、血管パターン検出処理、血管深さ検出処理、を含む。位置補正は、指輪郭の指先の位置を一定の画像位置に平行移動し、かつ、指の長手方向を指輪郭より求め、これが画像の左右方向に平行するように回転させる。これにより、指の概ねの位置と平面的な回転が正規化される。続いて、３波長の透過画像を用いて、指表面のしわと体内の血管像との分離処理、光拡散に伴う血管像のぼけ除去処理、そして血管の深さ計測処理を実施する。これにより鮮明かつ豊富な血管構造情報を獲得できる。これらの処理の詳細は後述する。そして、上述の血管像の処理結果より血管パターンを抽出する。抽出方法はガボールフィルタなどの強調処理や輝度断面プロファイルの曲率計算による血管中心検出、統計的な線情報の接続処理など、一般的な特徴抽出処理が利用できる。また血管抽出処理の前処理として、各波長画像での血管の見え方の違いを利用して、画像の差分を求めることで血管パターンを強調しても良い。ただし血管像のぼけ除去処理がこの処理と同等の効果を生じることから、画像の差分計算は任意とできる。
【００４０】
続いて圧力ベクトルＰ'を獲得する（Ｓ３０９）。圧力ベクトルは圧力センサの具体値と指の輪郭位置との関係等を用いて計算される正規化された圧力情報であり、計算方法の一実施例は後述する。
【００４１】
そして、この圧力ベクトルＰ'と類似する圧力ベクトルを有する登録データをデータベースより抽出し、入力パターンとの照合を行って入力データとの類似性を判定する（Ｓ３１０）。パターンの類似性判定は、テンプレートマッチングやマニューシャマッチング、線の方向成分に基づくベクトルマッチングや局所輝度情報量であるSIFT(Scale-invariant feature transform)やHOG(Histograms of Oriented Gradients)、LBP(Local binary pattern)などを用いて類似性を判定する一般的な手法を利用できる。
【００４２】
このように圧力ベクトルの類似性を用いて、血管パターンの類似性を判定する登録データの候補を絞る込むことで、１：Ｎ認証において高速な認証処理を行うことが可能となる。また詳細は後述するが、圧力ベクトルは人の癖等に大きく起因する、血管画像内の圧迫領域を基に作成される情報であるため、撮影された画像の質が悪い場合等であっても、認証精度を向上させるための有効な情報となる。
【００４３】
次に、前ステップの結果により両パターンに統計的な類似性があると認められるかどうかを判定し（Ｓ３１１）、類似性があると判定されれば該当する登録者の指であるとみなし、認証成功（Ｓ３１８）として認証を終了する。
【００４４】
パターンが一致しない場合は、現在のパターンと過去に撮影されたパターンとの差分画像をすべての組み合わせにおいて生成し(Ｓ３１２)、過去と現在の圧力ベクトルの組み合わせにおいて類似するすべての登録データとの差分画像同士の照合を同様に実施する(Ｓ３１３)。ここで改めて両パターンの類似性を判定し（Ｓ３１４）、一致すれば認証成功となり（Ｓ３１８）認証を終了する。もし認証に失敗すれば、後述の撮影停止条件の判定処理を実施し（Ｓ３１５）、停止条件を満たすかどうかの判定を行なう（Ｓ３１６）。もし停止条件を満たさなければ改めて撮影処理（Ｓ３０３）に戻り、停止条件を満たす場合は認証失敗（Ｓ３１７）として認証システムは入力指を棄却する。
【００４５】
ここで、ステップＳ３１５に示した指の撮影の停止条件について述べる。ここでは、少なくとも所定のフレーム数以上の指画像を獲得するまでは停止しないこと、指そのものが十分に静止するまでは停止しないこと、圧力値が一定時間安定した場合は停止すること、タイムアウトに達した場合は停止すること、の４つの条件を考慮して判定する。
【００４６】
まず、所定のフレーム数以上の指画像を獲得する条件を付与することで、獲得する連続フレームにバリエーションを持たせることができ、認証精度を向上させることが可能となる。次に、指の静止を判定する条件を付与することで、現在の指位置に最適な光源からの照射を保証することができる。ただし、本実施例では指輪郭を検知するため、画像処理によって指の位置ずれを補正し、指の位置を例えば画像中央に移動するなどの正規化を実施することができる。そのため、明らかに光源の光が当たる位置に指があり、かつ指の位置補正を行った結果で大きなずれが無い場合は指は静止していると判定してもよい。このような補正後の位置ずれ量を判定することで、実際は指が移動していても多彩なバリエーションの画像の獲得は見込めないことが分かり、認証を早々に終了できる効果がある。次に、指の押し付けの圧力が安定化したら停止するという条件は、押し付けた際の指静脈画像の変動が生じている間は指画像の変動と圧力の変動との多彩な相関が獲得できるが、一定値に安定化しても認証できる見込みが無い場合は早々に棄却する方が装置のスループット維持に寄与できる。また、タイムアウトに達している場合は、仮に撮影条件が十分揃っていない場合でも撮影を停止することで、レスポンスの最大時間を一定化し、一定以上の認証のスループットを保証できる。これらの停止条件を満たさない場合は連続的に再試行を実施し、停止条件を満たした場合は認証失敗となる。
【００４７】
ここで、上述した処理フローのうち、３波長光源により獲得した透過画像より血管像の構造を精緻に獲得する処理の一実施例について詳述する。尚、以降の説明中、しわやぼけ等を総称してノイズと称する場合がある。
【００４８】
血液や皮膚における光の吸収係数や散乱係数は波長によって非線形的に異なることが知られている。そこで本実施例では、異なる３つの波長の透過画像を時分割的に撮影し、これらの３枚の画像を用いて画像に映り込む指の皮膚のしわ情報を除去すると共に、血管像のぼけを緩和する。ここで、血液での吸収率が高い波長をλ0、同等の吸収率を持つ波長をλ2、そして両波長に比べて血液吸収率が低い波長をλ1、とする。さらには、波長λ0における皮膚の拡散係数が波長λ2における皮膚の拡散係数に対して2倍大きいものとする。本実施例では、これらの条件を満たす波長として、λ0を660nm、λ1を690nm、λ2を870nmと設定している。なお、これらの条件を満たす波長であれば具体的な波長はこの組み合わせに限らない。
【００４９】
本実施例の説明に先立ち、一般的な従来のしわ除去技術の概要を図４Ａと図４Ｂとを用いて説明する。従来技術は、単一波長により撮影された観測画像の画像特徴のみに基づいてしわと血管とを分離する方式が基本となる。高周波成分の除去手法には、特定の空間周波数をフィルタリングする手法やTop-hat変換、あるいは独立成分分析などの方式がある。本実施例では最も代表的な方式としてTop-hat変換による高周波成分の除去を行なうものとする。すなわち、画像の断面輝度曲線内で除去したいノイズ成分に応じて構造化要素４１と呼ばれる関数を定義し、これを曲線上を滑らせた際の軌跡と元の曲線との差分をしわ成分４３として取り出す。この様子を図４Ａに示す。この例では、下側に窪んだ輝度がすべてしわの陰影４２であるものとし、これらのしわ成分４３が検出された後に元の信号成分から減算することで、しわパターンの陰影を除去している。
【００５０】
ノイズとして除去したい輝度成分を調整するためには、構造化要素４１の長さを調整すれば良い。一般的に皮膚のしわは血管幅よりも狭いことが多いため、従来手法ではこの調整を経験的に行ない、可能な範囲でしわ成分を除去していた。しかしながら、図４Ｂに示すように、画像中にはしわの陰影４２のみならず血管の陰影４４も含まれ、その陰影の幅や明度からは血管の陰影４４であるか皮膚のしわの陰影４２であるかを判別することができない場合も多く存在する。この場合、従来手法を適用すると図４Ｂに示されるように血管の陰影４４を誤って除去することに繋がるほか、鮮明な血管の陰影４４のコントラスト（Ｓ／Ｎ）を低下させてしまうという問題も発生する。これにより、個人識別に有効となる指静脈パターンの欠損が生じ、認証精度が劣化する可能性が高まるという課題があった。
【００５１】
そこで本実施例では、２波長光源を用いた血管像の精緻撮影技術として、血管像に重畳される表皮像成分の除去手法を適用する。なお、本実施例では波長λ0とλ1の２波長を用いて波長λ0のしわを、そして波長λ1とλ2の２波長を用いて波長λ2のしわを除去するものとする。
【００５２】
図５は、生体内部における光の挙動をモデル化した概念図の一例である。波長λjの照射光Ijが指の背面に照射されると、その光は生体内部を散乱しながら図の下方に進み、掌側の皮膚の近辺に分布する血管５１（掌側付近の指静脈）の上部に到達する。血管５１は真皮５２から成る層に埋められており、ここを血管層とする。ただし、生体は強散乱体であるとし、血管層上部の光分布sjは一様に分布しているものとする。この光分布sjは血管内に存在する血液のヘモグロビンによって減衰し、血管下部へ到達して光分布fjを形成する。光分布fjは内部光sjがLambert-beer則に従って血液で減衰したものであり、以下のように記述できる。
【００５３】
fj = sj exp{ -μbjVbTb - μdj(1-Vb)Tb }  ・・・・・・・・（1）
ここで、μbj、μdjはそれぞれ波長λjでの血液と皮膚における消滅係数（吸収係数と散乱係数の和）、Tbは血管層の厚さ、Vbは厚さTbの範囲で血管が真皮に占める体積比であり、0≦Vb≦1となる。また画像は２次元画像を取り扱うが、簡単のため座標系の記載は省略し、fj(x, y)をfjと記載する。また、ここでは血管部における光散乱は考慮しないものとする。尚、消滅係数は、吸収係数と散乱係数のうち、何れか一方によって定義してもよい。
【００５４】
このとき、fjは体内の血管像そのものであり、生体組織による光散乱によるぼけや皮膚表面での減衰などの影響を受けておらず、高精細な血管像と見なすことができる。従って、体内の血管像fjを獲得することが血管像の精緻計測の目的となる。しかしながらこの光分布fjはカメラで撮影されるまでに掌側の皮下組織（真皮や表皮）で散乱したり、皮膚のしわ５３などの皮膚表面の光減衰cjの影響を受けたりしながら進むため、fjを直接観測することはできない。特に、体内の光散乱は血管の深さ位置に応じて異なるため、fjの推定はより難しくなる。このような輝度変化を受けながらfjは指表面から放出される。このときの光分布をgjとする。最終的にgjがカメラに撮影されることになるため、gjを観測画像と呼ぶ。
【００５５】
以上の挙動を踏まえ、観測画像gjを定式化すると次の通りとなる。
【００５６】
gj = (fj * hj)cj + nj  ・・・・・・・・(2)
ここで、皮下組織(真皮や表皮)での光の拡散の程度を示すＰＳＦ(Point spread function)をhj、画像のノイズ成分をnjとし、演算子「*」は畳み込み演算を表すものとする。皮下組織での散乱により、観測画像gjは真の血管像fｊが減衰し、さらにぼかされた形で獲得される。光の拡散による血管像のぼけは血管像の精緻撮影の意味においては影響があるが、ここでは表皮像を除去することを目的とするため、光拡散の影響が表皮像の影響よりも十分に小さいものとし、このモデルを解析しやすい形に変形する。すなわち、ＰＳＦの畳み込み演算によって拡散を表現するのではなく、光の減衰のみを考慮したLambert-beer則で記述できるものとする。このとき、式(2)は以下のように記述できる。
【００５７】
gj = (fj exp{-μdjd}) cj + nj
≒ sj exp{ -μbjVbTb -μdj(1-Vb)Tb -μdjd -μcjVcTc }  ・・・・・(3) 
ここで、dは血管の深さ(皮膚の厚さ)、μcjは皮膚のしわでの消滅係数、Vcは皮膚のしわが表皮に占める体積比、Tcは皮膚のしわの層の厚さである。式(3)によると、観測画像gjは、生体内部の光分布sjが、血液量と皮膚の厚さと皮膚のしわに応じて減衰したものであることが分かる。
【００５８】
以上の定式化により、本実施例で目的とする血管像の鮮鋭化という問題は、観測画像gjより式(3)のfｊを獲得するという問題に帰着できる。
【００５９】
図６に本実施例による皮膚のしわ除去手法の処理手順を示す。はじめに、同図(a)に示す通り、血液における消滅係数の異なる2波長の画像を連続的に撮影する。異なる2波長の光は、夫々異なる光源を用いても良いし、一つの光源から異なる2波長の光を照射してもよい。なお、以降の説明ではg2に対するしわ除去を例示するが、g2をg0に読み替え、かつgjやλjなどの波長を示す添字jについてj=2をj=0と読み替えれば同様にg0のしわ除去が可能となる。
【００６０】
血液の消滅係数の低い波長λ1による画像をg1、高い波長λ2による画像をg2とする。血管部４４に着目すると、輝度値はg1＞g2となるが、皮膚のしわ部分４２においては概ね一致するか、あるいはg1≦g2となっている様子が分かる。このような差異に基づいて血管領域としわや異物等によって形成されるノイズ領域とを分離する。なお、単純にg1とg2との差分画像を求めることで血管部分の情報だけを獲得できるようにも見えるが、皮膚のしわの輝度値は僅かに異なっているため、差分によりしわ情報のみを完全に除去することができない。そのため、このしわ情報、つまりはノイズ情報の差分を完全に処理することが認証精度向上に大きく寄与し得る。
【００６１】
次に、図６(b)に示す通り、血液に起因する輝度の陰影をg2より除去する。上述の式（3)に対して両辺に自然対数を施すと以下が得られる。
【００６２】
ln gj ≒ ln sj - μbjVbTb -μdj(1-Vb)Tb -μdjd -μcjVcTc  ・・・・（4）
このとき、血液の体積比Vbがゼロとなる画素において両画像の輝度値が一致するようにg2に係数を掛けるものとすれば、以下が得られる。
【００６３】
ln s2 -μd2Tb -μd2d -μc2VcTc = ln s1 -μd1Tb -μd1d -μc1VcTc  ・・・（5）
このとき、式(4)においてj=1、2とした2式と、式(5)の3つの連立方程式により、未知数であるVbTbが得られる。変数VbTbを血液遮光係数Vbtと定義すると、Vbtは次のように記述できる。
【００６４】
Vbt = ( ln g1 - ln g2 ) / ( μb2 -μb1 +μd1 -μd2 )  ・・・(6)
このとき、Vb>0である領域がVb=0である領域と同じ輝度値となれば、観測画像g2より血液に起因する陰影が除去できる。すなわち、
β gj = gj(Vb=0)  ・・・・・・・・(7)
となる係数βを求めれば良い。ただしgj(Vb=0)をgj (x、y)の画素(x、y)の近隣におけるVb=0の輝度値とする。式(7)を変形すると以下の通り式(8)が、そしてこれに式(4)と式(4)でVb=0とした式を代入すると、以下の式(9)が得られる。
【００６５】
ln β = ln{ gj(Vb=0) } - ln{ gj } ・・・・・・・(8)
∴β = exp{ μb2 -μd2 }Vbt ・・・・・・・(9)
以上を纏めると、観測画像g2より血管に起因する陰影を除去した画像g2eは次のように獲得できる。
【００６６】
g2e  = g2 exp{μb2 -μd2 }Vbt、 (if Vb>0) ・・・・・・・(10)
= g2、                   (otherwise)  ・・・・・・・(11)
この処理結果が図６(b)に示されている。
【００６７】
画像g2に対する血管除去画像g2eには、皮膚のしわを初めとする血管以外のノイズ情報のみが残されることになる。このノイズ領域を有する画像に対して一般的なTop-hat変換を施すことで、皮膚のしわのような高周波成分を抽出することができる。この様子を図６(c)に示す。このしわ成分のみを抽出したノイズ画像をchとし、Top-hat変換の演算子をTH(・)とすると、しわ成分の画像chは以下のように記述できる。
【００６８】
ch = TH(g2e)   ・・・・・・・(12)
なお、本実施例では比較的実装が容易で高速に動作するTop-hat変換に基づくしわ成分の除去を利用しているが、例えば独立成分分析やグラフカット、あるいは画像の特定周波数のフィルタリングなどに代表される一般的なノイズ除去手法を利用しても良い。
【００６９】
最後に、しわ成分のみの画像chと、元画像g2とを利用して、しわ成分のみを除去した精緻血管像g'2は以下の式によって獲得できる。
【００７０】
g'2 = g2 - ch exp{-(μb2 -μd2)Vbt} ・・・・・・・(13)
この様子を図６(d)に示す。以上より、血液に起因する陰影を残しながらも認証に不要となる皮膚のしわ成分を選択的に除去でき、真の血管像を有する認証用血管画像を取得することができる。これにより、皮膚のしわの有無の変動にロバストな指静脈認証が実現できる。
【００７１】
なお、本技術は指の皮膚表面におけるしわや指紋を除去するだけではなく、皮膚の汚れが付着した場合や、衛生作業用手袋などの半透明手袋の畳み皺などを除去することもできる。これにより、指の汚れにも頑健で、かつ半透明手袋を着用した際にも指静脈認証が実現できる。
【００７２】
また、取り除いたノイズ情報が、例えば指紋などの皮膚特有のしわ情報であれば、これを新たな認証情報として活用することも可能である。単一の光学系で一度に静脈と指紋の情報が獲得できることから、指紋撮影用の装置を別途追加することなく、マルチモーダル認証を実現することが可能となる。
【００７３】
続いて、獲得したしわ除去後の画像g0とg2とを利用して、血管像のぼけを除去する一実施例について述べる。
【００７４】
一般的に、皮膚内部における光の消滅係数が２倍の関係性にある２つの波長において、消滅係数の低い方の波長の光の広がり方はもう一方の波長に比べて小さいことが知られている。また、皮膚内部に仮想的な点光源が存在することを仮定した場合の光の広がり方は、それを皮膚外部から観測した場合、点光源が奥深くに存在する方が光の広がり方が大きい。このとき、両波長における皮膚外部で観測される光の広がり方を比べると、消滅係数の小さい波長の点光源がもう一方の波長の点光源に比べて２倍深い位置に存在する場合、両者の光の広がり方がほぼ同一であることが知られている。
【００７５】
この特性を利用すると、異なる２つの波長によって撮影された血管像g0とg2との間に、皮膚内の消滅係数が２倍となる関係を持つ場合、血管像の光の広がり方の程度を推定することが可能となる。具体的には、皮膚のしわが除去された画像を定式化すると、
gj = fj * hj + nj  ・・・・・・・・(14)
と記述でき、j=0とj=2との場合において、
h0 = h2 * h2 ・・・・・・・・(15)
が成立していることに相当する。このとき、真の血管像fについて解けば、
f = g2 + ( g0 - g2 ) * g2 * g0-1  ・・・・・・・・(16)
となる。ただし、a * b-1 は画像aをbでデコンボリューションする演算であることを示す。
【００７６】
上式を計算することにより、ぼけを含まない血管像fを獲得することが可能となる。なお、デコンボリューションの演算手法としては、ウィナーフィルタ、CLS(Constrained least square)フィルタ、TV(Total variation)法、BTV(Bilateral total variation)法などの一般的な手法を用いることができる。
【００７７】
図７は、２波長の透過画像より血管深さを計測する際の生体内のモデルの一例である。血管深さの獲得は、上述の皮膚表面のしわの除去やぼけの除去と同様、真の血管構造情報を獲得し、認証に利用できる情報量を増加させるという意味で重要である。なお、図７は図５とほぼ同様の状況をモデルしたものであるが、図７では皮膚のしわが存在しないこと、そして真皮層５２で光は拡散しないことを前提とした簡素化がなされている点で相違がある。実際には上述のしわ除去処理を実施した後の２波長画像を用いることで、この簡易モデルを適用した血管深さ計測が実施できる。
【００７８】
図７に示した物理モデルにおいて、血管濃度Vbtを解くことができれば、血管の存在する深さDを求めることも可能となる。内部光siがLambert-beer則に従って減衰すると、観測画像gi は
ln(gi) = ln(si) - μbi VbTb - μsi(1-Vb)Tb -μsiD  ・・・・・・(17)
と記述できる。ここでμbi、μsi はそれぞれ血液と皮膚の消滅係数である。2波長撮影によりg1とg2を獲得し、血管のない(すなわちVb=0)位置においてα1 g1 = α2 g2(=定数)となる係数αiを掛けると、
ln(α1s1) - μs1 (Tb + D ) = ln(α2s2) - μs2 (Tb + D )  ・・・・・(18)
となる。式(17)のi={1、2}と式(18)より、VbTb（＝ Vbtとする）は、
Vbt = (ln(α1g1) - ln(α2g2))÷(μb2-μb1 + μs1 - μs2)  ・・・・・(19)
と求められる。最終的に、式(19)を式(17)（ただしi=2）に代入すると次式の通り血管深さDが導かれる。
D = ( ln(α2s2) - μs2Tb - ln(α2g2) + (μs2-μb2)Vbt )÷μs2  ・・・・・(20)
ここで、内部光 s2や血管層の厚さTbは観測できないため D は確定できない。一方、g2に係数α2を掛けているため、内部光の項ln(α2s2)は場所によらず固定値とみなせる。また、Tbも指によらず一様と仮定すると、ln(α2s2) - μs2Tb (=C) を固定値とできる。このときのDを血管の相対深さ分布Drと定義する。すなわち固定値Cだけバイアスを持った相対的な血管深さが獲得できる。ただし、光は減衰するという物理的な制約により、C>ln(α2g2) とする。以上より、平面的な血管構造のみを利用する従来手法に対して個人認証に有用な情報量が増加するため認証精度の向上が期待できる。
【００７９】
図８Ａおよび図８Ｂは血管深さを利用することで異なる血管パターン同士を正しく識別できる一例を示した模式図である。図８Ａは異なる2つの指の血管パターン８１と８２とを従来の２次元投影血管像８０として重ね合わせた状態を示している。この場合、両パターンの２次元投影像は類似しているため、従来手法では同一パターンであると判定され易くなる。一方、図８Ｂに示されるように立体的な血管像８３として重ね合わせると、両血管パターン８１と８２とは血管の奥行きの形状に大きな差異が見受けられる。従って、立体像の観測により両者が異なる指であることが判定できるケースが増え、従来の2次元投影像を利用した認証手法に比べて認証精度の向上に寄与する。
【００８０】
立体的な線パターンの照合方法としては、３次元のテンプレートマッチング（ボクセルマッチング）やSIFT特徴量などを計測して特徴点同士の類似度を判定する手法、線の接線成分をベクトル化してその内積を計算するベクトル照合などの一般的な３次元形状の照合技術を用いることができる。
【００８１】
ここでは、３値テンプレートと相対深さ分布を利用した照合の一実施例について示す。本実施例では、３値テンプレートに上述の深さ情報を適用した照合方式とする。
【００８２】
まず、指静脈の３値テンプレート Pv を抽出する。Pv は、血管画像より特徴抽出を実施し、その血管らしさに応じて血管/曖昧/背景の３値に分類した画像である。次に上述の通り相対深さ分布 Dr を得る。最後に Dr の値を0-255に正規化して D'r とする。正規化の一実施例としては、D'r は、Pv の血管画素の全位置における Dr の平均値 da と分散 σ を求め、da±3σの範囲を0-255に線形変換する方法がある。最終的な提案手法の照合データは Pv と D'r のペアとなる。
【００８３】
次に、上述の相対深さ分布を用いた照合方法の一実施例を示す。本実施例では、登録と入力の Pv を重ねた際の血管と背景との重なり（ミスマッチ）の数を総血管画素数で除算しミスマッチ率を得る方法を基本とする。これに対し本実施例では、もし血管同士が重なっていても、その画素に割り振られている相対的血管深さ D'r の差が閾値 ThH を超える場合は立体的なずれがあるとしてミスマッチと判定する。これにより別指同士の血管画素が偶然重なって類似性が高まるという従来手法の課題を緩和できる。さらに、血管同士の重なりで D'r の差が ThL より小さい画素は通常より類似性が高いとしてその画素数と重みとを乗算し、これをミスマッチ数より減算することでミスマッチ率を低下させる。これにより、血管形状と深さの両方が類似する指は別指分布との分離度をより高められる。
【００８４】
すなわち、血管の深さが付与された3値テンプレート画像同士のミスマッチ率は以下のように表現できる。
【００８５】
ミスマッチ率  ＝  {α1×血管と背景との重なり数
＋α2×血管の深さの差がThHより大きい血管同士の重なり数
−α3×血管の深さの差がThLより小さい血管同士の重なり数}／全血管画素数
・・・・・(21)
ただし、αi（i=1、2、3）は各ミスマッチ数に対する重みである。例えば、波長λ0=690[nm]、λ1=870[nm]、α1＝α2＝α3＝1、ThL=16、ThH=80、とすることができる。特に、波長の選定については本実施例のように、血液による吸光度の差が大きい波長同士を選ぶことで安定した血管の深さ情報の抽出を可能とする。
【００８６】
なお、上述の手法では、ミスマッチ率の算出に際し、αiの重みを付与した形で3値テンプレートにおけるミスマッチ率計算と深さ情報とを結合したが、例えば従来技術により照合スコアを算出した上で、上述の深さマップ同士を類似度を正規化相互相関法などの手法により求め、従来技術の照合スコアと深さマップに関する類似度とを合成する方式としても良い。この場合、最終的な照合スコアは多次元ベクトルとして捉える事ができる。これに対し、最も本人と他人とを識別できる判別方法を統計的な手法により求めても良い。例えば、判別分析や主成分分析によって最も本人と他人とを分離し得るパラメータを学習サンプルより獲得し、各スコアを線形結合することで一つの照合スコアに縮退することができる。このような統計的手法を用いることにより認証精度を向上させる効果が期待できる。その他、SVM(Support Vector Machine)に基づいて本人と他人とを識別し得る境界を求めることで認証を実施しても良い。
【００８７】
ここで、本実施例に係る認証装置の光源は、必要な認証精度や機能、コストなどを勘案し、２波長あるいは単一波長としても良い。上述の通り、光源を３波長とすることで、指のしわ除去、血管像のぼけ除去、血管深さの推定が可能となるが、必要に応じて、これらの各機能を限定し、それに必要な数の波長を具備することも可能である。波長の種類数を限定することにより、撮影の高速化、外光に対する耐性の向上、装置の低コスト化、制御回路の単純化、などの効果が得られる。例えば、上述のλ1とλ2の２波長に限定すれば、皮膚のしわ除去と血管の深さ計測が実現できる。あるいは、上述のλ0とλ2の2波長に限定すれば、血管のぼけ除去のみが実現できる。特に、ぼけ除去に関してはアンシャープマスキングや体内での光の拡散を想定したPSFのデコンボリューション、あるいは体内での光の拡散を推定しながらボケを除去するブラインド・デコンボリューションなどの強調処理を適用することで簡易的に血管画像を強調することができることから、ぼけ除去を光学的な特性を用いずに実施する方法と、λ1とλ2の２波長を用いる方法との組み合わせは高い実用性を有する。
【００８８】
特に単一画像に基づく血管のぼけ除去の一実施例として、ベイズの定理に基づく最大事後確率（ＭＡＰ；Maximum a posterior）推定に基づく方法がある。血管部の輝度情報の観測結果は、体内に存在する真の血管が光拡散などの影響によりぼけたりノイズが重畳されたりした後の結果である。真の血管にはノイズは無く、そして接続性が保たれ、さらには血管のエッジ以外に急峻な空間的輝度変化は無いものとする。このような条件に合致するように真の血管の推定結果を生成しておき、その推定結果を光の拡散を定式化した関数によってぼかし、観測画像との比較を行なう。推定結果が真の血管に類似すれば、ぼかした後の画像は観測画像に類似するはずである。よって、観測画像と推定値のぼかし画像との間の誤差が最小化される方向に真の血管の推定結果に補正を掛け、これを繰り返し実施することで血管像を推定できる。
【００８９】
あるいは、大量の指画像データベースに対し、血管部分だけを集めたサンプル、皮膚のしわだけを集めたサンプル、血管もしわも存在しない部分だけを集めたサンプルなどを用意しておき、断面輝度曲線などの輝度特徴を事前に学習しておく。そして、未知の画像が与えられたとき、ある部分画像においてどのクラスに属する可能性が高いかを判定し、確率的に血管部か否かを決定する方法も有効である。この処理によって単一画像においても血管部分のみを強調することが可能となる。当然ながら、多波長の画像に同様の処理を適用できることは言うまでもない。
【００９０】
なお、本実施例で規定している波長λ2を用いて撮影した血管像g2には他の波長に比べて血管パターンが鮮明に映し出されており、認証に利用する特徴量を獲得するためには好適な画像である。従って、必要な機能やコストに応じて利用する波長を制限する際には、特にg2に対してしわ除去やぼけ除去を実施しこれを認証に活用することで、認証精度の向上等に高い効果を得ることができる。
【００９１】
また上記実施例において、g1は血管が見えにくい波長を用いた観測像であるためg1そのものに対するしわ除去は行なわず、他の画像のしわ除去のための参照画像としてのみ活用している。しかし上述の数式を変形することでg1に対するしわ除去を実施することも可能である。波長の選択方法によってはg1の画像中にも鮮明な血管が観測できる場合も想定できるため、g1にしわ除去を適用して鮮明な血管像に変換しておき、後段の認証処理等に活用することも可能である。
【００９２】
次に、指に掛けられる圧力と得られる生体情報との相関を用いた照合処理の一実施例について詳述する。はじめに、圧力と時間との関係性について、撮影開始から停止までに遷移する圧力値の典型例を示し、これに対する圧力値のバリエーションを獲得するための制御について述べる。次に圧力の変化量とパターンの変化量との関連性について述べ、最後に圧力の変化量とパターンの変化量とを考慮した照合処理について述べる。
【００９３】
図９は、圧力の時間的変化と撮影終了のタイミングとの関係性の事例を示した説明図である。
【００９４】
本実施例では圧力センサを４つ設けているため、ここでは４つの圧力センサ出力の合計を指から与えられる圧力の強さ（圧力値）と見なす。撮影が開始されたときの最も典型的な圧力値の遷移は、図９の曲線（１）に示す通り、指が静かに置かれた状態から時間が経つにつれて徐々に圧力値が増加し、最終的に一定値に収束する、というものである。あるいは、曲線（２）に示すように、比較的強めに指先で装置を押し込む動作から開始し、徐々に力が緩み、圧力値が一定値に収束しないものも想定される。これに対し、曲線（３）に示すように、圧力が極めて弱い状態でキープされることも考えられる。あるいは曲線（４）に示すように、指を提示すると同時に想定する圧力値を大きく上回るケースも想定され、その場合は圧力がゼロの状態から急峻に上昇することになる。その他にも、大きな圧力がかかっていたにもかかわらず急峻に圧力がゼロに戻るケースも想定される。
【００９５】
このような様々な圧力の加え方のバリエーションに対応するため、本実施例では次のような撮影条件を設けるものとする。まず、撮影に適した指の圧力値の範囲、すなわち圧力値の上限と下限とを定義しておく。そして、時系列に圧力値を観測したとき、圧力値が上限を超える場合は「押し付け警告の出力」を行い、押し付けすぎである旨を利用者にフィードバックして押し付けを弱めることを促す。同様に、圧力値が下限よりも小さい場合は「押し付け要求の出力」を行い、指を提示部に押し付けることを促す。ただし、実用的には圧力は弱くても指の血管は観測されることが多いため、下限値はゼロ付近としてもよい。
【００９６】
また、曲線（３）に示すように圧力値が下限を超えているものの弱い状態が続き、かつ圧力が強めの画像が撮影できていない場合は、「押し付け要求の出力」を行い、軽く装置を押し込んで圧力を掛けるよう利用者に促す。同様に、圧力値の弱い画像がカメラのフレームレートの関係により撮影できないうちに圧力値が上昇し、そのまま閾値の上限未満付近に到達して一定値が続く場合は、圧力値の弱い画像が撮影できていないため指の圧力を弱める旨のガイダンスを提示する。このようなガイダンスの提示により、設定した上限値と下限値の範囲内の様々な圧力の画像を得ることができ、認証に活用できる情報量が増え、認証精度の向上が期待できる。
【００９７】
図１０Ａ及び図１０Ｂ及び図１０Ｃは、圧力ベクトルの概念と算出方法の説明図である。
【００９８】
図１０Ａは、指の提示に対する4つの圧力センサの圧力値の一例を示している。また図１０Ｂは、図１０Ａと同一の指を同一の圧力で異なる場所に置いた場合の一例を示している。指１が指画像１００に映し出され、指輪郭１０１が検出されている。指先は画像左側に位置し、指輪郭１０１の先端を指先１０２とする。また、指とアクリル板との接触による圧力値が所定値以上の場合に生じる楕円状の圧迫領域１０３が観測されている。また指画像１００の４辺には各圧力センサの圧力値が示されている。
【００９９】
この２つの図を比較すると、指１の提示位置は異なるものの、圧迫領域１０３が観測される指輪郭内の相対的な位置は同一であることが分かる。このように全く同じ圧力を掛けた場合でも、指がアクリル板に接触する位置がずれることで、得られる４つの圧力値のバランスが異なる。従って、本質的には両者は同一の圧力を掛けて提示されたものであっても、単純に４つの圧力値を比較しただけでは同一の圧力が掛けられたと見なすことはできない。そこで本実施例では指輪郭１０１を利用して圧力の掛けられた場所を正規化できる圧力ベクトルを定義する。
【０１００】
圧力ベクトルの算出方法の一実施例を次に示す。まず、上述の通り指輪郭１０１を検出し、図面左側の輪郭線のうち曲率の高い部分である指先１０２を基準点とし、指先１０２から圧迫領域１０３の中心に向かう方向を圧力ベクトル１０４の方向と定義する。尚、圧迫領域の基準点は、中心に向かう方向以外にも、所定の基準点を定義してもよい。圧迫領域１０３の中心位置は４つの圧力センサの圧力値の比率から求めることができる。具体的には、４つの圧力センサの配置の重心が指画像の中心点と一致するとしたとき、指画像の中心点に対して対称位置に存在する２つの圧力センサをペアとし、圧力値の比率に応じて圧力中心を求める。例えば、図１０Ａの圧力中心は、図面の左右の圧力センサの値が３と７であるため、左右方向の圧力中心は画像左端から右に向けて画像幅の7/10の位置にあると考えられる。同様に、上下方向の圧力中心は、画像上端から下に向けて画像高さの10/19の位置にあると考えられる。また、圧力ベクトルの大きさは上述の圧力値と一致するものとし、単に４つの圧力値の合計とすることができる。
【０１０１】
このように図１０Ａと図１０Ｂの圧力ベクトル１０４を比較するとほぼ一致することが分かる。
【０１０２】
装置が小型化され筐体に位置決め手段がない状態において、利用者が指を置く位置に、撮影の都度大きなばらつき、位置ずれが生じるのは上述の通りである。しかしその一方で、ユーザは指の置き位置は撮影の都度違えど、個人の癖等により、指設置時に生じる圧迫領域の指領域内での相対的な位置は、統計的にほぼ一致する特性がある。本発明における圧力ベクトルはこのような特性を生かして生成される情報である。
【０１０３】
また、上記では指の輪郭の基準点から圧迫領域の中心までの圧迫ベクトルを用いたが、指の輪郭を用いず、各画像における圧迫領域が生じている位置の関係から、類似度を判定してもよい。
【０１０４】
図１０Ｃは図１０Ａと４つの圧力値が完全に一致しているが指の位置が異なる例を示しており、圧力ベクトルを求めて比較すると、圧力の掛けられている状態は異なっていると正しく判断できることが分かる。
【０１０５】
図１１Ａおよび図１１Ｂは計測した圧力と獲得した指静脈パターンとを利用した照合データの一例の説明図である。
【０１０６】
図１１Ａは登録データの一例を示しており、登録された照合データ１１０と圧力値とが時系列に並べられたものであり、フレーム１から順に撮影され、フレーム３が最後の撮影状態である。また、照合データ１１０には血管パターン１１１が分布している。さらに、押し付けによって生じた圧迫領域１０３が点線によって示されており、この内部の血管は消失している。またフレームごとの圧力ベクトルも登録されている。ここでは圧力ベクトルの方向はほぼ同一であるとし、圧力値のみを表記した。尚、本説明において登録データにおける圧迫領域を、登録圧迫領域と称する場合がある。また、登録データとして記憶されている圧力値、圧力ベクトルを夫々、登録圧力値、登録圧力ベクトルと称する場合がある。
【０１０７】
この例では、各フレームを順次撮影するごとに圧力値が徐々に上昇しており、緩やかに押し付けられていることが分かる。そして、圧力値が高まるにつれてパターンの圧迫領域１０３が拡大している様子が分かる。また、各フレームごとにパターンの欠損領域の差分画像も合わせて登録されている。例えば図中に「フレーム：１−３」と示された照合データは、フレーム１とフレーム３の差分画像を意味する。なお、これらの差分画像は予めデータベースに保存しておいても良く、あるいは照合の際に生成しても良い。これはデータベースの容量と処理時間とのトレードオフを考慮して自由に設計可能である。
【０１０８】
同様に、図１１Ｂは入力データの一例であり、入力された指の血管パターンと圧力値とを時系列に並べたものである。入力指が提示されると、上述の処理によって指静脈パターンと圧力ベクトルが得られる。この例では、時系列的に３枚の指静脈パターンが入力された状態を示しており、また圧力ベクトルの方向成分は登録データの登録圧力ベクトルと類似していると仮定する。
【０１０９】
図１２Ａ及び図１２Ｂ及び図１２Ｃは、上述の図１１の登録データと入力データとの照合の過程を示す説明図である。ただし、ここでは登録指と入力指はやや類似性のある別指であるものとし、両者が相違と判定されることが正しい照合結果であるものとする。
【０１１０】
照合は、事前に登録された指画像と圧力情報とのペアに対し、現在の入力における圧力情報を観測しながら、登録データの圧力情報との比較を行ない、類似する登録圧力ベクトルを照合対象としてパターン同士の比較を行っていく。
【０１１１】
図１１Ｂに示した通り、入力データでは指の提示する時間と共に圧力値が９、３０、４０と増加していく。このとき、圧力値９となるフレーム１に対しては、登録データ側にも同様に登録圧力値１０とのデータが保存されている。このとき、圧力ベクトルの方向のずれがThθ以内、かつ圧力値のずれがThpである場合は、圧力ベクトルが類似するものとして、登録データとの照合を行う。例えばThpを5とすると、圧力値９となる入力データと対応する登録圧力値１０となる登録データとが照合対象となる。同様に、圧力値４０となる入力データと対応する圧力値３８となる登録データとが照合対象となる。
【０１１２】
従って、まず初めに実施されるフレーム１の入力データの照合では、圧力値の差が閾値Thp以内であるデータが照合対象となることから、図１２Ａに示される通り登録データのフレーム１が照合対象となり、両者の照合が実施される。ここで、両パターンの類似性は比較的高いものではあるが、同一指であると断定できるものではなかったとする。この類似性の判定基準は統計的に事前に決定しておく。このとき、認証処理は完了できないため引き続き画像を撮影し、図１１Ｂに示す通りフレーム２を獲得する。ここでは、圧力値が３０である画像を得たとする。しかしながら、図１１Ａに示される登録データには圧力値３０との差がThp以内の圧力値のデータは存在しないため、この入力データは照合されない。
【０１１３】
続いてフレーム３が入力されると、このときの圧力値が４０であることから、登録データのフレーム２の画像に対する圧力値との差が閾値Thp以内となる。よって、図１２Ｂに示されるように、入力データのフレーム３と登録データのフレーム２との照合が実施される。この処理では、両者に圧迫領域が存在するため、図１２Ａにて実施した照合結果と比べて若干類似性は低下する。しかしながらここでも類似度は若干高く、別指とは断定できない結果であったとする。さらに図１２Ａの照合結果と今回の照合結果との両者を合成しても確率的に同一指であるとは見なせない、例えば単純ベイズ分類器などを用いて確率的に両結果を合成しても事後確率がその登録者であるか別人であるかを判断できなかったとする。この場合は更なる照合を行う。
【０１１４】
更なる照合として、図１２Ｃに示すように登録データの差分画像であるフレーム１−２の画像と、入力データの差分画像であるフレーム１−３の画像とを照合する。この差分画像は押し付けによる血管パターンの欠損あるいは変形部分のみが取り出されたものである。また両差分画像は、これまでの過程で実際に照合した画像の差分画像であるため、圧力値の変動が概ね一致している。従って、仮に入力データと登録データとが同一指である場合は、指に対する圧迫の度合いが類似する場合はそのときの変化量も類似すると考えられる。一方、指が異なる場合は、指の立体形状や皮膚の柔らかさ、あるいは血管の太さや血液濃度などの相違があるため、指に対する圧力値が同程度変化しても、静脈パターンの変化量は相違が大きくなると考えられる。これらの差分画像同士を照合すると、大きく差異が生じるものと考えられる。
【０１１５】
図１２に示した入力データと登録データは別指であり、よって図１２Ｃに示した入力側の差分画像と登録側の差分画像とは大きく異なっていることが分かる。特に、入力データ側の差分画像は圧迫領域が２つ存在しており、登録データ側のものとは大きな相違が見られる。従って、両者の照合結果は類似度が低いものとなる。上述の通り、これまでの照合結果では同一指とも別指とも決められなかったが、この差分画像の照合結果を前述と同様に合成すると、ほぼ別指であることが確定できる。
【０１１６】
上述の実施例では、差分フレームのパターン同士の照合を実施することによって別指同士の照合結果をより別指であると判定させるものであったが、同一指同士の照合時においても同様に、類似する圧力ベクトル同士の差分フレームの照合結果を合成すれば、差分フレームのパターンが類似しているという結果が含まれるため、さらに同一指らしさを高められる。
【０１１７】
以上より、圧力値の類似するフレーム同士の照合と、それらの差分画像の照合を実施することにより、同一指と別指との分離度が向上し、認証精度を高めることが可能となる。
【０１１８】
なお、図１１あるいは図１２にて例示した画像の相違は、押し付けにより血管が消失し、その強さが増すにつれて圧迫領域の大きさや個数が異なるというものであった。これ以外にも、押し付けによってパターンが全体的に変形することで差異が生じることも考えられる。このような状況においても、別指であれば変形の度合いが異なると想定されることから、正しく別指であると判定が可能となる。
【０１１９】
また、押し付けによって血管パターンが欠落したことをフレームの差分によって検出し、その領域の形状そのものを照合に利用しても良い。指の圧迫によって血液が押し出されると、その部分の輝度値が明るくなることが一般的に知られている。従って、連続的に撮影された画像フレーム間の差分を取ると、押し付けた場所に輝度差が確認される。輝度差に特定の閾値を設け、その閾値以上輝度変化が生じた場所をデータ化し、上述の差分画像と同様に照合を実施することで、仮に押し付けられた場所に血管パターンが存在していなかった場合においても押し付け部位の形状の変化の類似性を判定することができる。
【０１２０】
同様に、押し付けによって圧迫された部位を検出した後、その部分の指紋パターンあるいは皮膚のテクスチャを特徴量として照合しても良い。これにより、上述のように押し付けられた部位、つまりは圧迫領域、登録圧迫領域の形状だけではなく、その内部領域の皮膚の情報を活用することで更に高精度な照合を実現できる。
【０１２１】
図１３は、指を取り囲むように光源を配置した上記実施例の変形の一例を示す。
上述の図２に示した実施例では光源が指先前方のみに取りつけられていたが、本実施例では指の周囲に光源３が多数配置されている。また、開口部を規定するアクリル板２２は上述の実施例よりも広く取られており、指の第一関節付近まで撮影することが可能となっている。そのため、指１の側面にも光源が配置されており、指先前方の光源では照射できない部分を照射する。なお、これらの光源は上述の実施例と同様、複数の波長の光を照射できるように、各波長の光源を交互に配置している。また圧力センサ２３−ａ、２３−ｂ、２３−ｃ、２３−ｄはアクリル板２２の直下に設置されている。さらにはアクリル板２２は指先の前方方向に傾斜しており、これに合わせてカメラ９も斜めに設置されている。このような傾斜を設けることにより、指１がアクリル板２２に対して水平に提示されやすくなり、カメラ９が指１の正面を撮影しやすくなるという効果が得られる。さらに、指先前方付近の光源３が指１の甲側を照射しやすくなり、完全な透過光映像が得られるため血管のコントラストが高まりやすくなる。
【０１２２】
指の側面に設置されている光源を指１に向けて照射すると、その側面には光が強く当たるため輝度飽和を生じやすい。そこで、各光源を順次点灯しながら画像を時系列的に撮影し、輝度の飽和していない適切な部分を合成することで、全体的に均一な血管画像を獲得することができる。これは、ＨＤＲ（High dynamic range）合成に基づく手法などを利用できる。
【０１２３】
また、照射する向きの異なる光源により画像を撮影すると、その向きに応じて血管像の影が僅かに変化する。この事実を利用して、血管の位置や血管深さを推定することもできる。特に、光源の位置は既知であるため、血管像の影の変化量と光源の位置関係から三角測量の原理で血管の深さを検出できる。さらには、通常では見えにくい細い血管や薄い血管においても、多方向より様々な波長の光を照射すると、ある照射方向やある波長の光源でそのような血管が鮮明に見える場合がある。よって、様々な照明条件によって撮影された画像をＨＤＲ合成、あるいは超解像合成によって高精細化することが可能となる。ただし、生体内部では光が拡散を起こしながら進むため、事前に生体内の拡散光成分をモデル化しておき、拡散光をキャンセルするためのデコンボリューション処理を組み合わせることで拡散光の影響を抑制しながら合成することで、さらに高精度な血管像の精緻構造の獲得が実現できる。
【実施例２】
【０１２４】
本実施例では、上記実施例１の光源の配列について、より小型で画像処理の精度を向上させることができる構成の一例を説明する。
【０１２５】
図１４Ａおよび図１４Ｂは撮像する指の下方に光源を円形に配置した小型指静脈認証装置の一実施例である。
【０１２６】
図１４Ａの上面図に示す通り、装置開口部のアクリル板２２は円形に開けられており、その周囲に光源３−ａ、３−ｂが円形に配置されている。光源は異なる波長の光源が交互に配置されている。これにより、どの波長の光源においても光の入射位置が近いことから画像の輝度勾配が類似するため、各波長で得た画像の合成処理を実施する際に意図しない輝度差によるアーチファクトの発生を抑制できるため都合が良い。
【０１２７】
利用者が指１をアクリル板２２の上に提示すると、上述の実施例と同様に圧力センサ２３−ａ、２３−ｂ、２３−ｃ、２３−ｄが指の圧力を検知して撮影を開始し、認証を実施する。
【０１２８】
初めに、光源３−ａのみを点灯し、1枚目の画像を撮影する。続いて光源３−ｂのみを点灯し、２枚目の画像を撮影する。これを１つずつ光源を変えながら点灯し、最後の光源の点灯による撮影を実施する。これらの画像より血管像を再構成し、その血管パターンを利用して、上述の方法によりしわ除去、ぼけ除去、血管深さの検出などを実施して、圧力の変化とパターンの変化との相関を用いた認証処理を実施する。
【０１２９】
なお、本実施例においては、指の輪郭が撮影できない程度の開口部の大きさしかないことより、指の輪郭を検出することができない。これに対し、上述の皮膚しわの分離技術を用いて指紋を抽出し、指紋の隆線に直交する仮想的な線をあらゆる位置に対して算出して、すべての仮想的な線が最も集中する点を指紋の中心位置と見なして位置ずれを補正するなど、指紋を利用した位置補正を実施することで、照合時の位置ずれ補正を実施することができる。
【０１３０】
なお、図１４Ｂに示す通り、アクリル板２２は指先と接触しないように一段下げて設置しても良い。これにより、指先の微小領域全体の血管が圧迫によって消失されることを防止することができる。特に微小領域内の接触では圧力が強く掛かる傾向にあるため、圧力の変化の有無に関わらず血管パターンが常に消失することがある。よって上述した圧力とパターン変化との関係性を用いた照合方式の効果が低減しやすくなる。そのため、指１はアクリル板２２と接触せず、その代わりにカメラ筐体支持部２１と接触するようにすれば、大きな血管の欠損を避けることができる。この構造においては、カメラ筐体支持部２１が圧力センサに連動しているため指が装置を押し付ける圧力を検知することが可能であり、当然ながら、この場合においても指の押圧に応じて血管パターンの変形が想定されることから、圧力値と血管パターンとの変化の相関を照合に利用することで、更なる高精度化を実現できる。
【０１３１】
図１５Ａおよび図１５Ｂおよび図１５Ｃおよび図１５Ｄは、撮影した複数枚の画像より血管像を再構成する一実施例である。まず光源３−ａより指１の内部に照射された光は生体内で散乱を起こしながら進行し、その距離に応じて指数関数的に減衰を起こす。このとき光源３−ａは被写体である指１に近接あるいは接触しており、光源に近い画像領域は輝度が飽和して白飛びを起こす。この様子が図１５Ｂの輝度値のグラフに示されており、輝度飽和閾値を超えた領域において画像上では白飛びしていることになる。しかしながら、光源より遠ざかるにつれて光が減衰するため、光源から離れた領域においては輝度が低下する。従って、この画像において血管が観測できる領域は光源からの距離が一定以上離れた場所となる。同様に、光源３−ｂを照射した場合も同様の傾向を示す。ただし光源３−ａと光源３−ｂは異なる波長であるものとし、血液や皮膚などの光学特性は異なる。なお、光源３−ａからは波長１が、光源３−ｂからは波長２が照射されるとし、さらにここでは波長１の方が光が届きにくく、また血液に吸収されにくいものとする。
【０１３２】
もし生体内に血管が存在しない場合、図１５Ｂの点線で示されるように滑らかな曲線を描く。各波長によって光の減衰率が異なるため、波長ごとに光の届く範囲が異なる様子も分かる。一方、実際には血管５１が存在するため、同図の実線で示されるように、血液による光の吸収の影響によって、血管の存在する位置周辺の輝度値が僅かに低下する。ここでは波長２の方が血液による吸収率が高いため、より鮮明な陰影として現れている。
【０１３３】
これらより、血管の存在しない場合の光源との距離と輝度値との関係を事前に多数データ化しておき、実際に輝度値を観測した際の輝度の曲線に最もフィットするデータとの差分を求めることで、図１５Ｃに示すように各波長ごとに血管の吸収による陰影のみを取り出すことが可能となる。
【０１３４】
このような陰影の抽出を、各光源それぞれを単一点灯して画像を獲得しながら実施し、各画像で得られた血管の陰影の結果を、例えば単純な加算などで合成することで、信頼性の高い血管の陰影検出が可能となる。ただし、輝度飽和によって観測できない領域は利用しないようにする。この処理を実施した様子を図１５Ｄに示す。２波長の差分画像を強調することにより血管に起因する陰影のみをロバストに求めることができる。また、上述の実施例と同様に、皮膚のしわ除去やぼけ除去を実施しても良い。
【０１３５】
光源点灯のバリエーションとしては、単一光源の点灯の繰り返しに限らず、複数光源を同時に点灯しても良い。例えば開口部の中心に対して点対称の位置に存在する光源を同時に点灯すると、開口部の中心付近の血管を鮮明に照射することができ、血管の検出精度を高めることができる。また光源を複数同時に点灯することで、撮影の高速化にも寄与する。様々な照射パターンにおける画像を多数撮影して合成することでより高精細な血管像を得ることができる。
【０１３６】
その他の血管像の再構成手法として、血管を仮説に基づいて分布させ、光伝搬方程式に基づいて光伝搬をシミュレートし、実際の撮影画像との相違を求め、この相違に従って仮説を修正するという処理を、実際の画像とシミュレート画像とが類似するまで反復し、一定の類似度が得られた際の血管の分布の仮説を推定結果と見なして獲得しても良い。この方法は多くの処理時間が必要となるが、血管の深さや濃度をより正確に獲得できる。
【実施例３】
【０１３７】
本実施例では、図１６を用いて実施例２に記載の認証装置を携帯端末に搭載した一実施例を示す。携帯端末１６０はタッチパネル１６１を有しており、そしてその下部に当該入力装置２が搭載されている。これは圧力センサを有することから、携帯端末の操作ボタンとしての機能を併用することができる。例えば、携帯端末へのログインに際しては入力装置２を押し下げることで、事前に登録している利用者の血管と一致するかどうかを判定し、一致すれば自動的にログインすることが可能となる。これにより、自然な操作の中で携帯端末のセキュリティを高めることが可能となる。
【０１３８】
他のアプリケーションとしては、ネット決済時の本人確認や各種アプリケーションソフトの個人ごとのカスタマイズ設定の呼び出しなど、本人を特定することで実現できる各種機能のほか、血管パターンのランダム性や血管パターンの照合結果を利用した、占いやゲームなどのアミューズメントソフトにも活用できる。例えば、登録時のパターンに対してより再現性の高い指の提示が実施できれば高価なアイテムが手に入る、あるいは高い攻撃力を発揮できるなどのオンラインソーシャルゲームへの活用も考えられる。また、操作ボタンはボタンに限らず、センサ等の操作部であればボタン形状に留まるものではない。
【実施例４】
【０１３９】
本実施例は、図１７Ａおよび図１７Ｂおよび図１７Ｃは他の実施例に記載の構成を、スマートフォン、タブレットなどの端末の保護ケースにミラーと光源とを具備し、携帯端末に本来備えられている撮像装置を利用した生体認証装置の一実施例である。
【０１４０】
スマートフォンあるいはタブレット端末などの携帯端末１６０には備え付けのカメラ９が搭載されている。一般的には、タッチパネル１６１が機器の中央に位置し、機器の側面部や前面の下側には各種操作用のボタン１７０が搭載されている。さらには外部機器との通信や充電などに利用されるインターフェイスコネクタ１７１が具備されている。そして、機器前面あるいは背面の上部には小型カメラ９が搭載されている。
【０１４１】
図１７Ａおよび図１７Ｂに示される通り、本発明において保護ケース１７７には装置上部に搭載されているカメラ９の視野に含まれる位置に移動することができる回転部１７２が具備されており、回転部１７２にはミラー１７３と回転検知スイッチ１７４が取り付けられており、回転検知スイッチ１７４によって回転部１７２の回転状態を検知できる。また回転部１７２には光源３が具備されており、ここでは可視光の赤、緑、青の３波長を照射できるLEDが搭載されている。この光源の電源は、前記インターフェイスコネクタ１７１と回転部１７２とを接続する信号ケーブル１７５を介して与えられる。この信号ケーブル１７５は、前述の回転検知スイッチ１７４の状態を携帯端末内の処理装置に通知する際にも利用される。
【０１４２】
利用者は、端末へのログインやネット決済時など、個人認証を必要とする場面になると、指で回転部１７２を手前側に回転させる。このとき、図１７Ｃに示す通りミラー１７３がカメラ９の上部の一部を覆い隠し、カメラ９はミラー１７３を介してタッチパネル１６１に接している指を撮影することができる。また光源３は指１を照射することができる。またミラー１７３により覆われていない部分は通常通り周囲を撮影することができ、この中に利用者の顔１７６などを映し出すことも可能となる。利用者によって回転部１７２が回転されると信号ケーブル１７５とインターフェイス１７１を通じて、携帯端末１６０内の処理装置にミラーの回転が通知され、この状態を検知すると生体認証が開始される。
【０１４３】
図１８Ａおよび図１８Ｂは、タッチパネルに表示された指のガイダンスの一例である。図１８Ａに示されるように、利用者はこのガイダンスの指先設置マーク１８０に指を合わせることで、正しい位置に指を提示することができる。正しい位置に指が置かれたことを検知すると、光源３より指に向けて３つのLEDを交互に照射し、３つの波長による３枚の可視光画像を得ることができる。この３枚の画像より、血液の吸収率の関係性に基づいて血管部分のみを強調する、あるいは独立成分分析などの統計的手法に基づいて血管部のみを獲得することができる。
【０１４４】
なお、タッチパネル１６１は指の接触位置を検知することができるため、指先設置マーク１８０との位置ずれをガイダンスしたり、あるいは指先設置マーク１８０に設置されていなくても認証できる許容範囲に指先が設置されていれば認証を開始することができる。また、この指先設置マーク１８０を動的に移動させることで、様々な角度の指を撮影することができ、これらを登録しておくことで指の位置にばらつきが生じても認証することが可能となる。このとき、光源３は、広角な指向性を持たせておくことで、指が任意の位置に存在する場合でも均一に指への照射を可能とすることができる。
【０１４５】
また、図１８Ｂに示すように、現行のスマートフォンなどで広く実施されている線パターンを入力してセキュリティを高めるパスワード入力と、本実施例における指の提示を組み合わせて行なうと、より強固なセキュリティを実現できる。特に、指を動かしながら様々な角度からの指画像が撮影できるため、さらなる指の構造情報を獲得でき、認証精度を高めることが可能となる。例えば、Structure from Motion に代表されるような３次元形状の計測技術を適用し、指の立体構造を推定して生体認証に利用できる情報量が増加したり、指の位置がずれて提示された場合においても様々な角度の指画像を登録することで位置ずれの許容度が高まるといった効果が期待できる。
【０１４６】
同様に、指先設置マーク１８０を表示させずに、任意の位置に指を置かせることで認証を実施しても良い。指の位置はタッチパネル１６１より検出できるため、登録時の指の位置と入力時の指の位置とを画像の拡大縮小などの変形によって両者が一致するように正規化でき、認証精度の劣化を抑えながら利用者の提示に対する利便性を向上することが可能となる。
【０１４７】
図１９は、ミラーに反射して映し出された利用者の指と顔の撮影状態の一例を示した図である。
【０１４８】
利用者が提示した指の画像１９０には、爪１９１、指関節のしわ１９２、指１の色、指１のサイズ・位置情報１９３、指静脈パターン１９４など、様々な情報が含まれている。上述の通り、ミラー１７３はカメラ９の上部の約半分程度を覆うだけであるため、画像の一部にはミラーによって反射した携帯端末の手元が映され、残りの領域には直接カメラ９にて撮影できる背景１９５が映り、その中に利用者の顔１７６が上下反転で映し出される。これらを一般的な画像処理の手法によって抽出し、それぞれの要素について類似度を求め、最終的に照合結果を合成することで、登録と入力との指の類似度を計算することができる。
【０１４９】
なお、上述の実施例では、指に光源を照射する形態について示したが、周囲の可視光を活用し、光源３を不要としても良い。この場合、明度の低い場所での使用に制限が加わるものの、低消費電力となり低コスト化に寄与する。
【０１５０】
また、上述の実施例では、携帯ケースにミラーと光源を具備する形態について示したが、フロントカメラの光軸を傾け、タッチパネル付近を撮影できるように設置しても同様の効果が得られる。また、光源も携帯端末に具備することで同様の効果を得ることができる。光軸を傾けたフロントカメラを別途搭載する場合にコストや設置スペースに問題がある場合には、光軸を傾けることのできるフロントカメラを搭載しても良い。この場合、例えば光軸を傾けるためのスライドスイッチを搭載し、光軸の傾いていない通常のフロントカメラの光軸を、スライドスイッチの操作によって機械的あるいは電気的に傾けることで上述のようにタッチパネル上部が画角に含まれると共に、その操作に伴って認証処理を開始する。これにより、フロントカメラを複数搭載することなく上述の実施例とほぼ同等の機能を得ることができる。
【産業上の利用可能性】
【０１５１】
本発明は、小型で利便性に優れた高精度な生体認証装置を実現することができ、個人認証装置として有用である。
【符号の説明】
【０１５２】
１・・・指、２・・・入力装置、３・・・光源、９・・・カメラ、１０・・・認証処理部、１１・・・中央処理部、１２・・・メモリ、１３・・・インターフェイス、１４・・・記憶装置、１５・・・表示部、１６・・・入力部、１７・・・スピーカ、１８・・・画像入力部、２１・・・カメラ筐体支持部、２２・・・アクリル板、２３・・・圧力センサ、４１・・・構造化要素、４２・・・しわの陰影、４３・・・しわ成分、４４・・・血管の陰影４４、５１・・・血管、５２・・・真皮、５３・・・皮膚のしわ、８０・・・２次元投影血管像、８１・・・血管パターン、８２・・・血管パターン、８３・・・立体的な血管像、１００・・・指画像、１０１・・・指輪郭、１０２・・・指先、１０３・・・圧迫領域、１０４・・・圧力ベクトル、１１０・・・照合データ、１１１・・・血管パターン、１６０・・・携帯端末、１７０・・・操作用のボタン、１７１・・・インターフェイスコネクタ、１７２・・・回転部、１７３・・・ミラー、１７４・・・回転検知スイッチ、１７５・・・信号ケーブル、１７６・・・顔、１７７・・・保護ケース、１８０・・・指先設置マーク、１９０・・・指の画像、１９１・・・爪、１９２・・・指関節のしわ、１９３・・・サイズ・位置情報、１９４・・・指静脈パターン、１９５・・・背景
【図１】
2015026228.tif 000003
【図２】
2015026228.tif 000004
【図３】
2015026228.tif 000005
【図４】
2015026228.tif 000006
【図５】
2015026228.tif 000007
【図６】
2015026228.tif 000008
【図７】
2015026228.tif 000009
【図８】
2015026228.tif 000010
【図９】
2015026228.tif 000011
【図１０】
2015026228.tif 000012
【図１１】
2015026228.tif 000013
【図１２】
2015026228.tif 000014
【図１３】
2015026228.tif 000015
【図１４】
2015026228.tif 000016
【図１５】
2015026228.tif 000017
【図１６】
2015026228.tif 000018
【図１７】
2015026228.tif 000019
【図１８】
2015026228.tif 000020
【図１９】
2015026228.tif 000021