(57)【要約】【課題】画像上での手の位置によらずに、画像上に表された手の歪みを補正できる画像補正装置を提供する。【解決手段】画像補正装置は、画像上での手の位置に応じて、手を、画像を生成する画像取得部が有する撮像部に対して正対させる補正量を算出する補正量算出部（１４）と、画像上で手が写っている領域に含まれる各画素に対応する実空間上の個々の点の位置を補正量に応じて補正して、補正後の個々の点を補正画像上に投影して補正画像を生成する補正部（１５）とを有する。【選択図】図４
2015184809.tif 000002
【特許請求の範囲】
【請求項１】
画像上での手の位置に応じて、当該手を、前記画像を生成する画像取得部が有する撮像部に対して正対させる補正量を算出する補正量算出部と、
前記画像上で前記手が写っている領域に含まれる各画素に対応する実空間上の個々の点の位置を前記補正量に応じて補正して、補正後の前記個々の点を補正画像上に投影して該補正画像を生成する補正部と、
を有する画像補正装置。
【請求項２】
前記画像上で前記手が写っている領域を抽出する領域抽出部と、
前記画像上の前記撮像部の光軸に対応する点から前記手が写っている領域と所定の位置関係にある基準点までのシフト量を求めるシフト量検出部と、
前記シフト量に応じて前記撮像部の撮像面と平行な面を前記撮像部から前記基準点に対応する実空間上の点へ向かう方向に対して直交させるように回転させる傾き補正角を算出する傾き補正量算出部と、をさらに有し、
前記補正量算出部は、前記傾き補正角に応じて前記補正量を求める、請求項１に記載の画像補正装置。
【請求項３】
前記撮像面と平行な面に対する前記手の傾き角を算出する被写体傾斜角算出部をさらに有し、
前記補正量算出部は、前記手の傾き角と前記傾き補正角の和に基づいて前記補正量を求める、請求項２に記載の画像補正装置。
【請求項４】
前記補正量算出部は、前記補正量が所定の許容量以上である場合に前記補正量に1未満の補正係数を乗じて得られる値を前記補正量とする、請求項２または３に記載の画像補正装置。
【請求項５】
前記画像上で前記手が写っている領域を抽出する領域抽出部と、
前記画像上の前記撮像部の光軸に対応する点から前記手が写っている領域と所定の位置関係にある基準点までのシフト量を求めるシフト量検出部と、をさらに有し、
前記補正量算出部は、前記シフト量に応じて前記基準点に対応する実空間上の点を、前記撮像面と平行に前記光軸上へ移動させる移動量を前記補正量とする、請求項１に記載の画像補正装置。
【請求項６】
画像上での手の位置に応じて、当該手を、前記画像を生成する画像取得部が有する撮像部に対して正対させる補正量を算出し、
前記画像上で前記手が写っている領域に含まれる各画素に対応する実空間上の個々の点の位置を前記補正量に応じて補正して、補正後の前記個々の点を補正画像上に投影して該補正画像を生成する、
ことを含む画像補正方法。
【請求項７】
画像上での手の位置に応じて、当該手を、前記画像を生成する画像取得部が有する撮像部に対して正対させる補正量を算出し、
前記画像上で前記手が写っている領域に含まれる各画素に対応する実空間上の個々の点の位置を前記補正量に応じて補正して、補正後の前記個々の点を補正画像上に投影して該補正画像を生成する、
ことをコンピュータに実行させるための画像補正用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置、画像補正方法及び画像補正用コンピュータプログラムに関する。
【背景技術】
【０００２】
近年、指紋または静脈パターンなどの生体情報を利用して、個人を認証するか否かを判定する生体認証技術が開発されている。生体認証技術は、入退室の可否判定、コンピュータの使用可否の判断、またはオンライン取引における利用者確認など、様々なサービスへのアクセス可否判定において広く利用されている。
【０００３】
生体認証では、利用者の生体情報は、例えば、センサにより撮影され、その生体情報を表した画像が照合に利用される。生体認証装置は、例えば、利用者の生体情報を表した生体画像を、事前に登録された、登録利用者の生体情報を表した生体画像と照合して、利用者の生体情報と登録利用者の生体情報が一致するか否か判定する。そして生体認証装置は、利用者の生体情報と登録利用者の生体情報が一致すると判定した場合、利用者を、その登録利用者として認証する。
【０００４】
生体情報を撮影するセンサには、生体情報を含む部位がそのセンサに接触していなくても生体情報を撮影できる非接触式のセンサがある。例えば、生体情報として、手の静脈パターンを撮影する、非接触式の静脈センサが利用されている。
【０００５】
非接触式のセンサは、生体情報を撮影する際に、利用者がそのセンサに触れなくてもよいので、衛生的であるという利点がある。また、非接触式のセンサは、利用者に拘束感を感じさせずに生体情報を撮影することができるので、使い勝手が良いという利点もある。
【０００６】
一方、生体情報の撮影時において、生体情報を含む部位が自由な姿勢を取れるため、場合によっては、センサに対する生体情報を含む部位の姿勢が生体情報の撮影に不適切な姿勢となり、画像上に表された生体情報が歪むことがある。画像上に表された生体情報が歪むと、画像から生体情報の特徴点が抽出できなくなったり、生体情報が歪んでいない場合と比較して、複数の特徴点間の相対的な位置関係が変化してしまい、その結果として認証精度が低下するおそれがある。そこで、画像上に表された生体情報の歪みを補正する技術が提案されている（例えば、特許文献１及び２を参照）。
【０００７】
例えば、特許文献１には、指先形状データ及び指輪郭データから、指静脈認証装置への正しい指載置位置からの指変位量を検出して、取得した指静脈パターンを補正することが開示されている。
また、特許文献２には、静脈画像をLog-Polor変換することによって、画像の拡大縮小、平行移動、または回転を補正したり、あるいは、静脈面がカメラ光軸に垂直になるように傾斜を補正することが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−１９１８３８号公報
【特許文献２】特開２００７−２３３９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
非接触式のセンサで生体情報を撮影する際、センサから生体情報を含む部位までの距離が大きくなると、利用者にとってセンサの撮影範囲が分かり難くなり、生体認証装置の使い勝手が低下する。そこで、生体情報を含む部位とセンサ間の距離が短くても、生体情報全体を撮影できるように、センサが広角な撮像光学系を用いることがある。一般に、撮像光学系が広角になるほど、歪曲収差を小さくすることが困難になる。そして歪曲収差の量は、画角に応じて変化する。そのため、広角な撮像光学系を利用するセンサにより生成された画像では、歪曲収差により、画像上の生体情報を含む部位の位置に応じて、画像上での生体情報の歪みが変化する。そこで、生体認証装置は、センサにより得られた画像に対して歪曲収差を補正する画像処理を施してから、その画像を生体認証に利用することがある。
【００１０】
歪曲収差の補正は、センサの撮像面に投影した座標の間隔が、座標によらずに均一となるように画像を補正する直交座標系の処理である。一方、センサによる生体情報の撮影は、撮像光学系の前側主点を視点として、放射状に見渡したときに見える生体情報を撮像面に投影して得られる像を求める極座標系の処理である。そのため、立体的な被写体である、生体情報を含む部位が撮像光学系の光軸から外れた位置にある場合において、特許文献２に記載のように、その部位の撮像光学系と対向する面が撮像光学系の光軸に垂直になるように傾斜を補正すると、生体情報の像に矛盾が生じる。その結果として、歪曲収差の補正がなされても、画像上に表された生体情報が歪んでしまい、認証精度が低下する原因となり得る。
【００１１】
一つの側面では、本発明は、画像上での手の位置に応じて、画像上に表された手の歪みを補正できる画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
一つの実施形態によれば、画像補正装置が提供される。この画像補正装置は、画像上での手の位置に応じて、手を、画像を生成する画像取得部が有する撮像部に対して正対させる補正量を算出する補正量算出部と、画像上で手が写っている領域に含まれる各画素に対応する実空間上の個々の点の位置を補正量に応じて補正して、補正後の個々の点を補正画像上に投影して補正画像を生成する補正部とを有する。
【００１３】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１４】
画像上での手の位置に応じて、画像上に表された手の歪みを補正できる。
【図面の簡単な説明】
【００１５】
【図１】手の位置と手の傾き補正の関係を示す図である。
【図２】画像補正装置の一つの実施形態である生体認証装置の概略構成図である。
【図３】生体情報取得部の概略側面断面図である。
【図４】生体認証装置の処理部の機能ブロック図である。
【図５】画像補正処理の動作フローチャートを示す図である。
【図６】生体認証処理の動作フローチャートを示す図である。
【発明を実施するための形態】
【００１６】
以下、図を参照しつつ、画像補正装置について説明する。
図１は、手の位置と、手の傾き補正の関係を示す図である。図１において、手１００は、生体情報を撮影する画像取得部１０１の撮像光学系の前側主点である視点１０２から見て、撮像光学系の光軸ＯＡに対して、角度θの方向に位置している。手１００には奥行があるため、手１００の表面または内部の各特徴点を視点１０２からみたときのその特徴点の方向は、その特徴点の奥行方向の位置に応じて異なる。そのため、特許文献２に記載のように、手が光軸ＯＡに垂直となるように手の傾斜が補正されると、視点１０２からみたときの特徴点の方向がその特徴点の奥行き方向の位置によって変化する。そのため、画像上に表された、手１００に含まれる静脈パターンなどの生体情報は、その傾斜の補正によって歪む。
【００１７】
そこで本実施形態では、画像補正装置は、手１００が、画像取得部１０１、好ましくは画像取得部１０１の視点１０２に対して正対するように、画像上に写った手１００から、手１００の実空間の位置を推定して、その推定された位置の手１００を仮想的に角度θだけ傾ける。これにより、例えば、手のひらまたは手の甲が、視点１０２から手１００へ向かう視線と直交する。そして画像補正装置は、点線で示されるように、視点１０２に正対させた手１００’を撮像面に透視投影することで補正画像を得る。なお、画像上での手１００の位置は、視点から手１００の方向と１対１の対応関係にあるので、画像補正装置は、画像上の手１００の位置に応じて手１００を傾ける角度を求めることができる。
【００１８】
以下に説明する実施形態において、生体認証に利用する生体情報は、手の静脈パターンであるとする。しかし、生体認証に利用する生体情報は、手に含まれる他の生体情報、例えば、掌紋であってもよい。
【００１９】
また、「照合処理」という用語は、利用者の生体情報と登録利用者の生体情報の相違度合いまたは類似度合いを表す指標を算出する処理を示すために使用される。また、「生体認証処理」という用語は、照合処理だけでなく、照合処理により求められた指標を用いて、利用者を認証するか否かを決定する処理を含む、認証処理全体を示すために使用される。
【００２０】
さらに、「水平方向」とは、特に断りの無い限り、生体情報取得部により生成される静脈画像における横方向、及び、静脈画像上の横方向に対応する、生体情報取得部の撮像光学系の撮像面に平行な面における方向を表す。同様に、「垂直方向」とは、特に断りの無い限り、生体情報取得部により生成される静脈画像における縦方向、及び、静脈画像上の縦方向に対応する、生体情報取得部の撮像光学系の撮像面に平行な面における方向を表す。
【００２１】
図２は、画像補正装置の一つの実施形態である生体認証装置の概略構成図を示す。図２に示されるように、生体認証装置１は、表示部２と、入力部３と、生体情報取得部４と、ストレージ装置５と、メモリ６と、処理部７とを有する。表示部２、入力部３及び生体情報取得部４は、ストレージ装置５、メモリ６及び処理部７が収容された筺体とは別個に設けられてもよい。あるいは、表示部２、入力部３、生体情報取得部４、ストレージ装置５、メモリ６及び処理部７は、一つの筺体に収容されてもよい。また生体認証装置１は、半導体メモリカード及び光記憶媒体といった記憶媒体にアクセスする記憶媒体アクセス装置（図示せず）をさらに有してもよい。そして生体認証装置１は、例えば、記憶媒体アクセス装置を介して、記憶媒体に記憶された、処理部７上で実行される生体認証処理用のコンピュータプログラムを読み込み、そのコンピュータプログラムに従って生体認証処理を実行してもよい。
【００２２】
生体認証装置１は、生体情報取得部４により生成された利用者の手の静脈パターンを表す静脈画像に基づいて、その静脈パターンを登録利用者の静脈パターンと照合することにより、生体認証処理を実行する。そして生体認証装置１は、生体認証処理の結果、利用者を登録利用者の何れかとして認証した場合、生体認証装置１が実装された装置をその利用者が使用することを許可する。あるいは、生体認証装置１は、図示しない他の装置へ、利用者が認証された旨を表す信号を送信して、その利用者が他の装置を使用することを許可する。
【００２３】
表示部２は、例えば、液晶ディスプレイなどの表示装置を有する。そして表示部２は、例えば、手を置く位置を示すガイダンスメッセージなどを利用者に対して表示する。また表示部２は、処理部７により実行された生体認証処理の結果を表すメッセージ、あるいは実行中のアプリケーションに関連する各種情報などを表示する。
【００２４】
入力部３は、例えば、キーボード、マウス、またはタッチパッドなどのユーザインターフェースを有する。そして入力部３を介して利用者により入力された利用者のユーザ名またはユーザ番号といったユーザ識別情報、あるいはコマンド若しくはデータは、処理部７へ渡される。ただし、利用者が生体情報以外の情報を生体認証装置１に対して入力する必要がない場合、入力部３は省略されてもよい。
【００２５】
生体情報取得部４は、画像取得部の一例であり、利用者の何れかの手の静脈パターンを、例えば、手のひら側から撮影して、手の静脈パターンを表す静脈画像を生成する。
図３は、生体情報取得部４の概略側面断面図である。生体情報取得部４は、利用者の手を照明するための近赤外光を発する照明光源４１と、その近赤外光に感度を持つ固体撮像素子の２次元アレイにより形成されるエリアセンサ４２と、エリアセンサ４２上に所定の撮影範囲の像を結像する撮像光学系４３とを有する。照明光源４１、エリアセンサ４２及び撮像光学系４３は、上端が近赤外光に対して透明な樹脂で覆われた直方体状の筐体４４内に収容される。また、撮像光学系４３は、例えば、生体情報取得部４の上方数cmの位置が撮影範囲となり、その撮影範囲内に置かれた手の静脈パターン全体が静脈画像に写るように、例えば、対角線画角が70°以上となる広角レンズとすることができる。
【００２６】
また生体情報取得部４は、撮像光学系の周囲に配置され、利用者の手までの距離を測定する１個または複数個の距離センサを有していてもよい。
【００２７】
生体情報取得部４は、静脈画像を生成する度に、その静脈画像を処理部７へ出力する。また生体情報取得部４は、距離センサを有する場合、静脈画像生成時における、利用者の手までの距離の測定値を処理部７へ出力してもよい。
【００２８】
ストレージ装置５は、記憶部の一例であり、例えば、磁気記録ディスク及びそのアクセス装置を有する。そしてストレージ装置５は、生体認証装置１で使用されるアプリケーションプログラム、少なくとも一人の登録利用者のユーザ名、ユーザ識別番号及び個人設定情報、各種のデータ等を記憶する。またストレージ装置５は、生体認証処理を実行するためのプログラムを記憶する。さらにストレージ装置５は、登録利用者それぞれについて、登録利用者の生体情報である何れかの手の静脈パターンの特徴を表す照合用特徴情報を、その登録利用者のユーザ名、ユーザ識別番号といった登録利用者のユーザ識別情報とともに記憶する。なお、登録利用者の照合用特徴情報は、後述する登録処理によって求められ、ストレージ装置５に記憶される。
【００２９】
メモリ６は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ６は、処理部７上で実行中のプログラムで使用される各種のデータを一時的に記憶する。
【００３０】
処理部７は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部７は、生体情報取得部４から、利用者または登録利用者の何れかの手の静脈パターンが写った静脈画像を得る。処理部７は、静脈画像上の手の位置に応じて、手が生体情報取得部４の撮像光学系と正対するように、静脈画像上に写った手の領域に含まれる各画素に対応する実空間上の点の位置を補正する。そして処理部７は、補正後の各点を生体情報取得部４の撮像面に透視投影して補正された静脈画像を得る。処理部７は、補正された静脈画像から照合用特徴情報を抽出し、その照合用特徴情報を用いた生体認証処理または登録処理を実行する。
【００３１】
図４は、処理部７の機能ブロック図である。図４に示されるように、処理部７は、被写体抽出部１０と、シフト量検出部１１と、傾き補正量算出部１２と、被写体傾斜角算出部１３と、補正量算出部１４と、補正部１５と、特徴抽出部１６と、照合部１７と、認証判定部１８と、登録部１９とを有する。処理部７が有するこれらの各部は、処理部７が有するプロセッサ上で実行されるコンピュータプログラムによって実装される機能モジュールである。あるいは、処理部７が有するこれらの各部は、ファームウェアとして生体認証装置１に実装されてもよい。
【００３２】
被写体抽出部１０、シフト量検出部１１、傾き補正量算出部１２、被写体傾斜角算出部１３、補正量算出部１４、補正部１５及び特徴抽出部１６は生体認証処理及び登録処理の両方で使用される。このうち、被写体抽出部１０、シフト量検出部１１、傾き補正量算出部１２、被写体傾斜角算出部１３、補正量算出部１４及び補正部１５は、画像補正処理に関連する。また照合部１７及び認証判定部１８は、生体認証処理において使用される。一方、登録部１９は、登録処理において使用される。そこで以下では、先ず、生体認証処理及び登録処理で共通する各部の処理について説明する。
【００３３】
被写体抽出部１０は、静脈画像上で手が写っている領域である被写体領域と、手が写っていない領域である背景領域とを区別して、被写体領域を抽出する。例えば、生体情報取得部４が有する照明光源とエリアセンサが手の同じ側と対向するように配置されている場合、手が写っている画素の輝度値は、手が写っていない画素の輝度値よりも高い。そこで被写体抽出部１０は、例えば、被写体判定閾値以上の輝度値を持つ画素の集合を被写体領域として抽出する。被写体判定閾値は、例えば、予め設定された固定値（例えば、10）、あるいは静脈画像内の各画素の輝度値の平均値に設定される。
【００３４】
被写体抽出部１０は、被写体領域を表す情報をシフト量検出部１１へ通知する。なお、被写体領域を表す情報は、例えば、被写体領域に含まれる画素の値と背景領域に含まれる画素の値が異なるように設定された、静脈画像と同サイズの２値画像とすることができる。あるいは、被写体領域を表す情報は、被写体領域の外接矩形の左上端座標と右下端座標であってもよい。
【００３５】
シフト量検出部１１は、静脈画像上での手の位置に応じて、生体情報取得部４の光軸に相当する静脈画像の中心から、手を仮想的に回転させる回転中心となる基準点までの距離を求める。
【００３６】
例えば、シフト量検出部１１は、基準点を、被写体領域と所定の位置関係にある点に設定できる。例えば、シフト量検出部１１は、基準点を、被写体領域の内部の何れかの点に設定することができる。特に、シフト量検出部１１は、基準点を、被写体領域の重心、あるいは、被写体領域の外接矩形の中心、あるいは被写体領域の内接矩形の中心とすることが好ましい。このように基準点を設定することで、シフト量検出部１１は、手を撮像光学系の視点と正対させるための傾き角度を正確に設定できる。
【００３７】
シフト量検出部１１は、生体情報取得部４の撮像光学系の光軸に対応する静脈画像の中心(Cx,Cy)から、基準点(Rx,Ry)までの水平方向のシフト量Δx(=Rx-Cx)及び垂直方向のシフト量Δy(=Ry-Cy)を求める。そしてシフト量検出部１１は、水平方向のシフト量Δx及び垂直方向のシフト量Δyを、傾き補正量算出部１２へ通知する。またシフト量検出部１１は、基準点の座標を補正部１５へ通知する。
【００３８】
傾き補正量算出部１２は、基準点にある、生体情報取得部４の撮像光学系の撮像面と平行な面を、撮像光学系、好ましくはその視点と正対させる角度である傾き補正角を算出する。すなわち、傾き補正角は、撮像面と平行な面を、撮像光学系の視点から基準点に対応する実空間上の点への方向と直交させるように傾ける角度である。
【００３９】
再度図１を参照すると、傾き補正角は、視点１０２から基準点に対応する実空間上の点１０３の方向と、生体情報取得部４の撮像光学系の光軸ＯＡとのなす角θと等しいことが分かる。そこで傾き補正量算出部１２は、視点から基準点に対応する実空間上の点の方向と、撮像光学系の光軸ＯＡとのなす角θを算出する。
【００４０】
静脈画像上の各画素は、視点から見た方向と１対１に対応する。また、静脈画像の中心は、光軸ＯＡに対応するので、静脈画像の中心画素から着目する画素までの距離（画素数単位）は、その着目する画素に対応する、視点から見た方向と、光軸ＯＡとがなす角と１対１に対応する。このことは、撮像光学系が歪曲収差を持っている場合でも成り立つ。そこで、水平方向及び垂直方向のシフト量(Δx,Δy)と、(Δx,Δy)に対応する水平方向及び垂直方向の傾き補正角(θx,θy)が関係付けられた対応テーブルが予め準備され、ストレージ装置５に記憶される。傾き補正量算出部１２は、その対応テーブルを参照して、水平方向及び垂直方向のシフト量(Δx,Δy)に対応する水平方向及び垂直方向の傾き補正角(θx,θy)を求めることができる。
【００４１】
あるいは、傾き補正量算出部１２は、Shape from Shadingといった、画像に基づいて視点から被写体までの距離及び被写体の傾きを算出する画像解析手法を利用して、生体情報取得部４の撮像光学系の視点（すなわち、前側主点）から手までの距離Zを求めてもよい。あるいは、生体情報取得部４が距離センサを有する場合、距離センサによる距離の測定値に、光軸に沿った距離センサから撮像光学系の視点までの距離を加算して、視点から手までの距離Zを求めてよい。そして傾き補正量算出部１２は、水平方向のシフト量Δx及び垂直方向のシフト量Δy、エリアセンサの１画素あたりのサイズ及び撮像光学系の焦点距離に基づいて、基準点を、視点から、求めた距離だけ離れた位置にある、撮像面と平行な面に投影してもよい。これにより、傾き補正量算出部１２は、光軸ＯＡから、基準点に対応する、実空間上の点までの水平方向及び垂直方向の距離(ΔXw,ΔYw)を求めることができる。そして傾き補正量算出部１２は、次式に従って水平方向の傾き補正角θx及び垂直方向の傾き補正角θyを算出してもよい。
【数１】
2015184809.tif 000003
【００４２】
傾き補正量算出部１２は、水平方向の傾き補正角θx及び垂直方向の傾き補正角θyを補正量算出部１４へ通知する。
【００４３】
被写体傾斜角算出部１３は、生体情報取得部４の撮像光学系の撮像面に対する、手の傾き角である被写体傾斜角を算出する。
例えば、被写体傾斜角算出部１３は、Shape from Shadingなどの画像解析手法を利用して、水平方向の被写体傾斜角αx及び垂直方向の被写体傾斜角αyを算出する。
また、生体情報取得部４が、撮像光学系の周囲に配置された複数の距離センサを有することがある。この場合、被写体傾斜角算出部１３は、各距離センサによる距離の測定値間の差と、距離センサ間の間隔に基づいて、水平方向の被写体傾斜角αx及び垂直方向の被写体傾斜角αyを算出してもよい。
【００４４】
あるいはまた、被写体傾斜角算出部１３は、画像解析手法により算出された水平方向及び垂直方向の被写体傾斜角と、距離センサの測定に基づいて算出された水平方向及び垂直方向の被写体傾斜角とをそれぞれ平均してもよい。そして被写体傾斜角算出部１３は、水平方向及び垂直方向のそれぞれについて得られた平均値を、水平方向の被写体傾斜角αx及び垂直方向の被写体傾斜角αyを算出してもよい。
【００４５】
被写体傾斜角算出部１３は、水平方向の被写体傾斜角αx及び垂直方向の被写体傾斜角αyを補正量算出部１４へ通知する。
【００４６】
補正量算出部１４は、生体情報取得部４の撮像光学系、特に、撮像光学系の視点に対して仮想的に手を正対させるための水平方向の回転補正角Φx及び垂直方向の回転補正角Φyを算出する。本実施形態では、補正量算出部１４は、水平方向の回転補正角Φx及び垂直方向の回転補正角Φyを次式に従って算出する。
【数２】
2015184809.tif 000004
【００４７】
補正量算出部１４は、水平方向の回転補正角Φx及び垂直方向の回転補正角Φyを補正部１５へ通知する。
【００４８】
補正部１５は、生体情報取得部４の撮像光学系、特に、撮像光学系の視点に対して仮想的に手を正対させるように、被写体領域に含まれる各画素に対応する実空間上の個々の点の位置を、回転補正角(Φx,Φy)に基づいて補正する。補正部１５は、例えば、被写体領域に含まれる各画素に対応する手の個々の点について、Shape from Shadingなどの画像解析手法を利用して、視点からその個々の点までの距離を求める。そして補正部１５は、その個々の点について、対応する画素が示す方向と距離に基づいて実空間上の位置を推定することができる。
あるいは、補正部１５は、被写体領域に含まれる各画素について、その画素に対応する方向と、基準点に対応する実空間上の点を通り、かつ、撮像面と平行な面とが交差する点を求めることで、対応する実空間上の点の位置を推定してもよい。この場合には、画素ごとに距離を求めなくてもよいので、補正部１５は、演算量を削減できる。
【００４９】
補正部１５は、被写体領域に含まれる各画素に対応する手の個々の点を、基準点に対応する実空間上の点を通る垂直方向の線を回転軸として、水平方向の回転補正角Φxだけ回転させる。同様に、補正部１５は、被写体領域に含まれる各画素に対応する手の個々の点を、基準点に対応する実空間上の点を通る水平方向の線を回転軸として、垂直方向の回転補正角Φyだけ回転させる。
その後、補正部１５は、手の個々の点を、撮像面に透視投影することで、補正された静脈画像を生成する。透視投影の際に、歪曲収差の無い理想的な撮像光学系を規定することで、補正された静脈画像において、撮像光学系の歪曲収差による、手及び手の静脈パターンの歪みが補正される。
また、撮像面に対する手の傾きも打ち消すように、回転補正角が求められているので、補正された静脈画像において、手の傾きによる、手及び手の静脈パターンの歪みも補正される。
【００５０】
図５は、画像補正処理の動作フローチャートである。
処理部７は、生体情報取得部４から静脈画像を取得する（ステップＳ１０１）。
被写体抽出部１０は、静脈画像上で手が写っている被写体領域を抽出する（ステップＳ１０２）。
【００５１】
シフト量検出部１１は、被写体領域に基づいて基準点を決定し、静脈画像の中心から基準点までの水平方向のシフト量Δx及び垂直方向のシフト量Δyを求める（ステップＳ１０３）。そして傾き補正量算出部１２は、シフト量Δx、Δyに基づいて、手を仮想的に生体情報取得部４の撮像光学系に正対させるための水平方向の傾き補正角θx及び垂直方向の傾き補正角θyを算出する（ステップＳ１０４）。
【００５２】
また、被写体傾斜角算出部１３は、生体情報取得部４の撮像面に対する、水平方向における手の傾きを表す被写体傾斜角αx及び垂直方向における手の傾きを表す被写体傾斜角αyを算出する（ステップＳ１０５）。
【００５３】
補正量算出部１４は、傾き補正角θx、θyと被写体傾斜角αx、αyに基づいて、仮想的に手を撮像光学系に正対させるための水平方向の回転補正角Φx及び垂直方向の回転補正角Φyを算出する（ステップＳ１０６）。
【００５４】
補正部１５は、回転補正角Φx、Φyに応じて、撮像光学系に対して手が仮想的に正対するように、被写体領域に含まれる各画素に対応する実空間上の個々の点の位置を補正して撮像面に透視投影することで、補正された静脈画像を得る（ステップＳ１０７）。その後、処理部７は、画像補正処理を終了する。補正された静脈画像は、生体認証処理または登録処理で利用される。そのため、補正部１５は、補正された静脈画像を特徴抽出部１６へ渡す。
【００５５】
特徴抽出部１６は、補正された静脈画像から、手の静脈パターンの特徴を表す照合用特徴情報を求める。照合用特徴情報は、照合処理において、利用者の静脈パターンと登録利用者の静脈パターンが一致するか否かの判定に利用される。
【００５６】
特徴抽出部１６は、補正された静脈画像から被写体領域を抽出する。その際、特徴抽出部１６は、被写体抽出部１０による処理と同様の処理を補正された静脈画像に対して行えばよい。
次に、特徴抽出部１６は、被写体領域または被写体領域の内接矩形領域を、静脈判定閾値で２値化することで、静脈が写っている可能性がある画素の集合と、それ以外の画素の集合とに２値化した２値化静脈画像を作成する。例えば、静脈が写っている画素の輝度値は、その周囲の画素の輝度値よりも低い。そこで、特徴抽出部１６は、静脈判定閾値以下の輝度値を持つ画素を、静脈が写っている可能性がある画素とし、静脈判定閾値よりも高い輝度値を持つ画素を、静脈が写っていない画素とする。静脈判定閾値は、例えば、被写体領域内の各画素の輝度値の平均値に設定される。あるいは、静脈判定閾値は、被写体領域内の各画素の輝度値の分布に対して大津の２値化法を適用することによって決定されてもよい。なお、以下では、説明の便宜上、静脈が写っている可能性がある画素を、静脈候補画素と呼ぶ。
【００５７】
特徴抽出部１６は、２値化静脈画像について、静脈候補画素の集合に対して細線化処理を行うことにより、静脈候補画素が連結した線を、例えば１画素幅を持つ線に細線化する。細線化された個々の線は、一つの静脈を表す。静脈は、一般的に直線ではないので、特徴抽出部１６は、細線化された個々の線を複数の線分に分割することで、各静脈を複数の線分で近似的に表す。
【００５８】
なお、特徴抽出部１６は、補正２値化静脈画像そのものを、照合用特徴情報としてもよい。
【００５９】
特徴抽出部１６は、生体認証処理の実行時には、照合用特徴情報を照合部１７へ渡す。一方、特徴抽出部１６は、登録処理の実行時には、照合用特徴情報を登録部１９へ渡す。
【００６０】
（生体認証処理）
照合部１７は、特徴抽出部１６から受け取った利用者の照合用特徴情報と、入力部３を介して入力されたユーザ識別情報により特定された登録利用者の照合用特徴情報とを用いて、利用者の静脈パターンとその登録利用者の静脈パターンとを照合する。そして照合部１７は、照合処理の結果として、利用者の静脈パターンが登録利用者の静脈パターンに類似している度合いを表す照合スコアを求める。
【００６１】
照合部１７は、例えば、利用者の照合用特徴情報に含まれる各線分について、登録利用者の照合用特徴情報に含まれる複数の線分のうちの最も近い線分までの距離を算出する。そして照合部１７は、各線分についてのその距離の平均値を評価値として算出する。
照合部１７は、利用者の静脈パターンに対する登録利用者の静脈パターンの相対的な位置を変えつつ、評価値を算出し、その評価値の最小値の逆数を照合スコアとする。ただし、評価値の最小値が1未満であれば、照合スコアは1としてもよい。
【００６２】
また、補正２値化静脈画像が照合用特徴情報に含まれる場合、照合部１７は、利用者の補正２値化静脈画像と、登録利用者の補正２値化静脈画像間の相対的な位置を変えつつ、正規化相互相関値を算出する。そして照合部１７は、その正規化相互相関値の最大値を、照合スコアとしてもよい。
【００６３】
照合部１７は、照合スコア及び登録利用者の識別情報を認証判定部１８へ渡す。
【００６４】
認証判定部１８は、照合スコアが認証判定閾値以上となる場合、利用者の静脈パターンと、登録利用者の静脈パターンは一致すると判定する。そして認証判定部１８は、利用者を、その登録利用者として認証する。認証判定部１８は、利用者を認証すると、その認証結果を処理部７へ通知する。
【００６５】
一方、認証判定部１８は、照合スコアが認証判定閾値未満となる場合、利用者の静脈パターンと登録利用者の静脈パターンは一致しないと判定する。この場合には、認証判定部１８は、利用者を認証しない。認証判定部１８は、利用者の認証に失敗したことを示す認証結果を処理部７へ通知する。そして処理部７は、表示部２に、認証結果を表すメッセージを表示させてもよい。
【００６６】
認証判定閾値は、何れかの登録利用者本人が利用者である場合にのみ、認証判定部１８が認証に成功するような値に設定されることが好ましい。そして認証判定閾値は、登録利用者とは異なる他人が利用者である場合には、認証判定部１８が認証に失敗するような値に設定されることが好ましい。例えば、認証判定閾値は、照合スコアの取りうる最大値と最小値の差に0.7を乗じた値を、類似度の最小値に加えた値とすることができる。
【００６７】
図６は、処理部７により実行される生体認証処理の動作フローチャートである。
処理部７は、入力部３を介して、認証対象となる登録利用者を特定するためのユーザ識別情報を取得する（ステップＳ２０１）。また処理部７は、生体情報取得部４から認証を受けようとする利用者の静脈画像を受け取る。そして処理部７は、その静脈画像に対して画像補正処理を実行する（ステップＳ２０２）。
特徴抽出部１６は、補正された静脈画像から照合用特徴情報を抽出する（ステップＳ２０３）。
【００６８】
照合部１７は入力部３を介して入力されたユーザ識別情報により特定される登録利用者の照合用特徴情報をストレージ装置５から読み込む。そして照合部１７は、利用者の照合用特徴情報と登録利用者の照合用特徴情報を照合することにより、利用者の静脈パターンと登録利用者の静脈パターン間の照合スコアを算出する（ステップＳ２０４）。
【００６９】
認証判定部１８は、照合スコアが認証判定閾値以上となるか否か判定する（ステップＳ２０５）。照合スコアが認証判定閾値以上である場合（ステップＳ２０５−Ｙｅｓ）、認証判定部１８は、利用者の生体情報と登録利用者の生体情報は一致すると判定する。そして認証判定部１８は、利用者を、登録利用者として認証する（ステップＳ２０６）。認証判定部１８は、利用者を認証すると、その認証結果を処理部７へ通知する。そして処理部７は、認証された利用者が生体認証装置１が実装された装置あるいは生体認証装置１が接続された装置を利用することを許可する。
【００７０】
一方、類似度が認証判定閾値未満である場合（ステップＳ２０５−Ｎｏ）、利用者の生体情報は登録利用者の生体情報と一致しないと判定する。そのため、認証判定部１８は利用者を認証しない（ステップＳ２０７）。そして認証判定部１８は、利用者を認証しないことを処理部７へ通知する。この場合、処理部７は、認証されなかった利用者が生体認証装置１が実装された装置あるいは生体認証装置１が接続された装置を使用することを拒否する。また処理部７は、表示部２に、認証に失敗したことを示すメッセージを表示させてもよい。
ステップＳ２０６またはＳ２０７の後、処理部７は、生体認証処理を終了する。
【００７１】
また、いわゆる１：Ｎ認証方式が採用されている場合、すなわち、登録利用者のユーザ識別情報が入力されない場合、照合部１７は、各登録利用者について、それぞれ照合スコアを求める。そして照合部１７は、照合スコアが最大となる登録利用者を選択する。照合部１７は、照合スコアの最大値及びその最大値に対応する登録利用者のユーザ識別情報を認証判定部１８へ渡す。認証判定部１８は、照合スコアの最大値が認証判定閾値以上であれば、利用者を、その照合スコアの最大値に対応する登録利用者として認証する。
【００７２】
（登録処理）
登録部１９は、入力部３から、登録対象の利用者のユーザ名を取得する。そして登録部１９は、その利用者に対して一意に設定されるユーザ識別番号を設定する。そして登録部１９は、利用者のユーザ名及びユーザ識別番号を、特徴抽出部１６から受け取った照合用特徴情報とともにストレージ装置５に記憶する。これにより、利用者は、生体認証装置１が実装された装置の使用が許可される登録利用者として登録される。
【００７３】
以上に説明してきたように、この画像補正装置は、画像上の手の位置に応じて、手を生体情報取得部の撮像光学系と正対させるように仮想的に手を回転する。そしてこの画像補正装置は、その回転された手を撮像面に透視投影することで、撮像光学系から見た手の見え方を変えることなく、歪曲収差などによる、画像上に表された手の歪みを補正できる。
【００７４】
なお、変形例によれば、補正量算出部１４は、傾き補正量算出部１２により決定された水平方向の傾き補正角θx及び垂直方向の傾き補正角θyを次式に従って補正してもよい。そして補正量算出部１４は、補正された傾き補正角θ'x及びθ'yを、θx及びθyの代わりに（２）式に代入することで、水平方向の回転補正角Φx及び垂直方向の回転補正角Φyを求めてもよい。
【数３】
2015184809.tif 000005
ここで、Cx、Cyは、それぞれ、補正係数である。補正係数Cx、Cyを1未満の値とすることで、回転補正角が小さくなる。これにより、例えば、静脈画像上の手の位置から求めた基準点の位置が最適でない場合に、補正部１５が手を過剰に回転させることを抑制できる。したがって、画像補正装置は、補正された画像において手の生体情報の歪みが大きくなることを抑制できる。
【００７５】
なお、シフト量Δx及びΔyが大きくなるほど、撮像光学系の歪曲収差による影響も大きくなり、基準点が不適切となる可能性が高くなる。そこで補正量算出部１４は、補正係数Cxをシフト量Δxが大きいほど小さくしてもよい。同様に、補正量算出部１４は、補正係数Cyをシフト量Δyが大きいほど小さくしてもよい。
【００７６】
また他の変形例によれば、補正量算出部１４は、（２）式により求められた水平方向の回転補正角Φx及び垂直方向の回転補正角Φyのうち、所定の許容範囲から外れる方については、（２）式の代わりに次式に従って回転補正角Φx、Φyを求めてもよい。
【数４】
2015184809.tif 000006
ここで、κx、κyは、それぞれ補正係数である。（４）式により回転補正角Φx、Φyを決定することで、（２）式を用いる場合よりも回転補正角Φx、Φyが小さくなる。特に、補正係数κx、κyを0とすることで、手を撮像光学系に対して正対させる方向に回転させるようにする画像補正は行われなくなる。なお、所定の許容範囲は、例えば、生体情報取得部４の撮像面に対する手の傾き角の最大許容範囲、例えば、-20°〜+20°あるいは-15°〜+15°に設定される。
【００７７】
シフト量Δx、Δy、及び、撮像面に対する手の傾きに応じて回転補正角を決定する場合、回転補正角が非常に大きくなることがある。回転補正角が大きくなり過ぎると、補正部１５による補正によって画像上での手の変形が大きくなり、量子化ノイズなどのノイズが補正された画像に重畳されるおそれがある。このようなノイズは、静脈のアーティファクトを生じたり、あるいは、静脈の一部を判別し難くするので、画像から静脈パターンの特徴を抽出する際に悪影響を与える。そこで、補正量算出部１４は、上記の（４）式に従って回転補正角Φx、Φyを求めることで、補正された静脈画像に、補正に起因するノイズが重畳することを抑制できる。
【００７８】
また、この変形例においても、補正量算出部１４は、補正係数κxをシフト量Δxが大きいほど小さくしてもよい。同様に、補正量算出部１４は、補正係数κyをシフト量Δyが大きいほど小さくしてもよい。
【００７９】
あるいはまた、補正量算出部１４は、（２）式により求められた水平方向の回転補正角Φx及び垂直方向の回転補正角Φyのうち、所定の許容範囲から外れる方について、（４）式の代わりに、次式に従って回転補正角Φx、Φyを求めてもよい。
【数５】
2015184809.tif 000007
この場合、回転補正角Φx、Φyのうち、傾き補正角に起因する成分がより抑制される。
【００８０】
さらにまた、他の変形例によれば、生体情報取得部４が、手を載置させるための台を有することがある。この場合、撮像面に対して手はほぼ平行に載置されることが推定される。そこで、補正量算出部１４は、（２）式、（４）式または（５）式において、被写体傾斜角αx、αyを0として、回転補正角Φx、Φyを求めてもよい。この場合、被写体傾斜角算出部１３は省略されてもよい。
【００８１】
さらにまた、他の変形例によれば、画像補正装置は、手を、生体情報取得部４の撮像光学系に正対させるために、手を撮像光学系の正面へ仮想的に移動させてもよい。再度図１を参照すると、撮像面に平行な面１０４上にある手１００を光軸上まで移動させることで得られる、一点鎖線で示された仮想上の手１００”が、撮像部１０１と正対することが分かる。この場合には、補正量算出部１４は、傾き補正量算出部１２と同様に、水平方向のシフト量Δx及び垂直方向のシフト量Δyに基づいて、撮像光学系の光軸ＯＡから基準点に対応する、実空間上の点までの水平方向及び垂直方向の距離(ΔXw,ΔYw)を求める。そして補正量算出部１４は、基準点に対応する実空間上の点を面１０４に沿って光軸ＯＡまで移動させる水平方向の移動量(-ΔXw)及び垂直方向の移動量(-ΔYw)を補正量として算出する。
【００８２】
そして補正部１５は、被写体領域に含まれる各画素に対応する、実空間上の個々の点を、水平方向の移動量(-ΔXw)及び垂直方向の移動量(-ΔYw)だけ移動させ、その後、透視投影変換によって各点を撮像面上に投影することで、補正画像を得る。
この変形例によれば、回転補正量の算出及び回転による補正を行わなくてよいので、画像補正装置は、演算量を削減できる。
【００８３】
また、上記の各実施形態による処理部の機能をコンピュータに実現させる命令を有するコンピュータプログラムは、磁気記録媒体、光記録媒体あるいは不揮発性の半導体メモリといった、記録媒体に記録された形で提供されてもよい。なお、コンピュータ読取可能な記録媒体には、搬送波は含まれない。
【００８４】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００８５】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
画像上での手の位置に応じて、当該手を、前記画像を生成する画像取得部が有する撮像部に対して正対させる補正量を算出する補正量算出部と、
前記画像上で前記手が写っている領域に含まれる各画素に対応する実空間上の個々の点の位置を前記補正量に応じて補正して、補正後の前記個々の点を補正画像上に投影して該補正画像を生成する補正部と、
を有する画像補正装置。
（付記２）
前記画像上で前記手が写っている領域を抽出する手領域抽出部と、
前記画像上の前記撮像部の光軸に対応する点から前記手が写っている領域と所定の位置関係にある基準点までのシフト量を求めるシフト量検出部と、
前記シフト量に応じて前記撮像部の撮像面と平行な面を前記撮像部から前記基準点に対応する実空間上の点へ向かう方向に対して直交させるように回転させる傾き補正角を算出する傾き補正量算出部と、をさらに有し、
前記補正量算出部は、前記傾き補正角に応じて前記補正量を求める、付記１に記載の画像補正装置。
（付記３）
前記撮像面と平行な面に対する前記手の傾き角を算出する被写体傾斜角算出部をさらに有し、
前記補正量算出部は、前記手の傾き角と前記傾き補正角の和に基づいて前記補正量を求める、付記２に記載の画像補正装置。
（付記４）
前記基準点は、前記手が写っている領域の重心である、付記２または３に記載の画像補正装置。
（付記５）
前記基準点は、前記手が写っている領域の外接矩形または内接矩形の中心である、付記２または３に記載の画像補正装置。
（付記６）
前記補正量算出部は、前記傾き補正角に1未満の補正係数を乗じて得られる値に基づいて前記補正量を求める、付記２〜５の何れかに記載の画像補正装置。
（付記７）
前記補正量算出部は、前記補正量が所定の許容量以上である場合に前記補正量に1未満の補正係数を乗じて得られる値を前記補正量とする、付記２〜５の何れかに記載の画像補正装置。
（付記８）
前記補正量算出部は、前記補正量が所定の許容量以上である場合に前記補正量を０にする、付記２〜５の何れかに記載の画像補正装置。
（付記９）
前記画像上で前記手が写っている領域を抽出する手領域抽出部と、
前記画像上の前記撮像部の光軸に対応する点から前記手が写っている領域と所定の位置関係にある基準点までのシフト量を求めるシフト量検出部と、をさらに有し、
前記補正量算出部は、前記シフト量に応じて前記基準点に対応する実空間上の点を、前記撮像面と平行に前記光軸上へ移動させる移動量を前記補正量とする、付記１に記載の画像補正装置。
（付記１０）
画像上での手の位置に応じて、当該手を、前記画像を生成する画像取得部が有する撮像部に対して正対させる補正量を算出し、
前記画像上で前記手が写っている領域に含まれる各画素に対応する実空間上の個々の点の位置を前記補正量に応じて補正して、補正後の前記個々の点を補正画像上に投影して該補正画像を生成する、
ことを含む画像補正方法。
（付記１１）
画像上での手の位置に応じて、当該手を、前記画像を生成する画像取得部が有する撮像部に対して正対させる補正量を算出し、
前記画像上で前記手が写っている領域に含まれる各画素に対応する実空間上の個々の点の位置を前記補正量に応じて補正して、補正後の前記個々の点を補正画像上に投影して該補正画像を生成する、
ことをコンピュータに実行させるための画像補正用コンピュータプログラム。
【符号の説明】
【００８６】
１    生体認証装置（画像補正装置）
２    表示部
３    入力部
４    生体情報取得部
４１    照明光源
４２    エリアセンサ
４３    撮像光学系
５    ストレージ装置
６    メモリ
７    処理部
１０    被写体抽出部
１１    シフト量検出部
１２    傾き補正量算出部
１３    被写体傾斜角算出部
１４    補正量算出部
１５    補正部
１６    特徴抽出部
１７    照合部
１８    認証判定部
１９    登録部
【図１】
2015184809.tif 000008
【図２】
2015184809.tif 000009
【図３】
2015184809.tif 000010
【図４】
2015184809.tif 000011
【図５】
2015184809.tif 000012
【図６】
2015184809.tif 000013