(57)【要約】【課題】  外光などの環境条件や被写体の形状や透過率などの状態の変化に対応した広ダイナミックレンジでかつ精度の高い生体画像取得装置を提供する。【解決手段】  生体認証用の画像情報を取得する画像取得装置において、撮像手段と、前記撮像手段からの出力を濃度変換曲線に基づき濃度変換して出力する濃度変換手段と、生体情報の含まれる領域を判別して輝度分布を検出する生体情報輝度範囲検出手段と、前記濃度変換曲線が、生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるように、前記濃度変換手段を制御する制御手段とから構成される。生体情報の含まれる領域であることの判別は、画像情報の周波数分布を求め、空間周波数が一定レベルよりも高いとき、又は画像情報の輝度分布を外光入射時と比較し、輝度ばらつきが一定レベルよりも大きいことに基づく。【選択図】      図１
2005032067.tif 000002
【特許請求の範囲】
【請求項１】
生体認証用の画像情報を取得する画像取得装置において、撮像手段からの出力から生体情報の含まれる領域を判別する判別手段と、前記判別手段によって判別された生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるように制御する制御手段と、を有することを特徴とする生体画像取得装置。
【請求項２】
生体認証用の画像情報を取得する画像取得装置において、撮像手段と、前記撮像手段からの出力を濃度変換曲線に基づき濃度変換して出力する濃度変換手段と、生体情報の含まれる領域を判別して輝度分布を検出する生体情報輝度範囲検出手段と、前記濃度変換曲線が、生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるように、前記濃度変換手段を制御する制御手段と、を有することを特徴とする生体画像取得装置。
【請求項３】
前記撮像手段は、ＣＣＤセンサ又はＣＭＯＳセンサであることを特徴とする請求項１又は２に記載の生体画像取得装置。
【請求項４】
前記生体情報輝度範囲検出手段は、画像情報の周波数分布を求め、空間周波数が一定レベルよりも高いとき、生体情報の含まれる領域として判別することを特徴とする請求項２又は３に記載の生体画像取得装置。
【請求項５】
前記生体情報輝度範囲検出手段は、画像情報の輝度分布を外光入射時と比較し、輝度ばらつきが一定レベルよりも大きいとき、生体情報の含まれる領域として判別することを特徴とする請求項２又は３に記載の生体画像取得装置。
【請求項６】
生体認証用の画像情報を取得する画像取得装置において、撮像手段と、前記撮像手段からの画像のアナログ出力をデジタル出力に変換した後の信号を濃度変換曲線に基づき濃度変換して出力する濃度変換手段と、生体情報の含まれる領域を判別して輝度分布を検出して、設定された前記濃度変換曲線による濃度変換係数を算出する生体情報輝度範囲検出手段と、前記濃度変換曲線が、生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるように、前記濃度変換係数により前記濃度変換手段を制御する制御手段とから構成され、生体画像を濃度変換して取得することを特徴とする生体画像取得装置。
【請求項７】
生体認証用の画像情報を取得する画像取得装置において、撮像手段と、前記撮像手段からの画像のアナログ出力の信号を濃度変換曲線に基づき濃度変換する差動アンプと、生体情報の含まれる領域を判別して輝度分布を検出して、生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるように前記差動アンプのゲイン値及びオフセット値を算出して前記濃度変換曲線を設定する生体情報輝度範囲検出手段と、算出されたゲイン値及びオフセット値により前記差動アンプを制御する制御手段とから構成され、生体画像を濃度変換して取得することを特徴とする生体画像取得装置。
【請求項８】
請求項１〜７のいずれかに記載の画像取得装置と、前記画像取得装置からの画像信号と予め取得している生体の画像信号とを照合する照合手段とを備えたことを特徴とする生体認証システム。
【請求項９】
前記生体は、目、顔、手又は指であることを特徴とする請求項８に記載の生体認証システム。
【請求項１０】
請求項８又は９に記載の生体認証システムを搭載したことを特徴とする携帯端末。
【請求項１１】
生体認証用の画像情報を取得する生体画像取得方法において、撮像手段により生体を撮像し、前記撮像手段からの出力から生体情報の含まれる領域を判別して、生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるようにすることを特徴とする生体画像取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像取得装置及び画像取得方法に関し、特に、指紋認証等の生体認証システムに好適に搭載される生体画像取得装置及び生体画像取得方法に関する。
【背景技術】
【０００２】
指紋や顔、虹彩、掌紋などを用いた生体認証システムは、画像取得装置から生体の画像を取得して、この取得した画像から特徴抽出を行い、その情報を元に登録済みのデータと照合を行い、本人であることを認証する。
【０００３】
ここで、画像取得装置の検出方式としては、ＣＣＤやＣＭＯＳセンサを用いた光学方式や、静電容量方式、圧力検知方式、感熱方式、電界検出方式などがある。また、別の分類としては、２次元のエリアセンサを用いて被写体画像を一括して取得するタイプと、１次元センサあるいは副走査方向の画素数が５〜２０程度の帯状の２次元センサを用いて、被写体を副走査方向に順次撮像した画像を合成して全体画像を取得するタイプがある。
【０００４】
生体認証システムでは、画像取得装置から取得した画像に対してコントラストの改善やエッジ強調などの様々な画像処理を行った後、照合を行うための特徴抽出処理を実行している。
【０００５】
従来、生体認証システムにおけるコントラスト改善処理は、下記特許文献１の指掌紋押捺装置に紹介されているように、手動によるキー操作により表示画像濃度の調整入力を行い取得条件を調整したり、あるいは下記特許文献２の線図形画像の背景消去及び２値化処理方法で紹介されているように、画像取得装置で取得後の画像に対して後から演算処理を行っていた。
【特許文献１】特開平０８−２７２９５３号公報
【特許文献２】特開平０１−１５８５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の生体認証システムにおけるコントラスト改善処理では、手動での画像調整や、あるいは取得後の画像データに対して後処理として濃度変換処理を行うために、外光変化が大きい場合等にコントラストを十分改善できない問題があった。
【０００７】
例えば、室内と室外あるいは昼間と夜間など環境状態による外光の変化や個人の差による指の大きさや透過率の違い等で輝度レベルが大きく変化する。特に、携帯電話やＰＤＡなどに搭載された場合は、こうした外光変化が大きくなってしまう。このような場合に、後処理で取得画像を加工しようとしても、取得後の画像の飽和した領域や、黒つぶれしてしまった領域では、濃度階調データが既に失われてしまっているため、取得後の画像からは濃度差を復元できない。
【０００８】
手動で最適な条件を出そうとすると、調整作業が煩雑になるのでユーザの負担が大きくなるので、ＡＥ（自動露出補正機能）により、複数回撮像して露光条件を制御し直す構成が考えられるが、取得されたデータが飽和やつぶれてしまった場合は、どの程度露光条件を変化させるべきかの指標がないため、適正な露光にするまで何回かデータの取得を繰り返さなくてはならず、収束までに時間がかかってしまう。
【０００９】
さらに取得後の画像データを画像処理で濃度変換することは、もとの画像よりもビット精度が低下することを示すが、取得画像は一般的にデータ量を抑えるためあまり多いビット数にはできないので、画像処理後のビット精度は非常に低くなってしまい、Ｓ／Ｎ比が低下する問題もあった。
【００１０】
本発明の目的は、外光などの環境条件や被写体の形状や透過率などの状態の変化に対応した広ダイナミックレンジでかつ精度の高い生体画像取得装置、生体認証システム、及び生体画像取得方法を実現することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、生体認証用の画像情報を取得する画像取得装置において、撮像手段からの出力から生体情報の含まれる領域を判別する判別手段と、前記判別手段によって判別された生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるように制御する制御手段と、を有することを特徴とする生体画像取得装置を提供する。
【００１２】
また、生体認証用の画像情報を取得する画像取得装置において、撮像手段と、前記撮像手段からの出力を濃度変換曲線に基づき濃度変換して出力する濃度変換手段と、生体情報の含まれる領域を判別して輝度分布を検出する生体情報輝度範囲検出手段と、前記濃度変換曲線が、生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるように、前記濃度変換手段を制御する制御手段と、を有することを特徴とする生体画像取得装置を提供する。
【００１３】
また、生体認証用の画像情報を取得する画像取得装置において、撮像手段と、前記撮像手段からの画像のアナログ出力をデジタル出力に変換した後の信号を濃度変換曲線に基づき濃度変換して出力する濃度変換手段と、生体情報の含まれる領域を判別して輝度分布を検出して、設定された前記濃度変換曲線による濃度変換係数を算出する生体情報輝度範囲検出手段と、前記濃度変換曲線が、生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるように、前記濃度変換係数により前記濃度変換手段を制御する制御手段とから構成され、生体画像を濃度変換して取得することを特徴とする生体画像取得装置を提供する。
【００１４】
また、生体認証用の画像情報を取得する画像取得装置において、撮像手段と、前記撮像手段からの画像のアナログ出力の信号を濃度変換曲線に基づき濃度変換する差動アンプと、生体情報の含まれる領域を判別して輝度分布を検出して、生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるように前記差動アンプのゲイン値及びオフセット値を算出して前記濃度変換曲線を設定する生体情報輝度範囲検出手段と、算出されたゲイン値及びオフセット値により前記差動アンプを制御する制御手段とから構成され、生体画像を濃度変換して取得することを特徴とする生体画像取得装置を提供する。
【００１５】
また、生体認証用の画像情報を取得する生体画像取得方法において、撮像手段により生体を撮像し、前記撮像手段からの出力から生体情報の含まれる領域を判別して、生体情報領域の輝度の階調数の割合が生体情報領域外の階調数の割合よりも高くなるようにすることを特徴とする生体画像取得方法を提供する。
【００１６】
これにより、画像取得部の広いダイナミックレンジが確保できるため、外光などの環境条件や被写体の形状、大きさ、状態の変化に対応できる範囲がより大きくなり、検出能力の高い生体画像取得装置が実現できる。
【００１７】
また、濃度変換が適正でない場合も取得画像データ内に広いダイナミックレンジの情報があるために、濃度変換を適正にして画像を取得するまでの収束する時間を短くできる。
【００１８】
また、生体画像取得装置において濃度変換を実行しながら画像取得を行うため、取得した画像から特徴抽出をかけるまでの前処理でのビット精度の低下を抑えることができる。
【００１９】
さらに、広いダイナミックレンジの情報を得られるため、生体情報以外の領域の画像情報も（例えば外光などの周辺状況の検出など）有効に利用することが可能になる。
【発明の効果】
【００２０】
本発明によると、外光などの環境条件や被写体の形状や透過率などの状態の変化に対応した広ダイナミックレンジでかつ精度の高い生体画像取得装置を提供することができる。撮像装置の低コスト化、小型化を図りながら高い精度と認証速度の速さを両立できるため、例えば携帯端末における高性能な指紋認証システムを安価に提供できるという効果がある。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図面を参照して説明する。
【００２２】
［実施形態１］
図１は、本発明の実施形態１として、生体認証システムである指紋認証装置の模式的な構成を示すブロック図である。
【００２３】
本実施形態における指紋認証装置は画像取得部１０１と認証部１０２から成る。例えば、画像取得部１０１は画像センサを有した撮像ユニットで、また認証部１０２はパーソナルコンピュータにより実行される機能の組み合わせであったり、あるいは、画像取得部１０１と認証部１０２が１つの指紋認証ユニットとして組み合わされ、不図示のパーソナルコンピュータに接続される独立の装置の場合がある。
【００２４】
図１の画像取得部１０１において、１０３は照明用の光源（光照射手段）としてのＬＥＤ、１０４はＣＭＯＳ型，ＣＣＤなどの複数の画素からなる撮像素子部である。１０５は、撮像素子部１０１と光源を制御するタイミング発生部（ＴＧ部）、１０６は撮像素子部１０４からのアナログ出力を後段のＡＤコンバータで処理するのに適切なＤＣレベルにクランプするとともに、適切な増幅をするアンプ・クランプ部である。１０７ａが、ＡＤコンバータ部（ＡＤＣ部）であり、１０８ａが本実施形態における濃度変換部である。１０９が認証部１０２への通信部であり、取得画像の濃度変換後のデータを出力するとともに制御信号をやり取りする。１１０ａ，１１０ｂがアナログの画像データ信号線であり、１１０ｃ，１１０ｄがデジタルの画像データ信号線である。１１１が、認証部１０２からの制御を受けて各部を制御する制御線であり、１１２ａ〜１１２ｃがタイミング発生部１０５から各部に送られる駆動パルスの信号線である。
【００２５】
１１３がデータ信号線であり、１１４が制御信号線である。
【００２６】
認証部１０２において、１１５が通信部である。１１６が後段で特徴抽出を行うために、エッジ強調などの画像処理を行う前処理部である。１１７が、画像処理を行うためのフレームメモリ部である。１１８が、特徴抽出部であり、１１９が１１８で抽出された個人の特徴をデータベースに登録、あるいは登録済みのデータと比較照合する登録照合部である。１２０が個人のデータを保存するデータベース部である。
【００２７】
１２１は、前処理部の画像情報を用いて、生体であることを検知する生体検知部である。生体検知は偽造された偽指による誤認証をしないように搭載されている機能であり、画像の色や輝度変動を用いて指の血流や脈拍を検出して生体であることを判別する。１２２ａは、本実施形態における生体情報輝度範囲検出部であり、取得した画像情報の中から生体情報の含まれる領域を判別して、判別した生体情報領域の輝度分布を調べることにより、生体情報の含まれる輝度範囲を検出する。１２３ａが、生体情報輝度範囲検出部１２２ａをはじめ各部の情報を受けて画像取得部１０１を制御する制御部である。１２４ａ〜１２４ｃが画像データを伝送するデータ線である。１２５がデータベース部１２０と登録・照合部間のデータ線及び制御線である。１２６が特徴抽出部の抽出状態を伝える信号線であり、１２７，１２９ａは各部へ必要な画像情報を送る信号線であり、１２８は生体検知結果を伝える信号線、１３０ａは生体情報輝度範囲検出結果を伝える信号線、１３１は各部の状態を受けて画像取得部を制御する信号を伝送する信号線である。
【００２８】
本実施形態における画像取得部１０１からの画像出力データは、認証部１０２内の生体情報領域の輝度範囲検出結果を受けて、ＡＤ変換後のデジタルデータに対して生体情報領域の階調割合が大きくなるように濃度変換を行われて出力される。
【００２９】
図２は、生体情報輝度範囲検出部１２２ａの内部構成を示すブロック図である。
【００３０】
図２において、２０１及び２０７は生体情報輝度範囲検出部１２２ａの入力端子及び出力端子を模式的に示している。２０２は、取得画像領域を複数の領域に分割する領域分割部である。ここでは、取得画像を縦横各８分割して、６４の小領域に分割する。２０３は、各領域毎に高速フーリエ変換（ＦＦＴ）を実行して空間周波数を求める領域毎空間周波数算出部、２０４は算出した空間周波数成分から指紋特有の周波数が含まれるかどうかを判別する生体情報領域検出部である。指紋の場合には、一般的に指紋の稜線間のピッチが５０〜２００μｍ程度なので、この周波数成分が存在する領域を生体情報領域として検出する。２０５は、２０４で検出された生体情報領域のデータから輝度分布を調べる生体情報領域輝度分布算出部である。２０６は、２０５で得られた輝度分布から、該当輝度範囲の階調数が増加するように濃度変換する係数を算出する濃度変換係数算出部である。２０８ａ〜ｆはデータ信号線である。
【００３１】
図３は、生体情報領域検出の様子を模式的に示した図である。
【００３２】
図３（ａ）において、３０１が取得した画像全体であり、３０２が指の画像である。３０３ａ，３０３ｂに示すように縦８、横８の６４領域に取得画像領域を分割して、各領域の画像の空間周波数成分を求める。求めた空間周波数成分のうち、指紋の周波数成分が一定以上の割合を示した領域を輝度分布を求める生体情報領域として判別する。ここでは、８０％程度の面積が指紋で占められた場合に判別するように設定している。その結果、図３（ｂ）で示した領域３０４は低周波成分の輝度変化しか含まれない外光成分が多い領域と判断する一方、領域３０５は指紋の凹凸からなる高周波成分の輝度変化が多く存在する領域と判別できる。これにより、領域３０５の輝度分布を求めることで階調割合を高くすべき輝度範囲を求める。
【００３３】
図４は、濃度変換部１０８ａの入出力信号を示す図であり、図５は、濃度変換部１０８ａの濃度変換曲線を示す図である。
【００３４】
図４（ａ），（ｂ）において、図３（ｂ）の３０６で示した直線に沿った位置における濃度変換部１０８ａの入力（ａ）及び出力（ｂ）での画像データを示す。
【００３５】
ここでは、１０２４階調の入力を濃度変換して２５６階調で出力する。Ｘ1，Ｘ2は図３の直線３０６上の位置を示している。ａ1〜ｂ1は、生体情報輝度範囲検出部１２２ａで検出した輝度範囲である。
【００３６】
本実施形態の濃度変換は、図５に示すように、入力レベル０〜ａ1、ａ1〜ｂ1、ｂ1〜１０２３の３つの入力範囲に対して異なる傾きを持った直線で変換が行われる。こうした濃度変換は、入力階調数分の入力値に対して出力値をそれぞれ記憶した変換テーブルを用意して自由な曲線で変換を行ってもよいが、その場合テーブルの占める回路規模が大きくなってしまう。そこで、本実施形態では図５に示したように２点で傾きが切り替わる直線で代用することにより回路規模を簡素化できる。さらに、あらかじめ設定した変換直線を何種類か用意して入力の輝度範囲に応じて切り替える構成や、あるいはａ1，ｂ1を決めると演算で変換直線を算出する構成にすることで濃度変換部の回路規模を抑えることができる。
【００３７】
この濃度変換を、図４（ａ）の入力データに適用した場合、図４（ｂ）の出力データに変換される。輝度レベル範囲ａ1〜ｂ1が、ａ2〜ｂ2に変換されて生体情報である指紋パターンの情報がコントラストが高くなるように変換され、占める階調割合が高くなっていることがわかる。一方、外光成分が支配的なその他の領域は０〜ａ2、ｂ2〜２５５のように階調割合が低く変換されている。特に、入力が０〜ａ1の間及びｂ1〜１０２３の間において、出力を黒つぶれあるいは白飽和させずに階調を持たせることで濃度変換が適正範囲から外れた場合も適正値に修正するために必要な値を計算で求めることが可能になるので適正値に収束する時間が短縮できる。
【００３８】
次に、本実施形態の生体情報輝度範囲検出部１２２ａで実行される生体情報輝度範囲検出ルーチンを説明する。
【００３９】
図６は、生体情報輝度範囲検出部１２２ａで実行される生体情報輝度範囲検出ルーチンを示すフローチャートである。
【００４０】
図６において、６０１で生体情報輝度範囲検出ルーチンに入ると、６０２において有効画像領域を小領域に分割する。６０３において、この小領域毎に空間周波数を算出する。６０４において閾値Ｆｔ以上（本実施形態では指紋のピッチ＝３００μｍ以下）の空間周波数が８０％以上含まれる領域を生体情報領域とする。６０５において、６０４で判別された生体情報領域の輝度分布を求める。６０６において、輝度分布から、生体情報輝度範囲ａin，ｂinを設定する。求めた生体情報輝度範囲ａin＝ａ1，ｂin＝ｂ1から、６０７において濃度変換係数を求める。例えば、輝度レベル範囲ａ1〜ｂ1が、ａ2〜ｂ2に変換されるばあい、範囲ａ1〜ｂ1の濃度変換直線の式はｙ＝ａｘ＋ｂとして求める。ただしａ＝（ａ2−ｂ2）／（ａ1−ｂ1），ｂ＝（ａ2ｂ1−ａ1ｂ2）／（ａ1−ｂ1）。６０８において、ルーチンを終了する。
【００４１】
次に、本実施形態の認証部１０２で実行される画像取得ルーチンを説明する。
【００４２】
図７は、本実施形態の認証部１０２で実行される画像取得ルーチンを示すフローチャートである。
【００４３】
７０１で画像取得ルーチンに入ると、７０２において、取得した第一の画像データに対して、図６で説明した生体情報輝度範囲検出ルーチンを実行する。生体情報輝度範囲検出ルーチンにおいて、濃度変換係数が適切かあるいは不適切で変更が必要かの判断を７０３で行う。濃度変換係数が変更が必要な場合は、７０４において、制御部１２３ａ、通信部１１５を介して画像取得部１０１内の濃度変換部１０８ａの設定、すなわち濃度変換曲線の設定を変更するように制御命令を通信する。７０３で濃度変換係数を変換しない場合、７０５に進む。７０５において、第二の画像データを取得するように制御部１２３ａ、通信部１１５を介して画像取得部１０１に画像取得命令を通信して、７０６においてルーチンを終了する。
【００４４】
図８は、他の例の濃度変換部１０８ａの入力信号を示す図である。
【００４５】
図８において、図３（ｂ）の３０６で示した直線に沿った位置における、図４（ａ）とは異なる環境下での濃度変換部１０８ａの入力の画像データを示す。
【００４６】
図４（ａ）は、例えば晴天下の屋外の使用時での入力画像であり、指以外の領域は外光で飽和しており、また指部の出力も光源と外光の両者で照明されるため、全体的に輝度が高くなっている。一方、図８は、屋内や夜間など暗い環境での使用時の入力画像であり、光源により指は照明されるが、指以外の領域は照明されないため輝度が低く、また指部の出力も光源による照明のため全体的に輝度は低くなっている。このため、生体情報輝度範囲は、ａ3〜ｂ3の範囲となっている。
【００４７】
図９は、この場合の濃度変換曲線を、図１０は、その時の出力信号を示す図である。
【００４８】
図９において、９０１は最適化前の濃度変換曲線であり、９０２が生体情報輝度範囲を検出後最適化された濃度変換曲線である。濃度変換係数が最適化される前は、９０１の濃度変換曲線のため、生体情報輝度範囲がａ3〜ｂ3の画像に対する出力は図９にしたがって図１０（ａ）のａ4〜ｂ4に濃度変換される。この結果、濃度変換は最適化されていないことが判別される一方、入力がａ3〜ｂ3のとき、出力がａ4〜ｂ4になる点から濃度変換曲線を９０２に切り替えなければいけないことが、判別される。濃度変換曲線変換後は、生体情報輝度範囲がａ3〜ｂ3の画像に対する出力は図９にしたがって図１０（ｂ）のａ2〜ｂ2に濃度変換される。これにより、周りの環境や被写体の透過率、乾燥状態などの条件により大幅に変化する輝度分布に対して、指紋の凹凸パターン情報の階調数割合が高くなるように制御可能にしている。
【００４９】
このように本実施形態では、生体情報輝度範囲検出手段により判別した生体情報の含まれる輝度範囲の階調割合が高くなるように、撮像手段からの信号をＡＤ変換した後に、１２ビットの信号を８ビットに階調変換する際に濃度変換曲線を設定して画像取得を行うことを特徴とした生体認証システムを例示した。ここでは、撮像手段で得られた第一の画像情報から周波数分布を求めることで、生体情報の含まれる領域を判別して生体情報の輝度範囲の識別を行い、識別した生体情報の含まれる輝度範囲の階調数の割合を増加させるように濃度変換手段を制御して、第二の画像情報の取得を行っている。
【００５０】
これにより、外光などの環境条件や被写体の形状、大きさ、状態の変化に対応により、指紋パターンの輝度出力のＤＣ成分（オフセット）やコントラストが大幅に変化しても、取得画像データ内に広いダイナミックレンジの情報があるために、濃度変換を適正にして画像を取得するまでの収束する時間を短くできる。
【００５１】
また、画像取得後にはじめて認証装置側で濃度変換するのではなく、画像取得装置において濃度変換を実行しながら画像取得を行うため、取得した画像から特徴抽出をかけるまでの前処理でのビット精度の低下を抑えることができる。
【００５２】
さらに、本発明の構成は広いダイナミックレンジの情報を得られるため、通常であれば飽和して白つぶれしたり、低階調側が黒つぶれしてしまうような指の領域以外の外光を検出することができる。
【００５３】
なお、本実施形態では、生体情報輝度範囲の検出に複雑な画像処理を実行して指紋パターンを検出しなくても周波数情報のみを検出すればよい構成である点や、濃度変換回路に大規模な変換テーブルを用いず直線近似を行うことで、回路を簡素化した点などにより回路の小型化が実現できる。処理回路の小型化は、携帯電話機、携帯可能なパーソナルコンピュータ、ＰＤＡ（パーソナルデータアシスタント）等の携帯機器のように携帯性が要求されるものに好適である。
【００５４】
また本実施形態では、指の指紋により被写体（本人）の照合を行うシステムについて説明したが、目の網膜、顔の輪郭等の人相、手の形状，大きさ等により被写体（本人）の照合を行うシステムについても同様に用いることができる。
【００５５】
［実施形態２］
図１１は、本発明の実施形態２として、生体認証システムである指紋認証装置の模式的な構成を示すブロック図である。
【００５６】
本実施形態における指紋認証装置は実施形態１同様、画像取得部１０１と認証部１０２からなる。ここで、実施形態１と同様の部分については同じ番号を付与している。本実施形態では、画素が主走査方向にライン状に配列するとともに副走査方向に１０行〜２０行程度配列した帯状のセンサに対して、指を副走査方向に滑らせて複数の画像を撮像したものを合成して１枚の指紋画像を取得するスウィープ型のセンサに適用した場合を例示する。
【００５７】
図１１の画像取得部１０１において、１０３は照明用の光源（光照射手段）としてのＬＥＤ、１０４はＣＭＯＳ型，ＣＣＤなどの複数の画素からなる撮像素子部である。１０５は、撮像素子部と光源を制御するタイミング発生部（ＴＧ部）、１０６ｂは撮像素子部１０４からの信号を後段の回路で処理するのに適切なＤＣレベルにクランプするクランプ部である。１０７ｂが、ＡＤコンバータ部（ＡＤＣ部）である。ここで、１０８ｂが本実施形態における濃度変換部であり、アナログ出力のまま、ＤＣオフセットと線形性を制御する。
【００５８】
１０９が認証部１０２への通信部であり、取得画像の濃度変換後のデータを出力するとともに制御信号をやり取りする。１１０ｅ〜１１０ｇがアナログの画像データ信号線であり、１１０ｈがデジタルの画像データ信号線である。１１１が、認証部１０２からの制御を受けて各部を制御する制御線であり、１１２ａ〜１１２ｃがＴＧ部１０５から各部に送られる駆動パルスの信号線である。
【００５９】
１２２ｂは、本実施形態における生体情報輝度範囲検出部であり、取得した画像情報の中から生体情報の含まれる領域を判別して、判別した生体情報領域の輝度分布を調べることにより、生体情報の含まれる輝度範囲を検出する。１２９ｂはデジタルの画像信号線である。１３０ｂは検出結果の出力デジタル信号線であり、１３２が、濃度変換制御部（ＤＡＣ）である。
【００６０】
ここで、濃度変換部１０８ｂはゲインが可変制御できる差動アンプであり、差動入力の一方が濃度変換制御部１３２のアナログ出力に接続されている。生体情報輝度範囲の検出結果を受けて濃度変換制御部１３２は、差動アンプ１０８ｂの一方の入力に与えるアナログ電位を制御することでＤＣオフセットを制御するとともに、差動アンプ１０８ｂの定電流源を制御してゲインを制御する。これにより、ＤＣオフセットと線形性を制御して濃度変換を行う。１３３が差動入力の一方の信号線であり、１３４が定電流源の制御信号線である。
【００６１】
１１３がデータ信号線であり、１１４が制御信号線である。
【００６２】
認証部１０２において、１１５が通信部である。
【００６３】
１１６が後段で特徴抽出を行うために、エッジ強調などの画像処理を行う前処理部である。１１７が、画像処理を行うためのフレームメモリ部１である。１１８が、特徴抽出部であり、１１９が特徴抽出部１１８で抽出された個人の特徴をデータベースに登録、あるいは登録済みのデータと比較照合する登録照合部である。１２０が個人のデータを保存するデータベースである。
【００６４】
ここで、１３５が指を副走査方向に滑らせて撮像した複数の画像をつないで1枚の指紋画像を取得する画像合成部であり、１３６が画像処理を行うためのフレームメモリ部２である。
【００６５】
１２１は、前処理部の画像情報を用いて、生体であることを検知する生体検知部である。生体検知は偽造された偽指による誤認証をしないように搭載されている機能であり、画像の色や輝度変動を用いて指の血流や脈拍を検出して生体であることを判別する。
【００６６】
１２３ｂが、生体検知部等の各部の情報を受けて画像取得部を制御する制御部である。
【００６７】
１２４ａ〜１２４ｄが画像データを伝送するデータ線である。１２５がデータベースと登録・照合部間のデータ線及び制御線である。１２６が特徴抽出部の抽出状態を伝える信号線であり、１２７は生体検知部へ必要な画像情報を送る信号線であり、１２８は生体検知結果を伝える信号線、１３１は画像取得部を制御する信号を伝送する信号線である。
【００６８】
本実施形態における画像取得部１０１からの画像出力データは、画像取得部１０１内で判別した生体情報領域の輝度範囲検出結果を受けて、ＡＤ変換前のアナログデータに対して生体情報領域の階調割合が大きくなるように濃度変換を行われて認証部１０２に出力される。
【００６９】
図１２は、生体情報輝度範囲検出部１２２ｂの内部構成を示すブロック図である。
【００７０】
図１２において、１２０１及び１２０７は生体情報輝度範囲検出部１２２ｂの入力端子及び出力端子を模式的に示している。１２０２は、取得画像領域から主走査方向の中央領域を取得する中央領域切り出し部である。１２０３は直前の輝度との比較を行い、指が置かれていないとき＝外光が入力しているときとセンサ上に指が置かれたときを判別する外光判別部である。１２０４は外光判別結果から中央領域切り出し部１２０２で切り出した画像が、指が置かれたときの生体画像であることを検出する生体情報領域検出部である。１２０５は、１２０４で検出された生体情報領域のデータから輝度分布を調べる生体情報領域輝度分布算出部である。１２０６は、１２０５で得られた輝度分布から、該当輝度範囲の階調数が増加するように濃度変換する差動アンプのゲイン値及びオフセット値を算出する濃度変換曲線設定部である。１２０８ａ〜１２０８ｆはデータ信号線である。
【００７１】
図１３は、濃度変換部１０８ｂの入出力信号を示す図であり、図１４は、濃度変換部１０８ｂの濃度変換曲線を示す図である。
【００７２】
図１３（ａ），（ｂ）に、濃度変換部１０８ｂの入力（ａ）及び出力（ｂ）でのアナログ画像データを示す。
【００７３】
ここでは、０〜Ｖ1までの入力信号を濃度変換して０〜Ｖ2までの出力信号に変換して出力する。Ｘ1，Ｘ2は指の撮像画像における主走査方向の位置を示している。ｃ1〜ｄ1は、生体情報輝度範囲検出部１２２ｂで検出した輝度範囲であり、ｅ1がその中心値である。
【００７４】
本実施形態の濃度変換は、図１４の１４０１に示すように、入力レベルｃ1〜ｄ1で線形になる２つの変極点を有した曲線で変換が行われる。この特性は、差動アンプの線形領域をｃ1〜ｄ1になるように適切なオフセットとゲインを与えることにより得ているため、簡単な回路で実現可能である。
【００７５】
この濃度変換を、図１３（ａ）の入力データに適用した場合、図１３（ｂ）の出力データに変換される。輝度レベル範囲ｃ1〜ｄ1が、ｃ2〜ｄ2に変換されて生体情報である指紋パターンの情報がコントラストが高くなるように変換され、占める階調割合が高くなっていることがわかる。一方、外光成分が支配的なその他の領域は０〜ｃ2、ｄ2〜Ｖ2のように階調割合が低く変換されている。
【００７６】
特に、入力が０〜ｃ1の間及びｄ1〜Ｖ1の間において、出力を黒つぶれあるいは白飽和させずに階調を持たせることで濃度変換が適正範囲から外れた場合も適正値に修正するために必要な値を計算で求めることが可能になるので適正値に収束する時間が短縮できる。例えば、図１４において濃度変換曲線が１４０２であった場合、輝度レベル範囲ｃ1〜ｄ1の中心値ｅ1は、ｅ3に変換して出力されてしまう。本来、生体情報領域の輝度中心値はｅ2に出力されてほしく、またその振幅はｃ2〜ｄ2になってほしい。このため、濃度変換制御部１３２は濃度変換部のゲインＧ1を以下のように求める。また差動入力をＤＶ1だけ増加させる。
Ｇ1＝（ｄ2−ｃ2）／（ｄ1−ｃ1）、ＤＶ1＝（ｅ3−ｅ2）／Ｇ1
次に、本実施形態の生体情報輝度範囲検出部１２２ｂで実行される生体情報輝度範囲検出ルーチンを説明する。
【００７７】
図１５は、本実施形態の生体情報輝度範囲検出部１２２ｂで実行される生体情報輝度範囲検出ルーチンを示すフローチャートである。
【００７８】
図１５において、１５０１で生体情報輝度範囲検出ルーチンに入ると、１５０２において、有効画像領域から中央領域を切り出しを切り出す。本実施形態の場合は主走査方向の中央領域を切り出す。指が置かれた場合は、指の腹の画像領域に該当する。ここで、１５０３において、この中央領域の画像信号の標準偏差をばらつきとして算出して、あらかじめ判断レベルとして設定している指の置かれていない外光時のばらつきの値と比較する。指が置かれていない場合は、室外の日光の下では出力が飽和に近く変化が少なかったり、あるいは夜間の室内は暗くほとんど出力がないのでやはり変化＝輝度ばらつきが少ない。一方、指が置かれた場合は、指のしわや指紋のパターンが輝度変化に現れるため、輝度ばらつきが一定のレベルより大きくなる。したがって、ばらつきが小さい場合はルーチンを終了する一方、ばらつきが大きい場合は１５０４に進んで、この切り出し領域を生体情報領域と判別する。１５０５で、この領域の輝度分布を求めて、１５０６で輝度分布から、濃度変換曲線を設定するための差動アンプを制御するゲイン値及びオフセット値を算出して、１５０７でルーチンを終了する。
【００７９】
次に、本実施形態の画像取得部１０１で実行される濃度変換部最適化ルーチンを説明する。
【００８０】
図１６は、本実施形態の画像取得部１０１で実行される濃度変換部最適化ルーチンを示すフローチャートである。
【００８１】
１６０１で濃度変換部最適化ルーチンに入ると、１６０２において、濃度変換曲線が設定済みかどうかを判別する。これは、スウィープ型センサのため、1枚の指の全体画像を取得するために、複数の部分画像を取得して合成しなくてはならないため、部分画像毎に濃度変換曲線を変化させると本来の指紋パターンによる輝度変化が検出しにくくなるのを防ぐため、一旦濃度変換曲線を最適化したら固定するためである。１６０２で設定済みの場合はルーチンを終了する。１６０３において、濃度変換曲線が設定されていない場合は、前部分画像データに対して、図１５で説明した生体情報輝度範囲検出ルーチンを実行する。１６０４で生体情報の輝度範囲を検出した場合は、１６０５において、濃度変換部を設定する。すなわち、生体情報輝度範囲検出ルーチンで算出した差動アンプを制御するゲイン値及びオフセット値を用いて濃度変換曲線を設定する。１６０４で生体情報の輝度範囲を検出しない場合はルーチンを終了する。このルーチンは、部分画像を取得する毎に実行される。
【００８２】
このように本実施形態では、生体情報輝度範囲検出手段により判別した生体情報の含まれる輝度範囲の階調割合が高くなるように、撮像手段からの信号をＡＤ変換前の増幅手段において濃度変換曲線を設定して画像取得を行うことを特徴とした生体認証システムを例示した。ここでは、撮像手段で得られた第一の部分画像情報から輝度ばらつきを求めることで、生体情報の含まれる領域を判別して生体情報の輝度範囲の識別を行い、識別した生体情報の含まれる輝度範囲の階調数の割合を増加させるように濃度変換手段を制御して、第二の部分画像情報の取得を行っている。
【００８３】
これにより、外光などの環境条件や被写体の形状、大きさ、状態の変化に対応により、指紋パターンの輝度出力のＤＣ成分（オフセット）やコントラストが大幅に変化しても、取得画像データ内に広いダイナミックレンジの情報があるために、濃度変換を適正にして画像を取得するまでの収束する時間を短くできる。
【００８４】
また、画像取得後にはじめて認証装置側で濃度変換するのではなく、画像取得装置において濃度変換を実行しながら画像取得を行うため、取得した画像から特徴抽出をかけるまでの前処理でのビット精度の低下を抑えることができる。
【００８５】
さらに、本発明の構成は広いダイナミックレンジの情報を得られるため、通常であれば飽和して白つぶれしたり、低階調側が黒つぶれしてしまうような指の領域以外の外光を検出することができる。
【００８６】
特に、スウィープ型のセンサにおいて、部分画像を取得しながらフィードバックをかけて最適値になるよう濃度変換を行う構成にできるため、１回の指をなぞる動作の最初の数枚の部分画像の中で設定を終えることができるので、画像のコントラストやオフセットが不適切で指をもう一度なぞるようにユーザにやり直しおさせる失敗を防ぐことができ、使い勝手が高く、また精度も高い指紋認証装置が実現できる。
【００８７】
なお、本実施形態では、生体情報輝度範囲の検出に複雑な画像処理を実行して指紋パターンを検出しなくても輝度のばらつき情報のみを検出すればよい構成である点や、濃度変換回路に差動アンプの線形性を利用することで、回路を簡素化した点などにより回路の小型化が実現できる。処理回路の小型化は、携帯電話機、携帯可能なパーソナルコンピュータ、ＰＤＡ（パーソナルデータアシスタント）等の携帯機器のように携帯性が要求されるものに好適である。
【００８８】
また本実施形態では、指の指紋により被写体（本人）の照合を行うシステムについて説明したが、目の網膜、顔の輪郭等の人相、手の形状，大きさ等により被写体（本人）の照合を行うシステムについても同様に用いることができる。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態１における指紋認証装置の模式的な構成を示すブロック図
【図２】同じく生体情報輝度範囲検出部１２２ａの内部構成を示すブロック図
【図３】同じく生体情報領域検出の様子を模式的に示した図
【図４】同じく濃度変換部１０８ａの入出力信号を示す図
【図５】同じく濃度変換部１０８ａの濃度変換曲線を示す図
【図６】同じく生体情報輝度範囲検出部１２２ａで実行される生体情報輝度範囲検出ルーチンを示すフローチャート
【図７】同じく認証部１０２で実行される画像取得ルーチンを示すフローチャート
【図８】同じく他の例の濃度変換部１０８ａの入力信号を示す図
【図９】同じく図８の場合の濃度変換曲線を示す図
【図１０】同じく図８の場合の出力信号を示す図
【図１１】本発明の実施形態２における指紋認証装置の模式的な構成を示すブロック図
【図１２】同じく生体情報輝度範囲検出部の内部構成を示すブロック図
【図１３】同じく濃度変換部１０８ｂの入出力信号を示す図
【図１４】同じく濃度変換部１０８ｂの濃度変換曲線を示す図
【図１５】同じく生体情報輝度範囲検出部１２２ｂで実行される生体情報輝度範囲検出ルーチンを示すフローチャート
【図１６】同じく画像取得部１０１で実行される濃度変換部最適化ルーチンを示すフローチャート
【符号の説明】
【００９０】
１０１  画像取得部
１０２  認証部
１０３  光源
１０７ａ，１０７ｂ  ＡＤＣ部
１０８ａ，１０８ｂ  濃度変換部
１２２ａ，１２２ｂ  生体情報輝度範囲検出部
１２３ａ  制御部
１３２  濃度変換制御部
【図１】
2005032067.tif 000003
【図２】
2005032067.tif 000004
【図３】
2005032067.tif 000005
【図４】
2005032067.tif 000006
【図５】
2005032067.tif 000007
【図６】
2005032067.tif 000008
【図７】
2005032067.tif 000009
【図８】
2005032067.tif 000010
【図９】
2005032067.tif 000011
【図１０】
2005032067.tif 000012
【図１１】
2005032067.tif 000013
【図１２】
2005032067.tif 000014
【図１３】
2005032067.tif 000015
【図１４】
2005032067.tif 000016
【図１５】
2005032067.tif 000017
【図１６】
2005032067.tif 000018