(57)【要約】【課題】  適切な露光条件により被写体の撮像が可能となることを課題とする。【解決手段】  被写体と前記被写体の像を撮像する撮像手段とを相対的に移動させながら、前記被写体の部分的な像を複数の露光条件の下で撮像することにより、第１の部分画像を取得する第１のモードと、前記第１の部分画像に基づいて露光条件を設定し、前記設定された露光条件に基づいて被写体像を順次部分的に撮像することにより、複数の第２の部分画像を取得する第２のモードとを制御する制御手段を有することを特徴とする信号処理装置を提供する。【選択図】  図６
2005004718.tif 000002
【特許請求の範囲】
【請求項１】
被写体と前記被写体の像を撮像する撮像手段とを相対的に移動させながら、前記被写体の部分的な像を複数の露光条件の下で撮像することにより、第１の部分画像を取得する第１のモードと、
前記第１の部分画像に基づいて露光条件を設定し、前記設定された露光条件に基づいて被写体像を順次部分的に撮像することにより、複数の第２の部分画像を取得する第２のモードとを制御する制御手段を有することを特徴とする信号処理装置。
【請求項２】
前記第１のモードでは、単数の第１の部分画像内で露光条件を複数設定して撮像することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記第１のモードでは、複数の第１の部分画像において、露光条件をそれぞれ設定して撮像することを特徴とする請求項１に記載の信号処理装置。
【請求項４】
被写体と前記被写体の像を撮像する撮像手段とが相対的に移動しながら部分画像を撮像する撮像手段と、
前記撮像手段の露光量を制御する露光量制御手段と、
前記撮像手段から得られる複数の部分画像毎に輝度レベルを検出する検出手段と、
前記検出手段が検出した輝度レベルに応じて、後に撮像する部分画像の露光量の設定をするように制御する露光量制御手段とを有することを特徴とする信号処理装置。
【請求項５】
前記被写体と前記撮像手段とが相対的に移動する際の部分画像の輝度レベルの変化に応じて、前記露光量制御手段を変更する変更手段を更に有することを特徴とする請求項４に記載の信号処理装置。
【請求項６】
前記変更手段は、前記輝度レベルの変化の要因が、前記被写体の移動によると判断した場合と、外部から入射する光量の変化による場合とで、前記露光量制御手段を変更することを特徴とする請求項５に記載の信号処理装置。
【請求項７】
前記検出手段が検出した輝度レベルに応じて、前記部分画像に対して補正を行う補正手段を有することを特徴とする請求項４乃至請求項６のいずれか１項に記載の信号処理装置。
【請求項８】
前記部分画像を合成して合成画像を出力する合成処理手段と、
前記合成処理手段によって合成された合成画像を、予め登録された画像と照合して認証する認証手段とを有することを特徴とする請求項１乃至請求項７のいずれか１項に記載の信号処理装置。
【請求項９】
前記認証手段は、被写体を認証する際に、前記部分画像毎の輝度レベルに基づいて認証を行うことを特徴とする請求項８に記載の信号処理装置。
【請求項１０】
被写体の像を順次部分的に撮像して複数の部分画像を取得する信号処理装置であって、
露光量を変更しながら撮像された部分画像に基づいて、露光量を補正して部分画像を撮像するように制御する第１の制御手段と、
前記露光量を補正して撮像された部分画像の輝度レベルを検出する検出手段と、
前記検出手段によって検出された輝度レベルに基づいて、第１の制御手段によって補正された露光量を変更するように制御する第２の制御手段を有することを特徴とする信号処理装置。
【請求項１１】
被写体と前記被写体の像を撮像する撮像部とを相対的に移動させながら、前記被写体の部分的な像を複数の露光条件の下で撮像することにより、第１の部分画像を取得する第１のステップと、
前記第１の部分画像に基づいて露光条件を設定し、前記設定された露光条件に基づいて被写体像を順次部分的に撮像することにより、複数の第２の部分画像を取得する第２のステップとを有することを特徴とする制御方法。
【請求項１２】
被写体と前記被写体の像を撮像する撮像手段とが相対的に移動しながら部分画像を撮像する撮像ステップと、
前記撮像ステップの露光量を制御する露光量制御ステップと、
前記撮像ステップから得られる複数の部分画像毎に輝度レベルを検出する検出ステップとを具備し、
前記検出ステップが検出した輝度レベルに応じて、後に撮像する部分画像の露光量の設定をするように制御する露光量制御ステップを有することを特徴とする制御方法。
【請求項１３】
被写体の像を順次部分的に撮像して複数の部分画像を取得する信号処理装置の制御方法であって、
露光量を変更しながら撮像された部分画像に基づいて、露光量を補正して部分画像を撮像するように制御する第１の制御ステップと、
前記露光量を補正して撮像された部分画像の輝度レベルを検出する検出ステップと、
前記検出ステップによって検出された輝度レベルに基づいて、第１の制御ステップによって補正された露光量を変更するように制御する第２の制御ステップを有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体と被写体の像を撮像する撮像部とを相対的に移動しながら、被写体の像を順次部分的に撮像することにより得られる信号を処理する信号処理装置及び制御方法に関する。
【背景技術】
【０００２】
指紋や顔、虹彩、掌紋などを用いた生体認証システムは、画像取得装置から生体の画像を取得して、この取得した画像から特徴抽出を行い、その情報を元に登録済みのデータと照合を行い、本人であることを認証する。
【０００３】
ここで、生体認証システムに用いられる画像取得装置の検出方式としては、ＣＣＤやＣＭＯＳセンサを用いた光学方式や、静電容量方式、圧力検知方式、感熱方式、電界検出方式などがある。また、別の分類としては、２次元のエリアセンサを用いて被写体画像を一括して取得するエリアタイプと、１次元センサあるいは副走査方向の画素数が５〜２０程度の帯状の２次元センサを用いて、被写体を副走査方向に順次撮像した画像を合成して全体画像を取得するスウィープタイプと呼ばれる撮像方式がある（例えば、特許文献１参照）。
【０００４】
従来、こうした生体認証システムでは、画像取得装置で取得した画像に対してコントラストの改善やエッジ強調等、さまざまな画像処理を行った後、照合を行うための特徴抽出処理を実行していた。
【０００５】
【特許文献１】特開２００２−２１６１１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、生体認証システムにおける照合精度は、もとの撮像画像自体がある程度十分な画像品質がなければ特徴抽出レベルが落ちるため、低下してしまう。たとえば光学式の指紋センサの場合は、室内と室外あるいは昼間と夜間など環境状態による外光の変化や個人の差による指の大きさや透過率の違い等で輝度レベルが大きく変化することがある。特に、携帯電話やＰＤＡなどに搭載された場合は、こうした外光変化が大きくなってしまう。このような場合に、画像が飽和気味であったり、あるいは黒つぶれ儀身である場合には、濃度階調データが十分ないため、取得後の画像から十分な特徴抽出が行えない。
【０００７】
ＡＥ（自動露出補正機能）により、複数回撮像して露光条件を制御しなおす構成が考えられるが、適正な露光にするまで何回かデータの取得を繰り返さなくてはならず、収束までに時間がかかってしまう。特に、先述の１次元センサあるいは副走査方向の画素数が５〜２０程度の帯状の２次元センサを用いて、被写体を副走査方向に順次撮像した画像を合成して全体画像を取得するスウィープタイプの指紋センサの場合には、適切な露光にするためにユーザーに指を何度もスウィープ（指の移動、スキャン）するように指示しなければならなくなり、製品としてユーザーの使い勝手を大きく損なう構成となってしまう問題があった。
【０００８】
さらに、スウィープタイプの指紋センサの場合には、指をセンサ上において撮像面に対して相対移動させるため、相対移動中に速度や位置、押し圧、指のおき方、指の部位（第一関節部や先端部など）、周囲環境、指の表面状態などが変化して、露光される輝度が大きく変わる場合もある。スウィープタイプの指紋センサは順次撮像した部分画像間の相関係数を演算により求めて、各画像間のどの行とどの行が同一の指紋部位かを検出して画像を接続する画像合成処理（画像合成を再構成ともいう）を行うが、こうした相対移動中の輝度変化が生じた場合は、各部分画像間で露光状態が変化することにより、同一の指紋部位にもかかわらず、輝度差により相関値が減少して画像合成処理が失敗して画像を接続できなってしまう。こうした場合、全体の指紋画像の一部が欠落したり画像が伸び縮みするため、抽出した特徴が登録した指紋の特徴と一致する割合が低下して照合精度が低下する問題があった。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、一手段として、被写体と前記被写体の像を撮像する撮像手段とを相対的に移動させながら、前記被写体の部分的な像を複数の露光条件の下で撮像することにより、第１の部分画像を取得する第１のモードと、前記第１の部分画像に基づいて露光条件を設定し、前記設定された露光条件に基づいて被写体像を順次部分的に撮像することにより、複数の第２の部分画像を取得する第２のモードとを制御する制御手段を有することを特徴とする信号処理装置を提供する。
【００１０】
また、一手段として、被写体と前記被写体の像を撮像する撮像手段とが相対的に移動しながら部分画像を撮像する撮像手段と、前記撮像手段の露光量を制御する露光量制御手段と、前記撮像手段から得られる複数の部分画像毎に輝度レベルを検出する検出手段と、前記検出手段が検出した輝度レベルに応じて、後に撮像する部分画像の露光量の設定をするように制御する露光量制御手段とを有することを特徴とする信号処理装置を提供する。
【００１１】
また、一手段として、被写体の像を順次部分的に撮像して複数の部分画像を取得する信号処理装置であって、露光量を変更しながら撮像された部分画像に基づいて、露光量を補正して部分画像を撮像するように制御する第１の制御手段と、前記露光量を補正して撮像された部分画像の輝度レベルを検出する検出手段と、前記検出手段によって検出された輝度レベルに基づいて、第１の制御手段によって補正された露光量を変更するように制御する第２の制御手段を有することを特徴とする信号処理装置を提供する。
【００１２】
さらに、一手段として、被写体と前記被写体の像を撮像する撮像部とを相対的に移動させながら、前記被写体の部分的な像を複数の露光条件の下で撮像することにより、第１の部分画像を取得する第１のステップと、前記第１の部分画像に基づいて露光条件を設定し、前記設定された露光条件に基づいて被写体像を順次部分的に撮像することにより、複数の第２の部分画像を取得する第２のステップとを有することを特徴とする制御方法を提供する。
【００１３】
さらに、一手段として、被写体と前記被写体の像を撮像する撮像手段とが相対的に移動しながら部分画像を撮像する撮像ステップと、前記撮像ステップの露光量を制御する露光量制御ステップと、前記撮像ステップから得られる複数の部分画像毎に輝度レベルを検出する検出ステップとを具備し、前記検出ステップが検出した輝度レベルに応じて、後に撮像する部分画像の露光量の設定をするように制御する露光量制御ステップを有することを特徴とする制御方法を提供する。
【００１４】
さらに、一手段として、被写体の像を順次部分的に撮像して複数の部分画像を取得する信号処理装置の制御方法であって、露光量を変更しながら撮像された部分画像に基づいて、露光量を補正して部分画像を撮像するように制御する第１の制御ステップと、前記露光量を補正して撮像された部分画像の輝度レベルを検出する検出ステップと、前記検出ステップによって検出された輝度レベルに基づいて、第１の制御ステップによって補正された露光量を変更するように制御する第２の制御ステップを有することを特徴とする制御方法を提供する。
【発明の効果】
【００１５】
本発明によると、被写体の像を順次部分的に撮像して複数の部分画像を得る際に、適切な露光条件により被写体の撮像が可能となる。これにより、撮像して得た部分画像の画質が高まり特徴点の抽出もより的確となり、複数の部分画像を精度よく確実に合成することができるので、本発明を例えば生体認証装置に適用することで照合精度を向上することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。
【００１７】
（実施形態１）
図１は、本発明の実施形態１として、信号処理装置であるスウィープ（スキャン）型の指紋認証装置の模式的な構成を示すブロック図である。
【００１８】
本実施の形態における指紋認証装置は画像取得部１０１と認証部１０２からなる。たとえば、画像取得部は画像センサを有した撮像ユニットで、また認証部はパーソナルコンピュータにより実行される機能の組み合わせや、あるいは、画像取得部と認証部がひとつの指紋認証ユニットとして組み合わされ、不図示のパーソナルコンピュータに接続される独立の装置の場合がある。
【００１９】
図１の画像取得部１０１において、１０３は照明用の光源（光照射手段）としてのＬＥＤ、１０８がそのＬＥＤの輝度や点灯タイミングを制御するＬＥＤ駆動部である。
【００２０】
１０４がＣＭＯＳ型、あるいはＣＣＤ型の撮像素子部であり、１次元センサあるいは副走査方向の画素数が５〜２０画素程度の帯状の２次元センサである。本実施の形態ではＣＭＯＳ型のセンサで、主走査方向が５１２画素、副走査方向が１２画素のセンサを例示する。
【００２１】
１０５は、撮像素子部とＡＤのサンプリングタイミングを制御するセンサ駆動部、１０６は撮像素子部からのアナログ出力を後段のＡＤコンバータで処理するのに適切なＤＣレベルにクランプするとともに、適切な増幅をするアンプ部である。１０７が、ＡＤコンバータ部である。また、１０９が通信部である。
【００２２】
１１０ａ、１１０ｂがアナログの画像データ信号線であり、１１０ｃがデジタルの画像データ信号線である。１１２ａ，ｂがセンサ駆動部から撮像素子部およびＡＤコンバータ部（ＡＤＣ部）に送られる駆動パルスの信号線である。１１２ｃがＬＥＤ駆動部から光源に送られる駆動パルスの信号線である。１１１が、本実施の形態において認証部１０２の生体情報輝度部の検出信号や指検知部の検出信号を受けて、センサ駆動部とＬＥＤ駆動部の制御を行う制御線である。
【００２３】
１１３がデータ信号線であり、１１４が制御信号線である。
【００２４】
認証部１０２において、１１５が通信部である。１３５が帯状の２次元センサにより被写体を副走査方向に順次撮像した画像を合成する画像合成部である。
【００２５】
１２１は、前処理部の画像情報を用いて、指が置かれたことや、その指が偽の指でなく生体であることを検知する生体検知部である。生体検知は画像の色や輝度変動を用いて判別する。１２２ａは、本実施の形態における生体情報輝度検出部であり、取得した画像情報の中から生体情報の含まれる領域を判別して、判別した生体情報領域の輝度を検出する。１２３ａが、生体情報輝度検出部をはじめ各部の情報をうけて画像取得部を制御する制御部である。
【００２６】
１１６が後段で特徴抽出を行うために、エッジ強調などの画像処理を行う前処理部である。１１７が、画像処理を行うためのフレームメモリ部である。１１８が、特徴抽出部であり、１１９が１１８で抽出された個人の特徴をデータベースに登録あるいは、登録済みのデータと比較照合する登録照合部である。１２０が個人のデータを保存するデータベースである。
【００２７】
１２４ａ、ｂ、ｃ、ｄが画像データを伝送するデータ線である。１２５がデータベースと登録・照合部間のデータ線および制御線である。１２６が特徴抽出部の抽出状態を伝える信号線であり、１２７，１２９ａは各部へ必要な画像情報をおくる信号線であり、１２８は生体検知結果を伝える信号線、１３０ａは生体情報輝度検出結果を伝える信号線、１３１は各部の状態を受けて画像取得部を制御する信号を伝送する信号線である。
【００２８】
本実施の形態は、認証部１０２内の指検知情報と生体情報領域の輝度検出結果を受けて、画像取得部１０１のセンサ駆動駆動部およびＬＥＤ駆動部を制御することで、被写体の指をスキャンする撮像動作中にセンサとＬＥＤの駆動を切り替えて最適な撮像条件を設定しながら、指紋画像の取得を行う。
【００２９】
図２、図３に、本実施の形態におけるスウィープタイプと呼ばれる方式を用いた光学式指紋センサの説明図を示す。
【００３０】
図２において、（ａ）は指の側面方向から見た図であり、（ｂ）は指の上から見た図である。また、（ｃ）は帯状の２次元センサにより取得した１枚の指紋画像を示している。２０１が指であり、２０２が光源としてのＬＥＤである。２０３が指紋の凹凸パターンの光学的な差をセンサに導く光学的な部材であり、２０４が１次元センサあるいは副走査方向の画素数が５〜２０画素程度の帯状の２次元センサであり、ここではＣＭＯＳ型、あるいはＣＣＤ型の撮像素子である。ここで、２０５が光源から指への光の出射方向であり、２０６が指からセンサへの光の入射方向である。また、２０７が指の移動（スウィープあるいはスキャン）方向である。また、２０８が帯状の２次元センサにより取得した１枚の指紋画像のなかの指紋パターンを示している。
【００３１】
図３において、（ａ１）〜（ａ９）は２０７の方向に指を移動しながら、帯状の２次元センサにより連続取得した指紋の部分画像を示している。（ｂ）はそのうちの１枚であり、（ａ６）に相当する。ここで、３０１は、（ａ５）の画像にも含まれる同じ指の領域を示している。（ｃ）は帯状の２次元センサにより取得した部分画像を合成して得られた１枚の指紋画像を示している。
【００３２】
図２のように指をセンサ上で移動しながらを副走査方向に順次撮像して取得した指紋の部分画像は、図３の３０１のように連続した画像のなかで相関性の高い領域を、指の同一の領域を撮像していると判断してつなぎ合わせられることにより、指紋全体画像として再構成される。
【００３３】
図４は、図１の撮像素子部１０４の構成図である。本実施の形態の撮像素子は副走査方向の画素数が５〜２０程度の帯状の２次元センサである。被写体である指を副走査方向に順次撮像した画像を合成して全体画像を取得するスウィープタイプと呼ばれるセンサである。こでは、一般的なエリアセンサにおける水平走査方向を主走査方向、垂直走査方向を副走査方向としている。したがって、以下の撮像素子部の説明は主走査方向を水平方向、副走査方向を垂直方向を意味している。
【００３４】
図４において、４１はセンサの１画素を構成する画素部、４２は画素部４１における読み出しパルス（φＳ）の入力端子、４３は画素部４１におけるリセットパルス（φＲ）の入力端子、４４は画素部４１における転送パルス（φＴ）の入力端子、４５は画素部４１における信号読み出し端子（Ｐ０）、４６は後述するセレクタ部から水平方向の各画素に読み出しパルス（φＳ）を送る信号線、４７は後述するセレクタ部から水平方向の各画素にリセットパルス（φＲ）を送る信号線、４８は後述するセレクタ部から水平方向の各画素に転送パルス（φＴ）を送る信号線、４９は垂直信号線、４０は定電流源、５１は垂直信号線４９に接続された容量、５２は水平シフトレジスタ５６にゲートが接続され、ソース−ドレインに垂直信号線４９と出力信号線５３が接続された転送スイッチ、５４は出力信号線５３に接続された出力アンプ、５５はセンサ部６の出力端子である。
【００３５】
また、５６は水平シフトレジスタ（ＨＳＲ）、５７はそのスタートパルス（ＨＳＴ）の入力端子、５８はその転送クロック（ＨＣＬＫ）の入力端子、５９は垂直シフトレジスタ（ＶＳＲ）、６０はそのスタートパルス（ＶＳＴ）の入力端子、６１はその転送クロック（ＶＣＬＫ）の入力端子、６２は後述するローリングシャッタと呼ばれる方式の電子シャッタ用のシフトレジスタ（ＥＳＲ）、６３はそのスタートパルス（ＥＳＴ）の入力端子、６４は垂直シフトレジスタ（ＶＳＲ）の出力線、６５は電子シャッタ用のシフトレジスタ（ＥＳＲ）の出力線、６６はセレクタ部、６７は転送パルスの元信号ＴＲＳの入力端子、６８はリセットパルスの元信号ＲＥＳの入力端子、６９は読み出しパルスの元信号ＳＥＬの入力端子である。
【００３６】
図５は、図４の画素部４１の構成図である。図５において、７１は電源電圧（ＶＣＣ）、７２はリセット電圧（ＶＲ）、７３はフォトダイオード、７４〜７７はＭＯＳトランジスタからなるスイッチ、７８は寄生容量（ＦＤ）、７９はグラウンドである。
【００３７】
ここで、撮像素子部１０４の動作を図４、図５を参照して説明する。まず、リセット用のスイッチ７４と、フォトダイオード７３に接続されたスイッチ７５とをＯＦＦした状態で、フォトダイオード７３において入射光による電荷の蓄積が行われる。
【００３８】
その後、スイッチ７６がＯＦＦした状態で、スイッチ７４をＯＮすることにより、寄生容量７８がリセットする。つぎに、スイッチ７４をＯＦＦ、スイッチ７６をＯＮすることにより、信号読み出し端子４５にリセット状態の電荷を読み出す。
【００３９】
つぎに、スイッチ７６をＯＦＦした状態で、スイッチ７５をＯＮすることにより、寄生容量７８に対して、フォトダイオード７３に蓄積された電荷を転送する。つぎに、スイッチ７５をＯＦＦした状態で、スイッチ７６をＯＮすることにより、信号読み出し端子４５に信号電荷を読み出す。
【００４０】
各ＭＯＳトランジスタの駆動パルスφＳ、φＲ、φＴは、後述するように垂直シフトレジスタ５９、６２とセレクタ部６６とにより作成され、各信号線４６〜４８により、画素の入力端子４２〜４４に供給される。入力端子６０から入力されるクロック信号１パルスに対して、信号ＴＲＳ、ＲＥＳ、ＳＥＬが入力端子６７〜６９にそれぞれ１パルス入力され、このため、駆動パルスφＳ、φＲ、φＴがそれぞれ信号ＴＲＳ、ＲＥＳ、ＳＥＬに同期して出力される。この結果、入力端子４２〜４４に、駆動パルスφＳ、φＲ、φＴが供給される。
【００４１】
また、信号読み出し端子４５は、垂直信号線４９により定電流源４０に接続すると共に、垂直信号線容量５１及び転送スイッチ５２に接続されており、垂直信号線４９を介して電荷信号が垂直信号線容量５１に転送され、その後水平シフトレジスタ５６の出力に従い、転送スイッチ５２が順次走査されて、垂直信号線容量５１の信号が出力信号線５３に順次読み出され、出力アンプ５４を介して出力端子５５から出力される。ここで、垂直シフトレジスタ（ＶＳＲ）５９は、スタートパルス（ＶＳＴ）６０で走査が開始され、転送クロック（ＶＣＬＫ）６１が出力線６４を介してＶＳ１，ＶＳ２，…ＶＳｎと順次転送されていく。また電子シャッタ用垂直シフトレジスタ（ＥＳＲ）６２は、入力端子６３から入力されるスタートパルス（ＥＳＴ）で走査が開始され、入力端子６１から入力される転送クロック（ＶＣＬＫ）が出力線６５に順次転送されていく。
【００４２】
各画素部４１の読み出し順序は、まず垂直方向の上１行目を選択し、水平シフトレジスタ５６の走査に伴い左から右へ各列に接続した画素部４１を選択出力する。１行目の出力が終わると、２行目を選択し、再び水平シフトレジスタ５６の走査に伴い左から右へ各列に接続した画素部４１を選択出力する。
【００４３】
以下、同様に垂直シフトレジスタ５９の順次走査に従い、１，２，３，４，５・・・行目と上から下まで走査を行い、１画面の画像出力を行う。
【００４４】
ところで、センサの露光期間は、撮像画素が光の電荷を蓄積する蓄積期間と、撮像画素に被写体からの光が入射する期間により決まる。
【００４５】
ここで、ＣＭＯＳ型のセンサは、ＩＴ（ｉｎｔｅｒｌｉｎｅ  ｔｒａｎｓｆｅｒ）型やＦＩＴ（ｆｒａｍｅ−ｉｎｔｅｒｌｉｎｅ  ｔｒａｎｓｆｅｒ）型のＣＣＤ素子と異なり、遮光されたバッファメモリ部を備えていないため、画素部４１から得られた信号を順次読み出している期間も、まだ読み出されていない画素部４１は露光され続ける。したがって、連続的に画面出力を読み出すと、その露光時間は画面の読み出し時間にほぼ等しくなる。
【００４６】
しかし、光源としてＬＥＤを用いて、外光の入射を遮光部材などで入射しない場合などでは、点灯している期間のみを露光期間と考えることが可能になる。
【００４７】
また、別の露光時間を制御するひとつの方法として、ＣＭＯＳ型のセンサにおいては、電子シャッタ（フォーカルプレインシャッター）として、蓄積の開始と終了の垂直走査を並行して行うローリングシャッタとばれる駆動方法を採用している。これにより、蓄積の開始と終了の垂直走査線数単位で露光時間を設定可能にしている。図４においては、ＥＳＲ６２が画素をリセットして蓄積を開始する垂直走査用のシフトレジスタであり、ＶＳＲ５９が、電荷を転送して蓄積を終了する垂直走査用のシフトレジスタである。電子シャッタ機能を用いる場合は、ＥＳＲ６２をＶＳＲ５９に先行して走査し、その間隔に相当する期間が露光期間になる。
【００４８】
図６〜図９を用いて本実施の形態の動作を説明する。
【００４９】
図６に、本実施の形態の指紋認証システムにおける画像取得条件設定ルーチンを示す。ここでは、検出した指検知情報と生体の輝度情報により認証部１０２側が、センサ駆動部１０５およびＬＥＤ駆動部１０８を制御して画像取得部１０１の画像取得条件を設定するフローを示している。
【００５０】
６０１において画像取得条件設定ルーチンに入ると、６０２において認証部の制御部１２３ａはセンサ駆動部１０５を制御して、センサの副走査方向の読み出し行数を通常の１２行から６行に変更する。ここでは、副走査方向の読み出し行数を間引きにより減らしている。このとき、消費電力を抑えるため、２クロックに１クロックの割合で動作するようにイネーブル信号をかけることにより、部分画像の取得を低速動作で行う。
【００５１】
次に６０３において認証部の制御部１２３ａはＬＥＤ駆動部１０８の制御を行い、ＬＥＤの輝度を指の有無を検出するのに十分な程度に低めに設定する。これにより、センサは指検出用の画像取得モードとなる。
【００５２】
６０４において１フレームの部分画像取得を行い、６０５において指の有無を判断する。検知しない場合は、６０４にもどる。検知した場合は、６０６にすすむ。
【００５３】
６０６では、認証部の制御部１２３ａはセンサ駆動部１０５を制御して、センサの副走査方向の読み出し行数を６行に保ったまま、２クロックに１クロックの割合で動作するようにしていたイネーブル信号を毎回クロックが入る通常動作用にすることで、部分画像の取得を高速動作で行う。
【００５４】
このとき６０７において認証部の制御部１２３ａはＬＥＤ駆動部１０８の制御を行い、ＬＥＤの輝度を任意の値に設定する。これにより、センサは露光条件設定用の画像取得モードとなる。
【００５５】
６０８において１フレームの部分画像取得を行い、６０９において生体情報が含まれる部分の輝度＝指紋部分の輝度を検出する。６１０において検出した輝度が一定の範囲に入っているかどうかの判定を行い、範囲に対して低い場合、あるいは高い場合、６０７において輝度をひくい場合は高く、高い場合は低くＬＥＤの輝度を再設定する。
【００５６】
輝度が範囲内にある場合、６１１において認証部の制御部１２３ａはセンサ駆動部１０５を制御して、センサの副走査方向の読み出し行数を６行から通常の１２行に変更する。このときイネーブル信号は毎回クロックが入る通常動作用とする。これにより、露光条件を最適値に設定済みの状態で、本来の指紋撮像用の画像取得モードとなり、６１２により画像取得条件設定ルーチンを終了する。
【００５７】
図７（ａ）に本来の指紋撮像用の画像取得モードのセンサとＬＥＤの動作タイミング、（ｂ）に指検出用の画像取得モードのセンサとＬＥＤの動作タイミング、（ｃ）に露光条件設定用の画像取得モードのセンサとＬＥＤの動作タイミングを示す。
【００５８】
図７において、ＶＳＴおよびＶＣＬＫはセンサの副走査方向（垂直走査方向、本実施の形態では指の移動方向と同じ方向）のシフトレジスタ（ＶＳＲ）のスタートパルスと転送クロックパルスである。また、ＨＳＴおよびＨＣＬＫはセンサの主走査方向（水平走査方向、本実施の形態では指の移動方向とほぼ直行する方向）のシフトレジスタ（ＨＳＲ）のスタートパルスと転送クロックパルスである。また、ＬＥＤがＬＥＤの点灯パルスであり、幅が点灯期間を示す。ＨＣＬＫは×印の期間に対して一定周期で細かなクロックがあることを示している。
【００５９】
図７（ａ）の本来の指紋撮像用の画像取得モードにおいて７０１が１枚の部分画像を取得する１フレーム期間である。また、７０２、７０３が主走査方向１行分の画像を取得する期間である。７０２が１行目の画像の転送が行われる期間であり、７０３が１２行目の画像の転送が行われる期間である。また、７０４が７０１の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。また、７０５が７０１の期間の次の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。露光量を最適化された後の指紋撮像用の画像取得モードにおいては、７０４，７０５のようにＬＥＤの点灯量は固定されて撮像される。また、副走査方向のシフトレジスタも間引き動作されず、１２行分の画像が取得される。また、主走査方向のシフトレジスタ動作もクロックが毎回入るため高速で行われている。
【００６０】
図７（ｂ）の指検出用の画像取得モードにおいて７０６が１枚の部分画像を取得する１フレーム期間である。ここで、副走査方向のシフトレジスタの転送パルスＶＣＬＫは、７０７、７０８に示すように１パルスおきに短い期間で転送する。これにより、副走査方向の行の動作を１行おきに間引きする。また、７０９、７１０が主走査方向１行分の画像を取得する期間である。７０９が１行目の画像の転送が行われる期間であり、７１０が６行目に出力される画像の転送が行われる期間である。また、７１１が７０６の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。また、７１２が７０６の期間の次の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。指の検出を行うための画像取得モードにおいては、７１１，７１２のようにＬＥＤは指の有無さえ検出できればいいため、点灯期間は必要最低限にされている。また、指紋画像を取得するわけではないので、副走査方向のシフトレジスタも間引き動作が行われ、６行分の画像が取得される。また、指が置かれる時間を監視するため動作も低速でよいので、主走査方向のシフトレジスタ動作も２クロックで１回の動作とされ、低速で行われる。
【００６１】
図７（ｃ）の露光条件設定用の画像取得モードにおいて７１３が１枚の部分画像を取得する１フレーム期間である。ここで、副走査方向のシフトレジスタの転送パルスＶＣＬＫは、（ｂ）同様１パルスおきに短い期間で転送され、副走査方向の行の動作は１行おきに間引きされる。また、７１４、７１５が主走査方向１行分の画像を取得する期間である。７１４が１行目の画像の転送が行われる期間であり、７１５が６行目に出力される画像の転送が行われる期間である。また、７１６が７１３の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。また、７１７が７１３の期間の次の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。露光条件設定用の画像取得モードにおいては、７１６，７１７のようにＬＥＤの点灯期間を変えながら、必要な露光量の調整が行われる。このとき、指紋画像を取得してはいるが、まだ露光量を調整中のため、なるべく速く最適化して本来の撮像モードに移行するために、副走査方向のシフトレジスタの間引き動作が行われ、６行分の画像の取得を行う。動作は高速にしたいため、主走査方向のシフトレジスタ動作は通常の動作で行われる。
【００６２】
図８（ａ）、（ｂ）に露光条件設定用の画像取得モードで取得した画像の主走査方向の１行分のデータを示す。（ａ）が露光量の最適化前、（ｂ）が最適化後である。横軸が主走査方向の位置、縦軸がセンサの出力レベルを示す。指の大きさや形状やセンサへの指の接触状態により取得される指紋パターンの領域は変わる。ここでは、主走査方向にＸ１〜Ｘ２の領域が生体情報としての指紋パターンの存在する領域になる。生体輝度検出部はこの生体情報としての指紋パターンの存在する領域を判別して、その輝度が一定の範囲にあるかどうかを判別する。たとえば、輝度の最適範囲を１２７±５０と設定すると、図８（ａ）では生体情報部の輝度はａ１〜ｂ１にあり、その平均値は７２以下のため、輝度が低いと判断される。これにより、ＬＥＤの点灯期間の増加が行われ、図８（ｂ）のように最適化される。生体情報としての指紋パターンの存在する領域を判別する方法としては、画像の周波数が指紋パターンに近い周波数の場合に判別するなどの方法がある。
【００６３】
図９（ａ１）〜（ａ１０）は、本実施の形態により、図２の２０７の方向に指を移動しながら帯状の２次元センサにより連続取得した指紋の部分画像を示している。（ｃ）は取得した部分画像を合成して得られた１枚の指紋画像を示している。
【００６４】
ここで、（ａ１）の画像取得以前に指検出用の画像取得モードにより、指がセンサ上に置かれたことが検出される。（ａ１）〜（ａ３）が露光条件設定用の画像取得モードで取得した画像である。また、（ａ４）〜（ａ１０）が本来の指紋撮像用の画像取得モードで取得した画像である。ここでは、（ａ１）〜（ａ３）の３フレームで露光量の最適化が実現されている。（ａ１）〜（ａ３）は間引き動作で露光量も最適化されていない画像であるが、指の移動はじめの画像を欠落させず、広い範囲の画像を取得するうえで必要な画像となる。また、もっとも重要な指の中心周辺のなるべく広い範囲を最適化した露光量で撮像するために、（ａ１）〜（ａ３）を間引き動作で高速に取得しながら、ＬＥＤの輝度を制御することが重要になる。
【００６５】
このように本実施形態では、被写体である指と指の像（指紋）を撮像する撮像素子部とを相対的に移動しながら、指の像を順次部分的に撮像することにより得られる複数の第１の部分画像を露光条件を変更しながら撮像するように制御する第１のモードと、前記第１の複数の部分画像に基づき、露光条件を設定するように制御する第２のモードと、設定された露光条件に基づき、指と指の像を撮像する撮像素子部１０４とを相対的に移動しながら、指の像を順次部分的に撮像することにより得られる第２の複数の部分画像を撮像するように制御する第３のモードとを有する制御部１２３ａを有することにより、指の検出直後から画像が取得されているため、指の移動の始点を含めた広い範囲の撮像が可能となり、認証に必要な特徴情報が多く取得できるため、高精度な指紋認証システムが実現できる。さらに、スウィープ型のセンサ特有の指の移動による認証動作を１回で済ませられる確率を高められるため、ユーザーの使い勝手を向上させた製品が提供できる。
【００６６】
なお、本実施形態では、スウィープ型のセンサを用いて、高精度な指紋認証システムを提供することで、回路を簡素化した点などにより回路の小型化が実現できる。処理回路の小型化は、情報を電磁波によって送信する送信部と所望の送信先を選択するための選択部とを有する携帯電話機、携帯可能なパーソナルコンピュータ、ＰＤＡ（パーソナルデータアシスタント）等の携帯機器のように携帯性が要求されるものに好適である。
【００６７】
また本実施形態では、指の指紋により被写体（本人）の照合を行うシステムについて説明したが、被写体の部分画像をつなぎ合わせて合成する方式を用いた画像取得方式であれば、目の網膜、顔の認識、手の形状等により被写体（本人）の照合を行うシステムについても同様に用いることができる。
【００６８】
特公平０５−０２８５５７等では、露光量制御を行う撮像装置が開示されているが、こうしたデジタルカメラやビデオカメラなどの撮像装置に関する従来の露光制御方式は、取得画像を撮像する前に予備撮像などにより露光条件の設定を完了させて、本撮像では面内で均一の露光条件に設定しているものであった。
【００６９】
また特開２００２−２１６１１６等では、光学式のスウィープ型のセンサを用いた指紋画像の入力方法が開示されているが、従来の生体認証装置には、被写体（指）の移動とともに撮像しながら露光条件や撮像条件を決定する点についてふれたものはなかった。
【００７０】
本発明の実施形態における信号処理装置は、１回の指紋撮像期間中に露光条件の設定を行いながら本撮像とする点が特徴であり、それゆえに高い精度と認証速度の速さを両立できる。
【００７１】
（実施形態２）
図１０は、本発明の実施形態２として、信号処理装置であるスウィープ（スキャン）型の指紋認証装置の模式的な構成を示すブロック図である。
【００７２】
本実施の形態における指紋認証装置は実施の形態１同様、画像取得部１０１と認証部１０２からなる。
【００７３】
図１０の画像取得部１０１において、１０３は照明用の光源（光照射手段）としてのＬＥＤ、１０８がそのＬＥＤの輝度や点灯タイミングを制御するＬＥＤ駆動部である。
【００７４】
１０４がＣＭＯＳ型、あるいはＣＣＤ型の撮像素子部であり、１次元センサあるいは副走査方向の画素数が５〜２０画素程度の帯状の２次元センサである。本実施の形態ではＣＭＯＳ型のセンサで、主走査方向が５１２画素、副走査方向が１２画素のセンサを例示する。
【００７５】
１０５は、撮像素子部とＡＤのサンプリングタイミングを制御するセンサ駆動部、１０６は撮像素子部からのアナログ出力を後段のＡＤコンバータで処理するのに適切なＤＣレベルにクランプするとともに、適切な増幅をするアンプ部である。１０７が、ＡＤコンバータ部である。また、１０９が通信部である。
【００７６】
１２２ｂは、本実施の形態における生体情報輝度検出部であり、取得した画像情報の中から生体情報の含まれる領域を判別して、判別した生体情報領域の輝度を検出する。１２３ｃが、生体情報輝度検出部の情報と、受信した認証部１０２からの制御信号をうけてセンサ駆動部とＬＥＤ駆動部を制御する制御部である。
【００７７】
１１０ａ、１１０ｂがアナログの画像データ信号線であり、１１０ｃがデジタルの画像データ信号線である。１１２ａ，ｂがセンサ駆動部から撮像素子部およびＡＤコンバータ部（ＡＤＣ部）に送られる駆動パルスの信号線である。１１２ｃがＬＥＤ駆動部から光源に送られる駆動パルスの信号線である。１２９ｂが生体輝度検出部へのデジタルの画像データ信号線であり、１３０ｂがその生体輝度検出結果の信号線である。１１１ａが、本実施の形態において生体検知部の検出信号等をもとに認証部１０２から通信された制御信号を伝える制御線である。また、１１１ｂが、制御部１２３ｃがセンサ駆動部とＬＥＤ駆動部の制御を行う制御線である。
【００７８】
１１３がデータ信号線であり、１１４が制御信号線である。
【００７９】
認証部１０２において、１１５が通信部である。１３５が帯状の２次元センサにより被写体を副走査方向に順次撮像した画像を合成する画像合成部である。
【００８０】
１２１は、前処理部の画像情報を用いて、指が置かれたことや、置かれたものが偽の指ではなく生体であることを検知する生体検知部である。１２３ｂが、生体検知部をはじめ各部の情報をうけて画像取得部を制御する制御部である。
【００８１】
１１６が後段で特徴抽出を行うために、エッジ強調などの画像処理を行う前処理部である。１１７が、画像処理を行うためのフレームメモリ部である。１１８が、特徴抽出部であり、１１９が１１８で抽出された個人の特徴をデータベースに登録あるいは、登録済みのデータと比較照合する登録照合部である。１２０が個人のデータを保存するデータベースである。
【００８２】
１２４ａ、ｂ、ｃ、ｄが画像データを伝送するデータ線である。１２５がデータベースと登録・照合部間のデータ線および制御線である。１２６が特徴抽出部の抽出状態を伝える信号線であり、１２７は生体検知部へ必要な画像情報をおくる信号線であり、１２８は生体検知結果を伝える信号線、１３１は各部の状態を受けて画像取得部を制御する信号を伝送する信号線である。
【００８３】
本実施の形態は、認証部１０２内の指検知情報と画像取得部１０１内の生体情報領域の輝度検出結果を受けて、画像取得部１０１のセンサ駆動駆動部およびＬＥＤ駆動部を制御することで、被写体の指をスキャンする撮像動作中にセンサとＬＥＤの駆動を切り替えて最適な撮像条件を設定しながら、指紋画像の取得を行う。
【００８４】
図１１〜図１３を用いて本実施の形態の動作を説明する。
【００８５】
図１１に、本実施の形態の指紋認証システムにおける画像取得条件設定ルーチンを示す。ここでは、システム側である認証部１０２側が検出した指検知情報と、画像取得部１０１自身で検出した生体の輝度情報により、センサ駆動部１０５およびＬＥＤ駆動部１０８を制御して画像取得部１０１の画像取得条件を設定するフローを示している。
【００８６】
１１０１において画像取得条件設定ルーチンに入ると、１１０２において制御部１２３ｃはセンサ駆動部１０５を制御して、センサの露光方法を一括露光方法に設定する。
【００８７】
次に１１０３において制御部１２３ｃはＬＥＤ駆動部１０８の制御を行い、ＬＥＤの輝度を指の有無を検出するのに十分な程度に低めに設定する。これにより、センサは指検出用の画像取得モードとなる。
【００８８】
１１０４において１フレームの部分画像取得を行う。１１０５において認証部１０２から指検知情報の受信の有無を判断する。検知しない場合は、１１０４にもどる。検知した場合は、１１０６にすすむ。
【００８９】
１１０６では、制御部１２３ｃはセンサ駆動部１０５を制御して、センサの露光方法をローリングシャッター方式（電子シャッター方式）による露光方法に設定変更する。
【００９０】
さらに、１１０７においてＬＥＤ駆動部１０８の制御を行い、ＬＥＤの輝度を任意の行数単位で電子シャッター動作に連動して変化させる。ＬＥＤの輝度は、ＬＥＤに流れる電流を制御する方法とＬＥＤの点灯期間の割合（パルス的に駆動させる場合を含む）を変化させる方法などがある。これにより、センサは露光条件設定用の画像取得モードとなる。
【００９１】
このモードにおいて、１１０８で１フレームのみの部分画像取得を行い、１１０９において生体情報が含まれる部分＝指紋部分の出力レベルを、ＬＥＤの輝度を変化させた任意の行数単位で検出する。１１１０において検出した出力レベルのうち、もっとも認証処理に適していると判断される出力レベルの得られたときのＬＥＤ輝度を算出して、その値になるようにＬＥＤ駆動部１０８の制御を行う。
【００９２】
１１１１において制御部１２３ｃはセンサ駆動部１０５を制御して、センサの露光方法を再び一括露光方法に設定変更する。これにより、露光条件を最適値に設定済みの状態で、本来の指紋撮像用の画像取得モードとなり、６１２により画像取得条件設定ルーチンを終了する。
【００９３】
図１２（ａ）に本来の指紋撮像用の画像取得モードのセンサとＬＥＤの動作タイミング、（ｂ）に指検出用の画像取得モードのセンサとＬＥＤの動作タイミング、（ｃ）に露光条件設定用の画像取得モードのセンサとＬＥＤの動作タイミングを示す。
【００９４】
図１２において、ＶＳＴおよびＶＣＬＫはセンサの副走査方向（垂直走査方向、本実施の形態では指の移動方向と同じ方向）のシフトレジスタ（ＶＳＲ）のスタートパルスと転送クロックパルスである。また、ＨＳＴおよびＨＣＬＫはセンサの主走査方向（水平走査方向、本実施の形態では指の移動方向とほぼ直行する方向）のシフトレジスタ（ＨＳＲ）のスタートパルスと転送クロックパルスである。また、ＬＥＤがＬＥＤの点灯パルスであり、幅が点灯期間を示す。ＨＣＬＫは×印の期間に対して一定周期で細かなクロックがあることを示している。
【００９５】
図１２（ａ）の本来の指紋撮像用の画像取得モードにおいて１２０１が１枚の部分画像を取得する１フレーム期間である。また、１２０２、１２０３が主走査方向１行分の画像を取得する期間である。１２０２が１行目の画像の転送が行われる期間であり、１２０３が１２行目の画像の転送が行われる期間である。また、１２０４が１２０１の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。また、１２０５が１２０１の期間の次の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。露光量を最適化された後の指紋撮像用の画像取得モードにおいては、１２０４，１２０５のようにＬＥＤの点灯量は固定されて撮像される。また、１２０４で点灯したＬＥＤによる露光が、１２０１で出力されるセンサ１２行全体の露光量を決めるため、一括露光と呼ばれている。
【００９６】
図１２（ｂ）の指検出用の画像取得モードにおいて１２０６が１枚の部分画像を取得する１フレーム期間である。また、１２０７、１２０８が主走査方向１行分の画像を取得する期間である。１２０７が１行目の画像の転送が行われる期間であり、１２０８が１２行目に出力される画像の転送が行われる期間である。また、１２０９が１２０６の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。また、１２１０が１２０６の期間の次の期間に出力される１フレーム分の取得画像の露光量を決めるＬＥＤの点灯期間である。指の検出を行うための画像取得モードにおいては、指の有無さえ検出できればいいため、１２０９，１２１０のようにＬＥＤは点灯期間は必要最低限にされている。このモードにおいても、１２０９で点灯したＬＥＤによる露光が、１２０６で出力されるセンサ１２行全体の露光量を決めるため、一括露光と呼ばれている。
【００９７】
図１２（ｃ）の露光条件設定用の画像取得モードにおいて１２１１が１枚の部分画像を取得する１フレーム期間である。ここで、ＥＳＴは前述した電子シャッタ用のシフトレジスタ（ＥＳＲ）のスタートパルスである。１２１２がＥＳＴとＶＳＴの間隔で決まるローリングシャッターによる露光時間である。各行は、その行の選択されるＶＣＬＫが与えられる直前の露光時間の間で露光されていく。１２１３、１２１４が主走査方向１行分の画像を取得する期間である。１２１３が１行目の画像の転送が行われる期間であり、１２１４が１２行目に出力される画像の転送が行われる期間である。また、１２１５が１２１３の期間に出力される１行分の取得画像の露光量を決めるＬＥＤの点灯期間である。また、１２１８が１２１４の期間に出力される１行分の取得画像の露光量を決めるＬＥＤの点灯期間である。露光条件設定用の画像取得モードにおいては、１２１５〜１２１８のようにＬＥＤの点灯輝度を数段階に変えながら画像取得が行われる。このようにして、数段階の異なる露光条件での撮像を１枚の部分画像の中で行うことにより、この１枚を用いて最適な露光条件を判別できる。
【００９８】
図１３（ａ１）〜（ａ９）は、本実施の形態により、図２の２０７の方向に指を移動しながら帯状の２次元センサにより連続取得した指紋の部分画像を示している。（ｃ）は取得した部分画像を合成して得られた１枚の指紋画像を示している。
【００９９】
ここで、（ａ１）の画像取得以前に指検出用の画像取得モードにより、指がセンサ上に置かれたことが検出される。（ａ１）が露光条件設定用の画像取得モードで取得した画像である。また、（ａ２）〜（ａ９）が本来の指紋撮像用の画像取得モードで取得した画像である。ここでは、（ａ１）の１フレームで露光量の最適化が実現されている。（ａ１）は部分画像の面内で露光量が変化している画像であるが、指の移動はじめの画像を欠落させず、広い範囲の画像を取得するうえで必要な画像となる。また、もっとも重要な指の中心周辺のなるべく広い範囲を最適化した露光量で撮像するために、（ａ１）１枚のみで最適な露光条件を設定できる点が重要になる。
【０１００】
このように本実施形態では、被写体である指と指の像（指紋）を撮像する撮像素子部１０４とを相対的に移動しながら、指の部分的な像を複数の露光条件の下で撮像することにより、第１の部分画像を取得する第１のモードと、前記第１の部分画像に基づき、露光条件を設定する第２のモードと、設定された露光条件に基づき、指と指の像を撮像する撮像素子部１０４とを相対的に移動しながら、指の像を順次部分的に撮像することにより得られる複数の第２の部分画像を撮像する第３のモードとを制御する制御部１２３ａを有することにより、指の検出直後から画像が取得されているため、指の移動の始点を含めた広い範囲の撮像が可能となり、認証に必要な特徴情報が多く取得できるため、高精度な指紋認証システムが実現できる。さらに、スウィープ型のセンサ特有の指の移動による認証動作を１回で済ませられる確率を高められるため、ユーザーの使い勝手を向上させた製品が提供できる。
【０１０１】
なお、本実施形態では、スウィープ型のセンサを用いて、高精度な指紋認証システムを提供することで、回路を簡素化した点などにより回路の小型化が実現できる。処理回路の小型化は、情報を電磁波によって送信する送信部と所望の送信先を選択するための選択部とを有する携帯電話機、携帯可能なパーソナルコンピュータ、ＰＤＡ（パーソナルデータアシスタント）等の携帯機器のように携帯性が要求されるものに好適である。
【０１０２】
また本実施形態では、指の指紋により被写体（本人）の照合を行うシステムについて説明したが、被写体の部分画像をつなぎ合わせて合成する方式を用いたも画像取得方式であれば、目の網膜、顔の認識、手の形状等により被写体（本人）の照合を行うシステムについても同様に用いることができる。
【０１０３】
（実施形態３）
上述した実施形態１、２においては、部分画像を連続取得する最初の段階での露光量の制御について例示したが、本実施形態３においては部分画像を連続取得している途中段階における輝度の変化に対応して露光量の制御を行う例を説明する。
【０１０４】
まずは、スウィープタイプの指紋センサの問題点について改めて説明する。例えば密着光学式のスウィープタイプの指紋センサの場合、指をセンサ表面に密着させるなどしてこするように移動させるため、指の速度や、押し圧、指のおき方などが指の移動のはじめから終わりまでで一定にすることが難しく、むしろ変化してしまう場合のほうが多い。
【０１０５】
また携帯電話やＰＤＡ、ノートＰＣなどのモバイル機器に搭載されている指紋センサの場合には、車や徒歩の移動中など、指を動かして撮像する間に直射日光下から日影への移動や室外から室内への移動により外光の入り方が変化する場合もある。あるいは指を移動している間に汗が増えて指の表面状態が変化するなどの場合もある。
【０１０６】
これらの場合に、指により拡散（あるいは反射、あるいは透過）して撮像部に入射する光の量が変化して蓄積される電荷量が大きく変化するという問題がある。また、指の部位（第一関節部や先端部など）によって同一の指でも太さが異なったり、あるいは骨やつめのある部位の違いがあるため、露光量が変化してしまう場合もある。このように部分画像を連続取得している途中段階で露光量及び蓄積される電荷量が大きく変化すると、スウィープタイプの指紋センサは部分画像を接続する画像合成処理（再構成処理）に失敗して、接続できない、あるいは誤接続してしまう。
【０１０７】
これは画像合成処理が、順次撮像した部分画像間の相関係数を演算により求めて、各画像間のどの行とどの行が同一の指紋部位かを検出して、検出した行を重ねるように画像をつなぎ合わせるという処理を行うためである。指の移動中に輝度変化が生じると、同一の指紋部位にもかかわらず、該当行の相関値が減少するため、同一の指紋部位と判断されない、あるいはほかの部位と同一と誤判断されてしまう。こうして画像合成処理が失敗した場合、全体の指紋画像の一部が欠落したり画像が伸び縮みしたりするため、抽出した特徴が登録した指紋の特徴と一致する割合が低下して照合精度が低下してしまうのである。
【０１０８】
また、部分画像を連続取得している途中段階で蓄積される電荷量が大きく変化すると、全体の取得指紋画像の面内でコントラストや輝度が変化するため、登録画像と照合するうえでの特徴情報も変化してしまう。したがって、特徴点抽出方式やパターンマッチング方式、周波数解析方式などいずれの照合方式においても取得画像と参照画像での相関性が低下して、照合精度が低下してしまう。
【０１０９】
例えば、指をセンサ表面に対してあてて、手前方向に移動すると、その取得画像は指の第一間接付近の輝度に対して指の先端部の輝度が１０〜２０％ほど高くなる。これは、指の第一間接付近では指はセンサ表面に対して平行に移動するため押し圧はそれほどかからないが、指の先端部になると指はセンサ表面に対して垂直方向に角度をもち下方向へ力がかかるような形になるためである。連続した部分画像を取得中に部分画像間で輝度が２０％も高くなった場合に、ＡＧＣ（オート  ゲイン  コントロール）などでゲインを例えば４倍などかけていると増加分が４倍となるため、いままでダイナミックレンジに入っていた画像信号が飽和してしまうという問題が生じる。画像信号が飽和してしまうと、指紋画像を得ることができなくなり、部分画像間の相関部分の抽出や、部分画像同士の合成などができなくなってしまう。したがって、この輝度変化を抑えることが重要な課題になる。
【０１１０】
以上に説明した問題を解決するために、本実施形態の指紋認証装置においては、変動する電荷蓄積状態を補うように、電荷蓄積条件の制御を部分画像毎に制御する。具体的な例として、指紋パターンとは区別して、指の押し圧の変化による輝度の変動と環境の変化による輝度の変動を判別して、対応した補正量になるように光源の輝度と撮像素子の蓄積時間から決まる露光量を部分画像毎に制御する。
【０１１１】
次に、センサ表面への指の押し付け方の違いによる輝度の変化について説明する。光が屈折率の異なる物質界面に入射するとき、その界面で光の反射が生じる。たとえば、屈折率１の空気中を通った光がガラスなどの表面に達したときがこうした反射が生じる。ガラスなどの物質の屈折率をｎ１とすると、このときの反射率Ｒは次式で表される。
Ｒ＝（（１−ｎ１）／（１＋ｎ１））2
ｎ１＝１．５のとき、Ｒ＝０．０４で約４％反射する。
【０１１２】
今、指とセンサの表面の界面を考える。センサ表面はシリコンやガラスなどの保護部材や光学的な部材が存在する。これらの物質の屈折率はおよそ１．４〜１．６である。また、指の屈折率も指の表面の汗の効果にもよるが実験的におおよそ１．４〜１．６としられている。いま、光源と指とセンサ表面の関係を考えると、指はセンサに軽く触れている状態と、強く押し当てられて密着している場合が考えられる。このとき、外部から指に入射する光の経路では、（１）ＬＥＤ表面と空気との界面と（２）空気と指表面の界面が考えられる。また、指の中で散乱されて指から出射してセンサに入射する光の経路では、（３）指と空気の界面と（４）空気とセンサの界面が考えられる。
【０１１３】
光源と指、指とセンサが軽く触れている場合は、空気層が各間に存在するため、（１）〜（４）の界面で各２．６〜５．３％程度のロスが発生する。したがってトータルで１０〜２１％程度のロスが発生する。一方、指がセンサあるいは光源に密接に接している場合は、（１）＋（２）あるいは、（３）＋（４）が反射しなくなるため、トータルで反射が半減して５〜１１％程度のロスになる。指がセンサと光源の両方に密接についた場合のロスは（１）〜（４）のすべてで反射しなくなりロスはなくなる。したがって、指の移動による押し圧の変化により、得られる輝度は１０〜２１％程度変化する。その変化の仕方は１段階（上記（１）〜（４）の各界面）につき２．６〜５．３％毎である。
【０１１４】
したがって、指の移動中の輝度変化のなかで、押し圧による輝度差が主要因であることを考えると、あるセンサユニットに対しては、光源とセンサ表面の材質から決まる屈折率に対応した１段階の変化は２．６〜５．３％のなかのいずれかの値であることが一意に決まるので、その値の整数倍を１ステップとして段階的に輝度を変化することで指の移動中の輝度変化に効果的に対応することが可能であるといえる。
【０１１５】
ここで、本実施形態では屈折率による輝度変化の１段階が４％として、４％の整数倍で輝度を変化させるように制御する例を示す。以下、図１４〜図２０を用いて本実施形態の動作を説明する。尚、実施形態３における指紋認証装置の構成は、図１に示した実施形態１の指紋認証装置と同様の構成であり、説明を省略する。
【０１１６】
また、実施形態３の指紋認証装置は、実施形態１の指紋認証装置と同様に、検出した生体の輝度情報により認証部１０２側が、センサ駆動部１０５を制御して電荷蓄積期間を変化または／及びＬＥＤ駆動部１０８を制御してＬＥＤ点灯期間やＬＥＤ輝度を変化させて、画像取得部１０１の露光条件を部分画像毎に変化させる制御を行う。
【０１１７】
図１４は、図１に示す本実施形態の指紋認証装置における連続画像取得ルーチンの動作を示す図である。図１４の１４０１において指紋認証装置は、連続画像取得条件設定ルーチンに入り、１４０２において認証部１０２は、画像取得部１０１から部分画像を１枚取得する。次に、１４０３において、生体情報輝度検出部１２２ａにより生体情報輝度を検出する。１４０４において、制御部１２３ａは、あらかじめ別途設定されている輝度の理想値と検出値の差分を計算する。１４０５において、制御部１２３ａは、差分値の絶対値があらかじめ別途設定してある閾値１と比較して小さいか否かを判断する。ここで、小さいと判断した場合は、輝度の変動が少ないと判断したことを示し、１４０８において、画像合成部１３５は、画像合成ルーチンにおいて部分画像を接続する処理を行う。一方、閾値１より大きいと判断した場合は、制御部１２３ａは、後述する露光補正量設定ルーチン１４０６にすすみ、センサ駆動部１０５とＬＥＤ駆動部１０８を制御して実現する露光補正のための制御量を決定する。
【０１１８】
ここで補正された露光量が反映されるのは次回の露光時からのため、それまで撮像された部分画像は輝度の理想値との差分が大きく、このままでは画像合成や照合処理の精度を低下させてしまう。このため、１４０７において、画像合成部１３５は、画像合成前の部分画像から差分値を補正して除去する処理を行う。画像合成前の部分画像から差分値を補正する方法としては、単に画像データから差分値を一律に減算したり、あるいは差分値に相当する分の輝度が減っているのでその輝度が低下している割合の分、逆にゲインを掛けるように乗算を行うなどの方法がある。
【０１１９】
こうして露光量の補正制御と部分画像の補正処理を行った後、画像合成部１３５は、前の部分画像との接続を１４０８の画像合成ルーチンで行う。尚、画像合成ルーチン１４０８の処理の詳細については後述する。次に、１４０９において、制御部１２３ａは、部分画像の連続取得を終了するかどうかを判断する。ここで、終了しない場合は１４０２に戻り次の部分画像を取得する。また、終了する場合は１４１０において連続画像取得のルーチンを終了する。
【０１２０】
スィープ型のセンサにおいては速い指の移動速度に対して追従する性能が、認証性能のひとつの指標になる。これは、指の移動のさせ方が人によりさまざまであることや、指の移動時に常に一定速度で移動させることは困難で速くなったり遅くなったりするのが常であることから追従性をよくすることが重要なためである。通常スィープ型のセンサは高速で部分画像を取り込むため、移動速度が遅い場合は部分画像間での移動量が少ないので取得した部分画像を何枚ずつか間引きながら、画像を合成する。また、移動速度が速い場合は隣接した部分画像間で相関の取れる領域が最小になるため、１部分画像でも間が抜けるとその前後の画像は相関が取れなくなり、画像の接続が途絶えてしまう結果になる。このため、連続して取得した部分画像をなるべく無駄にせず使用することが重要である。本実施形態における指紋認証装置は、生体情報輝度検出部１２２ａの検出結果を用いて、後続する部分画像の露光量を制御するとともに、輝度変化の検出された部分画像については補正を行ってから画像合成を行うことにより、照合精度とともに認証速度の向上を実現する。
【０１２１】
次に、図１４に示した露光補正量設定ルーチン１４０６の詳細について説明する。
図１５は、図１４に示した露光補正量設定ルーチン１４０６の詳細を示す図である。図１５に示すように、まず、１５０１において、露光補正量設定ルーチンに入る。次に、１５０２において、制御部１２３ａは、前述した理想値に対する検出した生体輝度の差分値の絶対値と、あらかじめ設定してある第２の閾値との比較を行う。ここで、差分値の絶対値が閾値２より小さいと判断した場合には、輝度変動は押し圧の変化により生じたと判断したことを示し１５０３に進む。また、閾値２より大きいと判断した場合には、外光の変化など何らかの環境が変化したと判断したことを示し、１５０６に進む。
【０１２２】
１５０３において、差分値が０より小さい場合は、１５０４に進み、制御部１２３ａは、理想値に対して輝度が高いため、あらかじめ別途設定した露光調整量を１段階下げる調整を行う。一方、差分値が０より大きい場合は、１５０５に進み、制御部１２３ａは、理想値に対して輝度が低いため、あらかじめ別途設定した露光調整量を１段階あげる調整を行う。このとき露光量の調整は、露光制御用のレジスタ（センサ駆動部１０５の電荷蓄積期間設定レジスタ、あるいは／およびＬＥＤ駆動部１０８のＬＥＤ点灯期間またはＬＥＤ輝度の設定レジスタ）に格納される設定値をあらかじめ決めた値（１段階分）だけ上げる／下げることで実現する。ただし、この場合に、変更後の設定値が有効になるのは、次の露光期間のタイミングである。
【０１２３】
前述のように指の押し圧により変わる輝度変化量は複数段階のいずれかにあらかじめ設定できるできることから、反射率の変化量に対応した１段階の露光変化量を部分画像毎に変化させることにより、変化の特性に合わせた補正を行うようになっている。あらかじめ設定した変化率により、露光量を変化させていくため、変化を実際の輝度変化に追従させていきやすく、また収束が速いという効果が得られる。
【０１２４】
一方、１５０６に進んだ場合は、大きく閾値が変化した場合であり、緊急性が高いと判断して対応する構成となっている。またその変化はさまざまなケースが考えられ、あらかじめ補正量を決めておくことはできないため、その場で補正値を算出して次の露光時に一度に露光量を変更する構成となっている。具体的には、１５０６において、制御部１２３ａは、検出した差分値に相当する分を補正するために必要な露光制御の設定値を算出する。次に、１５０７において、制御部１２３ａは、露光制御用のレジスタ（センサ駆動部１０５の電荷蓄積期間設定レジスタ、あるいは／およびＬＥＤ駆動部１０８のＬＥＤ点灯期間あるいはＬＥＤ輝度の設定レジスタ）を再設定する。ただし、この場合設定が有効になるのは、次の露光期間のタイミングである。
【０１２５】
以上に示したように、それぞれの輝度変化の種類を判別またはあらかじめ設定して露光量を制御した後に、１５０８において、制御部１２３ａは、該当部分画像の差分値と露光補正量を該当部分画像に関連付けてメモリに記憶する。１５０９において、露光補正量設定のルーチンを終了する。
【０１２６】
次に、図１４に示した画像合成ルーチン１４０８の詳細について説明する。
図１６は、図１４に示した画像合成ルーチン１４０８の詳細を示す図である。図１６に示すように、まず、１６０１において、画像合成ルーチンに入ると、１６０２において、画像合成部１３５は、前の部分画像と今回の部分画像の位相差を算出する。部分画像の位相差とは、２つの部分画像間で指の相対移動により発生する指の同じ部位のずれ量のことである。この部分画像の位相差を検出することにより、画像合成部１３５は、２つの部分画像の位置あわせを行う。また、画像合成部１３５は、２つの部分画像の位相差を、２つの部分画像間の相関性を計算する手法により求める。この相関性を計算する手法としては、二つの部分画像間の相互相関係数を計算する方法や、二つの部分画像における画素輝度の差の絶対値を求める方法や、高速フーリエ変換を用いて相互パワースペクトルから二つの部分画像が一致する値を検出する方法や、二つの部分画像のそれぞれ特徴点を抽出し、その特徴点が一致するように位置合わせを行う方法などがあげられる。尚、本実施形態における撮像素子部１０４は指の移動方向（＝撮像素子部１０４の副走査方向）の行数が１２行であるが、これに限定されるものではない。
【０１２７】
次に、１６０３において、画像合成部１３５は、２つの部分画像の位相差が１２行（１２画素）以下であるか否かを判断する。ここで１２行以下であると判断した場合、部分画像同士の画像の位相差が検出できたと判断したことを示し、１６０４において、画像合成部１３５は、位相差が０か否かの判断を行う。ここで位相差が０であると判断した場合は、指がまったく動いていない、あるいは移動速度が非常に遅いと判断したことを示し、１６０６に進み、画像合成部１３５は、今回の部分画像は前回の部分画像と接続せず破棄する。次に、画像合成部１３５は、１６０８に進み画像合成のルーチンを終了する。このとき、前回の部分画像はそのまま次に取得する部分画像との位相差の算出や、画像の合成処理に用いられる。
【０１２８】
また、１６０４において、位相差が０でない場合には、１６０５に進み、画像合成部１３５は、検出した位相差に応じて２つの部分画像の位置を合わせて、前回の部分画像と取得した部分画像の画像合成を行う。次に、１６０７において、画像合成部１３５は、合成した画像中の該当部分画像の位置に対応して、部分画像の輝度差分値と露光補正量と接続結果を画像とは別のファイルなどに記録する。このファイルは、登録・照合部１１９が、合成した指紋全体の画像を、登録済みの指紋データと照合を行う際に、スィープ型特有の部分画像毎の品質の差を考慮に入れて各部分画像領域に位置する特徴点に対して重み付けをして照合をするため等に用いられる。例えば、部分画像の輝度差分値や露光補正量が多い部分画像には、誤差が多いと判断し照合に利用しないようにすることにより、より精度の高い認証が可能となる。これにより、指紋の照合精度を向上させることができる。
【０１２９】
一方、１６０３において、２つの部分画像の位相差が１２行より大きい場合、あるいは値が得られなかった場合は、部分画像間で相関が得られなかったことを意味する。この場合は、移動量が速すぎることが考えられるため、１６０９において、画像合成部１３５は、取得した部分画像は破棄せず、前回の部分画像の最後尾となる行に今回の部分画像の最初の行を接続する。次に、１６１０において、画像合成部１３５は、合成した画像中の該当部分画像の位置に対応して、位相差が１２行以下ではなかったことを先述のファイルなどに記録する。また、１６１１において、画像合成部１３５は、合成した画像中の該当部分画像の位置に対応して、部分画像の輝度差分値と露光補正量を先述のファイルなどに記録する。
【０１３０】
次に、図１７〜図１８−２を用いて、本実施形態の指紋認証装置が、指の押し圧が変化した場合の輝度変化に対応した処理を行うことの効果について説明する。
図１７（ａ１）〜（ａ９）は、従来の指の押し圧の変化に応じた露光制御をしない場合に取得した部分画像例を示す図である。また、図１７（ｂ）は、図１７（ａ１）〜（ａ９）の部分画像を合成した場合に得られる合成後の指紋画像例を示す図である。また、図１８−１（ａ１）〜（ａ９）は、本実施形態の指紋認証装置において、指の押し圧の変化による輝度変化に対応して露光制御をした場合に取得した部分画像例を示す図である。図１８−１（ａ１）〜（ａ９）に示す部分画像は、露光補正量設定ルーチン１４０６の露光制御をしながら露光補正量を設定した段階で取得したと仮定したときの部分画像である。また、図１８−２（ｂ１）〜（ｂ９）は、図１８−１（ａ１）〜（ａ９）の部分画像を補正後の部分画像例を示す図である。これら図１８（ｂ１）〜（ｂ９）の部分画像は、図１４の１４０７の部分画像データから差分値を補正する処理を終えた補正後の部分画像である。図１８−２（ｃ）は、図１８−２（ｂ１）〜（ｂ９）に示した補正後の部分画像を合成した場合に得られる合成後の指紋画像例を示す図である。図１８−２（ｃ）の指紋画像は、露光制御と画像補正の両者を実施後に合成した指紋画像であり、図１７（ｂ）と比較しても画質が向上していることが分かる。
【０１３１】
具体的には、図１７（ａ６）〜（ａ９）の部分画像において、指の押し圧の変化により輝度が理想値に対して各＋１９％、＋１７％、＋１９％、＋１８％と高くなっている場合を例にしている。このため、図１７（ａ６）〜（ａ９）の部分画像は、飽和気味の画像になっている。このような場合に、本実施形態の指紋認証装置は、露光量を制御することで、図１８−１（ａ６）〜（ａ９）に示すように、輝度の理想値に対して各＋１９％、＋９％、＋３％、＋２％と、図１７（ａ６）〜（ａ９）の部分画像と比べてより理想値に近い輝度レベルの部分画像を得ることができる。
【０１３２】
ここで、図１４、図１５に示した閾値として閾値１＝６％、閾値２＝２０％と設定してあるとする。また、押し圧変化による１段階の露光調整量は８％とする。この設定において認証部１０２は、図１８−１（ａ６）の部分画像を取得すると図１４、図１５のルーチンに従い、取得した部分画像の輝度レベルの差分値が６％以上２０％以下なので、指の押し圧による輝度変化と判断して（１５０２のＹ）、１５０３の処理に進む。１５０３では、図１４の１４０４における計算から明らかなように検出した輝度が理想値より大きい場合には、制御部１２３ａは、差分値が０以下なので、１５０４に進み、露光調整量を８％ダウンする。尚、図１８−１（ａ６）は、輝度変化を検出した部分画像なので、露光量の制御は行われていないが、次の部分画像（図１８−１（ａ７））を画像取得部１０１が取得する前に、一段階分の−８％の露光量の制御が行われる。
【０１３３】
以上により、次に画像取得部１０１が取得する図１８−１（ａ７）の部分画像は、図１７（ａ７）に比べて−８％となる＋９％の輝度レベルとなる。この図１８−１（ａ７）の部分画像も、６％以上の差分値があるためさらに露光量を１段階（−８％）さげる処理が行われる。これにより、図１８−１（ａ８）の部分画像は、図１７（ａ８）に比べて−１６％となる＋３％の輝度レベルとなる。この図１８−１（ａ８）の部分画像では、６％以下の差分値であるので、次の部分画像の取得前に露光量の制御が行われない。このため、図１８−１（ａ９）の部分画像は、図１７（ａ９）に比べて−１６％となる＋２％の輝度レベルとなる。以上に説明したように、所定の範囲内で輝度レベルが変化した部分画像を取得した場合には次の部分画像の取得前に１段階分の露光量を制御する処理を繰り返すことで、本実施形態の指紋認証装置は、図１７（ａ１）〜（ａ９）より適切な露光量となる図１８−１（ａ１）〜（ａ９）の部分画像を取得することができる。
【０１３４】
また、図１４の１４０８及び図１６に示すように、露光量を制御して得た図１８−１（ａ１）〜（ａ９）の部分画像の内、輝度レベルが閾値１を超える部分画像に対して画像合成部１３５が補正処理を行う。具体的には、画像合成部１３５は、図１８−１（ａ６）の部分画像に対して＋１９％の差分値を０％に補正して図１８−２（ｂ６）の部分画像を得る。同様に、画像合成部１３５は、図１８−１（ａ７）の部分画像に対して＋９％の差分値を０％に補正して図１８−２（ｂ７）の部分画像を得る。また、図１８−１（ａ８）、（ａ９）においては、差分値が６％以下であるので、画像合成部１３５による画像補正を行わない。画像合成部１３５は、以上の処理により得られた図１８−２（ｂ１）〜（ｂ９）の部分画像を、合成して図１８−２（ｃ）に示す合成後の指紋画像を作成する。以上のように作成された図１８−２（ｃ）の指紋画像は、輝度レベルのバラツキが６％以下に抑えられており、本実施形態の指紋認証装置は、高画質の指紋画像を得ることができることを示している。
【０１３５】
次に、図１９〜図２０−２を用いて、外光環境が変化した場合の輝度変動に応じた指紋認証装置の動作について説明する。
図１９（ａ１）〜（ａ９）は、従来の外光環境の変化に応じて部分画像の取得中に露光量の制御をしない場合の部分画像例を示した図である。また、図１９（ｂ）は、図１９（ａ１）〜（ａ９）の部分画像を合成した場合に得られる合成後の指紋画像例を示す図である。また、図２０−１（ａ１）〜（ａ９）は、外光環境の変化に応じて部分画像の取得中に露光量の制御をした場合の部分画像例を示す図である。図２０−１（ａ１）〜（ａ９）に示す部分画像は、露光補正量設定ルーチン１４０６の露光制御をしながら露光補正量を設定した段階で取得したと仮定したときの部分画像である。また、図２０−２（ｂ１）〜（ｂ９）は、図２０−１（ａ１）〜（ａ９）の部分画像を補正後の部分画像例を示す図である。図２０（ｂ１）〜（ｂ９）の部分画像は、図１４の１４０７の部分画像データから差分値を補正する処理を終えた補正後の部分画像である。図２０−２（ｃ）は、図２０−２（ｂ１）〜（ｂ９）に示した補正後の部分画像を合成した場合に得られる合成後の指紋画像例を示す図である。図２０−２（ｃ）の指紋画像は、露光制御と画像補正の両者を実施後に合成した指紋画像であり、図１９（ｂ）と比較しても画質が向上していることが分かる。
【０１３６】
具体的には、図１９（ａ６）〜（ａ９）の部分画像において、外光環境の変化により輝度が理想値に対して各−２５％、−２６％、−２１％、−２３％と著しく低くなっている場合を例にしている。このため、図１９（ａ６）〜（ａ９）の部分画像は、黒つぶれ気味の画像になっている。このような場合に、本実施形態の指紋認証装置は、露光量を制御することで、図２０−１（ａ６）〜（ａ９）に示すように、輝度の理想値に対して各−２５％、−１％、＋４％、＋２％と、図１９（ａ６）〜（ａ９）の部分画像と比べてより理想値に近い輝度レベルの部分画像を得ることができる。
【０１３７】
ここで、図１４、図１５の閾値として閾値１＝６％、閾値２＝２０％と設定してあるとする。この設定において認証部１０２は、図２０−１（ａ６）の部分画像を取得すると図１４、図１５のルーチンに従い、取得した部分画像の輝度レベルが２０％以上の変化のため、外光環境等の異常な輝度変化と判断して（１５０２のＮ）、１５０６の処理に進む。次に、１５０６及び１５０７において、制御部１２３ａは、差分値（−２５％）に相当する露光補正量（ここでは＋２５％とする）を算出して、レジスタに設定する。尚、図２０−１（ａ６）は、輝度変化を検出した部分画像なので、露光量の制御は行われないが、次の部分画像（図２０−１（ａ７））の取得前には行われる。
【０１３８】
以上により、次に画像取得部１０１が取得する図２０−１（ａ７）の部分画像は、図１９（ａ７）に比べて＋２５％となる−１％の輝度レベルとなる。この図２０−１（ａ７）の部分画像では、理想値との違いが６％以下のとなるので、次の部分画像の取得前に露光量の制御が行われない。このため、図２０−１（ａ８）の部分画像は、図１９（ａ８）に比べて＋２５％となる＋４％の輝度レベルとなり、図２０−１（ａ９）の部分画像は、図１９（ａ９）に比べて＋２５％となる＋２％の輝度レベルとなる。以上に説明したように、所定の閾値を超えて輝度レベルが変化した部分画像を取得した場合には次の部分画像の取得前に変化した分の露光量を制御する処理を行うことで、本実施形態の指紋認証装置は、図１９（ａ１）〜（ａ９）より適切な露光量となる図２０−１（ａ１）〜（ａ９）の部分画像を取得することができる。
【０１３９】
また、図１４の１４０８及び図１６に示すように、露光量を制御して得た図２０−１（ａ１）〜（ａ９）の部分画像の内、輝度レベルが閾値１を超える部分画像に対して画像合成部１３５が補正処理を行う。具体的には、画像合成部１３５は、図２０−１（ａ６）の部分画像に対して−２５％の差分値を０％に補正して図２０−２（ｂ６）の部分画像を得る。また、図２０−１（ａ７）、（ａ８）、（ａ９）においては、差分値が６％以下であるので、画像合成部１３５による画像補正を行わない。画像合成部１３５は、以上の処理により得られた図２０−２（ｂ１）〜（ｂ９）の部分画像を、合成して図２０−２（ｃ）に示す合成後の指紋画像を作成する。以上のように作成された図２０−２（ｃ）の指紋画像は、輝度レベルのバラツキが６％以下に抑えられており、本実施形態の指紋認証装置は、高画質の指紋画像を得ることができることを示している。
【０１４０】
このように、本実施形態の指紋認証装置においては、輝度変動を検出して、その要因を輝度レベルの差分値から推定判断し、あるいは変化をあらかじめ設定して露光量の制御を行いながら部分画像を合成していくことにより、部分画像間の輝度の均一性を高めて、部分画像の合成率や、認証精度を向上することができる。また、上述した実施形態１と本実施形態を組み合わせることで、被写体の部分画像を連続取得する最初の段階で行毎の露光量の制御により最適な露光量として、続いて、被写体が移動し始めることによる被写体の光学的特性の変化や環境の変化に応じて最適な露光量となるよう制御することができる指紋認証装置を実現することができる。
【０１４１】
なお、本実施形態では、スウィープ型のセンサを用いて、高精度な指紋認証システムを提供することで、回路を簡素化した点などにより回路の小型化が実現できる。処理回路の小型化は、情報を電磁波によって送信する送信部と所望の送信先を選択するための選択部とを有する携帯電話機、携帯可能なパーソナルコンピュータ、ＰＤＡ（パーソナルデータアシスタント）等の携帯機器のように携帯性が要求されるものに好適である。
また本実施形態では、被写体である指の指紋を撮像することにより本人の照合を行う指紋認証システムについて説明したが、被写体の部分画像をつなぎ合わせて合成する方式を用いた画像取得方式であれば、目の網膜、顔の認識、手の形状等により本人の照合を行うシステムについても同様に用いることができる。
【０１４２】
本実施形態における指紋認証装置は、１回の指紋の撮像期間中に露光条件を適時変更しながら撮像可能な点が特徴であり、高画質の画像データが得られることにより高い精度の認証と、速い認証速度を両立できる。また、本実施形態においては、図１の回路において認証部１０２の制御部１２３ａにより部分画像毎の露光量を制御する例を示したが、図１０に示したように画像取得部１０１の制御部１２３ｃにより部分画像毎の露光量を制御しても同様の効果が得られることはいうまでもない。
【０１４３】
また、本実施形態においては撮像素子部１０４として光学式のＣＭＯＳセンサを例示したが、静電容量型などほかの方式のセンサにおいても、光学式同様画素部に蓄積される電荷量の変動を補うように、電荷蓄積条件の制御を部分画像毎に制御することにより同様の効果が得られる。したがって、本発明は光学式のセンサ以外である撮像方式のセンサに対しても適用できる。
【０１４４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【０１４５】
【図１】本発明の実施の形態１の指紋照合装置の模式的な構成を示すブロック図である。
【図２】実施の形態におけるスウィープタイプと呼ばれる方式を用いた光学式指紋センサの説明図である。
【図３】実施の形態におけるスウィープタイプと呼ばれる方式を用いた光学式指紋センサの説明図である。
【図４】実施の形態における撮像素子の構成を示すブロック図である。
【図５】実施の形態における撮像素子の構成を示すブロック図である。
【図６】実施の形態１における画像取得条件設定ルーチンを説明するためのフローチャートである。
【図７】実施の形態１における動作を説明するためのタイミング図である。
【図８】実施の形態１の動作を説明するための説明図である。
【図９】実施の形態１の動作を説明するための説明図である。
【図１０】本発明の実施の形態２の指紋照合装置の模式的な構成を示すブロック図である。
【図１１】実施の形態２における画像取得条件設定ルーチンを説明するためのフローチャートである。
【図１２】実施の形態２における動作を説明するためのタイミング図である。
【図１３】実施の形態２の動作を説明するための説明図である。
【図１４】図１に示す本実施形態の指紋認証装置における連続画像取得ルーチンの動作を示す図である。
【図１５】図１４に示した露光補正量設定ルーチン１４０６の詳細を示す図である。
【図１６】図１４に示した画像合成ルーチン１４０８の詳細を示す図である。
【図１７】従来の指の押し圧の変化に応じた露光制御をしない場合に取得した部分画像例、及び部分画像を合成した場合に得られる合成後の指紋画像例を示す図である。
【図１８−１】本実施形態の指紋認証装置において、指の押し圧の変化による輝度変化に対応して露光制御をした場合に取得した部分画像例を示す図である。
【図１８−２】図１８−１（ａ１）〜（ａ９）の部分画像を補正後の部分画像例及び、補正後の部分画像を合成した場合に得られる合成後の指紋画像例を示す図である。
【図１９】従来の外光環境の変化に応じて部分画像の取得中に露光量の制御をしない場合の部分画像例及び、部分画像を合成した場合に得られる合成後の指紋画像例を示す図である。
【図２０−１】外光環境の変化に応じて部分画像の取得中に露光量の制御をした場合の部分画像例を示す図である。
【図２０−２】図２０−１（ａ１）〜（ａ９）の部分画像を補正後の部分画像例及び、補正後の部分画像を合成した場合に得られる合成後の指紋画像例を示す図である。
【符号の説明】
【０１４６】
１０３  光源
１０４  撮像素子部
１０５  センサ駆動部
１０８  ＬＥＤ駆動部
１１９  登録・照合部
１２１  指検知部
１２２ａ  生体情報輝度検出部
１２３ａ  制御部
１３５    画像合成部
【図１】
2005004718.tif 000003
【図２】
2005004718.tif 000004
【図３】
2005004718.tif 000005
【図４】
2005004718.tif 000006
【図５】
2005004718.tif 000007
【図６】
2005004718.tif 000008
【図７】
2005004718.tif 000009
【図８】
2005004718.tif 000010
【図９】
2005004718.tif 000011
【図１０】
2005004718.tif 000012
【図１１】
2005004718.tif 000013
【図１２】
2005004718.tif 000014
【図１３】
2005004718.tif 000015
【図１４】
2005004718.tif 000016
【図１５】
2005004718.tif 000017
【図１６】
2005004718.tif 000018
【図１７】
2005004718.tif 000019
【図１８−１】
2005004718.tif 000020
【図１８−２】
2005004718.tif 000021
【図１９】
2005004718.tif 000022
【図２０−１】
2005004718.tif 000023
【図２０−２】
2005004718.tif 000024