(57)【要約】【課題】複雑なアルゴリズムや大規模な補正回路で画像信号の補正を行うことなく、シェーディングの補正を行う。【解決手段】撮像対象物に光を照射する光照射手段と、撮像対象物からの反射光又は透過光を受光し、受光した光量に応じた電気信号を発生させる撮像素子とを有し、撮像素子からの信号のシェーディングを補正するように撮像素子の画素の受光条件を変える。受光条件は、撮像素子の画素１０−１〜１０−５の開口部の面積、開口部上に設けられるレンズの形状又は撮像素子の光電変換領域の不純物濃度を変える、又は撮像素子の駆動による蓄積時間を変えることで変化させる。【選択図】　　　図１
2004013804.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象物に光を照射する光照射手段と、前記撮像対象物からの反射光又は透過光を受光し、受光した光量に応じた電気信号を発生させる撮像素子とを有し、
前記撮像素子からの信号のシェーディングを補正するように前記撮像素子の画素の受光条件を変えたことを特徴とする撮像装置。
【請求項２】
前記受光条件は、前記撮像素子の画素構造であることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記画素構造は、開口部の面積、又は開口部上に設けられるレンズの形状であることを特徴とする、請求項２に記載の撮像装置。
【請求項４】
前記受光条件は、前記撮像素子の駆動による蓄積時間であることを特徴とする、請求項１に記載の撮像装置。
【請求項５】
前記蓄積時間の制御は、前記撮像素子を電子シャッタにより制御することで行われることを特徴とする、請求項４に記載の撮像装置。
【請求項６】
前記蓄積時間の制御は、前記撮像素子の水平ラインごとに行われることを特徴とする、請求項４に記載の撮像装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の撮像装置を指紋画像入力手段として含む指紋認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は撮像装置および指紋認識装置に係わり、特に撮像対象物に光を照射する光照射手段と、前記撮像対象物からの反射光又は透過光を受光し、受光した光量に応じた電気信号を発生させる撮像素子とを有する撮像装置および指紋認識装置に関する。
【０００２】
【従来の技術】
従来、指紋照合装置としては、例えば、特開平５−８１４１２号公報に、マイクロコンピュータが、登録或いは照合のための指紋画像の台形歪を、標準図形撮影画像の台形歪から標準図形に基づき定めた歪度合を表す倍率により補正し、この補正指紋画像を登録指紋画像或いは照合指紋画像とした上で両者の照合をするものが開示されている。また、特開平１０−１０５７０８号公報に、例えば指紋照合装置に適用して、映像信号を所定のしきい値を基準にして２値化信号に変換して第１および第２の画像間の一致、不一致を判定するときに、このしきい値の信号レベルを補正して、光学系における光量ムラを補正するものが開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の指紋照合装置はデータ補正を行うために複雑な演算回路や大規模なメモリが必要となり、処理時間やコストがかかる課題があった。
【０００４】
【課題を解決するための手段】
本発明の撮像装置は、撮像対象物に光を照射する光照射手段と、前記撮像対象物からの反射光又は透過光を受光し、受光した光量に応じた電気信号を発生させる撮像素子とを有し、前記撮像素子からの信号のシェーディングを補正するように前記撮像素子の画素の受光条件を変えたことを特徴とする。
【０００５】
上記受光条件は、前記撮像素子の画素構造、特に、開口部の面積、開口部上に設けられるレンズの形状又は前記撮像素子の光電変換領域の不純物濃度であることが望ましい。
【０００６】
また上記受光条件は、前記撮像素子の駆動による蓄積時間であることが望ましく、蓄積時間の制御は、例えば撮像素子を電子シャッタにより制御することで行うことができる。
【０００７】
本発明の指紋認識装置は、上記本発明の撮像装置を指紋画像入力手段として含むものである。
【０００８】
本発明による指紋認識装置は、指に光を照射してそこから透過又は反射した光を受光し画像信号に変換するイメージセンサを備えた指紋認識装置において、光源の輝度ムラや照明環境、指の形状や位置による画像信号シェーディングを１フレーム走査内における受光条件（センサ画素構造、蓄積時間制御等）を制御することにより補正することができる。
【０００９】
例えば、イメージセンサの垂直走査方向に照明用ＬＥＤが両側中央付近に１つずつ配置された指紋認識装置において、指の長手方向をセンサの垂直走査方向に合わせて指紋画像を取り込む。このとき、垂直走査方向中央部は指の内部を光が透過してセンサ側へ入射するため、光量としては中央部になるほど暗くなる。
【００１０】
したがって、本発明の好適な第１の実施形態では、画素構造、例えばセンサ画素の開口部の面積（形状）を変え、光量が少なくなる中央部付近になるほど開口を大きく、光量が多くとれる周辺部付近は開口を小さくすることにより、面内におけるシェーディングを補正する。
【００１１】
また、本発明の好適な第２の実施形態では、蓄積時間を中央部は長く、周辺部は短くなるように電子シャッターパルスを制御することにより、センサ垂直走査方向におけるシェーディングを補正する。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態について図面を用いて詳細に説明する。
【００１３】
（第１の実施形態）
図４（ａ）は本発明の指紋認証装置の指紋画像入力装置の斜視図、図４（ｂ）は本発明の指紋認証装置の指紋画像入力装置の構成の平面図とセンサ信号の波形図である。
【００１４】
図４に示すように、指紋画像入力装置２００のＣＭＯＳセンサ等の固体撮像素子２０１の垂直走査方向に、両側中央付近に１つずつ照明用のＬＥＤ２０２が配置され、固体撮像素子２０１上に指１００を載せ、指１００にＬＥＤ２０２から光が照射される。照射された光は、指の内部を透過・散乱して固体撮像素子２０１側へ入射する。
【００１５】
そして固体撮像素子２０１は、指の長手方向をセンサの垂直走査方向に合わせて指紋画像を取り込む。このとき、固体撮像素子の垂直走査方向中央部および水平走査方向はＬＥＤ２０２の配置及び指の内部を光が透過・散乱して固体撮像素子側へ入射するため、光量としては中央部になるほど暗くなり、図３に示すような画素の開口形状が均一な撮像素子を用いると、センサ信号も中央部の信号レベルが低くなる。すなわち、図３の固体撮像素子は画素１０の開口形状は面内で一様で開口面積が全画素で均一となっており、この撮像素子を図４の指紋画像入力装置に用いた場合には光量分布が中央部になるほど暗くなるので、センサ信号の出力が落ち、図４（ｂ）に示すような画素信号のシェーディングが発生する。
【００１６】
このように、指の形状や位置、又は光源の輝度ムラや照明環境等による画像信号のひずみをシェーディングという。本実施形態では後述するように、固体撮像素子２０２の画素の開口面積をシェーディングに対応させて変えることでシェーディング補正を行っている。
【００１７】
図５は指紋画像入力装置を有する画像認証装置の構成を示すブロック図である。
【００１８】
図５に示すように、図４の指紋画像入力装置となる画像イメージ入力部３０１から入力された指紋画像のイメージデータは、メモリ３０２に一時格納される。特徴点抽出部３０３は、メモリ３０２から画像イメージデータを読み出しこれを処理して特徴点を抽出し、特徴点データとして特徴点データ格納部３０４に格納する。特徴点データとしては、座標の目盛りを同一に保ちながら（指紋の画像を一定に保ちながら）、座標の原点と座標軸の方向はその都度仮に随意に定める直交座標軸上の座標位置で表す。そして隣接する２個の特徴点間の距離を計算して、これを同時に特徴点データとして格納する。
【００１９】
この特徴点データと、登録データ格納部３０６にあらかじめ登録されていた指紋画像の特徴点データを照合部３０７にて照合し、その認証状況が表示部３０８にてグラフのような形で表示される。３０５は各部に制御信号を送る制御部である。
【００２０】
そのため、指紋画像入力装置で取り込んだ指紋画像が図４（ｂ）に示すようなシェーディングをもつと、特徴点の抽出が難しくなり、認証率の低下、誤作動などの不具合をおこす要因となる。
【００２１】
本実施形態では固体撮像素子の画素の開口面積をシェーディングに対応させて設定することで、シェーディング補正を行う。
【００２２】
図１は、本実施形態で用いる固体撮像素子を模式的に示した図である。図２はその画素部の一画素の等価回路図であり、図３は比較例となる固体撮像素子を模式的に示した図である。
【００２３】
本実施形態では、図１に示すように、画素部はマトリクス状に配された画素から構成され、垂直シフトレジスタ（ＶＳＲ）１５を動作させ、水平信号線１２により画素部に制御信号を送り、画素部からの電荷信号を垂直出力線１１を介して蓄積部１３へ転送し、水平シフトレジスタ（ＨＳＲ）１４により順次画素信号を出力する。蓄積部１３は各垂直出力線１１ごとに設けられた蓄積用容量ＣＴＮ，ＣＴＳにノイズ信号、センサ信号を蓄積する。
【００２４】
また、図２はその画素部の部分の等価回路図である。ＰＤは光信号を電荷に変換する光電変換部であるフォトダイオード、ＴＸはフォトダイオードＰＤからの電荷信号を転送する転送用トランジスタ、ＲＥＳはその読み出し経路における電荷をリセットするリセット用トランジスタ、ＳＥＬは信号読み出しラインを選択する選択用トランジスタ、ＳＦは信号電荷をソースフォロアで蓄積部１３へ読み出すトランジスタを示す。ノイズ信号は転送用トランジスタＴＸをオフ、リセット用トランジスタＲＥＳ及び選択用トランジスタＳＥＬをオンした状態で垂直出力線１１から読み出される。センサ信号はノイズ信号読み出し後に、転送用トランジスタＴＸをオン、リセット用トランジスタＲＥＳをオフ、選択用トランジスタＳＥＬをオンした状態で垂直出力線１１から読み出される。そして、センサ信号からノイズ信号を減算処理することで、ノイズ成分が除去されたセンサ信号を得ることができる。
【００２５】
図１に示す画素部の画素の開口形状は、図４（ｂ）に示したセンサ水平走査方向のシェーディングを補正する場合を示しており、シェーディングに合わせて、中央部の画素１０−５の開口面積を大きく、周辺部にいくに従って開口面積が小さくなるように画素１０−４、１０−３、１０−２、１０−１の開口面積を順次設定している。図１においては、中央部から左端部側へと画素の開口面積を小さくした場合の画素部の左半分を示しているが、画素部の右半分も同様に中央部から右端部側へと画素の開口面積を小さくしている。なお、図４（ｂ）に示すセンサ垂直走査方向のシェーディングも、同様にシェーディングに合わせて、中央部の画素の開口面積を大きく、周辺部にいくに従って開口面積が小さくなるように画素の開口面積を設定することで補正することができる。
【００２６】
このように指の形状や位置、又は光源の輝度ムラや照明環境等による光量分布の不均一性を開口面積を工夫することで調整し、複雑な撮像条件、駆動タイミングの変更や補正アルゴリズムを使うことなく、シェーディング補正を行うことができる。
【００２７】
本実施形態では画素部の開口面積を変えたが、例えば各画素上（開口部上）に各々設けられるマイクロレンズの形状を変えて集光率を変えたり、画素の光電変換領域の不純物濃度を変えてフォトダイオード部分の光変換効率を変えたりすることでシェーディング補正を行うこともできる。
【００２８】
マイクロレンズの形状を変えて光量を調整することは例えば、特願平６−１４０６１２号公報の図４に記載されている。この図ではマイクロレンズの曲率を中央部から端部側に向けて大きくなるように（曲率半径が小さくなるように）変化させている。本実施形態ではシェーディングに合わせて逆にマイクロレンズの曲率を中央部から端部側に向けて小さくなるように（曲率半径が大きくなるように）変化させることで集光率を変えることができる。
【００２９】
（第２の実施形態）
第１の実施形態では、シェーディング補正を画素部の開口形状を変えることで行った。本実施形態では１フレームの走査時間内で駆動タイミングを制御することで補正を行う。
【００３０】
ここで、画素部の蓄積時間制御を電子シャッタ（ローリングシャッタ）による制御で行う。
【００３１】
図６は本実施形態で用いる固体撮像素子を模式的に示した図である。画素部の一画素は図２に示した画素構成と同じである。また画素領域２０の画素の開口形状は全画素均一となっている。
【００３２】
図６において、２０は複数の画素が配列されて構成された画素領域、２１は読み出す画素行を順次選択するシフトレジスタ等の第１の垂直走査回路（Ｖｓ・ＳＲ）、２２は蓄積を開始するため、画素行を順次リセットするシフトレジスタ等の第２の垂直走査回路（Ｖｃ・ＳＲ）、２３は画素領域２０の全画素を一括してリセットする全画素リセットスイッチ（ＶＲ）、２４は画素領域２０からのノイズ信号、センサ信号を記憶するメモリ、２５はメモリ２４からノイズ信号、センサ信号を出力するために、画素列ごとにメモリ２４を走査する水平走査回路、２６はセンサ信号からノイズ信号を差分（減算）して出力信号Ｖｏｕｔを出力する差動アンプである。
【００３３】
読み出す画素行を順次選択するシフトレジスタ等の第１の垂直走査回路（Ｖｓ・ＳＲ）２１と、蓄積を開始するため、画素行を順次リセットするシフトレジスタ等の第２の垂直走査回路（Ｖｃ・ＳＲ）２２とを設け、リセット動作と読み出し動作とのスタート時間を変えることにより、リセットから信号出力までの時間、すなわち蓄積時間を制御することができる。これをローリングシャッタと呼ぶ。
【００３４】
各パルス名は図２に示す画素部の部分の等価回路図に対応する。画素リセットと読み出しとの間隔が蓄積時間となる。したがって図４のように、垂直走査方向中央部は指の内部を光が透過してセンサ側へ入射するため、光量としては中央部になるほど暗くなる場合、中央部は画素リセットと読み出しとの間隔を大きく、周辺部は画素リセットと読み出しとの間隔を小さくするように、第１の垂直走査回路２１と第２の垂直走査回路２２を走査する。
【００３５】
電子シャッタの動作を更に図７に示す。各パルス名は図２に示す画素部の部分の等価回路に相当する。まず、図７（ａ）に示す第２の垂直走査回路（Ｖｃ・ＳＲ）２２により選択されたライン（このとき、このラインはシャッターラインとなる。）の画素部は、図７（ｃ）に示す動作パルスに示すように、パルスφＲＥＳ，φＴＸが印加されて通常の動作と同様にノイズ読み出し（Ｎ読み）、信号読みだし（Ｓ読み）がなされた後に画素がリセットされる。しかし、選択パルスφＳＥＬがロウレベルであるために画素から垂直出力線にはノイズ信号及びセンサ信号が出力されない。
【００３６】
次に、第２の垂直走査回路２２に遅れて走査される第１の垂直走査回路（Ｖｓ・ＳＲ）２１により同じラインが選択され（このとき、このラインは読み出しラインとなる。）、選択されたラインの画素部は、図７（ｂ）に示す動作パルスに示すように、パルスφＲＥＳ，φＴＸが印加されて通常の動作でノイズ読み出し（Ｎ読み）、信号読みだし（Ｓ読み）がなされる。ここでは、選択パルスφＳＥＬがハイレベルであるために画素から垂直出力線にノイズ信号Ｎ及びセンサ信号Ｓ（ノイズ成分を含む）がそれぞれ出力され、最終的に差動アンプからセンサ信号からノイズ信号が減算処理されたＳ−Ｎ信号が出力される。
【００３７】
したがって、シャッターライン動作における画素リセットから読み出しライン動作における転送までの時間が蓄積時間となる。よって、各水平ラインがシャッターラインとして選択されてから、読み出しラインとして選択されるまでの間隔を制御することにより蓄積時間を可変することができる。
【００３８】
次に、上記垂直走査回路となるシフトレジスタの動作について図８を用いて説明する。
【００３９】
スタートパルスＶｃＳＴにより、リセット動作を行わせるための第２の垂直走査回路（Ｖｃ・ＳＲ）２２をスタートさせ、パルスφＶｃにより順次画素行をリセットする。次に遅れてスタートパルスＶｓＳＴにより、読み出し動作を行わせるための第１の垂直走査回路（Ｖｓ・ＳＲ）２１をスタートさせ、パルスφＶｓにより画素行ごとに読み出し動作を行う。このとき、図８中のパルスφＶｓの斜線部分はパルス間隔を空けている。図８に示すように、垂直走査方向開始側から中央部に向かっていくに従ってだんだん間隔を広くし、中央部から走査方向終了側へ向かっていくに従って逆に間隔を狭くしている。
【００４０】
各水平ラインの蓄積時間はＶｃ１−Ｖｓ１、Ｖｃ２−Ｖｓ２のようにリセットから読み出しまでの間隔となり、周辺部における画素行のリセット−読み出し間隔は短く、中央部における画素行のリセット−読み出し間隔は長くなるように制御することができる。
【００４１】
図９に、そのシェーディング補正を行うための動作フローチャートを示す。まず撮像素子に指が置かれたことを検知して撮像素子をオンし（ステップＳ１）、指紋画像を一度取り込む（ステップＳ２）。そのとき取り込んだ画像を垂直線方向に射影したデータをもとに、輝度信号の振幅変化を演算し（ステップＳ３）、シェーディングがおこっているかどうか判断する（ステップＳ４）。そして、シェーディングがおこっていると判断した場合、信号振幅の小さいところは画素リセットと読み出しとの間隔を大きく、信号振幅の大きいところは画素リセットと読み出しとの間隔を小さくするように垂直走査を制御し（ステップＳ５）、再度指紋画像を取り込む（ステップＳ２）。シェーディングがないと判断できるレベルの画像が取り込まれた時点で次のステップへ進み、特徴点抽出を行い（ステップＳ６）、認証動作に移り、指紋の認証状況すなわち、本人の認証ができたか否かの表示を行う（ステップＳ７）。
【００４２】
このように、蓄積時間を中央部は長く、周辺部は短くなるように画素リセットと読み出しとの間隔を制御することにより、センサ垂直走査方向におけるシェーディングを補正することができる。
【００４３】
【発明の効果】
以上詳細に説明したように、本発明によれば、複雑なアルゴリズムや大規模な補正回路で画像信号の補正を行う必要なく、処理の簡略化、低コスト化を図ることができる。
【図面の簡単な説明】
【図１】本実施形態で用いる固体撮像素子を模式的に示した図である。
【図２】撮像素子の画素部の一画素の等価回路図である。
【図３】比較例となる固体撮像素子を模式的に示した図である。
【図４】（ａ）は本発明の指紋認証装置の指紋画像入力装置の斜視図、（ｂ）は本発明の指紋認証装置の指紋画像入力装置の構成の平面図とセンサ信号の波形図である。
【図５】
指紋画像入力装置を有する画像認証装置の構成を示すブロック図である。
【図６】
本実施形態で用いる固体撮像素子を模式的に示した図である。
【図７】
電子シャッタパルスの動作を説明するための固体撮像素子の一部模式図および
タイミングチャートである。
【図８】
電子シャッタパルスの動作を説明するためのタイミングチャートである。
【図９】
シェーディング補正を行うための動作フローチャートである。
【符号の説明】
１０−１〜１０−５　画素
１１　垂直出力線
１２　水平信号線
１３　蓄積部
１４　水平シフトレジスタ（ＨＳＲ）
１５　垂直シフトレジスタ（ＶＳＲ）
２０　画素領域
２１　第１の垂直走査回路（Ｖｓ・ＳＲ）
２２　第２の垂直走査回路（Ｖｃ・ＳＲ）
２３　全画素リセットスイッチ（ＶＲ）
２４　メモリ
２５　水平走査回路
２６　差動アンプ
【図１】
2004013804.tif 000003
【図２】
2004013804.tif 000004
【図３】
2004013804.tif 000005
【図４】
2004013804.tif 000006
【図５】
2004013804.tif 000007
【図６】
2004013804.tif 000008
【図７】
2004013804.tif 000009
【図８】
2004013804.tif 000010
【図９】
2004013804.tif 000011