(57)【要約】【課題】フリッカを軽減させることにより高精度の画像処理を行うことを課題とする。【解決手段】被写体像を撮像する撮像手段と、フリッカを検出する検出手段と、前記検知手段による検出に応じて、前記撮像手段における撮像時の撮像条件を調整する補正手段とを有することを特徴とする撮像装置を提供する。【選択図】　　　図８
2004112034.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像手段と、
フリッカを検出する検出手段と、
前記検知手段による検出に応じて、前記撮像手段における撮像時の撮像条件を調整する補正手段と、
を有することを特徴とする撮像装置。
【請求項２】
請求項１において、前記撮像条件は、前記撮像手段の駆動条件であることを特徴とする撮像装置。
【請求項３】
請求項２において、前記補正手段は、前記フリッカを生じさせる光の光量が所定値以下の期間以外で、前記撮像手段が光電荷の蓄積を行うようにすることを特徴とする撮像装置。
【請求項４】
請求項１において、光を点灯する光源を有し、前記撮像条件は、前記光源の点灯タイミングであることを特徴とする撮像装置。
【請求項５】
請求項４において、前記補正手段は、前記フリッカを生じさせる光の光量が所定値以下の期間に、前記光源が光を点灯するようにすることを特徴とする撮像装置。
【請求項６】
請求項４において、前記補正手段は、前記フリッカを生じさせる光の光量が所定値以下の期間に、前記光源の光を強くするようにすることを特徴とする撮像装置。
【請求項７】
請求項４において、前記補正手段は、前記撮像手段における光電荷の蓄積時間と、前記フリッカの周期とが略同じであるようにすることを特徴とする撮像装置。
【請求項８】
被写体像を撮像する撮像手段と、
前記センサ上に設けられたフリッカを生じさせる光の光量を低減させるフィルタと、
を有することを特徴とする撮像装置。
【請求項９】
被写体像を撮像する撮像手段と、
前記撮像手段の側面に設けられた光源と、
前記撮像手段の側面に設けられた前記光源からの光を遮光する遮光部と、
前記撮像手段の側面に設けられた前記光源からの光を導光する導光体と、
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は被写体像を撮像する撮像装置に関する。
【０００２】
【従来の技術】
従来、２次元上の半導体センサ（静電容量型や光学式読み取り型など）に指を直接接触させて指紋認証を行う指紋認識装置がある。近年、このような指紋認識装置は企業あるいは個人のセキュリティの面で非常に重要視されている。
【０００３】
今後、携帯電話や携帯機器を利用した商取引などで、指紋認識装置が小型、軽量、低価格になれば飛躍的な市場の拡大が予想されている。
【０００４】
しかし、静電容量方式は乾燥指などの認識精度が悪いので、様々な指に対し認識精度にすぐれている光学式が注目をあびている。光学式については特許第３１０１２６号公報に詳しく述べられている。
【０００５】
このような光学式に利用されるセンサには図１のエリアセンサ型と図２のラインセンサ型がある。この事例の光学式センサでは指にＬＥＤ光を照射し、指の中を通ったＬＥＤ散乱光で指紋の凹凸を画像として読み取るものである。
【０００６】
エリアセンサ型では、指１をエリアセンサ２上に印鑑のように押さえ、ＬＥＤを点灯して指紋画像を読み取る。
【０００７】
ラインセンサ型では、ラインセンサ４は数十行の画素列から構成されており、このラインセンサ４上を指をスキャンさせて指紋画像をセンサ信号として読み取る。
【０００８】
これらのセンサ出力信号は画像処理部５で画像処理することにより指紋パターンを生成され、パターン認識部６で仮に登録されている基準の指紋パターンと比較することにより指紋認識判断が行われる。
【０００９】
【発明が解決しようとする課題】
図１、図２の画像読み取り説明ではＬＥＤ光を指に照射するとしたが、指紋認識装置を搭載した機器は室内では通常蛍光灯下であり、室外では太陽光下である。蛍光灯は普通数百ｌｘ程度の明るさに対し、外光は数万ｌｘ程度以上の明るさにもなる。このような条件下で指紋画像が精度よく読み取れるように光学設計とセンサ感度を設計する必要がある。
【００１０】
また、携帯機器に搭載するには低価格、低消費電力が望まれる。そのためにはセンサの小型化とともに高感度化が必要である。指紋画像を精度良く読み取るには、ＬＥＤは８００から９５０ｎｍの発光波長が望ましい。このＬＥＤは非常に高価でまた消費電流は大きい。
【００１１】
不経済的なＬＥＤの使用個数を少なくし、またＬＥＤ駆動電流を低減するには高感度センサが必須である。しかし、センサが高感度であればあるほどセンサは飽和し易くなる。センサを飽和させないためには、露光量を減らすために、センサを短露光にする電子シャッタ駆動が必須である。そこで新たな次の課題が生じる。
【００１２】
蛍光灯下で短時間の電子シャッタ駆動を行うとフリッカが発生する。図３、図４を用いてフリッカについて説明する。
【００１３】
図３で５０ＨＺの蛍光灯下では、よく知られているように１０ｍｓ周期のフリッカが発生する。センサの露光期間が数十ｍｓ以上であれば光量の積分値のバラツキは小さくなる。例えば図３のように露光期間が１００ｍｓであれば指紋センサとしては露光バラツキは問題にならない。しかし、図４のようにフリッカ周期の１０ｍｓ内で各画素行の露光を順次行うローリングシャッタ駆動を行うと、センサの出力信号には大きなフリッカが生じる。
【００１４】
また、全画素一括露光でも、フリッカの低光量の時画像を読み取ると、指紋画像のＳＮ比が非常に劣化し、指紋認識が出来ないようになる。
【００１５】
次に室外での用途を考える。エリアセンサ型では指を押している間に少なくとも複数枚の画像を撮像出来るので、センサが飽和しないように露光条件のフィードバックが可能である。しかし、スキャン型では、何回もスキャンするのであればともかく、一度のスキャンでは露光条件を決めることが困難である。そのためにセンサが飽和してしまい指紋認識が出来ないという大きな課題があった。
【００１６】
【課題を解決するための手段】
上記課題を解決するために、被写体像を撮像する撮像手段と、フリッカを検出する検出手段と、前記検知手段による検出に応じて、前記撮像手段における撮像時の撮像条件を調整する補正手段とを有することを特徴とする撮像装置を提供する。
【００１７】
また、被写体像を撮像する撮像手段と、前記センサ上に設けられたフリッカを生じさせる光の光量を低減させるフィルタとを有することを特徴とする撮像装置を提供する。
【００１８】
さらにまた、被写体像を撮像する撮像手段と、前記撮像手段の側面に設けられた光源と、前記撮像手段の側面に設けられた前記光源からの光を遮光する遮光部と、前記撮像手段の側面に設けられた前記光源からの光を導光する導光体とを有することを特徴とする撮像装置を提供する。
【００１９】
【発明の実施の形態】
（実施形態１）
本実施形態で用いる半導体センサについて説明する。
【００２０】
本実施形態で用いる半導体センサの駆動方式（電子シャッタ）には２種類がある。次に述べる全画素一括シャッタ露光とローリングシャッタ露光である。
【００２１】
ここで、全画素一括シャッタ露光とは、全画素の露光のタイミング（露光の開始時間と、露光の終了時間）が同じである駆動方式である。
【００２２】
また、ローリングシャッタ露光とは、一行又は複数行毎に露光のタイミングをずらして撮像する駆動方式である。
【００２３】
図５にＣＣＤ型センサの全体模式図、図６にＣＭＯＳセンサの単位画素構成図、図７にＣＭＯＳセンサの全体模式図を示す。
【００２４】
図５に示すように、ＣＣＤ型センサでは、全画素を一括してリセットすることにより各画素１０で露光が開始するとともに、全画素で光電変換された各信号電荷を垂直シフトレジスタ１１に一括転送させることで露光が終了する。そして、垂直シフトレジスタの光電荷は、一ライン毎に水平シフトレジスタ１２に転送され、その後出力アンプ１３から出力される。この駆動方式は、全画素一括シャッタ露光である。
【００２５】
図６（ａ）は一画素１４毎に画素メモリ１５を有するＣＭＯＳセンサの単位画素、図６（ｂ）は一画素１４毎に画素メモリを持たないＣＭＯＳセンサの単位画素である。
【００２６】
図６（ａ）において、１６は光電変換部、１７は光電変換部からの信号電荷を受け、増幅して出力するアンプ、１８は光電変換部の信号電荷を画素メモリ１５に転送する第１の転送スイッチ、１９は画素メモリの信号電荷をアンプへ転送する第２の転送スイッチ、２０はアンプの入力部をリセットするリセットスイッチ、２１は読み出される画素を選択する選択スイッチである。
【００２７】
図６（ｂ）は、図４（ａ）の第１の転送スイッチがないものである。
【００２８】
図７は、画素の構成が図４（ａ）又は（ｂ）の画素の構成であるＣＭＯＳセンサ全体模式図である。
【００２９】
図７のＣＭＯＳセンサにおいて全画素一括シャッタ露光を行う場合は、各画素は図４（ａ）の画素で構成する。全画素を垂直走査回路２５の駆動パルスφＣでリセットすることにより露光が開始される。その後、全画素の信号電荷を駆動パルスφＳ１で画素メモリ１５に転送する。その後，各画素行毎に、まず、φＳ３によりアンプのリセットノイズ（アンプの入力部をリセットすることにより得られる信号）をノイズ除去回路へ転送し，次にφＳ２，φＳ３の制御によりメモリにある信号を画素アンプを経てノイズ除去回路２６へ転送する。そして、それらの差分処理をすることにより、リセットノイズを除去する。
【００３０】
図７のＣＭＯＳセンサにおいてローリングシャッタ露光を行う場合は、各画素は図６（ａ）の画素で構成する。
【００３１】
まず、垂直走査回路２５により、一画素行毎に順番にリセットし、ある任意の露光時間後、一画素行毎に順番に信号を読み出す。画素アンプのノイズ除去は上述と同様に行われる。
【００３２】
ノイズ除去された信号は水平走査回路２７により、次の出力アンプ２８へ導かれる。
【００３３】
次に、本実施形態の撮像装置の全体構成図及び動作について、図８を用いて説明する。
【００３４】
３０は、被写体像を撮像するセンサであり、具体的には、上記で説明した図５又は図７のセンサである。このセンサは、フリッカを検知するためのフリッカ用センサ領域３１ａを同一半導体基板上に設けている。そして、フリッカ用センサ領域は、図５、図７の複数の画素の中のいずれかを用いるような構成であってもよいし、別々の領域に設ける構成でも良い。また、センサ３０とは、別々の半導体基板に別箇設けるようにしても良い。
【００３５】
３１は、センサからの信号に対して、ゲインコントロール等のアナログ制御を行うアナログ処理部、３２は、アナログ処理部からのアナログ信号をディジタル信号に変換するアナログ・ディジタル変換部、３３はアナログ・ディジタル変換部からの信号にガンマ処理、色処理等を行う画像処理部、３４は予め登録されている指紋と、センサ３０によって撮像された指紋とによって指紋認証を行うパターン認識部、３５は光を点灯するＬＥＤ（光源）、３６はＬＥＤを駆動するためのＬＥＤ駆動部、３７はセンサを駆動するためのセンサ駆動部、３９はフリッカ用センサ領域３１ａからの信号量を検知するフリッカ検知部、４０は撮像装置の全体を制御するとともに、フリッカ検知部３９からの信号に基づき、露光時間やＬＥＤの点灯、非点灯、光量の強さを決定し、センサ駆動部３７、ＬＥＤ駆動部３６を制御するシステム制御部である。
【００３６】
フリッカ検知部では、図３、４で示したようなフリッカの状態を検知することが可能である。具体的には、図３、４で示したような一定の周期を持って信号レベルが増減する信号の信号量を検知する回路である。
【００３７】
上記では、ＬＥＤ制御、センサの露光時間の両方について述べたが、どちらか一方であっても良い。
【００３８】
以上のように、本実施形態の撮像装置では、被写体像を撮像する撮像手段であるセンサ３０と、フリッカを検出する検出手段であるフリッカ検知部３９と、そのフリッカ検知部３９による検出に応じて、センサ３０における撮像時の撮像条件を調整する補正手段であるシステム制御部とを有するため、フリッカの影響を受けない画像を取得することが可能である。
【００３９】
以上の構成は、下記で説明する実施形態２〜４においても共通である。
【００４０】
図９は、撮像条件の調整に関する具体例を説明する図である。
【００４１】
ここではフリッカを生じさせる光の量が６０％以下での露光を禁止した。このレベル設定は指紋認証の方式と精度に依存するので、装置仕様による。
【００４２】
図９において、（Ａ）のタイミングは全画素一括シャッタ露光の場合であり、（Ｂ）のタイミングはローリングシャッタ露光の例を示す。フリッカに対しパルスＴｓの“Ｈ”が露光許容期間、”Ｌ”が露光停止期間である。
【００４３】
（Ａ）のタイミングは、図５のＣＣＤセンサ又は、画素の構成が図６（ａ）である図７のＣＭＯＳセンサを用いた場合である。
【００４４】
パルスＡ１が全画素の一括リセット、パルスＡ２が画素部での光電変換信号をメモリ（ＣＣＤでは垂直レジスタ）への全画素電荷一括転送期間である。パルスＡ１とＡ２の間の期間Ｔ１が露光期間である。パルスＡ３の期間にエリアセンサの信号が画素行ごとに順番に読み出される。
【００４５】
（Ｂ）のタイミング図は、画素の構成が図６（ｂ）である図７のＣＭＯＳセンサを用いた場合である。
【００４６】
パルスＢ１が各画素行のリセットが順番に行われる期間、パルスＢが各画素行から順番に画素アンプへの信号転送期間である。ここで、Ｔ１が１行目の画素の露光期間であり、Ｔ２が２行目の画素の露光期間である。パルスＢ３は、各画素行から順番に信号を読み出すためのものである。
【００４７】
以上のようにフリッカを生じさせる光が低光量な期間を避けて、センサ３０で露光（光電荷の蓄積）を行うようにセンサ駆動部３７を制御しているため、つまり、フリッカを検出に応じて、補正手段であるシステム制御部によって、撮像手段であるセンサの駆動条件を調整しているため、指紋画像を読み取る場合に指紋認識が確実に出来る。
【００４８】
（実施形態２）
図１０は、撮像条件の調整に関する具体例を説明する図である。
【００４９】
本実施形態では、フリッカを検出し、フリッカを生じさせる光の低光量時はＬＥＤを点灯し、指に照射する光量を点灯制御し、指紋画像のフリッカを低減する実施例である。
【００５０】
パルスＡはＬＥＤ点灯制御例である。“Ｈ”が点灯期間、”Ｌ”が点灯ＯＦＦ期間である。
【００５１】
パルスＢはフリッカレベルに応じてＬＥＤの点灯強度を制御する例である。“Ｈ”は点灯強期間、”ｍ”は点灯弱期間である。
【００５２】
パルスＣはローリングシャッタの露光期間にＬＥＤの点灯強度を制御する例である。パルスＣ１はリセット期間、Ｃ２は画素信号転送期間、パルスＣ１とＣにの間が各画素行の露光期間Ｔｓでその露光期間内でＬＥＤ点灯強度を変えて例がパルスＣ３、点灯時間を制御して例がパルスＣ４である。
【００５３】
パルスＤはＬＥＤ光量が蛍光灯のフリッカよりも十分大きくなるよに制御した例である。この場合は信号が過大にならないようにローリングシャッタ露光期間を短く制御する。
【００５４】
以上のように、検出手段であるフリッカ検出部３９におけるフリッカの検出に応じて、光源であるＬＥＤ３５の点灯タイミングを、補正手段であるシステム制御部４０によって調整することにより、指紋画像を読み取る場合に指紋認識が確実に出来る。
【００５５】
（実施形態３）
図１１は、撮像条件の調整に関する具体例を説明する図である。
【００５６】
本実施形態はフリッカを検出した場合、センサの露光時間をフリッカ周期とほぼ同一時間にする実施例である。（Ａ）は全画素一括シャッタ露光例、（Ｂ）はローリングシャッタ露光例である。ΦＨ１，φＨ２―――は各画素行のリセット、転送、読み出しをあらわしている。この実施例では一般的な蛍光灯の明るさを設定し、それに合わせて光学設計とセンサ感度設計を行う。ＡＥ検出により、蛍光灯の明るさが設定値と異なる場合はゲインコントロール回路での信号ゲインの制御あるいはＬＥＤ光量制御を行う。
【００５７】
以上のように、検知手段であるフリッカ検知部３９でのフリッカの検知に応じて、撮像手段であるセンサ３０における光電荷の蓄積時間と、フリッカの周期とが略同じであるように、補正手段であるシステム制御部４０で調整することにより、指紋画像を読み取る場合に指紋認識が確実に出来る。
【００５８】
（実施形態４）
センサ３０からの信号量を検知するＡＥ検知部を設けることにより、リアルタイムでセンサ３０での露光時間を制御することが可能となる。
【００５９】
このような構成は、図２のような、２５行ぐらいの画素列を持つセンサ上で指を移動させることにより、指紋画像を読み取る場合（スキャン型）に有効である。
【００６０】
ここで、フリッカ検知部３９とは、別にＡＥ検知部を設けずに、フリッカ検知部の信号を用いて、ＡＥ制御をするような構成であってもよい。
【００６１】
（実施形態５）
フリッカを検出することなくフリッカを低減する実施形態を図１２に示す。図１４に示すように指紋認証を目的とするＬＥＤ（本実施形態では８５０ｎｍ）の発光スペクトルと可視光を目的とする蛍光灯（例えば３波長蛍光管）では発光スペクトルが非常に異なっている。
【００６２】
本実施形態で用いるセンサは、上記の実施形態１で説明したセンサと同じである。
【００６３】
センサ５０上に蛍光灯の発光エネルギーを遮光低減するフィルタ５１（あるいはバンドパスフィルタ）を設けることによりフリッカ問題の原因である蛍光灯光を遮光でき、フリッカ問題を解決できる。ＬＥＤは８５０ｎｍにかかわらず、９５０ｎｍあるいは他の赤外用ＬＥＤでも良い。そのＬＥＤに適したフィルタで蛍光灯光を遮光すれば良い。
【００６４】
また、図１２に示すようにセンサ上に図１３のような特性のフィルタを形成しその上にセンサ保護材として薄いガラス５２（あるいはＦＯＰやコーティング材）を設けると良い。フィルタは画素のＰＮ接合部でより深いところで光電変換させる構成や、ＦＯＰのコア材に、あるいはコーディング材に混合させても良い。あるいは上記５１，５２としては、Ｓｉ材を用いると図１４のようなバンドパス特性と、また、センサの保護材として利用できる。この時、Ｓｉの厚みを５０から１００μｍ程度にすることでそのＳｉの透過特性によりバンドパス特性の短波長側の特性が得られ、長波長側はＳｉのバンドギャップに依存する感度特性で決まる。
【００６５】
図１４のフィルタ（８５０ｎｍ透過用）は現在よく使用されている染色性の色フィルタでも蛍光灯光を１／１０以下に出来るのでフリッカ検出を不要とする。この場合ＡＥ精度に影響を与えないように、ＡＥセンサにもフィルタを用いる必要がる。
【００６６】
さらに、完璧にＬＥＤ光のみを透過させることができれば、外光の影響を除去できるのでＬＥＤ光のみで指紋センサを駆動制御することが出来、指紋認識光量制御が不必要になる。
【００６７】
スキャン型では蛍光灯下でのフリッカ低減が大きな課題である。センサ上を指をスキャンさせる時間が最短でも０．１秒とすると、その間必ずフリッカが発生する。フリッカを無条件に低減するには蛍光灯よりもＬＥＤ光量一桁上げれば良い。
【００６８】
そうすれば、フリッカ成分は１０％以下になり指紋認識に与える影響は無視出来るようになる。
【００６９】
（実施形態６）
図１３において、６０は約２５行の画素列を持つセンサ（スキャン型のセンサ）で、ＬＥＤ光は指の下面方向から照射している。６１は光を点灯するＬＥＤ、６２はＬＥＤからの光を導光する導光体、６３はＬＥＤ光を遮光する遮光材、６４はカバーガラス、６５は筐体である。
【００７０】
スキャン型のセンサ６０は、エリアセンサ型（例えば約５００行の画素列を持っている）と異なり指紋読み取り部が狭いのでＬＥＤ光を導光体によりセンサ上部の指に十分集光させることが出来る。導光体６２により一桁以上の集光が可能である。ＬＥＤは導光体６２の側面に設けるとその個数は１個でも良い。導光体のシェーディングを除きたい場合は図のようにセンサの両端に設ければ低減できる。ただセンサは２センチ程度と短いのでシェーディングはほとんど無視できる場合もあり、その時は導光体６２は１つでも良い。
【００７１】
導光体６２とセンサ６０の間にはＬＥＤ光を遮光する遮光材６３が有効である。遮光材がないとＬＥＤ光がセンサに漏れ悪影響をあたえる。例えばフレア光となって信号のダイナミックレンジが小さくなってしまう。
【００７２】
本発明で用いる半導体センサとしては、ＣＣＤ型センサでもＣＭＯＳセンサでもアモルファスセンサでも良い。また、フリッカ低減法は全画素一括シャッタ露光やローリングシャッタ露光などの露光方式にとらわれない。
【００７３】
また指紋画像のパターン認識部は画像パターン比較法、特徴点比較法、周波数解析法などどの方式にも対応できる。
【００７４】
【発明の効果】
以上のように本発明によれば、フリッカを軽減させることにより高精度の画像処理が可能となる。
【図面の簡単な説明】
【図１】指紋認識装置をあらわす図である。
【図２】指紋認識装置をあらわす図である。
【図３】フリッカを説明する図である。
【図４】フリッカを説明する図である。
【図５】ＣＣＤ型センサをあらわす図である。
【図６】ＣＭＯＳセンサの１画素をあらわす図である。
【図７】ＣＭＯＳセンサをあらわす図である。
【図８】実施形態１〜４の撮像装置をあらわす図である。
【図９】実施形態１を説明するための図である。
【図１０】実施形態２を説明するための図である。
【図１１】実施形態３を説明するための図である。
【図１２】実施形態５を説明するための図である。
【図１３】実施形態６を説明するための図である。
【図１４】蛍光灯とＬＥＤのスペクトルを説明するための図である。
【図１】
2004112034.tif 000003
【図２】
2004112034.tif 000004
【図３】
2004112034.tif 000005
【図４】
2004112034.tif 000006
【図５】
2004112034.tif 000007
【図６】
2004112034.tif 000008
【図７】
2004112034.tif 000009
【図８】
2004112034.tif 000010
【図９】
2004112034.tif 000011
【図１０】
2004112034.tif 000012
【図１１】
2004112034.tif 000013
【図１２】
2004112034.tif 000014
【図１３】
2004112034.tif 000015
【図１４】
2004112034.tif 000016