【手続補正書】
【提出日】平成18年10月6日(2006.10.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ライン及びカラムにおいてアドレス指定可能で、露光可能画素センサ（V)及び露光不能画素センサ（NP)を含む画素センサ列(APS)から出力される画素値(P’(i,j))の各々の修正方法であって、
前記露光可能画素センサ（V)のコラム毎に定まるオフセット値((α(i))を決定するステップと、
前記画素値(P’(i,j))の各々をデジタル画素値に変換するステップと、
前記カラムの各々について前記デジタル画素値(adc(i,j))から前記オフセット値((α(i))を減算して、減算されたデジタル画素値(adc(i,j))を得るステップと、
前記露光可能画素センサ（V)からの近似計算によって求められる逆ゲイン(1/β(i,i))を前記減算されたデジタル画素値(adc(i,j))に乗算して得られる積を求めるステップと、
前記露光不能センサ（NP)からの更なる近似計算によって求められる暗電流値(dark(i,j,Tint))を前記積から減算して、前記コラムの各々について修正された画素値(P(i,j))を得るステップと、
を備えている画素値修正方法。
【請求項２】
前記オフセット値((α(i))を決定するステップは、
前記ラインの一つの上の前記露光不能画素センサ(NP)から信号を読み出すステップと、
前記露光不能画素センサから読み出された信号をデジタル値に変換するステップと、
前記デジタル値を線形化して線形化された値を得るステップと、
前記線形化された値の各々を前記オフセット値((α(i))として格納するステップと、
を備えている請求項１に記載の方法。
【請求項３】
均一な、ほぼ最大のドライブ・レベルで、前記露光可能画素センサ(V)の出力を読み出し、下記の計算によって前記逆ゲイン(1/β(i、j))を求めることを特徴とする請求項１または２に記載の方法：
1/β(i,j)=ゲイン0＋ゲイン(i)+ゲイン1*j、
但し、ゲイン0=1、
【数１】
2005341612.tif 000001
但し、iはカラム数、jはライン数、imaxは前記露光可能画素センサ（V)の最大コラム数、jmaxは露光可能画素センサ（V)の最大ライン数、j1及びj2は前記露光可能画素センサ（V)の２つの異なるラインを表わす。
【請求項４】
均一な、ほぼ最大のドライブ・レベルで、露光された画素センサ(V)の出力を読み出し、下記の計算によって前記逆ゲイン1/β(i、j)を求めることを特徴とする請求項１または２に記載の方法：
1/β(i,j)=ゲイン0＋ゲイン(i)+ゲイン1*j、
但し、ゲイン0は0.5と1の間の値を選択する、
【数２】
2005341612.tif 000002
但し、iはカラム数、jはライン数、imaxは前記露光可能画素センサ（V)の最大コラム数、jmaxは露光可能画素センサ（V)の最大ライン数、j1及びj2は前記露光可能画素センサ（V)の２つの異なるラインを表わす。
【請求項５】
約５０％ドライブ・レベルのための時間で、前記画素センサ列（APS)における、左上の露光不能画素センサULD、右上の露光不能画素センサURD、左下露光不能画素センサLLD、及び右下露光不能画素センサLRDの出力を読み出し、下記計算によって暗電流を求めることを特徴とする請求項１から４のいずれか一項に記載の方法：
【数３】
2005341612.tif 000003
但し、Δiは右(URD,LRD)及び左(ULD,LLD)の露光不能画素センサ(NP)のコラム間のコラム数、Δjは上(ULD,URD)及び下(LLD,LRD)の露光不能画素センサ（NP)のライン間のライン数、jmは露光可能画素センサ（V)のライン番号、imは露光可能画素センサ（V)のコラム番号をそれぞれ表わす。
【請求項６】
ライン及びカラムにおいてアドレス可能で、露光可能画素センサ（V)及び露光不能画素センサ（NP)を含む画素センサ(APS)から出力される画素値(P’(i,j))の各々の修正装置であって、
前記露光不能画素センサの出力に基づいて前記露光可能画素センサ（V)のコラム毎に定まるオフセット値((α(i))を予め決定する手段と、
ノイズを含む画素信号(P(i、j)+dark(i、j、Tint))を出力する前記画素センサ（APS)と、
前記画素センサ（APS)から前記画素信号(P(i、j)+dark(i、j、Tint))を受け取り、ゲインノイズに影響された画素信号(P″(i、j))を出力する相関化ユニット（CDS)と、
前記相関化ユニット（CDS)から出力される前記ゲインノイズに影響された画素信号(P″(i、j))をデジタル信号に(adc(i、j))変換するA/Dコンバーター(ADC)と、
前記A/Dコンバーターのデジタル出力信号(adc(i、j))を対応するアナログ信号に変換する線形化ユニット(LUT)と、
前記線形化ニット(LUT)の出力に接続され、前記線形化ユニット(LUT)の出力信号から、各カラム毎に決定される前記オフセット値((α(i))を減算するための第１加算器(S1)と、
前記第１の加算器(S1)の出力に、前記露光可能画素センサからの信号に基づく近似計算によって求められる逆ゲイン(1/β(i,i))を乗算するための乗算器(M)と、
前記乗算器(M)の出力信号から、前記露光不能画素センサからの信号に基づく近似計算により決定される暗電流値(Dark(i,j,Tint))を減算するための第２加算器(S2)と
を備えている、画素値の修正装置。
【請求項７】
前記オフセット値((α(i))、前記逆ゲイン(1/β(i,i))及び前記暗電流値(Dark(i,j,Tint))を記憶するランダム・アクセス・メモリー(RAM)をさらに備える請求項６に記載の装置。
【請求項８】
前記露光可能画素センサ(V)から逆ゲイン(1/β(i,i))の線形近似値を求めるための第１演算ユニット(B1)をさらに備える請求項６及び７に記載の装置。
【請求項９】
前記露光不能画素センサ(NP)から露光時間に応じた暗電流(Dark(i、j、Tint))の線形近似値を求めるための第２演算ユニット(B2)をさらに備える請求項６から８のいずれか一項に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【発明の名称】ライン及びカラムにおいてアドレス指定が可能な画像センサにおける画素値修正方法及び装置
【技術分野】
【０００１】
本発明は、CCDセンサとは異なり、主として通常のランダム・アクセス・メモリーのように直接アドレスできるCMOS画像センサに係る。CMOSセンサにおいては、個々の画素の１／ｆノイズの他に、技術的パラメーターの変動が本質的には固定画像パターンに対応するノイズ（固定パターンノイズ、FPN）となって現れる。このノイズは生産条件に伴うトランジスタのしきい値電圧（オフセットFPN）、読み出し通路間ゲイン（ゲインFPN）及びセンサ・セル内の漏れ電流（dark FPN）の変動によって発生する。
【背景技術】
【０００２】
個々の画素のオフセット・ノイズは、例えば、読み出し値の多重サンプリング及び相関法（相関ダブルサンプリング、CDS）によって抑圧することができる。オフセットFPNを修正するには、例えば、絞りを閉じた状態で記録される基準画像との減算を行なえばよく、基準画像は画像毎に改めて記録されるか、または一度だけ記録される。この基準画像が画像毎に記録される場合は、最大画像レートが著しく低下する。基準画像が一度だけ記録される場合は、暗電流修正が困難になる。常に暗状態にあるラインを読み取り、これをライン・メモリーの内容から差し引くことによってメモリーの使用を節減することもできるが、暗電流の修正は、可能だとしても、部分的に止まることになる。高級なシステムにおいては、上記処理に続いて、例えば、ディジタル信号処理によるゲインFPN修正が行なわれ、この修正は、記憶されている修正係数を信号に、画素毎に乗算することによって行なわれるが、ハードウェア及びメモリーに多大のコストを要する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
そこで、本発明の目的は、ライン及びカラムにおいてアドレス指定が可能な画像センサにおけるノイズを修正し、低コストでFPNノイズ修正の質を最大限に引き上げることができる方法と装置を提供することにある。なお、本明細書において「ライン」とはカラムと交差する線をいい、一般にローと呼ばれることもある。
【課題を解決するための手段】
【０００４】
本発明はこの目的を、方法に関しては、特許請求の範囲第１項に記載の構成要件によって、装置に関しては、特許請求の範囲第６項に記載の構成要件によって達成する。その他の請求項は本発明の方法及び装置の好ましい実施態様に係る。
【発明の効果】
【０００５】
本発明の特に有利な点は、修正パラメーターをプログラムできることと、FPN修正を照明条件と対応させることができ、修正成分を個別にスイッチ・オン及びスイッチ・オフできることにある。
【発明を実施するための最良の形態】
【０００６】
添付図面に示す好ましい実施例に基づいて、本発明の詳細を以下に説明する。
本発明の本質は下記のステップにある：第１ステップにおいて、高解像度のA/D変換を行なうか、または、より高速であるという理由で好ましい比較的低い解像度でA/D変換した後、特性線形化を行ない;第２ステップにおいて、読取ユニットはカラム毎に存在するという理由でカラム毎に発生する電圧オフセットを修正し；第３ステップにおいて、電荷反転の結果として起こる画素感度の不均一及び損失の修正を行ない；最終の第４ステップにおいて、主として画素における漏れ電流に起因する画素の暗電流を修正する。
【０００７】
図１はラインとカラムの交差点に配置された多数の画素センサを有する画素センサ列APS、その下流に接続された相関化ユニットCDS、前記ユニットCDSの下流に接続されたA/DコンバーターW、及び修正ユニットFPNCを含むブロックダイヤグラムである。A/DコンバーターWは、例えば、１０〜１２ビット程度の高解像度を有するA/Dコンバーター、またはもっと低い８ビット程度の低解像度を有するA/Dコンバーター、A/D及びコンバーターの下流に接続された線形化ユニットLUTから成る。メモリー列APS、即ち画素センサ列APSはカラムi、ラインj及び画素センサ・セルだけで例示する。カラムiで表される複数の線は、各ケースにおける相関化ユニットCDSを介してコンバーター・モジュールADCの関連するA/Dコンバーターと接続する。暗電流ノイズ(i, j, Tint)、オフセット・ノイズ及びゲイン・ノイズに影響された画素値P’(i,j)が画素センサ列APSから相関化ユニットCDSへ読み出され、相関化ユニットCDSからは、個々の画素のオフセット値α(i)を除去された、但し、追加のゲイン・ノイズに影響された画素値P″(i,j)がA/DコンバーターADCに対して出力される。画素値P″(i,j)は相関化ユニットCDS及びA/DコンバーターADCによるオフセットに影響され、入出力変数間の関数関係はコンバーターによって実行されるから、各A/DコンバーターADCからのそれぞれの出力信号adc(i,j)は下記関係式で表わすことができる：
adc(i,j) = f(P″(i,j) + α(i))
モジュールADCのA/Dコンバーターは、例えば８ビットの解像度を有し、その出力信号adc(i,j)によって線形化ユニットLUTをアドレスする。線形化ユニットLUTは記憶されたテーブル値（ルックアップテーブル）の形態を有し、その出力ワード幅は、例えば１２ビットである。線形化は下記のように行なわれる：A/Dコンバーターのステップ状の割当て機能から、信号adc(i,j)と関連する低いステップ値と高いステップ値とを基本値として取出し、これら２つの値から、例えば１２ビットで中央値が出力される。この方法を採用すれば、１１〜１２ビットの精度を有する通常の線形A/Dコンバーターに匹敵する極めて低い整数非線形性が得られる。８ビットD/Aコンバーターを使用した場合の非線形性は、小さい信号レベルに対しても比較的微細な量子化を可能にする低い非線形性である。大きいグレイ・スケール値に対しては、比較的低い精度で充分であるから、画像の質は１０ビット・コンバーターに同等であるが、変換速度は１０ビット・コンバーター以上である。
【０００８】
線形化ユニットLUTは下記式で表わされる信号lut(i,j)を出力する：
lut(i,j) = α(i) + β(i,j) * (P(i,j) - dark(i,j))
実際の修正ユニットFPNCでは、下記関係式に従って修正済み画素値P(i,j)が求められる：
P(i,j) = ｛(lut(i,j) - α(i)) + dark(i,j,Tint)｝/β(i,j)
但し、パラメーターα(i)、1/β(i,j)及びdark(i,j,Tint)は、予め求められ、修正ユニットFPNCに供給されている。
【０００９】
対応の装置を示す図２では、個々の画素センサをこれと等価の回路で表わしてあり、該センサは増幅器トランジスタT及び電子選択スイッチSを介して、画素値P(i,j) + dark(i,j,Tint)を相関化ユニットCDSへの入力に切り換える。この場合、A/Dコンバーターは、コンパレーターCOMP、レジスターREG、カウンターCNT及びD/AコンバーターDACを備えた回路の形態を呈し、演算増幅器であるコンパレータCOMPはD/Aコンバーターのアナログ出力値をアナログ入力信号と比較し、D/Aコンバーターの入力側にカウンターCNTの内容が供給され、アナログ入力信号がD/Aコンバーターの出力信号と一致すれば、カウンターのカウント値がレジスターREGに受け入れられる。線形化ユニットLUTも図示されており、入力側において、A/Dコンバーターと、即ち、レジスターREGの出力と接続している。線形化ユニットLUTの出力値は第１加算器S1に供給され、該加算器の出力は乗算器Mの入力と接続している。乗算器Mの出力は第２加算器S2の入力と接続し、該加算器S2は修正済み画素値P(i,j)を出力する。加算器及び乗算器の第２入力はランダム・アクセス・メモリーRAMと接続し、該メモリーはオフセット値α(i)、逆ゲイン値1/β(i,j)及び暗電流値dark(i,j,Tint)を供給する。オフセット値α(i)は加算器S1において減算される。α(i)については、各カラムのオフセット値offs(i)がカラム毎に記憶される。逆ゲイン値1/β(i,j)は露光可能画素センサVからの信号に基づいて第１演算ユニットB1において算出される。暗電流値dark(i,j,Tint)は露光不能画素センサNPからの信号に基づいて第２演算ユニットB2によって算出され、ランダム・アクセス・メモリーに記憶され、負の符号を付して加算器S2に供給される。
【００１０】
図３は露光可能な画素センサV及び露光不能な画素センサNPを含み、ライン及びカラムへのアドレスが可能な画素センサ列APSを示す。この場合、画素センサ列APSは、例えば、ラインj=0〜j=603及びカラムi=0〜i=737を有する。さらに、露光可能な画像領域において選択された左端のカラムはカラムi = 23で特定され、右端のカラムはカラムi = 713で特定されている。また、露光可能な画像領域において選択された上方ラインはj=23により特定され、下方の選択されたラインはj=579により特定されている。画像センサ列の露光不能領域におけるラインj=2及びラインj=601も図示されている。座標i = 23及びj=2を有する露光不能左上画素センサULD，座標i = 713及びj=2を有する露光不能右上画素センサURD、座標i = 23及びj=601を有する露光不能左下画素センサLLD、及び座標i = 713及びj=601を有する露光不能右下画素センサLRDも同様に特定される。座標i = 23及びj=23を有する左上画素センサULV、座標i = 713及びj=23を有する右上画素センサURV、座標i = 23及びj=579を有する左下画素センサLLV、及び座標i = 713及びj=579を有する右下画素センサLRVが画像センサ列の露光可能領域に図示されている。図３には、中央カラム番号im及び中央ライン番号jmも図示されている。
【００１１】
オフセットoffs(i)から得られるα(i)を求めるには、露光不能画素センサのライン、例えば、ライン j = 2を完全に読み出し、A/Dコンバーターによって変換し、次いで線形化ユニットLUTで修正し、値α(i)としてランダム・アクセス・メモリーRAMに書き込む。オフセット修正済み信号と言えども、ライン及びカラム方向に、変化するゲイン・ファクターに左右される振幅応答を有するから、オフセット修正済み信号にそれぞれの逆ゲイン・ファクター1/β(i,j)を乗算しなければならない。図２に示すトランジスターTと画素キャパシタンスCpixとの間に生ずるソース・フォロアのゲイン偏差が、カラムi及びラインjにおけるゲインの動向を左右する。画素センサにおけるソース・フォロアは各カラムにおけるカレント・ソースと協働するから、ゲイン・ファクターの変動はライン方向におけるよりもカラム方向において顕著である；カラム・キャパシタンスの変動もこの現象の一因である。従って、ライン方向には、ゲイン勾配だけが修正されるのに対して、カラム方向には、カラムごとに個別に修正が行なわれる。個別修正のため、オフセットの場合と同様に、修正値がランダム・アクセス・メモリーRAMに記憶される。逆ゲイン1/β(i、j)は下記の関係式によって与えられる：
1/β(i,j)=ゲイン=1+ゲイン(i)+ゲイン1*j
ゲイン(i)及びゲイン１の値を求める目的で、均一な明るい照明を利用する。例えば、A/Dコンバーターに、ほぼ最大のドライブ・レベル、例えば、最大ドライブ・レベルの約８０％に相当するドライブ・レベルが作用するように選択された時間Ｔｉｎｔで白紙の記録を行なう。センサ全域の平均ドライブ・レベルは下記のように算出することができる：
【００１２】
【数１】
2005341612.tif 000004
【００１３】
パラメーターであるゲイン(i)及びゲイン１はセンサ列から画素値を読み取り、計算することによって求められる。トランスファー・ファクターがセンサ全域に亙ってできるだけ均一になるように、パラメーターが求められる。考えられる方法の一つとして、FPNの二乗平均値を極力小さくする方法がある。この方法を採用する場合、数回の単純化処理後、下記関係式を得る。
【００１４】
【数２】
2005341612.tif 000005
【００１５】
但し、imaxは露光カラムの最大番号、jmaxは露光ラインの最大番号、j1及びj2は異なる２本のラインを表わす。
ゲインの式において、ゲインは０．５と＜１．０の範囲にある、即ち、値１を取ることは絶対にないから、”１”以外の定ゲイン０を使用することによって、ゲインワード幅を１ビットだけ縮めることができる。暗電流は時間Tintに応じた態様で修正される。記憶容量を節減するため、勾配だけを修正する。暗電流Dark(i,j,Tint)の値は下記式に従って算出される：
Dark(i,j,Tint)=Tint*(Dark0+Dark1*j+Dark2*i)
センサのドライブ・レベルが最大値の約５０％に達するように露光時間を設定して、露光不能画素を利用することによって係数を求める。図３に示す画素ULD,URD,LLD,LRDの値を利用して係数を算出する。
【００１６】
係数Dark0...Dark2は下記のように算出される：
【００１７】
【数３】
2005341612.tif 000006
【００１８】
但し、Δiは右(URD,LRD)及び左(ULD,LLD)の露光不能画素センサ(NP)のコラム間のコラム数、Δjは上(ULD,URD)側の露光不能なラインと下(LLD,LRD)側の露光不能なラインとの間のライン数、ｉｍはULDとURDの間の中央カラム、ｊｍはULDとULVの間の中央ラインを表わし、この場合、ｊｍを例えば２８８、ｉｍを例えば３６０とする。
【図面の簡単な説明】
【００１９】
【図１】本発明の方法を示す図である。
【図２】本発明の装置を示すブロック図である。
【図３】露光可能画素及び露光不能画素を含む画素センサ列を示す図である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2005341612.tif 000007
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2005341612.tif 000008