(57)【特許請求の範囲】
【請求項１】
オプティカルブラック画素及びアクティブクリア画素を有し、オプティカルブラック画素のみからなる行と、オプティカルブラック画素及びアクティブクリア画素の両方を有する行とを有する画素アレーからの信号出力を処理するための信号処理装置において、
上記画素アレーから出力信号が供給され、該出力信号の黒レベルを黒レベル基準値と比較し、該比較に基づいて、該出力信号の黒レベルを調整するための調整信号を出力するブラッククランプ回路部と、
上記ブラッククランプ回路部によって調整された出力信号が供給され、該出力信号内のオプティカルブラック画素のライン雑音平均値を行毎に算出し、該ライン雑音平均値と上記黒レベル基準値との差分に基づいて、ライン雑音オフセットを算出し、各ラインの出力信号内のアクティブクリア画素に該ライン雑音オフセットを加算するライン雑音補正回路部と、
オプティカルブラック画素のみからなる行から、上記出力信号内のオプティカルブラック画素のカラム雑音オフセットを算出し、該出力信号内のアクティブクリア画素に該カラム雑音オフセットを加算するカラム雑音補正回路部とを備え、
上記ライン雑音補正部によって処理される各行の上記出力信号は、オプティカルブラック画素及びアクティブクリア画素を含み、
上記カラム雑音オフセットは、出力信号内の各オプティカルブラック画素を、上記ライン雑音補正回路部によって算出された上記ライン雑音平均値と比較することによって列毎に算出されることを特徴とする信号処理装置。
【請求項２】
カラム雑音オフセット係数を記憶するカラム雑音補正メモリを更に備える請求項１記載の信号処理装置。
【請求項３】
上記カラム雑音オフセット係数は、上記メモリに記憶されたカラム雑音オフセット係数が、ライン雑音に対するカラム雑音の差分を表すように、差動技術を用いて更新されることを特徴とする請求項２記載の信号処理装置。
【請求項４】
オプティカルブラック画素及びアクティブクリア画素を有し、オプティカルブラック画素のみからなる行と、オプティカルブラック画素及びアクティブクリア画素の両方を有する行とを有する画素アレーからの出力信号を処理する信号処理回路において、
入力の１つに上記画素アレーからの出力信号が供給される差動プログラマブルゲイン増幅器と、
上記差動プログラマブルゲイン増幅器に接続され、該差動プログラマブルゲイン増幅器からの出力信号をデジタル出力信号に変換するアナログ／デジタル変換器と、
上記アナログ／デジタル変換器に接続され、上記デジタル出力信号を、黒レベル基準値と比較し、上記差動プログラマブルゲイン増幅器の入力に黒レベル調整信号を供給するブラッククランプ処理回路部と、
上記アナログ／デジタル変換器に接続され、出力信号内のオプティカルブラック画素のライン雑音平均値を行毎に算出し、該ライン雑音平均値と上記黒レベル基準値との差分に基づいて、ライン雑音オフセットを算出するライン雑音補正処理回路部と、
オプティカルブラック画素のみからなる行から、上記デジタル出力信号内の各オプティカルブラック画素を、上記ライン雑音補正処理回路部によって算出されたライン雑音平均値と比較することによって、上記デジタル出力信号内のオプティカルブラック画素のカラム雑音オフセットを列毎に算出するカラム雑音補正処理回路部と、
上記カラム雑音オフセットを、上記デジタル出力信号内のアクティブクリア画素に加算する第１の加算器と、
上記アクティブクリア画素と同一の行で、上記オプティカルブラック画素により算出される上記ライン雑音オフセットを、上記デジタル出力信号内のアクティブクリア画素に加算する第２の加算器とを備え、
上記ライン雑音補正部によって処理される各行の上記出力信号は、オプティカルブラック画素及びアクティブクリア画素を含むことを特徴とする信号処理回路。
【請求項５】
カラム雑音オフセット係数を記憶するカラム雑音補正メモリを更に備える請求項４記載の信号処理回路。
【請求項６】
上記カラム雑音オフセット係数は、上記メモリに記憶されたカラム雑音オフセット係数が、ライン雑音に対するカラム雑音の差分を表すように、差動技術を用いて更新されることを特徴とする請求項５記載の信号処理回路。
【請求項７】
オプティカルブラック画素及びアクティブクリア画素を有し、オプティカルブラック画素のみからなる行と、オプティカルブラック画素及びアクティブクリア画素の両方を有する行とを有する画素アレーからの出力信号を処理するイメージプロセサによって実行される信号処理方法において、
上記画素アレーからの出力信号を黒レベル基準値と比較する黒レベル調整信号を算出するステップと、
オプティカルブラック画素及びアクティブクリア画素の両方を有する行の行ごとに、上記出力信号内のオプティカルブラック画素値からライン雑音平均値を算出し、該ライン雑音平均値を上記黒レベル基準値と比較してライン雑音補正値を算出するステップと、
デジタル出力信号内の各オプティカルブラック画素をライン雑音平均値と比較してカラム雑音補正値を算出するステップと、
上記黒レベル調整信号に基づいて、出力信号の黒レベルを調整し、第２の出力信号を生成するステップと、
上記カラム雑音補正値を上記第２の出力信号に加算し、第３の出力信号を生成するステップと、
上記ライン雑音補正値を上記第３の出力信号に加算し、第４の出力信号を生成するステップと、
上記第４の出力信号を出力するステップとを有する信号処理方法。
【請求項８】
上記カラム雑音オフセット係数は、メモリに記憶され、該カラム雑音オフセット係数が、ライン雑音に対するカラム雑音の差分を表すように、差動技術を用いて更新されることを特徴とする請求項７記載の信号処理方法。
【発明の詳細な説明】
【著作権の表示】
【０００１】
本特許書類の開示の一部には著作権の保護対象が含まれる。著作権者は何人も特許商標局の特許ファイル又は記録に示された形で特許書類又は特許開示をファクシミリ複製することについては異議はないが、その他の点については全著作権を保有する。
【関連出願への相互参照】
【０００２】
本発明は、ＴＢＤに出願された、米国特許出願第ＴＢＤ号、発明の名称「CROSS-COUPLED DIFFERENTIAL DAC-BASED CLAMP CIRCUIT」、ＴＢＤに出願された、米国特許出願第ＴＢＤ号、発明の名称「ON-CHIP BLACK CLAMPING CIRCUIT FOR CMOS IMAGE SENSOR」、及びＴＢＤに出願された、米国特許出願第ＴＢＤ号、発明の名称「METHOD FOR BLACK CLAMP CORRECTION INDEPENDENT OF GAIN」に関連し、これらの開示は、引用によって本願に援用される。
【技術分野】
【０００３】
本発明は、電子画像センサに関し、特に、信号処理機能が埋め込まれた高度な撮像システムオンチップ（imaging system-on-chip：ｉＳｏＣ）センサに関する。
【背景技術】
【０００４】
画像センサは、撮像画素の連続するアレーにおいて、光の強度を蓄積することによって動作する。各画素は、露光時間に亘って画素に入射した光の強度に比例する電荷を有する。この電荷は、高品質画像を取り込み、映像を生成するために、雑音をできるだけ小さくして読み出さなければならない「画素値」である。現在のＣＭＯＳ画像センサは、２５ＭＨｚ未満のデータレートでは、ＣＣＤ画像センサより時間領域雑音が小さいが、幾つかのシステム的なアーチファクト（systematic artifacts）のソースによって、特に、低照度において、画像の品質が劣化することがある。
【０００５】
米国特許番号第６，８６１，６３４号より、図１に示すように、ＣＭＯＳ画像センサによって電子的に再生された画像の読出しは、画素の各行からの信号を、一組のカラムバッファ（column buffer）を介して、出力にルーティングすることによって行われる。通常、各カラムバッファ１０２は、画素の特定の列をサポートし、例えば、米国特許番号第５，８９２，５４０号に開示されているように、集積された増幅回路を用いて構成される。米国特許番号第５，８９２，５４０号からの図２の回路ブロック７０では、アナログ領域において、１Ｖの桁のフルスケール信号に対して、カラムバッファオフセットを約１００μＶｒｍｓ、すなわち、１０４分の１に修正するが、画質を最大化するためには、「カラム雑音」の更なる低減が必要である。また、各ビデオラインは、前のライン又は次のラインとは異なる時刻に読み出されるので、読出しプロセスによって、「ライン雑音」が導入されることがある。更に、カラムバッファをサポートするためには、共通の基準電圧（図２のＲＥＦ１、ＲＥＦ２、ＲＥＦ３等）が使用され、これらは、時間変化する特性を有する固有の雑音を生じる。画素の各行が同時にサンプリングされるので、画素の各行は、同様の総量値で、共通の基準電圧の雑音をサンプリングしてしまう。一方、後続する行は、異なる時刻に読み出されるので、この結果、総量値が僅かに異なるが、共通の基準電圧の雑音をサンプリングしてしまう。この行間の変動によって、「ライン雑音」及びフレーム間「フリッカ」が生じる。これらの全ての起こり得る雑音のメカニズムは、以下のような悪影響によって、画質を劣化させる。
【０００６】
１．列毎に生じ、動的に変動することがある縦縞。
２．ライン毎に生じ、動的に変動することがある横縞、すなわち、ライン雑音。なお、各ラインは、画素の横縞である。
３．基準雑音に対する画像センサの感度の副産物としてのフレーム間の不安定性。この感度は、垂直帰線消去期間が水平帰線消去期間より著しく長いため、フレーム毎のセンサの黒レベルを実質的に不安定化させる。したがって黒レベルの振る舞いはフレームに強く依存する。
高性能画像センサにおいて、最も深刻な影響は、フレーム間の不安定性である。
【０００７】
米国特許番号第５，１７２，２４９号に開示されている従来の技術では、オフセット補正誤差を生じる広帯域雑音の悪影響について十分な検討を行うことなく、減算回路、例えば、差動増幅器の入力に信号及び基準レベルを供給することによって、増幅器オフセット及びＦＰＮを減算する。他に、米国特許番号第６，０３７，５７７号では、行毎にライン雑音を抑圧する手法が説明されている。しかしながら、ここでも、主要な意図は、離散的にサンプリングされた共通の基準電圧の雑音を直接的に消去することではなく、スイッチング雑音及びパラレル信号パス間の電荷再分布によるオフセットを抑圧することである。
【０００８】
米国特許番号第６，８６１，６３４号は、更に、センサ雑音の他の発生源に加えて、基準雑音を減算する技術を開示している。この雑音減算技術は、先にデジタル領域において決定された補正値を用いて、アナログ領域において実行される。アナログ値は、オフセットを減算する電荷増幅器（charge amplifier）を含むサンプルアンドホールド回路に供給される。好ましい実施の形態では、画素の信号レベル及び関連するリセットレベルを用いる疑似差動又は差動信号パスが開示されている。しかしながら、オフセット減算を実行する電荷増幅器にリセットレベルを更に供給することで、信号パスに負担をかけることによって、最大ビデオレートが半減され、付随するビデオ帯域幅（concomitant video bandwidth）が倍になり、白色雑音が増大する。また、補正は、画素毎及び色毎に高速で行われ、この結果、複雑性及び信号処理オーバヘッドが増大する。
【０００９】
最近の米国特許出願公開番号第２００６／０２３１７３４号には、カラム固定パターン雑音を判定及び修正するための完全にデジタル的な手法が開示されている。この手法では、Ａ／Ｄ変換に提供されるアナログダイナミックレンジを拡大するのではなく、様々な補正の精度を実質的に制限する。
【発明の概要】
【課題を解決するための手段】
【００１０】
本発明は、優れた黒レベル安定化を共に提供する方法、回路構成及びファームウェアコードを含む。アナログ回路、デジタル回路及びアルゴリズムは、連携して、アナログ領域におけるダイナミックレンジを最大化すると同時に、画像感知画素のアレーの「読出し」に固有の様々な固定パターン雑音源を抑圧する。好ましい実施の形態では、デジタル領域において、特別に最適化されたアルゴリズムを用いて、雑音抑圧を実行し、フレーム間では、カメラに１２ビットしか供給されない場合であっても、ダイナミックレンジが少なくとも１６ビットに亘る有用な画質を有する電子画像を生成する。
【００１１】
一実施の形態においては、本発明が提供する信号処理装置は、オプティカルブラック画素及びアクティブクリア画素を有し、オプティカルブラック画素のみからなる行と、オプティカルブラック画素及びアクティブクリア画素の両方を有する行とを有する画素アレーからの信号出力を処理するための信号処理装置において、画素アレーから出力信号が供給され、出力信号の黒レベルを黒レベル基準値と比較し、比較に基づいて、出力信号の黒レベルを調整するための調整信号を出力するブラッククランプ回路部と、ブラッククランプ回路部によって調整された出力信号が供給され、出力信号内のオプティカルブラック画素のライン雑音平均値を行毎に算出し、ライン雑音平均値と黒レベル基準値との差分に基づいて、ライン雑音オフセットを算出し、各ラインの出力信号内のアクティブクリア画素にライン雑音オフセットを加算するライン雑音補正回路部と、オプティカルブラック画素のみからなる行から、出力信号内のオプティカルブラック画素のカラム雑音オフセットを算出し、出力信号内のアクティブクリア画素にカラム雑音オフセットを加算するカラム雑音補正回路部とを備え、ライン雑音補正部によって処理される各行の出力信号は、オプティカルブラック画素及びアクティブクリア画素を含み、カラム雑音オフセットは、出力信号内の各オプティカルブラック画素を、ライン雑音補正回路部によって算出されるライン雑音平均値と比較することによって列毎に算出される。
【００１２】
信号処理装置は、カラム雑音オフセット係数を記憶するカラム雑音補正メモリを更に備えていてもよく、カラム雑音オフセット係数は、メモリに記憶されたカラム雑音オフセット係数が、ライン雑音に対するカラム雑音の差分を表すように、差動技術を用いて更新される。
【００１３】
本発明の他の実施の形態が提供する信号処理回路は、オプティカルブラック画素及びアクティブクリア画素を有し、オプティカルブラック画素のみからなる行と、オプティカルブラック画素及びアクティブクリア画素の両方を有する行とを有する画素アレーからの出力信号を処理する信号処理回路において、入力の１つに画素アレーからの出力信号が供給される差動プログラマブルゲイン増幅器と、差動プログラマブルゲイン増幅器に接続され、差動プログラマブルゲイン増幅器からの出力信号をデジタル出力信号に変換するアナログ／デジタル変換器と、アナログ／デジタル変換器に接続され、デジタル出力信号を、黒レベル基準値と比較し、差動プログラマブルゲイン増幅器の入力に黒レベル調整信号を供給するブラッククランプ処理回路部と、アナログ／デジタル変換器に接続され、出力信号内のオプティカルブラック画素のライン雑音平均値を行毎に算出し、ライン雑音平均値と黒基準値と差分に基づいて、ライン雑音オフセットを算出するライン雑音補正処理回路部と、オプティカルブラック画素のみからなる行からデジタル出力信号内の各オプティカルブラック画素を、ライン雑音補正処理回路部によって算出されたライン雑音平均値と比較することによって、デジタル出力信号内のオプティカルブラック画素のカラム雑音オフセットを列毎に算出するカラム雑音補正処理回路部と、カラム雑音オフセットを、デジタル出力信号内のアクティブクリア画素に加算する第１の加算器と、上記アクティブクリア画素と同一の行で、上記オプティカルブラック画素により算出されるライン雑音オフセットを、デジタル出力信号内のアクティブクリア画素に加算する第２の加算器とを備え、上記ライン雑音補正部によって処理される各行の上記出力信号は、オプティカルブラック画素及びアクティブクリア画素を含むことを特徴とする。
【００１４】
本発明の信号処理回路は、カラム雑音オフセット係数を記憶するカラム雑音補正メモリを更に備えていてもよく、カラム雑音オフセット係数は、メモリに記憶されたカラム雑音オフセット係数が、ライン雑音に対するカラム雑音の差分を表すように、差動技術を用いて更新される。
【００１５】
本発明の一実施の形態が提供する信号処理方法は、オプティカルブラック画素及びアクティブクリア画素を有し、オプティカルブラック画素のみからなる行と、オプティカルブラック画素及びアクティブクリア画素の両方を有する行とを有する画素アレーからの出力信号を処理するイメージプロセサによって実行される信号処理方法において、画素アレーからの出力信号を黒レベル基準値と比較するステップを含む、黒レベル調整信号を算出するステップと、オプティカルブラック画素及びアクティブクリア画素の両方を有する行の行ごとに、上記出力信号内のオプティカルブラック画素値からライン雑音平均値を算出し、ライン雑音平均値を黒レベル基準値と比較してライン雑音補正値を算出するステップと、デジタル出力信号内の各オプティカルブラック画素をライン雑音補正処理回路部によって算出されたライン雑音平均値と比較してカラム雑音補正値を算出するステップと、黒レベル調整信号に基づいて、出力信号の黒レベルを調整し、第２の出力信号を生成するステップと、カラム雑音補正値を第２の出力信号に加算し、第３の出力信号を生成するステップと、ライン雑音補正値を第３の出力信号に加算し、第４の出力信号を生成するステップと、第４の出力信号を出力するステップとを有する。この信号処理方法は、カラム雑音オフセット係数をメモリに記憶し、カラム雑音オフセット係数が、ライン雑音に対するカラム雑音の差分を表すように、差動技術を用いて更新するステップを更に有していてもよい。
【００１６】
本発明は、同様の構造的要素に、同様の参照符号を付した添付の図面を参照する以下の詳細な説明によって明らかとなる。
【図面の簡単な説明】
【００１７】
【図１】米国特許番号６，８６１，６３４からの、アナログ回路を介して適用されるデジタル補正項を有する従来のＣＭＯＳのＡＰＳシステムのブロック図である。
【図２】米国特許番号５，８９２，５４０に開示されている従来のカラムバッファの概略図である。
【図３】画像センサからの出力を処理するための従来のアーキテクチャのブロック図である。
【図４】アクティブクリア画素、黒レベル基準値又はオプティカルブラック（ＯＢ）画素、ダミー画素及びガードバンドを含むセンサアレーの代表的な実施の形態を示すブロック図である。
【図５】図４において各部が仕切られ、図６に概略の回路図として示すセンサアレーの構造を示すテーブルを示す図である。
【図６】一般的な撮像システムオンチップセンサ内に集積された本発明の実施の形態のブロック図である。
【図７】黒レベル基準画素の出力及びセンサの黒レベル基準値を更新する期間を具体的に示す撮像システムオンチップのデータストリームの図である。
【図８】オプティカルブラック画素領域及びアクティブクリア画素領域を含む本発明の画素アレーのブロック図である。
【図９】ブラッククランプ、ライン雑音抑圧及びカラム雑音抑圧のサポート部を含む本発明の好ましい実施の形態の概略図である。
【図１０】アナログのブラッククランプ回路部として、デジタル的に制御されるチャージポンプが組み込まれた本発明の実施の形態の概略図である。
【図１１】アナログのブラッククランプ手段として、米国特許出願第ＴＢＤ号、発明の名称「CROSS-COUPLED DIFFERENTIAL DAC-BASED CLAMP CIRCUIT」に開示されているプログラマブルＤＡＣが組み込まれた本発明の好ましい実施の形態の概略図である。
【図１２】２つのデータチャネルのサポートを含む本発明の実施の形態の概略図である。
【図１３Ａ】ブラッククランプ回路部５００における一般的なブラッククランプのためのＶｅｒｉｌｏｇコードの実現例の最初を示す図である。
【図１３Ｂ】図１３Ａのコードの続きを示す図である。
【図１３Ｃ】図１３Ｂのコードの続きを示す図である。
【図１３Ｄ】図１３Ｃのコードの続きを示す図である。
【図１３Ｅ】図１３Ｄのコードの続きを示す図である。
【図１３Ｆ】図１３Ａ〜１３Ｅに記載されているブラッククランプ回路部５００のためのＶｅｒｉｌｏｇコードの最後を示す図である。
【図１４】ライン雑音抑圧に関係するプログラミングレジスタのリストを示す図である。
【図１５Ａ】ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝１のアルゴリズムのテーブルを示す図である。
【図１５Ｂ】ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝２のアルゴリズムのテーブルを示す図である。
【図１５Ｃ】ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝３又は０のアルゴリズムのテーブルを示す図である。
【図１６】画素の行（ライン）に適用されたカラム雑音補正の効果を示す図である。
【発明を実施するための形態】
【００１８】
以下の説明により、当業者は、本発明を実現及び実施することができる。以下では、発明者が最良と考える実施の形態について説明する。なお、当業者は、様々な変形例を想到することができる。このような全ての変形例、均等物、変更例は、本発明の思想及び範囲に包含される。
【００１９】
従来の画像センサは、一般的に、画像信号を出力する画素アレーと、これにより得られる画像の品質を増加させるように設計されたデジタル撮像処理部とを備える。現在、３つの一般的な種類の処理アルゴリズム、すなわち、ブラッククランプ、ライン雑音補正及びカラム固定パターン雑音（column fixed pattern noise：ＦＰＮ）補正が使用されている。これまで、これらのアルゴリズムは、個別の手法で実行され、各アルゴリズムは、他のアルゴリズムから独立して動作していた（図３を参照）。一方、本発明は、以下に説明するように、従来の技術の限界を克服し、処理ブロック（アルゴリズム）間で情報を共有するアーキテクチャを提供する。これは、デジタルアルゴリズムのより速い収束、より高品質な画像出力、回路をより小型化できる可能性等を含む幾つかの利点を提供する。
【００２０】
本発明は、アクティブ画素のＣＭＯＳ撮像素子の代表的な設計を含む。低雑音アクティブ画素センサ（active pixel sensor：ＡＰＳ）の発明の実施の形態である試作品では、例えば、可視光撮像素子として可視光検出器（フォトディテクタ）の４０９６（列）×３０７２（行）のアクティブ画素アレーを備える。アクティブ画素アレー、すなわち公称撮像領域（nominal record area）は、これを取り囲む周辺部分の黒レベル基準画素によって画定される。図４には、オプティカルブラック（optical black：以下、ＯＢともいう。）画素、ガードバンド領域、ダミー画素及び任意の光学アラインメント画素によって周囲を取り囲まれた公称撮像領域を含む画素アレーのフロアプランを示す。
【００２１】
画素の行及び列は、０．１８μｍデザインルールを用いた場合には、画素の中心間距離を４μｍとすることができ、マイクロレンズなしでも、５０％までの開口率（optical fill factor）を提供することができる。検出器の感光領域の周辺の幾つかの列及び行は、ＯＢ画素を形成するために、通常、金属及び／又は他の不透明な材料で覆われる。本発明は、様々な帰線期間、すなわち、画像センサから光生成データ（photo-generated data）が供給されない期間に、ＯＢ画素を継続的に読み出すことによって、黒レベルを更新し、安定させることができる。本発明の黒レベル安定化処理には、広範囲の画像センサの温度及び周囲環境に亘って画像センサの性能を最大にする３つの種類の処理が含まれる。安定化処理には、１）一般的な黒レベルクランプ、２）適切な行を基準とする係数によるライン雑音を補償するための行毎の黒レベルの微調整、及び３）列毎に黒レベルの微調整をして、カラム雑音を調整することが含まれる。
【００２２】
各行の光検出器をカラーフィルタで覆い、カラー撮像素子を作成することができる。例えば、奇数行は、左から、赤色フィルタで始めて、次に緑色フィルタ、そして、青色フィルタで覆い、偶数行は、青色フィルタで始めて、次に赤色フィルタ、そして、緑色フィルタで覆い、これらのパターンを繰り返して各行を埋めてもよい。また、標準的なベイヤフィルタのパターンを適用してもよい。したがって、アクティブ画素センサからのビデオ信号は、以下を含む。
【００２３】
・アクティブ撮像領域を取り囲むオプティカルブラック（ＯＢ）領域の境界の少なくとも一部及び他の非撮像画素を含む非感光画素（light-insensitive pixel）の第１の期間（interval）
・電子的に取得し又は撮像した画像センサのデータストリームの束を含む感光撮像画素の第２の期間
・任意であるが、ＯＢ画素の第３の期間
【００２４】
上述したように、様々な画素データを特定の時刻に読み出す必要はない。例えば、全てのＯＢ画素は、画像センサの各行のＯＢ画素及びアクティブクリア画素からのデータを含むデータストリームの束の「フロントポーチ」期間に読み出すことができる。一方、アクティブクリア画素は、多くの場合、様々なタイミング規格、例えば、本願に援用される高精細度ビデオのためのＳＭＰＴＥ２７４Ｍ又はＳＭＰＴＥ２９２規格によって定義されているように、「フロントポーチ」に先立ち、「バックポーチ」に続く連続した期間に読み出される。用語「ポーチ」は、各ビデオライン、フィールド又はフレームの間の期間を指し、ここでは実際の撮像データをカメラに供給せず、これに代えて、オーバヘッド信号処理機能を実行できる。このような帰線期間は、元々、ＣＲＴディスプレイにおいて、フライバックのために必要であった。関連するＯＢ画素データは、フロントポーチ期間に全てを読み出してもよく、フロントポーチとバックポーチとの間で分けて読み出してもよく、バックポーチ期間に全体を読み出してもよい。ＯＢ画素のデータストリームは、常に、撮像システムオンチップ（imaging System-on-Chip：ｉＳｏＣ）内の全ての演算及び信号処理を監視するデジタルコントローラに送信されるが、これは、複合データストリーム（composite data stream）によって、カメラに供給してもよい。カメラに安定した黒レベル基準を提供することによって、最高品質のイメージキャプチャが可能になり、かつ更なる処理が可能になる。
【００２５】
図５の表は、典型的な実施の形態における水平方向及び垂直方向の両方のアクティブ画素及び補助的な画素の構成を示している。水平方向においては、例えば、４０９６×３０７２画素の公称解像度をサポートするセンサは、実際には、合計で４４１６×３３００画素を含み、このうち、４３５２×３２５２画素が読出しのためにアドレス指定可能である。電気的に分離し、ｉＳｏＣ画像処理によって画質を向上させるためには、周辺に沿って更なる行及び列が必要である。具体的には、周囲のｉＳｏＣ回路に隣接する画素は、２４画素幅のガードバンドを構成し、この結果、約１００μｍ（すなわち、４μｍ×２４画素）に亘ってバッファ領域を形成し、電子回路動作部を光電子変換機能部（photo-electronic function）から分離する。通常、シリコンの自由キャリア吸収長が約１００μｍであるので、ガードバンド画素の主要な役割は、間接的な光又は迷走する光生成キャリアが基板を介して電子回路に到達することを阻止することである。他の主要な目的は、周囲の電子回路において、ｉＳｏＣ動作によって引き起こされる電磁干渉を防止し、ＯＢ画素及びアクティブクリア画素内の信号が劣化することを防止することである。画素構成において次に設けられるのは、様々なＯＢ画素の組であり、８画素に亘る第１のＯＢダミー画素領域（ＯＢダミー画素１）、本発明に基づいて黒レベルを安定させる６４個のＯＢ画素、１２画素からなる第２のＯＢダミー画素領域（ＯＢダミー画素２）、アクティブクリア画素からＯＢ画素を分離する１２個のクリアダミー画素、公称撮像領域を適応的にシフトさせることによってセンサとカメラとの取付誤差を補償するために役立つ３２個の完全なアクティブクリア画素（カメラアラインメント）、同様に特別な信号処理演算のために使用される８個の境界処理画素、４０９６個のアクティブクリア画素に亘る主となる領域、及び公称撮像領域の反対側に設けられるサポート画素の任意の対応する組を含む。
【００２６】
図６に示す好ましい実施の形態では、先に図４に示し、及び図５にテーブルとして示した画素アレー１１は、ｉＳｏＣ１０の中心に埋め込まれている。図６では、図面を簡潔にするために、４４１６×３３００画素を含むフルサイズのアレーではなく、１画素分の幅のみが示されている薄いＯＢ画素の境界を含む単純化された６×６の画素アレー１１を示している。画素アレー１１は、カラムバッファ１６を介して読み出され、ｉＳｏＣ監視回路１２の管理の下で、水平マルチプレクサ１８によってシリアルアナログデータストリームに多重化される。ｉＳｏＣ監視回路１２は、適切な時刻に全てのｉＳｏＣブロックを動作させる様々なタイミング信号及び制御信号を生成する。カラムバッファ１６内の各バッファは、例えば、米国特許番号第５，８９２，５４０号に開示されている方式及び方法を用いて、画素の各列からのアナログデータを調整する。
【００２７】
次に、ＯＢ画素データ及び光生成（アクティブクリア）画素データの両方を含むシリアルアナログデータストリームは、本発明に基づく回路である安定化回路部１００に供給される。本発明は、ミックスドシグナルシステムオンチップソリューション（mixed-signal System-on-Chip solution）、すなわち、アナログ回路及びデジタル回路の両方を備えるソリューションであって、これには５個の内部の回路ブロックが安定化回路部１００に含まれ、信号バス９００によってこれらの各ブロックに共通に提供される。本発明では、アナログ処理を実行し、デジタル化し、デジタル処理を実行した後に、信号バス９００によってデジタルデータストリームを供給し、Ｉ／Ｏポート６００を介して、最終的にｉＳｏＣからデジタルデータを出力する。
【００２８】
未処理のアナログ映像信号は、水平マルチプレクサ１８によって供給されるデータストリームを慎重に検出することによって観察できる程小さいので、安定化回路部１００は、デジタル化部２００において、アナログ映像信号を増幅して、デジタル化する。デジタル化部２００は、プログラマブルゲイン増幅器（Programmable Gain Amplifier：ＰＧＡ）２１０及び高分解能のＡ／Ｄ変換器２２０からなり、アナログ信号ストリームを、順次、ブラッククランプし、増幅し、少なくとも１２ビット分解能にデジタル化する。ＰＧＡ２１０は、アナログ映像信号を増幅することに加えて、ブラッククランプを実行するために、ブラッククランプ（ＢｌａｃｋＣｌａｍｐ）回路部５００からアナログ補正信号が供給される。したがって、（プログラミングレジスタによって設定される）プリセット値に対する汎用性のあるブラッククランプ動作は、ブラッククランプ回路部５００におけるデジタル信号処理によって容易に実現されるフィードバックループを介して実行される。ＰＧＡ２１０を用いて、増幅及びブラッククランプの両方を実行する際には、複数の色（通常３色又は４色）を、単一の信号処理回路によってかわるがわる処理してもよく、あるいは複数のデジタル化部２００を使用して色ごとに分離してもよい。いずれの場合も、デジタル化の前に、黒レベルのバラツキを最小化することによって、アナログのダイナミックレンジが最大化される。そして、通常、ピークツーピークで数ＬＳＢよりも低いカラム雑音は、好ましくは、オフセットの差分を記憶するカラム補正メモリ３２０からの補助によって、カラム雑音補正回路部３００においてデジタル的に除去される。最終的に、ライン間雑音の補正は、好ましくは、差分値を記憶するライン雑音補正回路部４００において完了する。集められた補正値によって、フリッカがないデジタル画像データのストリームを、Ｉ／Ｏポート６００を介して、カメラに供給することが保証される。
【００２９】
本発明が使用するＯＢ画素の基準データには、黒レベル基準値を正確に決定し、これを動的に調整するために、プログラミング可能な数のＯＢ画素行及び／又はＯＢ画素列に亘って平均化されたＯＢ画素のストリームが含まれる。図７には、４つのＯＢ画素の第１のグループと、これに続く、ＢＬＡＣＫＷＡＩＴＴＩＭＥと示しているプログラミング可能な期間と、４つのＯＢ画素の第２のグループとから構成される映像信号のラインについての代表的な画素ストリームのフロントポーチ期間の様子を示している。４つのＯＢ画素の第１のグループに亘る期間は、ＡＶＥＰＩＸのラベルを付し、予備のＯＢ画素情報を平均化するために用いられるＯＢ画素の数を示している。ＢＬＡＣＫＷＡＩＴＴＩＭＥは、クロックサイクル期間内のデータに対して信号処理演算を実行するために使用される。各ＯＢ画素のセグメントを読み出した直後に、黒レベルをインクリメント（ＰＵＳＨＵＰ）又はデクリメント（ＰＵＳＨＤＯＷＮ）することによって、アクティブな映像信号を「プッシュアップ」又は「プッシュダウン」できることが示されている。プログラミング可能なＢＬＡＣＫＷＡＩＴＴＩＭＥの間及び／又はＯＢ画素の第２のグループが読み出された後に、補正を収束させることが（settle）できる。次にＯＢ画素の第２のグループを読み出した後に、第２の「プッシュアップ」又は「プッシュダウン」補正によって、この時点におけるセンサの黒レベルを更に調整する。このように、ＯＢ画素を読み出し、黒レベルを調整し、更なるＯＢ画素を読み出し、そして黒レベルを再調整する処理を繰り返すことによって、最初のアクティブな映像信号がｉＳｏＣビデオストリームに入力される実際の時間よりも前に適切な黒レベル基準値ターゲットに正確に収束するブラッククランプフィードバックループが実現される。また、繰返し処理は、遷移において、ブラッククランプフィードバックループによって生じる黒レベル基準値が不正になることを防止する。
【００３０】
アクティブクリア画素及びＯＢ画素は、更に、図８に示すように、「クリア」画素及び「ＯＢ」画素の組に区分される。ＣｌｅａｒＰｉｘｅｌｓのラベルが付された領域に含まれているアクティブクリア画素は、視覚的な電子画像を形成する感光素子である。領域Ｒ１＿ＯＢ、Ｒ１＿ＯＢＣ、Ｒ２＿ＯＢ、Ｒ２＿ＯＢＣ及びＲ３＿ＯＢに含まれているＯＢ画素は、非感光性素子である。領域Ｒ１＿ＯＢ、Ｒ２＿ＯＢ及びＲ３＿ＯＢ内のＯＢ画素は、行毎にライン雑音を除去するために用いられ、領域Ｒ１＿ＯＢＣ及びＲ２＿ＯＢＣのＯＢ画素は、それぞれ、ＯＢ画素及びアクティブクリア画素のカラムオフセット係数を決定するために用いられる。領域Ｒ１＿ＯＢ及びＲ２＿ＯＢ内のＯＢ画素は、ブラッククランプを実行するために領域Ｒ３＿ＯＢ内の画素と組み合わせて用いられる。
【００３１】
更に、本発明の好ましい実施の形態の回路図を図９に示す。このアーキテクチャは、複数の信号パスに拡張でき、またいずれかのブロックを除外し、あるいはプログラミングによってイネーブル／ディスエーブルすることができる。カラム雑音補正回路部３００と、ライン雑音補正回路部４００とが例えば、ディスエーブルにされると、Ｉ／Ｏポート６００から出力されるセンサデータは、ブラッククランプされ、デジタル化されたデータのみから構成される。好ましい実施の形態では、ブラッククランプ、ライン雑音抑圧及びカラム雑音抑圧によってサポートされる１つの信号バス９００を示しているが、変形例として、同様に複数の信号バス及び雑音抑圧パスをサポートしてもよい。例えば、図１２の概略図は、ブラッククランプ演算及びライン雑音補正を含む２つのデータパスを示している。
【００３２】
上述したように、好ましい実施の形態では、一般的なブラッククランプ、特定のカラム雑音補正及び特定のライン雑音補正を含む３つの黒レベル補正演算が実行される。したがって、信号処理フローでは、各演算毎に特定の目標値をサポートするために、３つの直流オフセット調整が実行される。第１のオフセット補正は、ＰＧＡ２１０の入力における、ＰＵＳＨＵＰ・ＰＵＳＨＤＯＷＮ・ＳＴＲＯＮＧＰＵＳＨ調整によって行われる一般的なブラッククランプのためのものであり、これは、ブラッククランプ回路部５００によって容易に実現できる。第２のオフセット補正は、ライン雑音補正回路部４００によって算出されるＬｉｎｅＯｆｆｓｅｔＴ１調整であり、これは、ライン雑音を取り除くために加算器４１０に供給される。第３のオフセット補正は、カラム雑音補正回路部３００によって生成されるＣｏｌｕｍｎＮｏｉｓｅＯｆｆｓｅｔ調整であり、これは、カラム雑音を取り除くために加算器３１０に供給される。オプションとして、第４のオフセット補正であるＯＦＦＳＥＴ＿Ｔ１が加算器７１０に供給され、信号バス９００上でサポートされるダイナミックレンジ内で黒レベルターゲットが調整される。一般的なブラッククランプ、ライン雑音補正及びカラム雑音補正演算を含む黒レベルの安定化プロセスは、以下のように実行される。
【００３３】
１．まず、ＯＢ領域Ｒ１＿ＯＢ内のＯＢ画素の行データを用いて、黒レベルを決定し、更新する。このステップでは、アナログ読出しパスによって生成されたあらゆるシステム的なオフセット（systematic offsets）を除去し、次に、領域Ｒ１＿ＯＢＣを用いて算出されるカラム雑音データを高精度化する。センサは、最上行から開始して読み出してもよく、最下行から開始して読み出してもよく、したがって、領域Ｒ１＿ＯＢ及び領域Ｒ１＿ＯＢＣは、最上行においても最下行においても利用可能である。
２．領域Ｒ２＿ＯＢを用いて、黒レベル基準値の更新を続ける。ＯＢ領域Ｒ２＿ＯＢＣを用いて、各行内の平均ライン雑音を算出する。各列の係数のバラツキを測定する前にライン雑音を除去する。
３．メモリに格納される係数が、絶対値ではなく、ライン雑音に比例するカラム雑音の差分を表す差動技術（differential technique）を用いて、カラム雑音係数を更新する。オフセット係数は、異なるアルゴリズム的重みとともに、複数の行に亘って積算される。差動技術は、カラム雑音係数を決定するために用いられる実際のＯＢ画素行に存在するライン雑音の影響が小さいため、積算よりも強力である。差動技術を用いることによって、また、ライン雑音の平均値は、各列のオフセットをより正確に判定するための基礎となる閾値を提供することができる。この結果、ＯＢ画素行は、ライン雑音を算出するためのＲ２＿ＯＢと、Ｒ２＿ＯＢ期間に算出されるライン雑音がない場合にカラム雑音を算出するためのＲ２＿ＯＢＣとに分けられる。
４．読出しがアクティブクリア画素の行に入ると、ＯＢ領域Ｒ３＿ＯＢを用いて、各行の平均の雑音を算出する。
５．公称撮像領域内のＣｌｅａｒＰｉｘｅｌ領域、すなわち、アクティブクリア画素を読み出す際には、Ｒ３＿ＯＢ領域を処理することによって算出されたデータを用いて、ライン雑音を除去する。
６．センサがどのように使用されているか、及び適切にプログラミングされているかに応じて、Ｒ３＿ＯＢ領域の一方又は両方を用いて黒レベル基準値を更新する。
７．Ｒ２＿ＯＢ領域の情報を用いて、ライン雑音の補正を行った後に、領域Ｒ２＿ＯＢＣのデータを用いて、カラムオフセット係数を更新する。
８．各領域内のＯＢ画素の数は限られているので、特異な画素を特定し、以後の計算の間に無視することによって、ブラッククランプ、カラム雑音補正及びライン雑音補正の精度を向上させる。
【００３４】
例示的な単一の映像信号回路の場合、上述したステップは、信号バス９００からの、好ましくは、少なくとも１８ビット幅のデジタルデータを途中から取出し（tapping）、次に、図示するように、補正値を再挿入することによって実行される。メインデータフローが信号バス９００のパスを流れ、ブラッククランプ回路部５００は、黒レベルを安定させるために信号を取り出す最初のｉＳｏＣ信号処理部である。加算器５１０は、取り出されたビデオストリームをバッファリングし、最新のデータをレジスタ５２０に供給する。コンパレータ５３０は、最新情報を目標値ＢｌａｃｋＲｅｆ＿Ｔ１と比較し、レジスタ値ｓｔｒｏｎｇｒｅｆのプログラミングされた設定による指示によって速やかな収束が必要とされているか否かに応じて、インクリメントなプッシュアップ、プッシュダウン操作、あるいはより増分幅の大きなプッシュアップ／プッシュダウンが実行される。次に、図９においてＰＵＳＨＵＰ，ＰＵＳＨＤＯＷＮ，ＳＴＲＯＮＧＰＵＳＨのラベルが付された関連するアナログ信号を、デジタル化部２００のＰＧＡ２１０に供給することによって、黒レベルが補正される。このようにして、デジタル論理回路は、アナログの演算を制御して、後のデジタル化のためのアナログのダイナミックレンジを最大にする。この結果、アナログのブラッククランプ信号は、画像データストリームの黒レベル基準値を安定させる。次に、ライン雑音及びカラム雑音を抑圧することによって更なるブラッククランプが実行される。
【００３５】
図１０は、一般的なブラッククランプフィードバックループの第１の実施の形態のブロック図を示しており、ここでは、デジタル的に制御されるチャージポンプ２３０を使用して、デジタル手段によって制御されるアナログ補正信号のプッシュアップ、プッシュダウン又はストロングプッシュを実行する。図１１に示す好ましい実施の形態では、これに代えて、関連する米国特許出願番号ＴＢＤ号、発明の名称「CROSS-COUPLED DIFFERENTIAL DAC-BASED CLAMP CIRCUIT」に開示されている公差結合されたＤ／Ａ変換器（cross-coupled DAC）２４０を使用する。ここでは、２つのＤ／Ａ変換器は、縦続接続（in tandem）され、ブラッククランプ補正項の微調整及び粗調整を担う。粗調整用及び微調整用の補正電圧は、同じカップリングコンデンサＣｂｃを介して、ＰＧＡ２１０に供給される。ＰＧＡ２１０は、プログラミング可能な帰還コンデンサＣｆを採用しており、この値は、レジスタコントローラ６４によってプログラミングされる。ＰＧＡのゲインは、このようにして適切にプログラミングされ、ホワイトバランス及び色度を最適に微調整するために、各色について必要な、特定のゲインが実現される。カラーフィルタアレーを有する画像センサは、Ｒチャネル、Ｇチャネル、及びＢチャネルのために別々のゲインを必要とする。更に、最良の具体例では、ベイヤパターンセンサ（Bayer-patterned sensor）は、それぞれがＧＲ、ＧＢ、Ｒ及びＢの画素を処理する４つの色チャネルのそれぞれについて、個別のゲインを用いる必要がある。このベイヤパターンの能力は、赤色画素及び緑色画素を含むベイヤパターン画素の各行における赤色画素の赤色チャネル挙動が、赤色画素及び青色画素を含む行内における赤色画素の赤色チャネル挙動と同じでないとの認識に基づいている。したがって、赤色画素及び緑色画素からなる行の緑色画素は、区別され、ＧＲ画素のラベルが付される。同様に緑色画素及び青色画素からなる行の緑色画素は、ＧＢ画素とみなされる。この結果、レジスタコントローラ６４は、所定の画像センサのカラーフィルタアレーのための予めプログラミングされたゲイン設定を有していてもよく、及び／又はカメラからの設定に基づいて、動的にゲインを調整してもよい。黒レベル基準画素データ及びアクティブクリア画素データを含むｉＳｏＣデータストリームは、ＰＧＡ２１０の入力に供給され、ＰＧＡ２１０のゲインは、ｉＳｏＣのレジスタコントローラ６４によって、画素毎に又はカラーチャネル毎に設定される。最終的な結果として、デジタルコントローラからの出力信号が、動的に制御され、出力信号が生成される。
【００３６】
【数１】
0005260559.tif 000002
【００３７】
ここで、Ｖｏｕｔは、出力信号であり、Ｖｓｉｇは、アクティブクリア画素信号であり、Ｖｂｃは、ＯＢ画素信号であり、Ｃｓｉｇは、アクティブな映像信号のためのキャパシタンスであり、Ｃｂｃは、ブラッククランプデータストリームのためのキャパシタンスであり、Ｃｆは、ベースのフィードバックキャパシタンスである。このように、本発明は、各色毎の個別のゲインに加えて、アクティブクリア画素及びＯＢ画素について、個別のゲインを実現する。交差結合（cross-coupled）されたデジタル／アナログ変換器（ＤＡＣ）２４０のサポートを含め、ゲイン制御の全体的な範囲を広げるために、更なるコンデンサを用いることができることは当業者にとって明らかである。また、ＧＲ、ＧＢ、Ｒ及びＢチャネルのデータを最善に取り扱うために、４つのＰＧＡを用いることができることは当業者にとって明らかである。この場合、例えば、ＧＲ、ＧＢ、Ｒ及びＢチャネルのデータは、後に、Ｉ／Ｏポート６００において、所望の順序で再結合される。
【００３８】
再び図１１を参照して説明すると、ｉＳｏＣデータストリームは、最高の純度の黒レベル基準値を生成する精度を最大化するために、好ましくは、１２ビットの最小分解能を提供するＡ／Ｄ変換器（ＡＤＣ）２２０によってデジタル化される。そして、デジタル化されたデータは、ブラッククランプ回路部５００に供給され、ブラッククランプ回路部５００は、黒レベルデータをターゲット黒レベル７２、すなわちＢＬＡＣＫＲＥＦと比較する。２つのレベル間の如何なる差分もＤＡＣ２４０にフィードバックされる。目標値が大きくオフセットしているか小さくオフセットしているか、又は差分が正であるか負であるかに応じて、デジタルコントローラは、ＤＡＣ２４０を適切に制御し、正しいオフセットをＰＧＡ２１０の他方の入力（leg）に供給する。
【００３９】
これにより、平均黒レベル基準値は、ブラッククランプ回路部５００に組み込まれた論理回路内でＢＬＡＣＫＲＥＦと比較され、ブラッククランプ回路部５００は、小さくシフトアップ又はシフトダウンするか、又は差分が第２の閾値ＳＴＲＯＮＧＲＥＦを超えている場合、大きくシフトアップ又はシフトダウンするかを決定し、ＤＡＣ２４０による黒レベル基準値の補正をトリガする。
【００４０】
【数２】
0005260559.tif 000003
【００４１】
平均黒レベルは、通常、精度を向上させ、一時的な中断（transient disruption）を最小化して、黒レベルを完全に安定させるために、数フレームに亘って平均化される。移動平均を用いると、ＯＢ画素を形成するために用いられるシリコン面積を広げることなく、ＯＢ画素の数を有効に増加させることができる。図１３Ａ〜図１３Ｆは、ブラッククランプ回路部５００を実現するためのＶｅｒｉｌｏｇコードによる実装例を示す。
【００４２】
ライン雑音補正は、以下の３つのステップによって一般的には達成される。
１）ライン雑音平均値（１ラインあたり）を算出する。
ａ．ライン雑音平均値は、行の始めにおいて、全てのＯＢ画素を合計し、合計の値を、合計されたＯＢ画素の数で除算することによって求められる。
ｂ．ある場合には、全てのＯＢ画素を合計し（包括的ライン雑音）、ある場合には、対象となるＡＤＣに関連しているＯＢ画素だけを使用する（局所的ライン雑音）。
ｃ．これにより得られるライン雑音平均値「ＬｉｎｅＡｖｅ」は、カラム雑音補正回路部３００において「基準値」として用いられる。これによって、カラム雑音補正回路部３００がライン雑音の摂動に強くなり、この結果、ＣｏｌｕｍｎＮｏｉｓｅＯｆｆｓｅｔ信号は、より速く、高品質に収束する。
２）ライン雑音平均値とｂｌａｃｋ＿ｒｅｆｅｒｅｎｃｅとの間の差分であるオフセット「ＬｉｎｅＮｏｉｓｅＯｆｆｓｅｔ」を算出する。
ａ．「ｂｌａｃｋ＿ｒｅｆｅｒｅｎｃｅ」は、ブラッククランプ回路部５００によって使用されるものと同じｂｌａｃｋ＿ｒｅｆｅｒｅｎｃｅである。
３）行内の各アクティブクリア画素にオフセットを加える。
【００４３】
図９に戻って更に詳細に説明すると、ライン雑音補正は、ライン雑音補正回路部４００において実行される。加算器４２０は、信号バス９００から複合（撮像画素＋ＯＢ画素）データストリームが供給され、データを累積し、そして、累積されたデータを加算レジスタ４３０に保存する。データパス内の各レジスタは、１サイクルの遅延を生じる。画素値は、加算レジスタ４３０において累積され、除算器４４０によって平均化される（ビットシフトによる除算）。これにより得られるＬｉｎｅＯｆｆｓｅｔ値及びＬｉｎｅＡｖｅ値は、更に、ライン雑音補正回路部４００によって用いられ、ライン補正が完了されるとともに、マルチプレクサ８３０において、カラム雑音補正回路部３００に供給される出力も完了される。加算レジスタ４３０は、プログラミングされた数のＯＢ画素が加算されるまで、累計を加算器４２０に戻す。このときまで、中間的な累計が除算器４４０に供給される。除算器４４０の出力は、減算器４５０によって、プログラミングされたオフセット値ＬｉｎｅＢｌａｃｋＲｅｆから減算され、次に、モードマルチプレクサ４６０に供給される。一定値又は算出された平均値のいずれか要求されているかに応じて、モードマルチプレクサ４６０の出力は、モードレジスタ４７０に供給される。モードレジスタ４７０の出力は、オフセット係数のデータストリームＬｉｎｅＮｏｉｓｅＯｆｆｓｅｔＴ１であり、これは、データストリームを適切に更新するために加算器４１０に供給される。この結果、ライン雑音は、行毎に抑圧され、黒レベルが更に安定する。
【００４４】
ライン雑音補正回路部４００の動作モードは、図１４に表として示し、ここに説明するように実装されるレジスタ設定によってプログラミング可能に制御される。ライン雑音は、様々なタイプのセンサの設定、カメラの設定又は撮像条件について、画像における時間的な行毎の変化に対して補正を行うように最適化された３つのアルゴリズムを用いて交互に除去される。演算の間、各行のＯＢ画素が読み出され、累積され、平均され、これにより得られるライン平均（ＬｉｎｅＡｖｅ）は、プログラミングされた目標値又は基準値に対するラインオフセットを決定するために用いられる。このラインオフセット（ＬｉｎｅＯｆｆｓｅｔ）は、行内の次の（アクティブクリア）画素から減算される。行Ｒについてのライン平均及びラインオフセットの一般的な形式は、以下のように表される。
【００４５】
【数３】
0005260559.tif 000004
【００４６】
ここで、ＮＢＬＫは、計数されたＯＢ画素の数である。
【００４７】
ライン平均及びラインオフセット演算のための３つの特定のアルゴリズムは、各ＬｉｎｅＮｏｉｓｅＭｏｄｅについて、図１５Ａ〜図１５Ｃのテーブルに示している。信号処理動作において取り込まれるＯＢ画素の数は、以下のようにして求められる。
【００４８】
【数４】
0005260559.tif 000005
【００４９】
ＳＴＯＰＡＤＤＲ＿ＤＡＲＫ及びＳＴＡＲＴＡＤＤＲ＿ＤＡＲＫは、それぞれ、アルゴリズムの処理によって用いられるＯＢ画素の停止アドレス及び開始アドレスである。したがって、信号処理動作において使用されるＯＢ画素の実数は、ＮｕｍＰｉｘｅｌＢｌａｃｋ＊３２である。
【００５０】
上述したように、図１４のテーブルは、ライン雑音を抑圧するために用いられる３つの主なアルゴリズムのいずれかをアサートするようにプログラミングされる様々なｉＳｏＣレジスタを示している。ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝１、ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝２、ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝３又は０を含む少なくとも３つのアルゴリズムのモードをイネーブルにすることができる。ラインオフセットの表現は、以下の通りである。
【００５１】
【数５】
0005260559.tif 000006
【００５２】
ここで、ＬｉｎｅＢｌａｃｋＲｅｆは、所望のライン雑音補正を実行するために減算器４５０に供給される１２ビットのレジスタ値である（上述のレジスタの説明を参照）。
【００５３】
ラインオフセット係数を算出する処理は、ＯＢ画素を読み出し、以下のように、全ての及び各フレームの平均ｄｃ値ｌ（ｒ）を算出することによって開始される。
【００５４】
【数６】
0005260559.tif 000007
【００５５】
ここで、ｐ（ｒ、ｃ）は、行ｒ、列ｃにおける画素値であり、Ｂは、ライン平均を算出するために使用されるＯＢ画素の数である。ライン雑音補正の３つのモードは、以下のように定義される。
【００５６】
１．ｌ（ｒ）は、領域Ｒ１＿ＯＢ内の全ての画素を用いて算出される。
２．ｌ（ｒ）は、２つの別個の量であるｌ（ｒ）Ｔｏｐ及びｌ（ｒ）Ｂｏｔｔｏｍとして算出され、画像センサのトップ及びボトムにおける２つのＲ２＿ＯＢ領域について、別個のライン平均を提供する。
３．ｌ（ｒ）は、４つの別個の量であるｌ（ｒ）ＴｏｐＬｅｆｔ、ｌ（ｒ）ＴｏｐＲｉｇｈｔ、ｌ（ｒ）ＢｏｔｔｏｍＬｅｆｔ及びｌ（ｒ）ＢｏｔｔｏｍＲｉｇｈｔとして算出され、画像センサの左上、右上、左下、右下の領域における４つの別個のＲ２＿ＯＢ領域について別個のライン平均を提供する。
【００５７】
ここで、モード２、３は、画像センサがサポートできる最大フレームレートを増大させるために、複数のビデオパイプラインをサポートする。また、更に、ＯＢ画素領域を分離して、標準のＣＣＤ又はＣＭＯＳ画像センサを用いて、１つの出力取出しだけではなく、４つ、８つ、あるいは１６以上の出力ポートを逐次サポートすることもできる。
【００５８】
カラム雑音補正回路部３００は、画像の列に基づく固定パターン雑音（fixed pattern noise：ＦＰＮ）を補正するアルゴリズムを実行する。図１６は、理想的なシナリオを示している。補正アルゴリズムは、所望の基準と比較して、各列に関連するオフセットを記憶するために、メモリを用いる。これらのオフセットは、まず、ＯＢ画素行の処理中に較正され、メモリに書き込まれ、次に、読み出され、ＦＰＮを補正するために、画像センサのアクティブクリア画素に印加される。
【００５９】
より詳しくは、ＯＢ画素行についてのオフセットの算出は、プッシュ／プルアルゴリズムの使用を伴う。ＯＢ画素行を読み出す際、供給されるＯＢ画素は、「基準」（ライン雑音補正回路部４００によって生成される）と比較される。画素の値が基準に比べて高過ぎる場合、値を下げる必要があり、値が低過ぎる場合、値を上げる必要がある。加算又は減算される量は、プログラミング可能な「プッシュ／プル」値であり、典型的には、１、８又は１６である。複数の行（すなわち、１フレームあたり１２８）について、加算／減算を複数回行う。値は、累積され、メモリに記憶される。すなわち、各加算／減算の動作は、実際には、メモリに関する「読出／修正／書込」動作である。一旦、メモリオフセットが読み出されると、次に、比較が行われ、メモリオフセットが修正され、次に、再びメモリに書き込まれる。この動作は、画素アレー内の画素の列毎に行われる。
【００６０】
一旦、ＯＢ画素行において適切なオフセットが算出されると、これらは、対応するアクティブクリア画素に適用される。再び、対応するオフセットがメモリから読み出され、アクティブクリア画素に加算される。なお、メモリの値は、正及び負のいずれでもよいので、結果として得られる画素値は、（図１６に示すように）いずれの方向に補正する必要があるかに応じて、大きくなる場合も小さくなる場合もある。
【００６１】
更に詳細に説明すれば、カラム雑音は、カラム雑音補正回路部３００によって除去され、図１６に示す実行結果がサポートされる。ここで、アナログ領域において、ビデオストリームの黒レベルバラツキが、１００μＶのオーダから低減され、信号バス９００に沿ったエンドツーエンドの信号回路において実現されるゲインの如何にかかわらず１ＬＳＢ以下にされる。補正アルゴリズムは、所望の目標基準に対する各列毎のカラム雑音係数を記憶するカラム補正メモリ３２０内のメモリのブロックを用いる。これらのカラム雑音係数は、まず、ＯＢ画素行が読み出されるとき、垂直帰線期間の間に決定され、次に、各メモリバンクに書き込まれ、最終的に、図９においてＣｏｌｕｍｎＮｏｉｓｅＯｆｆｓｅｔのラベルが付されているブラッククランプ補正信号として読み出され、加算器３１０によって、カラム雑音を補正するために画像のアクティブクリア画素領域に加算される。較正の間、列Ｃ、行Ｒのカラム雑音調整の一般的な式は、ｏｆｆｓｅｔ（Ｃ）Ｒ＝ｏｆｆｓｅｔ（Ｃ）Ｒ−１±調整値であり、この調整値は、動作のモードに依存する。補正の間、次の行（Ｒ＋１）がスキャンされるときのカラム雑音が補正された画素値は、ｐ（Ｒ＋１，Ｃ）＝ｐ’（Ｒ＋１，Ｃ）＋ｏｆｆｓｅｔ（Ｃ）Ｒであり、ここで、ｐ’は、ＦＰＮ補正がない元の画素値である。現在の画像が黒フレームである場合、ユーザは、カラム雑音補正のために、上述した様々なＯＢ画素行に加えて、疑似黒画像を含む全体の画素アレーを用いることを選択できる。較正に用いられる黒レベル基準値は、ユーザによって設定された固定値であってもよく、各行内のＯＢ画素を用いて算出されたライン平均であってもよい。ライン平均が基準として用いられる場合、メモリに記憶された値は、カラム雑音の実際の組をより良好に表現する。
【００６２】
図８のセンサアレーのフロアプランを再び参照して説明すると、影付きの領域は、センサ周辺におけるＯＢ画素行及びＯＢ画素列を示す。カラム雑音補正がイネーブルにされる、すなわち、レジスタＯＦＦＳＥＴＣＯＲＲ＿ＤＩＳ＝０に設定されると、領域Ｒ１＿ＯＢＣ、Ｒ２＿ＯＢＣ及びＣｌｅａｒＰｉｘｅｌｓにおいて、カラム雑音補正（ＦＰＮメモリコンテンツを読み出し、画素値に加える処理）が実行される。この処理は、カラム補正メモリ３２０のデータを読み出し、オフセット係数を、対応する画素値に加算する処理を含む。カラム雑音補正及びカラム雑音メモリデータ更新が共にイネーブルにされる、すなわち、レジスタＯＦＦＳＥＴＷＲＩＴＥ＿ＤＩＳ＝０に設定されると、領域Ｒ２＿ＯＢＣにおいて、カラム雑音補正及びカラム雑音データ更新の両方（新たなカラム雑音係数を算出し、メモリに書き込むこと）が実行される。更に、レジスタＯＦＦＳＥＴ＿ＣＬＡＭＰＥＮが０に設定されると、Ｒ１＿ＯＢＣ及びＲ２＿ＯＢＣの両方において、カラム雑音較正が実行される。レジスタＯＦＦＳＥＴＷＲＩＴＥ＿ＡＬＬＲＯＷＳが１に設定されると、領域Ｒ１＿ＯＢＣ、Ｒ２＿ＯＢＣ及びＣｌｅａｒＰｉｘｅｌｓにおいて、ＦＰＮ較正が実行される。
【００６３】
オフセット補正が実行される際、コンパレータは、現在の画素値ｐ（ｒ，ｃ）と最新のカラムオフセット係数ｏ（ｒ−１）との合計をチェックし、この合計が、ライン平均ｌ（ｒ）を超えたときを判定し、補正の必要性を適切に判定する。このような必要性を判定するための論理演算は、以下の通りである。
【００６４】
【数７】
0005260559.tif 000008
【００６５】
カラムオフセット補正には、２つのモードがある。第１のモードでは、ｌ（ｒ）は、ターゲットの黒レベル基準値ｂｌａｃｋｒｅｆのような固定された閾値であってもよい。第２のモードでは、ｌ（ｒ）は、ライン雑音補正の間にＯＢ画素列において算出された平均値して選択できる。
【００６６】
また、コンピュータ技術の知識を有する者には明らかであるが、本発明の一部は、本明細書の記載に基づいてプログラミングされた従来の汎用又は専用のデジタルコンピュータ又はマイクロプロセッサを用いて実現してもよい。
【００６７】
また、ソフトウェア技術の知識を有する者には明らかであるが、熟練したプログラマは、本明細書の記載に基づいて、適切なソフトウェアプログラムを容易に作成することができる。更に、この開示に基づいて、当業者に明らかなように、本発明は、特定用途向け集積回路、又は従来の電気部品回路の適切なネットワークを相互接続することによっても実現できる。
【００６８】
本発明は、コンピュータを制御して本発明の処理を行わせるために使用される命令を記録した記録媒体（媒体）であるコンピュータプログラム製品を含む。記録媒体には、以下に限定するものではないが、フロッピィディスク（商標）、ミニディスク（ＭＤ、商標）、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ（フラッシュカードを含む）、磁気又は光カード、ナノシステム（分子メモリＩＣを含む）、ＲＡＩＤデバイス、遠隔データ記憶装置／アーカイブ／ウェアハウス、あるいは命令及び／又はデータを記憶する任意の種類の適当な媒体又は装置が含まれる。
【００６９】
本発明は、コンピュータにより読み取り可能な、任意の媒体に記憶され、汎用／専用コンピュータのハードウェア又はマイクロプロセッサを制御し、コンピュータ又はマイクロプロセッサを人であるユーザとインタラクトさせ、あるいは他のメカニズムにより本発明の成果を利用する、ソフトウェアを含む。この種のソフトウェアは、限定する意味でなく、デバイスドライバ、オペレーティングシステム、及びユーザアプリケーションを含む。更に、この種のコンピュータにより読み取り可能な媒体は、上述したように、本発明を実施するソフトウェアを含む。
【００７０】
本発明の範囲及び思想から逸脱することなく、上述した好適な実施の形態の様々な適応例及び変形例を構成できることは、当業者にとって明らかである。したがって、添付の特許請求の範囲の範囲を逸脱することなく、本明細書に開示した形態とは異なる形態で本発明を実施できることは明らかである。
【図１】
0005260559.tif 000009
【図２】
0005260559.tif 000010
【図３】
0005260559.tif 000011
【図４】
0005260559.tif 000012
【図５】
0005260559.tif 000013
【図６】
0005260559.tif 000014
【図７】
0005260559.tif 000015
【図８】
0005260559.tif 000016
【図９】
0005260559.tif 000017
【図１０】
0005260559.tif 000018
【図１１】
0005260559.tif 000019
【図１２】
0005260559.tif 000020
【図１３Ａ】
0005260559.tif 000021
【図１３Ｂ】
0005260559.tif 000022
【図１３Ｃ】
0005260559.tif 000023
【図１３Ｄ】
0005260559.tif 000024
【図１３Ｅ】
0005260559.tif 000025
【図１３Ｆ】
0005260559.tif 000026
【図１４】
0005260559.tif 000027
【図１５Ａ】
0005260559.tif 000028
【図１５Ｂ】
0005260559.tif 000029
【図１５Ｃ】
0005260559.tif 000030
【図１６】
0005260559.tif 000031