(57)【要約】  画像センサのためのブラッククランプ安定化回路は、黒レベルを、基準黒レベルとの比較に基づいて、動的且つ正確に調整するサブブロックを含む混在信号ＳｏＣブロックを使用する。黒レベル調整は、プログラマブルゲイン増幅器及び高分解能Ａ／Ｄ変換器を含むフィードバックループにおけるアナログ信号のデジタル制御を用いる第１のレベル調整を含む。アナログ領域でブラッククランプを適用することによって、ダイナミックレンジが拡張される。次に、デジタル領域で更なる黒レベル調整を実行し、撮像システムオンチップ内で生成されるライン雑音及び列雑音を差動的に除去する。アルゴリズムは、サブブロック間で情報を提供することによって、より速やかに収束することができる。この技術により、複数の信号パスが個別に各色を扱うことができ、及び撮像データのスループットを高めることができる。
2010520709.tif 000002
【特許請求の範囲】
【請求項１】
オプティカルブラック画素及び能動クリア画素を有する画素アレーからの信号出力を処理するための信号処理装置において、
上記画素アレーから出力信号が供給され、該出力信号の黒レベルを黒基準値と比較し、該比較に基づいて、出力信号の黒レベルを調整するための調整信号を出力するブラッククランプブロックと、
上記黒クランプブロックによって調整された出力信号が供給され、出力信号内の黒画素のライン雑音平均値を行毎に算出し、該ライン雑音平均値と黒基準値との差分に基づいて、ライン雑音オフセットを算出し、出力信号内のクリア画素に該ライン雑音オフセットを適用するライン雑音補正ブロックと、
出力信号内の黒画素の列雑音オフセットを算出し、出力信号内のクリア画素に該列雑音オフセットを適用する列雑音補正ブロックとを備え、
上記列雑音オフセットは、出力信号内の各黒画素を、上記ライン雑音補正ブロックによって算出されるライン雑音平均値と比較することによって列毎に算出されることを特徴とする信号処理装置。
【請求項２】
列雑音オフセット係数を記憶する列雑音補正メモリを更に備える請求項１記載の信号処理装置。
【請求項３】
上記列雑音オフセット係数は、上記メモリに記憶された列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新されることを特徴とする請求項２記載の信号処理装置。
【請求項４】
オプティカルブラック画素及び能動クリア画素を有する画素アレーからの出力信号を処理する信号処理回路において、
入力の１つに画素アレーからの出力信号が供給される差動プログラマブルゲイン増幅器と、
上記差動プログラマブルゲイン増幅器に接続され、該差動プログラマブルゲイン増幅器からの出力信号をデジタル出力信号に変換するアナログ／デジタル変換器と、
上記アナログ／デジタル変換器に接続され、上記デジタル出力信号を、黒基準値と比較し、上記差動プログラマブルゲイン増幅器の入力に黒レベル調整信号を供給するブラッククランプ処理ブロックと、
上記アナログ／デジタル変換器に接続され、出力信号内の黒画素のライン雑音平均値を行毎に算出し、上記ライン雑音平均値と黒基準値と差分に基づいて、ライン雑音オフセットを算出するライン雑音補正処理ブロックと、
上記デジタル出力信号内の各黒画素を、上記ライン雑音補正処理ブロックによって算出されたライン雑音平均値と比較することによって、上記デジタル出力信号内の黒画素の列雑音オフセットを列毎に算出する列雑音補正処理ブロックと、
上記列雑音オフセットを、上記デジタル出力信号内のクリア画素に加算する第１の加算器と、
上記ライン雑音オフセットを、上記デジタル出力信号内のクリア画素に加算する第２の加算器とを備える信号処理回路。
【請求項５】
列雑音オフセット係数を記憶する列雑音補正メモリを更に備える請求項４記載の信号処理回路。
【請求項６】
上記列雑音オフセット係数は、上記メモリに記憶された列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新されることを特徴とする請求項５記載の信号処理回路。
【請求項７】
オプティカルブラック画素及び能動クリア画素を有する画素アレーからの出力信号を処理する信号処理方法において、
上記画素アレーからの出力信号を黒基準値と比較するステップを含む、黒レベル調整信号を算出するステップと、
ライン雑音平均値を算出するステップと、該ライン雑音平均値を上記黒基準値と比較するステップとを含む、ライン雑音補正値を算出するステップと、
上記デジタル出力信号内の各黒画素をライン雑音補正処理ブロックによって算出されたライン雑音平均値と比較するステップを含む、列雑音補正値を算出するステップと、
上記黒レベル調整信号に基づいて、出力信号の黒レベルを調整し、第２の出力信号を生成するステップと、
上記列雑音補正値を上記第２の出力信号に加算し、第３の出力信号を生成するステップと、
上記ライン雑音補正値を上記第３の出力信号に加算するステップとを有する信号処理方法。
【請求項８】
上記列雑音オフセット係数は、メモリに記憶され、該列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新されることを特徴とする請求項７記載の信号処理方法。
【発明の詳細な説明】
【著作権の表示】
【０００１】
本特許書類の開示の一部には著作権の保護対象が含まれる。著作権者は何人も特許商標局の特許ファイル又は記録に示された形で特許書類又は特許開示をファクシミリ複製することについては異議はないが、その他の点については全著作権を保有する。
【関連出願への相互参照】
【０００２】
本発明は、ＴＢＤに出願された、米国特許出願第ＴＢＤ号、発明の名称「CROSS-COUPLED DIFFERENTIAL DAC-BASED CLAMP CIRCUIT」、ＴＢＤに出願された、米国特許出願第ＴＢＤ号、発明の名称「ON-CHIP BLACK CLAMPING CIRCUIT FOR CMOS IMAGE SENSOR」、及びＴＢＤに出願された、米国特許出願第ＴＢＤ号、発明の名称「METHOD FOR BLACK CLAMP CORRECTION INDEPENDENT OF GAIN」に関連し、これらの開示は、引用によって本願に援用される。
【技術分野】
【０００３】
本発明は、電子画像センサに関し、特に、信号処理機能が埋め込まれた高度な撮像システムオンチップ（imaging system-on-chip：ｉＳｏＣ）センサに関する。
【背景技術】
【０００４】
画像センサは、撮像画素の連続するアレーにおいて、光の強度を蓄積することによって動作する。各画素は、露出期間に亘って画素に入射した光の強度に比例する電荷を有する。この電荷は、高品質画像を捕捉し、又は映像を生成するために、雑音をできるだけ小さくして読み出さなければならない「画素値」である。現在のＣＭＯＳ画像センサは、２５ＭＨｚ未満のデータレートでは、ＣＣＤ画像センサより時間領域雑音が小さいが、幾つかのシステム的なアーチファクト（systematic artifacts）のソースによって、特に、低照度において、画像の品質が劣化することがある。
【０００５】
米国特許番号第６，８６１，６３４号より、図１に示すように、ＣＭＯＳ画像センサによって電子的に再生された画像の読出は、画素の各行からの信号を、一組の列バッファ（column buffer）を介して、出力にルーティングすることによって行われる。通常、各列バッファ１０２は、画素の特定の列をサポートし、例えば、米国特許番号第５，８９２，５４０号に開示されているように、統合増幅器ブロックを用いて構成される。米国特許番号第５，８９２，５４０号からの図２の回路ブロック７０では、アナログ領域において、１Ｖの桁のフルスケール信号に対して、列バッファオフセットを約１００μＶｒｍｓ、すなわち、１０４分の１に修正するが、画質を最大化するためには、「列雑音」の更なる低減が必要である。また、各ビデオラインは、前のライン又は次のラインとは異なる時刻に読み出されるので、読出プロセスによって、「ライン雑音」が導入されることがある。更に、列バッファをサポートするためには、共通の基準電圧（図２のＲＥＦ１、ＲＥＦ２、ＲＥＦ３等）が使用され、これらは、時変特性を有する生来的な雑音を生じる。画素の各行は、同時にサンプリングされるので、画素の各行は、同様の総量値で、共通の基準雑音をサンプリングする。一方、後続する行は、異なる時刻に読み出されるので、この結果、総量値が僅かに異なる共通の基準雑音をサンプリングする。この行間の変動によって、「ライン雑音」及びフレーム間「フリッカ」が生じる。これらの全ての可能な雑音メカニズムは、以下のような悪影響によって、画質を劣化させる。
【０００６】
１．列毎に生じ、動的に変動することがある縦縞。
２．ライン毎に生じ、動的に変動することがある横縞、すなわち、ライン雑音。なお、各ラインは、画素の横縞である。
３．基準雑音に対する画像センサの感度に起因するフレーム間の不安定性。この感度は、垂直帰線消去期間が水平帰線消去期間より著しく長いため、フレーム毎のセンサの黒レベルを実質的に不安定化させる。したがって黒レベルの振る舞いはフレームに強く依存する。
高性能画像センサにおいて、最も深刻な影響は、フレーム間の不安定性である。
【０００７】
米国特許番号第５，１７２，２４９号に開示されている従来の技術では、オフセット補正誤差を生じる広帯域雑音の悪影響について十分な検討を行うことなく、減算回路、例えば、差動増幅器の入力に信号及び基準レベルを供給することによって、増幅器オフセット及びＦＰＮを減算する。他に、米国特許番号第６，０３７，５７７号では、行毎に行雑音を抑圧する手法が説明されている。しかしながら、ここでも、主要な意図は、離散的にサンプリングされた共通の基準雑音を直接的に消去することではなく、スイッチング雑音及びパラレル信号パス間の電荷再分布からオフセットを抑圧することである。
【０００８】
米国特許番号第６，８６１，６３４号は、更に、センサ雑音の他のソースに加えて、基準雑音を減算する技術を開示している。雑音減算は、先にデジタル領域において判定された補正値を使用して、アナログ領域において実行される。アナログ値は、電荷増幅器を含むサンプルアンドホールド回路に供給され、オフセットが減算される。好ましい実施の形態では、画素の信号レベル及び関連するリセットレベルを使用する疑似差動又は差動信号パスが開示されている。しかしながら、オフセット減算増幅器にリセットレベルを更に供給することによって信号パスに負担をかけることにより、最大ビデオレートが半減され、付随するビデオ帯域幅（concomitant video bandwidth）が倍になり、白色雑音がブーストされる。また、補正は、画素毎及び色毎に高速で行われ、この結果、複雑性及び信号処理オーバヘッドが増大する。
【０００９】
最近の米国特許出願公開番号第２００６／０２３１７３４号には、列固定パターン雑音を判定及び修正するための完全にデジタル的な手法が開示されている。この手法は、Ａ／Ｄ変換に提供されるアナログダイナミックレンジを拡大するのではなく、様々な補正の精度を実質的に制限する。
【発明の概要】
【課題を解決するための手段】
【００１０】
本発明は、優れた黒レベル安定化を共に提供する方法、回路構成及びファームウェアコードを含む。アナログ回路、デジタル回路及びアルゴリズムは、連携して、アナログ領域におけるダイナミックレンジを最大化すると同時に、画像感知画素のアレーの「読出」に固有の様々な固定パターン雑音源を抑圧する。好ましい実施の形態では、デジタル領域において、特別に最適化されたアルゴリズムを用いて、雑音抑圧を実行し、フレーム間では、カメラに１２ビットしか供給されない場合であっても、ダイナミックレンジが少なくとも１６ビットに亘る有用な画質を有する電子画像を生成する。
【００１１】
一実施の形態においては、本発明が提供する信号処理装置は、オプティカルブラック画素及び能動クリア画素を有する画素アレーからの信号出力を処理するための信号処理装置において、画素アレーから出力信号が供給され、出力信号の黒レベルを黒基準値と比較し、比較に基づいて、出力信号の黒レベルを調整するための調整信号を出力するブラッククランプブロックと、黒クランプブロックによって調整された出力信号が供給され、出力信号内の黒画素のライン雑音平均値を行毎に算出し、ライン雑音平均値と黒基準値との差分に基づいて、ライン雑音オフセットを算出し、出力信号内のクリア画素にライン雑音オフセットを適用するライン雑音補正ブロックと、出力信号内の黒画素の列雑音オフセットを算出し、出力信号内のクリア画素に列雑音オフセットを適用する列雑音補正ブロックとを備え、列雑音オフセットは、出力信号内の各黒画素を、ライン雑音補正ブロックによって算出されるライン雑音平均値と比較することによって列毎に算出される。
【００１２】
信号処理装置は、列雑音オフセット係数を記憶する列雑音補正メモリを更に備えていてもよく、列雑音オフセット係数は、メモリに記憶された列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新される。
【００１３】
本発明の他の実施の形態が提供する信号処理回路は、オプティカルブラック画素及び能動クリア画素を有する画素アレーからの出力信号を処理する信号処理回路において、入力の１つに画素アレーからの出力信号が供給される差動プログラマブルゲイン増幅器と、差動プログラマブルゲイン増幅器に接続され、差動プログラマブルゲイン増幅器からの出力信号をデジタル出力信号に変換するアナログ／デジタル変換器と、アナログ／デジタル変換器に接続され、デジタル出力信号を、黒基準値と比較し、差動プログラマブルゲイン増幅器の入力に黒レベル調整信号を供給するブラッククランプ処理ブロックと、アナログ／デジタル変換器に接続され、出力信号内の黒画素のライン雑音平均値を行毎に算出し、ライン雑音平均値と黒基準値と差分に基づいて、ライン雑音オフセットを算出するライン雑音補正処理ブロックと、デジタル出力信号内の各黒画素を、ライン雑音補正処理ブロックによって算出されたライン雑音平均値と比較することによって、デジタル出力信号内の黒画素の列雑音オフセットを列毎に算出する列雑音補正処理ブロックと、列雑音オフセットを、デジタル出力信号内のクリア画素に加算する第１の加算器と、ライン雑音オフセットを、デジタル出力信号内のクリア画素に加算する第２の加算器とを備える。
【００１４】
本発明の信号処理回路は、列雑音オフセット係数を記憶する列雑音補正メモリを更に備えていてもよく、列雑音オフセット係数は、メモリに記憶された列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新される。
【００１５】
本発明の一実施の形態が提供する信号処理方法は、オプティカルブラック画素及び能動クリア画素を有する画素アレーからの出力信号を処理する信号処理方法において、画素アレーからの出力信号を黒基準値と比較するステップを含む、黒レベル調整信号を算出するステップと、ライン雑音平均値を算出するステップと、ライン雑音平均値を黒基準値と比較するステップとを含む、ライン雑音補正値を算出するステップと、デジタル出力信号内の各黒画素をライン雑音補正処理ブロックによって算出されたライン雑音平均値と比較するステップを含む、列雑音補正値を算出するステップと、黒レベル調整信号に基づいて、出力信号の黒レベルを調整し、第２の出力信号を生成するステップと、列雑音補正値を第２の出力信号に加算し、第３の出力信号を生成するステップと、ライン雑音補正値を第３の出力信号に加算するステップとを有する。この信号処理方法は、列雑音オフセット係数をメモリに記憶し、列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新するステップを更に有していてもよい。
【００１６】
本発明は、同様の構造的要素に、同様の参照符号を付した添付の図面を参照する以下の詳細な説明によって明らかとなる。
【図面の簡単な説明】
【００１７】
【図１】米国特許番号６，８６１，６３４からの、アナログ回路を介して適用されるデジタル補正項を有する従来のＣＭＯＳ  ＡＰＳシステムのブロック図である。
【図２】米国特許番号５，８９２，５４０に開示されている従来の列バッファの概略図である。
【図３】画像センサからの出力を処理するのための従来のアーキテクチャのブロック図である。
【図４】能動画素、黒基準又はオプティカルブラック（ＯＢ）画素、ダミー画素及びガードバンドを含むセンサアレーの代表的な実施の形態を示すブロック図である。
【図５】図３において仕切られ、図６に概要的な回路図として示すセンサアレーの構造を示すテーブルを示す図である。
【図６】典型的な撮像システムオンチップセンサ内に統合された本発明の実施の形態のブロック図である。
【図７】チップデータストリーム上の撮像システム、特に、黒基準画素の出力及びセンサの黒基準レベルを更新するための期間を示す図である。
【図８】黒画素領域及び能動クリア画素領域を含む本発明の画素アレーのブロック図である。
【図９】ブラッククランプ、ライン雑音抑圧及び列雑音抑圧のサポートを含む本発明の好ましい実施の形態の概略図である。
【図１０】アナログブラッククランプ回路として、デジタル的に制御されるチャージポンプが組み込まれた本発明の実施の形態の概略図である。
【図１１】アナログブラッククランプ手段として、米国特許出願第ＴＢＤ号、発明の名称「CROSS-COUPLED DIFFERENTIAL DAC-BASED CLAMP CIRCUIT」に開示されているプログラマブルＤＡＣが組み込まれた本発明の好ましい実施の形態の概略図である。
【図１２】２つのデータチャンネルのサポートを含む本発明の実施の形態の概略図である。
【図１３Ａ】ブラッククランプブロック５００における包括的なブラッククランプのためのＶｅｒｉｌｏｇコードの実現例の最初を示す図である。
【図１３Ｂ】図１３Ａのコードの続きを示す図である。
【図１３Ｃ】図１３Ｂのコードの続きを示す図である。
【図１３Ｄ】図１３Ｃのコードの続きを示す図である。
【図１３Ｅ】図１３Ｄのコードの続きを示す図である。
【図１３Ｆ】図１３Ａ〜１３Ｅに記載されているブラッククランプブロック５００のためのＶｅｒｉｌｏｇコードの最後を示す図である。
【図１４】ライン雑音抑圧に関係するプログラミングレジスタのリストを示す図である。
【図１５Ａ】ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝１のためのアルゴリズムのテーブルを示す図である。
【図１５Ｂ】ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝２のためのアルゴリズムのテーブルを示す図である。
【図１５Ｃ】ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝３又は０のためのアルゴリズムのテーブルを示す図である。
【図１６】画素の行（ライン）に適用された列雑音補正の効果を示す図である。
【発明を実施するための形態】
【００１８】
以下の説明により、当業者は、本発明を実現及び実施することができる。以下では、発明者が最良と考える実施の形態について説明する。なお、当業者は、様々な変形例を想到することができる。このような全ての変形例、均等物、変更例は、本発明の思想及び範囲に包含される。
【００１９】
従来の画像センサは、一般的に、画像信号を出力する画素アレーと、これにより得られる画像の品質を増加させるように設計されたデジタル撮像処理ブロックとを備える。現在、包括的な３つの種類の処理アルゴリズム、すなわち、ブラッククランプ、ライン雑音補正及び列固定パターン雑音（column fixed pattern noise：ＦＰＮ）補正が使用されている。これまで、これらのアルゴリズムは、個別の離散的な手法で実行され、各アルゴリズムは、他のアルゴリズムから独立して動作していた（図３を参照）。一方、本発明は、以下に説明するように、従来の技術の限界を克服し、処理ブロック（アルゴリズム）の間で情報を共有するアーキテクチャを提供する。これは、デジタルアルゴリズムのより速い収束、より高品質な画像出力、回路をより小型化できる可能性等を含む幾つかの利点を提供する。
【００２０】
本発明は、能動画素ＣＭＯＳイメージャのための代表的な設計を含む。低雑音能動画素センサ（active pixel sensor：ＡＰＳ）の発明のプロトタイプの実施の形態は、例えば、可視イメージャとして可視光検出器（フォトディテクタ）の４０９６（列）×３０７２（行）の能動アレーを備える。能動アレー又は公称記録領域は、これを取り囲む周辺部分の黒基準画素によって画定される。図４は、オプティカルブラック（optical black：ＯＢ）、ガードバンド、ダミー及び任意の光学アラインメント画素周辺部分に取り囲まれた公称記録領域を示すアレープランである。
【００２１】
画素の行及び列は、０．１８μｍデザインルールを用い、中心間距離をμｍで描画したとき、マイクロレンズなしで、５０％までの開口率（as-drawn optical fill factor）を提供することができる。検出器の感光領域の周辺の幾つかの列及び行は、ＯＢ画素を形成するために、通常、金属及び／又は他の不透明な材料で覆われる。本発明は、様々な帰線期間、すなわち、センサから光生成データ（photo-generated data）が供給されない時間セグメントの間に、ＯＢ画素を継続的に読み出すことによって、黒レベルを更新し、安定させることができる。本発明の黒レベル安定化は、広範囲のセンサ温度及び環境に亘ってセンサ性能を最大にする３つのタイプを含む。安定化モードは、１）包括的な黒レベルクランプ、２）適切なラインベースの係数によってライン雑音を補償するためのライン毎の黒レベルの微調整及び３）列雑音を調整するための列毎の黒レベルの微調整を含む。
【００２２】
各行の感光検出器を色フィルタで覆い、カラーイメージャを作成することができる。例えば、奇数行は、左から、赤色フィルタで始めて、次に緑色フィルタ、そして、青色フィルタで覆い、偶数行は、青色フィルタで始めて、次に赤色フィルタ、そして、緑色フィルタで覆い、これらのパターンを繰り返して各行を埋めてもよい。また、標準のベイヤフィルタパターンを適用してもよい。したがって、能動画素センサからのビデオ信号は、以下を含む。
【００２３】
・能動撮像領域を取り囲むオプティカルブラック（ＯＢ）境界の少なくとも一部及び他の非撮像画素を含む非感光画素（light-insensitive pixel）の第１の期間（interval）
・電子的捕捉又は撮像のための画像センサのデータストリームのバルクを含む感光撮像画素の第２の期間
・任意であるＯＢ画素の第３の期間
【００２４】
上述したように、様々な画素データを特定の時刻に読み出す必要はない。例えば、全ての黒画素は、画像センサの各ラインの黒画素及び能動画素からのデータを含む集合的なデータストリームの「前部ポーチ」の間に読み出すことができる。一方、能動画素は、多くの場合、様々なタイミング規格、例えば、本願に援用される高精細度ビデオのためのＳＭＰＴＥ２７４Ｍ又はＳＭＰＴＥ２９２規格によって定義されているように、「前部ポーチ」に続き、「後部ポーチ」に先立つ連続した期間の間に読み出される。用語「ポーチ」は、各ビデオライン、フィールド又はフレームの間の期間を指し、ここでは実際の撮像データをカメラに供給せず、これに代えて、オーバヘッド信号処理機能を実行できる。このような帰線期間は、元々、ＣＲＴディスプレイにおいて、ビームフライバックのために必要であった。関連するＯＢ画素データは、前部ポーチの間に全てを読み出してもよく、前部ポーチと黒いポーチとの間で分けて読み出してもよく、後部ポーチの間に全体を読み出してもよい。ＯＢデータストリームは、常に、撮像システムオンチップ（imaging System-on-Chip：ｉＳｏＣ）内の全ての演算及び信号処理を監督するデジタルコントローラに送信されるが、これは、複合データストリーム（composite data stream）に含ませて、カメラに供給してもよい。カメラに安定した黒基準を提供することによって、最高品質のイメージキャプチャ及び可能な更なる処理が実現する。
【００２５】
図５の表は、典型的な実施の形態における水平方向及び垂直方向の両方の能動画素及びサポート画素の構成を示している。水平方向においては、例えば、４０９６×３０７２画素の基礎解像度をサポートするセンサは、実際には、合計で４４１６×３３００画素を含み、このうち、４３５２×３２５２画素が読出のためにアドレス指定可能である。電気的な絶縁及びｉＳｏＣ画像処理によって画質を向上させるためには、周辺に沿って更なる行及び列が必要である。具体的には、周囲のｉＳｏＣ回路に隣接する画素は、２４画素幅のガードバンドを構成し、この結果、約１００μｍ（すなわち、４μｍ×２４画素）に亘ってバッファ領域を形成し、電子回路動作を光電子機能（photo-electronic function）から分離する。通常、シリコンの自由キャリア吸収長は、約１００μｍであるので、ガードバンド画素の第１の役割は、間接的な光又は迷走する光生成キャリアが基板を介して電子回路に到達することをブロックすることである。他の主要な目的は、周囲の電子回路において、ｉＳｏＣ動作によって引き起こされる電磁干渉を防止し、ＯＢ及びクリア画素内の信号が劣化することを防止することである。画素構成において次に設けられるのは、様々なＯＢ画素の組であり、８画素に亘る第１のダミー領域（ＯＢダミー１）、本発明に基づいて黒レベルを安定させる６４個のＯＢ画素、１２画素からなる第２のＯＢダミー領域、能動画素からＯＢを分離する１２個のクリアダミー画素、公称記録領域を適応的にシフトさせることによってセンサとカメラとの取付誤差を補償するために役立つ３２個の完全な能動画素、同様に特別な信号処理演算のために使用される８個の境界処理画素、４０９６個の能動画素に亘る主となる領域、及び公称記録領域の反対側に設けられるサポート画素の任意の対応する組を含む。
【００２６】
図６に示す好ましい実施の形態では、先に図４に示し、及び図５にテーブルとして示した画素アレー１１は、撮像システムオンチップ１０の中心に埋め込まれている。図６では、図面を簡潔にするために、４４１６×３３００画素を含むフルサイズのアレーではなく、１画素分の幅のみが示されている薄いＯＢ境界を含む単純化された６×６の画素アレー１１を示している。画素ブロック１１は、列バッファ１６を介して読み出され、ｉＳｏＣスーパバイザ１２の監督の下で、水平マルチプレクサ１８によってシリアルアナログデータストリームに多重化される。スーパバイザ１２は、適切な時刻に全てのｉＳｏＣブロックを刺激する様々なタイミング及び制御信号を生成する。列バッファ１６内の各バッファは、例えば、米国特許番号第５，８９２，５４０号に開示されている方式及び方法を用いて、画素の各列からのアナログデータを調整する。
【００２７】
次に、ＯＢ画素データ及び光生成画素データの両方を含むシリアルアナログデータストリームは、本発明に基づく回路である安定化ブロック１００に供給される。本発明は、混在信号システムオンチップ解決法（mixed-signal System-on-Chip solution）であり、すなわち、５個の内部の回路ブロックを含むアナログ回路及びデジタル回路の両方が安定化ブロック１００に含まれ、信号バス９００によって共通にサービングされる。本発明では、アナログ処理、デジタル化及びデジタル処理を実行した後に、信号バス９００によってデジタルデータストリームを供給し、Ｉ／Ｏポート６００を介して、最終的にセンサから出力させる。
【００２８】
生のアナログビデオは、水平マルチプレクサ１８によって供給されるデータストリームを精密に検出することによって観察できる程小さいので、安定化ブロック１００は、デジタル化ブロック２００において、アナログビデオを増幅して、デジタル化する。デジタル化ブロック２００は、プログラマブルゲイン増幅器（Programmable Gain Amplifier：ＰＧＡ）２１０及び高分解能ＡＤ変換器２２０からなり、アナログ信号ストリームを、順次、ブラッククランプし、増幅し、少なくとも１２ビット分解能にデジタル化する。ＰＧＡ２１０は、アナログビデオを増幅することに加えて、ブラッククランプを実行するために、ブラッククランプ（ＢｌａｃｋＣｌａｍｐ）ブロック５００からアナログ補正信号が供給される。したがって、（プログラミングレジスタによって設定される）プリセット値への汎用の黒レベルクランプは、ブラッククランプブロック５００におけるデジタル信号処理によって補助されるフィードバックループを介して実行される。ＰＧＡ２１０を使用して、増幅及びブラッククランプの両方を実行する際には、複数（通常３個又は４個）の色を、単一の信号処理チェーンによって交互に処理してもよく、又は複数のデジタル化ブロック２００を使用して交互に分離してもよい。何れの場合も、デジタル化の前に、黒レベルの分散を最小化することによって、アナログダイナミックレンジが最大化される。そして、通常、ピークツーピークで数ＬＳＢより小さい列雑音は、好ましくは、オフセット差分を記憶する列補正メモリ３２０からの補助によって、列雑音補正ブロック３００においてデジタル的に除去される。最終的に、ライン間雑音の補正は、好ましくは、差分値を記憶するライン雑音補正ブロック４００において完了する。集合的な補正は、デジタル画像データのフリッカがないストリームを、Ｉ／Ｏポート６００を介して、カメラに供給することを保証する。
【００２９】
本発明が使用するＯＢ基準データは、黒基準レベルを正確に決定し、動的に調整するために、プログラミング可能な数のＯＢ行及び／又はＯＢ列に亘って平均化されたＯＢ画素のストリームを含む。図７は、４つの黒画素と、これに続く、ＢＬＡＣＫＷＡＩＴＴＩＭＥと示しているプログラミング可能な期間と、４つの黒画素の第２の組とから構成されるビデオのラインのための代表的な画素ストリームの前部ポーチを示している。４つの黒画素の第１のグループに亘る期間は、ＡＶＥＰＩＸのラベルを付し、予備のＯＢ情報を平均化するために使用されるＯＢ画素の数を示している。ＢＬＡＣＫＷＡＩＴＴＩＭＥは、割り込んでくるクロックサイクル内のデータに対して信号処理演算を実行するために使用される。ここに示されているのは、各ＯＢセグメントを読み出した直後に、黒レベルをインクリメント（プッシュアップ）又はデクリメント（プッシュダウン）することによって、アクティブビデオを「プッシュアップ」又は「プッシュダウン」する能力である。プログラミング可能なＢＬＡＣＫＷＡＩＴＴＩＭＥの間及び／又は第２のＯＢブロックが読み出された後に、補正を安定化（settle）できる。次にＯＢ画素の第２の組を読み出した後に、第２の「プッシュアップ」又は「プッシュダウン」補正によって、この時点におけるセンサの黒レベルを更に調整する。このように、ＯＢ画素を読み出し、黒レベルを調整し、更なるＯＢ画素を読み出し、そして黒レベルを再調整する処理を繰り返すことによって、初期のアクティブビデオがｉＳｏＣビデオストリームに入る実時間以前に適切な黒基準ターゲットに正確に収束するブラッククランプフィードバックループが実現される。また、繰返し処理は、遷移において、ブラッククランプループによって生じる黒基準レベルが不正になることを防止する。
【００３０】
クリア画素及びＯＢ画素は、更に、図８に示すように、「クリア」画素及び「黒」画素の組に隔離される。ＣｌｅａｒＰｉｘｅｌｓのラベルが付された領域に含まれているクリア画素は、視覚的な電子画像を形成する感光素子である。領域Ｒ１＿ＯＢ、Ｒ１＿ＯＢＣ、Ｒ２＿ＯＢ、ＲＷ＿ＯＢＣ及びＲ３＿ＯＢに含まれている黒画素は、非感光性である。領域Ｒ１＿ＯＢ、Ｒ２＿ＯＢ及びＲ３＿ＯＢ内の黒画素は、ライン毎にライン雑音を除去するために使用され、領域Ｒ１＿ＯＢＣ及びＲ２＿ＯＢＣの黒画素は、それぞれ、黒基準画素及び能動画素の列オフセット係数を決定するために使用される。領域Ｒ１＿ＯＢ及びＲ２＿ＯＢ内の黒画素は、ブラッククランプを実行するために領域Ｒ３＿ＯＢ内の画素と組み合わせて使用される。
【００３１】
更に、本発明の好ましい実施の形態の回路図を図９に示す。このアーキテクチャは、複数の信号パスに拡張でき、及び何れかのブロックを除外し又はプログラミングによってイネーブル／ディスエーブルにできる。信号処理ブロック３００、４００が例えば、ディスエーブルにされると、Ｉ／Ｏポート６００から出力されるセンサデータは、ブラッククランプされ、デジタル化されたデータだけから構成される。好ましい実施の形態は、ブラッククランプ、ライン雑音抑圧及び列雑音抑圧によってサポートされる１つの信号パスを示しているが、変形例として、同様に複数の信号パス及び雑音抑圧パスをサポートしてもよい。例えば、図１２の概略図は、ブラッククランプ演算及びライン雑音補正を含む２つのデータパスを示している。
【００３２】
上述したように、好ましい実施の形態では、包括的なブラッククランプ、特定の列雑音補正及び特定のライン雑音補正を含む３つの黒レベル補正演算が実行される。したがって、信号処理フローでは、各演算毎に特定の目標値をサポートするために、３つの直流オフセット調整が実行される。第１のオフセット補正は、ＰＧＡ２１０の入力における、プッシュアップ・プッシュダウン・ストロングプッシュ（PUSHUP PUSHDOWN STRONGPUSH）調整を介する包括的なブラッククランプであり、これは、ブラッククランプブロック５００によって行われる。第２のオフセット補正は、ライン雑音補正ブロック４００によって算出されるＬｉｎｅＯｆｆｓｅｔＴ１調整であり、これは、ライン雑音を取り除くために加算ブロック４１０に供給される。第３のオフセット補正は、列雑音補正ブロック３００によって生成されるＣｏｌｕｍｎＮｏｉｓｅＯｆｆｓｅｔ調整であり、これは、列雑音を取り除くために加算ブロック３１０に供給される。オプションとして、第４のオフセット補正であるＯＦＦＳＥＴ＿Ｔ１が加算ブロック７１０に供給され、信号バス９００上でサポートされるダイナミックレンジ内で黒レベルターゲットが調整される。包括的なブラッククランプ、ライン雑音補正及び列雑音補正演算を含む黒レベル安定化プロセスは、以下のように実行される。
【００３３】
１．まず、オプティカルブラック領域Ｒ１＿ＯＢ内の黒行データを用いて、黒レベルを決定及び更新する。このステップは、アナログ読出パスによって生成されたあらゆるシステム的なオフセット（systematic offsets）を除去し、次に、領域Ｒ１＿ＯＢＣを用いて算出される列雑音データを高精度化する。センサは、トップから開始して読み出してもよく、ボトムから開始して読み出してもよく、したがって、領域Ｒ１＿ＯＢ及び領域Ｒ１＿ＯＢＣは、トップにおいてもボトムにおいても利用可能である。
２．領域Ｒ２＿ＯＢを用いて、黒基準レベルの更新を続ける。オプティカルブラック領域Ｒ２＿ＯＢＣを用いて、各行内の平均ライン雑音を算出する。各列の分散係数を測定する前にライン雑音を除去する。
３．メモリに格納される係数が、絶対値ではなく、ライン雑音に比例する列雑音の差分を表す差動技術（differential technique）を用いて、列雑音係数を更新する。オフセット係数は、異なるアルゴリズム重みによって、複数の行に亘って累積される。差動技術は、列雑音係数を決定するために用いられる実際のＯＢ行に存在するライン雑音の影響が小さいため、累算より強力である。差動技術を使用することによって、また、ライン雑音平均は、各列のオフセットをより正確に判定するための基礎となる閾値を提供することができる。この結果、ＯＢ行は、ライン雑音を算出するためのＲ２＿ＯＢと、Ｒ２＿ＯＢ期間に算出されるライン雑音がない場合に列雑音を算出するためのＲ２＿ＯＢＣとに分けられる。
４．読出が能動画素の行に入ると、オプティカルブラック領域Ｒ３＿ＯＢを用いて、各ラインの平均雑音を算出する。
５．公称記録領域内のＣｌｅａｒＰｉｘｅｌ領域、すなわち、能動画素を読み出す際は、Ｒ３＿ＯＢを処理することによって算出されたデータを用いて、ライン雑音を除去する。
６．センサがどのように使用されているか、及び適切にプログラミングされているかに応じて、Ｒ３＿ＯＢ領域の一方又は両方を用いて黒基準を更新する。
７．Ｒ２＿ＯＢ情報を用いて、ライン雑音の補正を行った後に、Ｒ２＿ＯＢＣデータを用いて、列オフセット係数を更新する。
８．各領域内のオプティカルブラック画素の数は限られているので、特異な画素を特定し、以後の計算の間に無視することによって、ブラッククランプ、列雑音及びライン雑音補正の精度を向上させる。
【００３４】
例示的な単一のビデオチェーンの場合、上述したステップは、信号バス９００からの、好ましくは、少なくとも１８ビット幅のデジタルデータをタッピングし、次に、図示するように、補正を再挿入することによって実行される。メインデータフローは、信号バス９００のパスを流れ、ブラッククランプブロック５００は、黒レベルを安定させるために信号をタッピングする最初のｉＳｏＣ信号処理ブロックである。加算ブロック５１０は、タッピングされたビデオストリームをバッファリングし、最新のデータをレジスタ５２０に供給する。コンパレータ５３０は、最新情報を目標値ＢｌａｃｋＲｅｆ＿Ｔ１と比較し、レジスタ値ｓｔｒｏｎｇｒｅｆのプログラミングされた設定による指示によって速やかな収束が必要とされているかに応じて、インクリメンタルなプッシュアップ、プッシュダウン、又はより強力なプッシュアップ／プッシュダウンが実行される。次に、図９においてＰＵＳＨＵＰ  ＰＵＳＨＤＯＷＮ  ＳＴＲＯＮＧＰＵＳＨのラベルが付された関連するアナログ信号を、デジタル化ブロック２００のＰＧＡ２１０に供給することによって、黒レベルが補正される。このようにして、デジタル論理回路は、アナログの演算を制御して、後のデジタル化のためのアナログダイナミックレンジを最大にする。この結果、アナログブラッククランプ信号は、画像データストリームの黒基準レベルを安定させる。次に、ライン雑音及び列雑音を抑圧することによって更なるブラッククランプが実行される。
【００３５】
図１０は、包括的なブラッククランプフィードバックループの第１の実施の形態のブロック図を示しており、ここでは、デジタル的に制御されるチャージポンプ２３０を使用して、デジタル手段によって制御されるアナログ補正信号のプッシュアップ、プッシュダウン又は強いプッシュ（ストロングプッシュ）を実行する。図１１に示す好ましい実施の形態は、これに代えて、関連する米国特許出願番号ＴＢＤ号、発明の名称「CROSS-COUPLED DIFFERENTIAL DAC-BASED CLAMP CIRCUIT」に開示されている公差結合されたＤ／Ａ変換器（cross-coupled DAC）２４０を使用する。ここでは、２つのＤ／Ａ変換器は、直列（in tandem）で使用され、ブラッククランプ補正項の細かい及び粗い調整を担う。粗い及び細かい補正電圧は、同じカップリングコンデンサＣｂｃを介して、ＰＧＡ２１０に供給される。ＰＧＡ２１０は、プログラミング可能な帰還コンデンサＣｆを採用しており、この値は、レジスタコントローラ６４によってプログラミングされる。ＰＧＡゲインは、このようにして適切にプログラミングされ、ホワイトバランス及び測色を最適に微調整するために、各色について必要な、特定のゲインが実現される。色フィルタアレーを有する画像センサは、Ｒチャンネル、Ｇチャンネル、及びＢチャンネルのために別々のゲインを必要とする。更に、最良の具体例では、ベイヤパターンセンサ（Bayer-patterned sensor）は、それぞれがＧＲ、ＧＢ、Ｒ及びＢの画素を処理する４つの色チャンネルのそれぞれについて、個別のゲインを用いる必要がある。この最新の能力は、赤色画素及び緑色画素を含むベイヤパターン画素の各行における赤色画素の赤色チャンネル挙動が、赤色画素及び青色画素を含む行内における赤色画素の赤色チャンネル挙動と同じでないとの認識に基づいている。したがって、赤色画素及び緑色画素を含む行の緑色画素は、区別され、ＧＲ画素のラベルが付される。同様に緑色画素及び青色画素を含む行の緑色画素は、ＧＢ画素とみなされる。この結果、レジスタコントローラ６４は、所定の画像センサの色フィルタアレーのための予めプログラミングされたゲイン設定を有していてもよく、及び／又はカメラからの設定に基づいて、動的にゲインを調整してもよい。基準画素データ及び能動画素データを含むｉＳｏＣデータストリームＰＧＡ６１０の入力に供給され、ＰＧＡ６１０のゲインは、ｉＳｏＣレジスタコントローラ６４によって、画素毎に又はチャンネル毎に設定される。最終的な結果として、デジタルコントローラからの出力信号が、動的に制御され、出力信号が生成される。
【００３６】
【数１】
2010520709.tif 000003
【００３７】
ここで、Ｖｏｕｔは、出力信号であり、Ｖｓｉｇは、能動画素信号であり、Ｖｂｃは、オプティカルブラック画素信号であり、Ｃｓｉｇは、アクティブビデオのためのキャパシタンスであり、Ｃｂｃは、ブラッククランプデータストリームのためのキャパシタンスであり、Ｃｆは、ベースフィードバックキャパシタンスである。このように、本発明は、各色毎の個別のゲインに加えて、アクティブ画素及び黒画素について、個別のゲインを実現する。交差結合（cross-coupled）されたデジタル／アナログ変換器（ＤＡＣ）６６のためのサポートを含むゲイン制御の全体的な範囲を広げるために、更なるコンデンサを用いることができることは当業者にとって明らかである。また、ＧＲ、ＧＢ、Ｒ及びＢチャンネルを最善に取り扱うために、４つのＰＧＡを用いることができることは当業者にとって明らかである。この場合、例えば、ＧＲ、ＧＢ、Ｒ及びＢチャンネルは、後に、Ｉ／Ｏポート６００において、所望の順序で再結合される。
【００３８】
再び図１１を参照して説明すると、ｉＳｏＣデータストリームは、最高の純度の黒基準レベルを生成する精度を最大化するために、好ましくは、１２のビットの最小分解能を提供するアナログ／デジタル変換器（ＡＤＣ）２２０によってデジタル化される。そして、デジタル化されたデータは、ブラッククランプブロック５００に供給され、ブラッククランプブロック５００は、黒レベルデータをターゲット黒レベル７２、ＢＬＡＣＫＲＥＦと比較する。２つのレベル間の如何なる差分もＤＡＣにフィードバックされる。目標値が大きくオフセットしているか小さくオフセットしているか、又は差分が正であるか負であるかに応じて、デジタルコントローラは、ＤＡＣを適切に制御し、正しいオフセットをＰＧＡの他方のレッグに供給する。
【００３９】
これにより、平均黒レベル値は、ブラッククランプブロック５００に埋め込まれた論理回路内でＢＬＡＣＫＲＥＦと比較され、ブラッククランプブロック５００は、小さくシフトアップ又はシフトダウンするか、又は差分が第２の閾値ＳＴＲＯＮＧＲＥＦを超えている場合、大きくシフトアップ又はシフトダウンするかを決定し、ＤＡＣ２４０による黒レベルの補正をトリガする。
【００４０】
【数２】
2010520709.tif 000004
【００４１】
平均黒レベルは、通常、精度を向上させ、過渡応答の分裂（transient disruption）を最小化し、黒レベルを完全に安定させるために、数フレームに亘って平均化される。移動平均を用いると、黒画素を形成するために用いられるシリコン面積を広げることなく、黒画素の数を有効に増加させることができる。図１３Ａ〜図１３Ｆは、ブラッククランプブロック５００を実現するためのＶｅｒｉｌｏｇコードによる実現例を示している。
【００４２】
包括的に言えば、ライン雑音補正は、以下の３つのステップによって達成される
１）ライン雑音平均（１ラインあたり）を算出する。
ａ．これは、ラインの始めにおいて、全ての黒画素を合計し、合計の値を、合計された黒画素の数で除算することによって求められる。
ｂ．ある場合には、全ての黒画素を合計し（包括的ライン雑音）、ある場合には、検討中のＡＤＣに関連付けられている黒画素だけを使用する（局所的ライン雑音）。
ｃ．これにより得られるライン雑音平均「ＬｉｎｅＡｖｅ」は、列雑音補正ブロック３００において「基準」として使用される。これによって、列雑音補正ブロック３００がライン雑音の摂動に強くなり、この結果、ＣｏｌｕｍｎＮｏｉｓｅＯｆｆｓｅｔ信号がより速く、高品質に収束する。
２）ライン雑音平均とｂｌａｃｋ＿ｒｅｆｅｒｅｎｃｅとの間の差分であるオフセット「ＬｉｎｅＮｏｉｓｅＯｆｆｓｅｔ」を算出する。
ａ．「ｂｌａｃｋ＿ｒｅｆｅｒｅｎｃｅ」は、ブラッククランプブロック５００によって使用されるものと同じｂｌａｃｋ＿ｒｅｆｅｒｅｎｃｅである。
３）ライン内の各クリア画素にオフセットを加える。
【００４３】
図９に戻って更に詳細に説明すると、ライン雑音補正は、ライン雑音補正ブロック４００において実行される。加算ブロック４２０は、信号バスから複合（撮像画素＋ＯＢ画素）データストリームが供給され、データを累積し、そして、累積されたデータを加算レジスタ４３０に保存する。データパス内の各レジスタは、１サイクルの遅延を生じる。画素値は、レジスタ４３０において累積され、除算器４４０によって平均化される（ビットシフトによる除算）。これにより得られるＬｉｎｅＯｆｆｓｅｔ値及びＬｉｎｅＡｖｅ値は、更に、ライン雑音補正ブロック４００によって使用され、ライン補正が実行され、また、出力は、マルチプレクサ８３０において、列雑音補正ブロック３００に供給される。加算レジスタ４３０は、プログラミングされた数の黒基準画素が使用されるまで、累計を加算ノード４２０に戻す。このときまで、中間的な累計が除算器４４０に供給される。除算器４４０の出力は、減算器４５０によって、プログラミングされたオフセット値ＬｉｎｅＢｌａｃｋＲｅｆから減算され、次に、モードマルチプレクサ４６０に供給される。一定の又は算出された平均が要求されているかに応じて、出力は、レジスタ４７０に供給される。モードレジスタ４７０の出力は、オフセット係数ストリームＬｉｎｅＮｏｉｓｅＯｆｆｓｅｔＴ１であり、これは、データストリームを適切に更新するために加算ブロック４１０に供給される。この結果、ライン雑音は、行毎に抑圧され、黒レベルが更に安定する。
【００４４】
ライン雑音補正ブロック４００の動作モードは、図１４に表として示し、ここに説明するように実現されるレジスタ設定によってプログラミング可能に制御される。ライン雑音は、様々なタイプのセンサセットアップ、カメラセットアップ又は撮像条件について、画像における一時的なライン毎の変化に対して補正を行うように最適化された３つのアルゴリズムを用いて交互に除去される。演算の間、各行の黒画素は、読み出され、累積され、平均され、これにより得られるライン平均（ＬｉｎｅＡｖｅ）は、プログラミングされた目標値又は基準に対するラインオフセットを決定するために使用される。このラインオフセット（ＬｉｎｅＯｆｆｓｅｔ）は、行内の次の（クリア）画素から減算される。行Ｒについてのライン平均及びラインオフセットの一般的な形式は、以下のように表される。
【００４５】
【数３】
2010520709.tif 000005
【００４６】
ここで、ＮＢＬＫは、計数された黒画素の数である。
【００４７】
ライン平均及びラインオフセット演算のための３つの特定のアルゴリズムは、各ＬｉｎｅＮｏｉｓｅＭｏｄｅについて、図１５Ａ〜図１５Ｃのテーブルに示している。信号処理動作において走査される黒ブロックの数は、以下のようにして求められる。
【００４８】
【数４】
2010520709.tif 000006
【００４９】
ＳＴＯＰＡＤＤＲ＿ＤＡＲＫ及びＳＴＡＲＴＡＤＤＲ＿ＤＡＲＫは、それぞれ、アルゴリズムの処理によって用いられるＯＢ画素の停止アドレス及び開始アドレスである。したがって、信号処理動作において使用される黒画素の実数は、ＮｕｍＰｉｘｅｌＢｌａｃｋ＊３２である。
【００５０】
上述したように、図１４のテーブルは、ライン雑音を抑圧するために用いられる３つの主なアルゴリズムの何れかをアサートするようにプログラミングされる様々なｉＳｏＣレジスタを示している。ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝１、ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝２、ＬｉｎｅＮｏｉｓｅＭｏｄｅ＝３又は０を含む少なくとも３つのアルゴリズムのモードをイネーブルにすることができる。ラインオフセットの表現は、以下の通りである。
【００５１】
【数５】
2010520709.tif 000007
【００５２】
ここで、ＬｉｎｅＢｌａｃｋＲｅｆは、所望のライン雑音補正を実行するために減算器４５０に供給される１２ビットのレジスタ値である（上述のレジスタの説明を参照）。
【００５３】
ラインオフセット係数を算出する処理は、ＯＢ画素を読み出し、以下のように、全ての及び各フレームの平均ｄｃ値ｌ（ｒ）を算出することによって開始される。
【００５４】
【数６】
2010520709.tif 000008
【００５５】
ここで、ｐ（ｒ、ｃ）は、行ｒ、列ｃにおける画素値であり、Ｂは、ライン平均を算出するために使用されるＯＢ画素の数である。ライン雑音補正の３つのモードは、以下のように定義される。
【００５６】
１．ｌ（ｒ）は、領域Ｒ１＿ＯＢ内の全ての画素を用いて算出される。
２．ｌ（ｒ）は、２つの別個の量であるｌ（ｒ）Ｔｏｐ及びｌ（ｒ）Ｂｏｔｔｏｍとして算出され、画像センサのトップ及びボトムにおける２つのＲ２＿ＯＢ領域について、別個のライン平均を提供する。
３．ｌ（ｒ）は、４つの別個の量であるｌ（ｒ）ＴｏｐＬｅｆｔ、ｌ（ｒ）ＴｏｐＲｉｇｈｔ、ｌ（ｒ）ＢｏｔｔｏｍＬｅｆｔ及びｌ（ｒ）ＢｏｔｔｏｍＲｉｇｈｔとして算出され、画像センサの左上、右上、左下、右下の領域における４つの別個のＲ２＿ＯＢ領域について別個のライン平均を提供する。
モード２、３は、複数のビデオパイプラインをサポートし、画像センサがサポートできる最大フレームレートを向上させる。また、更に、ＯＢ領域を分離して、標準のＣＣＤ又はＣＭＯＳ画像センサを用いて、単一のタップではなく、４、８、１６又はこれより多くの出力ポートを増加的にサポートすることもできる。
【００５７】
列雑音補正ブロック３００は、画像内の列毎の固定パターン雑音（fixed pattern noise：ＦＰＮ）を補正するアルゴリズムを実行する。図１６は、理想的なシナリオを示している。補正アルゴリズムは、メモリを使用して、各列に関連する、所望の基準と比較されたオフセットを、記憶する。これらのオフセットは、まず、黒行の間に較正され、メモリに書き込まれ、次に、読み出され、ＦＰＮを補正するために、画像センサのクリア画素に適用される。
【００５８】
より詳しくは、黒行についてのオフセットの算出は、プッシュ／プルアルゴリズムの使用を伴う。黒画素行を読み出す際、供給される黒画素は、「基準」（ライン雑音補正４００ブロックによって生成される）と比較される。画素の値が基準に比べて高過ぎる場合、値を下げる必要があり、値が低過ぎる場合、値を上げる必要がある。加算又は減算される量は、プログラミング可能な「プッシュ／プル」値であり、典型的には、１、８又は１６である。複数（すなわち、１フレームあたり１２８）の行について、加算／減算を複数回行う。値は、累積され、メモリに記憶される。すなわち、各加算／減算の動作は、実際には、メモリに関する「読出／修正／書込」動作である。一旦、メモリオフセットが読み出されると、次に、比較が行われ、メモリオフセットが修正され、次に、再びメモリに書き込まれる。この動作は、アレー内の画素のために１列毎に行われる。
【００５９】
一旦、黒行において適切なオフセットが算出されると、これらは、対応するクリア画素に適用される。再び、対応するオフセットがメモリから読み出され、クリア画素に加えられる。なお、メモリの値は、正及び負の何れでもよいので、結果として得られる画素値は、（図１６に示すように）何れの方向に補正する必要があるかに応じて、大きくなる場合も小さくなる場合もある。
【００６０】
更に詳細に説明すれば、列雑音は、列雑音補正ブロック３００によって除去され、図１６に示す実行結果がサポートされ、ここで、アナログ領域において、１００μＶの精度でビデオストリームの黒レベル分散が低減され、信号バス９００に沿ったエンドツーエンド信号チェーンにおいて実現されるゲインの如何にかかわらず１ＬＳＢ以下にされる。補正アルゴリズムは、列補正メモリ３２０内のメモリのブロックを用いて、所望の目標基準に対する各列毎の雑音係数を記憶する。これらの列雑音係数は、まず、黒行が読み出されるとき、垂直帰線期間の間に判定され、次に、各メモリバンクに書き込まれ、最終的に、図９においてＣｏｌｕｍｎＮｏｉｓｅＯｆｆｓｅｔのラベルが付されているブラッククランプ補正信号として読み出され、加算ブロック３１０によって、列雑音を補正するために画像のクリア領域に適用される。較正の間、列Ｃ、行Ｒの列雑音調整のための包括的な式は、ｏｆｆｓｅｔ（Ｃ）Ｒ＝ｏｆｆｓｅｔ（Ｃ）Ｒ−１±調整値であり、調整値は、動作のモードに依存する。補正の間、次の行（Ｒ＋１）がスキャンされるときの列雑音が補正された画素値は、ｐ（Ｒ＋１，Ｃ）＝ｐ’（Ｒ＋１，Ｃ）＋ｏｆｆｓｅｔ（Ｃ）Ｒであり、ここで、ｐ’は、ＦＰＮ補正がない元の画素値である。現在の画像が黒フレームである場合、ユーザは、列雑音補正のために、上述した様々なＯＢ行に加えて、疑似黒画像を含む全体の画素アレーを使用することを選択できる。較正のために用いられる黒基準は、ユーザによって設定された固定値であってもよく、各行内のＯＢ画素を用いて算出されたライン平均であってもよい。ライン平均が基準として用いられる場合、メモリに記憶された値は、列雑音の実際の組をより良好に表現する。
【００６１】
図８のセンサアレープランを再び参照して説明すると、影付きの領域は、センサ周辺におけるＯＢ行及びＯＢ列を示す。列雑音補正がイネーブルにされると、すなわち、レジスタＯＦＦＳＥＴＣＯＲＲ＿ＤＩＳ＝０にされると、領域Ｒ１＿ＯＢＣ、Ｒ２＿ＯＢＣ及びＣｌｅａｒＰｉｘｅｌｓにおいて、列雑音補正（ＦＰＮメモリコンテンツを読み出し、画素値に加える処理）が実行される。この処理は、メモリ３２０を読み出し、オフセット係数を対応する画素値に加える処理を含む。列雑音補正及び列雑音メモリ更新が共にイネーブルにされると、すなわち、レジスタＯＦＦＳＥＴＷＲＩＴＥ＿ＤＩＳ＝０にされると、領域Ｒ２＿ＯＢＣにおいて、列雑音補正及び列雑音の更新の両方（新たな列雑音係数を算出し、メモリに書き込むこと）が実行される。更に、レジスタＯＦＦＳＥＴ＿ＣＬＡＭＰＥＮが０に設定されると、Ｒ１＿ＯＢＣ及びＲ２＿ＯＢＣの両方において、列雑音較正が実行される。レジスタＯＦＦＳＥＴＷＲＩＴＥ＿ＡＬＬＲＯＷＳが１に設定されると、領域Ｒ１＿ＯＢＣ、Ｒ２＿ＯＢＣ及びＣｌｅａｒＰｉｘｅｌｓにおいて、ＦＰＮ較正が実行される。
【００６２】
オフセット補正が実行される際、コンパレータは、現在の画素値ｐ（ｒ，ｃ）と最新の列オフセット係数ｏ（ｒ−１）との合計をチェックし、この合計は、ライン平均ｌ（ｒ）を超えたときを判定し、補正の必要性を適切に判定する。このような必要性を判定するための論理演算は、以下の通りである。
【００６３】
【数７】
2010520709.tif 000009
【００６４】
列オフセット補正には、２つのモードがある。第１のモードでは、ｌ（ｒ）は、ターゲット黒基準値ｂｌａｃｋｒｅｆのような固定された閾値であってもよい。第２のモードでは、ｌ（ｒ）は、ライン雑音補正の間に黒列において算出された平均として選択できる。
【００６５】
また、コンピュータ技術の知識を有する者には明らかであるが、本発明の一部は、本明細書の教示に基づいてプログラミングされた従来の汎用又は専用のデジタルコンピュータ又はマイクロプロセッサを用いて実現してもよい。
【００６６】
また、ソフトウェア技術の知識を有する者には明らかであるが、熟練したプログラマは、本明細書の教示に基づいて、適切なソフトウェアプログラムを容易に準備できる。更に、この開示に基づいて、当業者に明らかなように、本発明は、特定用途向け集積回路、又は従来の電気部品回路の適切なネットワークを相互接続することによっても実現できる。
【００６７】
本発明は、コンピュータを制御して本発明の処理を行わせるために使用される命令を記録した記録媒体（媒体）であるコンピュータプログラム製品を含む。記録媒体には、以下に限定するものではないが、フロッピィディスク（商標）、ミニディスク（ＭＤ、商標）、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ（フラッシュカードを含む）、磁気又は光カード、ナノシステム（分子メモリＩＣを含む）、ＲＡＩＤデバイス、遠隔データ記憶装置／アーカイブ／ウェアハウス、或いは命令及び／又はデータを記憶する任意の種類の適当な媒体又は装置が含まれる。
【００６８】
本発明は、コンピュータにより読み取り可能な、任意の媒体に記憶され、汎用／専用コンピュータのハードウェア又はマイクロプロセッサを制御し、コンピュータ又はマイクロプロセッサを人であるユーザとインタラクトさせ、或いは他のメカニズムにより本発明の成果を利用する、ソフトウェアを含む。この種のソフトウェアは、限定する意味でなく、デバイスドライバ、オペレーティングシステム、及びユーザアプリケーションを含む。更に、この種のコンピュータにより読み取り可能な媒体は、上述したように、本発明を実施するソフトウェアを含む。
【００６９】
本発明の範囲及び思想から逸脱することなく、上述した好適な実施の形態の様々な適応例及び変形例を構成できることは、当業者にとって明らかである。したがって、添付の特許請求の範囲の範囲を逸脱することなく、本明細書に開示した形態とは異なる形態で本発明を実施できることは明らかである。
【図１】
2010520709.tif 000010
【図２】
2010520709.tif 000011
【図３】
2010520709.tif 000012
【図４】
2010520709.tif 000013
【図５】
2010520709.tif 000014
【図６】
2010520709.tif 000015
【図７】
2010520709.tif 000016
【図８】
2010520709.tif 000017
【図９】
2010520709.tif 000018
【図１０】
2010520709.tif 000019
【図１１】
2010520709.tif 000020
【図１２】
2010520709.tif 000021
【図１３Ａ】
2010520709.tif 000022
【図１３Ｂ】
2010520709.tif 000023
【図１３Ｃ】
2010520709.tif 000024
【図１３Ｄ】
2010520709.tif 000025
【図１３Ｅ】
2010520709.tif 000026
【図１３Ｆ】
2010520709.tif 000027
【図１４】
2010520709.tif 000028
【図１５Ａ】
2010520709.tif 000029
【図１５Ｂ】
2010520709.tif 000030
【図１５Ｃ】
2010520709.tif 000031
【図１６】
2010520709.tif 000032
【国際調査報告】
2010520709.tif 000033