(57)【特許請求の範囲】
【請求項１】
イメージセンサにおけるカラム固定パターンノイズを補正する方法であって、
前記イメージセンサは、ピクセルアレイを形成するためにロー及びカラムに配列された、複数の光活性ピクセル及び複数の暗基準ピクセルを含み、
前記方法は、
第一の利得レベルで、それぞれのカラムにおける一定数の暗基準ピクセルから、暗信号値を読み出すことと、
前記第一の利得レベルで読み出された、それぞれの暗信号を用いて、前記ピクセルアレイにおける１以上のカラムに対する初期カラムオフセット補正を定めることと、
異なる利得レベルに対する変化を検出することと、
それぞれ異なる利得レベルに対して、検出されたそれぞれの変化に応じて、前記異なる利得レベルのそれぞれに対してカラムオフセット補正を生成するために、前記初期カラムオフセット補正を繰り返し調整することと、
各カラムにおいて、変化する前記暗基準ピクセルの数を読み出すことに応じて、前記異なる利得レベルのそれぞれに対する前記カラムオフセット補正を調整することと
を含み、
前記変化する数は、補足的データに基づいて変化することを特徴とする方法。
【請求項２】
前記初期カラムオフセット補正は、それぞれ異なる利得レベルと前記第一の利得レベルとの間の変化量に基づいて調整される、
請求項１に記載の方法。
【請求項３】
前記第一の利得レベルで読み出された、それぞれの暗信号を用いて、前記ピクセルアレイにおける１以上のカラムに対する初期カラムオフセット補正を定めることは、平均暗信号レベルを生成するために、前記第一の利得レベルで読み出されたそれぞれの暗信号を平均化することで、前記ピクセルアレイにおける各カラムに対する初期カラムオフセット補正を計算することを含む、
請求項１に記載の方法。
【請求項４】
それぞれ異なる利得レベルに対して、検出されたそれぞれの変化に応じて、前記初期カラムオフセット補正を繰り返し調整することは、それぞれ異なる利得設定に対して、それぞれ検出された変化に応じて、前記初期カラムオフセット補正を繰り返し調整することを含む、
請求項１に記載の方法。
【請求項５】
前記カラムオフセット補正は、それぞれ異なる利得レベルと前記第一の利得レベルとの比率によって調整されること、
を特徴する請求項４に記載の方法。
【請求項６】
それぞれ異なる利得レベルに対して、検出されたそれぞれの変化に応じて、前記初期カラムオフセット補正を調整することは、それぞれ異なる測定利得に対して、検出されたそれぞれの変化に応じて、前記初期カラムオフセット補正を調整することを含む、
請求項１に記載の方法。
【請求項７】
前記カラムオフセット補正は、それぞれ異なる測定利得と第一の測定利得との比率によって調整されること、
を特徴とする請求項６に記載の方法。
【請求項８】
イメージセンサにおけるカラム固定パターンノイズを補正する方法であって、
前記イメージセンサは、ピクセルアレイを形成するためにロー及びカラムに配列された、複数の光活性ピクセル及び複数の暗基準ピクセルを含み、
前記方法は、
第一の利得レベルで、それぞれのカラムにおける一定数の暗基準ピクセルから、暗信号値を読み出すことと、
前記第一の利得レベルで読み出された、それぞれの暗信号を用いて、前記ピクセルアレイにおける１以上のカラムに対する初期カラムオフセット補正を定めることと、
異なる利得レベルに対する変化を検出することと、
それぞれ異なる利得レベルに対して、検出されたそれぞれの変化に応じて、前記異なる利得レベルのそれぞれに対してカラムオフセット補正を生成するために、前記初期カラムオフセット補正を繰り返し調整することであって、前記初期カラムオフセット補正は、前記それぞれ異なる利得レベルと前記第一の利得レベルとの間の変化量に基づいて調整されることと、
各カラムにおいて、変化する前記暗基準ピクセルの数を読み出すことに応じて、前記異なる利得レベルのそれぞれに対する前記カラムオフセット補正を調整することと
を含み、
前記変化する数は、補足的データに基づいて変化することを特徴とする方法。
【請求項９】
前記第一の利得レベルで読み出された、それぞれの暗信号を用いて、前記ピクセルアレイにおける１以上のカラムに対する初期カラムオフセット補正を定めることは、平均暗信号レベルを生成するために、前記第一の利得レベルで読み出されたそれぞれの暗信号を平均化することで、前記ピクセルアレイにおける各カラムに対する初期カラムオフセット補正を計算することを含む、
請求項８に記載の方法。
【請求項１０】
それぞれ異なる利得レベルに対して、検出されたそれぞれの変化に応じて、前記初期カラムオフセット補正を繰り返し調整することは、それぞれ異なる利得設定に対して、それぞれ検出された変化に応じて、前記初期カラムオフセット補正を繰り返し調整することを含む、
請求項８に記載の方法。
【請求項１１】
前記カラムオフセット補正は、それぞれ異なる利得レベルと前記第一の利得レベルとの比率によって調整されること、
を特徴する請求項１０に記載の方法。
【請求項１２】
それぞれ異なる利得レベルに対して、検出されたそれぞれの変化に応じて、前記初期カラムオフセット補正を繰り返し調整することは、それぞれ異なる測定利得に対して、検出されたそれぞれの変化に応じて、前記初期カラムオフセット補正を繰り返し調整することを含む、
請求項８に記載の方法。
【請求項１３】
前記カラムオフセット補正は、それぞれ異なる測定利得と第一の測定利得との比率によって調整されること、
を特徴とする請求項１２に記載の方法。
【請求項１４】
前記補足的データは、補足的な暗信号値を生成するために読み出された、各カラムにおける前記暗基準ピクセルの第一のサブセットにおけるノイズレベルを含むこと、
を特徴とする請求項１に記載の方法。
【請求項１５】
前記補足的データは、前記ピクセルアレイが最後に電源が切られた時から、前記ピクセルアレイが検出された利得レベルで画像キャプチャを初期化しているか否かを含み、
前記検出された利得レベルは、前記異なる利得レベル中にあること、
を特徴とする請求項１に記載の方法。
【請求項１６】
前記補足的データは、補足的な暗信号値を生成するために読み出された、各カラムにおける前記暗基準ピクセルの第一のサブセットにおけるノイズレベルを含むこと、
を特徴とする請求項８に記載の方法。
【請求項１７】
前記補足的データは、前記ピクセルアレイが最後に電源が切られた時から、前記ピクセルアレイが検出された利得レベルで画像キャプチャを初期化しているか否かを含み、
前記検出された利得レベルは、前記異なる利得レベル中にあること、
を特徴とする請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概してイメージセンサに関連し、より具体的には、イメージセンサにおけるカラム固定パターンノイズを補正するための方法に関する。さらに具体的には、本発明は、イメージセンサにおけるカラム固定パターンノイズを補正するために用いられるカラムオフセット補正を生成するための方法に関連する。
【背景技術】
【０００２】
相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサは、典型的に複数のピクセルを含み、該ピクセルはピクセルアレイを形成するために、ロー（row）及びカラムに配列される複数のピクセルを含む。カラム出力回路は、カラムにおけるピクセルから信号を読み出すために、アレイにおけるピクセルの各カラムに接続される。
【０００３】
カラム出力回路は、アナログ回路及びデジタル回路の両方を含むことができ、それらはコンデンサ、スイッチ、マルチプレクサ、トランジスタ及び増幅器を含む。ＣＭＯＳイメージセンサによってキャプチャされた画像の品質は、カラム出力回路における回路構成のオフセットと利得間の差異あるいは不整合が原因で低くなり得る。これらの不整合は、カラム固定パターンノイズアーティファクト（障害陰影）や欠陥をもたらした。カラム固定パターンノイズは、該カラム固定パターンノイズのカラム状またはストライプ状の構成物のせいで、見る人にとってより目につき、好ましくないものである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像がキャプチャされると、利得は、しばしばピクセルの出力信号に適用される。これは特に画像が暗い条件でキャプチャされたときに当てはまり、当該利得は画像をより明るくするために利用される。都合が悪いことに、カラム固定パターンノイズも、利得によって増幅され、画像においてより目立つカラム固定パターンノイズアーティファクトを生じる。例えば、利得における２倍の増加は、カラム固定パターンノイズの倍増をもたらす結果となり得る。
【課題を解決するための手段】
【０００５】
本発明は、イメージセンサによってキャプチャされた画像におけるカラム固定パターンノイズを補正するために用いられるカラムオフセット補正を定めるための方法に関する。イメージセンサは、第一の利得レベルで各カラムにおいて、複数の光活性ピクセル（photoactive pixels）と複数の暗基準ピクセル（dark reference pixels）を含む。初期のカラムオフセット補正は、第一の利得レベルで読み出されたそれぞれの暗信号（dark signal）を用いて、ピクセルアレイにおける１以上のカラムに対して定められる。初期のカラムオフセット補正は、異なる利得レベルに対するそれぞれ検出された変化に応じて、繰り返し調整される。本発明に基づく実施形態では、カラムオフセット補正は、それぞれ異なる利得レベルと第一の利得レベル間の変化量に基づいて調整される。
【０００６】
本発明の実施形態は、添付の図面を参照することでより理解される。図面の要素は、必ずしも、互いに相対的なスケールではありません。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明に基づく実施形態において、イメージキャプチャ装置の簡単化したブロック図である。
【図２】図２は、本発明に基づく実施形態において、イメージセンサの上面のブロック図である。
【図３】図３は、図２に示されたアナログフロントエンド回路２１６のブロック図である。
【図４】図４は、本発明に基づく実施形態において、カラムオフセット補正を生成するための第一の方法のフローチャートである。
【図５】図５は、図４に示された第一の方法に従って生成されたカラムオフセット補正を用いるための当該第一の方法のフローチャートである。
【図６Ａ】図６Ａは、本発明に基づく実施形態において、カラムオフセット補正を生成及び利用するための第二の方法のフローチャートを示す。
【図６Ｂ】図６Ｂは、本発明に基づく実施形態において、カラムオフセット補正を生成及び利用するための第二の方法のフローチャートを示す。
【図７Ａ】図７Ａは、本発明に基づく実施形態において、カラムオフセット補正を生成するとき、外れ値暗信号を検出し、該外れ値暗信号を補正するための方法のフローチャートを示す。
【図７Ｂ】図７Ｂは、本発明に基づく実施形態において、カラムオフセット補正を生成するとき、外れ値暗信号を検出し、該外れ値暗信号を補正するための方法のフローチャートを示す。
【図８】図８は、本発明に基づく実施形態において、ローカルオフセットウィンドウを表すのに用いられる各カラムから読み出された暗信号の典型的なグラフを示す。
【発明を実施するための形態】
【０００８】
明細書及び特許請求の範囲の全体を通して、以下の用語は、文脈で明らかに規定されない限り、明示的に本明細書の内容に関連する意味を取る。単数形（"a", "an"及び"the"）の意味は、複数形も含むものであり、「〜中に」（"in"）の意味は、「〜において」("in")や、「〜の上に」（"on"）を含む。用語「接続された」（"connected"）は、接続されたアイテム間の直接的な電気接続、または、１以上の受動的あるいは能動的な中間装置を介した、間接的な接続のいずれかを意味する。用語「回路」（"circuit"）は、単一のコンポーネント、または、所望の機能を提供するために能動的または受動的に互いに接続された多数のコンポーネントのいずれかを意味する。用語「信号」（"signal"）は、少なくとも１つの電流、電圧またはデータ信号を意味する。
【０００９】
さらに、「〜の上に」（"on"）、「〜の上方に」（"over"）、「上部」（"top"）及び「下部」（"bottom"）などの方向を示す用語は、示された図の向きを参照する際に用いられる。本発明の実施形態のコンポーネントは、多数の異なる方向で配置され得る。方向を示す専門用語は、説明のためのみに用いられるものであり、限定のために用いられるものではない。
【００１０】
図面を参照すると、同じ番号は、図面全体を通して同じ部分を表す。
【００１１】
図１は、本発明に基づく実施形態において、イメージキャプチャ装置の簡単化したブロック図である。イメージキャプチャ装置１００は、図１中のデジタルカメラとして実装される。当業者であれば、デジタルカメラがイメージキャプチャ装置の一例に過ぎないことは理解し得る。当該イメージキャプチャ装置は、本発明に組み込まれるイメージセンサを利用することができる。例えば、携帯電話のカメラ、スキャナ及びデジタルカメラ一体型ビデオなど、他のタイプのイメージキャプチャ装置は、本発明を用いられ得る。
【００１２】
デジタルカメラ１００では、被写体風景からの光１０２は、イメージングステージ１０４への入力である。イメージングステージ１０４は、レンズ、減光フィルタ、絞り及びシャッターなどの従来の要素を含むことができる。光１０２は、イメージングステージ１０４によって焦点が合わされ、イメージセンサ１０６において画像を形成する。イメージセンサ１０６は、入射光を電気信号に変換することで１以上の画像をキャプチャする。デジタルカメラ１００は、さらに、プロセッサ１０８、メモリ１１０、ディスプレイ１１２及び１以上の付加的な入力／出力（Ｉ／Ｏ）素子１１４を含む。図１の実施形態では、独立した素子（構成要素）として示されているが、イメージングステージ１０４は、イメージセンサ１０６、可能であればデジタルカメラ１００の１以上の付加的な素子（構成要素）と一体化することができ、カメラモジュールを形成する。例えば、プロセッサまたはメモリは、本発明に基づく実施形態では、カメラモジュールにおけるイメージセンサ１０６と一体化し得る。
【００１３】
プロセッサ１０８は、例えば、マイクロプロセッサ、中央処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理装置（ＤＳＰ）あるいはその他の処理装置として実装され得る。イメージングステージ１０４及びイメージセンサ１０６の様々な素子が、プロセッサ１０８から供給されたタイミング信号またはその他の信号によって制御され得る。
【００１４】
メモリ１１０は、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ディスク内蔵メモリ、リムーバルメモリ、またはその他のタイプの記憶素子など、任意の種類のメモリとして構成され得る。イメージセンサ１０６によってキャプチャされた所与の画像は、プロセッサ１０８によってメモリ１１０に記憶され、ディスプレイ１１２に表示され得る。ディスプレイ１１２は、典型的に、アクティブマトリックスカラー液晶ディスプレイであるが、その他のタイプのディスプレイも用いられ得る。付加的なＩ／Ｏ素子１１４は、例えば、様々な画面上の制御、ボタンあるいはその他のユーザインタフェース、ネットワークインタフェース、またはメモリカードインタフェースを含むことができる。
【００１５】
図１に示されたデジタルカメラは、当業者にとって周知な種類の付加的な素子または代替的な素子を含むことができる。本明細書に明示されてなく、記載されていない素子であっても、当該分野における通常の知識に基づいて選択することができる。すでに述べたように、本発明は、多種多様なイメージキャプチャ装置に実装され得る。また、本明細書に記載された実施形態のある態様では、イメージキャプチャ装置の１以上の処理要素（プロセッシング素子）によって実行されるソフトウェアの形式で、少なくとも一部され得る。そのようなソフトウェアは、当業者によって理解され得る教示が、本明細書において与えられるならば、直接的なやり方で実現され得る。
【００１６】
図２を参照すると、本発明に基づく実施形態において、イメージセンサ１０６の上面のブロック図を示している。イメージセンサ１０６は、光活性ピクセル２０２及び暗基準ピクセル２０４を備えるピクセルアレイ２００を含む。光活性ピクセル２０２及び暗基準ピクセル２０４は、典型的に、ピクセルアレイ２００内のロー及びカラムに配置される。
【００１７】
光活性ピクセル２０２は、入射光に応じて、光生成電荷キャリア（"photo-generated charge carrier"）を集めるピクセルである。暗基準ピクセル２０４は、該暗基準ピクセル２０４の上方に配置された不透明層または遮光体２０６を伴う光活性ピクセルとして構成でき、それによって、それらのピクセルは入射光を受け取らない。一方、本発明に基づく実施形態では、暗基準ピクセル２０４は、光検出器なしに構築され得る。
【００１８】
暗基準ピクセル２０４は、イメージセンサ１０６に光が当てられていない（無光状態）ときに、該イメージセンサ１０６において生成された電荷の量を測定するために用いられる。これらの暗信号は、キャプチャされた画像におけるノイズの量を減らすために用いられる。本発明の実施形態では、ピクセルアレイ２００における各カラムに対するカラムオフセット補正は、暗基準ピクセル２０４から読み出された暗信号に基づいて生成される。カラムオフセット補正は、イメージセンサにおけるカラム固定パターンノイズを低減あるいは補正するために用いられる。
【００１９】
イメージセンサ１０６は、さらに、カラム復号器２０８、ロー復号器２１０、デジタルロジック２１２、カラム出力回路２１４及びアナログフロントエンド回路２１６も含む。ピクセルアレイ２００における光活性ピクセル２０２及び暗基準ピクセル２０４の各カラムは、カラム出力回路２１４に電気的に接続される。
【００２０】
デジタルロジック２１２は、メモリ２１８、制御レジスタ２２０、スケーリング回路（scaling circuitry）２２２及びタイミング発生器２２４を含む。本発明に基づく実施形態では、メモリ２１８は、カラムオフセット補正を記憶し、制御レジスタ２２０は、画像がキャプチャされたときに使用された利得レベルを記憶し、スケーリング回路２２２は、該利得レベルで、検出された電荷に応じてカラムオフセット補正を調整するために用いられる。タイミング発生器２２４は、ピクセルアレイ２００から信号を読み出すために必要となる信号を発生させる。
【００２１】
イメージセンサ１０６は、例えば、本発明に基づく実施形態では、ＣＭＯＳイメージセンサなどのｘ−ｙアドレス指定可能なイメージセンサとして実装される。よって、カラム復号器２０８、ロー復号器２１０、デジタルロジック２１２、カラム出力回路２１４及びアナログフロントエンド回路２１６は、ピクセルアレイ２００と有効に接続された標準ＣＭＯＳ電子回路として実装される。
【００２２】
ピクセルアレイ２００のサンプリング及び読み出しに関連する機能と対応するイメージデータの処理は、メモリ１１０（図１参照）中に記憶されるソフトウェアの形式で、少なくとも一部を実装され、プロセッサ１０８によって実行される。サンプリング及び読み出し回路部は、イメージセンサ１０６の外側に配列されるか、または、ピクセルアレイ２００と一体化して、光検出器とピクセルアレイのその他の素子と共に共通の集積回路上に形成される。当業者であれば、その他外縁を構成する回路構成またはアーキテクチャは、本発明に基づいて、その他の実施形態で実装され得ることは理解し得る。
【００２３】
簡単化のため、図２は、光活性ピクセルの５行のロー及び暗基準ピクセルの２行のローと共に、７行のロー及び７列のカラムを示す。当業者は、イメージセンサが任意の構成で配列できる１００万から１０００万のピクセルを備えることは認識し得る。ほんの一例として、暗基準ピクセルのローは、ピクセルアレイ２００の上部と底部に配置される。一方、光活性ピクセルは、サブアレイに閉じ込められる際に、当該サブアレイ周囲の暗基準ピクセルのロー及びカラムと共に、当該サブアレイに閉じ込められる。別の模範的な実施形態では、暗基準ピクセルが光活性ピクセルと混ぜ合わされるように、ピクセルアレイ内に暗基準ピクセルを分散する。
【００２４】
図３は、図２に示されたアナログフロントエンド回路２１６のブロック図である。本発明に基づく実施形態では、アナログフロントエンド回路２１６は、各ピクセルからアナログ信号の差動対を受信する。一方のアナログ信号はリセット（RESET）とされ、他方の信号はシグナル（SIGNAL）とされる。アナログフロントエンド回路２１６は、RESET及びSIGNALアナログ信号を増幅及び調整し、アナログ信号からデジタル信号に変換する。
【００２５】
アナログフロントエンド回路２１６は、アナログ−デジタル変換器（ＡＤＣ）３００及びアナログ信号プロセッサ（ＡＳＰ）３０２を含む。本発明に基づく実施形態では、ＡＳＰ３０２は、２つの可変利得増幅器３０４，３０６を含む。本発明に基づくその他の実施形態は、１以上の可変利得増幅器を含むことができる。可変利得増幅器３０４，３０６の利得における変化は本発明で検出され、本発明に基づく実施形態では、調整されたカラムオフセット補正を生成するために用いられる。
【００２６】
図４を参照すると、本発明に基づく実施形態では、カラムオフセット補正を生成するための第一の方法のフローチャートを示す。最初に、ピクセルの各カラムにおける暗信号は、与えられた利得レベル（ブロック４００）で読み出される。本発明に基づく実施形態では、利得レベルは、利得設定または測定された利得（測定利得）となり得る。
【００２７】
本発明に基づく実施形態では、読み出された暗基準ピクセルの数は変化し得る。１つの実施形態では、暗信号は各カラムにおける多数の暗基準ピクセルから読み出される。多数の暗信号は、より高精度の初期カラムオフセット補正をもたらすことができる。
【００２８】
さらに、与えられた利得レベルは、任意の所望の利得レベルでも良い。本発明に基づく実施形態では、利得レベルは高い。より高い利得レベルは、より正確な初期カラムオフセット補正を生成できる。
【００２９】
ブロック４００は、イメージセンサの動作中の任意の時間で実行される。本発明に基づく実施形態では、ブロック４００は、イメージセンサが電源オンとされたときに、最初に実行される。これは、暗信号を得るために利用されるスタートアップシーケンスの一部であるブランクフレーム（blanked frame）を許容する。
【００３０】
次に、ブロック４０２に示すように、各カラムからの暗信号は、外れ値暗信号があるかを判断するために解析される。本発明に基づく実施形態では、外れ値暗信号は非常に暗いまたは薄暗い（light dark）基準ピクセルから得られた信号である。ほんの一例として、デジタルロジック２１２（図２）は、暗信号を解析して、該信号が外れ値暗信号であるかを判断する。外れ値暗信号を検出して補正するための方法は、図７Ａから７Ｂに関連して後ほど述べる。本発明に基づく実施形態では、もしいずれかの暗信号が外れ値暗信号であるならば、外れ値暗信号は、廃棄されるか補正される。
【００３１】
その後、初期カラムオフセット補正は、ピクセルアレイにおける各カラムに対して定められ、メモリに記憶される（ブロック４０４及び４０６）。本発明に基づく１つの実施形態では、カラムから読み出された暗信号は平均化され、平均暗信号値を生成し、該平均暗信号値は、初期カラムオフセット補正として用いられる。本発明に基づくその他の実施形態では、別々に、初期オフセット補正を定めることができる。ほんの一例として、暗信号は、初期カラムオフセット補正を定めるために、無限インパルス応答（ＩＩＲ）フィルタに入力され得る。
【００３２】
そして、画像キャプチャが初期化されているか否かについての決定が、ブロック４０８でなされる。本発明に基づく実施形態では、利得レベルは画像キャプチャプロセスが初期化されたときに、イメージキャプチャ装置によって定められる。利得レベルは、自動露出アルゴリズム、ユーザによる選択、またはその他の方法によって定められ得る。本発明に基づく実施形態では、利得レベルはイメージセンサに送信され、制御レジスタ２２０（図２）に記憶される。
【００３３】
画像がブロック４００及びブロック４０４で用いられた利得レベルとは異なる利得レベルでキャプチャされるかどうかについて決定が、ブロック４１０でなされる。本発明に基づく実施形態では、デジタルロジック２１２は利得レベルにおける変化を検出する。もし利得レベルが変化していないなら、本方法はブロック４０８に戻る。もし画像が異なる利得レベルでキャプチャされるなら、プロセスはブロック４１２に続き、初期カラムオフセット補正が、該異なる利得レベルに応じて調整される。本発明に基づく１つの実施系値亜では、初期カラムオフセット補正は、新たな利得設定とそれより前の利得設定の比率によって調整される。本発明に基づく別の実施形態では、初期カラムオフセット補正は、現在の測定利得と以前の測定利得の比率によって調整される。
【００３４】
そして、調整済みのオフセット補正は、ブロック４１４に示されるようにメモリに記憶される。本方法はブロック４０８に戻る。本発明に基づく実施形態では、ブロック４１２及び４１４は、画像が異なる利得レベルでキャプチャされるたびに繰り返される。
【００３５】
図４の方法は、利得レベルの変化が検出されたときに、カラムオフセット補正を更新する。カラムオフセット補正は、初期カラムオフセット補正を調整することで更新される。この方法は、カラムオフセット補正を定めるときに、暗信号の繰り返し読み出しをうまく回避し、それによって、ピクセルアレイにおける各カラムに対するカラムオフセット補正を計算するのに必要なフレームオーバーヘッド（例えば、時間）を低減する。
【００３６】
本発明に基づく実施形態は、図４に示されるブロック及びブロックの順番に限定されるものではない。本発明に基づくその他の実施形態は、追加のステップを実行したり、いくつかのブロックを実行しなかったり、あるいは、いくつかのブロックを同時に実行したりできる。ほんの一例として、外れ値暗信号を検出すること及びそのような外れ値暗信号を補正すること（ブロック４０２）は、暗信号の読み出し（ブロック４００）と共に同時に実行することができる。その代わりに、本発明に基づくその他の実施形態では、ブロック４０２またはブロック４１４は実行する必要がない。
【００３７】
図５は、図４に示した方法に従って生成されたカラムオフセット補正を利用するための方法のフローチャートである。初めに、画像または画像のフレームがピクセルアレイから読み出すべきか否かについての決定がなされる（ブロック５００）。もし読み出すなら、適切なカラムオフセット補正が、各カラムから読み出された画像信号から差し引かれる（ブロック５０２）。画像または画像のフレームが利得レベルにおける変化なしにキャプチャされる場合には、当該適切なカラムオフセット補正は、初期カラムオフセット補正、または、以前に調整された初期カラムオフセット補正である。一方、画像又は画像のフレームが、初期カラムオフセット補正に関する利得レベルとは、異なる利得レベルでキャプチャされる場合には、当該適切なカラムオフセット補正は、現在の調整されたカラムオフセット補正である。
【００３８】
本発明に基づく１つの実施形態では、利得レベルにおける変化に応じて、初期カラムオフセット補正の調整（ブロック４１２、図４）は、画像信号から適切なオフセット補正を差し引くことと同時に行われ得る。すなわち、当該適切なオフセット補正は、画像信号が読み出されると、それぞれの画像信号にオフセット補正をもたらすために、フレームまたは画像の読み出し実行中に、必要に応じて（もし利得の変化によって必要なら）定められ、かつ調整される。これは、調整されたオフセット補正を記憶するためのメモリの必要性を回避する。
【００３９】
ここで図６Ａから６Ｂを参照すると、本発明に基づく実施形態において、カラムオフセット補正を生成及び利用するための第二の方法のフローチャートが示される。初めに、ピクセルのそれぞれのカラムにおいて、一定数の暗基準ピクセルからの暗信号は、与えられた利得レベル（ブロック６００）で読み出される。本発明に基づく実施形態では、利得レベルは、利得設定または測定ゲインである。
【００４０】
本発明に基づく実施形態では、読み出される暗基準ピクセルの数は変化し得る。本発明に基づく１以上の実施形態では、暗信号は、各カラムにおける少数の暗基準ピクセルから読み出される。例えば、本発明に基づく１つの実施形態では、暗信号が各カラムにおける３６個の暗基準ピクセルから読み出される。本発明に基づく別の実施形態では、暗信号が各カラムにおける８個の暗基準ピクセルから読み出される。
【００４１】
与えられた利得レベルは、任意の所望の利得レベルとすることができる。本発明に基づく１つの実施形態では、利得レベルは高い。より高い利得レベルは、より正確な初期カラムオフセット計算をもたらすことができる。
【００４２】
ブロック６００は、イメージセンサの動作中のどの時間でも実行され得る。本発明に基づく１つの実施形態では、ブロック６００は、イメージセンサが電源オンとされたときに、最初に実行される。これは、暗信号を得るために利用されるスタートアップシーケンスの一部であるブランクフレームを許容する。
【００４３】
次に、ブロック６０２に示すように、各カラムからの暗信号は、外れ値暗信号があるかを判断するために解析される。既に述べたように、本発明に基づく実施形態では、外れ値暗信号は非常に暗いまたは薄暗い基準ピクセルから得られた信号である。外れ値暗信号を検出して補正するための方法は、図７Ａから７Ｂに関連して後ほど述べる。本発明に基づく実施形態では、もしいずれかの暗信号が外れ値暗信号であるならば、補正暗信号が用いられるか、外れ値暗信号が廃棄される。
【００４４】
その後、ブロック６０４に示されるように、カラムオフセット補正は、ピクセルアレイにおける各カラムに対して定められる。本発明に基づく１つの実施形態では、各カラムから読み出された暗信号は平均化され、カラム平均暗信号値を生成し、該カラム平均暗信号値は、カラムオフセット補正として用いられる。当該カラムオフセット補正は、メモリに記憶される（ブロック６０６）。
【００４５】
そして、画像キャプチャが初期化されているか否かについての決定がなされる（ブロック６０８）。上述のとおり、本発明に基づく実施形態では、利得レベルは画像キャプチャプロセスが初期化されたときに、イメージキャプチャ装置によって定められる。利得レベルは、自動露出アルゴリズム、ユーザによる選択、またはその他の方法によって定められ得る。本発明に基づく実施形態では、利得レベルはイメージセンサに送信され、制御レジスタ２２０（図２）に記憶される。
【００４６】
次に、ブロック６０６またはブロック６１８（いずれか最後に行なわれた方）において、メモリに記憶されたカラムオフセット補正に関連する利得レベルとは異なる利得レベルでキャプチャされるかどうかについて決定が、ブロック６１０でなされる。本発明に基づく実施形態では、デジタルロジック２１２は利得レベルにおける変化を検出する。
【００４７】
画像が異なる利得レベルでキャプチャされないとき、プロセスはブロック６１２に進み、一定数の暗信号が暗基準ピクセルから読み出される。本発明に基づく実施形態では、ピクセルアレイから読み出された一定数の暗基準ピクセルは、暗信号が暗基準ピクセルから読み出されるたびに、動的に変化し得る。このように、ある読込動作は、カラムオフセット補正を定めるために８の暗基準ピクセルを読み出すことができ、別の読込動作は、１０の暗基準ピクセルを読み出すことができる。ほんの一例として、ピクセルアレイから読み出される暗信号の数は、暗基準ピクセルにおけるノイズ、カラムオフセット補正における統計的測定値、はじめて利得レベルが変化した後の更新のためにピクセルが読み込まれるかどうか、または、暗基準ピクセルがその後に生じた更新のために読み込まれるかどうかに基づいている。
【００４８】
次に、一定数の案ピクセルが読み込まれた後、各カラムからの暗信号は、外れ値暗信号があるか否かを判断するために解析される（ブロック６１４）。外れ値暗信号を補正するための方法は、図７Ａから７Ｂに関連して後ほど述べる。そして、ブロック６１６に示されるように、更新されたカラムオフセットを生成するために、従前のカラムオフセットは更新される。更新されたカラムオフセットはメモリに記憶される（ブロック６１８）。
【００４９】
本発明に基づく１つの実施形態では、カラムオフセット補正は、新しく読み出された暗信号及び先に計算されたカラムオフセット補正を用いて再計算される。ほんの一例として、各カラムに対する平均暗信号レベルは、一定数の暗信号がピクセルアレイから読み出されるたびに再計算される。再計算されたカラムオフセット補正は、更新されたカラムオフセット補正として用いられる。本発明に基づく他の実施形態は。更新されたカラムオフセット補正を別々に補正できる。ほんの一例として、本発明に基づくその他の実施形態では、更新されたカラムオフセットは、加重平均またはＩＩＲフィルタを用いて生成され得る。
【００５０】
その後、それぞれ更新されたカラムオフセット補正は、更新されたカラムオフセット補正と関係するカラムから読み出された画像信号から差し引かれる（ブロック６２０）。画像信号から更新されたカラムオフセット補正を差し引くことは、カラム固定パターンノイズを補正する。そして、本方法は、ブロック６０８に戻る。
【００５１】
再度、ブロック６１０を参照すると、画像をキャプチャする際に異なる利得レベルが用いられる場合、プロセスはブロック６２４を通過する。ブロック６２４では、カラムオフセット補正、または更新されたカラムオフセット補正が、調整されたカラム保父セット補正を生成するために調整される。調整量は、利得レベルにおいて検出された変化に基づく。本発明に基づく１つの実施形態では、例えば、カラムオフセット補正または更新されたカラムオフセット補正は、新たな利得設定と以前の利得設定との比率によって調整される。本発明に基づく別の実施形態では、カラムオフセット補正または更新されたカラムオフセット補正は、現在の測定利得と以前の測定利得の比率によって調整される。
【００５２】
そして、調整済みのオフセット補正は、メモリに記憶される（ブロック６２６）。ブロック６２６を実行した後、プロセスはブロック６１２に進み、ブロック６１２から６２０が実行される。ブロック６２０が実行された後、本方法はブロック６０８に戻る。
【００５３】
本発明に基づく実施形態は、図６Ａから６Ｂに示されるブロック及びブロックの順番に限定されるものではない。一方、本発明に基づくその他の実施形態は、追加のステップを実行したり、いくつかのブロックを実行しなかったり、あるいは、いくつかのブロックを同時に実行したりできる。ほんの一例として、外れ値暗信号を検出すること及びそのような外れ値暗信号を補正すること（ブロック６０２または６１４）は、暗信号の読み出し（それぞれブロック６００または６１２）と共に同時に実行することができる。その代わりに、本発明に基づくその他の実施形態では、ブロック６０２、ブロック６０６、ブロック６１４、ブロック６１８またはブロック６２６は実行する必要がない。
【００５４】
本発明の実施形態は、図２に示されるアーキテクチャとは異なるイメージセンサアーキテクチャにおいて利用され得ることに留意されたい。ほんの一例として、イメージセンサは、ピクセルのローが該イメージセンサから読み出されるたびに、ピクセルのカラムがカラム出力回路に接続されるか否かを切替えることができる。一般に、これは、カラム固定パターンノイズのカラム状またはストライプ状のものをある程度の断片にする。本発明の実施形態は、カラム出力回路が一方のピクセルカラムから他方に切替えられているときに、カラム回路だけに基づいて、カラムオフセット補正を定めて適用することができる。本発明の実施形態は、ピクセルカラムだけに基づいて、カラムオフセット補正を定めて適用することができる。一方、本発明の実施形態は、ピクセルカラムとカラム出力回路とのそれぞれの組合せに対して、カラムオフセット補正を定めて適用することができる。
【００５５】
同様に、イメージセンサは、ピクセルの２以上のカラムをそれぞれ扱うカラム回路を備えることができ、それによって、ピクセルのそれぞれのローを読み出すために、複数のサンプル及び読み出しサイクルを必要とする。本発明の実施形態は、カラムオフセット補正を、各カラム回路または各ピクセルカラムに、あるいはピクセルカラムとカラム出力回路のそれぞれの組合せに適用する。カラム回路のある組は、別の組のカラム回路が読み出し準備で画像信号をサンプリングしている間に、読み出されるかもしれない。また、本発明は、有用であり、かつ、ピクセルカラムとカラム出力回路との間に一対一対応がないとしても、限定されるものではない。
【００５６】
図７Ａから７Ｂは、本発明の実施形態において、外れ値暗信号を検出して、カラムオフセット補正を生成するときに外れ値暗信号を補正するための方法のフローチャートを表す。最初に、グローバルオフセットウィンドウは、ピクセルアレイにおけるすべてのカラムに対して定められる（ブロック７００）。グローバルオフセットウィンドウは、ピクセルアレイにおけるすべてのカラムに対して、許容できる暗信号の範囲を特定する。本発明に基づく実施形態では、許容できる暗信号の範囲は、中央暗信号、最大暗信号、最小暗信号を含む。
【００５７】
本発明に基づく１つの実施形態では、中央、最小、および最大暗信号は、予測暗信号に基づくことができる。一方、本発明に基づく別の実施形態では、中央、最小、および最大暗信号は、測定された暗信号に基づくこともできる。そして、本発明に基づくさらに別の実施形態では、中央、最小、および最大暗信号は、予め定められた中央、最小、および最大暗信号に基づくことができる。本発明に基づくその他の実施形態は、別々に、ピクセルアレイにおけるすべてのカラムに対して、許容できる暗信号の範囲を定めることができる。
【００５８】
次に、ブロック７０２に示されるように、それぞれのカラムのピクセルにおける、一定数の暗基準ピクセルからの暗信号が読み出され、当該暗信号は、グローバルオフセットウィンドウ内にあるかを判断するために解析される。そして、各カラムからの１以上の暗信号は、グローバルオフセットウィンドウの外にあるかどうかの判断が、ブロック７０４においてなされる。外れ値暗信号は、すべての暗信号が初期カラムオフセット（ブロック４０４、図４）を定めるために用いられるように、または、カラムオフセット（ブロック６０４、図６Ａ）がグローバルオフセットウィンドウ内になるように補正される（ブロック７０６）。
【００５９】
本発明に基づく１つの実施形態では、外れ値暗信号は、以前の暗信号、選択された暗信号、またはそれぞれの外れ値暗信号に対する推定暗信号に置換されることで補正される。本発明に基づく別の実施形態では、外れ値暗信号は、それぞれの外れ値暗信号に対する平均暗信号値に置換されることで補正される。本発明に基づくさらに別の実施形態では、中心値または最頻値（モード）の暗信号がそれぞれの外れ値暗信号の代わりに用いられる。一方、本発明に基づく別の実施形態では、それぞれの外れ値暗信号は廃棄され、カラムオフセット補正は、より少数の暗信号を用いて定められる。本発明に基づくその他の実施形態は、本明細書に記載されたものとは異なる手法を用いて、外れ値暗信号を補正することができる。
【００６０】
その後、適切なカラムオフセット補正は、グローバルオフセットウィンドウ内の暗信号を用いて定められる（ブロック７０８）。例えば、初期カラムオフセット補正（図４中のブロック４０４）または、カラムオフセット補正（図６Ａ中のブロック６０４）がブロック７０８で定められる。さらに、本発明に基づく実施形態では、暗基準ピクセルから読み出された暗信号の数に依存して、更新されたカラムオフセット補正（図６Ｂ中のブロック６１８）も、グローバルオフセットウィンドウ内の信号を用いて定められ得る。
【００６１】
次に、ブロック７１０において、一定数の暗基準ピクセルが読み出されているか否かという判断がなされる。本発明に基づく１つの実施形態では、一定数の暗基準ピクセルは、調整されたカラムオフセットにおける信頼水準（confidence level）、または更新されたカラムオフセットに基づいている。一方、一定数の暗基準ピクセルは、図６中のブロック６１２に記載された要素に基づいている。
【００６２】
もし一定数の暗参照ピクセルに達していないならば、グローバルオフセットウィンドウは、外れ値暗信号を同定するために利用され続ける。一定数の暗基準ピクセルが読み出されたとき、本方法はブロック７１２に進み、ローカルオフセットウィンドウが、ピクセルアレイにおけるそれぞれのカラムに対して定められる。本発明に基づく実施形態では、ローカルオフセットウィンドウは、ピクセルアレイにおける１つのカラムに対して、許容できる暗信号の範囲を特定する。本発明に基づく実施形態では、ローカルオフセットウィンドウに対する許容できる暗基準信号の範囲は、そのカラムから読み出された暗信号に基づいている。ほんの一例として、ローカルオフセットウィンドウは、そのカラムに対する平均暗信号値に基づくことができる。
【００６３】
そして、暗信号はピクセルの各カラムにおける一定数の暗基準ピクセルから読み出され、暗信号がそれぞれのローカルオフセットウィンドウ内にあるか否かを判断するために解析される（ブロック７１４）。各カラムからの１以上の信号は、そのカラムに関連するローカルオフセットウィンドウの外にあるか否かの判断がブロック７１６でなされる。もしそうなら、ローカルオフセットウィンドウの外にある暗信号は外れ値暗信号である。本発明に基づく実施形態では、カラムオフセット補正（ブロック４０４、図４及びブロック６０４、図６Ａ）または更新されたカラムオフセット補正（図６Ａ中のブロック６１８）を同定するのに用いられるすべての暗信号が、それらそれぞれのローカルオフセットウィンドウ内に入るように、外れ値暗信号は補正される（ブロック７１８）。外れ値暗信号は、ブロック７０６に記載された手法を用いることで補正され得る。
【００６４】
そして、適切なカラムオフセット補正は、ローカルオフセットウィンドウ内の暗信号を用いて定められる（ブロック７２０）。本発明に基づく１つの実施形態では、カラムオフセット補正（図６Ａ中のブロック６０４）または更新されたカラムオフセット補正（図６Ｂ中のブロック６１８）は、ブロック７２０において定められる。次に、ブロック７２２において、１以上のローカルオフセットウィンドウが更新されるべきか否かの判断がなされる。もし更新されるべきでないなら、本方法はブロック７１４に戻る。
【００６５】
１以上のローカルウィンドウが更新されるべきときに、ブロック７２４に示されるように、１以上の更新されたローカルオフセットウィンドウが生成される。本発明に基づく実施形態では、ローカルオフセットウィンドウは、カラムから読み出された暗信号を解析して、その後、それらをローカルオフセットウィンドウに含まれる許容できる暗信号の範囲と比較することで更新される。許容できる暗信号の範囲は、カラムから読み出された暗信号のレベルに基づいて調整される。本発明に基づく１以上の実施形態において、許容できる暗信号の範囲は、増やしたり減らしたりすることができ、最小暗信号及び最大暗信号は変えられ、またはそれらの組合せはローカルオフセットウィンドウを更新するために用いることができる。
【００６６】
更新されたローカルオフセットウィンドウまたはウィンドウは、ブロック７２６でメモリに記憶される。そして、本方法はブロック７１４に戻る。
【００６７】
本発明に基づく実施形態は、図７Ａから図７Ｂに示したブロック及びブロックの順番に限定されるものではない。本発明に基づく他の実施形態は、追加のステップを実行したり、いくつかのブロックを実行しなかったり、あるいは、いくつかのブロックを同時に実行したりできる。ほんの一例として、本発明に基づく他の実施形態では、ブロック７２６は実行される必要がない。
【００６８】
ここで、図８を参照すると、本発明に基づく実施形態における、ローカルオフセットウィンドウを表わすのに用いられる各カラムから読み出された暗信号の典型的なグラフを示す。複数の暗信号８００は、ピクセルアレイにおける各カラム (C0, C1, …, CN) から読み出される。ローカルオフセットウィンドウ８０２，８０４，８０６，８０８，８１０は、カラム (C0, C1, …, CN) に対して定められる。各ローカルオフセットウィンドウは、そのそれぞれのカラムに対して許容できる暗信号の範囲を定義する。カラムＣ0に対するローカルオフセットウィンドウ８０２は、そのカラムに対して最大暗信号８１２及び最小暗信号８１４を有する。カラムＣ1に対するローカルオフセットウィンドウ８０４は、そのカラムに対する最大暗信号８１６及び最小暗信号８１８を有する。同様に、カラムＣ2，ＣN-1及びＣNに対するローカルオフセットウィンドウ８０６，８０８，８１０は、それらのカラムに対して、それぞれ最大暗信号８２０，８２２，８２４及び最小暗信号８２６，８２８，８３０を有する。
【００６９】
図８に示されるように、いくつかのカラムは、外れ値暗信号を有する。カラムＣ0は１つの外れ値暗信号８３２を有する。カラムＣ2及びカラムＣN-1の両カラムは、それぞれ２つの外れ値暗信号８３４，８３６及び８３８，８４０を備える。カラムＣ1及びカラムＣNは、外れ値暗信号を何も有しない。外れ値暗信号８３２，８３４，８４６，８３８，８４０は、図７Ａから図７Ｂに記載された手法を用いて補正され得る。
【００７０】
ローカルオフセットウィンドウ８０２，８０４，８０６，８０８，８１０は、本明細書に記載された手法を用いて調整され得る。ローカルオフセットウィンドウは、許容できる暗信号の範囲を調整することで更新される。例えば、本発明に基づく１以上の実施形態では、当該範囲は拡げたり、縮めたりでき、最小及び最大暗信号は変えられ、これらの組合せは、ローカルオフセットウィンドウを更新するために利用され得る。
【符号の説明】
【００７１】
１００  イメージキャプチャ装置
１０２  光
１０４  イメージングステージ
１０６  イメージセンサ
１０８  プロセッサ
１１０  メモリ
１１２  ディスプレイ
１１４  その他の入力／出力素子
２００  ピクセルアレイ
２０２  光活性ピクセル
２０４  暗基準ピクセル
２０６  不透明層または遮光体
２０８  カラム復号器
２１０  ロー復号器
２１２  デジタルロジック
２１４  カラム出力回路
２１６  アナログフロントエンド回路
２１８  メモリ
２２０  制御レジスタ
２２２  スケーリング回路
２２４  タイミング発生器
３００  アナログ−デジタル変換器
３０２  アナログ信号プロセッサ
３０４  可変利得増幅器
３０６  可変利得増幅器
８００  暗信号、
８０２  ローカルオフセットウィンドウ
８０４  ローカルオフセットウィンドウ
８０６  ローカルオフセットウィンドウ
８０８  ローカルオフセットウィンドウ
８１０  ローカルオフセットウィンドウ
８１２  最大暗信号
８１４  最小暗信号
８１６  最大暗信号
８１８  最小暗信号
８２０  最大暗信号
８２２  最大暗信号
８２４  最大暗信号
８２６  最小暗信号
８３０  最小暗信号
８３２  値暗信号
８３４  値暗信号
８３６  値暗信号
８３８  値暗信号
８４０  値暗信号
【図１】
0005624630.tif 000002
【図２】
0005624630.tif 000003
【図３】
0005624630.tif 000004
【図４】
0005624630.tif 000005
【図５】
0005624630.tif 000006
【図６Ａ】
0005624630.tif 000007
【図６Ｂ】
0005624630.tif 000008
【図７Ａ】
0005624630.tif 000009
【図７Ｂ】
0005624630.tif 000010
【図８】
0005624630.tif 000011