(57)【要約】【課題】イメージ・センサ内のスミアリークの存在を検出し、示す装置を提供すること。【解決手段】ディジタル・カメラのアナログ・フロント・エンド（ＡＦＥ）内のスミア検出回路が、イメージ・センサから受け取られた黒領域画素値がスミアリークを示す時を判定する。記憶素子に結合されたセンサが、明るい光源にさらされると、記憶素子過負荷がその記憶素子から他の記憶素子へ転送ラインに沿ってリーク電荷をリークさせる。スミア検出回路は、スミアリークを示す転送ラインを識別し、その転送ラインに沿った記憶素子からの画素値を、カラー画素値の較正に使用される黒レベル値の計算から除外する。ディジタル・カメラは、撮影されるディジタル・イメージ内のスミアを示すスミア・アイコンを表示する。【選択図】図９
2006238418.tif 000002
【特許請求の範囲】
【請求項１】
黒領域画素値のシーケンスが存在する複数のリードと、
黒領域画素値の前記シーケンスを受け取り、スミア検出信号を出力するスミア検出回路と
を含む集積回路。
【請求項２】
前記集積回路が、イメージ・センサに結合され、前記イメージ・センサが、転送ラインと黒領域を含み、前記スミア検出信号が、電荷が前記転送ラインに沿って前記黒領域にリークたことを示す請求項１に記載の集積回路。
【請求項３】
前記集積回路が、ディジタル・カメラのアナログ・フロント・エンド（ＡＦＥ）集積回路である請求項１に記載の集積回路。
【請求項４】
前記スミア検出信号を受け取り、黒レベル値を出力する黒レベル・ジェネレータ
をさらに含む請求項１に記載の集積回路。
【請求項５】
前記黒レベル・ジェネレータが、前記スミア検出信号がアサートされた時にディスエーブルされる請求項４に記載の集積回路。
【請求項６】
しきい値を前記スミア検出回路に通信する第２の複数のリードをさらに含む請求項１に記載の集積回路。
【請求項７】
前記スミア検出回路が、
黒領域画素値の前記シーケンスと前記しきい値を受け取り、論理信号を出力する比較器と、
前記論理信号を受け取り、前記スミア検出信号を出力する状態機械と
を含む請求項６に記載の集積回路。
【請求項８】
前記スミア検出回路が、所定のしきい値が所定の個数を超える連続する黒領域画素値によって超えられる時を検出する請求項１に記載の集積回路。
【請求項９】
前記スミア検出信号が、前記集積回路から出力される請求項１に記載の集積回路。
【請求項１０】
前記集積回路が、イメージ・センサ集積回路である請求項１に記載の集積回路。
【請求項１１】
前記集積回路が、ディジタル・イメージを作るディジタル・カメラの一部であり、前記ディジタル・イメージが、ディジタル・ファイルとして前記ディジタル・カメラに保管され、前記スミア検出信号からの情報が、前記ディジタル・ファイルに含まれる請求項１に記載の集積回路。
【請求項１２】
スミア検出信号を出力するイメージ・センサ集積回路。
【請求項１３】
前記イメージ・センサ集積回路が、光学的に黒の領域を含み、前記スミア検出信号が、スミアリークが前記光学的に黒の領域にリークたことを示す請求項１２に記載のイメージ・センサ集積回路
【請求項１４】
黒領域画素値のシーケンスが存在する複数のリードと、
電荷がイメージ・センサの転送ラインに沿って前記イメージ・センサの黒領域にリークすることから生じるスミアの検出に応答してスミア検出信号を出力する手段と
を含む集積回路。
【請求項１５】
（ａ）イメージ・センサの第１記憶素子と第２記憶素子が転送ラインに沿って配置されていて、前記第１記憶素子から第２記憶素子にリークするリーク電荷を検出することと、
（ｂ）前記リーク電荷を示している前記転送ラインを識別することと
を含む方法。
【請求項１６】
前記イメージ・センサが、ディジタル・カメラのアナログ・フロント・エンド（ＡＦＥ）の電荷結合素子である請求項１５に記載の方法。
【請求項１７】
前記第１記憶素子が明るい光にさらされ、前記第２記憶素子が前記イメージ・センサの光学的に黒の領域に置かれる請求項１５に記載の方法。
【請求項１８】
（ｃ）前記リーク電荷がリークたことを示すことをさらに含む請求項１５に記載の方法。
【請求項１９】
前記イメージ・センサが、ディジタル・カメラの電荷結合素子であり、前記ディジタル・カメラが、ディスプレイを有し、前記リーク電荷が前記ディジタル・カメラの前記ディスプレイにアイコンを表示することによって（ｃ）で示される請求項１８に記載の方法。
【請求項２０】
前記イメージ・センサが、ディジタル・イメージを作るディジタル・カメラの一部であり、前記ディジタル・イメージが、ファイル名を有するファイルとして前記ディジタル・カメラに保管され、前記リーク電荷が、前記ディジタル・イメージの前記ファイル名にコードを含めることによって（ｃ）で示される請求項１８に記載の方法。
【請求項２１】
各記憶素子がある量の電荷をたくわえ、画素データが、各記憶素子にたくわえられた電荷の前記量を含み、
（ｃ）前記転送ラインからの画素データが、前記黒レベル較正から除外されるように、前記画素データの黒レベル較正を実行すること
をさらに含む請求項１５に記載の方法。
【請求項２２】
前記イメージ・センサが、第１転送ラインに隣接する第２転送ラインを含み、複数の記憶素子が前記第２転送ラインに沿って配置され、前記第２転送ラインに沿って配置された前記複数の記憶素子のそれぞれに画素データがたくわえられた電荷の前記量を含み、
（ｃ）前記第２転送ラインからの画素データが、前記黒レベル較正から除外されるように、前記イメージ・センサの黒レベル較正を実行すること
をさらに含む請求項１５に記載の方法。
【請求項２３】
複数の隣接する記憶素子が前記転送ラインに沿って配置され、前記複数の隣接する記憶素子のそれぞれが、ある量の電荷をたくわえ、前記リーク電荷が、（ａ）で、Ｎ個の連続する隣接する記憶素子のそれぞれにたくわえられた電荷の前記量がしきい量を超えると検出され、Ｎが、１を超える整数である請求項１５に記載の方法。
【請求項２４】
前記イメージ・センサが、複数の転送ラインを含み、前記複数の転送ラインのそれぞれが、光学的に黒の領域内に部分的に配置される請求項１５に記載の方法。
【請求項２５】
前記イメージ・センサが、マイクロコントローラを含むディジタル・カメラの一部であり、
（ｃ）前記（ａ）で前記リーク電荷を検出した時に、前記マイクロコントローラに割込み信号を送ること
をさらに含む請求項１５に記載の方法。
【請求項２６】
転送ラインに沿って配置された第１記憶素子と、
前記転送ラインに沿って配置された第２記憶素子と、、
リーク電荷が前記第１記憶素子から前記第２記憶素子にリークた時を検出するスミア検出回路と
を含み、前記第１記憶素子と前記第２記憶素子がイメージ・センサの一部であるデバイス。
【請求項２７】
前記イメージ・センサが、ディジタル・カメラのアナログ・フロント・エンド（ＡＦＥ）の電荷結合素子である請求項２６に記載のデバイス。
【請求項２８】
複数の隣接する記憶素子が、前記転送ラインに沿って配置され、前記複数の隣接する記憶素子のそれぞれが、ある量の電荷をたくわえ、前記スミア検出回路が、Ｎ個の連続する隣接する記憶素子のそれぞれにたくわえられた電荷の前記量がしきい量を超える時に前記リーク電荷を検出し、Ｎが、１を超える整数である請求項２６に記載のデバイス。
【請求項２９】
前記イメージ・センサの黒レベル値を計算する黒レベル・ジェネレータ
をさらに含む請求項２６に記載のデバイス。
【請求項３０】
前記イメージ・センサが、複数の記憶素子を含み、各記憶素子が、ある量の電荷をたくわえ、各記憶素子にたくわえられた電荷の前記量が、画素データを構成し、前記黒レベル・ジェネレータが、前記転送ラインからの画素データを除外することによって前記イメージ・センサの前記黒レベル値を計算する請求項２９に記載のデバイス。
【請求項３１】
前記イメージ・センサが複数の記憶素子を含み、各記憶素子がある量の電荷をたくわえ、各記憶素子にたくわえられた電荷の前記量が画素データを構成し、前記黒レベル・ジェネレータが前記イメージ・センサから画素データを受け取り、また、前記イメージ・センサが前記転送ラインからの画素データを出力すると前記黒レベル・ジェネレータがディスエーブルされる請求項２６に記載のデバイス。
【請求項３２】
ディジタル・カメラのディスプレイにディジタル・イメージと、スミアリークを示すアイコンとを表示することを含む方法。
【請求項３３】
前記アイコンは、前記ディジタル・イメージがスミアリークを含むことを示し、前記ディジタル・イメージが露出過多である請求項３２に記載の方法。
【請求項３４】
前記アイコンは、前記ディジタル・イメージがスミアリークを含むことを示し、前記ディジタル・イメージが露出不足である請求項３２に記載の方法。
【請求項３５】
前記ディジタル・イメージが実世界のイメージを表し、関連するディジタル・イメージも前記実世界のイメージを表し、前記アイコンが前記関連するディジタル・イメージがスミアリークを含むことを示し、前記スミアリークは前記関連するディジタル・イメージ内の明るい光の源を通る明るい線として現れる請求項３２に記載の方法。
【請求項３６】
前記ディジタル・イメージが前記ディジタル・カメラによってビューファインド・モードで取り込まれ、前記関連するディジタル・イメージが前記ディジタル・カメラによってフレーム読出モードで取り込まれる請求項３５に記載の方法。
【請求項３７】
前記アイコンが、前記ディジタル・イメージにスーパーインポーズされる請求項３２に記載の方法。
【請求項３８】
前記ディジタル・カメラが、ディジタル・スチール・カメラ、ディジタル・ビデオ・カメラ、ディジタル・カメラを含むセル電話機からなる群から選択される請求項３２に記載の方法。
【請求項３９】
ディジタル・イメージをディジタル・カメラに、スミア検出フィールドを含むヘッダを有するディジタル・ファイルとして保管することを含む方法。
【請求項４０】
前記スミア検出フィールドが、前記ディジタル・イメージがスミアを含むかどうかを示す情報を含む請求項３９に記載の方法。
【請求項４１】
前記ディジタル・イメージは、明るい線が前記ディジタル・イメージ内の明るい光の源を通過する時にスミアを含む請求項４０に記載の方法。
【請求項４２】
前記スミア検出フィールドが１ビット幅である請求項３９に記載の方法。
【請求項４３】
スミアを示すコードを含む前記ディジタル・ファイルにファイル名を割り当てることをさらに含む請求項３９に記載の方法。
【請求項４４】
前記ディジタル・ファイルがｊｐｇファイルである請求項３９に記載の方法。
【請求項４５】
ディジタル・イメージがスミアを含むかどうかを示すスミア検出信号を出力するスミア検出回路と、
スミア検出フィールドを含むヘッダを有するディジタル・ファイルとして前記ディジタル・イメージを保管する手段と
を含むデバイス。
【請求項４６】
前記スミア検出フィールドが１ビット幅であり、前記手段が前記スミア検出信号がアサートされた時に前記１ビットを所定のディジタル状態にセットする請求項４５に記載のデバイス。
【請求項４７】
前記手段がディジタル・カメラのアナログ・フロント・エンド（ＡＦＥ）を含む請求項４５に記載のデバイス。
【請求項４８】
前記スミア検出信号が前記ディジタル・イメージがスミアを含むことを示し、前記ディジタル・イメージが露出過多である請求項４５に記載のデバイス。
【請求項４９】
前記スミア検出信号が前記ディジタル・イメージがスミアを含むことを示し、前記ディジタル・イメージが露出不足である請求項４５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル・イメージングに関し、具体的には、イメージ・センサが明るい光源にさらされた時に生じるスミアリーク(smear leakage)の検出に関する。
【背景技術】
【０００２】
明るい光源を含むイメージのディジタル写真を撮る時に、しばしば、ディジタル・イメージに明るい垂直線が現れる。この明るい垂直線は、明るい光源によって引き起こされる「スミア」リークから生じる。明るい光源は、ディジタル・カメラのイメージ・センサの過負荷記憶素子から隣接記憶素子へのスミアリークを引き起こす。図１に、スミアリークによって引き起こされた明るい垂直線１１を含むディジタル・イメージ１０を示す。この例では、スミアリークが、写真に撮られた実世界のイメージ内の太陽という明るい光源に起因する。明るい垂直線１１の他に、ディジタル・イメージ１０の色も、実世界のイメージの色を正確に反映していない場合がある。明るい光源が、ディジタル画素データを特定の色に相関させるのに使用される黒レベル較正器に影響するからである。たとえば、図１のオリジナルの撮影されたイメージの木は、ディジタル・イメージ１０で、緑ではなく青に見える。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
イメージ・センサ内のスミアリークの存在を検出し、かつ示す装置が求められている。ディジタル・イメージ内の色の、対応する実世界のイメージの真の色からのスミアによって誘導された変化を減らす装置も求められている。
【課題を解決するための手段】
【０００４】
ディジタル・カメラのアナログ・フロント・エンド（ＡＦＥ）集積回路の黒レベル較正器がスミア検出回路を含む。スミア検出回路は、ディジタル・カメラのイメージ・センサから受け取った黒領域画素値がスミアリークを示す時を判定する。黒領域画素値は、光にさらされていないイメージ・センサの光学的に黒の領域の記憶素子から得ることができる。スミアリークは、ディジタル・カメラによって出力されるディジタル・イメージ内の明るい垂直線を引き起こす。スミアリークは、記憶素子に結合されたセンサが明るい光源にさらされた時にイメージ・センサ内で発生する。明るい光源は、記憶素子過負荷をもたらし、これが、その記憶素子から他の記憶素子への転送ラインに沿ったリーク電荷のリークを引き起こす。スミアリークは、光学的に黒の領域の記憶素子にもリーク、カラー画素値の較正に使用される黒レベルの較正を阻害する可能性がある。カラー画素値の較正に不正な黒レベル値を使用することは、「狂った」色を有するディジタル・イメージをもたらす可能性がある。
【０００５】
スミア検出回路の状態機械が、たまたましきい値を超えた他の黒領域画素値から、所定のしきい値を超える複数の連続する黒領域画素値を区別する。光学的に黒の領域からの、しきい値を超える複数の連続する画素値は、光学的に黒の領域への転送ラインに沿ったスミアリークを示す。１実施態様で、スミア検出回路は、スミアリークを示す転送ラインを識別し、その転送ラインに沿った記憶素子からの画素値を黒レベル値の計算から除外する。もう１つの実施態様では、しきい値を超える黒領域画素値だけが、黒レベル値の計算から除外される。
【０００６】
もう１つの実施態様で、ディジタル・カメラは、記憶素子過負荷と、これから撮影されるか撮影されたディジタル・イメージ内のスミアリークとを示すスミア・アイコンを表示する。スミアリークによって壊された画素データが使用されない実施態様では、スミア・アイコンが、別の写真を撮るように写真家に警告する。壊された画素データが使用される場合に、スミア・アイコンは、結果のディジタル・イメージにスミア・ノイズが含まれることを示す。次に、ディジタル・イメージが、ディジタル・ファイルとしてディジタル・カメラに保管される。このディジタル・ファイルに、スミア検出フィールドを有するヘッダが含まれる。スミア検出フィールドの１ビットが、そのディジタル・イメージが記憶素子過負荷を示すかどうかを示す。さらに、スミアリークを示すディジタル・イメージを含むディジタル・ファイルに割り当てられるファイル名に、コードを含めることができる。
【０００７】
他の実施態様と利益を、下の詳細な説明で説明する。この要約は、本発明を定義することを目的とするものではない。本発明は、請求項によって定義される。
【発明を実施するための最良の形態】
【０００８】
同一の符号が同一の構成要素を示添す付図面は本発明の実施形態を示すものである。
【０００９】
本発明のいくつかの実施形態に詳細に言及するが、本発明の例が、添付図面に示されている。
【００１０】
図２は、記憶素子過負荷とスミアリークを示す高解像度ディジタル・カメラ１２の単純化された図である。ディジタル・カメラ１２の動作の例で、写真家は、撮影しようとする実世界のイメージ１３にディジタル・カメラ１２を向ける。イメージ１３に、明るい光、この例では太陽が含まれる。イメージ１３は、レンズ１４を通過し、イメージ・センサ１５によって取り込まれる。イメージ・センサ１５は、イメージ・センサ１５の個々の記憶素子内の電荷に対応する画素値を含むアナログ画素データ１６を出力する。アナログ・フロント・エンド（ＡＦＥ）集積回路１７が、イメージ・センサ１５からアナログ画素データ１６を受け取る。
【００１１】
ＡＦＥ集積回路１７は、タイミング・ジェネレータ部分１８、相関ダブル・サンプリング（correlated double sampling:ＣＤＳ）機構１９、アナログ・ディジタル変換器（ＡＤＣ）２０、デシメーション回路２１、黒レベル較正器２２、信号処理ブロック２３、ディジタル・イメージ処理（ＤＩＰ）インターフェース２４、クロック・ジェネレータ２５を含む。タイミング・ジェネレータ部分１８は、アナログ画素データ１６を読み出すために、イメージ・センサ１５に垂直パルス信号２６と水平パルス信号２７を供給する。イメージ・センサ１５は、ＡＦＥ集積回路１７が供給できる電圧範囲の外に広げるために、垂直パルス信号２６の電圧最小値と電圧最大値を必要とする。したがって、ＡＦＥ集積回路１７から出力される垂直パルス信号２６は、イメージ・センサ１５が必要とする電圧レベルへのレベル・シフトを実行する垂直ドライバ２８に供給される。
【００１２】
ＣＤＳ  １９は、イメージ・センサ１５からアナログ画素データ１６を受け取る。アナログ画素データ１６の各画素値は、通常、アナログ・レベル信号の対の形である。第１のアナログ・レベル信号は、特定の画素の独自の基準電圧レベルを示し、第２のアナログ・レベル信号は、画素のカラー輝度レベルを示す。ＣＤＳ  １９は、基準レベルと輝度レベルの間のアナログ信号の大きさを判定する。ＡＤＣ  ２０は、アナログ信号の大きさをディジタル化し、ディジタル結果を出力し、このディジタル結果が、デシメーション回路２１によって受け取られる。デシメーション回路２１は、ディジタル化されデシメートされた画素データ２９を出力する。この画素データ２９は、黒レベル較正器２２によって受け取られる。黒レベル較正器２２は、光にさらされていないイメージ・センサ１５のセンサからの画素データを使用して、ディジタル化されデシメートされた画素データ２９の黒レベル較正値を判定する。次に、黒レベル較正器２２は、画素データ２９の画素値から較正値を引いて、ディジタル化されデシメートされ較正された画素データ３０を生成することによって、ＡＦＥ  １７を較正する。次に、黒レベル較正器２２は、ディジタル化され、デシメートされ、較正された画素データ３０を、信号処理ブロック２３とＤＩＰインターフェース２４に渡す。次に、ＤＩＰインターフェース２４が、ディジタル化されたイメージ・データ３１をディジタル・イメージ処理（ＤＩＰ）ＡＳＩＣ  ３２に出力する。
【００１３】
ＤＩＰ  ＡＳＩＣ  ３２は、ディジタル化されたイメージ・データ３１に対してイメージ処理を実行し、その後、通常は、ディジタル・イメージ３３をディジタル・カメラ１２のディスプレイ３４に表示させる。図２の例では、実世界のイメージ１３を取り込む時に、イメージ・センサ１５の記憶素子の間でスミアリークが発生する。イメージ・センサ１５内のスミアリークは、ディジタル・イメージ３３内で明るい垂直線３５として現れる。また、ＤＩＰ  ＡＳＩＣ  ３２は、ディジタル・カメラ１２内の記憶媒体３７上のディジタル・ファイル３６としてディジタル・イメージ３３を保管する。ディジタル・ファイル３６は、たとえばｊｐｇファイルとすることができる。ディジタル・イメージ３３内のスミアの存在は、ディジタル・ファイル３６のヘッダ内のスミア検出フィールド３８によって示される。マイクロコントローラ３９が、ディジタル・カメラ１２の全体的なキー・スキャニング(key scanning)機能、制御機能、構成機能を備える。マイクロコントローラ３９は、制御バス４０を介してＤＩＰ  ＡＳＩＣ  ３２に結合される。マイクロコントローラ３９は、モータ駆動回路４１を介してレンズ１４を制御する。
【００１４】
図３に、ディジタル・カメラ１２のイメージ・センサ１５をより詳細に示す。イメージ・センサ１５は、たとえば、電荷結合素子（ＣＣＤ）センサ、ＣＭＯＳセンサ、別のタイプの画素化された金属酸化物半導体センサ、または別のタイプのイメージ・センサとすることができる。この例では、イメージ・センサ１５が、センサの２次元アレイを有するＣＣＤセンサである。図では、センサが正方形として示され、各正方形に文字が含まれている。「Ｇ」を含む正方形は緑用のセンサである。「Ｒ」を含む正方形は赤用のセンサである。「Ｂ」を含む正方形は青用のセンサである。「Ｙ」を含む正方形は第４の色、たとえば黄色用のセンサである。符号４３は、１つの緑用のセンサを識別している。１実施形態で、すべての色のセンサが同一の構造を有する。さまざまなセンサが、対応する色の光だけがそれぞれのセンサに達するようにフィルタによって覆われる。この例では、一番下の３行のセンサは、色付きとして指定されていない。この最下行のセンサは、イメージ・センサ１５の光学的に黒の領域４４に含まれる。最下行のセンサは、実際には、レンズ１４が画像を逆転させるので、取り込まれるイメージの最上部にある。光学的に黒の領域４４内のセンサは、通常、光にさらされないように覆われる。
【００１５】
シャッタ信号に応答して、イメージ・センサ１５のセンサのそれぞれが、光のサンプルを受けとる。サンプルは、電荷の形でセンサ内で保持される。電荷の大きさが、サンプル値を示す。電荷は、イメージ・センサ１５内のスイッチに垂直パルス信号２６と水平パルス信号２７を供給することによって、画素値のシーケンスとして直列の形でイメージ・センサ１５から読み出される。図３の例では、各センサが、それらの左に置かれた関連する記憶素子を有する。符号４５は、センサ４３の記憶素子である。一時に、すべてのセンサからのサンプル電荷が、右から左へと関連する記憶素子に転送される。次に、垂直パルス信号が、記憶素子の列に関連するスイッチに印加される。これによって、各記憶素子のサンプル電荷が、下へ、その下の記憶素子へシフトされる。符号４６は、センサ４３と記憶素子４５を含む、センサと関連する記憶素子の列を示している。たとえば、記憶素子４５内のサンプル電荷が、下に、列４６内で下の記憶素子４７にシフトされる。類似する形で、サンプル電荷が列４６全体で下にシフトされる。
【００１６】
最下行の記憶素子のサンプル電荷は、イメージ・センサ１５の下部の記憶素子のリードアウト行４８に渡される。リードアウト行４８は水平転送ラインである。リードアウト行４８に電荷の組が含まれると、複数の水平パルス信号２７が、リードアウト行４８に関連するスイッチに印加される。これらの水平パルスは、リードアウト行４８の記憶素子内のサンプル電荷を、１つずつイメージ・センサ１５からシフト・アウトさせる。サンプル電荷の行全体がイメージ・センサ１５からシフト・アウトされた時に、サンプル電荷の次に読み出される行をリードアウト行４８にロードするために、次の垂直パルスが印加される。垂直パルスを供給し、次にサンプル電荷の最下行をシフト・アウトするというこの処理は、すべてのサンプル電荷がイメージ・センサ１５から読み出されるまで繰り返される。
【００１７】
図４に、イメージ・センサ１５の列４６を詳細に示し、列４６の動作を示す。列４６に、スイッチの２つの交番する組を有する垂直転送ライン４９が含まれる。１実施形態で、垂直転送ライン４９は、アナログ・シフト・レジスタである。記憶素子５０から記憶素子５１に電荷を転送するために、スイッチ５２、５３を開いたままにし、スイッチ５４を閉じる。これによって、記憶素子５０からの電荷を、導通しているスイッチ５４を介して垂直転送ライン４９に沿って記憶素子５１に渡すことが可能になる。したがって、列４６の隣接するスイッチが、交番する形で開閉されて、サンプル電荷が垂直転送ライン４９を下にシフトされることがわかるであろう。１実施形態で、記憶素子５０は、電界効果トランジスタから形成された半導体デプレーション・キャパシタ(depletion capacitor)である。スイッチ５４も、記憶素子５０と同一のプロセスで製造される電界効果トランジスタから形成される。図４は、垂直転送バスの非常に単純化された図であるが、垂直転送バスのより複雑な構成は、類似する形で動作する。たとえば、もう１つの実施形態で、記憶機能と切替機能の両方が、電荷結合素子（ＣＣＤ）によって実装される。電荷は、第１ＣＣＤから第２ＣＣＤへ、第２ＣＣＤのバイアス電圧を第１ＣＣＤのバイアス電圧より下げることによって、パルス信号に応答して転送される。
【００１８】
図５に、記憶機能と切替機能の両方が電荷結合素子（ＣＣＤ）によって実装される、イメージ・センサ１５の列４６を示す。図５の実施形態では、垂直転送ライン４９が、ＣＣＤの行である。
【００１９】
図６は、イメージ・センサ１５のセンサ・アレイからアナログ画素データ１６を読み出すのに使用される垂直パルス信号２６と水平パルス信号２７を示す波形図である。図６には、スイッチ５２、５３、５４を含む、図４のスイッチの２つの交番する組を制御する２つの垂直パルス信号ＶＰＵＬＳＥ１ＡとＶＰＵＬＳＥ１Ｂのパルスの交番する形が示されている。図６には、スイッチ５５、５６を含むリードアウト行４８に関連するスイッチを制御する２つの水平パルス信号ＨＰＵＬＳＥ１ＡとＨＰＵＬＳＥ１Ｂも示されている。垂直パルス信号２６が、サンプル電荷の１行をリードアウト行４８にシフトした後に、水平パルス信号ＨＰＵＬＳＥ１ＡとＨＰＵＬＳＥ１Ｂの水平シフト・パルスの完全な組５７が、リードアウト行４８からサンプル電荷をシフトする。この処理は、各垂直シフトとそれに続く水平シフト・パルスの組５７を用いて繰り返される。
【００２０】
ＣＣＤイメージ・センサの技術的現状は、図４〜６に示した単純な例を大きく超えて進歩している。ＣＣＤイメージ・センサは、通常、たとえば高フレーム・レート読出モード、フレーム読出モード（キャプチャ・モードとも称する）、自動露出モード、自動焦点モードを含む複数のモードを有する。その結果、しばしば、図６に示された信号より複雑なタイミング信号が、現在のＣＣＤセンサを駆動するのに必要である。たとえば、ハイブリッド・カメラがビデオの取込に使用される時に、ハイブリッド・カメラは高フレーム・レート読出モードを使用し、ハイブリッド・カメラを静止画の撮影に使用するとき、より高解像度の取込モードを使用することができる。たとえば、より高解像度の取込モードは、通常、自動焦点モードより長くセンサを実世界のイメージに露出する。
【００２１】
スミアリークは、ある記憶素子からの電荷が別の記憶素子にリークした時に生じる。たとえば、リーク電荷は、パルス信号が２つの記憶素子の間のスイッチを閉じていない場合であっても、垂直転送ラインに沿ってある記憶素子から隣接する記憶素子にリークする可能性がある。図４に戻って、リーク電荷５８は、スイッチ５４が垂直パルス信号ＶＰＵＬＳＥ１Ｂに応答して閉じられていない場合であっても、記憶素子５０から垂直転送ライン４９に沿って記憶素子５１にリークする。リーク電荷５８の原因の１つが、記憶素子５０に隣接するセンサ５９が明るい光源６０にさらされた時に生じる記憶素子５０でビルド・アップされた過剰な電荷である。記憶素子５０の半導体デプレーション・キャパシタに大きい電荷がビルド・アップされた時に、記憶素子５０の周囲のデプレーション領域が、スイッチ５４まで電荷を押しやり、スイッチ５４を導通させる場合がある。その場合に、リーク電荷５８が、垂直転送ライン４９に沿って隣接する記憶素子にカスケードした形でリークする可能性がある。この形で、関連するセンサのうちの少数だけが明るい光源にさらされた場合であっても、ある垂直転送ラインに結合された記憶素子のすべてが、強く充電される場合がある。記憶素子過負荷が、スイッチを介してまたは転送ラインに沿って渡されずに、ある記憶素子から隣接記憶素子への電荷リークをもたらす場合もある。
【００２２】
図７に、レンズ１４によってイメージ・センサ１５のセンサ５９に焦点を結ばれた、イメージ１３内の太陽の明るい光源を示す。過剰な電荷が、記憶素子記憶素子５０のキャパシタにビルド・アップされて、記憶素子過負荷をもたらす。リーク電荷５８は、隣接記憶素子と垂直転送ライン４９に結合された記憶素子にリークする。センサ６１は、光学的に黒の領域４４内にあり、光にさらされないが、このセンサ６１に関連する記憶素子５１は、強く充電される。同様に、イメージ１３からの光源は、センサ６２ではより弱い（暗い）が、センサ６２に関連する記憶素子も強く充電される。イメージ・センサ１５によって出力されるアナログ画素データ１６は、ディジタル・カメラ１２が記憶素子過負荷について訂正されない場合に、図２のディジタル・イメージ３３となる。ディジタル・イメージ３３は、イメージ１３内の木の暗い領域を通って走る明るい垂直線３５を有する。この明るい垂直線３５は、明るい光源がセンサ５９の左右のセンサにも過負荷を与え、これによって、それらの垂直転送ラインに結合された記憶素子をカスケードした形で充電させ、複数の垂直転送ラインの幅になる。
【００２３】
スミアリークは、ディジタル・イメージ３３の品質を２つの形すなわち、第１に明るい垂直線３５を作ることによって、第２に「狂った」色を作ることによって、下げる可能性がある。スミアリークは、ディジタル化されデシメートされた画素データ２９のカラー・データの解釈に使用される黒レベルを不正に高める。不正な平均黒レベルが画素データ２９から引かれると、ＤＩＰ  ＡＳＩＣ  ３２は、カラー・データを不正に解釈する。その場合に、ディジタル・イメージ３３は、「狂った」色を有するように見える。たとえば、ディジタル・イメージ３３の空が緑色になり、木がオレンジになるなどである。
【００２４】
ディジタル・カメラ１２は、黒レベル較正器２２を使用して、この２つの問題について訂正する。写真家は、垂直の線がオリジナル・イメージ１３になかったので、ディジタル・イメージ３３に明るい垂直線３５があることを望まない。スミアリークは、自動焦点モードまたは自動露出モードなど、より高速のビューファインド・モード(viewfind mode)では、ディスプレイ３４でディジタル・イメージを見る写真家に明白でない場合がある。これらのモードの露出時間は、通常はより短く、明るい光源が記憶素子を過剰に充てんする時間がより短い。より短い露出期間を有するモードでは、リーク電荷が垂直転送ラインに沿って他の記憶素子にカスケードすることが少ない。たとえば、ビューファインド・モードでは、記憶素子過負荷が、より短くより明白でないスミア線となる。
【００２５】
黒レベル較正器２２が、スミアリークを検出した場合に、ディジタル・カメラ１２は、絞り（Ｆストップ）を小さくして、アナログ画素データ１６の次のフレームのスミアリークを減らす。たとえば、ディジタル・カメラ１２が自動露出モードである場合、黒レベル較正器２２が、スミアを検出し、スミア検出信号６３を割込みジェネレータ６４に送り、この割込みジェネレータ６４がマイクロコントローラ３９に割り込む。その後、ディジタル・カメラ１２は、絞りを絞ってもう一度実世界のイメージ１３を再度取り込む。記憶素子過負荷は、より小さい絞りを有する第２の露光では発生する可能性が低い。記憶素子過負荷を引き起こした第１の露光から得られた画素値は、ディジタル・イメージ３３の生成に使用されない。この手順は、スミアリークを起こさない絞りが使用されるまで反復して繰り返す。
【００２６】
ディジタル・カメラ１２がビューファインド・モードでない時に、写真家は、ディジタル・イメージ３３にスミアリークが含まれることを警告され、その結果、写真家は、写真を撮りなおすことができる。その際、写真家は、明るい光源から離してカメラを向けるであろう。たとえば、浜辺のシーンが、露出過多のディジタル・イメージとなる場合であっても、写真家は、それでも、写真に太陽を含めないことによって、記憶素子過負荷とその結果の明るい垂直線を避けることができる。いくつかの場合に、写真家は、視覚効果として垂直線３５を保持することを望む場合がある。たとえば、露出不足となる、ろうそくの灯った食事シーンに、ろうそくの炎を通る明るい垂直線を持たせることができる。垂直線があるディジタル・イメージは、それが記憶媒体３６に保管されるｊｐｇファイルのファイル名にスミア表示を与えることができる。写真家は、後に、ディジタル・イメージがスミア視覚効果を含んでいることを識別することができる。さらに、スミアを有するイメージを含むディジタル・ファイルのファイル・ヘッダにも、スミア表示を含ませることができる。たとえば、スミア検出フィールド３８のビットが、ディジタル・ファイル３６に含まれるディジタル・イメージが記憶素子過負荷であることを示す。
【００２７】
図８Ａ〜Ｂに、ディジタル・カメラ１２のディスプレイ３４上のスミア・アイコン６５を示す。ディジタル・カメラ１２は、黒レベル較正器２２がスミアリークを検出した時に、スミア・アイコン６５を表示する。マイクロコントローラ３９が、スミア検出信号６３のアサートに応答して割り込まれた時に、マイクロコントローラ３９は、ディスプレイ３４に表示されるイメージにスミア・アイコン６５をスーパーインポーズさせるオンスクリーン・ディスプレイ論理をアクティブ化する。図８Ａでは、たとえば、スミア・アイコン６５が、明るい垂直線３５を含むディジタル・イメージ３３にスーパーインポーズされている。スミア・アイコン６５は、明るい垂直線３５が、スミアリークから生じたものであって、たとえばディジタル・カメラ１２のレンズ１４から垂直の角度で反射した太陽からのものでないことを示す。図８Ｂでは、写真家がディジタル・イメージ３３を取り込む前に、ビューファインド・モードでスミア・アイコン６５がディスプレイ３４に表示されている。ディスプレイ３４上のビューファインド・イメージ６６内のスミア・アイコン６５の出現は、写真家に、選択された絞りとシャッタ設定で写真を撮るとスミアリークを示すディジタル・イメージがもたらされることを警告する。
【００２８】
図９は、記憶素子過負荷を含むアナログ画素データ１６からでも黒レベル値を正しく較正する黒レベル較正器２２の単純化されたブロック図である。黒レベル較正器２２に、スミア検出回路６９、黒レベル・ジェネレータ７０、較正レジスタ７１、黒領域ジェネレータ７２、スミア領域ジェネレータ７３が含まれる。デシメーション回路２１は、ディジタル化され、デシメートされた画素データ２９を出力し、この画素データが、スミア検出回路６９と黒レベル・ジェネレータ７０によって受け取られる。この実施形態で、画素データ２９は１６ビット幅である。黒レベル・ジェネレータ７０は、スミアリークによって影響されていない黒領域画素値の平均値である黒レベル値７４を出力することによって、ＡＦＥ集積回路１７を較正する。平均化機能は、レジスタ７５と加算器７６によって実行される。他の実施形態では、黒レベル値７４が、加重平均値、補間された値、または黒領域画素値から導出される他の値である。スミア検出回路６９は、アナログ画素データ１６の黒領域画素値が、スミアリークによって影響された記憶素子に対応するかどうかを判定する。スミアリークの検出時に、スミア検出回路６９は、スミア検出信号６３を出力し、このスミア検出信号６３は、スミアリークによって影響された黒領域画素値の一部またはすべてが黒レベル値７４の実行中の平均計算に含まれなくなるように黒レベル・ジェネレータ７０をディスエーブルする。黒レベル値７４に基づく基準値７７〜８０が、較正レジスタ７１に保管される。イメージ・センサ１５内のセンサの色ごとに１つの基準値７７〜８０が導出される。たとえば、レジスタＣＡＬ０、ＣＡＬ１、ＣＡＬ２、ＣＡＬ３に、それぞれ赤、緑、青、黄色のセンサの基準値を含める。黒レベル較正器２２が、黒領域画素値でない画素値を受け取った時に、基準値７７〜８０が、対応する色のセンサからの画素値から引かれる。較正レジスタ７１は、画素データ２９の各画素値が対応する色を識別するカラーＩＤ信号８１を受け取る。記憶素子過負荷によって影響された画素値を黒レベル較正から除外することによって、基準値７７〜８０がより正確になり、ＤＩＰ  ＡＳＩＣ  ３２が、較正された画素データ３０の画素値を不正確な色として解釈する可能性が低くなる。
【００２９】
図１０に、黒レベル較正器２２のスミア検出回路６９をより詳細に示す。スミア検出回路６９に、状態機械８２、比較器８３、３つのレジスタ８４〜８６が含まれる。比較器８３は、１６本の入力リードでディジタル化されデシメートされた画素データ２９の各１６ビット値を受け取る。もう１つの実施形態で、デシメーション回路２１がディスエーブルされ、比較器８３が、ＡＤＣ  ２０によって使用されるものと同一のサンプリング・ポイントを有するディジタル化された画素データを受け取る。さらに、比較器８３は、レジスタ８４からの１６本の入力リードの追加の組で１６ビットしきい値（ＴＨＬＤ）を受け取る。しきい値（ＴＨＬＤ）は、マイクロコントローラ３９によってデータ・バス８７を介してレジスタ８４に書き込まれる。比較器８３は、画素データ２９の画素値が、欠陥のあるセンサまたは記憶素子に対応する時や光学的に黒の領域４４の外の記憶素子に対応する時に、デアサートされる有効データ入信号（ＤＩＮ＿ＶＬＤ）も受け取る。したがって、比較器８３は、光学的に黒の領域４４の外の記憶素子に対応するすべての画素値についてディジタル・ロウである論理信号８８を出力する。
【００３０】
論理信号８８は、画素データ２９の画素値がしきい値（ＴＨＬＤ）より大きい時にディジタル・ハイになる。しきい値（ＴＨＬＤ）は、光学的に黒の領域４４内の光にさらされていないセンサに関連する記憶素子からの通常の電荷の大きさに対応するようにプログラム可能である。しかし、光学的に黒の領域４４からの画素値は、複数の理由からしきい値（ＴＨＬＤ）を超える場合がある。たとえば、欠陥のあるセンサが、記憶素子を過度に充電させ、高すぎる画素値とする場合がある。熱も、画素値を高める可能性がある。一方、光学的に黒の領域４４の外の記憶素子からのリーク電荷によって、光学的に黒の領域４４内の記憶素子の画素値が増加する場合もある。記憶素子過負荷から生じる高い画素値を、欠陥画素や他の原因から生じる他の高い画素値から区別するために、スミア検出回路６９は、状態機械８２を使用する。
【００３１】
状態機械８２は、画素データ２９が、第１時間間隔より長い間しきい値（ＴＨＬＤ）を超える時に正常状態からスミア状態に推移する。状態機械８２は、スミア状態でスミア検出信号６３をアサートする。状態機械８２は、画素データ２９が、第２時間間隔より長い間しきい値（ＴＨＬＤ）未満になる時に正常状態に推移する。レジスタ８５、８６に書き込まれる２つの４ビット基準値が、それぞれ第１時間間隔と第２時間間隔を定義する。リセット信号（ＲＳＴ＿ＦＬＧ）は、各後続転送ラインからの画素値が分析される前に、状態機械８２を正常状態に戻す。
【００３２】
図１１に、状態機械８２の状態の間の可能な遷移を示す。状態機械８２は、状態０、１、２、３で正常状態であり、状態４、５、６でスミア状態である。リセット信号（ＲＳＴ＿ＦＬＧ）は、スミア検出回路６９がイメージ・センサ１５の各追加の転送ラインに関連する画素値のシーケンスを分析する前に、状態機械８２を状態０に戻す。この例では、状態機械８２は、論理信号８８が画素データ２９の４つの連続する画素値についてハイのままになる時に、状態０から状態４へ、正常状態からスミア状態へ推移する。したがって、レジスタ８５に書き込まれる４ビット基準値（Ｌ２Ｈ＿ＴＩＭＥ）は、０１００である。論理信号８８が、４つの連続する画素データについてハイのままになる前にロウになった場合には、状態機械８２は、状態０に戻される。状態機械８２は、論理信号８８が３つの連続する画素値についてロウのままになる時に、スミア状態から状態０に戻される。したがって、レジスタ８６に書き込まれる４ビット基準値（Ｈ２Ｌ＿ＴＩＭＥ）は、００１１である。
【００３３】
図１２は、状態機械８２の動作を示す波形図である。図１２には、画素データ２９の黒領域画素値のシーケンス８９が２画素値の期間９０にわたってしきい値（ＴＨＬＤ）を超える時に、状態機械８２が、スミア検出信号６３をアサートしないことが示されている。しかし、スミア検出信号６３は、黒領域画素値のシーケンス８９が少なくとも４ピクセル値にわたって延びる期間９１にわたってしきい値（ＴＨＬＤ）を超える時にアサートされる。その後、スミア検出信号６３は、黒領域画素値のシーケンス８９が、３つの連続する画素値にわたってしきい値（ＴＨＬＤ）未満になる時にデアサートされる。図１２には、光学的黒領域ＩＤ信号（ＯＢ＿ＡＲＥＡ＿ＩＤ）９２も示されている。
【００３４】
黒領域ジェネレータ７２は、光学的黒領域ＩＤ信号９２を生成し、この信号は、光学的に黒の領域４４内の記憶素子に対応する画素値についてアサートされる。図９に戻ると、黒領域ジェネレータ７２内のレジスタ９３は、光学的に黒の領域４４内にある各転送ラインの記憶素子を識別するようにプログラム可能である。たとえば、図７の光学的に黒の領域４４は、リードアウト行４８の後の各転送ラインの最初の３つの記憶素子である。他の実施形態では、光学的に黒の領域を、イメージ・センサの最上部の最後のＮ個の記憶素子とすることができる。黒領域は、リードアウト・ラインがイメージ・センサの１側面に沿って縦に走る場合に、イメージ・センサの横とすることができる。黒レベル・ジェネレータ７０は、黒領域ＩＤ信号９２がアサートされ、スミア検出信号６３がデアサートされている時に限って、イネーブルされ、較正計算に画素値を含める。
【００３５】
図１２に、スミア検出信号６３が、黒領域画素値のシーケンス８９の４つの連続する画素値がしきい値（ＴＨＬＤ）を超えた後に限ってアサートされることが示されている。しきい値（ＴＨＬＤ）を超える後続画素値は、黒レベル値７４を判定する計算から除外されるが、これらの４つの画素値は、それでも、黒レベル値７４の計算をゆがめる可能性がある。黒レベル・ジェネレータ７０内のバッファ９４（図９に図示）に、黒領域画素値のシーケンス８９の複数の画素値が保管され、これによって、複数の画素値の遅れを伴って黒レベル値７４の判定を実行できるようになる。この形で、複数の画素値（たとえば４つ）を、スミア検出信号６３がアサートされた後に黒レベル値７４の計算から除外することができる。
【００３６】
もう１つの実施形態では、黒レベル値７４が、イメージ・センサ１５の後続露出からの画素値を用いて再計算される。スミア領域ジェネレータ７３は、スミア検出信号６３のアサートをもたらした前の露光の画素値に基づいてスミア領域を判定する。スミア領域ジェネレータ７３が、スミア領域内にあるものとして後続露光からの画素値を識別した時に、これらの画素値を、バッファ９４を使用する画素値の入力の遅延なしで、黒レベル値７４の再計算から即座に除外することができる。スミア領域ジェネレータ７３内のレジスタ９５は、検出された記憶素子過負荷を有する転送ラインの両側の転送ラインのバンドを定義するパラメータを用いてプログラム可能である。転送ラインのバンド内の転送ラインからのすべての画素値が、スミア領域内にあるものとして特徴を表され、黒レベル値７４の再計算から除外される。
【００３７】
本発明を、教示のためにある特定の実施形態に関して説明したが、本発明は、これに制限されない。上で開示したスミア検出回路は、ディジタル・スチール・カメラの記憶素子過負荷を検出する。しかし、他の実施形態では、このスミア検出回路が、ディジタル・ビデオ・カメラの記憶素子過負荷を検出する。スミア検出回路を、上では、４色を感知するイメージ・センサからの画素データ内のスミアを検出するものとして説明した。他の実施形態では、スミア検出回路が、複数のイメージ・センサからの画素データのスミアを検出し、ここで、各イメージ・センサは、異なる色の光を感知する。したがって、請求項に示された本発明の範囲から外れずに、説明された実施形態のさまざまな特徴のさまざまな修正、適合、および組合せを実践することができる。
【図面の簡単な説明】
【００３８】
【図１】スミアリークによって引き起こされた明るい垂直線を含むディジタル・イメージを示す図である。
【図２】本発明の実施形態による黒レベル較正器を有するディジタル・カメラのアナログ・フロント・エンドを示す単純化された概略図である。
【図３】光学的に黒の領域を有するイメージ・センサを示す単純化された概略図である。
【図４】図３のイメージ・センサの記憶素子、センサ、垂直転送ラインを示すより詳細な図である。
【図５】電荷結合素子が記憶機能と切替機能の両方を実装する、図３のイメージ・センサの垂直転送ラインを示す図である。
【図６】図４の垂直転送ラインに沿った切替に使用されるパルス信号を示す波形図である。
【図７】明るい光源を有するイメージにさらされた図３のイメージ・センサを示す単純化された概略図である。
【図８】図２のディジタル・カメラのンスクリーン・ディスプレイ上のスミア・アイコンオを示す図である。
【図９】スミア検出回路を含む図２の黒レベル較正器を示すより詳細な図である。
【図１０】状態機械を含む図９のスミア検出回路を示すより詳細な図である。
【図１１】図１０の状態機械の状態の間の遷移を示す図である。
【図１２】図９のスミア検出回路の動作を示す波形図である。
【符号の説明】
【００３９】
１１  明るい垂直線、１０  ディジタル・イメージ、１２  高解像度ディジタル・カメラ、１３  実世界のイメージ、１４  レンズ、１５  イメージ・センサ、１６  アナログ画素データ、１７  アナログ・フロント・エンド（ＡＦＥ）集積回路、１８  タイミング・ジェネレータ部分、１９  ＣＤＳ（相関ダブル・サンプリング）機構、２０  アナログ・ディジタル変換器（ＡＤＣ）、２１  デシメーション回路、２２  黒レベル較正器、２３  信号処理ブロック、２４  ディジタル・イメージ処理（ＤＩＰ）インターフェース
２５  クロック・ジェネレータ、２６  垂直パルス信号、２７  水平パルス信号、２８  垂直ドライバ、２９  ディジタル化されデシメートされた画素データ、３０  ディジタル化されデシメートされ較正された画素データ、３１  ディジタル化されたイメージ・データ
【図１】
2006238418.tif 000003
【図２】
2006238418.tif 000004
【図３】
2006238418.tif 000005
【図４】
2006238418.tif 000006
【図５】
2006238418.tif 000007
【図６】
2006238418.tif 000008
【図７】
2006238418.tif 000009
【図８】
2006238418.tif 000010
【図９】
2006238418.tif 000011
【図１０】
2006238418.tif 000012
【図１１】
2006238418.tif 000013
【図１２】
2006238418.tif 000014