(57)【要約】イメージからグレーワールド統計のために画素をサンプリングする。飽和領域による影響を避けるために、画素は刈り込みされる。所定の比率の画素がグレーワールド統計に包括されたら、カラーチャネル利得が、計算され、イメージに適用される。結果として、カラーバランスが、容易かつ効率的な方法で実現される。【選択図】図２
2009520405.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサからの入力イメージデータ上でカラーバランス処理を行なう方法であって、
複数のカラーチャネルを有する前記入力イメージデータに対するグレーワールド統計を計算するステップと、
前記グレーワールド統計およびニュートラルホワイトポイントに基づいて、前記入力イメージデータに対するカラーチャネル利得を計算するステップと、
前記カラーチャネル利得を前記入力イメージデータの複数のカラーチャネルのそれぞれに適用することによって、前記入力イメージデータを出力イメージに変換するステップと、
を含む方法。
【請求項２】
前記グレーワールド統計を計算するステップが、所定の判断基準に基づいて前記グレーワールド統計の計算に使用された画素を刈り込みするステップをさらに含む、
請求項１に記載の方法。
【請求項３】
前記刈り込みするステップが、それぞれのカラーチャネルに対する高閾値および低閾値の範囲に基づいて、前記グレーワールド統計へと含める画素を選択することをさらに含む、
請求項２に記載の方法。
【請求項４】
前記刈り込みするステップが、前記所定の判断基準に適合する画素の合計数が前記グレーワールド統計の計算で考慮された画素の合計数のうちの所定の比率であるかどうかを判定するステップをさらに含む、
請求項２に記載の方法。
【請求項５】
前記カラーチャネル利得を計算するステップが、前記イメージセンサのカラーチャネル感度に関連して前記出力イメージを微調整するためにシステムチューニングパラメータを使用するステップをさらに含む、
請求項１に記載の方法。
【請求項６】
前記カラーチャネル利得を計算するステップが、前記チャネル利得を再帰的に再計算するステップをさらに含む、
請求項１に記載の方法。
【請求項７】
前記カラーチャネルが、レッドＲ、グリーンＧ、およびブルーＢであり、前記カラーチャネル利得が、
【数１】
2009520405.tif 000006
により計算され、
ここで、Ｇ＿ＧＡＩＮはグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮはレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮはブルーチャネルに対する利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記グレーワールドのサマリの色度を表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記ニュートラルホワイトポイントの色度を表す、
請求項１に記載の方法。
【請求項８】
前記チャネル利得を、
【数２】
2009520405.tif 000007
のように再帰的に計算するステップをさらに含み、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーチャネルに対する利得である、
請求項７に記載の方法。
【請求項９】
前記カラーチャネルが、レッドＲ、グリーンＧ、およびブルーＢであり、前記カラーチャネル利得が、
【数３】
2009520405.tif 000008
により計算され、
ここで、Ｇ＿ＧＡＩＮはグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮはレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮはブルーチャネルに対する利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記グレーワールドのサマリの色度を表し、
Ｇ＿ＢＩＡＳはチューニングパラメータを表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記ニュートラルホワイトポイントの色度を表す、
請求項１に記載の方法。
【請求項１０】
前記チャネル利得を、
【数４】
2009520405.tif 000009
のように再帰的に計算するステップをさらに含み、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーチャネルに対する利得である、
請求項９に記載の方法。
【請求項１１】
前記カラーチャネル利得を計算するステップが、前記計算されたカラーチャネル利得を正規化するステップをさらに含む、
請求項１に記載の方法。
【請求項１２】
前記計算されたカラーチャネル利得を、
【数５】
2009520405.tif 000010
のように正規化するステップをさらに含む、
請求項１１に記載の方法。
【請求項１３】
前記計算されたカラーチャネル利得をローパスフィルタでフィルタリングするステップをさらに含む、
請求項１に記載の方法。
【請求項１４】
所定数のカラーチャネル利得を保存するステップと、
前記保存された所定数のカラーチャネル利得を平均化することによって、前記カラーチャネル利得を計算するステップと、をさらに含む、
請求項１に記載の方法。
【請求項１５】
前記入力イメージセンサがビデオカメラの一部である、
請求項１に記載の方法。
【請求項１６】
前記入力イメージがＲＧＢイメージである、
請求項１に記載の方法。
【請求項１７】
前記入力イメージがアナログである、
請求項１に記載の方法。
【請求項１８】
前記入力イメージがデジタルである、
請求項１に記載の方法。
【請求項１９】
イメージセンサからの入力イメージデータ上でカラーバランス処理を行なう撮像デバイスであって、
複数のカラーチャネルを有する前記入力イメージデータに対するグレーワールド統計を計算し、
前記グレーワールド統計およびニュートラルホワイトポイントに基づいて、前記入力イメージデータに対するカラーチャネル利得を計算し、
前記カラーチャネル利得を前記入力イメージデータの複数のカラーチャネルのそれぞれに適用することによって、前記入力イメージデータを出力イメージに変換する回路、
を含むデバイス。
【請求項２０】
前記回路がマイクロプロセッサである、
請求項１９に記載のデバイス。
【請求項２１】
グレーワールド統計を計算する前記回路がさらに、所定の判断基準に基づいて前記グレーワールド統計の計算に使用された画素を刈り込みする、
請求項１９に記載のデバイス。
【請求項２２】
刈り込みする前記回路がさらに、それぞれのカラーチャネルに対する高閾値および低閾値の範囲に基づいて前記グレーワールド統計へと含める画素を選択する、
請求項２１に記載のデバイス。
【請求項２３】
刈り込みする前記回路がさらに、前記所定の判断基準に適合する画素の合計数が前記グレーワールド統計の計算内で考慮された画素の合計数のうちの所定の比率であるかどうかを判定するステップを含む、
請求項２１に記載のデバイス。
【請求項２４】
カラーチャネル利得を計算する前記回路がさらに、前記イメージセンサのカラーチャネル感度に関連して前記出力イメージを微調整する、
請求項１９に記載のデバイス。
【請求項２５】
前記カラーチャネル利得を計算する前記回路がさらに、前記チャネル利得を再帰的に再計算する、
請求項１９に記載のデバイス。
【請求項２６】
前記カラーチャネルが、レッドＲ、グリーンＧ、およびブルーＢであり、前記カラーチャネル利得が、
【数６】
2009520405.tif 000011
により計算され、
ここで、Ｇ＿ＧＡＩＮはグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮはレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮはブルーチャネルに対する利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記グレーワールドのサマリの色度を表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記ニュートラルホワイトポイントの色度を表す、
請求項１９に記載のデバイス。
【請求項２７】
前記チャネル利得が、
【数７】
2009520405.tif 000012
のように再帰的に計算され、
Ｇ＿ＧＡＩＮ´は再計算されたグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーチャネルに対する利得である、
請求項２６に記載のデバイス。
【請求項２８】
前記カラーチャネルが、レッドＲ、グリーンＧ、およびブルーＢであり、前記カラーチャネル利得が、
【数８】
2009520405.tif 000013
により計算され、
ここで、Ｇ＿ＧＡＩＮはグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮはレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮはブルーチャネルに対する利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記グレーワールドのサマリの色度を表し、
Ｇ＿ＢＩＡＳはチューニングパラメータを表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記ニュートラルホワイトポイントの色度を表
す、
請求項１９に記載のデバイス。
【請求項２９】
前記チャネル利得が、
【数９】
2009520405.tif 000014
のように再帰的に計算され、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーチャネルに対する利得である、
請求項２８に記載のデバイス。
【請求項３０】
前記カラーチャネル利得を計算する前記回路がさらに、前記計算されたカラーチャネル利得を正規化する回路を含む、
請求項１９に記載のデバイス。
【請求項３１】
前記計算されたカラーチャネル利得を、
【数１０】
2009520405.tif 000015
のように正規化する回路をさらに含む、
請求項３０に記載のデバイス。
【請求項３２】
前記計算されたカラーチャネル利得をローパスフィルタでフィルタリングする回路をさらに含む、
請求項１９に記載のデバイス。
【請求項３３】
所定数のカラーチャネル利得を保存し、
前記保存された所定数のカラーチャネル利得を平均化することによって、前記カラーチャネル利得を計算する回路、をさらに含む、
請求項１９に記載のデバイス。
【請求項３４】
前記入力イメージセンサがビデオカメラの一部である、
請求項１９に記載のデバイス。
【請求項３５】
前記入力イメージがＲＧＢイメージである、
請求項１９に記載のデバイス。
【請求項３６】
前記入力イメージがアナログである、
請求項１９に記載のデバイス。
【請求項３７】
前記入力イメージがデジタルである、
請求項１９に記載のデバイス。
【請求項３８】
イメージセンサからの入力イメージデータ上でカラーバランス処理を行なうバランシングユニットであって、
複数のカラーチャネルを有する前記入力イメージデータに対するグレーワールド統計を計算する手段と、
前記グレーワールド統計およびニュートラルホワイトポイントに基づいて、前記入力イメージデータに対するカラーチャネル利得を計算する手段と、
前記カラーチャネル利得を前記入力イメージデータの複数のカラーチャネルのそれぞれに適用することによって、前記入力イメージデータを出力イメージに変換する手段と、
を含むユニット。
【請求項３９】
前記グレーワールド統計を計算する手段が、所定の判断基準に基づいて前記グレーワールド統計の計算に使用された画素を刈り込みする手段をさらに含む、
請求項３８に記載のユニット。
【請求項４０】
前記刈り込みする手段が、それぞれのカラーチャネルに対する高閾値および低閾値の範囲に基づいて前記グレーワールド統計へと含める画素の選択をさらに含む、
請求項３９に記載のユニット。
【請求項４１】
前記刈り込みする手段が、所定の判断基準に適合する画素の合計数が前記グレーワールド統計の計算内で考慮された画素の合計数のうちの所定の比率であるかどうかを判定する手段をさらに含む、
請求項３９に記載のユニット。
【請求項４２】
前記カラーチャネル利得を計算する手段が、前記イメージセンサのカラーチャネル感度に関連して前記出力イメージを微調整するためにシステムチューニングパラメータを使用する手段をさらに含む、
請求項３８に記載のユニット。
【請求項４３】
前記カラーチャネル利得を計算する手段が、前記チャネル利得を再帰的に再計算する手段をさらに含む、
請求項３８に記載のユニット。
【請求項４４】
前記カラーチャネル利得を計算する手段が、前記計算されたカラーチャネル利得を正規化する手段をさらに含む、
請求項３８に記載のユニット。
【請求項４５】
前記計算されたカラーチャネル利得をローパスフィルタでフィルタリングする手段をさ
らに含む、
請求項３８に記載のユニット。
【請求項４６】
所定数のカラーチャネル利得を保存する手段と、
前記保存された所定数のカラーチャネル利得を平均化することによって、前記カラーチャネル利得を計算する手段と、をさらに含む、
請求項３８に記載のユニット。
【請求項４７】
イメージ信号を供給する画素配列と、
イメージ信号を読み出す読み出し回路と、
読み出されたイメージ信号から決定された入力イメージデータ上でカラーバランス処理を行なう撮像デバイスと、
を含み、前記デバイスが、
複数のカラーチャネルを有する前記入力イメージデータに対するグレーワールド統計を計算し、
前記グレーワールド統計およびニュートラルホワイトポイントに基づいて、前記入力イメージデータに対するカラーチャネル利得を計算し、
前記カラーチャネル利得を前記入力イメージデータの複数のカラーチャネルのそれぞれに適用することによって、前記入力イメージデータを出力イメージに変換する、
ようにプログラムされたイメージプロセッサを含む、撮像素子システム。
【請求項４８】
前記撮像デバイスの出力を受信するプロセッサをさらに含む、
請求項４７に記載のシステム。
【請求項４９】
前記グレーワールド統計を計算するステップが、所定の判断基準に基づいて前記グレーワールド統計の計算に使用された画素を刈り込みするステップをさらに含む、
請求項４７に記載のシステム。
【請求項５０】
前記刈り込みするステップが、それぞれのカラーチャネルに対する高閾値および低閾値の範囲に基づいて前記グレーワールド統計へと含める画素の選択をさらに含む、
請求項４９に記載のシステム。
【請求項５１】
前記刈り込みするステップが、前記所定の判断基準に適合する画素の合計数が前記グレーワールド統計の計算内で考慮された画素の合計数のうちの所定の比率であるかどうかを判定するステップをさらに含む、
請求項４９に記載のシステム。
【請求項５２】
前記カラーチャネル利得を計算するステップが、前記イメージセンサのカラーチャネル感度に関連して前記出力イメージを微調整するためにシステムチューニングパラメータを使用するステップをさらに含む、
請求項４７に記載のシステム。
【請求項５３】
前記カラーチャネル利得を計算するステップが、前記チャネル利得を再帰的に再計算するステップをさらに含む、
請求項４７に記載の方法。
【請求項５４】
前記カラーチャネルが、レッドＲ、グリーンＧ、およびブルーＢであり、前記イメージプロセッサが前記カラーチャネル利得を、
【数１１】
2009520405.tif 000016
により計算するようにプログラムされ、
ここで、Ｇ＿ＧＡＩＮはグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮはレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮはブルーチャネルに対する利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記グレーワールドのサマリの色度を表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記ニュートラルホワイトポイントの色度を表す、
請求項４７に記載のシステム。
【請求項５５】
前記イメージプロセッサが、前記チャネル利得を、
【数１２】
2009520405.tif 000017
のように再帰的に計算するようにプログラムされ、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーチャネルに対する利得である、
請求項５４に記載のシステム。
【請求項５６】
前記カラーチャネルが、レッドＲ、グリーンＧ、およびブルーＢであり、前記イメージ
プロセッサが、前記カラーチャネル利得を、
【数１３】
2009520405.tif 000018
のように計算するようにプログラムされ、
ここで、Ｇ＿ＧＡＩＮはグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮはレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮはブルーチャネルに対する利得であり、
ＧＷ＿ＣＲ、ＧＷ＿ＣＢ、およびＧＷ＿ＣＧは前記グレーワールドのサマリの色度を表し、
Ｇ＿ＢＩＡＳはチューニングパラメータを表し、
Ｎ＿ＣＲ、Ｎ＿ＣＢ、およびＮ＿ＣＧは前記ニュートラルホワイトポイントの色度を表す、
請求項４７に記載のシステム。
【請求項５７】
前記イメージプロセッサが、前記チャネル利得を、
【数１４】
2009520405.tif 000019
のように再帰的に再計算するステップをさらに含み、
ここで、Ｇ＿ＧＡＩＮ´は再計算されたグリーンチャネルに対する利得であり、Ｒ＿ＧＡＩＮ´は再計算されたレッドチャネルに対する利得であり、Ｂ＿ＧＡＩＮ´は再計算されたブルーチャネルに対する利得である、
請求項５６に記載のシステム。
【請求項５８】
前記イメージプロセッサが、前記計算されたカラーチャネル利得を正規化するようにプログラムされた、
請求項４７に記載のシステム。
【請求項５９】
前記イメージプロセッサが、前記計算されたカラーチャネル利得を、
【数１５】
2009520405.tif 000020
のように正規化するようにプログラムされた、
請求項５８に記載のシステム。
【請求項６０】
前記イメージプロセッサが、前記計算されたカラーチャネル利得をローパスフィルタでフィルタリングするようにプログラムされた、
請求項４７に記載のシステム。
【請求項６１】
前記イメージプロセッサが、
所定数のカラーチャネル利得を保存し、
前記保存された所定数のカラーチャネル利得を平均化することによって、前記カラーチャネル利得を計算するようにプログラムされた、
請求項４７に記載のシステム。
【請求項６２】
前記入力イメージセンサがビデオカメラの一部である、
請求項４７に記載のシステム。
【請求項６３】
前記入力イメージがＲＧＢイメージである、
請求項４７に記載のシステム。
【請求項６４】
前記入力イメージがアナログである、
請求項４７に記載のシステム。
【請求項６５】
前記入力イメージがデジタルである、
請求項４７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像デバイスに関し、より詳細には、撮像システム用の自動カラーバランス技術に関する。
【背景技術】
【０００２】
電荷結合素子（ＣＣＤ）、ＣＭＯＳ撮像素子などを含む固体撮像素子が、光撮像の用途で用いられてきた。固体撮像素子回路は画素セルの焦点面配列を備え、各セルのそれぞれはフォトセンサを備えるが、このフォトセンサは、光ゲート、光導電体、または、光によって誘起された電荷を蓄積するためのドープト領域を備えたフォトダイオードでもよい。各画素セルは、基板の上または中に形成された電荷蓄積領域を有しており、これは読み出し回路の一部である出力トランジスタのゲートに接続されている。この電荷蓄積領域は、フローティング拡散領域として構成されていてもよい。撮像素子回路のなかには、各画素セルが、電荷をフォトセンサから蓄積領域へ転送するトランジスタなどの少なくとも１つの電子デバイスと、電荷の転送に先立って蓄積領域を所定の電荷レベルにリセットするデバイス、典型的にはトランジスタを含むものもありうる。
【０００３】
ＣＭＯＳ撮像素子においては、画素セルのアクティブ素子が、（１）光を電荷に変換する機能、（２）画像電荷を蓄積する機能、（３）蓄積領域を既知の状態にリセットする機能、（４）電荷を蓄積領域に転送する機能、（５）読み出しのための画素を選択する機能、（６）画素電荷を表す信号を出力および増幅する機能、を実行する。光蓄積領域での電荷は、典型的には、ソースフォロワ出力トランジスタにより画素出力電圧に変換される。
【０００４】
上述したタイプのＣＭＯＳ撮像素子は、例えば、マイクロンテクノロジー社に譲渡された米国特許第６１４０６３０号明細書、米国特許第６３７６８６８号明細書、米国特許第６３１０３６６号明細書、米国特許第６３２６６５２号明細書、米国特許第６２０４５２４号明細書、および米国特許第６３３３２０５号明細書において議論されているように、広く知られている。これらの文献は、その参照をもって、その全体が本明細書に含まれる。
【０００５】
色彩恒常は、人間の視覚システムの特徴の１つである。人間の視覚システムには、さまざまな照明条件下でカラー物体を識別する非常に優れた能力がある。物体の色は、太陽光、月光、白熱灯、蛍光灯、および、ろうそくの明かりなどの、大いに異なる自然および人工の光源下で、実質的に同じに見える。しかしながら、照明の分光分布の変化により、知覚される光景の明度および色の見え方が変化する。人間の視覚システムが、光源の影響を完全に除去することはない。
【０００６】
考えられる解釈は、人間の視覚システムは絶対的な測色デバイスとしては機能しない、とうことである。知覚されるイメージは、光源および物体の反射率による干渉を含んでいる。したがって、撮像デバイスから取り込まれたイメージが自然に見えるためには、人間の視覚システムが機能するのと同様に、光源による影響が保持されなければならない。例えば、再現される日没の光景は日没の光景のように見えなければならない。この仮説は、グレーがグレーとして印刷されるような正確なカラーバランスの代わりに、写真全体を積算するとグレーになるような調節がなされた場合に、より満足のいく効果がカラープリントの際にしばしば得られる、というＲ．Ｗ．Ｇ．Ｈｕｎｔの観察によって支持される。Ｒ．Ｗ．Ｇ．Ｈｕｎｔの、「Ｔｈｅ  Ｒｅｐｒｏｄｕｃｔｉｏｎ  ｏｆ  Ｃｏｌｏｕｒ」１６．７項を参照されたい。グレーワールド理論(Ｔｈｅ  ｇｒａｙ  ｗｏｒｌｄ  ｔｈｅｏｒｙ）においては、写真の中のすべての色を積算するとグレーになる、すなわち、平均するとグレーになる、と仮定されている。それに応じて、取り込まれたイメージをより正確にカラーバランスする撮像デバイスの必要性および要望がある。
【発明の開示】
【０００７】
本発明は、それによって異なった照明下でのイメージのカラーバランスをより綿密に保持できる、カラーバランス方法および装置を提供する。本発明の例示的な実施形態によると、撮像素子カラースーペース、例えば、レッド−グリーン−ブルー（ＲＧＢ）カラースペース、を有する入力イメージからグレーワールド統計(ｇｒａｙ  ｗｏｒｌｄ  ｓｔａｔｉｓｔｉｃｓ）のために画素をサンプリングする。飽和領域による影響を避けるために、画素は刈り込み（ｐｒｕｎｅｄ）される。所定の比率の画素がグレーワールド統計に包括されたら、利得が、ニュートラルホワイトポイントに関連したそれぞれのＲＧＢチャネルに対して演算される。チャネル利得は、ＲＧＢイメージに適用される。このプロセスは、表示に適した、変換／カラーバランスされたイメージを生成する。
【０００８】
本発明は、アナログまたはデジタルのイメージデータ上で動作するように実装されてもよく、ハードウェアまたはソフトフェア中、あるいはその組み合わせの中で実行されてもよい。
【０００９】
本発明の、上記および他の、効果および特徴が、付随する図面に関連して後述される例示的な実施形態の詳細な説明からより明らかになるであろう。
【発明を実施するための最良の形態】
【００１０】
以下の説明において、例示的な撮像素子カラースペースはＲＧＢカラースペースとして説明されるが、例えば、減法混色ＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）カラースペースを含む、他のカラーイメージングプロトコルを本発明中で使用してもよい。
【００１１】
本発明の一般的なプロセスの流れが図面に関連して説明される。図１を参照すると、ＲＧＢカラースペースからの画像センサデータが、ベイヤ（Ｂａｙｅｒ）モザイクフィルタパターンなどのタイル（ｔｉｌｅｄ）カラーフィルタ配列を用いて画像センサ２から得られる。タイル（ｔｉｌｅｄ）ベイヤＲＧＢ(Ｂａｙｅｒ−ＲＧＢ)信号を補間するデモザイク（ｄｅ−ｍｏｓａｉｃ）プロセス３は、Ｒｉ、Ｇｉ、およびＢｉ信号を生成するのに適用される。Ｒｉ、Ｇｉ、およびＢｉ信号を、図３および図４を参照してより詳細に説明されるように、イメージの色度統計を集め、チャネル利得を計算することにより、カラーバランスすることによって、Ｒｂ、Ｇｂ、およびＢｂ信号を生成する。Ｒｂ、Ｇｂ、およびＢｂ信号には、次に、従来のカラー補正法を応用することによってカラー補正プロセス５が施されて、Ｒｔ、Ｇｔ、およびＢｔ信号が生成される。ディスプレイマッピング６を、カラー補正されたＲｔ、Ｇｔ、およびＢｔ信号に適用して、出力プロセス７でのＲＧＢイメージを表示か何らかの出力をするのに適したＲ´、Ｇ´、Ｂ´信号を生成する。任意の知られているモザイク、デモザイク（ｄｅ−ｍｏｓａｉｃ）、カラー補正、ディスプレイマッピング、およびディスプレイの技術を、プロセスブロック２、３、５、６、７においてそれぞれ使用できることが理解されよう。
【００１２】
図１、ブロック４の、カラーバランスプロセスが、図２を参照して、より詳細に説明される。まず、刈り込みされたグレーワールド統計、Ｒ＿Ｓｕｍ、Ｇ＿Ｓｕｍ、Ｂ＿Ｓｕｍ、およびカウント（Ｃｏｕｎｔ）が、プロセス４ａで計算される。次いで、チャネル利得Ｒ＿Ｇａｉｎ、Ｇ＿Ｇａｉｎ、およびＢ＿Ｇａｉｎが、プロセスブロック４ｂで計算され、入力信号Ｒｉ、Ｇｉ、およびＢｉに適用されることで、カラーバランスされたＲｂ、Ｇｂ、およびＢｂが生成される。
【００１３】
図２に示されるプロセスが、本発明の例示的な実施形態に関連して、以下により詳細に
説明される。まず、プロセスブロック４ａを参照すると、グレーワールド統計が、入力イメージをグレーへと積算することによって得られる。その開示が参照により本明細書に含まれる、Ｒ．Ｗ．Ｇ．Ｈｕｎｔの、「Ｔｈｅ  Ｒｅｐｒｏｄｕｃｔｉｏｎ  ｏｆ  Ｃｏｌｏｕｒ」第４版、１９８７年、Ｆｏｕｎｔａｉｎ  Ｐｒｅｓｓ社、を参照されたい。本発明の例示的な実施形態では、入力イメージのすべての画素が、プロセスブロック４ａでサンプリングされ、グレーへと積算される。それぞれの画素のカラーチャネルの色度の合計（Ｒ＿ＳＵＭ、Ｇ＿ＳＵＭ、およびＢ＿ＳＵＭ）がプロセスブロック４ａで計算され、次いで、プロセスブロック４ｂにおいてグレーワールドサマリ（ｇｒａｙ  ｗｏｒｌｄ  ｓｕｍｍａｒｙ）の色度を計算するために用いられる。グレーワールドサマリの色度は、次のように示される。レッド値は、ＧＷ＿ＣＲ＝Ｒ＿ＳＵＭ／（Ｒ＿ＳＵＭ＋Ｇ＿ＳＵＭ＋Ｂ＿ＳＵＭ）、グリーン値は、ＧＷ＿ＣＧ＝Ｇ＿ＳＵＭ／（Ｒ＿ＳＵＭ＋Ｇ＿ＳＵＭ＋Ｂ＿ＳＵＭ）、および、ブルー値は、ＧＷ＿ＣＢ＝Ｂ＿ＳＵＭ／（Ｒ＿ＳＵＭ＋Ｇ＿ＳＵＭ＋Ｂ＿ＳＵＭ）、である。例示的な実施形態では、３つのすべての成分の色度を足すと1になる。つまり、ＧＷ＿ＣＲ＋ＧＷ＿ＣＧ＋ＧＷ＿ＣＢ＝１、である。イメージ内の画素のランダムサンプリング、または、画素を選択するいかなる方法または動作を含む、しかしそれに限定はされない、いかなる周知の画素選択方法が、プロセスブロック４ａで採用されてもよいことが理解されよう。
【００１４】
グレーワールド統計の精度は、刈り込み、すなわち、飽和に近い画素などの明らかなアウトライアー（外れ値）を除去して、完全に飽和したカラーオブジェクト等を補償することによって、さらに高められる。例示的な刈り込みプロセスは、図３のフローチャートで示される。初めに、画素が選択される（ステップ１０）。例示的な刈り込みプロセスにおいては、グリーン値がプリセットの小さめの値(ＬＯＷ＿ＧＲＥＥＮ＿ＶＡＬＵＥ)より高くプリセットの大きめの値（ＨＩＧＨ＿ＧＲＥＥＮ＿ＶＡＬＵＥ）より低い場合、レッド値をグリーン値で割ったときの値がプリセットの小さめの値（ＬＯＷ＿ＲＥＤ＿ＧＲＥＥＮ＿ＦＲＡＣＴＩＯＮ）より高くプリセットの大きめの値（ＨＩＧＨ＿ＲＥＤ＿ＧＲＥＥＮ＿ＦＲＡＣＴＩＯＮ）より低い場合、および、ブルー値をグリーン値で割ったときの値がプリセットの小さめの値（ＬＯＷ＿ＢＬＵＥ＿ＧＲＥＥＮ＿ＦＲＡＣＴＩＯＮ）より高くプリセットの大きめの値（ＨＩＧＨ＿ＢＬＵＥ＿ＧＲＥＥＮ＿ＦＲＡＣＴＩＯＮ）より低い場合に、画素がグレーワールド統計に含まれる。これらのテストは、図３のステップ２０で行われる。
【００１５】
画素が上記の基準（ステップ２０）をパスした場合、画素のレッド値、グリーン値、およびブルー値が、Ｒ＿ＳＵＭ、Ｇ＿ＳＵＭ、およびＢ＿ＳＵＭの成分の総計に加えられ、有効な画素カウント（ＣＯＵＮＴ）が増加する（ステップ３０）。選択された画素がサンプリングされる最後の画素でない場合（ステップ４０）、次の画素が選択され（ステップ１０）、刈り込み基準判定が再度行われる（ステップ２０）。図３を参照して上述されたように、同じ動作ステップが、グレーワールド統計に含まれるべき最後の画素が選択されたと判定されるまで行われる（ステップ４０）。画素が、ステップ２０で刈り込み基準を満たさないと判定された場合、ステップ４０が上述されたように実行される。
【００１６】
選択された画素がサンプリングされるイメージの中で最後の画素だと判定された場合（ステップ４０において、「ｙｅｓ」）、カラーバランスシステムは、ステップ５０において、ＣＯＵＮＴが、サンプリングされたイメージ画素の合計数のうちの所定の比率であるか、例えば、サンプリングされた画素の合計数の４分の１以上であるか、を判定する。ＣＯＵＮＴがサンプリングされたイメージ画素の合計数の所定の比率以上である場合、カラーチャネル利得が有効であると見なされ（ステップ６０）、次いで、プロセスブロック４ｂで計算され、イメージデータＲｉ、Ｇｉ、およびＢｉに適用される。そうでない場合、利得は無効であると見なされ、カラーチャネルは変更されない（ステップ７０）。ステップ５０、すなわち、サンプリングされた画素の合計が所定の比率であるかの判定は、チャネル利得が計算される前に行なわれた方が効率的であるが、チャネル利得が計算された後に行なわれることも可能であることが留意されるべきである。
【００１７】
プロセスブロック４ｂ（図２）内のチャネル利得の計算は、所定のニュートラルホワイトポイント色度に対するグレーワールドサマリ色度のバランシングを中心に回る。色度は、国際照明委員会（ＣＩＥ）ＸＹＺ標準観測器三刺激表色系（ｓｔａｎｄａｒｄ  ｏｂｓｅｒｖｅｒ  ｔｒｉ−ｓｔｉｍｕｌｕｓ  ｃｏｌｏｒｉｍｅｔｒｉｃ  ｓｙｓｔｅｍ）と同様の概念に規定される。その開示が参照によって本明細書中に組み込まれる、Ｗｙｓｚｅｃｋｉ  ａｎｄ  Ｓｔｉｌｅｓ著、Ｗｉｌｅｙ出版、ＩＳＢＮ  ０−４７１−３９９１８−３の、「Ｃｏｌｏｒ  Ｓｃｉｅｎｃｅ  Ｃｏｎｃｅｐｔｓ  ａｎｄ  Ｍｅｔｈｏｄｓ，Ｑｕａｎｔｉｔａｔｉｖｅ  Ｄａｔａ  ａｎｄ  Ｆｏｒｍｕｌａｅ」を参照されたい。イメージセンサのスペクトル感度は、通常、ＣＩＥ標準観測器と同じではない。カラーバランスは光景の照明に依存するので、光景のニュートラルホワイトポイントを、周知の光源に対して較正する必要がある。
【００１８】
ニュートラルホワイトポイントの色度は、プロセスブロック４ｂで判定される。その判定は、イメージセンサのスペクトル感度、ユーザーの基本設定に基づいたプリセット、または、その２つの組み合わせとして自動的に計算される。ニュートラルホワイトポイントを選択する周知の方法のうち、いずれが用いられてもよいことが理解されよう。ニュートラルホワイトポイントの色度は、レッド値、Ｎ＿ＣＲ、グリーン値、Ｎ＿ＣＧ、ブルー値、Ｎ＿ＣＢの３つの成分で構成されている。好適な実施形態では、３つすべての成分の色度の合計が１になる。つまり、Ｎ＿ＣＲ＋Ｎ＿ＣＧ＋Ｎ＿ＣＢ＝１、である。
【００１９】
好適な実施形態では、システムチューニングパラメータ、Ｇ＿ＢＩＡＳが、イメージセンサのカラーチャネル感度に関連して、レンダリングされたイメージを微調整するために用いられてもよい。Ｇ＿ＢＩＡＳは、イメージセンサのカラーチャネル感度、ユーザーの基本設定に基づいたプリセット、または、その２つの組み合わせに関連して、自動的に計算される。システムチューニングパラメータを選択する方法のうち、いずれが用いられてもよいことが理解されよう。
【００２０】
本発明の実施形態では、グリーンチャネル利得、Ｇ＿ＧＡＩＮが、ニュートラルホワイトポイントの色度（Ｎ＿ＣＲ、Ｎ＿ＣＧ、Ｎ＿ＣＢ）、グレーワールドサマリの色度（ＧＷ＿ＣＲ、ＧＷ＿ＣＧ、ＧＷ＿ＣＢ）、および、オプションのシステムチューニングパラメータ（Ｇ＿ＢＩＡＳ）の関数として計算される。レッドチャネル利得を独立して計算するのではなく、レッドチャネル利得をグリーンチャネル利得の関数として計算する。最後に、ブルーチャネル利得が、レッドチャネル利得およびグリーンチャネル利得の関数として計算される。本発明のある実施形態では、上述されたパラメータが、プロセスブロック４ｂで、それぞれのカラーチャネルに対する利得を計算するために、次のように用いられる。
【００２１】
【数１６】
2009520405.tif 000003
【００２２】
好適な実施形態における、チャネル利得の再帰的計算は、プロセスブロック４ｂで行なわれ、チャネル利得のより完全な正規化（または規格化：ｎｏｒｍａｌｉｚａｔｉｏｎ）を可能にする。再帰的(反復的：ｒｅｃｕｒｓｉｖｅ)計算は、（式１）、（式２）、（式３）の計算、および、次の各再帰的計算から成り、これらの計算は、所望の回数繰り返されることが可能である。
【００２３】
【数１７】
2009520405.tif 000004
【００２４】
好適な実施形態では、式（１）、（２）、および（３）、または、式（４）、（５）、および（６）、のいずれかで計算された、便宜上、Ｒ＿ＧＡＩＮ、Ｇ＿ＧＡＩＮ、Ｂ＿ＧＡＩＮ、と表されるチャネル利得が、各カラーチャネル間の比率を維持する一方、プロセスブロック４ｂで正規化されて、輝度信号のばらつきを最小限にする。グリーンチャネルが輝度信号の大部分を占めるので、輝度信号のばらつきは、グリーンチャネルを１．０にセットすることで最小化され、レッドチャネル利得およびブルーチャネル利得が、レッドチャネル利得、グリーンチャネル利得、およびブルーチャネル利得の間の比率を維持する一方、再計算される。これは、次の各式により実現される。
【００２５】
【数１８】
2009520405.tif 000005
【００２６】
好適な実施形態では、プロセスブロック４ｂで計算され上述されたレッドチャネル利得、グリーンチャネル利得、およびブルーチャネル利得が、信号Ｒｉ、Ｇｉ、およびＢｉをそれぞれプロセスブロック４で調節するために用いられて、信号Ｒｂ、Ｇｂ、およびＢｂが生成される。単一スナップ写真の用途では、得られたチャネル利得を、続くカラープロセス段階に応用することができる。ビデオの用途では、ビデオデータフローが連続的である必要があるが、それぞれのフレームに対する新しいチャネル利得をプロセスブロック４ｃで保存して次のフレームに適用できる。よりスムースな移行が望まれる場合は、チャネル利得のローパスフィルタリングが、多数の過去のチャネル利得を保存し、かつ、過去のチャネル利得と現在のチャネル利得のローパスフィルタリングを行なうことにより、実装できる。ローパスフィルタリングを、プロセスブロック４ｃに示すように、移動平均（ｒｕｎｎｉｎｇ  ｍｅａｎ）または移動平均化フィルタ（ｍｏｖｉｎｇ  ａｖｅｒａｇｅ  ｆｉｌｔｅｒ）によって、実装することができる。いかなるローパスフィルタリング方法が用いられてもよいことが理解されよう。
【００２７】
上記の記述から明らかなように、本発明は、有意なカラーバランスを実現し、明瞭であり、比較的その実装が容易である。結果として、カラーバランスが、容易かつ効率的な方法で実現される。
【００２８】
図４は、図１のブロック２に示されるプロセスを供給するのに適切な画素配列２４０を有する例示的な撮像デバイス３００を示す。図４の撮像デバイスは、ベイヤフィルタを採用し、Ｒ、Ｇ、Ｂ画素出力信号を生成する。配列２４０の行ラインは、行アドレスデコーダ２５５に対応して、行ドライバ２４５により選択的に活性化される。撮像デバイス３００は、列ドライバ２６０および列アドレスデコーダ２７０も含む。撮像デバイス３００は、アドレスデコーダ２５５およびアドレスデコーダ２７０を制御するタイミング・制御回路２５０により動作される。また、制御回路２５０は、行ドライバ回路２４５および列ドライバ回路２６０も制御する。
【００２９】
列ドライバ２６０に関連するサンプルアンドホールド回路２６１は、配列２４０の選択された画素に対して、画素リセット信号Ｖｒｓｔおよび画素イメージ信号Ｖｓｉｇを読み出す。差分信号（Ｖｒｓｔ−Ｖｓｉｇ）が、差動増幅器２６２によりそれぞれの画素に対して生成され、アナログ／デジタルコンバータ２７５（ＡＤＣ）によってデジタル化される。アナログ／デジタルコンバータ２７５は、デジタル化された信号をイメージプロセッサ２８０に供給し、このイメージプロセッサ２８０は、デジタルイメージを形成してもよく、出力してもよい。イメージプロセッサ２８０は、本発明のカラーバランスプロセス（図１、ブロック４）を画素アレイ２４０で行なうことが可能な回路（例えば、プロセッサ）を有している。
【００３０】
一方、カラーバランスプロセスは、増幅器２６２とＡＤＣ２７５との間に位置するハードワイヤード回路または論理回路（図示せず）によって、画素配列のアナログ出力上で行なわれることも可能であり、あるいは、別のデバイスによって、ソフトウェア内またはハードウェア内のイメージプロセッサのデジタルイメージ出力上で行なわれることも可能である。
【００３１】
図５は、本発明によるカラーバランス方法を内蔵する撮像デバイス３００（図４）を含むように変形された典型的なプロセッサシステムである、システム１１００を示す。システム１１００は、イメージセンサデバイスを備えうるデジタル回路を有するシステムの例示である。限定するものではないが、システムは例として、コンピュータシステム、スチルまたはビデオカメラシステム、スキャナ、マシンビジョン、テレビ電話、オートフォーカスシステム、あるいは、他の撮像素子システムを含むことが可能である。
【００３２】
システム１１００、例えばカメラシステムは、一般に、マイクロプロセッサなどの中央処理ユニット（ＣＰＵ）１１０２を備えており、この中央処理ユニットはバス１１０４を介して入力／出力（Ｉ／Ｏ）デバイス１１０６と通信する。撮像デバイス３００も、バス１１０４を介してＣＰＵ１１０２と通信する。プロセッサベースのシステム１１００は、ランダムアクセスメモリ（ＲＡＭ）１１１０をも含んでおり、フラッシュメモリなどのリムーバブルメモリ１１１５を含んでいてもよく、これらのメモリもバス１１０４を介してＣＰＵ１１０２と通信する。撮像デバイス３００は、単一の集積回路上またはプロセッサとは異なるチップ上のメモリ記憶装置と共に、またはそのメモリ記憶装置なしで、ＣＰＵ、デジタル信号プロセッサ、またはマイクロプロセッサのようなプロセッサと組み合わされてもよい。
【００３３】
本発明の好適な各実施形態が上述されたが、それらの実施形態は、本発明を例示するものであって限定するものではないことが理解されるべきである。例えば、例示的な実施形態はＣＭＯＳ画像センサと関連して説明されたが、本発明は、例えばＣＣＤ画像センサなど他の電子画像センサなどにも適用することができる。追加、削除、代替、および他の変更形態を実施することが、本発明の趣旨および特許請求の範囲から逸脱することなく可能である。したがって、本発明は、上記の説明によって限定されることはなく、特許請求の範囲によってのみ限定される。
【図面の簡単な説明】
【００３４】
【図１】本発明の例示的な一実施形態によるカラーバランスプロセスを示す機能ブロック図である。
【図２】図１に示したプロセスの一部をより詳細に示した機能ブロック図である。
【図３】図２に示したプロセスの一部をより詳細に示したフローチャートである。
【図４】本発明の例示的な一実施形態に従って構成された撮像素子のブロック図である。
【図５】本発明の一実施形態に従って構成された、カラーバランスを計算する回路を含む少なくとも１つの撮像素子デバイスを内蔵するプロセッサシステムを示す図である。
【図１】
2009520405.tif 000021
【図２】
2009520405.tif 000022
【図３】
2009520405.tif 000023
【図４】
2009520405.tif 000024
【図５】
2009520405.tif 000025
【国際調査報告】
2009520405.tif 000026
2009520405.tif 000027
2009520405.tif 000028