(57)【要約】【課題】自動ホワイト・バランス方法及び装置。【解決手段】取り込まれた画像の自動ホワイト・バランスは、グレー世界仮説に基づいて実行されることが可能である。始めに、フラット・フィールド・グレー画像が、１又はそれより多くの基準光源に対して取り込まれる。取り込まれたグレー画像の統計値が、決定され、そして校正プロセスのあいだ各基準照明について記憶される。その後に取り込まれる各画像のために、画像は、グレー・ピクセルのサブセットを決定するためにフィルタされる。グレー・ピクセルは、１又はそれより多くのグレー・クラスタにさらに区分される。１又はそれより多くのグレー・クラスタの平均加重が、決定され、そして平均加重から基準光源までの距離が、決定される。光源の推定値が、距離に応じて決定される。ホワイト・バランス・ゲインは、推定された光源に基づいて画像に適用される。【選択図】図５
2008504751.tif 000002
【特許請求の範囲】
【請求項１】
自動ホワイト・バランス（ＡＷＢ）を実行する方法、該方法は下記を具備する：
取り込まれた画像を受け取ること；
グレー・ピクセルを選択するために該取り込まれた画像をフィルタすること；
複数の基準光源点の各々から少なくとも一部は該グレー・ピクセルによって決定された座標グリッド内の位置までの該座標グリッド内の距離を決定すること、
該距離に一部は基づいて光源を決定すること；及び
該光源に一部は基づいて該取り込まれた画像にホワイト・バランス・ゲインを適用すること。
【請求項２】
請求項１の方法、ここにおいて、該取り込まれた画像を受け取ることは、ディジタル画像ファイルを受け取ることを備える。
【請求項３】
請求項１の方法、ここにおいて、該取り込まれた画像を受け取ることは、光学センサによって取り込まれたディジタル画像を受け取ることを備える。
【請求項４】
請求項１の方法、ここにおいて、該取り込まれた画像をフィルタすることは、下記を具備する：
予め決められた輝度範囲内の輝度を有する該取り込まれた画像から第１のピクセルのサブセットを選択すること；
該第１のピクセルのサブセットから第２のピクセルのサブセットを選択すること、ここにおいて、該第２のピクセルのサブセットは予め決められた範囲内のＣｂクロミナンス成分を有する；及び
該第２のピクセルのサブセットから第３のピクセルのサブセットを選択すること、ここにおいて、該第３のピクセルのサブセットは予め決められた範囲内のＣｒクロミナンス成分を有する。
【請求項５】
請求項１の方法、ここにおいて、該取り込まれた画像をフィルタすることは、下記を具備する：
予め決められた輝度範囲内の輝度を有する該取り込まれた画像から第１のピクセルのサブセットを選択すること；及び
該第１のピクセルのサブセットから第２のピクセルのサブセットを選択すること、ここにおいて、該第２のピクセルのサブセットはＣｂ−Ｃｒドメイン内で規定される予め決められた長方形領域の範囲内に含まれる。
【請求項６】
請求項１の方法、ここにおいて、第１の基準光源点までの該距離を決定することは、下記を具備する：
該第１の基準光源点から各グレー・ピクセルまでの距離に対応する複数の距離を決定すること；及び
該複数の距離を合計すること。
【請求項７】
請求項１の方法、ここにおいて、第１の基準光源までの該距離を決定することは、下記を具備する：
該座標グリッド内の該グレー・ピクセルの各々の位置を決定すること；
該座標グリッド内の該グレー・ピクセルの該位置に基づいて重心を決定すること；及び
該重心から該基準光源点までの距離を決定すること。
【請求項８】
請求項１の方法、ここにおいて、該光源を決定することは、最小の距離を有する該基準光源点に対応する光源を決定することを備える。
【請求項９】
自動ホワイト・バランス（ＡＷＢ）を実行する方法、該方法は下記を具備する：
ＲＧＢフォーマットの取り込まれた画像を受け取ること；
グレー・ピクセルを選択するために該取り込まれた画像をフィルタすること；
該取り込まれた画像内の該グレー・ピクセルの各々に関するＲ／Ｇ比及びＢ／Ｇ比を決定すること；
該グレー・ピクセルを複数のグレー・クラスタに区分すること；
該Ｒ／Ｇ比及びＢ／Ｇ比を予め決められた座標グリッドに量子化すること；
該複数のグレー・クラスタの各々について該座標グリッド内の中心を決定すること；
各々の該中心から複数の基準光源点の各々までの該座標グリッド内の距離を決定すること；
各々の該中心までの距離に一部は基づいて各クラスタに対して推定される光源を決定すること；
該複数のグレー・クラスタの各々に対して該推定された光源に一部は基づいて光景光源を決定すること；及び
該光景光源に一部は基づいて該取り込まれた画像にホワイト・バランス・ゲインを適用すること。
【請求項１０】
請求項９の方法、ここにおいて、グレー・ピクセルを選択するために該取り込まれた画像をフィルタすることは、下記を具備する：
該取り込まれた画像をＹＣｒＣｂフォーマットに変換すること；
該取り込まれた画像から予め決められたＹ範囲の外のＹ値を有するピクセルを除外すること；及び
該取り込まれた画像から予め決められたＣｂとＣｒとの関係の範囲外のＣｂ及びＣｒ値を有するピクセルを除外すること。
【請求項１１】
請求項９の方法、ここにおいて、該グレー・ピクセルを区分することは、該グレー・ピクセルの各々を複数の同心クラスタのうちの１つに区分することを備える。
【請求項１２】
請求項９の方法、ここにおいて、該Ｒ／Ｇ比及びＢ／Ｇ比を量子化することは、下記を具備する：
該取り込まれた画像を複数の領域に分割すること；及び
該領域の範囲内のグレー・ピクセルのサブセットに一部は基づいて該複数の領域の各々に対する平均Ｒ／Ｇ比及び平均Ｂ／Ｇ比を決定すること。
【請求項１３】
請求項９の方法、ここにおいて、該距離を決定することは、該複数の基準光源点のうちの２つを結んでいる線までの距離を決定することを備える。
【請求項１４】
請求項９の方法、ここにおいて、該距離を決定することは、ユークリッド距離を決定することを備える。
【請求項１５】
請求項９の方法、ここにおいて、該距離を決定することは、マンハッタン距離を決定することを備える。
【請求項１６】
請求項９の方法、ここにおいて、該推定された光源を決定することは、最小の距離に対応する光源を決定することを備える。
【請求項１７】
請求項９の方法、ここにおいて、該光景光源を決定することは、下記を具備する：
該複数のグレー・クラスタのうちの１番目に対応する第１の推定された光源を該複数のグレー・クラスタのうちの２番目に対応する第２の推定された光源と比較すること；及び
該第１の推定された光源と該第２の推定された光源が同じである場合に、該光景光源が該第１の推定された光源になるように決定すること。
【請求項１８】
請求項９の方法、ここにおいて、該光景光源を決定することは、下記を具備する：
第１の昼光光源に対応する第１の推定された光源を決定すること；
第２の昼光光源に対応する第２の推定された光源を決定すること；及び
該第１の昼光光源及び該第２の昼光光源の平均として該光景光源を決定すること。
【請求項１９】
１又はそれより多くのプロセッサによって実行される時に、下記の方法を実行する１又はそれより多くのプロセッサ使用可能な命令を記憶するために構成された１又はそれより多くの記憶デバイス、該方法は下記を具備する：
ＲＧＢフォーマットの取り込まれた画像を受け取ること；
グレー・ピクセルを選択するために該取り込まれた画像をフィルタすること；
該取り込まれた画像内の該グレー・ピクセルの各々に対するＲ／Ｇ比及びＢ／Ｇ比を決定すること；
該グレー・ピクセルを複数のグレー・クラスタに区分すること；
該Ｒ／Ｇ比及びＢ／Ｇ比を予め決められた座標グリッドに量子化すること；
該複数のグレー・クラスタの各々に対する該座標グリッド内の中心を決定すること；
各々の該中心から複数の基準光源点の各々までの該座標グリッド内の距離を決定すること；
各々の該中心までの距離に一部は基づいて各クラスタに対して推定される光源を決定すること；
該複数のグレー・クラスタの各々に対する該推定された光源に一部は基づいて光景光源を決定すること；及び
該光景光源に一部は基づいて該取り込まれた画像にホワイト・バランス・ゲインを適用すること。
【請求項２０】
自動ホワイト・バランス（ＡＷＢ）を実行するための装置、該装置は下記を具備する：
取り込まれた画像を受け取るためにそして該取り込まれた画像からグレー領域を選択するために構成されたグレー・フィルタ；
該グレー・フィルタに接続され、そして予め決められた座標グリッドに該グレー領域を変換するために構成されたグリッド変換器；
該グリッド変換器に接続され、そして該予め決められた座標グリッド内で該グレー領域に一部は基づいて１又はそれより多くの位置から複数の基準光源点の各々までの距離を決定するために構成された距離モジュール；
該距離モジュールに接続され、そして該距離に一部は基づいて光源を決定するために構成された光源推定器；及び
該光源推定器に接続され、そして該取り込まれた画像にホワイト・バランス・ゲインを適用するために構成されたホワイト・バランス・ゲイン・モジュール；ここにおいて、該ホワイト・バランス・ゲインは該光源に一部は基づく。
【請求項２１】
請求項２０の装置、該装置は、該グリッド変換器に接続され、そして該グレー領域を複数のグレー・クラスタに区分するために構成されたクラスタ・フィルタをさらに備える。
【請求項２２】
請求項２０の装置、該装置は、該距離モジュールに接続され、そして該複数の基準光源点の位置を記憶するために構成された光源基準モジュールをさらに備える。
【請求項２３】
請求項２０の装置、ここにおいて、各々の該グレー領域は、該取り込まれた画像から複数の実質的に等しい大きさに分けられた領域のうちの１つを備える。
【請求項２４】
請求項２０の装置、ここにおいて、各々の該グレー領域は、該取り込まれた画像からの１つのピクセルを備える。
【請求項２５】
請求項２０の装置、ここにおいて、各々の該グレー領域は、該取り込まれた画像からの予め決められた数のピクセルを備える。
【請求項２６】
請求項２０の装置、ここにおいて、該グレー・フィルタは、予め決められた不等式のセットに基づいて該グレー領域を選択するために構成される。
【請求項２７】
請求項２０の装置、ここにおいて、該グレー・フィルタは、予め決められた範囲内の輝度を有する該グレー領域を選択するために構成される。
【請求項２８】
請求項２０の装置、ここにおいて、該グリッド変換器は、該グレー領域をＲ／Ｇ、Ｂ／Ｇ座標空間に変換するために構成される。
【請求項２９】
請求項２０の装置、ここにおいて、該１又はそれより多くの位置の各々は、該グレー領域のサブセットの重心を備える。
【請求項３０】
請求項２０の装置、ここにおいて、該１又はそれより多くの位置の各々は、Ｒ／Ｇ、Ｂ／Ｇ座標空間内の該グレー領域のうちの１つの位置を備える。
【請求項３１】
請求項２０の装置、ここにおいて、該距離のうちの少なくとも１つは、グレー領域のサブセットの重心から基準光源点までの距離を備える。
【請求項３２】
請求項２０の装置、ここにおいて、該距離のうちの少なくとも１つは、グレー領域のサブセットの重心から該複数の基準光源点のうちの２つを結んでいる線までの距離を備える。
【請求項３３】
請求項２０の装置、ここにおいて、該複数の基準光源点は、白熱光基準光源点を備える。
【請求項３４】
請求項２０の装置、ここにおいて、該複数の基準光源点は、蛍光基準光源点を備える。
【請求項３５】
請求項２０の装置、ここにおいて、該複数の基準光源点は、昼光基準光源点を備える。
【請求項３６】
自動ホワイト・バランス（ＡＷＢ）を実行するための装置、該装置は下記を具備する：
取り込まれた画像を受け取るための手段；
グレー・ピクセルを選択するために該取り込まれた画像をフィルタするための手段；
複数の基準光源点の各々から少なくとも一部は該グレー・ピクセルによって決定された座標グリッド内の位置までの該座標グリッド内の距離を決定するための手段；
該距離に一部は基づいて光源を決定するための手段；及び
該光源に一部は基づいて該取り込まれた画像にホワイト・バランス・ゲインを適用するための手段。
【請求項３７】
請求項３６の装置、該装置は、該取り込まれた画像を発生させるための手段をさらに備える。
【請求項３８】
請求項３６の装置、ここにおいて、該フィルタするための手段は、下記を具備する：
予め決められた輝度範囲内の輝度を有する該取り込まれた画像から第１のピクセルのサブセットを選択するための手段；
該第１のピクセルのサブセットから第２のピクセルのサブセットを選択するための手段、ここにおいて、該第２のピクセルのサブセットは予め決められた範囲内のＣｂクロミナンス成分を有する；及び
該第２のピクセルのサブセットから第３のピクセルのサブセットを選択するための手段、ここにおいて、該第３のピクセルのサブセットは予め決められた範囲内のＣｒクロミナンス成分を有する。
【請求項３９】
請求項３６の装置、ここにおいて、該フィルタするための手段は、下記を具備する：
該取り込まれた画像をＹＣｒＣｂフォーマットに変換するための手段；
予め決められたＹ範囲の外のＹ値を有する該取り込まれた画像からピクセルを除外するための手段；及び
予め決められたＣｂとＣｒとの関係の範囲外のＣｂ及びＣｒ値を有する該取り込まれた画像からピクセルを除外するための手段。
【請求項４０】
請求項３６の装置、ここにおいて、該複数の基準光源点までの距離を決定するための該手段は、下記を具備する：
該座標グリッド内の各々の該グレー・ピクセルの位置を決定するための手段；
該座標グリッド内の該グレー・ピクセルのサブセットの位置に基づいて重心を決定するための手段；及び
該重心から各々の該複数の基準光源点までの距離を決定するための手段。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、米国特許仮出願番号第６０／５８３，１４４号、２００４年６月２５日出願、名称“自動ホワイト・バランスのための方法及び装置（Method and Apparatus for Automatic White Balance）”、に優先権を主張し、それはその全体が引用によってここに取り込まれている。
【背景技術】
【０００２】
照明源、同様に本明細書中では光源とも呼ばれる、は、一般的に純白ではなく、その代わりに特定の色の方向にバイアスを有する。色バイアスは、色温度によって通常測定される。人間の目は、純白ではない照明を補償し、その結果、色彩は、照明条件の広い範囲にわたり比較的一致して見える。しかしながら、画像を取り込むために使用される電子センサは、異なる色温度を有する異なる照明条件を補償できない。
【０００３】
電子画像取り込みデバイス、例えば、ディジタル・カメラ又はディジタル・ビデオ・カメラ、内で使用される典型的なセンサは、純白でないソースからの照明のためであると考えられる色シフトを表す画像を取り込む。取り込まれた画像に示された色シフトは、人間の目に不自然に見え、そしてセンサ又は取り込みデバイスが低品質でありそして実世界の画像を正確に取り込めないことを認知する一因になる。
【０００４】
取り込まれた画像は、照明条件及び光源の色温度を補償するために処理されることができる。しかしながら、ホワイト・バランス補償が光源の色温度に依存するという理由で、第１の色温度の光源のために設定されたホワイト・バランス補償の適用は、一般的に第２の光源の色温度を補正しない、そして画像にさらなる色シフトを導入することにより画像品質をより一層劣化させることがある。
【発明の開示】
【０００５】
［簡単なサマリー］
取り込まれた画像の自動ホワイト・バランスは、グレー世界仮説（gray world assumption）に基づいて実行されることが可能である。始めに、フラット・フィールド（flat field）グレー画像が、１又はそれより多くの基準光源に対して取り込まれる。取り込まれたグレー画像の統計値が、決定され、そして校正プロセスの間に各基準照明について記憶される。その後に取り込まれる各画像のために、画像は、グレー領域のサブセットを決定するためにフィルタされる。グレー領域は、１又はそれより多くのグレー・クラスタにさらに区分される。１又はそれより多くのグレー・クラスタの平均加重が決定され、そして平均加重から基準光源までの距離が決定される。光源の推定値が、距離に応じて決定される。ホワイト・バランス・ゲインは、推定された光源に基づいて画像に適用される。
【０００６】
１態様では、自動ホワイト・バランス（ＡＷＢ）を実行する方法が提示され、該方法は：取り込まれた画像を受け取ること、グレー・ピクセルを選択するために該取り込まれた画像をフィルタすること、複数の基準光源点の各々から少なくとも一部は該グレー・ピクセルによって決定された座標グリッド内の位置までの該座標グリッド内の距離を決定すること、該距離に一部は基づいて光源を決定すること、及び該光源に一部は基づいて該取り込まれた画像にホワイト・バランス・ゲインを適用すること、を含む。
【０００７】
他の１つの態様では、自動ホワイト・バランス（ＡＷＢ）を実行する別の１つの方法が提示され、該方法は：ＲＧＢフォーマットの取り込まれた画像を受け取ること、グレー・ピクセルを選択するために該取り込まれた画像をフィルタすること、該取り込まれた画像内の該グレー・ピクセルの各々に対するＲ／Ｇ比及びＢ／Ｇ比を決定すること、該グレー・ピクセルを複数のグレー・クラスタに区分すること、該Ｒ／Ｇ比及びＢ／Ｇ比を予め決められた座標グリッドに量子化すること、該複数のグレー・クラスタの各々について該座標グリッド内の中心を決定すること、各々の該中心から複数の基準光源点の各々までの該座標グリッド内の距離を決定すること、各々の該中心までの距離に一部は基づいて各クラスタに対して推定される光源を決定すること、該複数のグレー・クラスタの各々に対する該推定された光源に一部は基づいて光景光源（scene illuminant）を決定すること、及び該光景光源に一部は基づいて該取り込まれた画像にホワイト・バランス・ゲインを適用すること、を含む。
【０００８】
他の１つの態様では、装置は、自動ホワイト・バランス（ＡＷＢ）を実行するために提示され、該装置は：取り込まれた画像を受け取るためにそして該取り込まれた画像からグレー領域を選択するために構成されたグレー・フィルタ、該グレー・フィルタに接続され、そして予め決められた座標グリッドに該グレー領域を変換するために構成されたグリッド変換器、該グリッド変換器に接続され、そして該予め決められた座標グリッド内で該グレー領域に一部は基づいて１又はそれより多くの位置から複数の基準光源点の各々までの距離を決定するために構成された距離モジュール、該距離モジュールに接続され、そして該距離に一部は基づいて光源を決定するために構成された光源推定器、及び該光源推定器に接続され、そして該取り込まれた画像にホワイト・バランス・ゲインを適用するために構成されたホワイト・バランス・ゲイン・モジュール；ここにおいて、該ホワイト・バランス・ゲインは該光源に一部は基づく、を含む。
【０００９】
［複数の実施形態の詳細な説明］
本明細書の実施形態の特徴、目的、及び利点は、図面を使用して以下に述べる詳細な説明から、さらに明確になるであろう。図面では、類似の要素は類似の参照符号を与える。
【００１０】
グレー世界仮説は、ディジタル写真技術においてホワイト・バランスを実行するための基本原理を形成することが可能である。画像内のピクセルの色の平均がほぼグレーであることが、写真の大きな集合の間で観測されてきている。光景（scene）によって例外があるが、グレー世界仮説は、非常に良く機能し、そしてホワイト・バランスを実行するための信頼できる基本原理を提供する。本明細書中に開示される自動ホワイト・バランス（ＡＷＢ：Automatic White Balance）方法及び装置は、アウトライアー（outlier）削除と組み合わせられたグレー世界仮説に基づいている。ディジタル・カメラ又はある種の他の画像処理デバイスは、本明細書中に記載されるＡＷＢ法を実行するように構成されることができる。
【００１１】
本方法は、ディジタル・カメラのような、画像取り込みデバイスを参照して説明される。しかしながら、画像取り込みセンサがデバイスの内部に与えられることは、必要ではない。実際に、電子デバイスは、遠隔操作で取り込まれた画像にＡＷＢ法を実行するように構成されることができる。
【００１２】
ディジタル・カメラは、最初に画像を複数の領域に分割できる。ディジタル・カメラは、グレー領域を通過させるようにそして非グレー領域を排除するように画像をフィルタできる。ディジタル・カメラは、光源を決定するためにグレー領域を使用し、そして非グレー領域をあてにしない。本明細書中で使用されるように、用語“グレー領域”及び“グレー・ピクセル”は、それぞれ、グレー及びグレーに近い領域又はピクセルを呼び、それらは、フィルタ制約により選択され、そして光源を決定する際に使用される。
【００１３】
グレー領域を識別するために画像をフィルタした後で、ディジタル・カメラは、グレー領域の色特性を変形させる又はそうでなければ変換して、予め決められた座標空間又はグリッド上にマッピングする。ディジタル・カメラは、特定の光源を用いて照明されたグレー画像を取り込むことによって得られるグレー基準に対応するグリッド内部の１又はそれより多くの基準点の位置を探すことができる。それゆえ、ディジタル・カメラは、各光源に対する基準点をグリッド上で位置を探すことができる。
【００１４】
座標システム上にマッピングするためにグレー領域を変換した後で、ディジタル・カメラは、各グレー領域に対して、グレー領域から光源基準点の各々までの距離を決定できる。ディジタル・カメラは、統計的に不十分であるグレー領域を決定することによって、そしてそれらのアウトライアー領域を考慮から除去することによって、グレー領域をフィルタできる。ディジタル・カメラは、例えば、各領域から任意の光源基準点までの最小距離を決定できる。ディジタル・カメラは、その後、予め決められたしきい値に対して最小距離を比較でき、そして予め決められたしきい値より大きな最小距離を有するそれらの領域を後続の処理から排除できる。
【００１５】
ディジタル・カメラは、その後、残されているグレー領域から各々の光源基準点までの距離を比較する。ディジタル・カメラは、グレー領域に最も近い光源基準点を有する光源のように光源を推定できる。
【００１６】
図１は、ＡＷＢを実行する画像取り込みデバイス１００の機能的ブロック図である。画像取り込みデバイス１００は、例えば、ディジタル・カメラ、ディジタル・ビデオ記録装置、ディジタル・カメラを有するワイアレス電話機、又はある種の他の画像取り込みデバイスであり得る。画像取り込みデバイス１００は、センサ１２０に対して位置を決められたレンズ１１０を含み、センサ１２０は、例えば、入射光を電子的な表示に変換するために構成されることが可能な光センサであり得る。例えば、センサは、電荷結合デバイス（ＣＣＤ：Charge Coupled Device）、ＣＭＯＳ検出装置、フォトダイオード・アレイ、光電圧検出装置、及びその他、又は光学画像を取り込むためのある種の他のセンサであり得る。センサ１２０は、光成分の形式で電子的な表示を発生するために構成されることができる。例えば、センサ１１０は、取り込まれた画像に対して別々のＲ，Ｇ，及びＢ表示を発生できる。
【００１７】
センサ１２０の出力は、色プロセッサ１３０に接続されることができ、それはＡＷＢを与えるために構成されることができる。色プロセッサは、統計モジュール１３２を含み、それは取り込まれた画像の統計値を収集するためにそして処理するために構成されることができる。以下にさらに詳細に論じられるように、統計モジュール１３２とともに、色プロセッサ１３０は、画像に取り込まれた光景を照明している照明条件を測定するために又はそうでなければ決定するために構成されることができる。色プロセッサ１３０は、複数の基準光源について記憶している統計値に一部は基づいて光源を決定できる。色プロセッサ１３０は、画像の色バランスを補正するために取り込まれた画像に補正を適用するように構成されることができる。色プロセッサ１３０及び統計モジュール１３２は、メモリ１４０とともに動作するプロセッサ１５０を使用して複数の又は全ての関係する機能を実行するために構成されることができる。ある複数の実施形態では、色プロセッサ１３０及び統計モジュール１３２の複数の又は全ての機能は、１又はそれより多くのプロセッサ使用可能な命令の形式でメモリ１４０内にソフトウェアとして記憶されることができる。プロセッサ１５０は、プロセッサ使用可能な命令をアクセスするために、そして関係する機能を実行するためにその上で動作するように構成されることができる。
【００１８】
色プロセッサ１３０は、基準光源統計値及び情報を外部メモリ１４０に記憶するために構成されることができ、そして同様に、取り込まれた画像又はＡＷＢ補正された画像をメモリ１４０に記憶させるために構成されることができる。代わりに、又はそれに加えて、色プロセッサ１３０は、生の画像又はＡＷＢ補正された画像を出力／ディスプレイ１５０に伝送するために構成されることができる。
【００１９】
出力／ディスプレイ１５０は、ＬＣＤ、ＬＥＤアレイ、ＣＲＴ、及びその他のようなディスプレイ・デバイス、又はある種の別のディスプレイ・デバイスを含むことができる。出力／ディスプレイ１５０は、しかも１又はそれより多くの出力ポートを含むことができる。例えば、ＡＷＢ補正された画像は、ポート又はコネクタに出力されることができる。色プロセッサ１３０は、ＡＷＢ補正された画像を直接出力／ディスプレイ１５０に出力するために構成されることができる、又は補正された画像を出力／ディスプレイ１５０に伝送する前に標準ディスプレイ・フォーマット又はファイル・フォーマットのような、特定のフォーマットにＡＷＢ補正された画像を変換するために構成されることができる。例えば、色プロセッサ１３０は、ＡＷＢ補正された画像をＪＰＥＧ、ＧＩＦ又はある種の他の画像フォーマットにフォーマット化するために構成されることができる。出力／ディスプレイ１５０は、ＡＷＢ補正された画像を目的デバイス（図示されず）に伝送するために構成されたモデム又は無線トランシーバのような、通信デバイスあり得る。
【００２０】
図２は、図１の画像取り込みデバイスのような、画像取り込みデバイス内で動作している色プロセッサ１３０及び統計モジュール１３２の機能的ブロック図である。図１の実施形態におけるように、画像取り込みデバイスは、プロセッサ１５０及びメモリ１４０に接続された統計モジュール１３２を有する色プロセッサ１３０を含むことができる。
【００２１】
色プロセッサ１３０は、取り込まれた画像を受け取るために構成された入力を含むことができる。取り込まれた画像は、統計モジュール１３２の入力にそしてホワイト・バランス・ゲイン・モジュール２１０の入力に接続されることができる。ホワイト・バランス・ゲイン・モジュール２１０は、統計モジュール１３２の出力にしたがってホワイト・バランス・ゲインを適用するために構成されることができる。
【００２２】
統計モジュール３１２は、グレー・フィルタ２２０に取り込まれた画像を結びつけるために構成されることができ、グレー・フィルタは、光源を決定するために使用されることができるグレー・オブジェクトを選択するために取り込まれた画像を処理するために構成されることができる。取り込まれた画像が、一般的にディジタル・パケット又はディジタル・ファイルの形式であるために、ディジタル・プロセッサとしてディジタル・フィルタ２２０を与えることは、有利であり得る。
【００２３】
センサ、例えば、図１のセンサ１２０、は、種々の色フォーマット、例えば、ＲＧＢフォーマット、ＹＣｒＣｂフォーマット、又はある種の他の色フォーマット、のいずれか１つで画像を取り込むように構成されることができる。グレー・フィルタ２２０は、グレー・オブジェクト・フィルタリングを容易にするために特定の色フォーマットを処理するために構成されることができる。例えば、グレー・フィルタ２２０は、ＹＣｒＣｂフォーマットの画像の初期グレー・フィルタリングを実行するために構成されることができ、フィルタリング処理を容易にする。もし、取り込まれた画像が未だフォーマット化されていないのであれば、グレー・フィルタ２２０は、取り込まれた画像をＹＣｒＣｂフォーマットに変換するように構成されることができる。Ｙ、Ｃｒ、及びＣｂ色フォーマットは、下記の色変換を使用してＲＧＢ色フォーマット情報から導出されることができる、ここで、Ｙは、Ｒｅｃ．６０１に規定された輝度であり、Ｃｂは、ＢとＧとの単に色差であり、そしてＣｒは、ＲとＧとの色差であり、  
【数１】
2008504751.tif 000003
【００２４】
である。
【００２５】
１つの実施形態では、グレー・フィルタ２２０は、取り込まれた画像をフィルタでき、予め決められた輝度範囲内の複数の領域を選択することによって、そしてその後、残っている領域から予め決められたＣｒ及びＣｂ基準を満足する複数の領域を選択することによって、グレー領域を選択できる。グレー・フィルタ２２０は、暗すぎる領域又は明るすぎる領域を取り除くために輝度値を使用できる。これらの領域は、ノイズの問題及び飽和の問題のために除外される。グレー・フィルタ２２０は、複数の式としてフィルタを表現できる、ここで、下記の６つの不等式を満足する領域は、可能性のあるグレー領域として考えられ、  
Ｙ＜＝Ｙｍａｘ，                                              （１）  
Ｙ＞＝Ｙｍｉｎ，                                              （２）  
Ｃｂ＜＝ｍｌ＊Ｃｒ＋ｃ１，                                    （３）  
Ｃｒ＞＝ｍ２＊Ｃｂ＋ｃ２，                                    （４）  
Ｃｂ＞＝ｍ３＊Ｃｒ＋ｃ３，                                    （５）  
Ｃｒ＜＝ｍ４＊Ｃｂ＋ｃ４，                                    （６）  
である。
【００２６】
値ｍ１−ｍ４及びｃ１−ｃ４は、フィルタされたオブジェクトが正確にグレー領域を表すことを確実にするために選択される予め決められた定数を表すことができ、一方で、輝度がほぼ全ての取り込まれた画像に対して推定されることを確実にするためにフィルタされたオブジェクトの十分に大きな範囲を維持する。ある複数の実施形態では、グレー・フィルタ２２０は、１より多くのフィルタリング基準のセットを適用でき、そして複数の基準に基づいて複数の領域をフィルタできる。
【００２７】
グレー・フィルタ２２０は、ほぼ任意のサイズの領域で動作できる。例えば、最小領域サイズは、１個のピクセルに対応できる。同様に、最大領域サイズは、取り込まれた画像のサイズに対応できる。しかしながら、一般的に、グレー・フィルタ２２０は、取り込まれた画像サイズより小さな領域上で動作する。一般的に、画像は、複数の領域に分割され、そしてグレー・フィルタ２２０は、各領域上で動作する。
【００２８】
画像は、Ｌ×Ｍの長方形領域を含むように分割されることができる、ここで、Ｌ及びＭは、正の整数である。それゆえ、Ｎ＝Ｌ×Ｍは、画像内の全部の領域の数を表す。１つの実施形態では、グレー・フィルタ２２０は、取り込まれた画像を１６×１６ピクセルの領域に分割できる。グレー・フィルタ２２０は、取り込まれた画像のピクセルを、例えば、ＲＧＢ成分からＹＣｒＣｂ成分に変換できる。グレー・フィルタ２２０は、可能性のあるグレー・ピクセルを選択するために、上記の不等式を使用してピクセルをフィルタできる。グレー・フィルタ２２０は、演算の数を削減するために大きな画像サイズに対して垂直方向及び水平方向の一方又は両方にピクセルをサブサンプルする又はそうでなければ大幅に削減するように構成されることができる。例えば、１つの実施形態では、グレー・フィルタ２２０は、１．３メガピクセル又はそれより大きいサイズを有する画像に対して１／２に水平ピクセル及び垂直ピクセルをサブサンプルするように構成されることができる。
【００２９】
グレー・フィルタ２２０は、その後、フィルタされたピクセルを処理でき、各々の領域の統計値を発生する。例えば、グレー・フィルタ２２０は、フィルタされた又は制約されたＣｂの合計、フィルタされた又は制約されたＣｒの合計、フィルタされた又は制約されたＹの合計、及びＹ，Ｃｂ及びＣｒの合計のための制約にしたがって選択されたピクセルの数を決定できる。領域統計値から、グレー・フィルタ２２０は、選択されたピクセルの数で割り算された各領域のＣｂ，Ｃｒ及びＹの合計を決定でき、Ｃｂの平均（ａｖｅＣｂ）、Ｃｒの平均（ａｖｅＣｒ）及びＹの平均（ａｖｅＹ）を得ることができる。グレー・フィルタ２２０は、その後、統計値をＲＧＢ成分に変換して戻すことができて、Ｒ，Ｇ及びＢの平均を決定できる。平均Ｒ，Ｇ，及びＢ値は、次式によりａｖｅＹ，ａｖｅＣｂ及びａｖｅＣｒから決定されることができ、  
【数２】
2008504751.tif 000004
【００３０】
である。
【００３１】
グレー・フィルタ２２０は、図６に示されたように、複数の領域を２つのクラスタのうちの１つにグループ分けできる。グレー・フィルタ２２０は、４つのＣｂＣｒ制約条件を使用でき、２つの異なるクラスタ；グレー領域に対するクラスタＸ、及びより高い飽和領域に対するクラスタＹ、のうちの１つに各領域をグループ分けできる。この区分することの概念は、クラスタＸのグレー領域がより多く飽和した領域すなわちクラスタＹよりもさらに信頼性のある照明推定を提供できることである。しかしながら、グレー領域の数が正確な推定を行うために十分でないケースにおいて、適正な光源が推定されることが可能であるという妥当な確信を維持するために、２つのクラスタ内の領域が使用される。
【００３２】
グレー・フィルタ２２０は、領域のアイデンティティ及びそれらの統計値をグリッド変換器２３０に伝達する。グリッド変換器２３０は、領域統計値をグリッド座標システムに変換するために構成され、その座標システムに対してフォーマット化された基準光源に対する関係を決定する。１つの実施形態では、グリッド変換器２３０は、領域統計値を（Ｒ／Ｇ，Ｂ／Ｇ）座標システム内のｎｘｎグリッドの１つに変換しそして量子化する。グリッド間隔は、線形に区分される必要はない。例えば、座標グリッドは、非線形区分されたＲ／Ｇ軸及びＢ／Ｇ軸から形成されることができる。非線形区分されたグリッド座標は、グリッド間隔を決定するときに線形に区分されたグリッドよりも巧く働くことがある。グリッド変換器２３０は、予め規定された範囲外、例えば、［１／４，４］、である（ａｖｅＲ／ａｖｅＧ，ａｖｅＢ／ａｖｅＧ）の対を破棄できる。グリッド変換器２３０は、領域統計値を２次元座標システムに都合よく変換できる。しかしながら、２次元座標システムの使用は、限定ではなく、そしてグリッド変換器２３０は、座標システム内の任意の数の次元を使用するために構成されることができる。例えば、他の１つの実施形態では、グリッド変換器２３０は、ある予め決められた定数に対して規格化されたＲ，Ｇ，及びＢ値に対応する３次元座標システムを使用できる。
【００３３】
グリッド変換器２３０は、変換されたグリッド値をクラスタ・フィルタ２４０に伝達するために構成されることができ、クラスタ・フィルタ２４０は、フィルタされた領域に対応するグリッド値をグレー・フィルタ２２０内で規定される複数のクラスタにグループ分けするために構成されることができる。例えば、グリッド変換器２３０は、グリッド変換器２３０からのグリット値をグレー・フィルタ２２０において適用される制約条件によって規定されるクラスタＸ及びクラスタＹのグループにグループ分けするために構成されることができる。当然、グリッド・フィルタ２４０及びグレー・フィルタ２２０は、領域統計値を２より多くのグループに規定できそしてグループ分けできる。
【００３４】
クラスタ・フィルタ２４０は、グループ分けに一部は基づいて距離モジュール２５０にグリッド値のグループを与えるために構成されることができる。例えば、上に説明した実施形態では、クラスタＸに対応するグリッド値は、より良いグレー領域近似値に対応することがある。クラスタ・フィルタ２４０は、クラスタＸに対応するグリッド値を距離モジュール２５０に最初に伝達するために構成されることができる。もし、距離モジュール２５０及び光源推定器２７０が高い確信の度合いで光源推定値を決定できるのであれば、クラスタ・フィルタ２４０は、クラスタＹグリッド値のその後の処理を省略できる。他の１つの実施形態では、両方のクラスタからのグリッド値が光源推定値を決定するために使用されるそれらの実施形態では、クラスタ・フィルタ２４０は、クラスタＸ値に引き続いてクラスタＹ値を伝達するために構成されることができる。
【００３５】
クラスタ・フィルタからの出力は、距離モジュール２５０の１つの入力に接続されることができる。光源基準モジュール２６０からの出力は、距離モジュール２５０の第２の入力に接続されることができる。光源基準モジュール２６０は、距離モジュール２５０に基準光源の位置を与える。
【００３６】
光源基準モジュール２６０は、１又はそれより多くの基準光源に対する統計値を記憶するために構成されることができる。１又はそれより多くの基準光源に対する統計値は、校正ルーチンの間に予め決められる。
【００３７】
評価プロセスは、一般的に与えられたセンサ・モジュール、例えば、図１の画像取り込みデバイス１００のセンサ１２０及びレンズ１１０の組み合わせ、に対してオフ・ラインで行われる。オフ・ラインは、一般的な消費者が画像取り込みデバイスを使用していないピリオドの間に処理することを呼び、そして製造プロセス中のピリオドを呼ぶことがある。屋外照明条件に関して、１日の様々な時間に対応するグレー・オブジェクトの一連の映像が、集められる。映像は、１日の異なる時間の間に直接太陽光で、曇りの照明で、屋外の日影で、等において取り込まれた画像を含むことができる。これらの照明条件の下でのグレー・オブジェクトのＲ／Ｇ比及びＢ／Ｇ比が、記録される。屋内照明条件に関して、グレー・オブジェクトの画像は、暖蛍光灯（warm fluorescent）、冷蛍光灯（cold fluorescent）、白熱灯及びその他、又はある種の他の光源を使用して取り込まれることができる。各々の照明条件は、基準点として使用される。Ｒ／Ｇ比及びＢ／Ｇ比は、屋内照明条件に対して記録される。
【００３８】
他の１つの実施形態では、基準光源は、Ａ（白熱灯、タングステン、等）、Ｆ（蛍光灯）、及びＤ３０，Ｄ５０及びＤ７０と呼ばれる複数の昼光光源を含む。３つの昼光光源は、補間によって近似の黒体線を形成できる。基準座標の（Ｒ／Ｇ，Ｂ／Ｇ）座標は、光源の色によって理想的に規定されることができ、それはセンサ・モジュールのスペクトル応答及び光源のパワー分布を積分することによって計算される。
【００３９】
Ｒ／Ｇ比及びＢ／Ｇ比の目盛を決定した後で、基準点は、格子座標上に位置を決められる。目盛は、異なる基準点間で適正に差異を生じるようにグリッド間隔が使用されることが可能な方法で決定される。光源基準モジュール２６０は、グレー領域を評価するために使用した同じ座標グリッドを使用して光源統計値を発生できる。
【００４０】
距離モジュール２５０は、クラスタ・フィルタ２４０から受け取った各格子点から光源基準モジュール２６０からの全ての基準点までの距離を決定するために構成されることができる。距離モジュール２５０は、決定された距離を予め決められたしきい値に対して比較することができ、そしてもしいずれかの基準点までの最小距離が予め決められたしきい値を超えるのであれば、その点は、アウトライアーとして考えられ、そして除外される。
【００４１】
定義によって、全ての基準点は、異なる照明条件の下でグレー・オブジェクトに対応し、もし、クラスタ・フィルタ２４０から受け取る収集したデータ点が基準点のいずれにも近くなければ、それはグレー・オブジェクトでないことに、注意する。もし、そのようなアウトライアー点が距離計算に含まれるのであれば、大きな距離を発生させ、そして全体の距離比較に悪い影響を有する。したがって、大きな最小距離を有するデータ点は、アウトライアーとして見られそして削除される。もし、データ点がアウトライアーでなければ、全ての基準点までの距離が、決定される。１つの実施形態では、特定の基準点までの距離は、その同じ基準点までの全ての他のデータ点距離を用いて合計されることができる。
【００４２】
アウトライアーが削除されそして全ての基準点が合計されるように、全てのデータ点が処理された後で、Ｋ個の基準点に対応する全ての基準点に対する距離の合計であるＫ個の数字がある。
【００４３】
距離モジュール２５０は、光源推定器２７０に各距離を伝達するために構成されることができる、又は合計を決定し、そして各々の基準点に関する距離の合計を光源推定器２７０に伝達するために構成されることができる。距離モジュール２７０は、基準点までの最小距離を決定することができ、そして基準点に対応する照明条件を決定できる。
【００４４】
１つの実施形態では、クラスタ・フィルタ２４０は、画像統計値をクラスタＸ及びクラスタＹと名付けられた２つのグループにグループ分けするために構成される。両方のクラスタＸ及びクラスタＹ内の各データ点に関して、距離モジュール２５０は、少なくとも３つの異なる距離を決定するために構成されることができる。距離モジュール２５０は、例えば、基準光源Ａ（Ｒｅｆ．Ａ）までの距離、基準光源Ｆ（Ｒｅｆ．Ｆ）までの距離、及び基準昼光光源によって形成される黒体線までの距離を決定できる。
【００４５】
距離モジュール２５０は、距離計量（metric）、例えば、ユークリッド計量、マンハッタン（シティ・ブロック）計量を決定するために構成されることができる、又はある種の他の計量が、演算複雑性の要求及び性能要求に応じて使用されることができる。別の実施形態では、距離モジュール２５０は、クラスタの各々に対応する重心を決定するために構成されることができ、そしてクラスタの重心から各々の基準光源点までの距離を決定するために構成されることができる。
【００４６】
１つの実施形態では、昼光基準点、Ｄ６５、までの総合距離は、１２５であることがあり、暖蛍光基準点、ＷＦ、までは、３２４であることがあり、冷蛍光基準点、ＣＦ、までは、４２１であることがあり得る。光源推定器２７０は、Ｄ６５までの距離（＝１２５）が全ての数字の中で最小であることを決定できる。光源推定器２７０は、その後、Ｄ６５が照明条件であることを決定でき、そして対応するＤ６５のＲ／Ｇ比及びＢ／Ｇ比は、ホワイト・バランスを実行するために使用される。
【００４７】
距離が同じ状態であるケースでは、光源推定器２７０は、照明条件の決定を援助するためにセンサ露出設定及びゲイン設定を使用できる。露出設定に応じて、光源推定器２７０は、露出設定及びゲイン設定を使用することができ、取り込まれた画像内の光景が屋外であるか屋内であるかどうかを決定でき、そしてＡＷＢ判断の際に援助できる。
【００４８】
ピクセル選択プロセス及びアウトライアー削除プロセスを通過するデータ点がないという稀な事例では、光源推定器２７０は、判断を下すために露出設定と総合Ｒ／Ｇ比及びＢ／Ｇ比の組み合わせを使用できる。もし、取り込まれた画像が屋外の光景を表しているのであれば、Ｄ６５  Ｒ／Ｇ比及びＢ／Ｇ比は、ＡＷＢゲインとして総合Ｒ／Ｇ比及びＢ／Ｇ比を用いて平均される。もし、取り込まれた画像が屋内光景に対応するのであれば、ＷＦ  Ｒ／Ｇ比及びＢ／Ｇ比がＡＷＢゲインとして総合Ｒ／Ｇ比及びＢ／Ｇ比を用いて平均化される。フラッシュ又はストロボが光景を照明するために使用される事例では、フラッシュのＲ／Ｇ比及びＢ／Ｇ比が、ホワイト・バランス・ゲインとして使用される。
【００４９】
光源推定器２７０は、ホワイト・バランス・ゲインをホワイト・バランス・ゲイン・モジュール２１０に与えるために構成されることができ、そこでは取り込まれた画像が光源に対して補正される。他の１つの実施形態では、光源推定器は、光源推定値をホワイト・バランス・ゲイン・モジュール２１０に与えるように構成されることができ、そしてホワイト・バランス・ゲイン・モジュール２１０は、ホワイト・バランス・ゲインを決定できそしてそのゲインを取り込まれた画像に適用できる。
【００５０】
基準光源のためのホワイト・バランス（ＷＢ）ゲインは、予め決められることができる。１つの実施形態では、各基準のＷＢゲインは、下記の式によって定義されることができる、そこでは、行ベクトルＳＳｒ、ＳＳｇ、及びＳＳｂはセンサ・モジュールのスペクトル応答（センサ＋ＩＲカット・オフ＋レンズ）であり、Ｌｎｘｎは、基準光源のパワー分布の対角行列であり、そしてＷ（ｒ）ｎｘｌは、完全ホワイト・ディフューザを表している単位列ベクトルでああり、  
【数３】
2008504751.tif 000005
【００５１】
である。
【００５２】
ＷＢゲインは、次の公式によって定義されることができ、  
【数４】
2008504751.tif 000006
【００５３】
である。
【００５４】
センサ・モジュールのスペクトル応答が利用可能でないケースでは、ＷＢゲインは、センサ・モジュールによる基準光源の下で完全ホワイト・ディフューザの画像の生のＲ，Ｇ，及びＢ値を平均することによって取得されることができる。センサ・モジュール内の場所による変動を考慮するために、複数のユニットが評価されることができそして応答が平均される。
【００５５】
一旦、光源推定器２７０が光源を決定すると、光源推定器２７０又はホワイト・バランス・ゲイン・モジュール２１０は、下記のようにＷＢゲインを定義できる。もし、推定された光源が特定の基準光源、例えば、基準Ａ、であれば、ホワイト・バランス・ゲイン・モジュールは、その基準光源に対応するＷＢゲインを適用する。もし、推定された光源が昼光光源であれば、ＷＢゲインは、次のように決定されるはずである。
【００５６】
もし、推定された相関色温度（ＣＣＴ：Correlated Color Temperature）が昼光光源Ｄ１とＤ２との間であれば、その時は：  
【数５】
2008504751.tif 000007
【００５７】
である。
【００５８】
もし、推定されたＣＣＴが昼光光源Ｄ２とＤ３との間であれば、その時は：  
【数６】
2008504751.tif 000008
【００５９】
である。
【００６０】
ＡＷＢプロセスの１実施形態をまとめると、取り込まれた画像は、グレー・フィルタされることができて、グレー領域になる可能性のあるそれらの領域を選択することができる。その領域は、複数のクラスタに区分されることができる。その選択された領域は、それから予め決められた座標システム上にマッピングされる。各々のクラスタの重心は、座標システムの中で算出されることができる。１又はそれより多くの基準光源点は、座標システムの中で位置を見つけられることができる。複数のクラスタの各々の重心と各々の基準光源点との間の距離が、決定されることができる。各々のクラスタに対応する光源は、推定されることができ、そして推定値から最終的な光源が決定されることが可能である。ホワイト・バランス・ゲインは、光源及び取り込まれた画像に適用されたホワイト・バランス・ゲインに基づいて決定されることが可能である。
【００６１】
図３は、光源基準モジュール２６０内に記憶されそして図２の色プロセッサの距離モジュール２５０によって使用される光源基準点を設定する方法３００の１実施形態のフローチャートである。方法３００は、一般的に外部で実行される基準光源を用いてグレー・フィールドを照明する行為を除いて、図２の色プロセッサによって実行されることができる。
【００６２】
方法３００は、グレー・フィールドが基準光源を用いて照明される時にブロック３１０で始まる。基準光源は、例えば、白熱光光源、ハロゲン光源、タングステン光源、蛍光光源、１日の特定の時刻の昼光、又はある種のその他の光源であり得る。グレー・フィールドは、一様に照明されているフラット・フィールドであり得る。
【００６３】
方法は、ブロック３２０に進み、そこでは色プロセッサが画像を取り込む。１つの実施形態では、色プロセッサは、センサとレンズの組み合わせを制御することによって画像を取り込む。他の１つの実施形態では、色プロセッサは、遠隔センサによって取り込まれた画像を受け取ることによって画像を取り込む。
【００６４】
画像を取り込んだ後で、色プロセッサは、ブロック３３０に進み、取り込まれた画像に対応する光源基準点を設定する。１つの実施形態では、色プロセッサは、取り込まれた画像のピクセルに対してＲ／Ｇ比及びＢ／Ｇ比を決定でき、そして光源に関する基準点を表している平均値を決定できる。
【００６５】
色プロセッサは、それから判断ブロック３４０に進み、全ての基準光源が測定されたかどうかを決定する。もしそうであれば、色プロセッサは、ブロック３６０へ進み、終了する。判断ブロック３４０において、もし、光源の全てが測定されていないと色プロセッサが決定するのであれば、色プロセッサは、ブロック３１０に戻るように進み、次の基準光源を用いたグレー・フィールドの照明を待つ。
【００６６】
図４は、図１の画像取り込みデバイスによって実行されることができる自動ホワイト・バランスの１方法４００の１実施形態のフローチャートである。画像取り込みデバイスは、図１のセンサ及びレンズと組み合わせて図１又は図２の色プロセッサを使用して方法４００を実行することができる。
【００６７】
方法４００は、画像取り込みデバイスが画像を取り込むときにブロック４１０において始まる。画像取り込みデバイスは、ブロック４２０に進み、そして画像からグレー・ピクセルをフィルタする。画像取り込みデバイスは、それからブロック４３０に進み、そして基準光源までの距離を決定する。画像取り込みデバイスは、例えば、各ピクセルから各々の基準光源までの距離、各々のグレー・ピクセルを有する複数の領域から基準光源までの距離、選択されたグレー・ピクセルのサブセットから各々の基準光源までの距離、グレー・ピクセルの１又はそれより多くのグループ分けに対応する１又はそれより多くの重心から各々の基準光源までの距離、又はある種の他の距離を決定できる。
【００６８】
距離を決定した後で、画像取り込みデバイスは、ブロック４４０に進み、そして距離に少なくとも一部は基づいて光源を決定する。例えば、画像取り込みデバイスは、最小距離に基づいて光源を決定できる。別の１つの実施形態では、画像取り込みデバイスは、基準光源によって規定される光源又は基準光源までの複数のクラスタの各々の距離に一部は基づいて光源を決定できる。
【００６９】
光源を決定した後で、画像取り込みデバイスは、ブロック４５０に進み、そして取り込まれた画像にホワイト・バランス・ゲインを適用する。画像取り込みデバイスは、光源に一部は基づいてホワイト・バランス・ゲインを決定できる。
【００７０】
図５は、図１の画像取り込みデバイスによって実行されることができる自動ホワイト・バランスの１方法５００の１実施形態のフローチャートである。図４の自動ホワイト・バランス方法４００を用いるケースのように、画像取り込みデバイスは、図１のセンサ及びレンズとの組み合わせで図１又は図２の色プロセッサを使用して方法４００を実行することができる。
【００７１】
方法５００は、ブロック５１０で始まり、そこでは画像取り込みデバイスは、例えば、レンズと組み合わせてセンサを使用して画像を取り込む。センサは、Ｒ，Ｇ，及びＢ成分で画像を出力するために構成されることができる。画像を取り込んだ後で、画像取り込みデバイスは、ブロック５２０に進み、画像を予め決められた数のブロックに分割し、そして各領域についてＲ／Ｇ及びＢ／Ｇの比を算出する。Ｒ／Ｇ及びＢ／Ｇの値は、例えば、領域内部のピクセルに関する平均Ｒ／Ｇ及びＢ／Ｇ値であり得る。
【００７２】
Ｒ／Ｇ値及びＢ／Ｇ値を算出した後で、画像取り込みデバイスは、ブロック５３０に進み、そしてその領域をグレー・クラスタに区分する。グレー領域に対応しないそれらの領域は、その後の処理から除外されることができる。画像取り込みデバイスは、例えば、予め決められた基準にしたがって各々の領域に対して算出されたＲ／Ｇ及びＢ／Ｇ統計値をフィルタできて、図６に示されたように１又はそれより多くのグレー領域を決定できる。グレー領域は、さらなる基準にしたがってクラスタにさらに区分されることができる。グレー・クラスタを決定するための基準は、センサによって与えられる同じＲ，Ｇ，及びＢ色成分を使用して決定されることができる、又はＹ，Ｃｒ，及びＣｂのような、別の色成分によることがあり得る。ある複数の実施形態では、画像取り込みデバイスは、取り込まれた画像を１つの色成分フォーマットから別の１つに変換する。
【００７３】
画像統計値をグレー・クラスタに区分した後で、画像取り込みデバイスは、ブロック５４０に進むことができ、そして各々のクラスタから予め決められた座標システム又はグリッドにフィルタされた領域を量子化する。座標システムは、例えば、Ｒ／Ｇ及びＢ／Ｇに基づいた２次元座標システムであり得る。座標グリッドは、線形に区分される必要がなく、そして図７に示したように、非線形区分を有することができる。複数の基準光源及び２つのクラスタにしたがってクループ分けされた取り込まれた画像からのグレー領域データを有する座標グリッドの一例が、図７に示される。
【００７４】
画像取り込みデバイスは、ブロック５５０に進み、そして各々のグレー領域のクラスタの中心を決定する。画像取り込みデバイスは、１つの実施形態では、クラスタの各々の重心を決定できる。他の１つの実施形態では、画像取り込みデバイスは、各クラスタ内部の領域の加重平均を使用して各クラスタの中心を決定できる。
【００７５】
クラスタの各々の中心を決定した後で、画像取り込みデバイスはブロック５６０に進み、そして各々のクラスタ中心から基準光源の各々までの距離を決定する。１つの実施形態では、基準光源は、図７に“Ａ”でラベルを付けられた基準点に対応する白色光光源及びタングステン光源、図７に“Ｆ”でラベルを付けられた基準点に対応する蛍光灯光源、及び図７に“Ｄ３０”、“Ｄ５０”、及び“Ｄ７０”でラベルを付けられた基準点に対応する３つの昼光を含む。３つの昼光光源は、補間によって近似された黒体線を形成する。
【００７６】
画像取り込みデバイスは、各クラスタの中心からＡ基準、Ｆ基準、及び昼光光源を結ぶ黒体線上の最も近い点までの距離を決定するように構成されることができる。
【００７７】
距離を決定した後で、画像取り込みデバイスは、ブロック５７０に進み、そしてクラスタの各々に対する光源を推定できる。画像取り込みデバイスは、例えば、最小の決定された距離に対応する光源を光源として推定できる。
【００７８】
画像取り込みデバイスは、それからブロック５８０に進むことができ、各々のクラスタに対応する推定された光源に基づいて光源を決定できる。画像取り込みデバイスが１よりも多くのクラスタに対して１つの光源を決定できるという理由で、推定された光源は、整合しないことがある。同様に、各々の基準光源に対する距離が予め決められたしきい値を超える場合に、画像取り込みデバイスは、光源を決定しないことがある。
【００７９】
もし、推定された光源が整合するのであれは、画像取り込みデバイスは、光源が推定された光源であると決定する。しかしながら、全ての推定された光源が昼光光源に対してあっても、推定された光源は、黒体線上の異なる点に対応することがある。
【００８０】
もし、複数の推定された光源が昼光になるように一致し、そしてそれらの相関色温度（ＣＣＴ：Correlated Color Temperature）差がプリセット値の範囲内であれば、推定されたＣＣＴは、２つの平均であり得る。もし、複数の推定された光源が複数の昼光光源に対応付けられ、そしてそれらのＣＣＴ差がプリセット値を超えるのであれば、推定されたＣＣＴは、昼光の明るさを決定するための制約されていない平均輝度、Ｙ、同じ日の既知の時刻でのいずれかの以前の推定値、及び各々のクラスタ内の領域の数、に依存することがある。
【００８１】
もし、推定された光源が一致せず、クラスタ内にグレー領域がないために光源のうちの１又はそれより多くが推定されない状態を含むのであれば、最終的な推定は、別の要因に依存することがある。その要因は、ある光景が室内であるか屋外であるかどうかを決定するために、取り込まれた画像から導き出されたＣｂとＣｒのヒストグラムを使用して決定される可能性のある光景の推定値を含む。その要因は、同様に、室内環境又は屋外環境のどちらかを決定するために同様に使用されることができる制約されていない平均輝度、Ｙ、を含むことができる。その要因は、しかも、複数の異なる基準光源までの距離、もしあれば同じ日の既知の時刻でのいずれかの以前の推定、及び各々のクラスタ内の事例の数を含むことができる。
【００８２】
１つの実施形態では、画像取り込みデバイスは、演算上の複雑さ及びメモリの必要量に応じて、テンプレート・マッチング、又は単純な「もし−その時は（if-then）」論理又はエキスパート・システムを使用して可能性のある光景を決定できる。
【００８３】
光源を決定した後で、画像取り込みデバイスは、ブロック５９０に進み、そして取り込まれた画像にホワイト・バランス・ゲインを適用する。取り込まれた画像の色成分は、ホワイト・バランス・ゲインによって重み付けされることができる又はそうでなければスケーリングされることができて、ホワイト・バランスされた画像を得ることができる。
【００８４】
グレー世界仮説に基づいて画像取り込みデバイスにおける画像の自動ホワイト・バランスのための方法及び装置が記載される。その方法及び装置は、複数の基準光源から取り込まれた画像において光源を決定するために、グレー世界仮説を使用できる。その方法及び装置は、それから取り込まれた画像内の光景を照明するために使用される純白でない光源の効果を補償するために取り込まれた画像に適用されるべきホワイト・バランス・ゲインを決定できる。
【００８５】
本明細書中に開示された実施形態に関連して述べられた、各種の例示的な論理ブロック、モジュール、及び回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ：digital signal processor）、縮小命令セット・コンピュータ（ＲＩＳＣ：Reduced Instruction Set Computer）、用途特定集積回路（ＡＳＩＣ：application specific integrated circuit）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ：field programmable gate array）又は他のプログラマブル論理デバイス、ディスクリート・ゲート論理素子又はトランジスタ論理素子、ディスクリート・ハードウェア素子、若しくは本明細書中に説明された機能を実行するために設計されたこれらのいずれかの組み合わせで、与えられる又は実行されることができる。汎用プロセッサは、マイクロプロセッサであり得るが、しかし代わりに、プロセッサは、いずれかのプロセッサ、コントローラ、マイクロコントローラ、又はステート・マシンであり得る。プロセッサは、演算デバイスの組み合わせとして与えられることができる。例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアとともに１又はそれ以上のマイクロプロセッサの組み合わせ、又はいずれかの他のそのような構成の組み合わせであり得る。
【００８６】
ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、不揮発性メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハード・ディスク、脱着可能なディスク、ＣＤ−ＲＯＭ、又は、この技術において公知の他のいずれかの他の形式の記憶媒体の中に存在できる。ある具体例の記憶媒体は、プロセッサがその記憶媒体から情報を読み出し、そこに情報を書き込めるようにプロセッサに接続される。あるいは、記憶媒体は、プロセッサと一体化されることができる。
【００８７】
本明細書中に開示された実施形態に関連して説明された方法、プロセス、又はアルゴリズムのステップが、ハードウェアにおいて、プロセッサにより実行されるソフトウェア・モジュールにおいて、又は両者の組み合わせにおいて直接実現されることができる。方法又はプロセスにおける種々のステップ又は行為は、示された順番で実行されることができる、又は別の順番で実行されることができる。それに加えて、１又はそれより多くのプロセス・ステップ又は方法ステップが、省略されことができる、又は１又はそれより多くのプロセス・ステップ又は方法ステップが、方法又はプロセスに追加されることができる。追加のステップ、ブロック、又は行為は、その方法及びプロセスの既存の要素の始めに、終わりに、又は間に加えられることができる。
【００８８】
開示された実施形態の上記の説明は、本技術に知識のあるいかなる者でも、本発明を製作すること、使用することを可能にするために提供される。これらの実施形態への各種の変形は、当業者に容易に明白にされるであろう。そして、本明細書中に規定された一般的な原理は、本明細書の精神又は範囲から逸脱することなく、他の実施形態に適用されることができる。それゆえ、本明細書は、本明細書中に示された実施形態に制限することを意図したものではなく、本明細書中に開示した原理及び新奇な機能と整合する最も広い範囲に適用されるものである。
【図面の簡単な説明】
【００８９】
【図１】図１は、自動ホワイト・バランスを有する画像取り込みデバイスの１実施形態の機能的ブロック図である。
【図２】図２は、自動ホワイト・バランスのために設定された画像プロセッサの１実施形態の機能的ブロック図である。
【図３】図３は、光源基準を設定する方法の１実施形態のフローチャートである。
【図４】図４は、自動ホワイト・バランスの１方法の１実施形態のフローチャートである。
【図５】図５は、自動ホワイト・バランスの１方法の１実施形態のフローチャートである。
【図６】図６は、グレー・フィルタリングの１実施形態の一例の説明図である。
【図７】図７は、グレー・クラスタと基準光源との間の距離を決定する一例の説明図である。
【符号の説明】
【００９０】
１００…画像取り込みデバイス，１１０…レンズ，１３０…色プロセッサ，１３２…統計モジュール。
【図１】
2008504751.tif 000009
【図２】
2008504751.tif 000010
【図３】
2008504751.tif 000011
【図４】
2008504751.tif 000012
【図５】
2008504751.tif 000013
【図６】
2008504751.tif 000014
【図７】
2008504751.tif 000015
【国際調査報告】
2008504751.tif 000016
2008504751.tif 000017
2008504751.tif 000018