(57)【要約】取り込まれた画像の自動ホワイトバランスはグレイワールド仮定に基づいて実行することができる。１つの態様は収集モジュールとプロセッサとを含む装置に関する。収集モジュールは、（ａ）複数のクラスタの各クラスタに関して取り込まれた画像内の複数のピクセルの赤／緑および青／緑の色彩比値と、（ｂ）各クラスタに関連する、赤／緑および青／緑の色彩比を有するピクセルの数とを蓄積するように構成される。複数のクラスタは、昼光、蛍光灯、白熱灯、および屋外の緑のゾーンを具備している。プロセッサは、どのクラスタが、最も高い蓄積されたピクセル数を持っているかを判定し、かつ、取り込まれた画像にホワイトバランスを実行するために最も高い蓄積されたピクセル数を備えたクラスタを用いるように構成される。
2010508729.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）第１のピクセルに関して、赤、緑、および青（Ｒ，Ｇ，Ｂ）の値から複数の色彩比を計算し；
（ｂ）複数の前記比を最大値および最小値と比較することによって、複数の前記色彩比がある範囲外であるかどうかを判定し；
（ｃ）複数の前記色彩比が前記範囲外である場合に、前記第１のピクセルをスキップし、第２のピクセルに関して（ａ）および（ｂ）を実行し；
（ｄ）複数の前記色彩比が前記範囲内である場合に、複数の前記色彩比を複数の固定小数点整数へ量子化し；
（ｅ）クラスタインデックスを見つけるために、あるテーブル内の複数の前記固定小数点整数を探し；
（ｆ）前記クラスタインデックスがゼロかどうかを判定し；
（ｇ）前記クラスタインデックスがゼロである場合に、前記第２のピクセルに関して（ａ）および（ｂ）を実行し；
（ｈ）前記クラスタインデックスがゼロよりも大きい場合に、前記クラスタインデックスに関連した複数の色彩比合計をインクリメントし、前記クラスタインデックスに関連したピクセル数をインクリメントすることを特徴とする方法。
【請求項２】
前記色彩比は（Ｒ／Ｇ，Ｂ／Ｇ）を含むことを特徴とする請求項１の方法。
【請求項３】
複数の前記色彩比合計を蓄積し、前記ピクセル数をゼロまでカウントする複数の再設定レジスタをさらに含むことを特徴とする請求項１の方法。
【請求項４】
あるフレーム内のすべてのピクセルが処理されるまで、（ａ）から（ｈ）まで繰り返し；
前記フレームに自動ホワイトバランスを実行するために、複数のクラスタインデックスのうちの各クラスタインデックスに関連した複数の前記色彩比合計およびピクセル数を使用することをさらに具備する請求項１の方法。
【請求項５】
複数の前記クラスタインデックスは、昼光クラスタインデックス、蛍光クラスタインデックス、白熱クラスタインデックス、および屋外の緑ゾーンクラスタインデックスを具備することを特徴とする請求項４の方法。
【請求項６】
少なくとも１つのクラスタは複数の基準点を具備し、前記クラスタの形状は色彩比グラフ上の複数の前記基準点の複数の位置によって決定されることを特徴とする請求項１の方法。
【請求項７】
少なくとも１つのクラスタは異なる複数の重みに関連した複数のセクションを具備し、セクションごとに別々に複数の色彩比合計およびピクセル数を収集することをさらに具備することを特徴とする請求項１の方法。
【請求項８】
皮膚トーン処理に関して前記クラスタインデックスに関連した前記ピクセル数および前記クラスタインデックスに関連した複数の前記色彩比合計を使用することをさらに具備する請求項１の方法。
【請求項９】
複数のクラスタのうちの各クラスタに関して、（ａ）取り込まれた画像内の複数のピクセルの赤／緑および青／緑の色彩比値と、（ｂ）各クラスタに関連した赤／緑および青／緑の色彩比を有するピクセル数とを蓄積し、ここで複数の前記クラスタは昼光、蛍光灯、白熱灯、および屋外の緑ゾーンを具備し；
どのクラスタが最も高い蓄積されたピクセル数を持っているかを判定し；
前記取り込まれた画像にホワイトバランスを実行するために、前記最も高い蓄積されたピクセル数を有する前記クラスタを使用することを特徴とする方法。
【請求項１０】
少なくとも１つのクラスタは、複数の異なる重みに関連した複数のセクションを具備することを特徴とする請求項９の方法。
【請求項１１】
皮膚トーン処理に関して、複数の前記クラスタに関連した前記蓄積された色彩比値と、複数の前記クラスタに関連した前記蓄積されたクラスタ数とを使用することをさらに具備する請求項９の方法。
【請求項１２】
（ａ）第１のピクセルに関して、赤、緑、および青（Ｒ，Ｇ，Ｂ）の値から複数の色彩比を計算する手段と；
（ｂ）複数の前記比を最大値および最小値と比較することによって、複数の前記色彩比がある範囲外であるかどうかを判定する手段と；
（ｃ）複数の前記色彩比が前記範囲外である場合に、前記第１のピクセルをスキップし、第２のピクセルに関して（ａ）および（ｂ）を実行する手段と；
（ｄ）複数の前記色彩比が前記範囲内である場合に、複数の前記色彩比を複数の固定小数点整数へ量子化する手段と；
（ｅ）クラスタインデックスを見つけるために、あるテーブル内の複数の前記固定小数点整数を探す手段と；
（ｆ）前記クラスタインデックスがゼロかどうかを判定する手段と；
（ｇ）前記クラスタインデックスがゼロである場合に、前記第２のピクセルに関して（ａ）および（ｂ）を実行する手段と；
（ｈ）前記クラスタインデックスがゼロよりも大きい場合に、前記クラスタインデックスに関連した複数の色彩比合計をインクリメントし、前記クラスタインデックスに関連したピクセル数をインクリメントする手段と、を具備することを特徴とする装置。
【請求項１３】
（ａ）複数のクラスタのうちの各クラスタに関して、取り込まれた画像内の複数のピクセルの赤／緑および青／緑の色彩比値と、（ｂ）各クラスタに関連した赤／緑および青／緑の色彩比を有するピクセル数とを蓄積するように構成された収集モジュールと、ここで複数の前記クラスタは昼光、蛍光灯、白熱灯、および屋外の緑ゾーンを具備し；
どのクラスタが最も高い蓄積されたピクセル数を持っているかを判定し、前記取り込まれた画像にホワイトバランスを実行するために、前記最も高い蓄積されたピクセル数を有する前記クラスタを使用するように構成されたプロセッサと、を具備する装置。
【請求項１４】
前記収集モジュールは皮膚トーン検出モジュールと一体化していることを特徴とする請求項１３の装置。
【請求項１５】
前記収集モジュールはプロセッサによって実行されることを特徴とする請求項１３の装置。
【請求項１６】
前記収集モジュールは、量子化された赤／緑および青／緑色の彩比値のテーブルと、前記色彩比値に関連した複数のクラスタインデックスとを具備することを特徴とする請求項１３の装置。
【請求項１７】
前記収集モジュールは、複数のレジスタを具備し、各レジスタは、前記複数のクラスタのうちの１つに関して色彩比値を蓄積するように構成されていることを特徴とする請求項１３の装置。
【請求項１８】
前記収集モジュールは、複数のカウンタを具備し、各カウンタは、前記複数のクラスタのうちの１つに関連した赤／緑および青／緑の色彩比を有するピクセル数をカウントするように構成されていることを特徴とする請求項１３の装置。
【請求項１９】
少なくとも１個のクラスタは、複数の異なる重みに関連した複数のセクションを具備し、前記収集モジュールは、セクションごとに別々に複数の色彩比値およびピクセル数を蓄積するように構成されていることを特徴とする請求項１３の装置。
【請求項２０】
（ａ）複数のクラスタのうちの各クラスタに関して、取り込まれた画像内の複数のピクセルの赤／緑および青／緑の色彩比値と、（ｂ）各クラスタに関連した赤／緑および青／緑の色彩比を有するピクセル数とを蓄積し、ここで複数の前記クラスタは昼光、蛍光灯、白熱灯、および屋外の緑ゾーンを具備し；
どのクラスタが最も高い蓄積されたピクセル数を持っているかを判定し、前記取り込まれた画像にホワイトバランスを実行するために、前記最も高い蓄積されたピクセル数を有する前記クラスタを使用する実行可能な１セットの命令を格納するように構成されたコンピュータ読取可能な媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
光源、または発光体とも呼ばれる照明源は、純粋な白ではなく、むしろ特定色寄りのバイアスを持っている可能性がある。色バイアスは、色温度によって通常測定される。人間の目は、純白でない照明を補うことができる。したがって、色は照明条件の広範囲にわたって比較的整合しているように見える。言いかえれば、人間の目は、異なる照明条件に合わせて調節することができ、その結果、灰色の物体は灰色に見える（グレイ（grey）と灰色（gray）とはここでは置き換え可能に用いられてもよい）。
【０００２】
しかしながら、電子感知器は、発光体が変わる場合、同じシーンを異なって感知する可能性がある。電子感知器は、画像を取り込むが、しかし、異なる色温度を有する異なる照明条件を補償することができない可能性がある。ディジタルカメラまたは映像レコーダのような、電子画像取込装置において用いられる典型的なセンサは、純粋でない白色源からの照明に起因する色ずれを示す画像を取り込む可能性がある。取り込まれた画像に示された色ずれは、人間の目に不自然に見えて、センサあるいは取込装置が低品質である、つまり、正確に現実世界の画像を取り込むことができない知覚を生み出す可能性がある。
【０００３】
取り込まれた画像は、発光体の色温度および照明条件を補うために処理されてもよい。ホワイトバランス補償は、発光体の色温度に依存する。最初の色温度で発光体用に設定されたホワイトバランス補償は、別の発光体の色温度に関して正確ではない可能性があり、さらに、付加的な色ずれを画像に導入することによって映像画質を下げる可能性がある。ディジタル画像内の色調がオフである、つまりホワイトバランスがない、または正確でないホワイトバランスの場合、画像の人間の知覚は好ましくない可能性がある。
【発明の概要】
【０００４】
正確な発光体を検出する非常に軽い温度センサは、高価または重すぎて、ディジタルカメラまたは他のモバイル機器で実行することができないかもしれない。
【０００５】
カメラは、照明条件または白レベルを正確に推定するために、各フレームにおいて取り込まれたピクセルのみに依存してもよい。自動ホワイトバランス（ＡＷＢ）は、ディジタルカメラおよび映像レコーダのようなディジタル画像アプリケーションにとって重要なタスクである可能性がある。ＡＷＢパフォーマンスを向上することは望ましいだろう。
【０００６】
取り込まれた画像のＡＷＢは、グレイワールド仮定に基づいて実行されうる。最初に、平らな視野の灰色画像は、１以上の基準発光体用に取り込まれる。取り込まれた灰色画像の統計は、較正処理の間に各基準発光体用に判定され格納される。それぞれに続く取り込まれた画像については、画像は灰色の領域の一部を判定するためにフィルタされてもよい。灰色の領域は、さらに１以上の灰色クラスタに区分化されてもよい。１以上の灰色のクラスタの平均重みが決定され、平均重みから基準発光体までの距離が決定されてもよい。発光体の推定は距離に基づいて判定されてもよい。ホワイトバランス利得は、推定された発光体に基づいて画像に適用されてもよい。
【０００７】
様々な異なるタイプのＡＷＢアルゴリズムは、不完全な性能で開発される可能性がある。グレイワールド仮定は、ＡＷＢ意思決定に関する統計データを収集する安価な手法である。グレイワールド仮定に基づいた異なるアルゴリズムがあってもよい。シーンには灰色のピクセルがないか、フレーム平均が灰色でない場合、グレイワールド仮定に基づいたアルゴリズムは惑わされうる。したがって、多くの発見法（heuristics）がＡＷＢを支援してもよい。しかしながら、これらの発見法は、収集したＡＷＢ統計が信頼できる場合のみ信頼できる。
【０００８】
映像アプリケーションにおけるかなりの量の計算処理能力が、符号化および／または復号する画像に専念しているので、ソフトウェア上で動作しているＡＷＢアルゴリズムが可能な限り僅かな時間しか費やさないことは重要である。そうでなければ、フレームロスまたはフレーム欠落の状況が、計算能力制約により生じる可能性がある。
【０００９】
柔軟で強力なＡＷＢ統計収集方法はここに記述される。それは、ルックアップテーブルの異なるセットを用いることによって任意のセンサに関して設定されてもよい。
【００１０】
１つの態様は、（ａ）第１のピクセルに関して、赤、緑、および青（Ｒ，Ｇ，Ｂ）の値から複数の色彩比を計算し；（ｂ）複数の前記比を最大値および最小値と比較することによって、複数の前記色彩比がある範囲外であるかどうかを判定し；（ｃ）複数の前記色彩比が前記範囲外である場合に、前記第１のピクセルをスキップし、第２のピクセルに関して（ａ）および（ｂ）を実行し；（ｄ）複数の前記色彩比が前記範囲内である場合に、複数の前記色彩比を複数の固定小数点整数へ量子化し；（ｅ）クラスタインデックスを見つけるために、あるテーブル内の複数の前記固定小数点整数を探し；（ｆ）前記クラスタインデックスがゼロかどうかを判定し；（ｇ）前記クラスタインデックスがゼロである場合に、前記第２のピクセルに関して（ａ）および（ｂ）を実行し；（ｈ）前記クラスタインデックスがゼロよりも大きい場合に、前記クラスタインデックスに関連した複数の色彩比合計をインクリメントし、前記クラスタインデックスに関連したピクセル数をインクリメントすることを具備する方法に関する。
【００１１】
別の態様は、複数のクラスタのうちの各クラスタに関して、（ａ）取り込まれた画像内の複数のピクセルの赤／緑および青／緑の色彩比値と、（ｂ）各クラスタに関連した赤／緑および青／緑の色彩比を有するピクセル数とを蓄積することを具備する方法に関する。複数の前記クラスタは昼光、蛍光灯、白熱灯、および屋外の緑ゾーンを具備する。方法は、さらに、どのクラスタが最も高い蓄積されたピクセル数を持っているかを判定し、前記取り込まれた画像にホワイトバランスを実行するために、前記最も高い蓄積されたピクセル数を有する前記クラスタを使用する。
【００１２】
別の態様は、（ａ）第１のピクセルに関して、赤、緑、および青（Ｒ，Ｇ，Ｂ）の値から複数の色彩比を計算する手段と；（ｂ）複数の前記比を最大値および最小値と比較することによって、複数の前記色彩比がある範囲外であるかどうかを判定する手段と；（ｃ）複数の前記色彩比が前記範囲外である場合に、前記第１のピクセルをスキップし、第２のピクセルに関して（ａ）および（ｂ）を実行する手段と；（ｄ）複数の前記色彩比が前記範囲内である場合に、複数の前記色彩比を複数の固定小数点整数へ量子化する手段と；（ｅ）クラスタインデックスを見つけるために、あるテーブル内の複数の前記固定小数点整数を探す手段と；（ｆ）前記クラスタインデックスがゼロかどうかを判定する手段と；（ｇ）前記クラスタインデックスがゼロである場合に、前記第２のピクセルに関して（ａ）および（ｂ）を実行する手段と；（ｈ）前記クラスタインデックスがゼロよりも大きい場合に、前記クラスタインデックスに関連した複数の色彩比合計をインクリメントし、前記クラスタインデックスに関連したピクセル数をインクリメントする手段と、を具備する装置に関する。
【００１３】
別の態様は収集モジュールおよびプロセッサを含む装置に関する。収集モジュールは、（ａ）複数のクラスタのクラスタごとに、取り込まれた画像に含まれる複数個のピクセルの、赤／緑および青／緑の色彩比値と、（ｂ）各クラスタに関連した、赤／緑および青／緑色彩比を有するピクセル数を蓄積するように構成され、クラスタは、昼光、蛍光灯、白熱灯、および屋外の緑ゾーンを具備する。プロセッサは、どのクラスタが最も高い蓄積されたピクセル数を有しているかを決定し、かつ、取り込まれた画像にホワイトバランスを実行するために、最も高い蓄積されたピクセル数を有したクラスタを使用するように構成される。
【００１４】
別の態様は、（ａ）複数のクラスタのうちの各クラスタに関して、取り込まれた画像内の複数のピクセルの赤／緑および青／緑の色彩比値と、（ｂ）各クラスタに関連した赤／緑および青／緑の色彩比を有するピクセル数とを蓄積し、ここで複数の前記クラスタは昼光、蛍光灯、白熱灯、および屋外の緑ゾーンを具備し；どのクラスタが最も高い蓄積されたピクセル数を持っているかを判定し、前記取り込まれた画像にホワイトバランスを実行するために、前記最も高い蓄積されたピクセル数を有する前記クラスタを使用する実行可能な１セットの命令を格納するように構成されたコンピュータ読取可能な媒体に関する。
【図面の簡単な説明】
【００１５】
【図１】図１は、自動ホワイトバランスを有する画像取込装置の構成を示す。
【図２】図２は、自動ホワイトバランス用に構成された画像処理プロセッサの構成を示す。
【図３】図３は、発光基準を確立する方法の構成を示す。
【図４】図４は、自動ホワイトバランスを提供する方法の構成を示す。
【図５】図５は、自動ホワイトバランスを提供する方法の別の構成を示す。
【図６】図６は、灰色フィルタリング構成の一例を示す。
【図７】図７は、灰色のクラスタと基準発光体との間の距離を決定する一例を示す。
【図８】図８は、赤／緑（Ｒ／Ｇ）および青／緑（Ｂ／Ｇ）空間の上の基準点および屋外の緑ゾーンの分布を示す。
【図９】図９は、別の自動ホワイトバランス（ＡＷＢ）統計収集方法の一例を示す。
【図１０】図１０は、図８において用いられてもよい１つのクラスタの楕円形の複数のセクションまたは複数のパーティションに割り当てられた異なるインデックスを示す。
【図１１】図１１は、図８において用いられてもよいクラスタの代替構成を示す（ここで複数のインデックスは実質的に１つのクラスタ内の長方形の複数のセクションに割り当てられる）。
【図１２】図１２は、図９の方法によって用いられてもよい、１以上のルックアップテーブルの複数の例を示す。
【図１３Ａ】図１３Ａは、図１２のクラスタインデックスに関するアキュムレーターレジスタを示す。
【図１３Ｂ】図１３Ｂは、サブ分割を有するインデックスＸのためのレジスタを示す。
【図１４】図１４は、グレイワールド仮定を用いて、センサ、ＡＷＢ統計収集モジュール、皮膚トーン検出モジュール、およびＡＷＢモジュールを示す。
【発明を実施するための形態】
【００１６】
グレイワールド仮定は、ディジタル写真内のホワイトバランスを実行する根拠を形成することができる。画像内のピクセルの平均色が荒く灰色であることは、写真の多くの収集で観察されている。シーンに依存している例外はあるが、グレイワールド仮定は、うまくいき、ホワイトバランスを実行する信頼できる根拠を提示してもよい。
【００１７】
ここに開示された自動ホワイトバランス（ＡＷＢ）方法および装置は、異常値除去と結合したグレイワールド仮定に基づいている。ディジタルカメラまたはある他の画像処理装置（および／または画像取込装置）は、ここに記述されたＡＷＢ方法を実行するように構成されうる。
【００１８】
方法は、ディジタルカメラまたは無線カメラ電話機のような画像取込装置に関して記述される。しかし、画像取込センサが装置内で実行されるべきという要件はない。電子機器はリモートセンサーによって取り込まれた画像にＡＷＢ方法を実行するように構成されうる。
【００１９】
画像取込装置は、最初に画像を多数の領域（１以上のピクセル）に分割することができる。装置は、画像をフィルタして、灰色の領域を通過し、かつ灰色でない領域を拒絶することができる。装置は、灰色の領域を使用して、発光体を決定し、かつ灰色でない領域に依存しなくしてもよい。ここに用いられるように、「灰色の領域」および「灰色のピクセル」はそれぞれ、灰色と灰色に近い領域およびピクセルを参照する。それらは、フィルタ制約によって選択され、さらに発光体を決定する際に用いられる。
【００２０】
灰色の領域を識別するために画像をフィルタした後に、装置は、所定の座標空間またはグリッド上にマッピングするために、灰色の領域の色彩特性を変換するかそうでなければ変形する。装置は、特定の発光体に照らされた灰色画像を取り込むことによって得られた灰色基準に対応するグリッド内の１以上の基準点を見つけることができる。したがって、装置は、グリッドに各発光体に関する基準点を置くことができる。
【００２１】
座標系上にマッピングするために灰色の領域を変換した後に、装置は、灰色の領域のそれぞれに、灰色の領域から発光基準点のそれぞれまでの距離を決定することができる。装置は、貧弱な統計の灰色の領域を決定し、かつ、考察すべき事項からそれらの異常値領域を除去することにより、灰色の領域をフィルタすることができる。装置は、例えば、領域のそれぞれから発光基準点のうちのいくつかまでの最小距離を決定することができる。その後、装置は、所定のしきい値に対する最小距離を比較し、所定のしきい値よりも大きな最小距離を有する領域を、さらなる処理から除去することができる。
【００２２】
その後、装置は、残りの灰色の領域から発光基準点のそれぞれまでの距離を比較する。装置は、灰色の領域に最も近い発光基準点を有する発光体として発光体を推定することができる。
【００２３】
図１は、ＡＷＢを実行する画像取込装置１００の機能ブロック図である。画像取込装置１００は、例えばディジタルカメラ、ディジタルビデオレコーダ、ディジタルカメラを有する無線電話、またはいくつかの他の画像取込装置になりうる。画像取込装置１００は、センサ１２０に関連して位置しているレンズ１１０を含むことができる。センサは、例えば入射光を電子表現に変換するように構成された光学センサでもよい。例えば、センサは、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）検出器、フォトダイオードアレイ、光起電力検出器など、あるいは光学画像を取り込むためのある他のセンサになりうる。センサ１２０は光成分の形式で電子表現を生成するように構成されうる。例えば、レンズ１１０は、取り込まれた画像に関して、別個のＲ、ＧおよびＢ表現を生成してもよい。センサ１２０は色プロセッサ１３０につながれてもよい。
【００２４】
色プロセッサ１３０はＡＷＢを提供するように構成されてもよい。色プロセッサ１３０は、取り込まれた画像の統計を集めて処理するように構成された統計モジュール１３２を含むことができる。色プロセッサ１３０および統計モジュール１３２は、画像において取り込まれたシーンを照らす照明条件を測定するか、そうでなければ決定するように構成されうる。色プロセッサ１３０は、複数個の基準発光体に関して格納された統計に一部基づいて発光体を決定することができる。色プロセッサ１３０は、画像のカラーバランスを修正するために、取り込まれた画像に補正を適用するように構成されうる。色プロセッサ１３０および統計モジュール１３２は、メモリ１４０と連動して動作するプロセッサ１５０を用いて、関連する機能のうちのいくつかまたはすべてを実行するように構成されうる。色プロセッサ１３０および統計モジュール１３２の機能のうちのいくつかまたはすべては、１以上のプロセッサ使用可能な指示としてメモリ１４０にソフトウェアとして格納することができる。プロセッサ１５０は、プロセッサ使用可能な指示にアクセスし、かつ、関連する機能を実行するためにそれら上で動作するように構成されることが可能である。
【００２５】
色プロセッサ１３０は、メモリ１４０に基準発光体統計および情報を格納するように構成され得、取り込まれた画像を格納するように構成されてもよい。メモリ１４０は装置１００の内部または外部にあってよい。あるいは、またはさらに、色プロセッサ１３０は、加工していないまたはＡＷＢ補正された画像を、出力／ディスプレイ１６０に伝えるように構成されうる。
【００２６】
出力／ディスプレイ１６０は、液晶表示装置（ＬＣＤ）、発光ダイオード（ＬＥＤ）アレイ、陰極線管（ＣＲＴ）などのようなディスプレイデバイスまたはある他の表示装置を含むことができる。出力／ディスプレイ１６０はさらに１以上の出力ポートを含むことができる。例えば、ＡＷＢ補正された画像は、ポートまたはコネクタへ出力することができる。色プロセッサ１３０は、ＡＷＢ補正画像を出力／ディスプレイ１６０に直接出力するように構成され、または、ＡＷＢ補正画像を、出力／ディスプレイ１６０に補正画像を通信するより前のファイルフォーマット、または標準ディスプレイのような特定のフォーマットに変換するように構成されてもよい。例えば、色プロセッサ１３０は、ＡＷＢ補正画像をフォーマットして、ＪＰＥＧ、ＧＩＦ、またはある他の画像形式にするように構成されうる。出力／ディスプレイ１６０は、ＡＷＢ補正画像を目的装置（図示せず）に送信するように構成された無線トランシーバーまたはモデムのような通信装置でもよい。
【００２７】
図２は、図１の画像取込装置１００のような画像取込装置において動作する色プロセッサ１３０および統計モジュール１３２の機能ブロック図である。図１でのように、図２の画像取込装置はプロセッサ１５０およびメモリ１４０に結合された統計モジュール１３２を有する色プロセッサ１３０を含むことができる。
【００２８】
色プロセッサ１３０は、取り込まれた画像を受信するように構成された入力を含むことができる。取り込まれた画像は、統計モジュール１３２およびホワイトバランス利得モジュール２１０へ入力することができる。ホワイトバランス利得モジュール２１０は、統計モジュール１３２の出力にしたがってホワイトバランス利得を適用するように構成されうる。
【００２９】
統計モジュール１３２は、取り込まれた画像を、発光体を決定するために用いることができる灰色のオブジェクトを選択するために取り込まれた画像を処理してもよい灰色フィルタ２２０へ入力するように構成されうる。取り込まれた画像は典型的にはディジタル信号、パケットまたはディジタルファイルの形をしているので、ディジタルプロセッサとして灰色フィルタ２２０（例えばデジタルフィルタ）を実行することは有利かもしれない。
【００３０】
図１のセンサ１２０のようなセンサは、赤、緑、青（ＲＧＢ）、ＹＣｒＣｂまたはある他の色フォーマットのような様々な色フォーマットのうちの任意の１つで画像を取り込むように構成されうる。ピクセルはそれぞれ、トリプレット値とともに（Ｒ，Ｇ，Ｂ）中へ入ってもよい。その後、（Ｒ，Ｇ，Ｂ）値は（Ｙ，Ｃｂ，Ｃｒ）値に変換される。
【００３１】
灰色フィルタ２２０は灰色のオブジェクトフィルタリングを容易にする特定色フォーマットを処理するように構成されうる。例えば、灰色フィルタ２２０は、フィルタリングプロセスを容易にするために、ＹＣｒＣｂフォーマットでの画像の初期の灰色フィルタリングを実行するように構成されうる。灰色フィルタ２２０は取り込まれた画像をＹＣｒＣｂフォーマットへ変換するように構成されうる。Ｙ、ＣｂおよびＣｒ色フォーマットは、以下の色変形を用いて、ＲＧＢ色フォーマット情報から導き出すことができる。ここで、ＹはＲｅｃ．６０１（ＲＧＢピクセルがどのようにＹＣｂＣｒデータに変換されるかを定義する公的な標準規格）で定義される輝度であり、ＣｂはＢとＧの色差であり、ＣｒはＲとＧの色差である。
【数１】
2010508729.tif 000003
【００３２】
１つの構成では、灰色フィルタ２２０は、所定の輝度範囲内の領域を選択し、次に、残りの領域から、所定のＣｒおよびＣｂ基準を満たす領域を選択することによって、灰色の領域（上記の「灰色のオブジェクト」と同様）を選択するために、取り込まれた画像をフィルタすることができる。灰色フィルタ２２０は、暗すぎる、または明るすぎる領域を除去するために輝度値を用いることができる。これらの領域は雑音および飽和の問題により除外される。灰色フィルタ２２０は幾つかの方程式としてフィルタを表現することができる。ここで、次の６つの不等式を満たす領域は可能な限り灰色の領域と見なされる。
【数２】
2010508729.tif 000004
【００３３】
値、ｍ１−ｍ４およびｃ１−ｃ４は、フィルタされたオブジェクトが正確に灰色の領域を表現することを保証するために選択されている所定の定数を表現することができ、ほぼすべての取り込まれた画像に関して発光体が推定されうることを保証するために、フィルタされたオブジェクトの十分に大きな範囲を維持する。他の方程式が用いられてもよい。いくつかの構成では、灰色フィルタ２２０は、フィルタリング判定基準の複数セットを適用し、複数の判定基準に基づいた領域をフィルタしてもよい。
【００３４】
ピクセルがこれらに６つの不等式を満たした場合、それはその領域にとって合計に入れられる。各画像はそれぞれ８×８または１６×１６領域に分割されてもよい。結局、各領域は（Ｙ，Ｃｂ，Ｃｒ）の合計および和に含まれたピクセル数を報告する。
【００３５】
灰色フィルタ２２０はほぼ任意のサイズの領域上で動作することができる。例えば、最小の領域サイズは単一のピクセルに対応しうる。同様に、最大の領域サイズは取り込まれた画像全体のサイズに対応しうる。灰色フィルタ２２０は取り込まれた画像サイズより小さな領域上で動作してもよい。典型的には、画像は複数の領域に分割され、灰色フィルタ２２０はそれぞれの領域上で動作する。
【００３６】
画像はＬ×Ｍ個の長方形の領域を含むために分割されうる。ここでＬとＭは正整数である。それで、Ｎ＝Ｌ×Ｍは、画像において領域の合計数を表わす。
【００３７】
１つの構成では、灰色フィルタ２２０は、取り込まれた画像を８×８または１６×１６ピクセルの領域に分割することができる。灰色フィルタ２２０は、取り込まれた画像のピクセルを、例えばＲＧＢ成分からＹＣｒＣｂ成分へ変換することができる。灰色フィルタ２２０は、可能な灰色のピクセルを選択するための上記の不等式を用いて、ピクセルをフィルタすることができる。大画像サイズのための計算の数を減らすために、灰色フィルタ２２０は、ピクセルを垂直および／または水平に、サブサンプリングするか、またはそうでなければ、多くを破棄するように構成されうる。例えば、１つの構成では、灰色フィルタ２２０は、１．３メガピクセルまたはそれ以上を有する画像に関して、２分の１に水平および垂直のピクセルをサブサンプリングするように構成されうる。
【００３８】
その後、灰色フィルタ２２０は、領域のそれぞれに関して統計を生成するために、フィルタされたピクセルを処理することができる。例えば、灰色フィルタ２２０は、フィルタされたか制約されたＣｂの合計、フィルタされたか拘束されたＣｒの合計、フィルタされたか拘束されたＹの合計、および、Ｙ、ＣｂおよびＣｒの合計に関する拘束条件に応じて選択されたピクセル数を決定することができる。領域統計から、灰色フィルタ２２０は、Ｃｂ（ａｖｅＣｂ）、Ｃｒ（ａｖｅＣｒ）、およびＹ（ａｖｅＹ）の平均を出すために、選択されたピクセル数で分割されたＣｂ、ＣｒおよびＹの各領域の合計を決定する。その後灰色フィルタ２２０は、Ｒ、Ｇ、およびＢの平均を決定するために、統計をＲＧＢ成分に戻って変換することができる。平均のＲ、Ｇ、およびＢ値は、次の方程式によってａｖｅＹ、ａｖｅＣｂおよびａｖｅＣｒから決定されうる。
【数３】
2010508729.tif 000005
【００３９】
灰色フィルタ２２０は、各領域を２個の異なるクラスタ（図６に示されるように、灰色の領域に関するクラスタＸおよびより高い飽和領域に関するクラスタＹ）のうちの１つへグループ化するために、４つのＣｂＣｒ拘束条件（上記の（３）から（６）の方程式）を用いることができる。クラスタＸの灰色の領域は、クラスタＹのより飽和している領域よりもより信頼できる照明推定を提供してもよい。しかし、両方のクラスタ内の領域は、灰色の領域の数が正確な推定をするには十分ではない場合に、適切な発光体が推定されうるという合理的な確信を維持するために用いられてもよい。
【００４０】
１つの構成では、図６内の２つの軸の交差は、灰色の点と考えられてもよく、クラスタＸおよび／またはクラスタＹは中立のエリア（灰色に近い）と考えられてもよい。クラスタＸおよび／またはクラスタＹは、灰色に近いピクセルを収集するＣｒＣｂ空間上の境界ボックス（bounding box）と考えられてもよい。
【００４１】
図２での灰色フィルタ２２０は、グリッド変換器２３０に、領域の同一性およびそれらの統計を伝える。グリッド変換器２３０は、座標系に関してフォーマットされた基準発光体との関係を決定するために、領域統計をグリッド座標系へ変換するように構成される。１つの構成では、グリッド変換器２３０は、領域統計を、（Ｒ／Ｇ，Ｂ／Ｇ）座標系でのｎ×ｎグリッドのうちの１つに変換し量子化する。グリッド距離を直線的に分割する必要はない。例えば、座標グリッドは非線形の分割されたＲ／ＧおよびＢ／Ｇ軸から形成されうる。非線形の分割されたグリッド座標は、グリッド距離を決定する場合、直線的に分割されたグリッドよりもよりよく機能する可能性がある。グリッド変換器２３０は、［１／４，４］のような定義済みの範囲の外部である、ペアの（ａｖｅＲ／ａｖｅＧ，ａｖｅＢ／ａｖｅＧ）を廃棄することができる。グリッド変換器２３０は領域統計を２次元座標系に有利に変換することができる。しかし、２次元の座標系の使用は限定ではなく、グリッド変換器２３０は座標系においていかなる次元数を用いるように構成されうる。例えば、別の構成では、グリッド変換器２３０は、ある予め決められた一定値に正規化されたＲ、Ｇ、およびＢ値に対応する３次元座標系を用いることができる。
【００４２】
グリッド変換器２３０は、クラスタフィルタ２４０に変換されたグリッド値を伝えるように構成されうる。クラスタフィルタ２４０は、グリッド値（フィルタされた領域に対応する）を、灰色フィルタ２２０で定義されたクラスタへグループ化するように構成されうる。例えば、クラスタフィルタ２４０は、グリッド変換器２３０からのグリッド値を、灰色フィルタ２２０に適用された拘束条件によって規定された、クラスタＸおよびクラスタＹグループへグループ化するように構成されうる。別の構成では、クラスタフィルタ２４０および灰色フィルタ２２０は、領域統計を、２つを超えるグループへ定義しグループ化することができる。
【００４３】
クラスタフィルタ２４０は、一部グルーピングに基づいた、グリッド値のグループを、距離モジュール２５０に供給するように構成されうる。例えば、上に記述された構成では、クラスタＺに対応するグリッド値は、よりよい灰色の領域近似に対応してもよい。クラスタフィルタ２４０は、最初に距離モジュール２５０にクラスタＸに対応するグリッド値を伝えるように構成されうる。距離モジュール２５０および発光体推定器２７０が高い信頼度で発光体推定を決定することができる場合、クラスタフィルタ２４０はクラスタＹグリッド値のさらなる処理を省略してもよい。別の構成では、クラスタフィルタ２４０は、発光体推定を決定するために両方のクラスタからのグリッド値が用いられる構成で、クラスタＸ値、続いてクラスタＹ値を通信するように構成されうる。
【００４４】
発光基準モジュール２６０からの出力は、距離モジュール２５０の第２の入力に送られうる。発光基準モジュール２６０は基準発光体の位置を距離モジュール２５０に供給するように構成されうる。
【００４５】
発光基準モジュール２６０は１以上の基準発光体に関する統計を格納するように構成されうる。１以上の基準発光体に関する統計は、製造工程中にカメラの種々の部分の性能を測定する較正ルーチン中に予め決定されている。
【００４６】
特性化プロセスは、較正ルーチンと正確には同じではないかもしれないが、それらは類似している可能性がある。特性化はセンサの性能に関係する。例えば、特性化プロセスは、オフィス光の下のセンサの一種のＲ／ＧおよびＢ／Ｇを測定してもよい。しかし、製造工程はすべてのセンサを測定してもよく、どれくらいセンサが特性値から遠ざかっているかを記録してもよい。特性化プロセスは、図１での画像取込装置１００の撮影センサ１２０とレンズ１１０との組合せのように、あるセンサモジュールに関してオフラインで起こってもよい。オフライン処理は、典型的な消費者が画像取込装置１００を用いていない期間に生じ、製造工程内の期間を参照してもよい。屋外の照明条件については、その日の種々の時期に対応する灰色のオブジェクトの一連の写真は収集される。写真は、その日の異なる時期の間に、曇りの照明、シェードでのアウトドアなど、直接の太陽光で取り込まれた画像を含むことができる。これらの照明条件の下での灰色のオブジェクトのＲ／ＧおよびＢ／Ｇ比率は記録される。屋内の照明条件については、灰色のオブジェクトの画像は、暖かい蛍光灯、寒い蛍光灯、白熱灯など、またはある他の発光体を用いて、取り込みうる。照明条件のそれぞれは基準点として用いられてもよい。Ｒ／ＧおよびＢ／Ｇ比率は屋内の照明条件に関して記録される。
【００４７】
別の構成では、基準発光体は、Ｄ３０、Ｄ５０およびＤ７０として呼ばれる、Ａ（白熱、タングステンなど）、Ｆ（花）および複数の昼光発光体を含むことができる。図７に示されるように、３つの昼光発光体は補間によって近似された黒体ラインを形成することができる。基準座標の（Ｒ／Ｇ，Ｂ／Ｇ）座標は、センサモジュールのスペクトル応答と発光体の出力分布とを統合することによって計算される発光体色によって理想的に定義されうる。
【００４８】
Ｒ／ＧおよびＢ／Ｇ比率のスケールを決定した後に、基準点はグリッド座標上に配置される。スケールは、異なる基準点を適切に区別するために、グリッド距離を用いることができる方法で決定される。発光基準モジュール２６０は、灰色の領域を特徴づけるために用いられる同じ座標グリッドを用いて、発光統計を生成することができる。
【００４９】
距離モジュール２５０は、クラスタフィルタ２４０から受信した各グリッド点から、発光基準モジュール２６０からのすべての基準点までの距離を決定するように構成されうる。距離モジュール２５０は、所定のしきい値に対して決定された距離を比較することができる。任意の基準点への最短距離が所定のしきい値を越える場合、点は異常値と見なされ除外される。
【００５０】
定義によって、全ての基準点は異なる照明条件の下の灰色のオブジェクトに対応する。クラスタフィルタ２４０から受信した集められたデータ点が基準点のうちのどれにも接近していない場合、それは灰色のオブジェクトではない。そのような異常値点が距離計算に含まれていれば、それは大きな距離を生成し、全体的な距離比較に悪い影響を与える。したがって、大きな最小距離を有するデータ点は、異常値として見て除去されうる。データ点が異常値でない場合、すべての基準点への距離は決定される。１つの構成では、特定の基準点への距離は、その同じ基準点への他のすべてのデータ点距離で合計されうる。
【００５１】
全てのデータ点は処理され、その結果、異常点が除去され、すべての基準点への距離が合計された後に、Ｋ個の基準点に対応するすべての基準点に関する距離の合計であるＫ個の数がある。
【００５２】
距離モジュール２５０は（ａ）発光推定器２７０に各距離を伝える、または、（ｂ）合計を決定し、基準点のそれぞれに関する距離の合計を発光推定器２７０に伝えるように構成されうる。発光推定器２７０は、基準点への最小距離を決定することができ、基準点に対応する照明条件を判定することができる。
【００５３】
１つの構成では、クラスタフィルタ２４０は、画像統計を、２つのグループ、ラベルが付けられたクラスタＸおよびクラスタＹへグループ化するように構成される。クラスタＸおよびクラスタＹの両方での各データ点については、距離モジュール２５０は少なくとも３つの異なる距離を決定するように構成されうる。距離モジュール２５０は、例えば、基準発光体Ａ（Ref. A）への距離、基準発光体Ｆ（Ref. F）への距離、および図７に示されるように、基準昼光発光体によって形成された黒体ラインへの距離を決定することができる。
【００５４】
距離モジュール２５０は、ユークリッド、マンハッタン（City Block）、またはある他のメトリックのような距離メトリックが計算複雑要求および性能要求に依存して使用されうることを決定するように構成されうる。他の構成では、距離モジュール２５０は、クラスタのそれぞれに対応する重心を決定するように構成することができ、クラスタ重心から基準発光点のそれぞれまでの距離を決定するように構成されうる。
【００５５】
１つの構成では、昼光基準点（Ｄ６５）への全体の距離は１２５でありえ、暖かい蛍光基準点（ＷＦ）への距離は３２４でありえ、寒い蛍光基準点（ＣＦ）への距離は４２１でありえる。発光推定器２７０は、Ｄ６５（＝１２５）への距離がすべての数の中で最も小さいことを決めることができる。その後、発光推定器２７０は、Ｄ６５が照明条件であることを決めることができ、対応するＤ６５のＲ／ＧおよびＢ／Ｇ比率は、ホワイトバランスを実行するために用いられる。
【００５６】
距離につながりがある場合、発光推定器２７０は、照明条件を決定するのを支援するために、センサ露出および利得設定を用いることができる。露出設定に依存して、取り込まれた画像内のシーンが、アウトドアであるか屋内であるかどうか、そしてＡＷＢ決定を助けることができるかどうか決定するために、発光推定器２７０は露出および利得設定を用いることができる。
【００５７】
ピクセル選択処理および異常値除去プロセスを通過するデータ点がないというまれなイベントで、発光推定器２７０は、決定するために露出設定および全体的なＲ／ＧおよびＢ／Ｇ比率の組合せを用いることができる。取り込まれた画像がアウトドアシーンを表わす場合、Ｄ６５ Ｒ／ＧおよびＢ／Ｇ比率は、ＡＷＢ利得として全体的なＲ／ＧおよびＢ／Ｇ比率に平均化されてもよい。取り込まれた画像が屋内のシーンに対応する場合、暖かい蛍光のＷＦ Ｒ／ＧおよびＢ／Ｇ比率は、ＡＷＢ利得として全体的なＲ／ＧおよびＢ／Ｇ比率に平均化されてもよい。フラッシュまたはストロボがシーンを照らすために用いられる場合、フラッシュのＲ／ＧおよびＢ／Ｇ比率は、ホワイトバランス利得として用いられてもよい。
【００５８】
取り込まれた画像が発光体に関して補正される場合、発光推定器２７０は、ホワイトバランス利得モジュール２１０にホワイトバランス利得を提供するように構成されうる。別の構成では、発光推定器２７０は、ホワイトバランス利得モジュール２１０に発光推定を供給するように構成されうる。また、ホワイトバランス利得モジュール２１０は、ホワイトバランス利得を決めて、取り込まれた画像に利得を供給することができる。
【００５９】
基準発光体のためのホワイトバランス（ＷＢ）利得はあらかじめ定めることができる。１つの構成では、各基準のＷＢ利得は、次の方程式によって定義することができる。ここで、行ベクトルＳＳｒ、ＳＳｇおよびＳＳｂがセンサモジュールのスペクトル応答（センサ＋ＩＲカットオフ＋レンズ）であり、Ｌｎｘｎは基準発光体の出力分布の対角行列であり、Ｗ（Ｒ）ｎｘｉは完全白色散光器（ディフューザ）を表わす単位列ベクトルである。
【数４】
2010508729.tif 000006
【００６０】
ＷＢ利得は下記式によって定義することができる。
【数５】
2010508729.tif 000007
【００６１】
センサモジュールのスペクトル応答が利用可能でない場合、ＷＢ利得は、センサモジュールによって基準発光体の下に、完全白色散光器の画像の生のＲ、ＧおよびＢ値を平均化することによって得られてもよい。センサモジュールにおける部分対部分の変化を説明するために、複数のユニットは特徴づけられ、平均化された応答であってもよい。
【００６２】
一旦発光推定器２７０が発光体を決定すれば、発光推定器２７０またはホワイトバランス利得モジュール２１０は、以下のようにＷＢ利得を定義することができる。推定された発光体が、特定の基準発光体、例えば基準である場合、ホワイトバランス利得モジュールは基準発光体に対応するＷＢ利得を適用する。推定された発光体が昼光発光体である場合、ＷＢ利得は以下のように決定されるだろう：
推定された相関色温度（ＣＣＴ）が昼光発光体ＤｌとＤ２の間にある場合：
【数６】
2010508729.tif 000008
【００６３】
推定されたＣＣＴが昼光発光体Ｄ２とＤ３の間にある場合：
【数７】
2010508729.tif 000009
【００６４】
ＡＷＢプロセスの１つの構成を要約すると、取り込まれた画像は、灰色の領域と想定される領域を選択するために、灰色にフィルタされうる。領域は複数個のクラスタへ分割されうる。その後、選択された領域は、所定の座標系上にマッピングされる。各クラスタの重心は座標系内で計算されうる。１以上の基準発光点は座標系内に位置しうる。クラスタの重心のそれぞれと基準発光点のそれぞれとの間の距離は決定されうる。クラスタのそれぞれに対応する発光体は推定されうる。また、推定から、最終発光体は決定されうる。ホワイトバランス利得は、取り込まれた画像に適用された、発光体およびホワイトバランス利得に基づいて、決定されうる。
【００６５】
図３は、発光基準モジュール２６０に格納され、図２の色プロセッサ１３０の距離モジュール２５０によって用いられる基準発光点を確立するための方法３００の構成のフローチャートである。外部的に実行されてもよい基準発光体を備えた灰色のフィールドを照らすこと以外では、方法３００は、図２の色プロセッサ１３０によって実行されうる。
【００６６】
灰色のフィールドが基準発光体に照らされる場合、方法３００はブロック３１０で始まる。基準発光体は、例えば白熱源、ハロゲン源、タングステン源、蛍光源、特定の時刻の昼光、またはある他の発光体になりうる。灰色のフィールドは一様に照らされる平面フィールドになりうる。
【００６７】
ブロック３２０では、色プロセッサ１３０は画像を取り込む。１つの構成では、色プロセッサ１３０はセンサとレンズの組合せを制御することによって画像を取り込む。別の構成では、色プロセッサ１３０はリモートセンサーによって取り込まれた画像を受信することにより画像を取り込む。
【００６８】
画像を取り込んだ後に、色プロセッサ１３０は、ブロック３３０に進み、取り込まれた画像に対応する発光基準点を確立する。１つの構成では、色プロセッサ１３０は、取り込まれた画像のピクセルに関してＲ／Ｇ、およびＢ／Ｇ比率を決定することができ、発光体のための基準点を表わす平均値を決定することができる。
【００６９】
その後、色プロセッサ１３０は、判定ブロック３４０に移り、すべての基準発光体が測定されたかどうかを判定する。測定されたと判定したならば、色プロセッサ１３０はブロック３６０に進み、終了する。判定ブロック３４０では、色プロセッサ１３０がすべての発光体が測定されているとは限らなかったと判定する場合、色プロセッサ１３０は、ブロック３１０に戻り、次の基準発光体を備えた灰色のフィールドの照明を待つ。
【００７０】
図４は、図１の画像取込装置１００によって実行されうる自動ホワイトバランス方法４００の構成のフローチャートである。画像取込装置１００は、図１のセンサ１２０とレンズ１１０とを組み合わせて、図１または図２の色プロセッサ１３０を使用して方法４００を実行しうる。
【００７１】
画像取込装置１００が画像を取り込むとき、方法４００はブロック４１０で始まる。画像取込装置１００はブロック４２０に進み、画像から灰色のピクセルをフィルタする。その後、画像取込装置１００はブロック４３０に進み、基準発光体への距離を決定する。画像取込装置１００は、例えば、各ピクセルから基準発光体のそれぞれまでの距離、灰色ピクセルを有する各複数の領域から基準発光体までの距離、選択された灰色ピクセルのサブセットから基準発光体までの距離、灰色ピクセルの１以上のグループ化に対応する１以上の重心から基準発光体のそれぞれまでの距離、またはある他の距離を決定することができる。
【００７２】
距離を決定した後に、画像取込装置１００はブロック４４０に進み、距離に少なくとも一部基づいて発光体を決定する。例えば、画像取込装置１００は、最も小さな距離に基づいて発光体を決定することができる。別の構成では、画像取込装置１００は、基準発光体によって定義された発光体または基準発光体への複数のクラスタのそれぞれの距離に一部基づいて、発光体を決定することができる。
【００７３】
発光体を決定した後に、画像取込装置１００はブロック４５０に進み、ホワイトバランス利得を取り込まれた画像に適用する。画像取込装置１００は、発光体に一部基づいてホワイトバランス利得を決定することができる。
【００７４】
図５は、図１の画像取込装置１００によって実行されうる自動ホワイトバランス方法５００の構成のフローチャートである。図４の自動ホワイトバランス方法４００のように、画像取込装置１００は、図１のセンサ１２０とレンズ１１０を組み合わせて、図１または図２の色プロセッサ１３０を用いて、方法５００を実行することができる。
【００７５】
ところで、方法５００は、画像取込装置１００が例えば、レンズ１１０と組み合わせてセンサ１２０を用いて画像を取り込むブロック５１０で始まる。センサ１２０はＲ、ＧおよびＢ成分での画像を出力するように構成されうる。画像を取り込んだ後に、画像取込装置１００はブロック５２０に進み、画像を所定数のブロックに分割し、各領域に関して、Ｒ／ＧおよびＢ／Ｇの比率を計算する。Ｒ／ＧおよびＢ／Ｇの値は、例えば領域内のピクセルに関して、平均Ｒ／ＧおよびＢ／Ｇ値になりうる。
【００７６】
Ｒ／ＧおよびＢ／Ｇ値を計算した後に、画像取込装置１００はブロック５３０に進み、領域を灰色のクラスタへ分割する。灰色の領域に対応しない領域はさらなる処理から除外されうる。画像取込装置１００は、図６に示されるように１以上の灰色の領域を決定するために、例えば、計算されたＲ／Ｇ、およびＢ／Ｇ統計を、所定の判定基準による領域のそれぞれに関してフィルタすることができる。灰色の領域は、さらなる判定基準によるクラスタへさらに分割されうる。灰色のクラスタを決定する判定基準は、センサ１２０によって提供される同じＲ、Ｇ、およびＢ色成分を使用して決定されうるか、または、Ｙ、Ｃｒ、およびＣｂのような他の色成分の観点であるかもしれない。いくつかの構成では、画像取込装置１００は、取り込まれた画像をある色成分フォーマットから別のフォーマットへ変換する。
【００７７】
画像統計を灰色のクラスタへ分割した後に、画像取込装置１００は、ブロック５４０に進むことができ、クラスタのそれぞれから所定の座標系またはグリッドへフィルタされた領域を量子化することができる。座標系は、例えばＲ／ＧおよびＢ／Ｇに基づいて２次元の座標系になりうる。座標グリッドは、直線的に分割される必要はなく、図７に示されるように、非直線的に分割されてもよい。図７は、２個のクラスタによってグループ化され取り込まれた画像からの灰色の領域データおよび複数の基準発光体を有する座標グリッドの一例を示す。
【００７８】
画像取込装置１００はブロック５５０に進み、灰色の領域のクラスタのそれぞれのセンターを決定する。画像取込装置１００は、１つの構成では、クラスタのそれぞれの重心を決定することができる。別の構成では、画像取込装置１００は、各クラスタ内の領域の加重平均を用いて、各クラスタのセンターを決定することができる。
【００７９】
クラスタのそれぞれのセンターを決定した後に、画像取込装置１００はブロック５６０に進み、クラスタセンターのそれぞれから基準発光体のそれぞれまでの距離を決定する。１つの構成において、基準発光体は、図７の「Ａ」とラベル付けされている基準点に対応する白熱およびタングステン発光体、図７の「Ｆ」とラベル付けされている基準点に対応する蛍光発光体、および、図７の「Ｄ３０」、「Ｄ５０」および「Ｄ７０」とラベル付けされている基準点に対応する３つの昼光を含んでいる。３つの昼光発光体は、補間によって近似された黒体ラインを形成する。
【００８０】
画像取込装置１００は、各クラスタのセンターから、Ａ基準、Ｆ基準、および昼光発光体を連結する黒体ライン上の最も近い点までの距離を決定するように構成されうる。
【００８１】
距離を決定した後に、画像取込装置１００は、ブロック５７０に進むことができ、クラスタのそれぞれに関する発光体を推定することができる。画像取込装置１００は例えば、最も小さな決定された距離に対応する発光体として発光体を推定することができる。
【００８２】
その後、画像取込装置１００は、ブロック５８０に進むことができ、クラスタのそれぞれに対応する推定された発光体に基づいて発光体を決定する。画像取込装置１００が１個を越えるクラスタに関して発光体を推定することができるので、推定された発光体は一致しなくてもよい。さらに、画像取込装置１００は、基準発光体のそれぞれに関する距離が所定のしきい値を越える場合は、発光体を判定しなくてもよい。
【００８３】
推定された発光体が一致する場合、画像取込装置１００は発光体が推定された発光体であると判定する。しかし、推定された発光体がすべて昼光発光体にあったとしても、推定された発光体は黒体ライン上の異なるポイントに対応してもよい。
【００８４】
推定された発光体が昼光と一致していて、かつ、それらの相関色温度（ＣＣＴ）差が予め設定された値内にある場合、推定されたＣＣＴは２つの平均になりうる。推定された発光体が昼光発光体と一致していて、かつ、それらＣＣＴ差が予め設定された値を超過する場合、推定されたＣＣＴは、昼光明るさ、既知の時間と同じ日付の任意の前推定、および、クラスタのそれぞれでの領域の数を決定するために、拘束されない平均輝度（Ｙ）に依存してもよい。
【００８５】
クラスタ内の灰色の領域の欠落のために発光体のうちの１以上が推定されない条件を含んで、推定された発光体が一致していない場合は、最終推定は他の要因に依存してもよい。要因は、シーンが屋内かアウトドアかどうかを判定するために、取り込まれた画像から導き出されたＣｂおよびＣｒのヒストグラムを用いて決定された可能なシーンの推定を含んでいてもよい。要因は、さらに屋内または屋外環境のいずれかに決定するために用いることができる、拘束されない平均輝度（Ｙ）を含むことができる。要因はさらに、複数の異なる基準発光体への距離、もしある場合に既知の時間と同じ日付の前の推定、および、クラスタのそれぞれでの瞬間の数を含むことができる。
【００８６】
１つの構成では、画像取込装置１００はテンプレートマッチングまたは単純なｉｆ−ｔｈｅｎ論理または専門家システムを用いて、計算の複雑さとメモリ要求に依存して、可能なシーンを決定することができる。
【００８７】
発光体を決定した後に、画像取込装置１００はブロック５９０に進み、ホワイトバランス利得を取り込まれた画像に適用する。取り込まれた画像の色成分は、ホワイトバランス画像を達成するために、ホワイトバランス利得によって、重み付けされうるか、そうでなければスケールされうる。
【００８８】
グレイワールド仮定に基づいた画像取込装置での画像の自動ホワイトバランスのための方法および装置は記述される。方法と装置は、複数個の基準発光体から、取り込まれた画像内の１つの発光体を決定するために、グレイワールド仮定を用いることができる。その後、方法と装置は、取り込まれた画像内のシーンを照らすために使用された非純粋な白い発光体の効果を補償するために、取り込まれた画像に適用されるホワイトバランス利得を決定することができる。
【００８９】
ピクセルに基づいた新しいＡＷＢ統計収集方法
上に記述された、領域に基づいた統計収集方法の問題があるかもしれない。最初に、（Ｙ，Ｃｂ，Ｃｒ）空間はホワイトバランスを実行するためによい色空間ではないかもしれない。多くの（緑のような）非灰色の色が、容易に（図６と共に上に記述された）境界ボックスを通って通過し、統計収集方法に含まれていてもよい。別の問題は、２つの異なる照明条件にとっての灰色のサンプルがさらにともに合計されることである。それは、後に区別することが不可能かもしれない。例えば、Ｄ７５光は、ＡＷＢ方法が作動する範囲の最も青い端にあり、図８に示されるように、ホライズンは最も赤い端上にある。しかし、図６の境界ボックスは、これらの光に関して、灰色に近いピクセルを通過させるように設計されている。灰色に近いピクセルがともに合計されるとき、それらは範囲の中心へ引かれる。その結果、ＡＷＢ決定は間違っているかもしれない。
【００９０】
ソフトウェア上で実行するように構成されたＡＷＢアルゴリズムに一致するために、ピクセルに基づいた新しいＡＷＢ統計収集方法は、ＹＣｂＣｒ領域の代わりに、図８に示されるように、Ｒ／ＧおよびＢ／Ｇ空間上で動作してもよい。図８は、Ｒ／ＧおよびＢ／Ｇ空間の上のクラスタおよび屋外の緑ゾーンでの基準点の予め定められている分布を示す。図１４は、センサ１２０、ピクセルに基づいたＡＷＢ統計収集モジュール１４００、皮膚トーン検出モジュール１４０２、および、グレイワールド仮定を用いたＡＷＢモジュール１４０８を示す。ＡＷＢ統計収集モジュール１４００および皮膚トーン検出モジュール１４０２は、１つのソフトウェアおよび／またはハードウェアモジュール１４０４を形成するために一体化されてもよい。ピクセルに基づいたＡＷＢ統計収集モジュール１４００を皮膚トーン検出モジュール１４０２に組み合わせることによって、ハードウェアは共有され、コストが減らされてもよい。
【００９１】
センサ１２０からのピクセルがそれぞれ図１４のモジュール１４０４（あるいは図１の色プロセッサ１３０）に入るとき、ピクセルの（Ｒ，Ｇ，Ｂ）三重値は（Ｒ／Ｇ，Ｂ／Ｇ）二重値に変えられてもよい。その後、（Ｒ／Ｇ，Ｂ／Ｇ）値は固定小数点値に量子化されてもよい。実際のセンサに基づいて（Ｒ／Ｇ，Ｂ／Ｇ）の動作範囲を減らすために、スクリーニング方程式は以下のように用いられうる：
Ｒａｔｉｏ＿ｍｉｎ≦Ｒ／Ｇ≦Ｒａｔｉｏ＿ｍａｘ
Ｒａｔｉｏ＿ｍｉｎ≦Ｂ／Ｇ≦Ｒａｔｉｏ＿ｍａｘ   （１３）
ＣＭＯＳおよびＣＣＤのような典型的なセンサについては、Ｒａｔｉｏ＿ｍｉｎはおよそ０．２５かもしれないし、Ｒａｔｉｏ＿ｍａｘはおよそ２．５かもしれない。
【００９２】
（Ｒ／Ｇ，Ｂ／Ｇ）値が固定小数点整数ペア（Ｋｌ，Ｋ２）へ量子化された後、それらが、図１２に示されるように、予め較正された２次元のルックアップテーブル（ＬＵＴ）１２００内の灰色のクラスタインデックスを探すために用いられてもよい。１つの構成では、許容可能な範囲は以下かもしれない。
【００９３】
０≦量子化されたＲ／Ｇ≦Ｍ         （１４）
０≦量子化されたＢ／Ｇ≦Ｍ
ここで、ＭとＮは、量子化の後に許容可能なＲ／ＧおよびＢ／Ｇ値の最大の値を表わす正整数である。２−ＤのＬＵＴ  １２００は、（Ｍ＋１）×（Ｎ＋ｌ）の次元を持っている。図１２での２−Ｄ  ＬＵＴ  １２００の値はそれぞれ、図８でのクラスタへのインデックスである。例えば、昼光クラスタ（Ｄ７５，Ｄ６５，Ｄ５０）は、クラスタインデックス＝１、蛍光クラスタ＝２、白熱クラスタ＝３、屋外の緑ゾーン＝４などを与えられる。廃棄されることになっている（Ｒ／Ｇ，Ｂ／Ｇ）値については、それらはインデックス＝０を与えられる。このように、２−Ｄ  ＬＵＴ  １２００はクラスタインデックスを各量子化された（Ｒ／Ｇ，Ｂ／Ｇ）値に提供する。
【００９４】
クラスタインデックスがゼロでない場合、（Ｒ／Ｇ，Ｂ／Ｇ）に関して対応するアキュムレーターレジスタ１３００（図１３）は総和（つまりインクリメント）を実行する。総和に関して含まれたピクセル数も、アキュムレーターレジスタ１３００、または分離したカウンタにおいてインクリメントされる（数えられる）。フレームの終わりでは、クラスタはそれぞれ３つの値を返す：Ｒ／Ｇの合計、Ｂ／Ｇの合計、および総和に含まれたピクセルの合計数。ＡＷＢモジュール１４０８（例えばプロセッサ１４０６によって実行されたソフトウェア）はこれらの値を受信し、各クラスタの平均（Ｒ／Ｇ，Ｂ／Ｇ）を計算し、ＡＷＢ決定を下すためにそれらを用いる。
【００９５】
支配的なクラスタが見つかる場合（例えば、クラスタ内の回数が、他のクラスタ（例えば３個の他のクラスタ）での合計の回数の７５％より大きい場合）、ＡＷＢモジュール１４０８は支配的なクラスタをホワイトバランスに用いてもよい。支配的なクラスタが見つからない場合、ＡＷＢモジュール１４０８は、ホワイトバランスに関してクラスタ平均に重みを置くために重みベクトルを用いてもよい。重みベクトルは露光指数に依存してもよい。
【００９６】
図９はこのピクセルに基づいたＡＷＢ統計収集方法を要約している。ブロック９００では、方法はすべてのＲ／ＧおよびＢ／Ｇアキュムレータ１３００（図１３）およびピクセルカウンタを０にリセットする。
【００９７】
ブロック９０２では、方法は、各ピクセルに対する（Ｒ，Ｇ，Ｂ）値から（Ｒ／Ｇ，Ｂ／Ｇ）比率を計算する。
【００９８】
ブロック９０４では、方法は、（Ｒ／Ｇ，Ｂ／Ｇ）比率がＲａｔｉｏ  ｍｉｎおよびＲａｔｉｏ  ｍａｘと比較して、範囲外かどうかを判定する。範囲外であるならば、方法はこのピクセルをスキップし、次のピクセルに移動し、ブロック９０２に戻る。（Ｒ／Ｇ，Ｂ／Ｇ）比率が範囲内にある場合、方法はブロック９０６に行く。
【００９９】
ブロック９０６では、方法は（Ｒ／Ｇ，Ｂ／Ｇ）を量子化し、固定小数点整数にする：Ｋ１＝量子化されたＲ／Ｇ、Ｋ２＝量子化されたＢ／Ｇ。
【０１００】
ブロック９０８では、方法は、ｃｌｕｓｔｅｒ＿ｉｎｄｅｘ＝ＬＵＴ［Ｋｌ、Ｋ２］を見つけるために、２−Ｄ  ＬＵＴ１２００でＫｌ、Ｋ２を探す。
【０１０１】
ブロック９１０では、方法はクラスタインデックスが０かどうかを判定する。クラスタインデックスが０ならば、方法は次のピクセルに移動し、ブロック９０２に戻る。クラスタインデックスが０より大きい場合、方法は、レジスタ１３００における次の値をインクリメントする：
Ｒ／Ｇアキュムレータ［ｃｌｕｓｔｅｒ＿ｉｎｄｅｘ］＋＝Ｒ／Ｇ、
Ｂ／Ｇアキュムレータ［ｃｌｕｓｔｅｒ＿ｉｎｄｅｘ］＋＝Ｂ／Ｇ、および
Ｐｉｘｅｌ＿ｃｏｕｎｔｅｒ［ｃｌｕｓｔｅｒ＿ｉｎｄｅｘ］＋＝１。
【０１０２】
ブロック９１２では、方法は次のピクセルに移動する。フレームの終端に到達した場合、方法は停止しアキュムレータおよびカウンタの値を報告する。そうでなければ、方法は次のピクセルに移動し、ブロック９０２に戻る。
【０１０３】
図９の方法は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせにおいて実行されてもよい。別の構成では、ピクセルは、時間を節約するために図９に類似する方法を用いて、並列に処理されてもよい。
【０１０４】
ピクセルに基づいたＡＷＢ統計収集方法は、特に、あるシーンで非常に誤解させる情報または任意の本当の灰色情報がほとんどないとき、上に記述された第１の範囲に基づいたＡＷＢ統計収集方法よりもより正確かもしれない。
【０１０５】
ピクセルに基づいたＡＷＢ統計収集方法は柔軟かもしれない。ＡＷＢアルゴリズムが見ることを望む予め較正された基準点およびクラスタは、２−Ｄ  ＬＵＴ１２００にプログラムされることができる。１つ以上のＬＵＴ  １２００は異なるセンサに関して設定されうる。もし望むなら、１つ以上のＬＵＴはランタイムで再構成されうる。例えば、ユーザーは設定を選択することができる、または、装置１００は、低い光条件を感知でき、図８に示されるものよりも大きなクラスタを用いることができる。図８での各クラスタの形は設定可能であり、調節されてもよい。形は楕円形、円または長方形に限定されない。
【０１０６】
ピクセルベースのＡＷＢ統計収集方法は、有用な統計データの適切な分離を提供してもよい。図６−７と共に上で記述された領域に基づいたＡＷＢ統計収集方法において、屋外の灰色および屋内の灰色に似ている色はともに合計される。それはＡＷＢアルゴリズムが実際の照明条件を推定することを困難にする。ピクセルに基づいた新しいＡＷＢ統計収集方法では、この困難は除去される。
【０１０７】
ピクセルベースのＡＷＢ統計収集方法は確率重み付けを適用してもよい。いくつかのＡＷＢアルゴリズムは、図８内の基準点への距離に基づいてサンプルにウェイトを置くことを好んでもよい。これは、図１０に示されるように、クラスタごとに楕円形の複数のセクションまたは複数のパーティション（すなわち、クラスタをサブパーティションに区切ること）に、複数のインデックスを割り当てることにより達成されうる。異なるセクションまたはパーティションに所属するピクセルは、図１３Ｂに示されるような、より柔軟性を提供してもよい複数のレジスタで別々に収集（合計）されうる。ＡＷＢアルゴリズムでは、それらは異なるウェイトを与えられうる。
【０１０８】
図１１は、図８において用いられてもよいクラスタの別の構成を示す。ここで複数のインデックスは実質的に１つのクラスタ内の長方形の複数のセクションに割り当てられる。
【０１０９】
ピクセルに基づいたＡＷＢ統計収集方法はＡＷＢアルゴリズム計算時間を減らし、計算能力を確保してもよい。以前に言及したように、カムコーダーとテレビ電話の応用では、ＣＰＵは映像符号化／復号にその計算リソースの多くを費やす。ＡＷＢが時間をできるだけ僅かな時間を費やし、その結果、フレーム率が変動しないことが望ましい。ピクセルに基づいたＡＷＢ収集方法は、プロセッサ１４０６上で走るＡＷＢアルゴリズムと一致し、（つまり、プロセッサ１４０６に望ましい統計を提供し、フレーム率で実行される）したがって、ほとんどのその時間を消費する計算を扱ってもよい。
【０１１０】
ここに記述された方法は、取り込まれた画像に関して、よりよい皮膚トーン検出および／または処理を提供してもよい。十分な灰色の情報がある場合、ピクセルに基づいたおよび領域に基づいた方法は、およそ同様なレベルまたは灰色の情報を収集ことに関して同程度のレベルで実行されてもよい。しかし、ピクセルベースの方法は、「緑の葉」および「皮膚トーン」のような「有色の」情報を収集するよりよい能力を持っていてもよい。収集された皮膚色および緑のピクセル平均は、ＡＷＢの意思決定を支援するために使用されうる。領域に基づく方法では、皮膚色は同じ領域において他の色で平均化される。したがって、得られた統計は画像内の皮膚色の存在を確実に推定するためには用いられなくてもよい。領域ベースの方法における緑の葉について同じことが言える。
【０１１１】
１つの構成において、ＡＷＢ決定が下された（ＡＷＢ統計収集モジュール１４００、ＡＷＢモジュール１４０８またはある他のモジュールによって）後、Ｒ／Ｇ−Ｂ／Ｇ空間上の皮膚トーンエリアは、しかるべく定義されてもよい。それは逆の方法で用いられなくてもよい。皮膚トーン色がより暖かい光の灰色ゾーンに通常位置するので、それはちょうど統計を見ることにより弁別可能ではないかもしれない。ＡＷＢ決定が下された後、皮膚トーン検出モジュール１４０２（あるいはある他のモジュール）は、その発光体の対応する皮膚トーンゾーンを見てもよく、皮膚トーンとしてラベル付けられたピクセルに基づいて、「皮膚色調節」、「皮膚トーンに基づいた自動露出制御」、「皮膚トーンに基づいた自動フォーカス制御」などを適用してもよい。ＡＷＢ決定が下され安定させられた後、皮膚色はＡＷＢ決定に第２の調節として役立ってもよい。
【０１１２】
ピクセルに基づいた方法の１つの構成では、皮膚ピクセル、灰色のピクセル、および緑のピクセルは別々に収集される。収集された緑のピクセルおよび皮膚ピクセルの平均は意思決定を支援するために用いられてもよい。
【０１１３】
緑の葉はアウトドア画像内の支配的な色であるので、緑の葉はＡＷＢにとって重要になる可能性がある。多くのアウトドアシーンが近く灰色で持っておらず、平均も灰色に近くはない。したがって、緑の色は非常に重要な、収集した近い灰色情報は異なって言うけれどもシーンは戸外である手掛かりを与える。
【０１１４】
青い空はまたアウトドアの画像に関して支配的な色であるが、Ｒ／Ｇ−Ｂ／Ｇ空間上のその位置は、したがってより青いサイドへ向かっての誤解を招きやすい決定を引き起こし、画像は黄色に見え過ぎる。このように、青い色は、ＡＷＢ意思決定を支援するためにより少ない値を持っていてもよい。
【０１１５】
ここに開示された構成に関連して表された、種々の実例となる論理ブロック、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、簡略化命令コンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）、または他のプログラマブルロジックデバイスに実装されてもよいし、実行されてもよい。個別のゲートまたはトランジスターロジック、個別のハードウェアコンポーネントまたはそれらの組み合わせはここに記述された機能を実行するように設計されている。汎用プロセッサはマイクロプロセッサかもしれないが、別の方法では、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ、または状態機械でもよい。プロセッサも、計算装置の組み合わせ（例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連動した１以上のマイクロプロセッサ、または任意の他のそのような構成）として実行されてもよい。
【０１１６】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、不揮発性メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭ、または当該技術分野において既知の記憶媒体の任意の他の形式に属していてもよい。例示の記憶媒体はプロセッサにつながれ、プロセッサが、記憶媒体から情報を読むことができ、記憶媒体に情報を書くことができる。別の方法では、記憶媒体はプロセッサに不可欠かもしれない。
【０１１７】
ここに開示された構成に関連して記述された、方法、プロセス、またはアルゴリズムのアクションは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、または２つの組合せで直接具体化されてもよい。方法またはプロセスにおいて種々の行為は、示された順に実行されてもよいし、または別の順に実行されてもよい。さらに、１以上のプロセスまたは方法ステップは、省略されてもよし、または、１以上のプロセスまたは方法ステップは方法とプロセスに加えられてもよい。付加手順、ブロックまたはアクションは、方法とプロセスの、開始、または終了、介在する既存の要素に付加されてもよい。
【０１１８】
開示された構成の上記の詳細な説明は、当該技術分野において通常の技量のいかなる人もこの開示を作るか用いることを可能にするために提供される。これらの構成への種々の変更は、当該技術分野において通常の技量の人々に即座に明白になり、ここに定義された包括的な原理は、この開示の精神または範囲から外れずに、他の構成に適用されてもよい。このように、この開示は、ここに示された構成に限定されることを意図しないが、ここに開示された原理と新規な特徴と整合する最も広い範囲を与えられることになっている。
【図１】
2010508729.tif 000010
【図２】
2010508729.tif 000011
【図３】
2010508729.tif 000012
【図４】
2010508729.tif 000013
【図５】
2010508729.tif 000014
【図６】
2010508729.tif 000015
【図７】
2010508729.tif 000016
【図８】
2010508729.tif 000017
【図９】
2010508729.tif 000018
【図１０】
2010508729.tif 000019
【図１１】
2010508729.tif 000020
【図１２】
2010508729.tif 000021
【図１３Ａ】
2010508729.tif 000022
【図１３Ｂ】
2010508729.tif 000023
【図１４】
2010508729.tif 000024
【国際調査報告】
2010508729.tif 000025
2010508729.tif 000026