(57)【要約】【課題】撮像装置において、さまざまな撮影場面に適したホワイトバランス調整を可能にする。【解決手段】撮像した後に、照度、フリッカー、ワールドの推定値などのシーンパラメータが分析される。シーンパラメータに対して最も妥当と推定された光源が決定される。この時点で、その光源に対応するホワイトバランス係数を適用することができる。【選択図】図１
2006222964.tif 000002
【特許請求の範囲】
【請求項１】
色補正のための方法であって、
画像を捕捉するステップと、
シーンパラメータを決定するステップと、
前記シーンパラメータにしたがって最も妥当と推定される光源を決定するステップと、
色補正行列を適用するステップ
を含む、方法。
【請求項２】
ワールドの推定値を決定するステップと、
最も妥当と推定される光源と前記ワールドの推定値との差違を決定するステップと、
前記差違が許容範囲を超えるときには、前記ワールドの推定値に対応するホワイトバランス係数を適用するステップと、
前記差違が許容範囲内であるときには、前記最も妥当と推定される光源に対応するホワイトバランス係数を適用するステップ
をさらに含む、請求項１の方法。
【請求項３】
ワールドの推定値を決定するステップと、
前記ワールドの推定値が最も妥当と推定される光源に対する可変の円内にある場合には、前記最も妥当と推定される光源に対応するホワイトバランス係数を適用するステップと、
前記ワールドの推定値が最も妥当と推定される光源に対する可変の円の外にある場合には、前記ワールドの推定値に対応するホワイトバランス係数を適用するステップ
をさらに含む、請求項１の方法。
【請求項４】
前記シーンパラメータは、フリッカーの深さ、照明レベル、及び、補助的なスペクトル測定値を含むグループから選択される、請求項１の方法。
【請求項５】
前記ワールドの推定値は、ベージュワールド、グレイワールド、ホワイトワールド、及び最大画素値を含むグループから選択される、請求項１の方法。
【請求項６】
最も妥当と推定される光源を決定する前記ステップが、
前記現在のシーンのデータを記憶されているデータと比較するステップと、
前記比較に基づいて前記最も妥当と推定される光源を選択するステップ
を含む、請求項１の方法。
【請求項７】
前記記憶されているデータが、可変の閾値（variance threshold）、以前の閾値、及び、最大の許容範囲を含むグループから選択される、請求項６の方法。
【請求項８】
シーンパラメータのデータを含む統計ブロックと、
デフォルトのシーンデータを含むメモリと、
前記統計ブロック及びメモリからデータを受け取って利得信号を生成するマイクロコントローラと、
前記利得信号を受け取って、該利得信号にしたがって色チャンネルを調整し、現在のセンサ状態データを生成するセンサ
を備える装置であって、
前記統計ブロックが、さらに、前記現在のセンサ状態データを受け取ることからなる、装置。
【請求項９】
前記シーンパラメータが、現在の入力利得、シーンの照度、フリッカーの深さ、及び、補助的なスペクトル測定値を含むグループから選択される、請求項８の装置。
【発明の詳細な説明】
【背景技術】
【０００１】
撮像装置、例えば、デジタルカメラは、画像センサを備える。各画像センサは、人間の視覚や知覚に合わせて画像を形成することを試みる。しかしながら、画像センサは、人偏の眼と同じ分光感度で世界（ワールド）を「見る」ものではない。さらに、画像センサは、異なる光が同じ表面を照射するときには、異なる応答をする。しかしながら、人間は、シーン（撮像対象の場面）の照明に同様の違いがある場合でも、表面が大体同じように見えるように色への応答を適応させることができる。この脳の適応的な応答は「色覚恒常性（color constancy）」と呼ばれる。
【０００２】
スペクトルの正規化は、「色覚恒常性」を模倣するために、照明バランス技法としてのデジタル画像形成の一部として使用される。したがって、画像センサは、デジタル画像の画素値が表示されるときに、それらの画素値が、（最初に、シーンを照らす光源（シーンの光源）によって照明されていた）画像内の表面が、同じ光源、できれば、昼光のような望ましいレンダリング（画像形成）用の光源によって照明されているという知覚を生じさせるように、デジタル画像の画素値を変換しようとする。
【０００３】
光源を推定するために２つの一般的な方式がある。１つのアプローチは、固定の色補正行列と、各画像から得られた統計を用いて、例えば、「グレーワールド（Gray World）」、「ベージュワールド（Beige World）」といったホワイトバランス係数を生成することである。第２の方法は、可能性の高いシーンの光源用の１組の行列を予め計算して、画像からの統計を使用し、（その予め計算した行列の組の中から）その特定の画像に対する最良の行列を選択することである。
【０００４】
「色変換行列」を使用する際には、撮像されたシーン（場面）内の色は、グレーやベージュなどの中間色（または無彩色）と統合（または同化）することが想定されている。平均のＲ、Ｇ、Ｂ値が、その中間色に対して計算される。撮像された画像の画素がそれに応じて調整される。固定の色補正行列は、単一色の画像またはドミナントカラー（dominant color。主調色ともいう）画像を正確に描画することができない。ドミナントカラー画像は、それらの画像が、たとえば、空や水や草などの、比較的広々とした単一色を含むときには極めて一般的なものである。そのようなシーンでは、画像全体が中間色に統合するということを想定することはできない。
【発明の開示】
【課題を解決するための手段】
【０００５】
撮像の後で、照度(ルクス)、フリッカー、ワールドの推定値（world estimation）といったシーンのパラメータが分析される。シーンのパラメータに対して最も妥当と推測される光源が決定される。この時点で、その光源に対応する色補正行列を適用することができる。
【０００６】
代替的には、最も妥当と推測された光源とワールドの推定値との差違が決定される。その差違が、規定された許容範囲を超える場合には、ワールドの推定値に対応するホワイトバランス色係数が適用され、デフォルトの色行列（カラーマトリクスともいう）が照度レベルに基づいて使用される。その差違が規定の許容範囲内であれば、最も妥当と推測された光源に対応する色補正行列が適用される。
【実施例】
【０００７】
図１は、本発明による処理フローチャートを例示したものである。ステップ１１０において、画像が捕捉される（すなわち、撮像される）。ステップ１２０において、シーンのパラメータ（以下、シーンパラメータ）、例えば、照度（ルクス）、フリッカー、ワールドの推定値、補助的なスペクトル測定値などが分析される。ステップ１３０において、シーンパラメータに対する最も妥当と推定される光源（または発光体）が決定される。この時点で、その光源に対応するホワイトバランス係数を適用することができる。
【０００８】
ステップ１４０において、最も妥当と推定された光源とワールドの推定値との差違が求められる。ステップ１５０において、その差違が規定の許容範囲を超えている場合は、ワールドの推定値に対応するホワイトバランス係数が適用され、照度に基づいてデフォルトの色行列が使用される。ステップ１６０において、その差違が規定の許容範囲内にある場合は、最も妥当と推定された光源に対応するホワイトバランス係数が適用される。
【０００９】
代替的には、ステップ１４０Ａにおいて、ワールドの推定値が、最も妥当と推定された光源に対する可変の円（variant circle。または、他と異なりうる円。以下同じ）内にあるか否かが決定される。ステップ１５０Ａにおいて、そのような円内になければ、最も妥当と推定された光源に対応するホワイトバランス係数が適用される。ステップ１６０Ａにおいて、そのような円内にあれば、ワールドの推定値に対応するホワイトバランス係数が適用される。いずれの決定の場合も、その光源に対する色行列が適用される。
【００１０】
動作時、通常は、ニュートラルワールド（neutral world）のホワイトバランス利得が計算される。この場合、ニュートラルワールドの利得に最も近い利得を有する妥当と考えられる光源が現在の光源として選択される。ニュートラルワールドを、グレーワールド（Gray World。グレーの世界）、ベージュワールド（Beige World。ベージュ色の世界）、ホワイトワールド（White World。白色の世界）、最大画素値（max pixel）などを含むグループから選択することができる。
【００１１】
図２は、許容可能な光源を図的に表したものである。それぞれの光源を囲む円がある。円は、計算されたホワイトバランス利得に関する許容可能な許容範囲を表す。したがって、計算された利得（選択されたニュートラルワールドにしたがって計算されたもの）が円内にある場合は、それらの利得は、画像のホワイトバランスをとるために直接使用される。計算された利得がその円の外側にある場合には、円の中心（例えば、この光源用の「固定された」ホワイトバランス利得）が画像のホワイトバランスをとるために使用される。いずれの場合でも、光源に対応する色行列が、画像の色補正を行うために使用される。
【００１２】
計算された利得が許容可能な許容範囲の境界上、たとえば、光源の円の円周上にあるときは、計算された利得は、ノイズやシーンのとぎれなどの環境的なパラメータに起因して、ビデオモードの連続的なフレームに対する許容範囲内に飛び込んだり、その許容範囲外へ飛び出たりするだろう。この状況では、アルゴリズムは、固定されたホワイトバランス利得と計算されたホワイトバランス利得の間を行ったり来たりするだろう。これは、目立つものであって、ユーザにとっては迷惑なアーティファクト（すなわち、真の画像信号とは別のノイズや偽性信号）である。
【００１３】
図３及び４は、モジュールがビデオモードで変動しないようにするための２つのヒステリシス試験を例示したものである。第１は、アルゴリズムが切り替わる（あるいは、アルゴリズムが以前の状態に戻る）前において、最も近い状態までの距離は、以前の状態までの距離よりもＮ％（これはプログラム可能である）だけ小さくなければならない。第２は、ニュートラルワールドの利得が選択された状態の可変の円（variance circle）内にある場合は、その利得は変化しないままである。その利得がその円の外側にある場合は、その利得は、選択された状態の中心にすばやく移動（すなわち、突然に変化）する（この場合もヒステリシスを有することにより、前の利得が円の内側にあれば、利得は、すばやく移動（変化）するためにVAR＋ヒステリシスより大きくなければならず、前の利得が円の外側にある場合には、すばやく移動（変化）しないようにするためにVAR−ヒステリシスよりも小さくなければならない）。
【００１４】
図３は、ステップ１３０に対応する処理フローチャートを例示するものである。ステップ１３０において、照度または照明レベルが決定される。ステップ１３２において、現在の距離が最大の許容範囲と比較される。現在の距離が最大許容範囲を超えている場合には、その照明レベルが適用される。照明レベルをDARK（暗い）、NORMAL INDOOR（通常の屋内）、TRANSITION（過渡期。たとえば、屋内から屋外への移行時）、INDIRECT DAY（たとえば、間接的に陽が当たる昼間）、DIRECT DAY（たとえば、直接陽が当たる昼間）に対応付けることができる。最大許容範囲を超えていない場合には、ステップ１３４において、前の距離に対する現在の距離の比が、前の閾値であるprev_tholdと比較される。その比がprev_tholdより大きい場合には、前の指標が適用される。prev_tholdより大きくない場合には、現在の指標が適用される。
【００１５】
１つのモードから近隣のモードに移行するために、照明レベルは、照明のヒステリシスより大きなある量だけその近隣の閾値を横切らなければならない。単一の近隣レベルより多くの飛び越え（たとえば、DARKからTRANSITIONへのジャンプ）が所望されるときには、ヒステリシス試験はない。したがって、前の照明レベルがTRANSITIONであった場合には、新しい照明値（照度値）は、INDIRECTレベルまでジャンプするためにINDIRECT DAYの境界値＋ヒステリシスより大きくなければならない。同様に、その新しい照明値は、NORMAL INDOORレベルまでジャンプするために、TRANSITIONの境界値−ヒステリシスより小さくなければならない。
【００１６】
図４は、ステップ１４０に対応する処理フローチャートを例示するものである。ステップ１４３において、距離がVARIANCE_THOLDと比較される。その距離が、VARIANCE_THOLDより大きければ、光源の中心が適用される。そうでなければ、赤及び青のチャンネルの正規化された値が適用される。
【００１７】
このステップにおいて、連続する呼び出しに対する光源間の飛び越しからのヒステリシスが管理される。現在選択されている最も妥当と推定された光源（たとえば、グレーワールドのポイントまでの距離の二乗が最小の光源）と以前に選択された光源との間の距離の二乗の比が、この閾値よりも大きければ、以前に選択された光源が選択される。（または、現在選択されている最も妥当と推定された光源（たとえば、グレーワールドのポイントまでの距離の二乗が最小の光源）の距離の二乗と以前に選択された光源の距離の二乗の比が、この閾値よりも大きければ、以前に選択された光源が選択される）。
【００１８】
妥当と考えられる光源自体は、モジュール用に較正された全ての共通の光源のサブセットである。このサブセットは、照明レベル、フリッカーの深さ（またはフリッカの度合い）、及び、可能性のある他の測定基準に基づいて選択される。
【００１９】
図５は、本発明による機能ブロック１０を例示するものである。マイクロコントローラ１２は、STATS（統計）ブロック１４及びメモリ１６からデータを受け取る。STATSブロック１４は、現在の入力利得、シーンの照度、フリッカの深さ、及び、補助的なスペクトル測定値に関する情報を有している。メモリ１６は、デフォルトのシーンのデータを含んでいる。マイクロコントローラ１２は、出力利得情報をセンサ１８に送る。その利得情報は、センサ内の色チャンネルをどのように調整すべきかを反映している。センサ１８は、それの現在の状態をSTATSブロック１４にフィードバックする。
【図面の簡単な説明】
【００２０】
【図１】本発明による処理フローチャートを示す。
【図２】許容可能な光源を図式的に表示したものである。
【図３】図１に示すステップに対応する処理フローチャートを示す。
【図４】図１に示すステップに対応する処理フローチャートを示す。
【図５】本発明による例示的な機能ブロック図である。
【符号の説明】
【００２１】
１２  マイクロコントローラ
１４  統計ブロック
１６  メモリ
１８  センサ
【図１】
2006222964.tif 000003
【図２】
2006222964.tif 000004
【図３】
2006222964.tif 000005
【図４】
2006222964.tif 000006
【図５】
2006222964.tif 000007
【外国語明細書】
2006222964000001.pdf