(57)【要約】      （修正有）【課題】自発光要素の存在に対して画像を補正する。【解決手段】本発明の実施形態は、自発光画像要素を推定し、画像を変更し、自発光要素の存在に対して画像を補正する。【選択図】図５
2005167984.tif 000002
【特許請求の範囲】
【請求項１】
画像要素が自発光である確度を決定する方法であって、
画像要素特性を決定するステップと、
上記画像要素の特性を既知の自発光要素の特性と比較するステップであって、
（ｉ）上記画像要素の画像境界への近接度を、既知の画像要素のその境界への近接度と比較する動作、
（ii）上記画像要素のカラー特性を、既知の光源の特性と比較する動作、
（iii）上記画像要素の輝度特性を、既知の自発光要素の特性と比較する動作
からなる組み合わせから取り入れられた少なくとも１つの動作を含む、上記比較のステップと、
上記画像要素に自発光重み付け要因を割り当てるステップと、
上記画像の少なくとも一部分について、上記重み付け要因に基づいたカラーバランス補正を推定するステップと、
を含む、画像要素が自発光である確度を決定する方法。
【請求項２】
画像要素が自発光である確度を決定する方法であって、
画像要素特性を決定するステップと、
上記画像要素の上記カラー特性を、既知の光源下で得られるカラー特性と比較するステップと、
上記画像要素の上記輝度特性を、既知の光源下で得られる輝度特性と比較するステップと、
上記カラー特性および上記輝度特性のうち少なくとも１つが自発光要素の基準を満たす場合には、自発光である可能性があるものとして上記画像要素を分類するステップ
とを含む、画像要素が自発光である確度を決定する方法。
【請求項３】
上記画像要素の画像境界への近接度を測定するステップをさらに含む方法であって、上記分類するステップが、上記基準が満たされているか否かを決定するために上記近接度を評価するステップをさらに含む方法である、請求項２に記載の方法。
【請求項４】
画像の光源を推定する方法であって、
画像要素特性を決定するステップと、
画像要素それぞれに対して、その自発光である尤度にしたがって、重み付け要因を割り当てるステップと、
複数の画像要素に対する光源を推定するステップと、
上記重み付け要因によって調整されたそれぞれの画像要素について、上記光源に基づいて、画像光源を推定するステップと、
を含む、画像の光源を推定する方法。
【請求項５】
上記重み付け要因の効果が、画像要素が自発光でない尤度と比例の関係にある、請求項４に記載の方法。
【請求項６】
画像におけるカラーバランスを補正する方法であって、
画像についての画像要素特性を取得するステップと、
画像要素それぞれに対して、その自発光である尤度にしたがって、重み付け要因を割り当てるステップと、
上記画像要素特性および上記重み付け要因に基づいて画像光源を推定するステップと、
上記推定された光源に対して画像カラーバランスを補正するステップと、
を含む、画像カラーバランスを補正する方法。
【請求項７】
上記補正は、
上記推定された光源に対して、自発光の可能性がない画像要素を補正するステップと、
自発光の可能性がある画像要素に対して、上記画像カラーバランスを補正するステップを省略するステップと、
を含む補正である、請求項６に記載の方法。
【請求項８】
上記補正は、
上記画像要素をその自発光である尤度にしたがって補正するステップであって、
自発光である確度が最も低い要素に対しては、完全な補正を適用し、
自発光である確度が最も高い要素に対しては、補正を適用せず、
上記限界値の間にある要素に対しては、部分的な補正を適用する、
上記補正するステップを含む補正である、請求項６に記載の方法。
【請求項９】
画像要素が自発光である確度を決定する実行可能な命令のセットであって、
画像要素特性を決定するステップと、
上記画像要素の特性を既知の自発光要素の特性と比較するステップであって、
（ｉ）上記画像要素の画像境界への近接度を、既知の画像要素のその境界への近接度と比較する動作、
（ii）上記画像要素のカラー特性を、既知の光源のそれと比較する動作、
（iii）上記画像要素の輝度特性を、既知の自発光要素のそれと比較する動作、
からなる組み合わせから取り入れられた少なくとも１つの動作を含む、上記比較するステップと、
上記近接度、上記カラー特性および上記輝度特性のうち少なくとも１つが自発光要素の基準を満たす場合には、自発光である可能性があるものとして上記画像要素を分類するステップと、
を含む方法。
【請求項１０】
画像要素が自発光である確度を決定するシステムであって、
画像要素特性を記憶するための記憶部と、
上記画像要素の特性を、既知の自発光要素の特性と比較するためのプロセッサであって、上記比較は、
（ｉ）上記画像要素の画像境界への近接度を、既知の画像要素のその境界への近接度と比較する動作、
（ii）上記画像要素のカラー特性を、既知の光源のカラー特性と比較する動作、
（iii）上記画像要素の輝度特性を、既知の自発光要素の輝度特性と比較する動作、
からなる組み合わせから取り入れられた少なくとも１つの動作を含む比較である、上記プロセッサと、
上記近接度、上記カラー特性および上記輝度特性のうち少なくとも１つが自発光要素の基準を満たす場合には、自発光である可能性があるものとして上記画像要素を分類する分類部（classifier）と、
を含む、画像要素が自発光である確度を決定するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、デジタル画像処理および、さらにとりわけ、画像中の色の変わり目または自発光体の検出に関するものである。
【０００２】
（背景技術）
イメージセンサに届く反射光は、画像の被写体を照らす光による。光源が異なれば、その画像の被写体の表面から得るセンサ検出値（sensor value）も異なる。ヒトの視覚システムは、表面の色が一定の色に見えるように、反射光における上記の変化を知覚されるノルムへとおおよそ補正する。しかしながら、画像が媒体に取り込まれた場合に取り込まれた場面での光源（a light source）とは異なる光源の下で見られると、自然法則に従った補正は起こらない。したがって、記録された画像には、自然な状態の目で見えるときのように見えるようにするために基準光源へのカラーバランス調整を行なうことが望ましいことがほとんどである。このバランス調整またはカラー補正は、ひとたびシーンの光源が特定されれば実行され得る。
【０００３】
画像のシーンにおける発光体または光源の特定についての多くの方法が知られているが、従来の補正アルゴリズムは、すべての画像ピクセルが反射面を表していると想定してしまう。もし画像が、空やその他の発光体のように自発光体を含んでいれば、表面ピクセルの想定は妨害されてしまう。もし画像が、光を反射しない重要な部分、つまり自発光体を含んでいれば、従来の方法では失敗し、その画像の光源は誤って決定されてしまうであろう。例えば、もし画像が青い空を含んでいて、カラーバランスアルゴリズムがすべてのピクセルは反射物体であると想定してしまうと、青っぽいピクセルはシーンの照明（illumination）が青っぽい証拠であるとして捉えられてしまうであろう。カラー補正とはおおよそ、推定された光源の色相を正反対にすることであるので、青っぽい光源に対する補正は画像を黄色の方向に変更してしまう。この補正の結果、過度に黄色っぽい地面や表面の領域および彩度を落とされた空の領域ができてしまうこともある。
【０００４】
上記のカラー補正、カラーバランスまたはカラーコンスタンシーアルゴリズム（color constancy algorithms）は概して、発光体（ここでは以下自発光体とも呼ばれている）を含む画像をどのように扱えばよいのかという疑問に対しては、注意を向けていない。これらはむしろ、表面ピクセルの想定を満足させる画像（例えば、均一に光を照射されるモンドリアン風の画像）に焦点をあててきたのである。
【０００５】
（図の詳細な説明）
本発明の実施形態は、以下の記述および添付の請求項において、付属の図面と関連して、さらに完全に明らかにされる。上記図面は単に典型的な実施形態を描写しているにすぎず、したがって、本発明の範囲を制限するとは考えないということ理解されたい。また、上記実施形態において、付属の図面を用いることによってさらなる特殊性および詳細が記述される。ここで、
図１ａは、本発明のある実施形態における、自発光要素検出の方法を示すフローチャートである。
図１ｂは、本発明のある実施形態における、自発光要素検出および要素の重み付け方法を示すフローチャートである。
図２は、本発明の実施形態における要素を示すのに用いられる、典型的な画像である。
図３ａは、画像境界に関連したピクセル位置に基づく、自発光である尤度を示す画像である。
図３ｂは、カラー特性に基づく、自発光である尤度を示す画像である。
図３ｃは、輝度特性に基づく、自発光である尤度を示す画像である。
図３ｄは、図３ａ、ｂおよびｃに示された要因の組み合わせに基づく、組み合わされた、自発光である尤度を示す画像である。
図４は、典型的な自発光確率分布を示すグラフである。
図５は、本発明の実施形態におけるいくつかのステップを示すフローチャートである。
図６は、選択された光源から反射された、さまざまな色分布を示すグラフである。
図７は、図６に示された光源の色度図を表すグラフである。
図８は、自発光である尤度に関連付けられた重み付け要因を使用する実施形態における方法を示すフローチャートである。
図９は、補正要因を使用する実施形態における方法を示すフローチャートである。
図１０は、自発光要素が補正の間に識別されるような実施形態における方法を示すフローチャートである。
【０００６】
（詳細な説明）
本発明のある実施形態において、画像の自発光領域を決定する方法が用いられる。デジタル画像補正パラメータは自発光領域の決定に応じて計算され得る。画像の自発光領域は画像特性基準より決定され得る。例えば、画像特性基準は、ピクセルカラー特性、ピクセル輝度および／またはピクセル位置パラメータであってもよい。ある実施形態において、自発光領域は、明るいピクセル輝度に対応して決定されてもよい。ここで、明るいピクセル輝度とは、周囲の画像領域に対する相対的な明るさのことか、および／または、明るさの閾値よりも明るいこととして定義されている。
【０００７】
ある実施形態において、自発光領域は、色度関数、色相角関数、カラー彩度関数、または明度関数などのような、複数の項（terms）からなるカラー特性の一般的な関数を用いて決定されてもよい。
【０００８】
他の実施形態において、自発光領域は、画像の端または他の幾何学的画像特性に関するピクセル位置に関連付けられて決定されてもよい。
【０００９】
本発明の実施形態における多くのアルゴリズムにおいて、補正は、ＣＩＥ１９３１ＸＹＺの三刺激値（tristimulus）などのような線形の色空間において採用されている行列の形をとっている。入力された三刺激値は、行列によって、１組のカラー補正値を生成するために以下のように乗算される。
【００１０】
【数１】
2005167984.tif 000003
【００１１】
ここで、ｘは三刺激値のうちの１つのベクトルを表し、
Ｍはカラーコレクションマトリクスを表し、
ｘ’は補正値のベクトルを表している。
上記カラー補正は、ＣＩＥ１９３１ＸＹＺまたはＲＧＢセンサスペースの線形変換を含む、他の色空間において実行することも可能である。
【００１２】
カラー補正のある特徴（One view）とは、クリティカルステップが、そのシーンの光源を推定するステップであり、次に上記推定結果からコレクションマトリクスが定義され得るということである。上記アプローチは表面反射率関数およびそれぞれのピクセルにおける照度を推定しようとするものである。次に、元のセンサ検出値は、標準的な光源下での値へとマッピングされる。上記プロセスでは、表面ピクセルの仮定が満足されているものと想定される。
【００１３】
コレクションマトリクスを定義するある方法は、反射率および光源の線形モデル、およびシーンについて推定された光源に関するものである。反射率または光源関数（例えば、光沢のないマンセルチップセット、または基準の昼光パワースペクトルなど）の大きな集合内の原理構成要素の分析（または、特異値分解、ＳＶＤ）の実行後、典型的な光源および面が低次元線形モデルを用いて概算により求められ得る。次に、関数は、重み付けの集合を定義することよって線形モデル上に近似値を得ることが可能となる。
【００１４】
【数２】
2005167984.tif 000004
【００１５】
ここで、
ｒは概算された反射率値の１×ｎの波長ベクトルを、
ｅは概算された光源スペクトルパワー値の１×ｎの波長ベクトルを、
ｗｓはサーフェスリニアモデルにおける重み付けの集合を、
ｗｅはイルミナントリニアモデルにおける重み付けの集合を、
Ｂｓは表面反射率関数に基づくサーフェスの集合を、
Ｂｅは光源スペクトルパワー関数に基づくイルミナントの集合を表す。
【００１６】
色空間座標ｘは、ある光源の下で計算された反射率関数、
【００１７】
【数３】
2005167984.tif 000005
【００１８】
に対して算出される。ここで、
【００１９】
【数４】
2005167984.tif 000006
【００２０】
センサ検出値を算出するための、上記方程式は、光沢のない反射面から反射している光源スペクトルパワー分布の物理的現象を表しており、センサの集合に信号を適用している。上記基底の次元は（The dimensions of the bases）、［ｎ波長、ｎＢｓ］および［ｎ波長、ｎＢｅ］である。
【００２１】
第一のシーンについての光源を推定すると、色座標から面の重み付けまでのマッピングを反転させることが可能である。次に、上記面の重み付けは、第二のシーンにおける光源（例えば、ＣＩＥ  Ｄ６５００のような標準光源条件）の下で再計算され得る。上記第二光源下でのカラー補正値ｘ’は以下のように算出され得る。
【００２２】
【数５】
2005167984.tif 000007
【００２３】
ｅcanonicalは、標準光源のスペクトルパワー分布である。
【００２４】
コレクションマトリクスを定義するあるいは別の方法は、補正の形に制約を加える。例えば、ある方法においては、上記コレクションマトリクスは、全てに値が配置された行列であるよりはむしろ対角行列でなければならない。他の方法においては、取得した値は、推定される光源の下でのニュートラル体（neutral object）を標準光源下でのニュートラル値にマッピングするように定義される。コレクションマトリクスのそれぞれの形について、推定された光源パラメータから補正パラメータへのマッピングが必要である。
【００２５】
自発光または反射しない画像領域は、誤った光源推定への偏向を含む問題、または第一のカラー補正変換における想定の妨害によるカラー補正の問題を引き起こすこともある。
【００２６】
本発明のある実施形態において、ピクセルまたはそのグループなどの画像要素は、その画像において自発光体らしさを表しているかどうかを決定するために評価される。上記要素は、もしそれらが画像の端に近接して位置していたら自発光である確度はさらに高くなり得る。例えば、しかしこれに限定する意図はないが、空の領域および自発光の領域を含む画像において、自発光の空の領域は典型的に画像の上端に沿って位置している。風景写真から顔写真まで、あらゆる画像を回転させた場合には、上端が側端になることもあり、その逆もまたあり得る。したがって、本発明のある実施形態においては、どの端においてもそこに近接しているということが、自発光の尺度となってもよい。他の実施形態において、画像方向性アルゴリズムは、画像の上部、下部、および側部を特定するのに用いることができる。また他の実施形態において、画像が画像の方向性に関するメタデータまたはいくつかの別の尺度を含んでいてもよい。方向が特定される上記のような実施形態においては、特定の端部に近接していることが自発光であることを示し得る。例えば、しかしこれに限定する意図はないが、あるピクセルが画像の上端に近接していることは、画像の両側端や下端に近接していることよりも、より自発光であることの目印となり得る。
【００２７】
ある実施形態において、要素の自発光である尤度は、要素のカラー特性または記述子に関連して決定される。ある実施形態において、この関数で出力されたものは、連続的な色調のグレースケール画像として見ることができ、このグレースケールにおいては、明るい領域ほど自発光体らしき領域に相当し、暗い領域ほど反射面に相当する。
【００２８】
ある実施形態において、要素の色度またはカラー特性は自発光を決定するのに用いられてもよい。要素の色度が既知の光源または一般の自発光体の色度と同じ場合には、その要素は自発光である可能性がより高いということになる。
【００２９】
本発明の実施形態のいくつかは、図１ａのチャートにおいて示されるステップを含む。この図において、ピクセルまたは関心領域（region of interest）などの画像要素は、位置などのような特性、色度などのような強度のないカラー特性、および／または輝度のような強度の値などの、その特性を決定するために評価される（１０）。要素の位置は、画像の端に対する近接度を決定するために評価される（１２）。ここで、もし要素が端、つまり、ある特定の端、あるいはいくつかの他の幾何学的形状の画像における境界に十分近接していたら、その要素はより自発光である可能性が高いとみなされ、フラグまたは決定変数値が、上記の尤度にしたがって設定（１１）、または、増やされる。
【００３０】
次に要素のカラー特性が評価され（１４）、もしそのカラー特性が既知の光源または自発光体のカラー特性と合えば、その要素が自発光である可能性がさらに高くなったと考えられる。カラー特性は、色度、輝度および他の属性を含む。上記特性が、自発光である尤度を示した場合は、フラグまたは決定変数値が、上記の尤度にしたがって設定される（１３）。
【００３１】
上記評価（１２、１４）および上記関連付けられたフラグまたは決定変数の設定は、特定の適用先の必要に応じていかなる順番で実行されてもよい。上記評価の結果は、ブール論理の変数加算、または他の方法によって結合され（１６）、もし重要な証拠が存在すれば、その要素は自発光体の可能性があると考えられ得る（１８）。
【００３２】
本発明の他の実施形態においては、図１ｂに示されるように、画像要素が重み付け要因またはスコアにしたがって算定および分類されてもよい。このような実施形態において、要素は、それらの位置が画像の端、つまり特定の端、またはいくつかの他の画像境界特性に近接しているか否かを決定するために算定される。もしその位置が、ひとつまたはそれ以上の上記特性にかなり近接している場合は、その要素における、上記重み付け要因またはスコアは増やされ（２４）、その要素はさらに評価される。
【００３３】
もし要素のカラー特性が、青空、曇り空、タングステン白熱光、蛍光などのような既知の自発光体のカラー特性と似ていれば（２６）、その要素は自発光である可能性があると考えられ、上記尤度を反映するため、上記要素の重み付け要因またはスコアは増やされる（２８）。
【００３４】
もし要素の輝度特性が既知の自発光体の輝度特性と似ていれば（３０）、その要素が自発光であるというより高い尤度を反映するため、上記要素の重み付け要因またはスコアは増やされる（３２）。上記要素のスコアまたは重み付け要因が十分高い値であれば、その要素は自発光であるとみなされ得る。
【００３５】
本発明の実施形態における方法は、元のデジタル画像である図２、および図３（ａ）〜図３（ｄ）を参照しながら示す。図３（ａ）〜図３（ｄ）は、図２から導き出された画像のセットで、要素の位置、色度またはカラー特性、および／または輝度パラメータに基づく自発光の尤度を示している。図３（ａ）〜図３（ｄ）の画像において、白い領域は高い尤度の領域を、一方黒い領域は低い尤度の領域を表している。
【００３６】
本発明のある実施形態において、上記自発光決定変数ｓは、上記ピクセルカラー値ｘ、およびピクセル位置（ｉ，ｊ）より、
ｓ＝ｆ（ｘ，ｉ，ｊ）
として算出され得る。
【００３７】
ある実施形態において、上記要因間の独立性もまた想定されうる。上記は、項（terms）同士が、相関関係があるという利点を享受しないという点で、計算上便利である。（例えば、空は青っぽくかつ高い輝度である可能性がある。）
ｓ＝ｇ（Ｘ）＊ｈ（ｉ，ｊ）
カラー値によって決定する項は、色度ｃおよび輝度Ｙに基づいて分離可能な項に分解される。
ｓ＝ｇ１（ｃ）＊ｇ２（Ｙ）＊ｈ（ｉ，ｊ）
ｇ１（ｃ）において、関数は、「青空」の色相角のときに最大値をとるように、および、その色相角が上記の値から離れていくにつれて減少するようになっている。ｇ２（Ｙ）は大部分の空領域の輝度分布に基づいている。ｈ（ｉ，ｊ）については、空は画像の端近くにある可能性がより高いという簡単な前提が成立し得る。ここで、ｈ（ｉ，ｊ）はピクセル行数の線形関数である。注意すべきは、ｇ１（ｃ）およびｇ２（Ｙ）に対するこれらの選択（these choices）は上記モデルを自発光体としての「青空」の領域、または、他の光源または光源のグループの領域を特定するように強く方向付けるということである。
【００３８】
図２は、表面反射領域４２および空領域４０を含む画像である。図３は、それぞれの自発光尤度関数についての決定変数マップを示す。ＣＩＥ１９３１ｘｙＹ色空間にしたがって、色度を表すのに「ｘｙ」、および輝度を表すのに「Ｙ」が用いられている。地面の領域においては、最終決定変数はほぼ０であり、図３（ａ）〜図３（ｄ）における４つのすべての画像において黒色で示されている。
【００３９】
図３（ａ）において、画像の上端近くの要素における、自発光である尤度が、明るめの陰によって示されている。この陰は、その位置が上端から遠くなるほど次第に暗くなっている。
【００４０】
図３（ｂ）において、「青空」または、他の光源または光源のグループと同様のクロミナンスを有する要素またはピクセルが白で示されている。一方、色相のその範囲から「遠い」ものはより暗めの陰によって示されている。
【００４１】
図３（ｃ）において、既知の自発光体と同様の輝度値を有する要素またはピクセルが、明るめの陰によって示されている。この典型的な画像の場合においては、ほとんどのピクセルがこの画像の空ほど高い輝度を有しておらず、比較的に暗い。
【００４２】
図３（ｄ）は、図３（ａ）から図３（ｃ）に示された画像の組み合わせを表している、合成画像を示す。この図において空にある要素のみが明るめの陰によって示され、このことにより組み合わせ解析適用の成功を表すことができる。
【００４３】
図４は、図３（ｄ）に対応する自発光決定変数の分布を示す図表である。「空」領域は０．２から０．３５の範囲の値に対応している。
【００４４】
本発明における実施形態は、デジタル画像におけるカラーバランスまたはカラーコンスタンシーメソッド（color constancy estimation methods）およびカラーバランス補正との組み合わせで用いることもできる。本発明のある実施形態において、図５に示されているように、発明の方法およびシステムを、自発光要素を決定する（１１０）ために用いることができる。上記方法およびシステムは、さらに、画像光源の決定（１１５）およびカラーバランスを獲得するために用いられる補正（１２０）に影響を与えることもある。また、上記方法およびシステムは、カラーバランス補正の適用（１３０）における効果を有していてもよい。
【００４５】
自発光でないと分類されたピクセルのみから推定するカラーバランスアルゴリズムのほとんどは、カラーバランスパラメータを獲得するための自発光分類マップを用いるために、変更可能である。上記変更されたアルゴリズムは、自発光画像領域が存在するために、傾きを減少させて推定結果を返す
例えば、グレーワールドアルゴリズム（a greyworld algorithm）は、シーンの色度の重み付けされた平均を算出するように変更可能である。この重み付けは、自発光らしきピクセルに対しては減らされる。
【００４６】
関数ｆ（ｅｉ）が画像Ｉにおいて最大になるような光源パラメータｅｉを選択する光源算定方法を考えると、
【００４７】
【数６】
2005167984.tif 000008
【００４８】
となり、
ｘｋは、カラー値のベクトルを、
Ｓｋは、自発光（Ｓ＝１）または表面反射（Ｓ＝０）の状態を表示するバイナリ変数を、
ｅｉは、ｉ番目の光源のパラメータ集合を表す。
ｐ（ｘｋ｜Ｉ，Ｓｋ＝０）は、自発光でないピクセルに対し、画像Ｉにおいて色座標ｘｋが観察される尤度を表す。ｐ（ｘｋ｜ｅｉ）は、光源ｅｉの下で色座標ｘｋが観察される尤度を表す。上記項は、光源によってインデキシングされた、シーン／画像のカラー確率モデルを表す。画像おいて見られる色度数（the color frequencies）が、ある特定の光源の下で予想される色度数を合うならば、ｆの値は大きいはずである。ｆ（ｅｉ）の最大値に相当する光源は、画像における上記表面反射ピクセルに最も一致する光源である。
色座標の別の集合については、観察されたカラーの尤度関数は、
【００４９】
【数７】
2005167984.tif 000009
【００５０】
と概算される。
ｎｋは、座標Ｘｋの距離ε以内の表面反射ピクセル数を表し、
ＮＳ＝０は、表面分類におけるピクセル数を表す。
【００５１】
画像Ｉより光源を推定するある別の方法は、分類マップよりむしろ上述の自発光決定変数を直接用いることである。関数ｇ（ｅｉ）が最大になるような光源パラメータｅｉを選択する光源推定方法を考えると、
【００５２】
【数８】
2005167984.tif 000010
【００５３】
となり、
ｗｋは、対応する自発光決定変数によって決まるカラー値のｋ番目のベクトルに対する重み付けを表す。
【００５４】
ｗｋの値は、ピクセル自発光決定変数ｓから算出されてもよい。
ｗｋ＝１−ｓ
となり、０から１の範囲を有するように正規化されている。
【００５５】
ｐ（ｘｋ｜ｅｉ）は、光源ｅｉの下で色座標ｘｋが観察される尤度を表す。上記項ｗｋは、自発光ピクセルよりも、自発光でないピクセルにより多く重み付けするようになっている。こうして値ｇ（ｅｉ）は、光源ｅｉが画像において表面反射ピクセルとどれほど結びついているのかの尺度となるであろう。
【００５６】
色座標のある別の集合に対して、上記重み付けは、
ｗｋ＝Σｗｊ
として算出されてもよい。ｊは座標ｘｋの距離ε以内のピクセルを示す指標となる。
【００５７】
ある実施形態において、画像データ上で調整された上記光源パラメータの光源事後確率分布（the illuminant posterior probability distribution）ｐ（ｅｉ｜Ｉ）を最大値にする、ベイズカラーバランス推定技術が、光源ｅｉを選択するという問題を公式化する。ベイズ法は、上記事後確率（the posterior）を事前確率ｐ（ｅｉ）と画像尤度関数ｐ（Ｉ｜ｅｉ）とに関連付ける。
ｐ（ｅｉ｜Ｉ）＝ｋ・ｐ（Ｉ｜ｅｉ）・ｐ（ｅｉ）
となり、
ｋは、正規化された定数を、
ｐ（ｅｉ）は、さまざまな光源の尤度を、
ｐ（Ｉ｜ｅｉ）は、画像が光源ｅｉによって照射される尤度を表す。
【００５８】
もしピクセルが別のもう１つのピクセルと独立していると想定される場合、その光源を、
【００５９】
【数９】
2005167984.tif 000011
【００６０】
とすると、
画像の色の尤度が、それぞれのピクセルにおけるカラー値の尤度の積、ｘｊとなる。
【００６１】
自発光分類マップを上記ピクセル尤度関数に導入するある方法とは、バイナリ変数Ｓに、ピクセルが自発光である（Ｓ＝１）、または、ピクセルが自発光でない（Ｓ＝０）ことを表示させることである。カラー尤度関数は、
ｐ（ｘｊ｜ｅｉ）＝ｐ（ｘｊ｜ｅｉ，Ｓ＝０）ｐ（Ｓ＝０）＋ｐ（ｘｊ｜ｅｉ，Ｓ＝１）ｐ（Ｓ＝１）
となる。
【００６２】
ピクセルが自発光である場合について、カラー尤度関数は、光源
ｐ（ｘｊ｜ｅｉ，Ｓ＝１）＝ｐ（ｘｊ｜Ｓ＝１）
から条件付きで独立しているとして取り扱われ得る。
ｐ（ｘｊ｜Ｓ＝１）は自発光領域についての確率モデルである。あるいは、画像尤度は、
ｐ（Ｉ｜ｅｉ）＝Π｛ｐ（ｘｊ｜ｅｉ，Ｓ＝０）ｐ（Ｓ＝０）＋ｐ（ｘｊ｜Ｓ＝１）ｐ（Ｓ＝１）｝
として算出可能である。上記画像尤度関数より、光源事後確率分布（the illuminant posterior distribution）は算出され、次に光源推定のために最大化され得る。
【００６３】
ある実施形態において、上記事後確率（the posterior）ｐ（ｅｉ｜Ｉ）は、画像尤度および光源事前確率（illuminant prior）を掛けることによって推定されてもよい。事前確率（prior）ｐ（ｅｉ）は、さまざまな光源の相対的尤度を説明するのに用いられてもよい。例えば、光源は、昼光の位置付近にあると予測され得る。
【００６４】
またある実施形態において、コスト関数が用いられ、（ＣＩＥ  Ｄ６５００などの）基準光源寄りに結果を偏向する関数を事後確率に掛けることにより推定（computed）されてもよい。極端な方向に推定された光源と関連付けられた補正は好ましくない結果を画像にもたらすこともあるので、もし光源が誤って推定された場合には、基準光源寄りのバイアスは、有益となり得る。
【００６５】
光源推定とは、コスト関数を適用した後の最大値と関連付けられた光源であってもよい。
【００６６】
光源パラメータがｐ（ｘｊ｜ｅｉ）と定められたカラー尤度関数は、シーンにおける色の分布の想定または測定によって推定（computed）される。この項の目的は、さまざまな色の尤度をそれぞれの光源の下で特徴付けることである。例えば、赤みを帯びた光源の下では、名目上赤っぽい色相を有する色度の可能性はより高く、名目上青っぽい色度の可能性はきわめて低い。
【００６７】
図６は、光沢のないマンセル表面反射のある集合が、昼光の位置に近い光源のある集合の下でどのように変化するかを示す。表の縦列は光源の違いに対応している。
【００６８】
図７は、図６において描画された光源の色度を示す。上記光源の色は青−黄方向においてさまざまであり、それぞれの光源について、マンセルセットの色度における明らかな変化が見られる。ｐ（ｘｊ｜ｅｉ）を算出するある方法とは、画像における色がマンセルセットの光沢のない部分から均一に（置き換えられて）描写されると想定することである。長期間の（long-term）平均色度数は、上述の光源下のマンセルセットを計算するのと同じであろう。ｉ番目の光源の下での、ある一定の色度［ｘ，ｙ］の確率は、単に、その光源の下でのマンセルセットの分布の色度における度数である。あるいは、別のある方法とは、多数の画像または対象物のコレクションにわたっての表面カラー分布から、経験に基づいたカラーモデルを導き出すことである。
【００６９】
本発明のある実施形態において、ある特定の色が生じる尤度は、光源のある集合に対してあらかじめ算出可能である。これには、モデル色域ｐ（ｘ｜ｅｊ）が参照されてもよい。上記モデル色域は、上記定められた光源の下でそれぞれの色が生じる確率を表す。
【００７０】
上記自発光である確率は、それぞれのピクセルに対して、ｐ（Ｓ＝１｜色度、輝度、位置）として算出される。上記確率は、画像におけるピクセルの位置、その輝度、その色度、またはカラー特性に基づいている。その逆の値、ｐ（Ｓ＝０｜色度、輝度、位置）は、色度の関数として蓄積される。上記蓄積の結果は、色度関数ｈ（色度）に対する、ｐ（Ｓ＝０）のヒストグラムである。
【００７１】
ある実施形態において、上記画像尤度ｐ（Ｉ｜ｅｉ）は、ｈ（色度）およびｐ（色度｜ｅｉ）の間の内積として概算で求められてもよい。上記画像尤度はそれぞれの光源に対して算出される。すべての光源を通して、上記は光源色度関数Ｌ（色度）である。
【００７２】
本発明のある実施形態を、図８を参照しながら説明することができる。図８は、画像光源推定プロセスのステップを示したフローチャートである。この方法は、理解しやすいように一連の番号を付して描画されているが、明記しない限りは、付した番号から順番が決定されるべきではない。上記ステップのいくつかは、飛ばされることもあるし、平行して実行されることもあるし、または、連番の正確な順序を守らないで実行されることもあるということを理解されたい。まず、画像要素特性が取得される（２００）。上記特性は典型的に、画像要素カラー特性、輝度特性、位置データおよびその他の同じような特性を含む。上記要素特性のデータを用いて、それぞれの画像要素が自発光である尤度が決定され得る（２０２）。上記は、上述の他の実施形態において説明された通りに、画像要素の画像の端、または境界線への近接度を参照しながら、既知の光源の色度および要素輝度に関連した要素色度に対して実行されてもよい。
【００７３】
重み付け要因は、それぞれの要素に対して、その自発光である尤度に基づいて割り当てられる（２０４）。次に、要素特性に基づいて、最も可能性が高い光源がそれぞれの要素について推定される（２０６）。次に上記画像光源は、画像要素特性および上記重み付け要因を用いて推定される（２０８）。上記画像光源は、本発明の実施形態における方法にしたがったさまざまなやり方で算定されてもよい（２０８）。ある実施形態においては、上記重み付け要因は、画像光源算定プロセスに合わせて要素の重み付けの量を調整するのに用いられることもある。上記の調整は、自発光らしき要素の完全な省略、または、推定プロセスに合わせた上記要素の重み付け量の削減を含む。
【００７４】
本発明の他の実施形態を、図９を参照しながら説明することができる。図９は、画像カラーバランス補正プロセスを示したフローチャートである。上記実施形態において、画像要素特性が、本技術分野において既知の典型的なやり方で取得される（２２０）。それぞれの画像要素が自発光である尤度は、次に、以下に説明される方法にしたがって決定される（２２２）。画像要素全体は、画像全体に対して、画像要素特性およびそれぞれの要素が自発光であるという尤度に基づき、推定される（２２４）。次に、推定された光源に対して画像のカラーを調整するために、補正要因が算出される（２２６）。次に、上記補正要因は、画像が適切にカラー調整されるように、画像に適用される（２２８）。
【００７５】
本発明の他の実施形態を、図１０を参照しながら説明することができる。図１０は、カラーバランス補正要因を選択的に適用するための方法を示したフローチャートである。上記実施形態において、画像要素特性は、本技術分野において既知の方法によって取得される（２４０）。それぞれの要素が自発光である尤度が、上述において説明されたように決定され（２４２）、画像光源が、上記要素特性およびそれぞれの要素が自発光であるという尤度に基づき、推定される（２４４）。ひとつまたはそれ以上の補正要因が、上記光源に対して上記画像を補正するために算出される（２４６）。上記ひとつまたはそれ以上の補正要因は、要素それぞれの自発光である尤度にしたがって上記画像に適用される（２４８）。上記実施形態において、上記補正要因は、自発光ではなさそうな要素に対してのみ適用されてもよいし、自発光である尤度の大きさにしたがってある程度適用されてもよいし、要素が自発光である尤度に対して正比例または反対の関係にある、他のやり方で適用されてもよい。
【００７６】
画像要素が自発光である尤度を決定し、補正パラメータを算出し、デジタル画像補正パラメータを適用するためのシステムおよび方法をここに述べてきた。２、３の例が本発明の特徴を説明および明確にするために挙げられてきたが、本発明は上記例のみに限定されるものではない。特定の補正アルゴリズムも、本発明についてのコンテクストを提供するために挙げられてきたが、これについても、本発明は上述のアルゴリズムにのみ限定されるものではない。本発明の他の変形体および実施形態も本技術分野における当業者によって実現し得る。
【図面の簡単な説明】
【００７７】
【図１ａ】本発明のある実施形態における、自発光要素検出の方法を示すフローチャートである。
【図１ｂ】本発明のある実施形態における、自発光要素検出および要素の重み付け方法を示すフローチャートである。
【図２】本発明の実施形態における要素を示すのに用いられる、典型的な図である。
【図３】（ａ）は、画像境界に関連したピクセル位置に基づく、自発光である尤度を示す画像であり、（ｂ）は、カラー特性に基づく、自発光である尤度を示す画像であり、（ｃ）は、輝度特性に基づく、自発光である尤度を示す画像であり、（ｄ）は、図３（ａ）、（ｂ）および（ｃ）に示された要因の組み合わせに基づく、組み合わされた、自発光である尤度を示す画像である。
【図４】典型的な自発光確率分布を示すグラフである。
【図５】本発明の実施形態におけるいくつかのステップを示すフローチャートである。
【図６】選択された光源から反射された、さまざまな色分布を示すグラフである。
【図７】図６に示された光源の色度図を表すグラフである。
【図８】自発光である尤度に関連付けられた重み付け要因を使用する実施形態における方法を示すフローチャートである。
【図９】補正要因を使用する実施形態における方法を示すフローチャートである。
【図１０】自発光要素が補正の間に識別されるような実施形態における方法を示すフローチャートである。
【符号の説明】
【００７８】
４０            空領域
４２            表面領域
【図１ａ】
2005167984.tif 000012
【図１ｂ】
2005167984.tif 000013
【図４】
2005167984.tif 000014
【図５】
2005167984.tif 000015
【図６】
2005167984.tif 000016
【図７】
2005167984.tif 000017
【図８】
2005167984.tif 000018
【図９】
2005167984.tif 000019
【図１０】
2005167984.tif 000020
【図２】
2005167984.tif 000021
【図３】
2005167984.tif 000022
【外国語明細書】
2005167984.tif 000023
2005167984.tif 000024
2005167984.tif 000025
2005167984.tif 000026
2005167984.tif 000027
2005167984.tif 000028
2005167984.tif 000029
2005167984.tif 000030
2005167984.tif 000031
2005167984.tif 000032
2005167984.tif 000033
2005167984.tif 000034
2005167984.tif 000035
2005167984.tif 000036
2005167984.tif 000037
2005167984.tif 000038
2005167984.tif 000039
2005167984.tif 000040
2005167984.tif 000041
2005167984.tif 000042
2005167984.tif 000043
2005167984.tif 000044
2005167984.tif 000045
2005167984.tif 000046
2005167984.tif 000047
2005167984.tif 000048
2005167984.tif 000049
2005167984.tif 000050
2005167984.tif 000051
2005167984.tif 000052
2005167984.tif 000053
2005167984.tif 000054