(57)【要約】      （修正有）【課題】与えられた画像の画像の光源モデルを推定する。【解決手段】候補となる色の集合を色度空間にマッピングし、画像との間の距離を計算することにより最も適合する光源を決定する。【選択図】図１
2005190473.tif 000002
【特許請求の範囲】
【請求項１】
複数の候補となる光源について色域モデルを計算するステップと、
画像色域を計算するステップと、
上記画像色域に関して、上記候補となる光源のそれぞれについて距離適合基準を決定するステップと、
上記距離適合基準に基づいて、上記複数の候補となる光源から画像の光源を選択するステップと、
を含む、画像内の光源を推定する方法。
【請求項２】
複数の候補となる光源について色域を計算するステップと、
画像要素が自発光画像要素または反射画像要素との類似度合いを示す特性を含む自発光特性を、計算するステップと、
反射画像らしき要素から自発光画像らしき要素を分離するステップと、
上記反射画像要素は上記自発光画像要素とは別とみなして、画像色域を計算するステップと、
上記候補となる光源のそれぞれについて適合基準を決定するステップと、
上記適合基準に基づいて、上記複数の候補となる光源から画像の光源を選択するステップと、
を含む、画像内の光源を推定する方法。
【請求項３】
自発光特性を計算するステップにて、要素が反射するかあるいは自発光であるかを示すバイナリ値が用いられる、請求項２に記載の方法。
【請求項４】
複数の候補となる光源についての上記色域は、それぞれの候補となる光源の下で計算されたカラーチップの集合についてのカラー値のヒストグラムである、請求項１に記載の方法。
【請求項５】
上記自発光画像要素を分離するステップは、画像要素の画像境界への近接度を決定するステップを含む、請求項２に記載の方法。
【請求項６】
上記自発光画像要素を分離するステップは、画像要素のカラー特性と、既知の光源下での反射面のカラー特性とを比較するステップを含む、請求項２に記載の方法。
【請求項７】
上記自発光画像要素を分離するステップは、画像要素の輝度特性と、既知の自発光体の輝度特性とを比較するステップを含む、請求項２に記載の方法。
【請求項８】
上記画像色度域を計算するステップは、上記画像色度域を上記反射画像要素単独に基づいて計算する、請求項２に記載の方法。
【請求項９】
上記画像色度域を計算するステップは、上記画像色度域を、上記反射画像要素および上記自発光画像要素の重み付け分布であって、上記反射画像要素のほうが上記色域に与える影響がより大きい重み付け分布に基づいて計算する、請求項２に記載の方法。
【請求項１０】
上記適合基準を決定するステップは、候補となる光源に関係する画像の分散に関連付けられる、カイ２乗統計量を計算するステップを含む、請求項１に記載の方法。
【請求項１１】
複数の候補となる光源について色域を計算するステップと、
自発光である尤度にしたがって画像要素を特定するステップと、
上記自発光である尤度がより大きい画像要素のほうが、反射要素である尤度がより大きい画像要素よりも、重み付けがより小さい、上記画像要素から画像色域を計算するステップと、
上記候補となる光源それぞれについての色域ヒストグラムを、上記画像要素についての色域ヒストグラムにマッチングするための、適合基準を決定するステップと、
上記適合基準に基づいて、上記複数の候補となる光源から画像の光源を選択するステップと、
を含む、画像内の光源を推定する方法。
【請求項１２】
既知の光源の集合を選択するステップと、
上記既知の光源のそれぞれについて、上記それぞれの既知の光源下で計算されたカラーチップの集合についてのカラー値の標本分布ヒストグラムにより表される色域を確立するステップと、
画像における画像要素が反射面に相当する確率と関連付けられた重み付け値を推定するステップと、
上記画像について色域ヒストグラムを確立するステップであって、上記重み付け値は、対応するヒストグラムの区間のアキュムレータを増やすために用いられる、該ステップと、
上記画像色域ヒストグラムと少なくとも１つの上記既知の光源のヒストグラムとの適合基準を算出するステップと、
上記既知の光源の集合から、画像色域ヒストグラムに最も適合する、推定された、画像の光源を選択するステップと、
を含む、画像内の光源を推定する方法。
【請求項１３】
上記重み付け値を推定するステップは、要素カラー値と２つの画像位置の値とを有する関数を用いるステップを含む、請求項１２に記載の方法。
【請求項１４】
上記適合基準を算出するステップは、正規化され、２乗された、上記画像色度ヒストグラムと上記既知の光源の色度域ヒストグラムとの差分を測定するためのカイ２乗統計量を用いるステップを含む、請求項１２に記載の方法。
【請求項１５】
複数の候補となる光源について色域を計算するための第一計算部と、
要素が自発光である度合いもしくは反射する度合いを計算するための第二計算部と、
上記反射画像要素は上記自発光画像要素とは異なるとみなされる、画像色域を計算するための第三計算部と、
上記候補となる光源のそれぞれについて適合基準を決定するための適合部と、
上記適合基準に基づいて上記複数の候補となる光源から画像の光源を選択するための選択部と、
を有する、画像内の光源を推定するシステム。
【請求項１６】
画像内の光源を推定するための、実行可能な命令のセットであって、
上記命令は、
複数の候補となる光源について色域を計算する動作と、
要素が自発光である度合いもしくは反射する度合いを推定するための自発光特性を計算する動作と、
上記反射画像要素は上記自発光画像要素とは異なるとみなされる、画像色域を計算するための動作と、
上記候補となる光源のそれぞれについて適合基準を決定する動作と、
上記適合基準に基づいて、上記複数の候補となる光源から画像の光源を選択する動作と、
を含む、上記命令セット。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
（技術分野）
本発明は、概して、デジタル画像処理に関するものであり、さらに特定的には、光源モデル推定のための方法およびシステムに関するものである。
【０００２】
（背景技術）
画像において見える色はその画像の被写体を照射する光によって決まる。光源が異なれば、画像の被写体の表面から反射する光も異なる。ヒトの視覚システムは、上記の反射光による違いを、知覚される表面の色がほぼ一定になるように、おおよそ補正する。しかしながら、画像が媒体に取り込まれて、その画像のシーンにおける光源（the source）とは異なる光源（a light source）の下で見られると、上記の自然法則に従った補正は起こらない。したがって、記録された画像は、自然な状態の目で見えているときのようにするために、標準的な、基準の光源へとカラーバランスを調整することが好ましい。このバランス調整またはカラー補正は、ひとたびシーンの光源が特定されれば実行できる。
【０００３】
既知の方法では、光源推定には、既知の光源の固定集合が用いられていた。上記既知の光源は、その光源下であり得る色度の色域によってそれぞれ特徴付けられている。色度ヒストグラムは、画像ごとに算出され、モデルヒストグラムのそれぞれと比較される。
【０００４】
（発明の概要）
本発明による各実施形態は、距離基準を用いたモデルマッチングによる、画像内の光源を推定するための方法およびシステムを実現する。
【０００５】
（図の簡単な説明）
本願の各実施形態は、以下の記述および添付の請求項において、附属の図面と関連して、より完全に明らかにされるであろう。上記図面は単に典型的な実施形態を描写しているにすぎず、したがって、本発明の範囲を制限することにはならないということ理解されたい。また、各実施形態において、附属の図面を用いることによってさらなる特殊性および詳細が記述される。
図１は、候補となる光源の集合をｘ−ｙ色度座標で示したグラフである。
図２は、典型的な配列図（ordering scheme）を示す図である。
図３は、ある画像と、図１の光源グラフとについての典型的なマッチ曲面を示したグラフである。
【０００６】
（発明の詳細な説明）
光源の推定は、モデルマッチング方式（a model matching strategy）により取り組まれることもある。このような方式においては、光源の固定された集合がモデル化される。モデル化は、標本を用いた統計または他の方法によってパラメータ化して実行されてもよい。元の画像データに対して最適と評価されるモデルが、その画像を生み出したであろう確度が最も大きいシーン光源として選択される。上記決定のプロセスは、パラメータ化された同じ記述または統計に基づく同じ記述をその画像から算出するステップと、次に、「最適な」モデルを選択するために、上記モデルベースに関して、その画像の記述のマッチング手順を実行するステップとに拠っている。
【０００７】
図１に示されるように、典型的なモデルの集合は、ｘ−ｙ色度空間にプロットされた８１個の光源からなっている。色度座標は点２として示されている。この特定の例において、上記座標は、Ｄ６５ホワイトポイント４を中心としたＣＩＥ−Ｌａｂ座標上に規則的に標本化されたものであり、該Ｄ６５ホワイトポイント４は昼光の基準光源である。上記座標は、次に、図１において図示されているように、ｘ−ｙ色度空間にマッピングされる。同様の方法で、入力された画像の各ピクセルは、ＣＩＥ−ｘｙＹ空間へ変換される。（このＣＩＥ−ｘｙＹ空間は、輝度情報を含むｘ−ｙ色度空間である。）
別の実施形態において、カラー値は、以下のように、別の色空間あるいは他の色度空間で表されることもある。
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）
本発明のある実施形態では、どのモデルがその画像の光源に最も適合しているかを決定するのに、距離基準が用いられることもある。この「距離」という用語は、たいてい、空間における長さ（例えば、二次元または三次元空間におけるある線分の長さなど）を表すときに用いられる。しかし、本願において、距離という用語は、三次元以上の空間においても上記と同様の基準を指すこともあるし、多次元空間内の点で表され得る２つの値の差を指すこともある。
【０００８】
測定値（measure）ｄ（ｘ，ｙ）は、以下の３つの条件を満たすとき、かつその場合に限り（ｉｆｆ；if and only if）、距離基準である。
１．ｄ（ｘ，ｙ）＝０  ｉｆｆｘ＝ｙ               [同一のときのみ０である]
２．ｄ（ｘ，ｙ）＝ｄ（ｙ，ｘ）                  ［対称性］
３．ｄ（ｘ，ｙ）＋ｄ（ｙ，ｚ）＜＝ｄ（ｘ，ｚ）  ［三角不等式］
非負の条件（the condition of non-negativity）（つまり、すべてのｘ，ｙについて、ｄ（ｘ，ｙ）＞＝０である）は、通常（しかし、しばしば無条件で）追加される。
【０００９】
また距離基準は、差分基準（a difference metric）または非類似度（a dissimilarity metric）を指すこともある。本願明細書および請求項においては、距離、差分（difference）、および非類似度（dissimilarity）の用語は同義である。
【００１０】
本発明のある実施形態では、完全なモデル集合の部分集合にて演算（operations）が実施できる。完全なモデル集合は、初めの選択処理によって、ある部分集合へと絞り込まれてもよい。次に、最終的な光源の選択は、モデルの部分集合内で生じることになる。
【００１１】
別の実施形態では、「グリーディー」な方法で評価が実施されることもある。「グリーディー」な評価方法の例を以下に示す。
（ａ）第一最適推定モデル（best guess model）を事前値（the prior value）として評価する。
（ｂ）第二最適推定モデルを現在値（the current value）として評価する。
（ｃ）上記現在値と事前値との差分ベクトルを算出する。
（ｄ）上記差分ベクトルが減少していき、かつ基準値よりも大きい間は、
（１）事前値および現在値の最小値を事前値に設定する。
【００１２】
（２）現在値として新たな最適推定値を評価する。通常、差分ベクトルは新しいモデルを選択する際のガイドとして用いられる。
【００１３】
（３）上記事前値と現在値とのスコアの差分を算出する。
【００１４】
本発明の各実施形態では、要素毎のいずれかのベクトルを用いた、距離／差分／非類似度の測定を用いることが可能である。このような測定方法は、同一空間上のベクトルまたは分布に適している。
【００１５】
ある実施形態では、Ｌ１，Ｌ２，Ｌ∞などのようにミンコフスキーノルム（Minkowski norms）下での距離が基準として用いられることもある。上記のパラメータは以下の方程式により表される。
【００１６】
【数１】
2005190473.tif 000003
【００１７】
本発明の別の実施形態では、カイ２乗統計的差分（a Chi-squared statistical difference）が基準として用いられることもある。この差分基準は以下の方程式により表される。
【００１８】
【数２】
2005190473.tif 000004
【００１９】
さらに別の実施形態では、ジェフリーダイバージェンス（a Jeffrey divergence metric）が用いられることもある。この基準は以下の方程式により表される。
【００２０】
【数３】
2005190473.tif 000005
【００２１】
【数４】
2005190473.tif 000006
【００２２】
上述の実施形態のいくつかでは、二次式の形の基準が用いられることもある。この基準は以下の方程式により表される。
【００２３】
【数５】
2005190473.tif 000007
【００２４】
またさらに別の実施形態では、累積適合距離（a cumulative match distance）が用いられることもある。この基準は以下の方程式により表される。
【００２５】
【数６】
2005190473.tif 000008
【００２６】
別の実施形態では、射影適合距離（a projective match distance）が基準として用いられることもある。この基準は以下の方程式により表される。
【００２７】
【数７】
2005190473.tif 000009
【００２８】
光源の推定をさらに複雑にするのが、光源からの光を直接反射しない非反射（non reflective）物体または自発光体を、画像が含んでいる場合である。従来の補正アルゴリズムはすべての画像ピクセルは反射面を表していると想定してしまう。もし画像が、空やその他の発光体のように自発光体を含んでいれば、表面ピクセルの想定は妨害されてしまう。もし画像が、光を反射しない重要な部分、つまり自発光体を含んでいれば、従来の方法では失敗し、その画像の光源は誤って決定されてしまうであろう。例えば、もし画像が青い空を含んでいて、カラーバランスアルゴリズムがすべてのピクセルは反射物体であると想定してしまうと、青っぽいピクセルはシーンの照明（illumination）が青っぽい証拠であると捉えられてしまうであろう。カラー補正とはおおよそ、推定された光源の色相を正反対にすることであるので、青っぽい光源に対する補正は画像を黄色の方向に変更してしまう。この補正の結果、過度に黄色っぽい地面／表面の領域および彩度を落とされた空の領域ができてしまうことになる。
【００２９】
上記のカラー補正、カラーバランスまたはカラーコンスタンシーアルゴリズム（color constancy algorithms）は概して、発光体（ここでは以下自発光体とも呼ばれている）を含む画像をどのように扱えばよいのかという疑問に対して注意を向けていない。これらはむしろ、表面ピクセルの想定を満足させる画像（例えば、均一に光を照射されるモンドリアン風の画像）に焦点をあててきたのである。
【００３０】
本発明のある実施形態では、ピクセル、画像要素、または画像領域のそれぞれに対して、関数が算出される。この関数は、そのピクセル、画像要素、または画像領域反射面に相当する確率（つまり、自発光でない確率）ｐを推定するためのものである。ほとんどすべての光源推定の手順では、画像ピクセルはそのシーンの表面から反射している光源により作られていると想定されているので、この関数は必要である。したがって、自発光ピクセルを含んでいると、その推定は無効になる。上記算出はモデルヒストグラムには不要である。なぜなら、モデルヒストグラムは、反射面に相当するデータからのみ構築される定義によるものだからである。
【００３１】
【数８】
2005190473.tif 000010
【００３２】
上記関数の実施形態の詳細は、以前に提出された別の特許出願にて、詳しく説明されている。
米国特許出願  Ｎｏ．１０／６７７，０３４（発明の名称；画像中の自発光要素の存在を算出するシステムおよび方法、発明者；ジョン  Ｍ．  スピーグル、ジョン  Ｅ．  ドーラン、２００３年９月３０日出願）
米国特許出願  Ｎｏ．１０／６７６，３０６（発明の名称；画像カラーバランス補正システムおよび方法、発明者；ジョン  Ｍ．  スピーグル、ジョン  Ｅ．  ドーラン、２００３年９月３０日出願）
米国特許出願  Ｎｏ．１０／６７７，００９（発明の名称；光源推定システムおよび方法、発明者；ジョン  Ｅ．  ドーラン、ジョン  Ｍ．  スピーグル、２００３年９月３０日出願）
上記は以下で参照することにより本願に含まれる。
【００３３】
画像カラーヒストグラムが三次元（あるいは三次元以上）上で算出される、別の実施形態では、ピクセル要素または領域が反射面に相当する確率を推定するための関数は、色座標およびピクセル座標の引数を受け取る。
【００３４】
別の実施形態では、要素または領域が反射面に相当する確率を推定するための関数は、画像ピクセル要素の近隣で演算を行うこともある。
【００３５】
上述の実施形態の中には、ヒストグラムが、反射面から生じた各色度の存在についての、画像における形跡の度合いを符号化するものもある。
【００３６】
本発明のある実施形態では、上記画像ヒストグラムがモデルヒストグラムにマッチングされ、このときの最適な光源が選択される。いくつかの実施形態で用いられるこの適合基準は、カイ２乗統計量（the chi-squared statistic）である。このカイ２乗統計量は、基の母集団に対して、標本となる集団の分散を検定するための手順である。本発明の実施形態では、画像は標本集団を表すこともあるし、光源モデルは仮定された基の母集団として表されることもある。上記の関係を表す式は以下のように形成されればよい。
【００３７】
【数９】
2005190473.tif 000011
【００３８】
上記の適合基準は、モデルのそれぞれに対して算出され、上記関数の最小値をもたらす光源は、その画像データについての最適な光源とされる。最適な光源とは、上記（１）の式では、画像で観察される値と、その光源下で期待される値との差分が最小となる光源のことである。また、おおまかな統計的項においては、上記χ２の基準値が減少するにつれて、対応するモデルがそのシーンの真の光源であるという仮説を支持するデータの割合が増加する。
【００３９】
図３に、さまざまな適合基準（相関関係、Ｌ１、Ｌ２、およびカイ２乗）下での、ある画像と図１の光源グラフとについてのマッチ曲面の例を示す。最適光源のインデックスも、それぞれに示す。相関関係およびＬ２の基準では同一の選択となり、Ｌ１およびカイ２乗の基準では、それぞれに少し異なる選択になっている。
【００４０】
本発明の実施形態におけるアルゴリズムは、汎用コンピュータまたは、ＤＳＰなどのような特殊演算装置のソフトウェア上において実行可能である。実施形態はまた、ＡＳＩＣなどのような専用回路によって実施されてもよい。実施形態のプロセスは、表示のため、情報検索のため、インデキシングするため、または他の目的のために画像を出力する、画像処理パイプラインのいずれにおいても実行可能である。
【図面の簡単な説明】
【００４１】
【図１】候補となる光源の集合をｘ−ｙ色度座標で示したグラフである。
【図２】典型的な配列図を示す図である。
【図３】ある画像と、図１の光源グラフとについての典型的なマッチ曲面を示したグラフである。
【図１】
2005190473.tif 000012
【図２】
2005190473.tif 000013
【図３】
2005190473.tif 000014
【外国語明細書】
2005190473.tif 000015
2005190473.tif 000016
2005190473.tif 000017
2005190473.tif 000018
2005190473.tif 000019
2005190473.tif 000020
2005190473.tif 000021
2005190473.tif 000022
2005190473.tif 000023
2005190473.tif 000024
2005190473.tif 000025
2005190473.tif 000026
2005190473.tif 000027
2005190473.tif 000028
2005190473.tif 000029
2005190473.tif 000030
2005190473.tif 000031