(57)【要約】      （修正有）【課題】  光源の中から対称の画像データに対して最も良い評価となる画像光源モデルを推定のためのシステムおよび方法を含む。【解決手段】  複数の光源の集合についてのデザインマトリックスを形成し、候補となる光源下での色座標分布に関連づけられた画像要素色座標の画像ヒストグラムを作成し、複数の候補となる光源についての複数のマッチスコアを決定し、画像上の光源である可能性を示すデータに対応する点を面上に決定して光源を推定する。【選択図】  図１
2005166019.tif 000002
【特許請求の範囲】
【請求項１】
画像内の光源を推定する方法であって、
複数の候補となる光源を記述したデータを含む光源の集合を形成するステップと、
上記複数の候補となる光源についての複数のマッチスコアを決定するために、上記複数の候補となる光源と関連付けて画像を分析するステップと、
上記候補となる光源とは違う光源値を示す面を、上記複数のマッチスコアに適合させるステップと、
上記画像内の光源である可能性を示すデータに対応する点を、上記面上に決定するステップと、
を含む、画像光源を推定する方法。
【請求項２】
上記光源の集合は、あらかじめ決定された光源の集合についてのデザインマトリクスである、請求項１に記載の方法。
【請求項３】
上記光源の集合は、それぞれの上記候補となる光源の色座標における、単項式による関数の行列である、請求項１に記載の方法。
【請求項４】
上記分析するステップは、上記候補となる光源下での色座標分布に関連付けられた、画像要素色座標の画像ヒストグラムを作成するステップを含む、請求項１に記載の方法。
【請求項５】
上記面を適合させるステップは、最適最小２乗法を含む、請求項１に記載の方法。
【請求項６】
上記面を適合させるステップは、候補となる光源のマッチスコアの重み付け平均を取り入れるステップを含む、請求項１に記載の方法。
【請求項７】
上記面上に点を決定するステップは、面極値を決定するステップを含む、請求項１に記載の方法。
【請求項８】
上記面極値を決定する方法は、上記面の導関数を形成するステップと、面極値を決定するために上記導関数を０と置くステップとを含む、請求項７に記載の方法。
【請求項９】
上記面上に点を決定するステップは、上記面上の極値について色座標を求めるステップを含み、
もし上記極値の座標が、最も近い、候補となる光源座標よりも基準光源座標に近い場合には、極値の点を選択し、
または、
もし最も近い、候補となる光源が、上記極値よりも基準光源に近い場合には、最も近い候補となる光源座標を選択する請求項１に記載の方法。
【請求項１０】
画像のカラーバランス補正を推定する方法であって、
複数のカラーバランス補正候補を記述したデータを含む光源の集合を形成するステップと、
上記複数のカラーバランス補正候補についての複数のマッチスコアを決定するために、上記光源の集合と関連付けて、画像を分析するステップと、
上記カラーバランス補正候補とは違うカラーバランス補正値を示す面を、上記複数のマッチスコアに適合させるステップと、
上記画像についてのカラーバランス補正である可能性を示すデータに対応する点を上記面上に決定するステップと、
を含む、画像のカラーバランス補正を推定する方法。
【請求項１１】
画像内の光源を推定する方法であって、
複数の候補となる光源のパラメータを含むデザインマトリクスを形成するステップと、
画像要素カラー値の度数を上記候補となる光源下で求められたカラー値に関連付けるデータを含む、画像ヒストグラムを算出するステップと、
上記複数の候補となる光源についてのマッチスコアを決定するステップと、
上記候補となる光源とは違う光源パラメータ値を示す面を、上記マッチスコアに適合させるステップと、
上記面の極値を求めるステップと、
推定された画像内の光源のパラメータとして上記極値について座標を選ぶステップと、
を含む、画像内の光源を推定する方法。
【請求項１２】
画像内の光源を推定するシステムであって、その方法は、
複数の候補となる光源を記述したデータを含む、光源の集合と、
上記複数の候補となる光源についての複数のマッチスコアを決定するために、上記複数の候補となる光源と関連付けて画像を分析するための分析部（an analyzer）と、
上記候補となる光源とは違う光源値を示す面を、上記複数のマッチスコアに適合させるための適合部（a fitter）と、
上記画像についての光源である可能性を示すデータに対応する点を、上記面上に決定するためのプロセッサと、
を含む、システム。
【請求項１３】
画像内の光源を推定するための実行可能な命令のセットであって、上記命令は、
複数の候補となる光源を記述したデータを含む光源の集合を形成する動作と、
上記複数の候補となる光源についての複数のマッチスコアを決定するために、上記複数の候補となる光源と関連付けて画像を分析する動作と、
上記候補となる光源とは違う光源値を示す面を、上記複数のマッチスコアに適合させる動作と、
上記画像についての光源である可能性を示すデータに対応する点を、上記面上に決定する動作と、
を含む、命令セット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、デジタル画像処理および、さらにとりわけ、画像光源を推定する方法およびシステムに関するものである。
【０００２】
（背景技術）
画像において見える色はその画像の被写体を照射する光による。光源が異なれば、その画像の被写体の表面から反射される光も異なる。ヒトの視覚システムは、上記の反射光における変化を表面がほぼ一定の色に保たれるように、おおよそ補正する。しかしながら、画像が媒体に取り込まれた場合に取り込まれた場面での光源（a light source）とは異なる光源の下で見られると、自然法則に従った補正は起こらない。したがって、記録された画像には、自然な状態の目で見えるときのように見えるようにするために、基準となる標準光源へのカラーバランス調整を行なうことが望ましいことがほとんどである。このバランス調整またはカラー補正は、ひとたびシーンの光源が特定されれば実行され得る。
【０００３】
画像光源のカラーパラメータを推定するステップは、デジタル画像をカラー補正する上で、重要な第一ステップである。厳格なモデルマッチング体系において（a strict model-matching scheme）、推定の精確さは、モデルベースのサイズによってしばしば制限されている。これは、光源パラメータ値は、あらかじめ定義されたモデル位置においてのみ明快に取得できるからであり、上記マッチングの手順それ自体は、限られた集合内からの「最適な」モデルの選択を一般的には強いられるからである。モデルの数が増えるほど、精確さは向上する。しかしながら、モデルの大きな集合を記憶するために追加の記憶装置が必要になり、また、より大きなモデルベースにおけるすべてのモデルに対してマッチングを行なうために、さらに時間がかかってしまう。
【０００４】
既知の方法では、光源推定には、既知の光源の固定集合が用いられていた。上記光源は、その光源下であり得るカラー値の色域によってそれぞれ特徴付けられている。カラーヒストグラムは、その画像について算出され、共通集合（intersection）、相関係数、最短距離などの適合評価基準（match metric）を用いて、モデルヒストグラムのそれぞれと比較される。上記適合評価基準は、光源の集合から対象の画像データに対して最も良い評価となるモデルを選択するのに用いられる。
【０００５】
（発明の概要）
本発明の実施形態は、解析的な手法を、画像データとモデルベースとの最初の比較から得られた、マッチ曲面に適用することによって、光源またはカラーバランス補正の推定精度を向上させるものである。上記解析的な手法は、モデルデータ間を補間するのに用いられてもよい。
【０００６】
（図の詳細な説明）
本発明の実施形態は、以下の記述および添付の請求項において、付属の図面と関連して、さらに完全に明らかにされる。上記図面は単に典型的な実施形態を描写しているにすぎず、したがって、本発明の範囲を制限するとは考えないということ理解されたい。また、上記実施形態において、付属の図面を用いることによってさらなる特殊性および詳細が記述される。ここで、
図１は、候補に上がる光源の集合をｘ−ｙ色度座標として表したグラフである。
図２は、典型的なマッチスコア曲面のグラフである。
【０００７】
（詳細な説明）
光源の推定は、モデルマッチング方式により取り組まれることもある。そのような方法においては、光源の固定された集合がモデル化される。モデル化は、標本統計学的または他の方法によってパラメータ化して実行されてもよい。元の画像データに対して最適と評価されるモデルが、その画像を生み出したであろう確度が最も大きいシーン光源として選択される。上記決定のプロセスは、パラメータ化されたまたは統計に基づく同じ記述をその画像から算出するステップと、次に、上記モデルベースに関して上記画像記述のマッチング手順を、「最適な」モデルを選択するために実行するステップとに拠っている。
【０００８】
図１に示されるように、典型的なモデルの集合は、ｘ−ｙ色度空間にプロットされた８１個の光源からなっている。色度座標は点２として示されている。この特定の例において、上記座標は、Ｄ６５ホワイトポイント４を中心としたＣＩＥ−Ｌａｂ座標上に規則的に標本化されたものであり、該Ｄ６５ホワイトポイント４は昼光の基準光源である。上記座標は、次に、図１において図示されているように、ｘ−ｙ色度空間にマッピングされる。
【０００９】
本発明のある実施形態において、マッチ曲面は、それぞれの光源についてある特定の画像内の光源である尤度を推定するために、計算される。ある実施形態において、ピクセルのようなそれぞれの画像要素は、マッチスコアを決定するために、上記一連のモデル光源と比較される。上記マッチスコアは、上記画像のその要素の光源である尤度を表す尺度である。
【００１０】
ある典型的なマッチ曲面が図２に示されている。図２は、ｘおよびｙ色度と上記マッチスコアとを示した図面である。上記図面において、それぞれの候補またはモデル光源の色度は水平軸に沿ってプロットされていて、一方、垂直軸は上記画像内の光源である尤度またはマッチスコアを表している。ある実施形態において、光源の固定された集合は、上記マッチ曲面の点の水平位置を特定する。上記集合は従来のグリッドを占有することもあるし、あるいはしないこともある。画像データに関して上記固定された集合におけるそれぞれの光源の分析は、次に、上記曲面の点のｚ軸座標を特定する。ひとたび上記曲面の点が特定されれば、解析的手法は上記曲面にマッチングされる。ある実施形態において、過剰決定系（over-determined system）が想定されてもよい。ある実施形態において、ある画像タイプに対しては、二次元の式がよく用いられるが、三次元および四次元などの他のサーフェスオーダー（orders of surfaces）が用いられてもよい。
【００１１】
本発明のある実施形態において、共二次曲面が用いられることもあり、以下の陰関数により特定され得る。以下とはすなわち、
【００１２】
【数１】
2005166019.tif 000003
【００１３】
である。
【００１４】
それぞれのモデル光源のｘ−ｙ座標における上記式の値は、
【００１５】
【数２】
2005166019.tif 000004
【００１６】
により、与えられる。
【００１７】
ここで、Ａはいわゆるデザインマトリクス（design matrix）であり、Ｖは曲面パラメータのベクトルである。ある実施形態において、Ｖは、上述の解析的手法とその対応するマッチ曲面値の間の誤差が最小になるように選択される。
【００１８】
このようなシステムについての２乗誤差の合計を最小にするための、ある周知の技術は、擬似逆行列法（the pseudoinverse method）である。注意すべきは、上記モデル集合の色度座標はすべてあらかじめ決定しているので、上記擬似逆行列は全体にわたってオフラインの状態で算出される。本発明のある実施形態は、上記方法を用いており、該方法は以下のステップを含む。
【００１９】
ステップ１および２は、概ねオフラインで実行され得るが、リソースおよび時間が許す限りにおいては、同様にオンラインで実行されることもある。
ステップ１）それぞれのモデルの色度座標に基づいて、モデル光源のあらかじめ決定された集合についてのデザインマトリクスを形成する。上記デザインマトリクスは、それぞれの光源の色度座標における単項式による関数の行列であってもよい。二次式は以下のように定義される。以下とはすなわち、
【００２０】
【数３】
2005166019.tif 000005
【００２１】
である。
ステップ２）上記デザインマトリクスのムーア−ペンローズ擬似逆行列を算出する。該逆行列は、二次式に対する６×Ｎの行列で、Ｎは光源モデルの数を表す。上記二次式は以下のように定義される。以下とはすなわち、
【００２２】
【数４】
2005166019.tif 000006
【００２３】
である。
【００２４】
以下のステップは、概ねオンラインで実行される。
ステップ３）（例えば、図２に示されているように、）上記モデル集合について、画像ヒストグラムを作成し、対応するマッチ曲面を算出する。上記Ｎ光源に対応するマッチスコアのベクトルは以下のように形成され得る。以下とはすなわち、
【００２５】
【数５】
2005166019.tif 000007
【００２６】
である。
ステップ４）上記Ｚの最小値となるχｍ２、および関連付けられた光源の色度座標
【００２７】
【数６】
2005166019.tif 000008
【００２８】
を求める。
ステップ５）最適に最小２乗法を行なうための上記パラメータベクトル
【００２９】
【数７】
2005166019.tif 000009
【００３０】
を以下のように曲面を概算しながら算出する。以下とはすなわち、
Ｖ＝ΣＺ
である。次に、最適曲面は、
【００３１】
【数８】
2005166019.tif 000010
【００３２】
として与えられる。その他の曲面適合方法は、他の実施形態において用いられることもある。
ステップ６）
【００３３】
【数９】
2005166019.tif 000011
【００３４】
ステップ７）
【００３５】
【数１０】
2005166019.tif 000012
【００３６】
あるいは別の実施形態において、最大点が最適合値を決定するために用いられることもある。
ステップ８）もし、上記の結果生じた点が、最小モデル点ｘｍｉｎよりも基準光源に近ければ、そのシーン光源を解析による最小値ｘ０＝ｘの座標に設定する。そうでなければ、上記シーン光源を最小距離のモデルｘ０＝ｘｍｉｎの座標に設定する。上記選択基準においては、より控えめな補正が選ばれ、この補正は、実際のところ良策であるかもしれない。
【００３７】
しかしながらある実施形態においては、
【００３８】
【数１１】
2005166019.tif 000013
【００３９】
ここで、Ｔは、カラーマッチング関数またはセンサの感度の行列を表し、
ＢＥは、光源スペクトルパワー線形モデルを表し、
diagは、ベクトルを対角行列へ変換する演算子を表し、
ｓｐｄrefは、基準光源スペクトルパワー分布を表し、
ＢＳは、表面反射率線形モデルを表す。
【００４０】
他のある実施形態において、他の選択基準が用いられることもある。ある実施形態では、上記解析による最小値が、そのモデル集合の境界上に生じた場合に選択され、また、上記解析による最小値が、そのモデル集合の境界上にない場合には、その最小モデル値が選択されることもある。またさらに他の実施形態において、外側の解析による最小値が、昼光基準の線分に沿って反映されることもあるし、上記線分の上記モデル集合の境界との共通集合が選択点になることもある。
【００４１】
他の実施形態において、カラー座標は、対応する三次元画像、モデルカラー分布および対応するより高次元のデザインマトリクスを用いて、三次元色空間に表されてもよい。
【００４２】
ある実施形態において、上記解析的手法は、まず初めに、上記式の極値を決定するための特異的な幾何学図形を用いることによって、続いて、上記位置についての対応する光源パラメータまたはカラーバランス補正パラメータを得るために補間法（interpolation）を用いることによって、任意の精度に分解され得る。
【００４３】
本発明の実施形態は、モデルベースの容量を減らす可能性も呈しており、その結果、マッチングのステップで要する時間および／またはリソースを節約する可能性もある。これは、上記光源パラメータ推定の精度が、モデルの数によって直接的に制約を受けないからである。解析的適合の安定性を保証するのに充分なモデルのみが要求されるのである。
【００４４】
本発明の実施形態におけるアルゴリズムは、汎用コンピュータまたは、ＤＳＰなどのような特殊演算装置のソフトウェア上において実行可能である。実施形態はまた、ＡＳＩＣなどのような専用回路によって実施されてもよい。実施形態のプロセスは、表示のため、情報検索のため、インデキシングするため、または他の目的のために画像を出力する、画像処理パイプラインのいずれにおいても実行可能である。
【図面の簡単な説明】
【００４５】
【図１】候補に上がる光源の集合をｘ−ｙ色度座標として表したグラフである。
【図２】典型的なマッチスコア面のグラフである。
【符号の説明】
【００４６】
２          点
４          Ｄ６５ホワイトポイント
【図１】
2005166019.tif 000014
【図２】
2005166019.tif 000015
【外国語明細書】
2005166019.tif 000016
2005166019.tif 000017
2005166019.tif 000018
2005166019.tif 000019
2005166019.tif 000020
2005166019.tif 000021
2005166019.tif 000022
2005166019.tif 000023
2005166019.tif 000024
2005166019.tif 000025
2005166019.tif 000026
2005166019.tif 000027
2005166019.tif 000028
2005166019.tif 000029