(57)【要約】  照明から直接的に生じた少なくとも１つの擬似エッジを有する入力画像を受け取ること、前記入力画像に対して異方性拡散を行い、拡散画像を形成すること、および前記拡散画像を使用して少なくとも１つの擬似エッジを除去することを含む照明正規化方法の一例を提供する。本発明に適合する別の実施形態は、照明から直接的に生じた少なくとも１つの擬似エッジを有する注目すべき被写体を含む入力画像データを格納するメモリに動作可能に接続されたプロセッサと、注目すべき代表的被写体のモデルと、画像処理を制御する機能処理装置とを含む、画像内の照明正規化を実施する装置であり、この装置において機能処理装置は、前記モデルに基づいて注目すべき被写体に関するエッジ情報を予測し、予測されたエッジ情報を使用して反射推定を生成するモデル・ベースの異方性拡散モジュールをさらに含む。
2009543160.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像の照明正規化を行う方法であって、
入力画像であって、該入力画像が取得された際に存在した照明から直接的に生じた少なくとも１つの擬似エッジを有する入力画像を受けること、
前記入力画像に対して異方性拡散を行い、拡散画像を形成すること、および
前記拡散画像を使用して前記少なくとも１つの擬似エッジを除去すること、
を含む方法。
【請求項２】
前記除去することは、
前記入力画像と前記拡散画像を合成すること、
をさらに含む請求項１に記載の方法。
【請求項３】
前記合成することは、
前記拡散画像で前記入力画像を割ること、および
前記入力画像から前記拡散画像を減ずることのうちの一方
を含む請求項２に記載の方法。
【請求項４】
前記入力画像は注目すべき被写体を含み、
前記異方性拡散を行うことは、
注目すべき代表的被写体のモデルを与えること、
前記モデルに基づいて前記注目すべき被写体に関するエッジ情報を予測すること、および
前記予測されたエッジ情報を使用して、前記入力画像に対して異方性拡散を行うこと
をさらに含む請求項１に記載の方法。
【請求項５】
前記除去することは、
前記拡散画像のみを使用して反射推定を生成するように、異方性拡散パラメータを選択すること
をさらに含む請求項４に記載の方法。
【請求項６】
前記モデルの予測されたエッジ情報を使用してフィルタリングを行うことにより、前記注目すべき被写体に関連する構造から生じたエッジを残しつつ、擬似エッジが除去されるように、前記パラメータは選択される
請求項５に記載の方法。
【請求項７】
前記予測されたエッジ情報に基づいて、異方性拡散を行う際に使用されるフィルタ重み付け係数を変更すること
をさらに含む請求項４に記載の方法。
【請求項８】
前記予測されたエッジ情報に基づいて、異方性拡散を行う際に使用されるフィルタ・カーネル・サイズを変更すること
をさらに含む請求項４に記載の方法。
【請求項９】
前記入力画像に対して直接的に異方性拡散を行って、非モデル・ベースの拡散画像を形成すること、および
前記エッジ情報に基づく係数を使用して、前記入力画像と前記非モデル・ベースの拡散画像の線形結合を行うこと
をさらに含む請求項４に記載の方法。
【請求項１０】
注目すべき被写体をそれぞれ含む複数のトレーニング画像に基づいてモデルを生成すること
をさらに含む請求項４に記載の方法。
【請求項１１】
各トレーニング画像を、前記被写体内のリアル・エッジである確率を表す値を有するデータセットに変換すること、および
前記データセットを合成して前記モデルを形成すること
をさらに含む請求項１０に記載の方法。
【請求項１２】
前記生成することは、
各画像に対してエッジ検出処理を行うこと、
各エッジ検出された画像を共通参照に登録すること、
前記登録された画像をピクセルごとに追加することによって合成画像を生成すること、および
前記合成画像の輝度を正規化すること
をさらに含む請求項１１に記載の方法。
【請求項１３】
前記デジタル画像データに対して幾何学的正規化を行い、前記注目すべき被写体を前記モデルに登録すること
をさらに含む請求項４に記載の方法。
【請求項１４】
前記幾何学的正規化は、回転、スケーリング、ワーピング、および平行移動のうちの少なくとも１つを含む請求項１３に記載の方法。
【請求項１５】
前記注目すべき被写体は顔である請求項４に記載の方法。
【請求項１６】
画像の照明正規化を行う装置であって、
入力画像であって、該入力画像が取得された際に存在した照明から直接的に生じた少なくとも１つの擬似エッジを有する入力画像データを格納するメモリに動作可能に接続されたプロセッサと、画像処理を制御する機能処理装置とを備え、
前記機能処理装置は、
前記入力画像に対して異方性拡散を行い、拡散画像を形成する異方性拡散モジュールと、
前記拡散画像を使用して少なくとも１つの擬似エッジを除去する合成モジュールと
を備える装置。
【請求項１７】
前記合成モジュールは、前記拡散画像で前記入力画像を割ること、および前記入力画像から前記拡散画像を減ずることのうちの一方を行う
請求項１６に記載の装置。
【請求項１８】
前記メモリは、注目すべき被写体を含む入力画像と、注目すべき代表的被写体のモデルとを格納し、
機能処理装置は、
モデル生成モジュールと、
前記モデルに基づいて前記注目すべき被写体に関するエッジ情報を予測し、前記予測されたエッジ情報を使用して前記入力画像に対して異方性拡散を行うモデル・ベースの異方性拡散モジュールと
をさらに備える請求項１６に記載の装置。
【請求項１９】
前記モデル・ベースの異方性拡散モジュールは、前記モデルから与えられた前記エッジ情報に基づいてフィルタ重み付け係数を変更する
請求項１８に記載の装置。
【請求項２０】
前記モデル・ベースの異方性拡散モジュールは、前記モデルから与えられた前記エッジ情報に基づいて前記フィルタ・カーネル・サイズを変更する
請求項１９に記載の装置。
【請求項２１】
前記モデル・ベースの異方性拡散モジュールは、
前記入力画像に対して異方性拡散を行う異方性拡散モジュールと、
前記エッジ情報に基づく係数を使用して、前記デジタル画像データと異方性拡散画像の線形結合を行うモデル適用モジュールと
をさらに備える請求項１８に記載の装置。
【請求項２２】
前記モデル生成モジュールは、注目すべき被写体をそれぞれ含む複数のトレーニング画像に基づくモデルを生成する
請求項１８に記載の装置。
【請求項２３】
前記モデル生成モジュールは、各トレーニング画像を、各被写体内のリアル・エッジである確率を表す値を有するデータセットに変換し、前記データセットを合成して前記モデルを形成する
請求項２２に記載の装置。
【請求項２４】
前記モデル生成モジュールは、前記複数のトレーニング画像の外部の情報を使用する
請求項２２に記載の装置。
【請求項２５】
前記モデル生成モジュールは、各画像に対してエッジ検出処理を行い、各エッジ検出された画像を共通参照に登録し、前記登録された画像をピクセルごとに追加することによって合成画像を生成し、前記合成画像の輝度を正規化する
請求項２２に記載の装置。
【請求項２６】
前記デジタル画像データに対して幾何学的正規化を行い、前記モデルに前記注目すべき被写体を登録する幾何学的正規化モジュール
をさらに備える請求項１８に記載の装置。
【請求項２７】
前記幾何学的正規化モジュールは、回転、スケーリング、ワーピング、および平行移動のうちの少なくとも１つを実施する
請求項２６に記載の装置。
【請求項２８】
前記注目すべき被写体は顔である請求項１８に記載の装置。
【請求項２９】
画像の照明正規化を行う装置であって、
注目すべき被写体を含む入力画像データであって、該入力画像が取得された際に存在した照明から直接的に生じた少なくとも１つの擬似エッジを有する入力画像データを格納するメモリに動作可能に接続されたプロセッサと、注目すべき代表的被写体のモデルと、画像処理を制御する機能処理装置とを備え、
前記機能処理装置は、
モデル生成モジュールと、
前記モデルに基づいて前記注目すべき被写体に関するエッジ情報を予測し、前記予測されたエッジ情報を使用して反射推定を生成するモデル・ベースの異方性拡散モジュールと
を備える装置。
【請求項３０】
前記モデルの予測されたエッジ情報を使用してフィルタリングを行うことにより、前記注目すべき被写体に関連する構造から生じたエッジを残しつつ、擬似エッジが除去されるように、前記モデル・ベースの異方性拡散モジュールのパラメータは選択される
請求項２９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像の照明正規化に関し、より具体的には、様々なタイプの拡散処理を使用して、照明に起因する画像の輝度変動を除去する方法および装置に関する。
【背景技術】
【０００２】
画像には、画像を構成する対象および／またはシーンを照らすために使用される光源によってもたらされる輝度の変動が含まれることがある。こうした輝度変動は、画像をぼやかして、画像の美的品質を低下させるだけでなく、例えば自動顔認識に使用されるアルゴリズムなどの様々なタイプの画像処理アルゴリズムに問題を起こすことがあるので、望ましくない。こうした変動は、本明細書で擬似エッジと呼ぶエッジ・アーチファクトという形で現れることがある。擬似エッジは、画像内のリアル・エッジ（真エッジ）、つまり画像内の被写体またはシーンを構成する構造に由来する、画像のユーザが通常は最も関心をもつ情報を含むエッジを隠してしまうため、かなり画像を劣化させてしまうことがある。照明正規化技法の使用によって擬似エッジならびに他の望ましくない照明変動を補正することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の照明正規化技法として、照明変動の出現を緩和するためのレベル圧縮技法が挙げられる。あるレベル圧縮技法では、対数関数を使用して画像のダイナミック・レンジを圧縮し、これにより、知覚される照明勾配を低減する。他の技法として、ヒストグラム伸張または等化などの統計的手法を使用することもできる。ヒストグラム手法は、画像の輝度分布を変更して、全体的なコントラストを改善し、照明による輝度の望ましくない変動の影響を低減することができる。しかし、そのような従来技法は、鋭い擬似エッジを補償する際に問題が生じ、他の望ましくない輝度の変動をさらに広範囲に引き起こすことがある。そのため、デジタル画像内の擬似エッジを、デジタル画像内の他の部分に悪影響を及ぼすことなく低減するための手法が求められている。
【課題を解決するための手段】
【０００４】
本発明に適合する実施形態は、照明正規化のための方法および装置を対象とする。本発明に適合する一実施形態は、デジタル画像の照明正規化を行う方法であって、入力画像が取得された際に存在した照明から直接的に生じた少なくとも１つの擬似エッジを有する入力画像を受けること、前記入力画像に対して異方性拡散を行って拡散画像を形成すること、および前記拡散画像を使用して少なくとも１つの擬似エッジを除去することを含む方法である。
【０００５】
本発明に適合するさらなる別の実施形態は、画像の照明正規化を行う装置であって、入力画像が取得された際に存在した照明から直接的に生じた少なくとも１つの擬似エッジを有する注目すべき被写体を含む入力画像データを格納するメモリに動作可能に接続されたプロセッサと、注目すべき代表的被写体のモデルと、画像処理を制御する機能処理装置とを含み、前記機能処理装置は、モデル生成モジュールと、前記モデルに基づいて注目すべき被写体に関するエッジ情報を予測し、予測されたエッジ情報を使用して反射推定を生成するモデル・ベースの異方性拡散モジュールをさらに含む、装置である。
【０００６】
本発明に適合する別の実施形態は、画像の照明正規化を行う装置であって、入力画像が取得された際に存在した照明から直接的に生じた少なくとも１つの擬似エッジを有する入力画像データを格納するメモリに動作可能に接続されたプロセッサと、画像処理を制御する機能処理装置とを含み、前記機能処理装置は、入力画像に対して異方性拡散を行って拡散画像を形成する異方性拡散モジュールと、拡散画像を使用して少なくとも１つの擬似エッジを除去する合成モジュールとを含む。
【発明を実施するための最良の形態】
【０００７】
以下の説明で、添付の図を参照しながら本発明の諸態様をより具体的に述べる。以下で説明される詳細な実施形態は顔認識または顔照合に関するが、本明細書で説明される本発明の原理を、デジタル画像内に出現する異なるタイプの被写体に適用することもできる。
【０００８】
一般的に言えば、入力画像Ｉ（ｘ，ｙ）を反射画像Ｒ（ｘ，ｙ）と照明画像Ｌ（ｘ，ｙ）の積として概念化することができ、数学的に言えば、Ｉ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）＊Ｌ（ｘ，ｙ）である。ここで、上式で（＊）は２つの画像のピクセルごとの積を示す。反射画像は照明に対して不変であり、コントラスト変動、テクスチャ、リアル・エッジなどは、画像内に表される内容および／または被写体（例えば顔）を構成する構造に起因する。照明画像は、内容および／または被写体の照明から生じる、例えば擬似エッジなどのコントラスト変動によるものである。例えば、画像の取得中に強い光源が顔のすぐそばの特定の場所に配置された場合、その強い光源の位置に応じて、擬似エッジが画像内に出現する。目、鼻、口などの構造的な顔の特徴から生じるリアル・エッジ（反射Ｒ（ｘ，ｙ）によって表される）も、擬似エッジと混在する。
【０００９】
通常、照明正規化プロセスの出力である反射Ｒ（ｘ，ｙ）画像は、拡散処理を使用して様々な方式で再生することができる。一実施形態では、モデル・ベースの異方性拡散（以下でさらに説明する）を含む拡散技法を使用して、間接的に反射Ｒ（ｘ，ｙ）を推定することができる。他の実施形態では、モデル・ベースの異方性拡散を使用して反射Ｒ（ｘ，ｙ）を直接的に推定することを含む場合もある。
【００１０】
［従来の異方性拡散を使用する間接反射推定]
図１は、反射モデルＲ（ｘ，ｙ）を間接的に推定する照明正規化プロセス１００の流れ図を示す。照明正規化プロセス１００は、拡散ステップ１０５および合成ステップ１１０を含む。最初に、拡散処理が入力画像に対して行われる。提供される入力画像は、例えばデジタル・カメラ、スキャナなどの任意の周知の画像取得装置から得られたデジタル画像でもよい。入力画像はまた、コンピュータ生成アニメーションなどの任意の周知の合成技法で作成された画像であってもよいし、またはセンサから取得し、合成によって生成したデジタル・データの組合せであってもよい。拡散処理は、当技術分野で周知の任意の一般的拡散処理アルゴリズムでよく、例えば従来の異方性拡散でもよい。デジタル画像データ内のエッジ保存ノイズ低減に、従来の異方性拡散（ＡＤ）技法を使用してもよい。ＡＤアルゴリズムでは、偏微分方程式を適用して画像を修正することにより、画像からノイズを除去することができる。この修正には通常、画像内で検出されたエッジ情報に応じて変化するフィルタリング演算子を反復的に適用する。そのようなエッジの位置は、例えば勾配関数等を使用した従来のエッジ検出器を使用して求めることができる。実際には、ノイズ低減フィルタリング処理を行うと共に、ガウス・フィルタを例えばラプラス演算子と組み合わせて使用すると、勾配演算を確実に行うことが出来る。
【００１１】
ＡＤアルゴリズムの実現は、画像の各反復が時間ステップに相当する反復的数値微分方程式解法で拡散微分方程式を解くことと捉えることができる。各反復で、ガウス・フィルタのスケールを変更することができ、エッジが画像内にローカルに存在するかどうかを判定するのに勾配関数が使用される。エッジが存在すると判定された場合、エッジを保存するために、ガウス・フィルタリングを行うことはできない。エッジが検出されない場合、エリアをフィルタリングしてノイズを低減することができる。こうした操作が各反復について行われ、局所的計算結果が画像と結合される。
【００１２】
この実施形態では、拡散１０５は、照明の推定Ｌ’（ｘ，ｙ）である拡散画像を生成することができる。拡散１０５が、入力画像Ｉ（ｘ，ｙ）のエッジ保存・平滑化されたバージョンを作成することができるように、例えばフィルタ係数（または重み）などのパラメータを選択することとしてもよい。Ｌ’（ｘ，ｙ）は、照明による擬似エッジに対応する大きな強いエッジを保存することができる。次いで、合成ステップ１１０で照明推定Ｌ’（ｘ，ｙ）と入力画像Ｉ（ｘ，ｙ）を一緒に処理することとしてもよい。ステップ１１０は、例えば、単に照明推定Ｌ’（ｘ，ｙ）で入力画像Ｉ（ｘ，ｙ）を割り算して反射推定画像Ｒ’（ｘ，ｙ）を求める、すなわちＲ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）／Ｌ’（ｘ，ｙ）を求めることとしてもよい。別の実施形態では、反射推定Ｒ’（ｘ，ｙ）を減算：Ｒ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｌ’（ｘ，ｙ）によって求めることとしてもよい。反射推定Ｒ’（ｘ，ｙ）を向上させるために、フィルタリング、スケーリング、非線形輝度マッピングなどの他の周知の画像処理技法を合成ステップ１１０にて行うこととしてもよい。当業者には、反射Ｒ’（ｘ，ｙ）を推定するために、様々な方式のＬ’（ｘ，ｙ）とＩ（ｘ，ｙ）の合成を利用することが出来ることが理解されよう。反射推定Ｒ’（ｘ，ｙ）を生成する際に、合成ステップ１１０において、擬似エッジを除去し、且つリアル・エッジを理想的には不変のままにした出力画像を生成し、照明正規化画像を生成する。
【００１３】
［モデル・ベースの異方性拡散を使用した間接反射推定］
従来の異方性拡散を使用して照明正規化を行う場合、被写体の構造に起因するリアル・エッジを、照明変動の結果である擬似エッジと間違えることがある。従来の異方性拡散はリアル・エッジと擬似エッジを区別できないため、処理された画像内の価値のある情報が失われる可能性がある。モデル・ベースの異方性拡散（ＭＢＡＤ）照明正規化によれば、画像内に表現された被写体に起因するエッジと、照明変動などの何らかの他の効果によるエッジとを区別することができる。
【００１４】
図２は、反射Ｒ’（ｘ，ｙ）を間接的に推定するＭＢＡＤ照明正規化の実施形態２００の流れ図の一例を示す。ＭＢＡＤ照明正規化２００は、オプションの幾何学的正規化２０５、モデル・ベースの異方性拡散２１０、モデル２１５、及び合成ステップ１２０を含むことができる。オプションで、入力画像Ｉ（ｘ，ｙ）に、まず幾何学的正規化２０５を行うこととしてもよく、図２では、オプションのプロセスであることを示すために幾何学的正規化２０５を破線で示している。幾何学的正規化２０５では、モデル２１５とより高い互換性を有するように入力画像を処理することができる。幾何学的正規化で、モデル２１５に入力画像を登録し、画像処理方法２００の性能全体を改善するようにしてもよい。この登録は、当技術分野で周知の任意の登録技法を使用して行うことができ、入力画像の回転、スケーリング、ワーピング、トリミング、および／または平行移動、あるいはそれらの任意の組合せをさらに含むこととしてもよい。登録により、入力画像に表現された被写体をモデル２１５中の代表的被写体（被写体見本）と関連付けるように、入力画像を標準形に変換することができる。上述のように、幾何学的正規化２０５はオプションであり、幾何学的正規化２０５を使用するか否かは、モデル化される被写体によって決めることとしてもよい。例えば、モデルが人間の顔のエッジを表すのに使用される場合、通常は幾何学的正規化２０５が行われる。
【００１５】
一般的に言えば、モデル２１５により、入力画像自体から決定することができないような、注目すべき被写体に関する付加情報を得ることができる。実施形態の一つによれば、モデル２１５により、代表的被写体内のエッジに関する情報を得ることができ、その情報として、例えば代表的被写体内のリアル・エッジの位置およびリアル・エッジである確率が挙げられる。本明細書では、「リアル・エッジ」という用語を、もっぱら被写体に関連する特徴に由来する、画像内の局所的なコントラスト変動（すなわちエッジ）と定義する。リアル・エッジは通常、環境的現象やセンサ・アーチファクトなどの、被写体の外部の他の効果に起因しない。例えば、以下でより詳細に説明するように、モデル２１５内の代表的被写体が顔である場合、モデル内に示されるリアル・エッジは、例えば目、鼻、口などの顔の中に必然的に生じる特徴の構造的変動によるものである。入力画像および入力画像の内容の中でどのアーチファクトを除去する必要があるかに応じて、他の代表的被写体を作成することとしてもよい。
【００１６】
モデル２１５を表現するために、様々な異なる方法を使用することができる。表現の１つとして、例えば、入力画像内のピクセル位置に応じた、エッジである確率を示す多次元数学関数が挙げられる。この数学関数は、回帰または他のモデリング技法を使用して求めることができる。画像または表面のような構造を有する２次元データセットによってモデル２１５を表現することとしてもよく、その場合、水平方向および垂直方向のピクセル・インデックスは位置を表し、ピクセル値はリアル・エッジである確率を表す。ピクセル値は０から１の間の値を取ることとしてもよい。モデルを作成する一実施形態に関する詳細は、以下の図５の説明でより詳細に示す。モデル２１５は、モデル・ベースの異方性拡散２１０にリアル・エッジ情報を与える。
【００１７】
モデル・ベースの異方性拡散２１０は、モデル２１５によって供給されるリアル・エッジ情報を使用しながら、周知の異方性拡散プロセスを行うことができる。本明細書において、ここまで、実施形態について異方性拡散を使用して説明したが、本発明の他の実施形態では、モデル２１５から与えられる情報を役立てられるような、当技術分野で周知の他のタイプの拡散プロセスを検討することとしてもよい。
【００１８】
標準拡散アルゴリズムと同様に、モデル・ベースの異方性拡散（ＭＢＡＤ）２１０は、連続的な時間枠にわたってノイズ低減フィルタリングを反復的に行い、勾配情報を使用して、所与の反復についてフィルタ・カーネルの下にエッジが存在するか否かを判定することができる。しかし、エッジ検出プロセスを改善するために、ＭＢＡＤ２１０は、モデル２１５からの情報を使用して、フィルタ・カーネルの下のエッジがリアル・エッジであるか否かを判定することとしてもよい。この情報は、拡散プロセスでの各反復中に使用することができるため、この実施形態のＭＢＡＤ２１０は、アルゴリズムの内部操作を変更することができる。この変更は様々な方式で実現することができる。例えば、モデル情報２１５を使用して、フィルタリングを適用するか否かを判定することができる。別の例では、モデル２１５情報を使用して、例えばフィルタ重みなどのフィルタリング・パラメータを変更することができる。この例は、以下で図３でより詳細に説明される。この実施形態では、被写体の入力画像内に元々存在するリアル・エッジ情報を保存しつつ、ＭＢＡＤ２１０の出力を照明推定Ｌ’（ｘ，ｙ）とする。
【００１９】
照明推定Ｌ’（ｘ，ｙ）が求められた後に、幾何学的正規化２０５が行われなかった場合、合成ステップ２２０で照明推定Ｌ’（ｘ，ｙ）を入力画像Ｉ（ｘ，ｙ）と合成することとしてもよい。幾何学的正規化が行われた場合、合成ステップ２２０で、幾何学的に正規化された画像を照明推定Ｌ’（ｘ，ｙ）と合成する。図１に示される実施形態で説明したように、合成ステップ２２０として、例えば、単に照明推定Ｌ’（ｘ，ｙ）で入力画像Ｉ（ｘ，ｙ）を割り算して反射推定画像Ｒ’（ｘ，ｙ）を求めることが挙げられる。別の実施形態では、反射推定Ｒ’（ｘ，ｙ）を減算：Ｒ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｌ’（ｘ，ｙ）で求めることとしてもよい。合成ステップ２２０で、フィルタリング、スケーリング、非線形輝度マッピングなどの他の周知の画像処理技法を行い、反射推定Ｒ’（ｘ，ｙ）を向上させることとしてもよい。当業者には、反射Ｒ’（ｘ，ｙ）を推定するために、様々な方式のＬ’（ｘ，ｙ）とＩ（ｘ，ｙ）の合成を利用することが出来ることが理解されよう。
【００２０】
反射推定Ｒ’（ｘ，ｙ）を生成する際に、合成ステップ２２０は、擬似エッジが除去され、リアル・エッジを理想的には不変のままにした出力画像を生成し、その結果、照明正規化画像を生成する。この実施形態では、モデル２１５で与えられる付加的なリアル・エッジ情報を使用するため、推定Ｒ’（ｘ，ｙ）の品質を向上させることができる。
【００２１】
図３は、図２に示される実施形態に適合するモデル・ベースの異方性拡散２１０のより詳細な流れ図の一例を示す。図３は、ＭＢＡＤ２１０の一実施形態を詳述し、このＭＢＡＤ２１０により、モデル２１５で与えられるリアル・エッジ情報に基づいてフィルタ係数を変更する。ここで、モデル２１５は、ステップ３０５でリアル・エッジの指示を与える。この情報に基づいて、ＭＢＡＤ２１０は、ステップ３１０でフィルタ・パラメータを選択する。通常、リアル・エッジが示される場合、エッジを保存するために、実行するフィルタリングを少なくすることとしてもよい。リアル・エッジが示されない場合、良好にノイズを低減するために、もっと多くのフィルタリングを行うこととしてもよい。
【００２２】
ステップ３１５で、フィルタ・パラメータの選択は、様々な異なる方式で行うことができる。一実施形態では、フィルタ・カーネルの実際のサイズを変更することができる。エッジである確率が高いと指示された場合、フィルタ・カーネルのサイズを小さくし、これによりノイズ・フィルタリング効果を低減することが可能となる。リアル・エッジである確率が低い場合、フィルタ・カーネルのサイズを大きくして、より良好にノイズを低減することが可能となる。別の実施形態では、リアル・エッジである確率の値に基づいて、フィルタ係数自体の値を変更することとしてもよい。こうした値は、リアル・エッジ確率に基づくルックアップ・テーブルによって求めることができる、または当業者に周知の数学関数によって求めてもよい。単純な実施形態では、リアル・エッジである確率がしきい値を超える場合はフィルタリングを行わないように、フィルタ・パラメータを調節することとしてもよい。フィルタ・パラメータが求められると、ステップ３２０で、選択されたパラメータを使用して画像をフィルタリングする。フィルタリングは、標準的な畳み込みフィルタリングでよく、または当業者に周知の任意の他のフィルタリングでもよい。
【００２３】
モデル２１５で得られるリアル・エッジ情報を、もっぱらフィルタ・パラメータを選択する際に使用することとしてもよいが、この情報を、通常は異方性拡散プロセスで得られる勾配エッジ情報と組み合わせることとしてもよい。この２つのタイプの情報をどのように組み合わせるかは、代表的被写体自体のモデルの信頼性のレベル、および／または入力画像が収集された条件に関する情報に基づいて決めることとしてもよい。
【００２４】
図４は、本発明のさらなる別の実施形態に適合するＭＢＡＤを使用する照明正規化４００の別の流れ図の一例を示す。ＭＢＡＤベースの照明正規化４００は、オプションの幾何学的正規化２０５、異方性拡散４０５、モデル２１５、モデル適用４１０、および合成ステップ２２０を含む。
【００２５】
最初に、入力画像に、オプションの幾何学的正規化ステップ２０５を行ってもよい。この幾何学的正規化ステップ２０５は、上述の図２に示す照明正規化２００で行ったものと同じ処理であってもよい。この実施形態は、ＭＢＡＤ２１０が２つの構成要素、第１は従来の異方性拡散プロセス４０５、第２はモデル適用プロセス４１０に分解される点で照明正規化２００とは異なる。この実施形態は、モデル２１５からの情報を異方性拡散４０５中に直接適用することはできないが、入力画像に異方性拡散を行った後に適用できる点で図２に示す実施形態とは異なり、その結果を拡散画像と呼ぶこととする。モデル２１５で得られるモデル情報は、モデル適用ステップ４１０で拡散画像と組み合わされる（合成される）。モデル２１５は、図２に示される実施形態について上記で論じたのと同じモデルでよい。異方性拡散４０５は、当技術分野で周知の任意の従来の異方性拡散プロセスを利用することとしてもよく、さらに言えば、任意の形態の周知の拡散アルゴリズムを利用することとしてもよい。
【００２６】
モデル２１５は、モデル適用４１０にリアル・エッジ情報を与える。この情報を拡散画像および入力画像と組み合わせて、フィルタリング・プロセスを向上させてもよい。一実施形態では、モデル２１５からの値を重みとして利用して、単純な線形結合を使用して拡散画像および入力画像を合成することとしてもよい。結果として得られる線形結合は、照明推定Ｌ’（ｘ，ｙ）を与える。線形結合は、以下の式によって数学的に記述することができる。
【００２７】
Ｌ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）［１−Ｍ（ｘ，ｙ）］＋Ｄ（ｘ，ｙ）Ｍ（ｘ，ｙ）
上式で、
Ｌ’（ｘ，ｙ）：照明推定、
Ｉ（ｘ，ｙ）：入力画像、
Ｄ（ｘ，ｙ）：拡散画像、および
Ｍ（ｘ，ｙ）：モデル値
である。
【００２８】
したがって例えば、エッジ確率が低い入力画像のエリアでは、Ｍ（ｘ，ｙ）は０に近い値を取る。こうしたエリアでは、照明推定Ｌ’（ｘ，ｙ）は入力画像Ｉ（ｘ，ｙ）と類似する。
【００２９】
図２に示される照明正規化実施形態２００と同様に、照明推定Ｌ’（ｘ，ｙ）が求められると、合成ステップ２２０で照明推定Ｌ’（ｘ，ｙ）は入力画像Ｉ（ｘ，ｙ）と合成される。幾何学的正規化２０５が行われる場合、幾何学的正規化ステップ２０５の出力が照明推定Ｌ’（ｘ，ｙ）と合成される。合成ステップ２２０は、上記の図２の説明で述べたのと同様の処理としてもよい。合成ステップ２２０の出力画像は反射推定Ｒ’（ｘ，ｙ）である。
【００３０】
図５は、本発明のさらなる別の実施形態に適合するモデル生成の流れ図の一例を示す。注目する代表的被写体をそれぞれ含む１組のトレーニング画像を使用してモデル２１５を生成することとしてもよい。オプションで、各トレーニング画像を、上述と同様の幾何学的正規化プロセスで処理し、各被写体が確実に標準的基準（図示せず）となるようにしてもよい。次に、ステップ５１０で、エッジ情報が各画像から抽出される。例えばソーベル・エッジ検出器などの任意の周知のエッジ検出器を使用してエッジ情報を抽出することができる。エッジ情報が各トレーニング画像から抽出されると、ステップ５１５で画像を合成する。この合成として、例えば、画像を足し合わせ（合計し）、ガウス・カーネルを使用して後続のローパス・フィルタリングを行うことが挙げられる。合計およびフィルタリングにより、個々のトレーニング画像内に生じる照明変動および他の変動を平均化し、擬似エッジを低減し、代表的被写体に対応するリアル・エッジを補強することが可能となる。次いで、フィルタリングされた画像に、当技術分野で周知の、例えばガンマ補正などの非線形関数を適用することとしてもよい。さらなる処理により、合成画像を、０から１までの間の確率に変換することもできる。最終的な出力は、多次元データセットの形を取るモデル２１５となる。一実施形態では、トレーニング画像は代表的被写体として顔を含み、顔の中のリアル・エッジに関する情報を与えるモデルを作成した。このモデルの表面プロット５２０を図５に示すが、この図中に顔の特徴に対応するピークが現れていることが分かる。別の実施形態では、他のメタ情報をモデル２１５に追加して精度を向上させることができる。メタ情報として、トレーニング画像を収集したセンサに関する情報、または例えば顔の鼻にアルベド変化があってはならないという事実などの当業者に周知の他の情報が挙げられる。別の実施形態では、モデルが多次元データセットではなく、数学関数の形を取るようにすることも可能である。
【００３１】
［モデル・ベースの異方性拡散を使用した直接反射推定］
図６は、本発明に適合する照明正規化の別の実施形態６００の流れ図の一例を示す。直接反射推定（ＤＲＥ）照明正規化６００は、オプションの幾何学的正規化ステップ２０５、ＭＢＡＤ直接反射推定ステップ７１０、およびモデル２１５を含む。
【００３２】
図２および４に示す実施形態で説明したように、幾何学的正規化はオプションであり、入力画像をモデル２１５に登録すべきである場合に使用される。幾何学的正規化２０５とモデル２１５のいずれも、図２および４で上述したように動作する。ＭＢＡＤ直接反射推定ステップは、図２および４で上述した合成ステップを行わずに、反射推定Ｒ’（ｘ，ｙ）を出力することができる。この実施形態では、擬似エッジに対応するエリア内ではフィルタリングが多く行われるようにＭＢＡＤパラメータを選択するため、照明エッジを著しくぼかし、モデル２１５によって位置が推定された画像内の被写体の実際の特徴に対応するリアル・エッジを残す。
【００３３】
ＭＢＡＤ直接反射推定７１０内の選択されたパラメータは、フィルタリングを制御するパラメータでよい。フィルタリングの量を増大させる方法の１つは、擬似エッジについて使用するフィルタ・サイズを大きくすることである。フィルタリングの量を増大させる別の方法は、フィルタのカットオフポイントの周波数を下げるようにフィルタ係数を変更し、それによりローパス・ガウス・フィルタの通過帯域を狭めることである。
【００３４】
［直接または間接反射推定のための装置］
図７は、本発明の別の実施形態に適合する処理装置７００の一例を示す。処理装置７００は、少なくとも１つのプロセッサ７１０、メモリ７１５、大容量記憶装置７２０、Ｉ／Ｏインターフェース７２５、ネットワーク・インターフェース７２７、出力ディスプレイ７３０、およびユーザ・インターフェース７３５を含む。処理装置７００は、例えば、ワークステーション、パーソナル・コンピュータ、専用計算ハードウェア、専用デジタル画像・プロセッサ、および／または組込みプロセッサなどの当業者に周知のデータ処理装置でよい。プロセッサ７１０は、命令を実行し、プログラム命令に基づく画像データに関する計算を行うことができる。実行可能命令を含むモジュールおよびデジタル画像データを全体的または部分的にメモリ７１５に格納し、データ・バス７４０を介してプロセッサ７１０に転送することとしてもよい。メモリ７１５は、モデル２１５を生成するモデル生成モジュール７５０と、オプションの幾何学的正規化２０５を行う幾何学的正規化モジュール７５５と、図２に示すモデル・ベースの異方性拡散ステップ２１０で行われるＭＢＡＤ２１０を行うモデル・ベースの異方性拡散モジュール７６０とを含んでもよい。あるいは、このモジュールは、従来の異方性拡散モジュール７６５、並びに、図４に示す実施形態で記述した異方性拡散ステップ４０５とモデル適用ステップ４１０を行うモデル適用モジュール７７０を含むこととしてもよい。メモリ７１５はまた、図２および図４で記述した合成ステップ２２０を行うことのできる合成モジュール７８５も含むこととしてもよい。メモリ７１５は、モデル２１５を含むモデル・モジュール７７５、並びに、入力画像データ、出力画像データ（反射推定Ｒ’（ｘ，ｙ））、拡散画像データ（照明推定Ｌ’（ｘ，ｙ））、およびトレーニング画像データを含む画像データ７８０をさらに含んでもよい。
【００３５】
大容量記憶装置７２０もプログラム命令およびデジタル・データを格納し、データ・バス７４０を介してプロセッサ７１０と通信することができる。処理システムは、Ｉ／Ｏインターフェース７２５およびネットワーク・インターフェース７２７を介して他の情報を送受信して、ディスプレイ７３０上でユーザに情報を与え、ユーザＩ／Ｏインターフェース７３５を介してユーザ・コマンドおよび／またはデータを受けることができる。
【００３６】
本発明の詳細な実施形態および実装について上記で説明したが、本発明の精神および範囲から逸脱することなく様々な変更を行うことが可能であることは明らかである。
【図面の簡単な説明】
【００３７】
添付の図面と共に以下の詳細な説明を読めば、本発明の別の態様および利点が明確に分かる。
【図１】図１は、本発明の一実施形態に適合する照明正規化の流れ図の一例を示す。
【図２】図２は、本発明の別の実施形態に適合するモデル・ベースの異方性拡散を使用した照明正規化の流れ図の一例を示す。
【図３】図３は、図２に記載の実施形態の詳細を示す流れ図の一例を示す。
【図４】図４は、本発明のさらなる別の実施形態に適合するモデル・ベースの異方性拡散を使用した照明正規化の流れ図の別の例を示す。
【図５】図５は、本発明のさらなる別の実施形態に適合するモデル生成の流れ図の一例を示す。
【図６】図６は、本発明に適合する直接反射推定照明正規化を有する実施形態の流れ図の一例を示す。
【図７】図７は、本発明の別の実施形態に適合する装置の一例を示す。
【図１】
2009543160.tif 000003
【図２】
2009543160.tif 000004
【図３】
2009543160.tif 000005
【図４】
2009543160.tif 000006
【図５】
2009543160.tif 000007
【図６】
2009543160.tif 000008
【図７】
2009543160.tif 000009
【国際調査報告】
2009543160.tif 000010
2009543160.tif 000011