(57)【特許請求の範囲】
【請求項１】
画像データを取得する取得部と、
取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出するエッジ強度算出部と、
前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の平均値とを、前記エッジ強度に基づき算出された混合比に応じて混合する混合部と、
を備え、
オペレータ長が２以上（タップ数が５以上）である、ハイパスフィルタ、または、平滑化効果を持たせた帯域制限フィルタを用いて、注目画素ごとに勾配（∇）を算出する勾配算出部と、
前記所定の範囲に含まれる画素それぞれの画素値を基に前記平均値を算出し、当該平均値に基づき前記分散を算出する分散算出部とを、さらに備え、
エッジ強度算出部では、
注目画素ごとの勾配の二乗値（∇２）、または、勾配（∇）と、前記分散（σ２）との間の乖離度を、階段調強度（ＫＳ）として算出し、
注目画素ごとに算出された、勾配の二乗値（∇２）と、階段調強度（ＫＳ）とに基づきエッジ強度を算出することを特徴とする、画像処理装置。
【請求項２】
前記混合部は、前記注目画素の画素値と、前記分散算出部により算出された当該平均値とを、前記混合比に応じて混合する
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記混合部は、
前記注目画素の画素値に対して、前記混合比に応じた第１の係数を乗算する第１の乗算部と、
前記平均値に対して、前記混合比に応じた第２の係数を乗算する第２の乗算部と、
前記第１の乗算部の出力と、前記第２の乗算部の出力とを加算する加算部と、
を含むことを特徴とする、請求項１または２に記載の画像処理装置。
【請求項４】
画像データを取得することと、
取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出することと、
前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の平均値とを、前記エッジ強度に基づき算出された混合比に応じて混合することと、
を含み、
オペレータ長が２以上（タップ数が５以上）である、ハイパスフィルタ、または、平滑化効果を持たせた帯域制限フィルタを用いて、注目画素ごとに勾配（∇）を算出し、
前記所定の範囲に含まれる画素それぞれの画素値を基に前記平均値を算出し、当該平均値に基づき前記分散を算出し、
エッジ強度を算出するにあたり、
注目画素ごとの勾配の二乗値（∇２）、または、勾配（∇）と、前記分散（σ２）との間の乖離度を、階段調強度（ＫＳ）として算出し、
注目画素ごとに算出された、勾配の二乗値（∇２）と、階段調強度（ＫＳ）とに基づきエッジ強度を算出することを特徴とする、画像処理方法。
【請求項５】
コンピュータに、
画像データを取得することと、
取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出することと、
前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の平均値とを、前記エッジ強度に基づき算出された混合比に応じて混合することと、
を実行させ、この際、
オペレータ長が２以上（タップ数が５以上）である、ハイパスフィルタ、または、平滑化効果を持たせた帯域制限フィルタを用いて、注目画素ごとに勾配（∇）を算出し、
前記所定の範囲に含まれる画素それぞれの画素値を基に前記平均値を算出し、当該平均値に基づき前記分散を算出し、
エッジ強度を算出するにあたり、
注目画素ごとの勾配の二乗値（∇２）、または、勾配（∇）と、前記分散（σ２）との間の乖離度を、階段調強度（ＫＳ）として算出し、
注目画素ごとに算出された、勾配の二乗値（∇２）と、階段調強度（ＫＳ）とに基づきエッジ強度を算出するようにすることを特徴とする、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年では、デジタルスチルカメラのような撮像装置が広く普及している。このような撮像装置の中には、逆光補正やＨＤＲ（High  Dynamic  Range）等のような所謂ダイナミックレンジ圧縮技術を利用したものもある。このような撮像装置では、撮像素子のダイナミックレンジよりも、明るさのレンジがより広い被写体の画像を、例えば、暗部及び明部のいずれかまたは双方のレンジを縮退させることで撮像している。
【０００３】
また、上記に説明した一部のレンジが縮退された画像の視認性を向上させる技術として、当該画像に対して、Retinex理論を応用した画像処理を施すことで、局所的なダイナミックレンジ補正を行う技術がある。Retinex理論を応用した画像処理では、入力画像の明るさの成分を、照明光成分と反射率成分とに分離し、照明光成分に対して変調を施したうえで、変調後の照明光成分と反射率成分とを再合成することで局所的にダイナミックレンジが補正された出力画像を得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−８９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述した、Retinex理論を応用した画像処理では、照明光成分を抽出するために、入力画像に対して平滑化フィルタを適用する場合がある。一方で、入力画像に対する平滑化フィルタの適用により、被写体と背景との間の境界の近傍に原画像にはない不自然な画像パターン（所謂、Halo現象）が発生する場合がある。
【０００６】
このような課題に対して、特許文献１には、Halo現象の発生を抑制するための画像処理技術の一例として、平滑化フィルタとしてεフィルタを適用し、ε値を制御することで、エッジを保持しつつ平滑化を行う技術が開示されている。
【０００７】
一方で、特許文献１に係る発明では、背景と被写体との間の境界（以降では、「階段調のエッジ」と呼ぶ場合がある）と、被写体の模様により明暗（階調）が変化する境界（以降では、「模様調のエッジ」と呼ぶ場合がある）とが区別されずに処理される。そのため、例えば、被写体が、当該被写体の模様には依存せずに一様に照明されている状況下においても、特許文献１に開示された技術では、特に明暗の強い模様の部分においてエッジが保持され、模様そのものが照明光成分として扱われる場合がある。そのため、特許文献１に係る発明では、Halo現象の発生を抑制された画像が得られるものの、被写体の模様の部分においてコントラストが縮退される場合がある。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能な、画像処理装置、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、画像データを取得する取得部と、取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出するエッジ強度算出部と、前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の移動平均とを、前記エッジ強度に基づき算出された混合比に応じて混合する混合部と、を備えることを特徴とする、画像処理装置が提供される。
【００１０】
前記所定の範囲に含まれる画素それぞれの画素値を基に移動平均を算出し、当該移動平均に基づき前記分散を算出する分散算出部を備え、前記混合部は、前記注目画素の画素値と、前記分散算出部により算出された前記移動平均とを、前記混合比に応じて混合してもよい。
【００１１】
前記混合部は、前記注目画素の画素値に対して、前記混合比に応じた第１の係数を乗算する第１の乗算器と、前記移動平均に対して、前記混合比に応じた第２の係数を乗算する第２の乗算器と、前記第１の乗算器の出力と、前記第２の乗算器の出力とを加算する加算部と、を含んでもよい。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、画像データを取得することと、取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出することと、前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の移動平均とを、前記エッジ強度に基づき算出された混合比に応じて混合することと、を含むことを特徴とする、画像処理方法が提供される。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、画像データを取得することと、取得された前記画像データ中の注目画素を基準とした所定の範囲に含まれる周辺画素それぞれの画素値に基づく勾配と、前記注目画素と前記周辺画素とのそれぞれの前記画素値に基づく分散との間の乖離度を示す階段調強度に基づき、エッジ強度を算出することと、前記注目画素の画素値と、前記所定の範囲に含まれる画素それぞれの画素値の移動平均とを、前記エッジ強度に基づき算出された混合比に応じて混合することと、を実行させることを特徴とする、プログラムが提供される。
【発明の効果】
【００１４】
以上説明したように本発明によれば、画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能な、画像処理装置、画像処理方法、及びプログラムが提供される。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。
【図２】照明光生成部による平滑化処理の処理結果の一例を示した図である。
【図３】比較例に係る照明光生成部の機能構成の一例を示したブロック図である。
【図４】ε値調整部がエッジ強度ＫＧ−ε値変換を行うための関数の一例を示している。
【図５】入力Ｉの一例を示した図である。
【図６】図５に示した入力Ｉに対して、一次微分フィルタを適用することで勾配∇を算出した場合の、入力画像中の画素ごとの勾配∇の変化の一例を示している。
【図７】本発明の第１の実施形態に係る照明光生成部の機能構成の一例を示したブロック図である。
【図８】図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとの分散σ２に基づく標準偏差σの変化の一例を示している。
【図９】図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとの階段調強度ＫＳの変化の一例を示している。
【図１０】図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとのエッジ強度ＫＧの変化の一例を示している。
【図１１】同実施形態に係るε値調整部によるε値の調整に係る処理の内容について説明するための説明図である。
【図１２】ε値調整部がエッジ強度ＫＧに応じてε値を設定するための関数の一例を示している。
【図１３】ε値調整部がエッジ強度ＫＧに応じてε値を設定するための関数の他の一例を示している。
【図１４】ε値調整部がエッジ強度ＫＧに応じてε値を設定するための関数の他の一例を示している。
【図１５】同実施形態に係る照明光生成部の一連の処理の流れの一例を示したフローチャートである。
【図１６】本発明の第２の実施形態に係る照明光生成部の機能構成の一例を示したブロック図である。
【図１７】エッジ強度ＫＧ−混合比ＫＥ変換を行うための変換関数の一例を示した図である。
【図１８】エッジ強度ＫＧ−混合比ＫＥ変換を行うための変換関数の他の一例を示した図である。
【図１９】混合部の概略的な構成の一例について示した図である。
【図２０】同実施形態に係る照明光生成部の一連の動作の流れの一例について示したフローチャートである。
【図２１】実施例に係る照明光生成部の回路規模の見積もり量の一例について説明するための図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
＜１．概要：Retinex理論を応用した画像処理装置＞
本発明の一実施形態に係る画像処理装置の特徴をよりわかりやすくするために、まず、Retinex理論を応用した画像処理の概要について説明する。
【００１８】
一般的に、デジタルスチルカメラのような撮像装置により画像が撮像される場合に、撮像される自然界の光の明るさのレンジが、当該撮像装置に設けられた撮像素子のダイナミックレンジ超える場合がある。そのため、当該撮像装置の中には、逆光補正やＨＤＲ等のような所謂ダイナミックレンジ圧縮技術を利用して、撮像素子のダイナミックレンジよりも、明るさのレンジがより広い被写体の画像を撮像するものもある。このようなダイナミックレンジ圧縮技術を利用した撮像装置では、撮像される画像の暗部及び明部のいずれかまたは双方のレンジを縮退させることで、撮像素子のダイナミックレンジよりも、明るさのレンジがより広い被写体の画像の撮像を可能としている。
【００１９】
このようにして撮像された、所謂ダイナミックレンジが縮退された画像の視認性を向上させる技術として、Retinex理論を応用することで、画像処理として局所的なダイナミックレンジ補正を施す技術が知られている。
【００２０】
具体的には、Retinex理論では、画像中に撮像された光は、照明光成分と反射率成分とを掛けあわせたものとみなされる。即ち、照明光成分をＬ、反射率成分をＲとした場合に、入力画像の明るさの成分Ｉは、以下に示す（式１）で示されることとなる。
【００２１】
【数１】
0006548907.tif 000002
【００２２】
Retinex理論を応用した局所的なダイナミックレンジ補正を行う場合には、画像処理装置は、入力画像の明るさの成分Ｉから、照明光成分Ｌと反射率成分Ｒとを分離して処理する。なお、以降では、入力画像の明るさの成分Ｉを、単に「入力Ｉ」と記載する場合がある。
【００２３】
ここで、図１を参照して、本実施形態に係る画像処理装置の機能構成の一例として、Retinex理論を応用した局所的なダイナミックレンジ補正を行う画像処理装置の機能構成の一例について説明する。図１は、本実施形態に係る画像処理装置１の機能構成の一例を示したブロック図である。
【００２４】
図１に示すように、本実施形態に係る画像処理装置１は、照明光生成部１０と、除算部３０と、照明光変調部５０と、乗算部７０とを含む。
【００２５】
照明光生成部１０は、入力Ｉに基づき照明光成分Ｌを生成するための構成である。具体的には、照明光生成部１０は、入力Ｉに対して平滑化処理を施すことで（例えば、平滑化フィルタを適用することで）、当該入力Ｉから照明光成分Ｌを生成する。そして、照明光生成部１０は、生成した照明光成分Ｌを示すデータを、除算部３０と、照明光変調部５０とに出力する。なお、照明光生成部１０については、詳細を別途後述する。
【００２６】
除算部３０は、入力Ｉに基づき反射率成分Ｒを生成するための構成である。具体的には、除算部３０は、照明光生成部１０から照明光成分Ｌを示すデータを取得し、前述した（式１）に基づき、入力Ｉを取得した照明光成分Ｌで除算することで、反射率成分Ｒを算出する。そして、除算部３０は、算出した反射率成分Ｒを示すデータを、乗算部７０に出力する。
【００２７】
照明光変調部５０は、照明光生成部１０から、入力Ｉに基づき生成された照明光成分Ｌのデータを取得する。照明光変調部５０は、照明光成分Ｌに対して局所的な変調を施すことで、新たな照明光成分Ｌ’（即ち、照明光成分Ｌに対して局所的な変調が施された照明光成分Ｌ’）を生成する。そして、照明光変調部５０は、生成した新たな照明光成分Ｌ’を示すデータを、乗算部７０に出力する。
【００２８】
乗算部７０は、除算部３０から出力される反射率成分Ｒと、照明光変調部５０から出力される照明光成分Ｌ’
（即ち、照明光成分Ｌに対して局所的な変調が施された照明光成分Ｌ’）とを乗算することで再合成する。そして、乗算部７０は、反射率成分Ｒと照明光成分Ｌ’とが再合成されることで生成された明るさの成分Ｉ’に基づく画像を、出力画像として所定の出力先に出力する。
【００２９】
以上のようにして、画像処理装置１は、入力画像に対して局所的にダイナミックレンジが補正された出力画像を生成して出力する。以上、図１を参照して、本実施形態に係る画像処理装置１の機能構成の一例として、Retinex理論を応用した局所的なダイナミックレンジ補正を行う画像処理装置の機能構成の一例について説明した。
＜２．第１の実施形態＞
［２．１．概要］
次に、本発明の第１の実施形態に係る照明光生成部１０について説明する。なお、本説明では、本実施形態に係る照明光生成部１０の特徴をよりわかりやすくするために、まず、従来の構成に基づく照明光生成部１０の課題について整理する。
【００３０】
前述の通り、照明光生成部１０は、入力Ｉに対して平滑化処理を施すことで（例えば、平滑化フィルタを適用することで）、当該入力Ｉから照明光成分Ｌを生成する。一方で、この入力Ｉに対する平滑化処理により、所謂Halo現象が発生する場合がある。このHalo現象は、被写体と背景との間の境界における明るさの急激な変化が平滑化処理により平滑化され、当該境界の近傍におけるコントラストが緩和されることで発生する。
【００３１】
例えば、図２は、照明光生成部１０による平滑化処理の処理結果の一例を示した図であり、被写体と背景との間の境界に対して平滑化処理を施した場合における、画像中の画素ごとの明るさの強度の変化の一例を、入出力それぞれについて示している。なお、本説明における明るさの強度とは、例えば、画素値、輝度値、または明度値等を示すものとする。以降の説明では、単に「明るさの強度」と表記した場合には、これらのいずれであっても該当し得るものとする。図２において横軸は、画像中の画素の位置を示し、縦軸は、明るさの強度を示している。また、図２において、参照符号Ｉは、入力画像の明るさの成分を示している。また、参照符号Ｌは、入力Ｉに対して平滑化処理を施した場合の出力（即ち、生成された照明光成分）を示している。
【００３２】
図２に示すように、入力Ｉのうち、被写体と背景との間の境界に対して平滑化処理が施されると、当該境界における急激な明るさの変化が緩和された照明光成分Ｌが生成される。このように、被写体と背景との間の急激な明るさの変化が緩和されることで、被写体と背景との間の境界のコントラストが緩和され、Halo現象として顕在化する場合がある。
【００３３】
ここで、図３を参照して、上記に説明したようなHalo現象の発生を抑制して照明光成分Ｌを生成する照明光生成部１０の一例について、比較例として以下に説明する。図３は、比較例に係る照明光生成部１０の機能構成の一例を示したブロック図である。なお、比較例に係る照明光生成部１０を、本実施形態に係る照明光生成部１０と区別するために、以降では、「照明光生成部１０’」と記載する場合がある。
【００３４】
図３に示した、比較例に係る照明光生成部１０’は、平滑化処理のためのフィルタとしてεフィルタを適用し、エッジ強度に応じて当該εフィルタのε値を制御することで、入力Ｉに対してエッジを保持しながら平滑化処理を施す。
【００３５】
具体的には、図３に示すように、比較例に係る照明光生成部１０’は、平滑化処理部１１と、ε値制御部１９とを含む。なお、平滑化処理部１１が、所謂εフィルタに相当する。また、ε値制御部１９は、勾配算出部１９１と、ε値調整部１９３とを含む。
【００３６】
勾配算出部１９１は、入力Ｉに基づき、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇を注目画素ごとに算出する。
【００３７】
なお、勾配算出部１９１が、勾配∇を算出する方法の一例として、以下に（式２）として示すように、一次微分フィルタを適用する方法（所謂、ハイパスフィルタを適用する方法）が挙げられる。
【００３８】
【数２】
0006548907.tif 000003
【００３９】
なお、（式２）において、ｎは、周辺画素を特定するためのオペレータ長を示している。また、Ｉ（ｘ−ｎ，ｙ）及びＩ（ｘ＋ｎ，ｙ）は、オペレータ長をｎとした場合における、注目画素に対するｘ方向（例えば、横方向）の周辺画素の明るさの成分を示している。同様に、Ｉ（ｘ，ｙ−ｎ）及びＩ（ｘ，ｙ＋ｎ）は、オペレータ長をｎとした場合における、注目画素に対するｙ方向（例えば、縦方向）の周辺画素の明るさの成分を示している。なお、オペレータ長ｎ＝１とした場合には、タップ数は３となり、オペレータ長ｎ＝２とした場合には、タップ数は５となる。
【００４０】
また、他の一例として、勾配算出部１９１は、以下に（式３）として示すような、平滑化効果を持たせた帯域制限フィルタを適用して算出してもよい。
【数３】
0006548907.tif 000004
【００４１】
以上のようにして、勾配算出部１９１は、入力画像中の注目画素ごとに、当該注目画素の周辺画素それぞれの明るさの強度に基づき、勾配∇を算出する、そして、勾配算出部１９１は、注目画素ごとに算出した勾配∇を、ε値調整部１９３に出力する。
【００４２】
ε値調整部１９３は、入力画像中の注目画素ごとに算出された勾配∇を、勾配算出部１９１から取得する。ε値調整部１９３は、注目画素ごとに取得した勾配∇（具体的には、勾配∇の絶対値）を、当該注目画素におけるエッジ強度ＫＧとして認識する。即ち、注目画素の座標を（ｘ，ｙ）、当該注目画素における勾配を∇（ｘ，ｙ）とした場合に、当該注目画素のエッジ強度ＫＧ（ｘ，ｙ）は、以下に（式４）として示す関係式に基づき導出される。
【００４３】
【数４】
0006548907.tif 000005
【００４４】
そして、ε値調整部１９３は、エッジ強度ＫＧが高いほどε値を小さくし、エッジ強度ＫＧが低いほどε値が大きくなるように、エッジ強度ＫＧをε値に変換する（即ち、エッジ強度ＫＧ−ε値変換を行う）。例えば、図４は、ε値調整部１９３が、エッジ強度ＫＧ−ε値変換を行うための関数ｆε（ＫＧ）の一例を示している。
【００４５】
以上のようにして、ε値調整部１９３は、注目画素ごとに、当該注目画素のエッジ強度ＫＧに応じてε値を算出し、算出したε値を平滑化処理部１１に出力する。
【００４６】
平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１９３から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。
【００４７】
以上のような構成により、比較例に係る照明光生成部１０’は、エッジと判断される部分では平滑化の効果を低めることで当該エッジを保持し、エッジ以外の部分については平滑化の効果を高めるように、入力Ｉに対して非線形平滑化処理を施す。これにより、比較例に係る照明光生成部１０’は、Halo現象の発生を抑制して照明光成分Ｌを生成することが可能となる。
【００４８】
一方で、上述した比較例に係る照明光生成部１０’は、背景と被写体との間の境界（以降では、「階段調のエッジ」と呼ぶ場合がある）と、被写体の模様により明暗（階調）が変化する境界（以降では、「模様調のエッジ」と呼ぶ場合がある）とを区別することが困難である。そのため、照明光生成部１０’は、階段調のエッジと模様調のエッジとを識別せずに、一様にエッジ強度ＫＧを算出し、当該エッジ強度ＫＧに応じて平滑化処理を施す。
【００４９】
例えば、図５は、入力Ｉの一例を示した図であり、入力画像中の画素ごとの明るさの強度の変化の一例を示している。なお、図５に示す例では、説明をわかりやすくするために、入力画像のｘ方向（例えば、横方向）についてのみ着目して、入力画像中の画素ごとの明るさの強度の変化を示している。即ち、図５の横軸は、入力画像中のｘ方向に沿った画素の位置を示している。また、図５の縦軸は、各画素の明るさの強度を示している。
【００５０】
また、図６は、図５に示した入力Ｉに対して、一次微分フィルタを適用することで勾配∇を算出した場合の、入力画像中の画素ごとの勾配∇の変化の一例を示している。即ち、図６の横軸は、図５の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図６の縦軸は、画素ごとに算出された勾配∇を示している。
【００５１】
図５に示す例において、参照符号ｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、及びｖ１５ｂとして示した部分は、入力画像中における、階段調のエッジにより明暗が大きく変化している部分を模式的に示している。また、参照符号ｖ１７として示した部分は、模様調のエッジにより明暗が大きく変化している部分を模式的に示している。なお、図６において、参照符号ｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、ｖ１５ｂ、及びｖ１７で示した部分は、図５において、同様の参照符号が付された入力画像中の位置と、同じ位置に対応する部分を示している。
【００５２】
図６に示す例では、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、勾配∇の値が略等しい。そのため、勾配∇をエッジＫＧとして認識した場合には、照明光生成部１０’は、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとを識別することは困難である。
【００５３】
ここで、被写体の模様により明暗が変化している部分（即ち、模様調の部分）は、当該模様に依存せずに一様に照明されていると考えられ、多くの場合は、当該模様調の部分はエッジを保持されずに平滑化処理が施されることが望ましい。しかしながら、比較例に係る照明光生成部１０’は、被写体の模様により明暗が変化する部分（即ち、模様調のエッジ）についても、階段調のエッジと同様に保持する。そのため、比較例に係る照明光生成部１０’により入力画像を処理した場合には、平滑化処理により、入力画像中における被写体の模様のコントラストが縮退し、結果として、模様が薄まったような出力画像が出力される場合がある。
【００５４】
本実施形態に係る照明光生成部１０は、上記問題を鑑みてなされたものであり、その目的とするところは、入力画像中における階段調のエッジと模様調のエッジとを識別して、当該入力画像に対して非線形平滑化処理を施すことが可能な仕組みを提供することにある。そこで、以降では、本実施形態に係る照明光生成部１０について、さらに詳しく説明する。
【００５５】
［２．２．機能構成］
図７を参照して、本発明の第１の実施形態に係る照明光生成部１０の機能構成の一例について説明する。図７は、本実施形態に係る照明光生成部１０の機能構成の一例を示したブロック図である。
【００５６】
図７に示すように、本実施形態に係る照明光生成部１０は、平滑化処理部１１と、ε値制御部１３とを含む。なお、平滑化処理部１１については、前述した比較例に係る照明光生成部１０’（図３参照）と同様のため詳細な説明は省略する。また、ε値制御部１３は、勾配算出部１３１と、分散算出部１３３と、ε値調整部１３５とを含む。
【００５７】
勾配算出部１３１は、前述した比較例に係る照明光生成部１０’の勾配算出部１９１と同様である。即ち、勾配算出部１３１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇を注目画素ごとに算出する。
【００５８】
なお、勾配算出部１３１は、フィルタオペレータを利用した畳み込み積分により、注目画素ごとの勾配∇を算出してもよい。例えば、以下に示す（式５）は、前述した（式２もしくは式３）に示した一次微分フィルタを、畳み込み積分により示した場合の一例である。
【００５９】
【数５】
0006548907.tif 000006
【００６０】
なお、上記に示した（式５）において、Ｗは、勾配∇を算出するためのオペレータ（以降では、「勾配オペレータ」と記載する場合がある）を示している。例えば、以下に示す（式６）は、オペレータ長ｎ＝１とした場合における、勾配オペレータＷの一例を示している。
【００６１】
【数６】
0006548907.tif 000007
【００６２】
また、他の一例として、以下に示す（式７）は、オペレータ長ｎ＝２とした場合における、勾配オペレータＷの一例を示している。
【００６３】
【数７】
0006548907.tif 000008
【００６４】
なお、（式６）及び（式７）に示した勾配オペレータは、あくまで一例であり、オペレータ長ｎや、オペレータの各係数は、適宜変更してもよい。
【００６５】
以上のようにして、勾配算出部１３１は、入力画像中の注目画素ごとに、当該注目画素の周辺画素それぞれの明るさの強度に基づき、勾配∇を算出する。そして、勾配算出部１３１は、注目画素ごとに算出した勾配∇を、ε値調整部１３５に出力する。
【００６６】
分散算出部１３３は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度に基づき、分散σ２を注目画素ごとに算出する。
【００６７】
ここで、注目画素の座標を（ｘ，ｙ）、座標（ｘ−ｉ，ｙ−ｊ）に位置する画素の明るさの強度をＩｘ−ｊ，ｙ−ｉとした場合に、注目画素の分散σ２（ｘ，ｙ）は、以下に示す（式８）に基づき算出される。
【００６８】
【数８】
0006548907.tif 000009
【００６９】
なお、上記に示した（式８）を、以下に示す（式９）のように展開してもよい。
【００７０】
【数９】
0006548907.tif 000010
【００７１】
例えば、図８は、図５に示した入力Ｉに基づき算出された、入力画像中の画素ごとの分散σ２に基づく標準偏差σの変化の一例を示している。なお、図８に示す例では、図６に示した、入力画像中の画素ごと勾配∇と単位をそろえるために、入力画像中の画素ごとに算出された分散σ２に基づく、当該画素ごとの標準偏差σの変化として示している。即ち、図８の横軸は、図５及び図６の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図８の縦軸は、画素ごとに算出された標準偏差σを示している。なお、標準偏差σは、分散σ２の平方根により算出されることは言うまでもない。換言すると、分散算出部１３３は、分散σ２に替えて標準偏差σを算出してもよいことは言うまでもない。
【００７２】
以上のようにして、分散算出部１３３は、入力画像中の注目画素ごとに、当該注目画素と、当該注目画素の周辺画素それぞれとの明るさの強度に基づき、分散σ２を算出する。そして、分散算出部１３３は、注目画素ごとに算出した分散σ２を、ε値調整部１３５に出力する。
【００７３】
ε値調整部１３５は、勾配算出部１３１から、注目画素ごとに算出された勾配∇を取得する。また、ε値調整部１３５は、分散算出部１３３から、注目画素ごとに算出された分散σ２を取得する。
【００７４】
ここで、図６に示した画素ごとの勾配∇の変化と、図８に示した画素ごとの標準偏差σ（換言すると、分散σ２）の変化とのそれぞれとを比較することで、本実施形態に係るε値調整部１３５の特徴について説明する。
【００７５】
図６を参照して前述したように、画素ごとに算出された勾配∇のみに着目した場合には、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、勾配∇の値が略等しく、これらを識別することは困難である。
【００７６】
これに対して、画素ごとに算出された標準偏差σのみに着目した場合には、図８に示すように、参照符号ｖ１５ａ及びｖ１５ｂで示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、標準偏差σの値が異なるため、これらを識別することが可能である。一方で、参照符号ｖ１３ａ及びｖ１５３で示した階段調のエッジと、参照符号ｖ１７で示した模様調の各エッジとは、標準偏差σの値が略等しく、これらを識別することは困難である。
【００７７】
一方で、図６及び図８を比較するとわかるように、勾配∇と標準偏差σとでは、階段調のエッジと模様調のエッジとの判別が困難な部分に差が生じる。この差は、勾配∇と標準偏差σとの間の特性差によるものであり、本実施形態に係るε値調整部１３５は、この特性差を利用して階段調のエッジと模様調のエッジとを判別する。
【００７８】
具体的には、勾配∇は、注目画素の隣接もしくは近傍の画素間における差分を示している。また、標準偏差σは、前述した（式８）において、オペレータ長ｍに基づき定義される範囲におけるばらつきを示している。理想的な状態では、階段調のエッジは、標準偏差σの最大値（頂点）と勾配∇の絶対値の最大値とは、略等しい値を示す傾向にある。これに対して、模様調のエッジは、勾配∇の絶対値よりも標準偏差σの方が大きい値を示す傾向にある。そこで、本実施形態に係るε値調整部１３５は、勾配∇と標準偏差σとの間の乖離度を階段調強度ＫＳとして算出し、当該階段調強度ＫＳに基づき階段調のエッジと模様調のエッジとを判別する。
【００７９】
例えば、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度ＫＳ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と標準偏差σ（ｘ，ｙ）とに基づき、以下に示す（式１０）に基づき算出される。
【００８０】
【数１０】
0006548907.tif 000011
【００８１】
なお、（式１０）において、ｋ∇及びｋσは、勾配∇（ｘ，ｙ）の絶対値と、標準偏差σ（ｘ，ｙ）の最大値との比が１となるように設定された、勾配∇（ｘ，ｙ）及び標準偏差σ（ｘ，ｙ）それぞれに対する補正係数（換言すると、正規化のための係数）である。なお、補正係数ｋは、補正係数ｋ∇及びｋσをまとめたものに相当する。
【００８２】
補正係数ｋ∇及びｋσは、あらかじめ算出された定数であってもよい。また、他の一例として、明るさの強度差が異なる複数の理想的な階段調のエッジのデータに基づき、｜∇｜／σを１に補正するような関数を事前に算出し、当該関数を、補正係数ｋ∇及びｋσとして設定してもよい。
【００８３】
なお、上記に示した（式１０）を一般化すると、階段調強度ＫＳは、以下に示す（式１１）で表されることとなる。
【００８４】
【数１１】
0006548907.tif 000012
【００８５】
ここで、階段調強度ＫＳは、１以下の値となり、１に近いほど、対応する注目画素の近傍で明るさがより急峻に変化していることを示している。即ち、階段調強度ＫＳが１に近いほど、対応する注目画素が階段調のエッジに相当し得ることを示している。
【００８６】
なお、上記に示した階段調強度ＫＳの算出式は、あくまで一例であり、勾配∇と、標準偏差σ（換言すると、分散σ２）との間の乖離度を示していれば、階段調強度ＫＳの算出方法は上記に示す例には限定されない。
【００８７】
具体的な一例として、ε値調整部１３５は、勾配∇の二乗と分散σ２との乖離度に基づき階段調強度ＫＳを算出してもよい。この場合には、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度ＫＳ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と分散σ２（ｘ，ｙ）とに基づき、以下に示す（式１２）に基づき算出される。
【００８８】
【数１２】
0006548907.tif 000013
【００８９】
ここで、上記に示した（式１２）を一般化すると、階段調強度ＫＳは、以下に示す（式１３）で表されることとなる。
【００９０】
【数１３】
0006548907.tif 000014
【００９１】
また、他の一例として、ε値調整部１３５は、勾配∇の二乗と分散σ２との差を乖離度として、当該乖離度に基づき階段調強度ＫＳを算出してもよい。この場合には、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度ＫＳ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と分散σ２（ｘ，ｙ）とに基づき、以下に示す（式１４）に基づき算出される。
【００９２】
【数１４】
0006548907.tif 000015
【００９３】
ここで、上記に示した（式１４）を一般化すると、階段調強度ＫＳは、以下に示す（式１５）で表されることとなる。
【００９４】
【数１５】
0006548907.tif 000016
【００９５】
以上のようにして、ε値調整部１３５は、勾配∇と標準偏差σ（換言すると、分散σ２）との間の乖離度に基づき階段調強度ＫＳを算出する。例えば、図９は、図５に示した入力Ｉに基づき算出された（即ち、図６に示した画素ごとの勾配∇と、図８に示した画素ごとの標準偏差σとに基づき算出された）、入力画像中の画素ごとの階段調強度ＫＳの変化の一例を示している。即ち、図９の横軸は、図５、図６、及び図８の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図９の縦軸は、画素ごとに算出された階段調強度ＫＳを示している。
【００９６】
図９を参照するとわかるように、階段調のエッジｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、及びｖ１５ｂと、模様調の各エッジｖ１７とでは、階段調強度ＫＳが大きく乖離している。
【００９７】
具体的な一例として、階段調強度ＫＳの算出に際し、勾配∇を算出する際のオペレータ長ｎ（例えば（式２）に示した変数ｎ）と、分散σ２を算出する際のオペレータ長ｍ（例えば（式８）に示した変数ｍ）とを等しい値に設定したとする。この場合には、階段調のエッジでは、補正係数ｋ∇及びｋσそれぞれを１としたとしても、勾配∇の絶対値と標準偏差σとでは、ほとんど差が無く、階段調強度ＫＳは約１を示す。これに対して、模様調のエッジでは、勾配∇の絶対値が標準偏差σよりも低くなり、階段調のエッジに比べて階段調強度ＫＳが低い値を示す。
【００９８】
このような特性を利用して、ε値調整部１３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇の絶対値に対して、当該注目画素について算出した階段調強度ＫＳを乗じることで、模様調のエッジにおけるエッジ強度が抑制された、エッジ強度ＫＧを算出する。即ち、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素におけるエッジ強度ＫＧ（ｘ，ｙ）は、当該注目画素における勾配∇（ｘ，ｙ）と階段調強度ＫＳとを基に、以下に示す（式１６）に基づき算出される。
【００９９】
【数１６】
0006548907.tif 000017
【０１００】
なお、勾配∇を算出する際のオペレータ長ｎと、分散σ２を算出する際のオペレータ長ｍとは、ｎ≦ｍとなるように設定することが望ましい。
【０１０１】
また、他の一例として、ε値調整部１３５は、以下に（式１７）として示すように、入力画像中の注目画素ごとに、当該画素における勾配∇２に対して階段調強度ＫＳを乗じることで、エッジ強度ＫＧを算出してもよい。
【０１０２】
【数１７】
0006548907.tif 000018
【０１０３】
以上のようにして、ε値調整部１３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇と、当該注目画素について算出された階段調強度ＫＳとに基づきエッジ強度ＫＧを算出する。例えば、図１０は、図５に示した入力Ｉに基づき算出された（即ち、図６に示した画素ごとの勾配∇と、図９に示した画素ごとの階段調強度ＫＳとに基づき算出された）、入力画像中の画素ごとのエッジ強度ＫＧの変化の一例を示している。即ち、図１０の横軸は、図５、図６、及び図９の横軸と対応しており、入力画像中のｘ方向に沿った画素の位置を示している。また、図１０の縦軸は、画素ごとに算出されたエッジ強度ＫＧを示している。
【０１０４】
図１０に示すように、注目画素ごとの勾配∇及び階段調強度ＫＳに基づきエッジ強度ＫＧを算出することで、模様調のエッジｖ１７が抑制され、階段調のエッジｖ１１ａ、ｖ１１ｂ、ｖ１３ａ、ｖ１３ｂ、ｖ１５ａ、及びｖ１５ｂが当該エッジ強度ＫＧとして抽出される。即ち、ε値調整部１３５は、以上のようにして算出されたエッジ強度ＫＧに基づき、階段調のエッジ及び模様調のエッジのうち階段調のエッジのみが保持されるようにε値を調整する（換言すると、エッジ強度ＫＧ−ε値変換を行う）。
【０１０５】
ここで、ε値調整部１３５による、エッジ強度ＫＧに基づくε値の調整に係る処理について、図１１を参照しながら具体的な例を挙げて説明する。図１１は、本実施形態に係るε値調整部１３５によるε値の調整に係る処理の内容について説明するための説明図である。
【０１０６】
図１１の上側の図は、入力画像中の画素ごとの明るさの強度の変化の一例を示している。また、図１１中の下側の図は、入力画像中の注目画素ごとのエッジ強度ＫＧの変化の一例を示している。図１１の上側及び下側の図それぞれの横軸は、入力画像中のｘ方向に沿った画素の位置を示している。また、図１１の上側の図の縦軸は、明るさの強度を示している。また、図１１の下側の図の縦軸は、エッジ強度ＫＧを示している。
【０１０７】
また、図１１において、参照符号ｎは、オペレータ長を示しており、図１１に示す例では、勾配∇を算出する際のオペレータ長ｎと、分散σ２を算出する際のオペレータ長ｍとが、ｍ＝ｎの関係を満たすものとする。また、図１１に示す例では、画素の位置ｘ＝０の部分が階段調のエッジの部分に相当し、ｘ＝±１、±２の位置は、位置ｘ＝０の画素を注目画素とした場合の、ｘ方向に沿った周辺画素の一例に相当する。
【０１０８】
図１１に示す例では、εフィルタ（即ち、平滑化処理部１１による平滑化処理）のオペレータ長ｎ＝２とした場合には、画素の位置ｘが−２〜＋２の範囲においてHalo現象が発生し得る。そのため、図１１に示す例の場合には、画素の位置ｘが−２〜＋２の範囲において、εフィルタのε値がより低くなるように（例えば、最小となるように）調整されることが望ましい。
【０１０９】
そこで、ε値調整部１３５は、図１１の下側の図に示すように、エッジ強度ＫＧの閾値ｔｈＧを設定し、注目画素ごとに算出されたエッジ強度ＫＧを当該閾値ｔｈＧと比較する。そして、ε値調整部１３５は、例えば、エッジ強度ＫＧが閾値ｔｈＧを超える画素についてはε値を最小値εＭＩＮに設定し、エッジ強度ＫＧが閾値ｔｈＧ以下の画素についてはε値を最大値εＭＡＸに設定する。
【０１１０】
例えば、図１２は、ε値調整部１３５がエッジ強度ＫＧに応じてε値を設定する（即ち、エッジ強度ＫＧ−ε値変換を行う）ための関数ｆε（ＫＧ）の一例を示している。
【０１１１】
ここで、比較のために、図１３に、ε値調整部１３５がエッジ強度ＫＧ−ε値変換を行うための関数ｆε（ＫＧ）の他の一例について示す。図１３に示す例は、比較例として前述した照明光生成部１０’のε値調整部１９３と同様の方法（図２参照）で、エッジ強度ＫＧ−ε値変換を行う場合の関数ｆε（ＫＧ）の一例に相当する。
【０１１２】
図１３に示すように、比較例に係るε値調整部１９３では、ε値の最大値εＭＡＸと最小値εＭＩＮとの間を、閾値ｔｈＧ１とｔｈＧ２とで区分される範囲において線型変調している。これは、比較例に係るε値調整部１９３が、階段調のエッジと模様調のエッジとを判別することが困難であるため、階段調のエッジと模様調のエッジと判別せずに一様にエッジ強度ＫＧによりε値を制御せざるを得ないことによる。
【０１１３】
このような特性から、比較例に係るε値調整部１９３に依れば、例えば、エッジ強度の強い模様調のエッジは平滑化されずに保持され、エッジ強度の弱い階段調のエッジについては平滑化されて保持されないといった結果も出力され得る。また、比較例に係るε値調整部１９３に依れば、例えば、図１１においてｘ＝±１、±２の位置で示されたエッジ強度が中程度から比較的低い画素では、若干ではあるものの平滑化処理が施される。そのため、当該画素において、エッジが保持される度合いが低くなり、当該画素付近に、平滑化処理に伴う弱いHalo現象が発生する場合がある。
【０１１４】
これに対して、本実施形態に係るε値調整部１３５は、注目画素ごとの勾配∇及び階段調強度ＫＳに基づき算出されたエッジ強度ＫＧに応じてε値を調整する。このエッジ強度ＫＧは、前述した通り、階段調のエッジの部分において高い数値を示し、模様調のエッジの部分を含むその他の部分では低い数値を示すという特性を有する。そのため、ε値調整部１３５は、図１２に示すような閾値ｔｈＧに基づく閾値処理により、エッジ強度ＫＧ−ε値変換を行うことが可能となる。
【０１１５】
また、前述したエッジ強度ＫＧの特性から、本実施形態に係るε値調整部１３５では、閾値ｔｈＧを比較的低い値（少なくとも、図１３に示す閾値ｔｈＧ２よりも低い値）に設定することが可能である。そのため、本実施形態に係るε値調整部１３５に依れば、例えば、図１１においてｘ＝±１、±２の位置で示されたエッジ強度が中程度から比較的低い画素においてもエッジを保持することが可能となる。
【０１１６】
なお、図１２に示す関数ｆε（ＫＧ）はあくまで一例であり、本実施形態に係るε値調整部１３５は、注目画素ごとの勾配∇及び階段調強度ＫＳに基づき算出されたエッジ強度ＫＧに対して、図１３に示すような関数ｆε（ＫＧ）を適用してもよいことは言うまでもない。また、他の一例として、ε値調整部１３５は、注目画素ごとの勾配∇及び階段調強度ＫＳに基づき算出されたエッジ強度ＫＧに対して、図１４に示すような関数ｆε（ＫＧ）を適用することで、エッジ強度ＫＧ−ε値変換を行ってもよい。図１４は、ε値調整部１３５がエッジ強度ＫＧに応じてε値を設定する（即ち、エッジ強度ＫＧ−ε値変換を行う）ための関数ｆε（ＫＧ）の他の一例を示している。
【０１１７】
以上のようにして、ε値調整部１３５は、入力画像中の注目画素ごとに算出されたエッジ強度ＫＧに応じて、当該注目画素ごとにε値を設定し、設定されたε値を平滑化処理部１１に出力する。
【０１１８】
なお、以降の処理については、前述した比較例に係る照明光生成部１０’と同様である。即ち、平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１３５から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。
以上、図７〜図１４を参照して、本実施形態に係る照明光生成部１０の機能構成の一例について説明した。
【０１１９】
［２．３．処理］
次に、図１５を参照して、本実施形態に係る照明光生成部１０の一連の処理の流れの一例について説明する。図１５は、本実施形態に係る照明光生成部１０の一連の処理の流れの一例を示したフローチャートである。
【０１２０】
（ステップＳ１０１）
勾配算出部１３１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、勾配∇を注目画素ごとに算出する。なお、勾配算出部１３１は、フィルタオペレータを利用した畳み込み積分により、注目画素ごとの勾配∇を算出してもよい。また、勾配∇については、例えば、前述した（式２）及び（式３）のいずれかに基づき算出することが可能である。そして、勾配算出部１３１は、注目画素ごとに算出した勾配∇を、ε値調整部１３５に出力する。
【０１２１】
（ステップＳ１０３）
分散算出部１３３は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度に基づき、分散σ２を注目画素ごとに算出する。なお、分散σ２については、例えば、前述した（式８）に基づき算出することが可能である。そして、分散算出部１３３は、注目画素ごとに算出した分散σ２を、ε値調整部１３５に出力する。
【０１２２】
（ステップＳ１０５）
ε値調整部１３５は、勾配算出部１３１から、注目画素ごとに算出された勾配∇を取得する。また、ε値調整部１３５は、分散算出部１３３から、注目画素ごとに算出された分散σ２を取得する。ε値調整部１３５は、注目画素ごとに取得した勾配∇と標準偏差σとの間の乖離度に基づき階段調強度ＫＳを算出する。なお、階段調強度ＫＳについては、例えば、前述した（式１０）、（式１２）、及び（式１４）のいずれかに基づき算出することが可能である。
【０１２３】
（ステップＳ１０７）
次いで、ε値調整部１３５は、注目画素ごとに、当該注目画素における勾配∇と、当該注目画素について算出した階段調強度ＫＳとに基づき、エッジ強度ＫＧを算出する。なお、エッジ強度ＫＧについては、例えば、前述した（式１６）及び（式１７）のいずれかに基づき算出することが可能である。
【０１２４】
（ステップＳ１０９）
注目画素ごとにエッジ強度ＫＧを算出したら、ε値調整部１３５は、注目画素ごとに、当該エッジ強度ＫＧを所定の閾値ｔｈＧと比較し、当該比較結果に応じて当該注目画素に対するε値を設定する。具体的な一例として、ε値調整部１３５は、図１２に示した関数ｆε（ＫＧ）に基づき、エッジ強度ＫＧが閾値ｔｈＧを超える画素についてはε値を最小値εＭＩＮに設定し、エッジ強度ＫＧが閾値ｔｈＧ以下の画素についてはε値を最大値εＭＡＸに設定する。
【０１２５】
以上のようにして、ε値調整部１３５は、入力画像中の注目画素ごとに算出されたエッジ強度ＫＧに応じて、当該注目画素ごとにε値を設定し、設定されたε値を平滑化処理部１１に出力する。
【０１２６】
そして、平滑化処理部１１は、入力画像中の注目画素ごとに算出されたε値をε値調整部１３５から取得し、取得したε値に基づき、注目画素と、当該注目画素の周辺画素とに対してεフィルタを適用する。以上のようにして、平滑化処理部１１は、入力Ｉに対してεフィルタを適用することで平滑化処理を施し、平滑化処理後の明るさの成分を、照明光成分Ｌとして出力する。
【０１２７】
以上、図１５を参照して、本実施形態に係る照明光生成部１０の一連の処理の流れの一例について説明した。
【０１２８】
なお、上述した一連の動作、即ち、入力画像中の注目画素ごとに、勾配∇と分散σ２との間の乖離度を示す階段調強度ＫＳに基づきエッジ強度ＫＧを算出し、当該エッジ強度ＫＧに応じて設定されたε値に基づき、当該入力画像に対して平滑化処理を施す方法が、「画像処理方法」の一例に相当する。
【０１２９】
また、上述した一連の動作は、照明光生成部１０の各構成を動作させる装置のＣＰＵを機能させるためのプログラムによって構成することができる。このプログラムは、その装置にインストールされたＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を介して実行されるように構成してもよい。また、このプログラムは、上述した処理を実行する構成が含まれる装置が読み出し可能であれば、記憶される位置は限定されない。例えば、装置の外部から接続される記録媒体にプログラムが格納されていてもよい。この場合には、プログラムが格納された記録媒体を装置に接続することによって、その装置のＣＰＵに当該プログラムを実行させるように構成するとよい。
【０１３０】
［２．４．まとめ］
以上説明したように、本発明の第１の実施形態に係る照明光生成部１０は、注目画素ごとに勾配∇と分散σ２（換言すると、標準偏差σ）とを算出し、当該勾配∇と分散σ２との間の乖離度に基づき、階段調強度ＫＳを算出する。そして、照明光生成部１０は、当該勾配∇と当該階段調強度ＫＳとに基づきエッジ強度ＫＧを算出し、当該エッジ強度ＫＧに基づきε値を調整する。なお、このエッジ強度ＫＧは、前述した通り、階段調のエッジの部分において高い数値を示し、模様調のエッジの部分を含むその他の部分では低い数値を示すという特性を有する。そのため、照明光生成部１０は、入力画像中の階段調のエッジと模様調のエッジとを判別し、例えば、階段調のエッジについては平滑化の効果を低めることで保持し、模様調のエッジを含む他の部分については平滑化の効果を高めるように、非線形平滑化処理を施すことが可能となる。
【０１３１】
＜３．第２の実施形態＞
［３．１．概要］
次に、本発明の第２の実施形態に係る照明光生成部について説明する。前述した第１の実施形態に係る照明光生成部１０では、εフィルタの出力値を照明光成分としている。
【０１３２】
εフィルタの参照画素範囲が比較的広い場合には、平滑化係数として、例えば、統計学等で使用されるガウシアン特性に基づく加重平均係数等を用いる場合がある。その一方で、εフィルタの参照画素範囲が広くなるほど処理コストは増大する傾向にあり、当該処理コストの増大に伴い、回路規模も増大する場合がある。
【０１３３】
ここで、本実施形態に係る照明光生成部の特徴について、よりわかりやすくするために、以下に、注目画素（ｘ，ｙ）の画素値Ｉｘ，ｙに基づき、照明光成分Ｌ（ｘ，ｙ）を算出するための、εフィルタの処理内容を示す計算式の一例を（式１８）として示す。
【０１３４】
【数１８】
0006548907.tif 000019
【０１３５】
なお、上記に示した（式１８）において、係数Ｗは、係数総和が１となるように重み付けを行った加重平均フィルタ係数である。また、関数Ｆ（ｚ）は、注目画素と参照画素との間の差分値を収集し、注目画素に加算することで、平滑化フィルタとして作用する。また、上記に示す（式１８）では、差分値がε値よりも大きい場合には、参照画素情報を出力結果に反映させないことでエッジを保持している。
【０１３６】
上記に示すように、εフィルタは、注目画素と各参照画素との間の差分値を算出する工程と、差分値とε値との比較を行う工程とを伴うため、比較的多くの処理コストが必要となり、回路規模も比較的大きくなる傾向にある。
【０１３７】
特に、近年では、所謂スマートフォンのように携行可能な比較的小型の端末が普及してきており、このような端末では、組み込める回路の規模も制限されている。
【０１３８】
そこで、本発明の第２の実施形態として、第１の実施形態に係る照明光生成部１０と同様に、階段調のエッジと模様調のエッジとを識別して非線形処理を施すことが可能であり、かつ、回路規模をさらに抑制することが可能な照明光生成部の一例について説明する。なお、以降では、本実施形態に係る照明光生成部を、前述した第１の実施形態に係る照明光生成部１０と区別するために、「照明光生成部２０」と記載する場合がある。
【０１３９】
［３．２．機能構成］
まず、図１６を参照して、本実施形態に係る照明光生成部２０の機能構成の一例について説明する。図１６は、本実施形態に係る照明光生成部２０の機能構成の一例を示したブロック図である。
【０１４０】
図１６に示すように、本実施形態に照明光生成部２０は、混合部２１と、混合比制御部２３とを含む。また、混合比制御部２３は、勾配算出部２３１と、分散算出部２３３と、エッジ強度算出部２３５と、混合比算出部２３７とを含む。
【０１４１】
勾配算出部２３１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、例えば、勾配オペレータＷを用いて、勾配∇の二乗値を注目画素ごとに算出する。なお、勾配算出部２３１が、勾配∇を算出する基本的な仕組みは、前述した第１の実施形態に係る勾配算出部１３１と同様である。例えば、以下に示す、（式１９）は、オペレータ長ｎ＝２とした場合の勾配オペレータＷの一例を示している。
【０１４２】
【数１９】
0006548907.tif 000020
【０１４３】
また、以下に示す（式２０）は、オペレータ長ｎ＝２とした場合の勾配オペレータＷの他の一例を示している。
【０１４４】
【数２０】
0006548907.tif 000021
【０１４５】
もちろん、上記に（式１９）及び（式２０）として示した勾配オペレータＷは、あくまで一例であり、必ずしも上記に示した式には限定されない。即ち、通過帯域が調整されることで、勾配オペレータＷとして、（式１９）及び（式２０）以外の他の係数値が用いられてもよい。
【０１４６】
また、勾配算出部２３１は、上記に示した勾配オペレータＷを利用した畳み込み積分により、注目画素ごとの勾配∇の二乗値である∇２を算出する。なお、以降の説明では、勾配∇の二乗値∇２を、単に、「勾配∇２」と記載する場合がある。例えば、以下に示す（式２１）は、勾配オペレータＷを利用した畳み込み積分により、勾配∇２を算出する計算式の一例を示している。なお、（式２１）におけるＷ’は、勾配オペレータＷを９０度回転させた係数を示している。
【０１４７】
【数２１】
0006548907.tif 000022
【０１４８】
以上のようにして、勾配算出部２３１は、入力画像中の注目画素ごとに、当該注目画素の周辺画素それぞれの明るさの強度に基づき、勾配∇２を算出する。そして、勾配算出部２３１は、注目画素ごとに算出した勾配∇２を、エッジ強度算出部２３５に出力する。
【０１４９】
分散算出部２３３は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度の平均値Ａを注目画素ごとに算出し（即ち、移動平均を算出し）、当該平均値Ａに基づき、分散σ２を注目画素ごとに算出する。
【０１５０】
ここで、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素（ｘ，ｙ）に対応する平均値Ａ（ｘ，ｙ）は、オペレータ長をｎ、座標（ｘ，ｙ）に位置する画素の明るさの強度をＩｘ，ｙとした場合に、畳み込み積分で示すと、以下に示す（式２２）で表される。
【０１５１】
【数２２】
0006548907.tif 000023
【０１５２】
なお、平均値Ａを算出する際のオペレータ長ｎ（換言すると、参照画素範囲）については、照明光生成部２０が設けられる機器の回路規模に応じて設定すればよいことは言うまでもない。
【０１５３】
また、注目画素の座標を（ｘ，ｙ）、座標（ｘ−ｉ，ｙ−ｊ）に位置する画素の明るさの強度をＩｘ−ｊ，ｙ−ｉとした場合に、当該注目画素（ｘ，ｙ）に対応する分散σ２は、以下に示す（式２３）に基づき算出される。
【０１５４】
【数２３】
0006548907.tif 000024
【０１５５】
以上のようにして、分散算出部２３３は、入力画像中の注目画素ごとに、当該注目画素と、当該注目画素の周辺画素それぞれとの明るさの強度に基づき、平均値Ａを注目画素ごとに算出し、当該平均値Ａに基づき、分散σ２を注目画素ごとに算出する。そして、分散算出部２３３は、注目画素ごとに算出した分散σ２を、エッジ強度算出部２３５に出力する。また、分散算出部２３３は、分散σ２を算出する過程において、注目画素ごとに算出した平均値Ａ（即ち、移動平均）を、混合部２１に出力する。
【０１５６】
エッジ強度算出部２３５は、勾配算出部２３１から、注目画素ごとに算出された勾配∇２を取得する。また、エッジ強度算出部２３５は、分散算出部２３３から、注目画素ごとに算出された分散σ２を取得する。エッジ強度算出部２３５は、取得した勾配∇２と分散σ２との間の乖離度を階段調強度ＫＳとして算出する。
【０１５７】
例えば、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素における階段調強度ＫＳ（ｘ，ｙ）は、当該注目画素における勾配∇２（ｘ，ｙ）と分散σ２（ｘ，ｙ）とに基づき、以下に示す（式２４）に基づき算出される。
【０１５８】
【数２４】
0006548907.tif 000025
【０１５９】
なお、上記（式２４）として示した例では、エッジ強度算出部２３５は、∇２（ｘ，ｙ）／σ２（ｘ，ｙ）が１を超えないように、当該∇２（ｘ，ｙ）／σ２（ｘ，ｙ）の算出値を１でクリップしている。また、他の一例として、エッジ強度算出部２３５は、∇２（ｘ，ｙ）／σ２（ｘ，ｙ）の算出値を正規化することで、当該∇２（ｘ，ｙ）／σ２（ｘ，ｙ）が１を超えないように制御してもよい。
【０１６０】
次いで、エッジ強度算出部２３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇２に対して、当該注目画素について算出した階段調強度ＫＳを乗じることで、模様調のエッジにおけるエッジ強度が抑制された、エッジ強度ＫＧを算出する。ここで、注目画素の座標を（ｘ，ｙ）とした場合に、当該注目画素におけるエッジ強度ＫＧ（ｘ，ｙ）は、当該注目画素における勾配∇２（ｘ，ｙ）と階段調強度ＫＳとを基に、以下に示す（式２５）に基づき算出される。
【０１６１】
【数２５】
0006548907.tif 000026
【０１６２】
なお、上記に示した（式２５）に基づき算出されるエッジ強度ＫＧは、勾配∇の二乗値（即ち、勾配∇２）に基づき算出されるため、その算出結果が、より小さい値となりやすい傾向にある。そのため、上記に示した（式２５）では、α倍することで強度の強調を行っている。また、他の一例として、エッジ強度算出部２３５は、（式１６）として前述したように、勾配∇の絶対値と、階段調強度ＫＳとを基に、エッジ強度ＫＧを算出してもよい。
【０１６３】
以上のようにして、エッジ強度算出部２３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇２と、当該注目画素について算出された階段調強度ＫＳとに基づきエッジ強度ＫＧを算出する。そして、エッジ強度算出部２３５は、入力画像中の注目画素ごとに算出したエッジ強度ＫＧを、混合比算出部２３７に出力する。
【０１６４】
混合比算出部２３７は、入力画像中の注目画素ごとに算出されたエッジ強度ＫＧを、エッジ強度算出部２３５から取得する。混合比算出部２３７は、注目画素ごとに取得したエッジ強度ＫＧを、あらかじめ設定された変換関数ｆＥ（ＫＧ）に基づき、混合比ＫＥに変換する。例えば、図１７は、混合比算出部２３７が、エッジ強度ＫＧ−混合比ＫＥ変換を行うための変換関数ｆＥ（ＫＧ）の一例に相当する。また、図１７に示した変換関数ｆＥ（ＫＧ）は、以下に示す（式２６）として示される。
【０１６５】
【数２６】
0006548907.tif 000027
【０１６６】
上記に示す（式２６）では、混合比算出部２３７は、混合比ＫＥの最大値１と最小値ｍｉｎとのとの間を、閾値ｔｈ１とｔｈ２とで区分される範囲において線型変調している場合の一例を示している。なお、式２５においてα＝８とした場合に、（式２６）における最小値ｍｉｎ＝０．０〜０．２、閾値ｔｈ１、ｔｈ２＝０．０２〜０．８（ｔｈ１≦ｔｈ２）の範囲で調整を行うことで、良好な照明光抽出が可能となることがわかっている。
【０１６７】
また、図１７に示した変換関数ｆＥ（ＫＧ）は、あくまで一例であり、必ずしも図１７に示す例には限定されない。例えば、図１８は、混合比算出部２３７が、エッジ強度ＫＧ−混合比ＫＥ変換を行うための変換関数ｆＥ（ＫＧ）の他の一例に相当する。図１８に示すように、混合比算出部２３７は、非線形現象特性を用いてエッジ強度ＫＧ−混合比ＫＥ変換を行ってもよい。
【０１６８】
以上のようにして、混合比算出部２３７は、入力画像中の注目画素ごとに算出されたエッジ強度ＫＧに基づき、混合比ＫＥを当該注目画素ごとに算出する。そして、混合比算出部２３７は、入力画像中の注目画素ごとに算出した混合比ＫＥを、混合部２１に出力する。
【０１６９】
混合部２１は、入力画像中の注目画素ごとに算出された平均値Ａ（即ち、移動平均）を、分散算出部２３３から取得する。また、混合部２１は、入力画像中の注目画素ごとに算出された混合比ＫＥを、混合比算出部２３７から取得する。混合部２１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の明るさの強度と、当該注目画素に対応する平均値Ａとを、当該注目画素に対応する混合比ＫＥに基づき混合することで、当該注目画素に対応する照明光成分Ｌを算出する。
【０１７０】
ここで、注目画素の座標を（ｘ，ｙ）、当該注目画素に対応する平均値をＡ（ｘ，ｙ）とすると、当該注目画素に対応する照明光成分Ｌ（ｘ，ｙ）は、混合比ＫＥを基に、以下に示す（式２７）に基づき算出される。
【０１７１】
【数２７】
0006548907.tif 000028
【０１７２】
また、図１９は、混合部２１の概略的な構成の一例について示した図であり、上記に示す（式２７）に基づき照明光成分Ｌ（ｘ，ｙ）を算出する場合における、混合部２１の構成の一例を示している。
【０１７３】
図１９に示すように、混合部２１は、例えば、乗算部２１１及び２１５と、減算部２１３と、加算部２１７とを含む。
【０１７４】
減算部２１３は、混合比算出部２３７から入力される注目画素（ｘ，ｙ）に対応する混合比ＫＥを受けて、当該混合比ＫＥと１との差分１−ＫＥを、乗算部２１１に出力する。
【０１７５】
乗算部２１１は、入力画像中の注目画素の明るさの成分Ｉ（ｘ，ｙ）と、減算部２１３から出力される混合比ＫＥと１との差分１−ＫＥとを乗算し、乗算結果を加算部２１７に出力する。なお、乗算部２１１が、「第１の乗算部」の一例に相当し、注目画素の明るさの成分Ｉ（ｘ，ｙ）に乗ぜられる差分１−ＫＥが、「第１の係数」の一例に相当する。
【０１７６】
乗算部２１５は、分散算出部２３３から入力される注目画素（ｘ，ｙ）に対応する平均値をＡ（ｘ，ｙ）と、混合比算出部２３７から入力される当該注目画素（ｘ，ｙ）に対応する混合比ＫＥとを乗算し、乗算結果を加算部２１７に出力する。なお、乗算部２１５が、「第２の乗算部」の一例に相当し、平均値をＡ（ｘ，ｙ）に乗ぜられる混合比ＫＥが、「第２の係数」の一例に相当する。
【０１７７】
そして、加算部２１７は、乗算部２１１からの出力結果（即ち、Ｉ（ｘ，ｙ）と１−ＫＥとの乗算結果）と、乗算部２１５からの出力結果（即ちＡ（ｘ，ｙ）と、ＫＥとの乗算結果）とを加算し、加算結果を、注目画素（ｘ，ｙ）に対応する照明光成分Ｌ（ｘ，ｙ）として出力する。
【０１７８】
以上、図１６〜図１９を参照して、本実施形態に係る照明光生成部２０の機能構成の一例について説明した。
【０１７９】
［３．３．処理］
次に、図２０を参照して、本実施形態に係る照明光生成部２０の一連の動作の流れの一例について説明する。図２０は、本実施形態に係る照明光生成部２０の一連の動作の流れの一例について示したフローチャートである。
【０１８０】
（ステップＳ２０１）
勾配算出部２３１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の周辺に位置する周辺画素それぞれの明るさの強度に基づき、例えば、勾配オペレータＷを用いて、勾配∇２を注目画素ごとに算出する。具体的な一例として、勾配算出部２３１は、前述した（式１９）〜（式２１）に示すように、勾配オペレータＷを利用した畳み込み積分により、注目画素ごとの勾配∇２を算出すればよい。そして、勾配算出部２３１は、注目画素ごとに算出した勾配∇２を、エッジ強度算出部２３５に出力する。
【０１８１】
（ステップＳ２０３）
分散算出部２３３は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素と、当該注目画素の周辺に位置する周辺画素とのそれぞれの明るさの強度の平均値Ａを注目画素ごとに算出する。なお、平均値Ａについては、前述した（式２２）に基づき算出することが可能である。そして、分散算出部２３３は、注目画素ごとに算出した平均値Ａ（即ち、移動平均）を、混合部２１に出力する。
【０１８２】
（ステップＳ２０５）
また、分散算出部２３３は、注目画素ごとに算出した平均値Ａに基づき、当該注目画素に対応する分散σ２を算出する。なお、分散σ２については、前述した（式２３）に基づき算出することが可能である。そして、分散算出部２３３は、注目画素ごとに算出した分散σ２を、エッジ強度算出部２３５に出力する。
【０１８３】
（ステップＳ２０７）
エッジ強度算出部２３５は、勾配算出部２３１から、注目画素ごとに算出された勾配∇２を取得する。また、エッジ強度算出部２３５は、分散算出部２３３から、注目画素ごとに算出された分散σ２を取得する。エッジ強度算出部２３５は、取得した勾配∇２と分散σ２との間の乖離度を階段調強度ＫＳとして算出する。なお、階段調強度ＫＳについては、前述した（式２４）に基づき算出することが可能である。
【０１８４】
（ステップＳ２０９）
次いで、エッジ強度算出部２３５は、入力画像中の注目画素ごとに、当該注目画素における勾配∇２に対して、当該注目画素について算出した階段調強度ＫＳを乗じることで、模様調のエッジにおけるエッジ強度が抑制された、エッジ強度ＫＧを算出する。なお、エッジ強度ＫＧについては、前述した（式２５）に基づき算出することが可能である。そして、エッジ強度算出部２３５は、入力画像中の注目画素ごとに算出したエッジ強度ＫＧを、混合比算出部２３７に出力する。
【０１８５】
（ステップＳ２１１）
混合比算出部２３７は、入力画像中の注目画素ごとに算出されたエッジ強度ＫＧを、エッジ強度算出部２３５から取得する。混合比算出部２３７は、注目画素ごとに取得したエッジ強度ＫＧを、あらかじめ設定された変換関数ｆＥ（ＫＧ）に基づき、混合比ＫＥに変換する。例えば、前述した（式２６）は、変換関数ｆＥ（ＫＧ）の一例である。そして、混合比算出部２３７は、入力画像中の注目画素ごとに算出した混合比ＫＥを、混合部２１に出力する。
【０１８６】
（ステップＳ２１３）
混合部２１は、入力画像中の注目画素ごとに算出された平均値Ａ（即ち、移動平均）を、分散算出部２３３から取得する。また、混合部２１は、入力画像中の注目画素ごとに算出された混合比ＫＥを、混合比算出部２３７から取得する。混合部２１は、入力Ｉを基に、入力画像中の各画素を逐次注目画素として、注目画素の明るさの強度と、当該注目画素に対応する平均値Ａとを、当該注目画素に対応する混合比ＫＥに基づき混合することで、当該注目画素に対応する照明光成分Ｌを算出する。なお、照明光成分Ｌについては、前述した（式２７）に基づき算出することが可能である。
【０１８７】
以上、図２０を参照して、本実施形態に係る照明光生成部２０の一連の動作の流れの一例について説明した。
【０１８８】
なお、上述した一連の動作は、照明光生成部２０の各構成を動作させる装置のＣＰＵを機能させるためのプログラムによって構成することができる。このプログラムは、その装置にインストールされたＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を介して実行されるように構成してもよい。また、このプログラムは、上述した処理を実行する構成が含まれる装置が読み出し可能であれば、記憶される位置は限定されない。例えば、装置の外部から接続される記録媒体にプログラムが格納されていてもよい。この場合には、プログラムが格納された記録媒体を装置に接続することによって、その装置のＣＰＵに当該プログラムを実行させるように構成するとよい。
【０１８９】
［３．４．実施例］
次に、実施例として、本実施形態に係る照明光生成部２０の回路規模の見積もり量の一例についてまとめる。なお、本説明では、回路規模の比較対象として、図３を参照して前述した照明光生成部１０’（比較例１）と、図７を参照して前述した第１の実施形態に係る照明光生成部１０（比較例２）とについても、回路規模の見積もり量の一例についてまとめる。また、本説明では、各回路を構成するゲート回路に基づくゲート数に応じて、回路規模を見積もるものとする。具体的な一例として、回路規模の見積もりの基準値として、加算器及び減算器を「１０４」、乗算器を「３８４」、除算器を「１６００」、絶対値算出回路を「６４」、２入力選択器を「４０」としている。
【０１９０】
例えば、図２１は、実施例に係る照明光生成部の回路規模の見積もり量の一例について説明するための図であり、本実施例に係る照明光生成部と、比較例１及び比較例２に係る照明光生成部とのそれぞれについて、見積もり量の概算値の一例を示している。
【０１９１】
図２１に示すように、比較例１に係る照明光生成部は、主に、εフィルタと、ε値調整部と、勾配算出部とを含んで構成され、特に、εフィルタの回路規模が約３８００となり、最も大きいことがわかる。また、比較例２に係る照明光生成部は、比較例１に係る照明光生成部の構成に加えて、分散算出部と、エッジ強度算出部が追加されており、追加された構成分だけ、比較例１に係る照明光生成部よりも回路規模が大きくなっている。
【０１９２】
これに対して、実施例に係る照明光生成部は、比較例２に係る照明光生成部におけるεフィルタ及びε値調整部が、混合部及び混合比算出部に置き換わっている。なお、ε値調整部と混合比算出とは、回路規模がほぼ同等であるが、混合部（例えば、図１９参照）については、回路規模が約８００となり、εフィルタに比べて回路規模が極めて小さくなっている。
【０１９３】
これにより、実施例に係る照明光生成部は、比較例２に係る照明光生成部に比べて全体の回路規模を小さく抑えることが可能となる。具体的には、比較例１に係る照明光生成部の回路規模を基準とした場合に、比較例２に係る照明光生成部の回路規模は約６０％増大するのに対して、実施例に係る照明光生成部は、回路規模の増大を約２０％まで抑制することが可能となる。もちろん、実施例に係る照明光生成部（即ち、第２の実施形態に係る照明光生成部２０）は、比較例２に係る照明光生成部（即ち、第１の実施形態に係る照明光生成部１０）と同様に、入力画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能となることは前述した通りである。
【０１９４】
［３．５．まとめ］
以上、説明したように、本発明の第２の実施形態に係る照明光生成部２０は、注目画素ごとに勾配∇２と分散σ２とを算出し、当該勾配∇２と分散σ２との間の乖離度に基づく階段調強度ＫＳを算出する。照明光生成部２０は、算出した階段調強度ＫＳに基づきエッジ強度ＫＧを算出し、算出したエッジ強度ＫＧを基に混合比ＫＥを算出する。そして、照明光生成部２０は、注目画素における明るさの強度と、当該注目画素及び周辺画素それぞれの明るさの強度の平均値Ａ（即ち、移動平均）とを、混合比ＫＥに基づき混合することで照明光成分Ｌを生成する。
【０１９５】
このような構成により、本実施形態に係る照明光生成部２０は、前述した第１の実施形態に係る照明光生成部１０と同様に、入力画像中の階段調のエッジと模様調のエッジとを識別して、当該画像に対して非線形平滑化処理を施すことが可能となる。
【０１９６】
また、本実施形態に係る照明光生成部２０では、εフィルタのような比較的規模の大きい回路が、前述した混合部２１のように、より規模の小さい回路に置き換えられる。これにより、本実施形態に係る照明光生成部２０は、前述した第１の実施形態に係る照明光生成部１０に比べて、回路規模をより小さく抑えることが可能となる。
【０１９７】
特に、照明光の成分は緩やかに変化するため、ＨＤ（High  Definition）以上（例えば、ＨＤ、ＦＨＤ：Full  High  Definition、ＵＨＤ：Ultra  High  Definition等）の解像度において、オペレータ長ｎ＝２（即ち、５画素）程度の参照画素範囲内における照明光成分の変化は極めて微量であり、ほぼ直線的に変化するものとみなす（即ち、近似する）ことができる。そのため、本実施形態に係る照明光生成部２０では、このような特性に基づき、注目画素を基準とした所定の参照画素範囲内における画素の明るさの強度Ｉの平均値Ａ（即ち、移動平均）を利用して、照明光成分Ｌを算出することで、回路規模をより小さく抑えている。
【０１９８】
また、本実施形態に係る照明光生成部２０は、分散σ２の導出過程において算出した平均値Ａを、混合比ＫＥに基づく照明光成分Ｌの算出時に再利用している。このため、照明光成分Ｌの算出時に、改めて平均値Ａを算出する必要がなくなるため、回路規模をさらに小さく抑えることが可能となる。
【０１９９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０２００】
１      画像処理装置
１０    照明光生成部
１１    平滑化処理部
１３    ε値制御部
１３１  勾配算出部
１３３  分散算出部
１３５  ε値調整部
２０    照明光生成部
２１    混合部
２１１  乗算部
２１３  減算部
２１５  乗算部
２１７  加算部
２３    混合比制御部
２３１  勾配算出部
２３３  分散算出部
２３５  エッジ強度算出部
２３７  混合比算出部
３０    除算部
５０    照明光変調部
７０    乗算部
【図１】
0006548907.tif 000029
【図２】
0006548907.tif 000030
【図３】
0006548907.tif 000031
【図４】
0006548907.tif 000032
【図５】
0006548907.tif 000033
【図６】
0006548907.tif 000034
【図７】
0006548907.tif 000035
【図８】
0006548907.tif 000036
【図９】
0006548907.tif 000037
【図１０】
0006548907.tif 000038
【図１１】
0006548907.tif 000039
【図１２】
0006548907.tif 000040
【図１３】
0006548907.tif 000041
【図１４】
0006548907.tif 000042
【図１５】
0006548907.tif 000043
【図１６】
0006548907.tif 000044
【図１７】
0006548907.tif 000045
【図１８】
0006548907.tif 000046
【図１９】
0006548907.tif 000047
【図２０】
0006548907.tif 000048
【図２１】
0006548907.tif 000049