(57)【要約】【課題】高画質なフレア補正を行う画像処理装置を提供する。【解決手段】画像処理装置は、第１〜第ｎ色成分（ｎ≧３）で表される原画像を取得する取得手段と、第１〜第ｎの色成分の値を大きさの順に並び替えて、少なくとも最大値面と最小値面と中央値面を生成するとともに、少なくとも前記最大値面と前記最小値面に対して特性の異なるガンマ変換を施し、前記ガンマ変換された最大値面と最小値面、及び前記中央値面の少なくとも１つに基づいて１つの明度成分を生成する生成手段と、第１色成分の補正対象画素において、第１色成分の補正画素値と第１色成分の局所平均値との差が、該画素における前記明度成分の画素値と前記明度成分の局所平均値との差に対して相関を保つように、前記第１色成分の補正画素値を求める補正手段とを備える。【選択図】図７
2015142357.tif 000002
【特許請求の範囲】
【請求項１】
第１〜第ｎ色成分（ｎ≧３）で表される原画像を取得する取得手段と、
第１〜第ｎの色成分の値を大きさの順に並び替えて、少なくとも最大値面と最小値面と中央値面を生成するとともに、少なくとも前記最大値面と前記最小値面に対して特性の異なるガンマ変換を施し、前記ガンマ変換された最大値面と最小値面、及び前記中央値面の少なくとも１つに基づいて１つの明度成分を生成する生成手段と、
第１色成分の補正対象画素において、第１色成分の補正画素値と第１色成分の局所平均値との差が、該画素における前記明度成分の画素値と前記明度成分の局所平均値との差に対して相関を保つように、前記第１色成分の補正画素値を求める補正手段と、を備えたことを特徴とする画像処理装置。
【請求項２】
第１〜第ｎ色成分（ｎ≧３）で表される原画像を取得する取得手段と、
第１〜第ｎの色成分の値を大きさの順に並び替えて、少なくとも最大値面と最小値面と中央値面を生成するとともに、少なくとも前記最大値面と前記最小値面に対して特性の異なるガンマ変換を施し、前記ガンマ変換された最大値面と最小値面、及び前記中央値面の少なくとも１つに基づいて１つの明度成分を生成する生成手段と、
第１色成分の補正対象画素において、第１色成分の補正画素値と第１色成分の局所平均値との比が、該画素における前記明度成分の画素値と前記明度成分の局所平均値との比に対して相関を保つように、前記第１色成分の補正画素値を求める補正手段と、を備えたことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記生成手段は、前記最大値面に対しては平方根階調のガンマ変換を施し、前記最小値面に対しては平方階調のガンマ変換を施すことを特徴とする画像処理装置。
【請求項４】
請求項１または２に記載の画像処理装置において、
前記生成手段は、前記最大値面に対しては平方階調のガンマ変換を施し、前記最小値面に対しては平方根階調のガンマ変換を施すことを特徴とする画像処理装置。
【請求項５】
請求項１または２に記載の画像処理装置において、
前記生成手段は、前記原画像中の赤系の色相領域では前記中央値面を主に用い、前記原画像中のシアン系の色相領域では前記ガンマ変換された最大値面と最小値面の平均値を主に用いて前記明度成分を生成することを特徴とする画像処理装置。
【請求項６】
請求項３〜５のいずれか１項に記載の画像処理装置において、
前記生成手段は、前記原画像中の彩度が所定値以上の高彩度部の領域では、前記最大値面に対しては平方階調のガンマ変換を施し、前記最小値面に対しては平方根階調のガンマ変換を施す一方で、その他の領域では前記最大値面に対しては平方根階調のガンマ変換を施し、前記最小値面に対しては平方階調のガンマ変換を施すことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記原画像は対数階調空間で表された画像であることを特徴とする画像処理装置。
【請求項８】
請求項２に記載の画像処理装置において、
前記原画像は線形階調空間で表された画像であることを特徴とする画像処理装置。
【請求項９】
第１〜第ｎ色成分（ｎ≧３）で表される原画像を取得する取得手段と、
第１色成分をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を生成する第１生成手段と、
第１〜第ｎの色成分の値を大きさの順に並び替えて、少なくとも最大値面と最小値面と中央値面とからなる３つの明度面を生成し、前記生成された３つの明度面に基づく値を、領域単位で選択的に加重合成し、１つの明度成分を生成する第２生成手段と、
前記明度成分をフィルタリングして、逐次的に複数の解像度からなる第３高周波画像を生成し、前記第３高周波画像を最も低い解像度から逐次的に統合して１つに統合された第４高周波画像を生成する第３生成手段と、
原画像の第１色成分から前記第１色成分の１つに統合された第２高周波画像を減算し、前記明度成分の１つに統合された第４高周波画像を加算することによって、第１色成分の補正画像を生成する第４生成手段と、を備えたことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記第１色成分は輝度成分であることを特徴とする画像処理装置。
【請求項１１】
請求項９に記載の画像処理装置において、
前記第２生成手段は、原画像中のシアン系の色相領域では、最大値面と最小値面に基づく値を用い、原画像中の赤系の色相領域では中央値面に基づく値を用いて、前記１つの明度成分を生成することを特徴とする画像処理装置。
【請求項１２】
請求項９に記載の画像処理装置において、
前記最大値面と最小値面に基づく値は、前記最大値面と前記最小値面に異なるガンマ変換を施した面に基づく値であることを特徴とする画像処理装置。
【請求項１３】
少なくとも１つの色成分からなる原画像を取得する取得手段と、
前記１つの色成分をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を生成する第１生成手段と、
前記１つに統合された第２高周波画像の各画素における値自身の大きさに基づいて、前記１つに統合された第２高周波画像の値の振幅を減衰する減衰手段と、
原画像の１つの色成分から前記減衰された第２高周波画像を減算することによって、前記１つの色成分の補正画像を生成する第２生成手段と、を備えたことを特徴とする画像処理装置。
【請求項１４】
少なくとも２つの色成分からなる原画像を取得する取得手段と、
前記少なくとも２つの色成分の各々をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を各色成分に対して生成する第１生成手段と、
前記少なくとも２つの色成分のうちの第１の色成分の前記１つに統合された第２高周波画像の各画素における値の大きさに基づいて、前記少なくとも２つの色成分のうちの第２の色成分の前記１つに統合された第２高周波画像の値の振幅を減衰する減衰手段と、
原画像の前記第２の色成分から前記減衰された第２高周波画像を減算することによって、前記第２の色成分の補正画像を生成する第２生成手段と、を備えたことを特徴とする画像処理装置。
【請求項１５】
少なくとも１つの色成分からなる原画像を取得する取得手段と、
前記１つの色成分をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を生成する第１生成手段と、
前記逐次的に生成された複数の解像度の第１高周波画像においてさらに前記１つの色成分をフィルタリングすることによって第３高周波画像を各解像度で生成し、前記第３高周波画像を最も低い解像度から逐次的に統合して１つに統合された第４高周波画像を生成する第２生成手段と、
前記１つに統合された第４高周波画像の各画素における値自身の大きさに基づいて、前記１つに統合された第２高周波画像の値の振幅を減衰する減衰手段と、
原画像の１つの色成分から前記減衰された第２高周波画像を減算することによって、前記１つの色成分の補正画像を生成する第３生成手段と、を備えたことを特徴とする画像処理装置。
【請求項１６】
少なくとも２つの色成分からなる原画像を取得する取得手段と、
前記少なくとも２つの色成分の各々をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を各色成分に対して生成する第１生成手段と、
前記少なくとも２つの色成分のうちの第１の色成分の前記逐次的に生成された複数の解像度の第１高周波画像においてさらに前記第１の色成分をフィルタリングすることによって第３高周波画像を各解像度で生成し、前記第３高周波画像を最も低い解像度から逐次的に統合して１つに統合された第４高周波画像を生成する第２生成手段と、
前記第１の色成分の前記１つに統合された第４高周波画像の各画素における値の大きさに基づいて、前記少なくとも２つの色成分のうちの第２の色成分の前記１つに統合された第２高周波画像の値の振幅を減衰する減衰手段と、
原画像の前記第２の色成分から前記減衰された第２高周波画像を減算することによって、前記第２の色成分の補正画像を生成する第３生成手段と、を備えたことを特徴とする画像処理装置。
【請求項１７】
請求項１３〜１６のいずれか１項に記載の画像処理装置において、
生成される前記補正画像の色成分は色差成分であることを特徴とする画像処理装置。
【請求項１８】
請求項１４または１６に記載の画像処理装置において、
前記第１の色成分は色差成分または輝度成分であることを特徴とする画像処理装置。
【請求項１９】
請求項１３〜１６のいずれか１項に記載の画像処理装置において、
前記減衰手段は、前記大きさが大きいほど、減衰の度合いを大きくすることを特徴とする画像処理装置。
【請求項２０】
請求項１３または１４に記載の画像処理装置において、
前記減衰手段は、前記１つに統合された第２高周波画像の画素値を引数とするガウス分布関数によって、前記１つに統合された第２高周波画像の値の振幅を減衰させ、前記大きさが大きいほど、減衰の度合いを大きくすることを特徴とする画像処理装置。
【請求項２１】
請求項１３〜２０のいずれか１項に記載の画像処理装置において、
前記減衰手段は、原画像中の赤系の色相領域と比べて、シアン系の色相領域では、前記１つに統合された第２高周波画像の値の振幅を小さく減衰させることを特徴とする画像処理装置。
【請求項２２】
請求項１、２、９、および１３〜１６のいずれか１項に記載の画像処理装置において、
前記原画像は、回折格子レンズを含む光学系によって結像された像が撮像された画像であることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関する。
【背景技術】
【０００２】
回折光学素子（Diffraction Optical Element）を用いた結像光学系を使用して、被写体像を撮影すると、明るい光源の周りに回折フレアが生じることが知られている。このような回折フレアは、回折光学素子を用いない通常のレンズでは現れないため、画像処理によって補正する試みがなされている。
【０００３】
特許文献１では、回折光学素子の結像特性データを、被写体距離や光学系のズーム位置、絞り値、繰り出し量、画角のあらゆる撮影環境に対応して事前に用意しておき、輝度レベルと輝度オフセット量を変数として、画像データとの一致度を見ながら、結像特性データから不要回折光の状態を推定し、その成分を原画像から減算する補正方法が開示されている。
【０００４】
特許文献２では、特許文献１のような光学特性データは用いずに、画像データそのものから不要回折光を特定し、補正する方法を試みている。特許文献２が開示する手法は、不要回折光が目立つのは、光源が暗闇の中にあるような状況を想定して、その状況下で光源周りに発生する輝度ヒストグラムの分布の様子から不要回折光が発生している輝度レベルの範囲を特定し、その範囲に分布する輝度を暗闇の背景レベルにまで低下させて不要回折光を消すという考え方である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１６７４８５号公報
【特許文献２】国際公開第２０１０／０３２４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２が想定する状況は、光源が暗闇の中で孤立して存在しているような場合にのみ通用する手法である。特許文献１も同様に背景が緩やかに変化する状況にまでしか通用しない。しかしながら、任意の一般被写体像というものは、そのような都合の良い状況にないのが普通であり、一般に任意の画像構造を持った被写体像が、光源の回折フレアの生じている領域にも存在している。このような環境下では、特許文献１や特許文献２が示す手法は、前提条件が成り立たないため、破綻する恐れがあった。すなわち、フレア補正によって画像構造が消失してしまう危険性があった。
【０００７】
このような状況を鑑みて、本発明では、任意の被写体像にも対応した、一般性の高いフレア補正技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）請求項１に記載の画像処理装置は、第１〜第ｎ色成分（ｎ≧３）で表される原画像を取得する取得手段と、第１〜第ｎの色成分の値を大きさの順に並び替えて、少なくとも最大値面と最小値面と中央値面を生成するとともに、少なくとも前記最大値面と前記最小値面に対して特性の異なるガンマ変換を施し、前記ガンマ変換された最大値面と最小値面、及び前記中央値面の少なくとも１つに基づいて１つの明度成分を生成する生成手段と、第１色成分の補正対象画素において、第１色成分の補正画素値と第１色成分の局所平均値との差が、該画素における前記明度成分の画素値と前記明度成分の局所平均値との差に対して相関を保つように、前記第１色成分の補正画素値を求める補正手段と、を備えたことを特徴とする。
（２）請求項２に記載の画像処理装置は、第１〜第ｎ色成分（ｎ≧３）で表される原画像を取得する取得手段と、第１〜第ｎの色成分の値を大きさの順に並び替えて、少なくとも最大値面と最小値面と中央値面を生成するとともに、少なくとも前記最大値面と前記最小値面に対して特性の異なるガンマ変換を施し、前記ガンマ変換された最大値面と最小値面、及び前記中央値面の少なくとも１つに基づいて１つの明度成分を生成する生成手段と、第１色成分の補正対象画素において、第１色成分の補正画素値と第１色成分の局所平均値との比が、該画素における前記明度成分の画素値と前記明度成分の局所平均値との比に対して相関を保つように、前記第１色成分の補正画素値を求める補正手段と、を備えたことを特徴とする。
（３）請求項９に記載の画像処理装置は、第１〜第ｎ色成分（ｎ≧３）で表される原画像を取得する取得手段と、第１色成分をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を生成する第１生成手段と、第１〜第ｎの色成分の値を大きさの順に並び替えて、少なくとも最大値面と最小値面と中央値面とからなる３つの明度面を生成し、前記生成された３つの明度面に基づく値を、領域単位で選択的に加重合成し、１つの明度成分を生成する第２生成手段と、前記明度成分をフィルタリングして、逐次的に複数の解像度からなる第３高周波画像を生成し、前記第３高周波画像を最も低い解像度から逐次的に統合して１つに統合された第４高周波画像を生成する第３生成手段と、原画像の第１色成分から前記第１色成分の１つに統合された第２高周波画像を減算し、前記明度成分の１つに統合された第４高周波画像を加算することによって、第１色成分の補正画像を生成する第４生成手段と、を備えたことを特徴とする。
（４）請求項１３に記載の画像処理装置は、少なくとも１つの色成分からなる原画像を取得する取得手段と、前記１つの色成分をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を生成する第１生成手段と、前記１つに統合された第２高周波画像の各画素における値自身の大きさに基づいて、前記１つに統合された第２高周波画像の値の振幅を減衰する減衰手段と、原画像の１つの色成分から前記減衰された第２高周波画像を減算することによって、前記１つの色成分の補正画像を生成する第２生成手段と、を備えたことを特徴とする。
（５）請求項１４に記載の画像処理装置は、少なくとも２つの色成分からなる原画像を取得する取得手段と、前記少なくとも２つの色成分の各々をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を各色成分に対して生成する第１生成手段と、前記少なくとも２つの色成分のうちの第１の色成分の前記１つに統合された第２高周波画像の各画素における値の大きさに基づいて、前記少なくとも２つの色成分のうちの第２の色成分の前記１つに統合された第２高周波画像の値の振幅を減衰する減衰手段と、原画像の前記第２の色成分から前記減衰された第２高周波画像を減算することによって、前記第２の色成分の補正画像を生成する第２生成手段と、を備えたことを特徴とする。
（６）請求項１５に記載の画像処理装置は、少なくとも１つの色成分からなる原画像を取得する取得手段と、前記１つの色成分をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を生成する第１生成手段と、前記逐次的に生成された複数の解像度の第１高周波画像においてさらに前記１つの色成分をフィルタリングすることによって第３高周波画像を各解像度で生成し、前記第３高周波画像を最も低い解像度から逐次的に統合して１つに統合された第４高周波画像を生成する第２生成手段と、前記１つに統合された第４高周波画像の各画素における値自身の大きさに基づいて、前記１つに統合された第２高周波画像の値の振幅を減衰する減衰手段と、原画像の１つの色成分から前記減衰された第２高周波画像を減算することによって、前記１つの色成分の補正画像を生成する第３生成手段と、を備えたことを特徴とする。
（７）請求項１６に記載の画像処理装置は、少なくとも２つの色成分からなる原画像を取得する取得手段と、前記少なくとも２つの色成分の各々をフィルタリングして、逐次的に複数の解像度からなる第１高周波画像を生成し、前記第１高周波画像を最も低い解像度から逐次的に統合して１つに統合された第２高周波画像を各色成分に対して生成する第１生成手段と、前記少なくとも２つの色成分のうちの第１の色成分の前記逐次的に生成された複数の解像度の第１高周波画像においてさらに前記第１の色成分をフィルタリングすることによって第３高周波画像を各解像度で生成し、前記第３高周波画像を最も低い解像度から逐次的に統合して１つに統合された第４高周波画像を生成する第２生成手段と、前記第１の色成分の前記１つに統合された第４高周波画像の各画素における値の大きさに基づいて、前記少なくとも２つの色成分のうちの第２の色成分の前記１つに統合された第２高周波画像の値の振幅を減衰する減衰手段と、原画像の前記第２の色成分から前記減衰された第２高周波画像を減算することによって、前記第２の色成分の補正画像を生成する第３生成手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
光源の周りの発生した回折フレアと任意の一般被写体像が重なり合った一般画像においても、回折フレア成分のみを適切に抽出して、高画質なフレア補正技術が提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態における画像処理装置としての制御装置を搭載するカメラの構成を例示するブロック図である。
【図２】画素位置の変化に応じた画素値の変動を例示する図である。
【図３】赤系およびシアン系の色相領域におけるＶ面の階調変換を例示する図である。
【図４】原画像の色相と彩度に応じて異なるＶ面が生成される様子を示す図である。
【図５】２次微分の統合エッジ成分Ｅ（ｘ，ｙ）の値毎の度数分布を表す図である。
【図６】フレア精錬処理の様子を示す図である。
【図７】フレア補正処理ブロックを示すブロック図である。
【図８】フレア補正処理手順を示すフローチャートである。
【図９】制御装置が画像処理を実行するためのコンピュータプログラム製品の提供形態を示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の一実施形態における画像処理装置としての制御装置１０３を搭載するカメラ１００の構成を例示するブロック図である。カメラ１００は、操作部材１０１と、撮像素子１０２と、制御装置１０３と、メモリカードスロット１０４と、モニタ１０５と、光学系１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【００１２】
撮像素子１０２は、ＣＭＯＳイメージセンサーなどによって構成される。撮像素子１０２は、回折格子レンズを含む光学系１０６により結像される被写体像を撮像する。撮像によって得られた原画像が、制御装置１０３によって撮像素子１０２から取得される。
【００１３】
制御装置１０３は、メモリ、およびその他の周辺回路により構成され、カメラ１００が行う撮影動作を制御する。制御装置１０３を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは揮発性のメモリであって、制御装置１０３が撮影処理や後述するフレア補正処理を行うためのプログラム実行時にプログラムを展開するためのワークメモリとして使用される。また、ＳＤＲＡＭは、データを一時的に記憶するためのバッファメモリとしても使用される。一方、フラッシュメモリは不揮発性のメモリであって、制御装置１０３が実行する上述したプログラムのデータや、プログラム実行時に読込まれる種々のパラメータなどが記録されている。
【００１４】
メモリカードスロット１０４は、記録媒体としてのメモリカードを挿入するためのスロットである。制御装置１０３は、撮影処理やフレア補正処理を行うことによって生成した画像ファイルを、メモリカードスロット１０４に挿入されているメモリカードへ書き込んで記録する。また、制御装置１０３は、メモリカードスロット１０４に挿入されているメモリカード内に記録されている画像ファイルを取得する。
【００１５】
モニタ１０５は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）である。モニタ１０５には、メモリカードに記録されている画像ファイルに基づく再生画像や、カメラ１００を設定するための設定メニューなどが表示される。また、使用者が操作部材１０１を操作してカメラ１００を撮影モードに設定すると、制御装置１０３は、撮像素子１０２から時系列で取得した画像の表示用画像データをモニタ１０５に出力する。これによってモニタ１０５にスルー画が表示される。
【００１６】
撮像素子１０２は単板式カラー撮像素子であって、その撮像面にはＲ（赤）、Ｇ（緑）、およびＢ（青）のカラーフィルタがＢａｙｅｒ配列にしたがって配置されている。すなわち、制御装置１０３が撮像素子１０２やメモリカードスロット１０４に挿入されているメモリカードから取得する画像データはＲＧＢ表色系で示されるものとし、この画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。
【００１７】
上述したように、制御装置１０３は、フラッシュメモリからフレア補正処理を行うためのプログラムを読み込んで実行することによって、撮像素子１０２やメモリカードスロット１０４に挿入されているメモリカードから取得する原画像に対するフレア補正処理を行う。フレア補正処理を行うためのプログラムによって行われるフレア補正処理のアルゴリズムの実施形態の具体例に入る前に、光学系１０６に用いられる回折格子を含むレンズで生じたフレアの性質について述べ、フレア補正アルゴリズムの基本概念について記述する。
【００１８】
＜回折フレアの性質＞
回折フレアの性質には大別して２種類の系統がある。１つはシアン系フレアであり、もう１つは赤系フレアである。回折格子の設計にもよるが、回折による輪帯成分の出方には概ねその二つに大別される。色相が０度近傍の値をとる赤と、色相が１８０度近傍の値をとるシアンとは、色相環の中でちょうど反対色の関係にある。
【００１９】
シアン系フレアは、例えば、ＨＩＤランプを付けた自動車のヘッドライトなどで出やすく、回折フレアの０次から２次項程度の低次の輪帯が光源の周りに局所的に固まって、塊状の明るい光球が光源の周りを覆い尽くす。このようなフレアは、ＲＧＢ面の内、Ｂ面とＧ面に主に出ている。信号機の青信号などにおいても同様な塊状の回折フレアが被り、青信号の周りのフードの形等が見えなくなるまで覆い尽くされる。
【００２０】
なお、緑フレアが街灯等の水銀灯ランプの周りに出やすい。緑フレアの出方はシアン系フレアの出方によく似ていて、低次の回折光が局所的に丸く現れやすい。緑フレアは主に、Ｇ面とＢ面にその輪帯の形が現れている。
【００２１】
赤系フレアは、例えば、普通の白熱電球の光源や、それを使った大衆車のヘッドライトなどの周りに出やすく、回折フレアは、５〜６次にも及ぶ幾本ものフレア輪帯が光源から非常に遠い範囲にまで亘って広がる。これは主にはＲ面に出ている。
【００２２】
なお、黄色系フレアも出方としては、似たような大輪帯が幾本にも亘って広域に出ることが多い。例えば、太陽を直接撮影すると、画像全面に亘って黄色や赤の大輪帯が広がる。黄色系フレアは、主にＲ面やＧ面に輪帯成分が出ている。
【００２３】
＜フレア補正の原理＞
上述で説明したフレア成分をよく観察すると、ＲＧＢ面の内、どれか１つの色面ではフレア輪帯が現れていないことがわかる。したがって、その事実を積極的に利用して画像補正を行う。もし仮に、ＲＧＢの何れかを参照してフレアの抑制された１つの明度面を作り得たと仮定する。これを仮にＶ面とする。そうした明度面を作ることができたならば、その明度面にはフレアの輪帯成分が含まれず、かつ画像構造を画素単位の精度まで分解しうる明度面ができていることになる。
【００２４】
したがって、フレアの生じたＲＧＢの各面は、そのＶ面（明度面）になぞらえるように補正するのがよい。すなわち、ＲＧＢ各色面内において、ある画素位置におけるＲ成分の画素値ｒ、Ｇ成分の画素値ｇ、Ｂ成分の画素値ｂのそれぞれの補正値ｒ’，ｇ’，ｂ’と局所平均値＜ｒ＞，＜ｇ＞，＜ｂ＞との間の比が、Ｖ面のその位置における画素値ｖと局所平均＜ｖ＞との比と相関を保つように、ＲＧＢ各色面の補正値ｒ’，ｇ’，ｂ’を求める。言い換えると、ＲＧＢ各色面の局所的な変動をＶ面の局所的な変動と同一の振る舞いをするように補正値ｒ’，ｇ’，ｂ’を求める。これは平均的な色を保ちつつ、画像構造をＶ面に合わせるということもできる。例えば、図２に示すように、画素位置の変化に応じたＶ面の画素値の変動が実線２１０で表されるように比較的なだらかであるのに対し、画素位置の変化に応じたＲＧＢ各色面の画素値の変動が破線２２０で表されるように比較的急激に増減を繰り返していたとする。この場合において、ＲＧＢ各色面の画素値の変動を、Ｖ面の局所的な変動と同一の振る舞いとなるように補正した結果、補正値ｒ’，ｇ’，ｂ’は、一点鎖線２３０で表されるように、Ｖ面の画素値に似た変動を示す。これを式で表すと、次式（１）のような補正を行うことになる。式（１）は、上から順に、ＲＧＢ各色面の補正式の例である。
【数１】
2015142357.tif 000003
【００２５】
＜＞は局所平均を行う演算を意味する。Ｒ面に生じているフレア輪帯の構造を消し去るには、＜ｒ＞の平滑化を行う範囲はフレア輪帯が発生している領域と発生していない領域が混合する程度の広さの平滑化を行う必要がある。通常、この範囲は広域の画像平滑化となる。
【００２６】
これを対数階調空間に移行すると、上述の演算は次式（２），（３），（４）のような和と差の演算で表すことができる。ただし、Ｒ＝ｌｏｇ（ｒ），Ｒ’＝ｌｏｇ（ｒ’），Ｇ＝ｌｏｇ（ｇ），Ｇ’＝ｌｏｇ（ｇ’），Ｂ＝ｌｏｇ（ｂ），Ｂ’＝ｌｏｇ（ｂ’），Ｖ＝ｌｏｇ（ｖ）である。また、係数αは０〜１の範囲の値をとり、α＝α（ｘ，ｙ）であり、画像の場所に依存した関数である。フレア補正を行う領域では、α＝１の値をとる。フレア補正を行わない領域では、α＝０の値をとる。
【数２】
2015142357.tif 000004
【数３】
2015142357.tif 000005
【数４】
2015142357.tif 000006
【００２７】
Ｒ面を例に説明すると、上記式（２）の補正項の第１項（Ｒ−＜Ｒ＞）は、原画像から平滑化画像を引き算して得られたＲ面のエッジ画像に対応する。式（２）に示すように、補正項の第１項をＲ面自身から減算することによってフレア輪帯の成分を消滅させ、その代わりにフレアのないＶ面で得られたエッジ画像に対応する補正項の第２項（Ｖ−＜Ｖ＞）を加算してエッジ回復する。
【００２８】
広域の平滑化によってエッジ構造を抽出する必要があるため、多重解像度表現を使うとよい。例えば、ラプラシアンピラミッド表現がある。他にもウェーブレット変換を使うこともできる。これらは何れも、原画像をフィルタリングしてダウンサンプリングされた所定周波数未満の低周波画像と所定周波数以上の高周波画像に分け、それを低周波画像に対して繰り返し行うことによって、最低解像度の低周波画像と各解像度の高周波画像の連なりによって、原画像を等価表現することにある。したがって、最低解像度の低周波画像をゼロに設定して、逆多重解像度変換を行うと、原画像のエッジを等価的に表した多重解像度統合エッジ成分が生成されることになる。そのように生成したＲＧＢ各色面やＶ面の多重解像度統合エッジ成分を、上式（２），（３），（４）の補正項の括弧の中の項が表すと考えることができる。
【００２９】
上記ＲＧＢ空間での式を、色空間変換して輝度と色差で表されたＹＣｂＣｒ空間に移行すると、上記式（２），（３），（４）は等価的に次式（５），（６），（７）のように表すことができる。ただし、係数βは０〜１の範囲の値をとり、β＝β（ｘ，ｙ）であり、画像の場所に依存した関数である。輝度成分に対する補正領域を限定する関数である係数αと色差成分に対する補正領域を限定する関数である係数βは同一でなくても、それぞれに適した関数を設定すればよいので、別の定数を用いた。
【数５】
2015142357.tif 000007
【数６】
2015142357.tif 000008
【数７】
2015142357.tif 000009
【００３０】
したがって、色差成分の補正画素値を求める際には、式（６），（７）に示すように、色差成分Ｃｂ，Ｃｒから色差面の等価エッジ成分（Ｃｂ−＜Ｃｂ＞），（Ｃｒ−＜Ｃｒ＞）を減算することによって、フレアの色輪帯を平均色に近づける操作のみを施す。輝度成分の補正画素値を求める際には、式（５）に示すように、輝度成分Ｙから等価エッジ（Ｙ−＜Ｙ＞）を減算することによって、輝度面に生じた輪帯成分を消滅させつつ、フレアのない明度情報（Ｖ−＜Ｖ＞）を参照して画像構造のエッジ回復を図る。
【００３１】
＜Ｖ面の生成法＞
次に上述の説明で仮定してきたフレアの抑制された明度面（Ｖ面）を生成する方法について述べる。まず初めに、各画素において存在する（Ｒ，Ｇ，Ｂ）値の３つの色成分値を値の大きさの順に並び替えて、式（８）に示すように、最大値面Ｖｍａｘ、中央値面Ｖｍｅｄ、最小値面ＶｍｉｎをＲＧＢ面から作る。こうして生成された最大値面、中央値面、最小値面はそれぞれが像構造としての不連続性はなく、自然な画像構造面として認知することができる。したがって、画像構造を保存したエッジ構造の抽出が可能な面としての利用価値が生じる。
【数８】
2015142357.tif 000010
【００３２】
このように値の並び替えを行うと、最大値面にはフレア成分が集中的に集まってくる。他方、最小値面には基本的にフレアのない面が生成される。一方、中央値面には、フレアの種類によってはフレアのないきれいな輝度構造が現れている場合もあれば、フレアの構造が現れている場合もある。一般に、赤系フレアなどの単色が主体のフレアには中央値面にはフレアは現れず、シアン系フレアなどの２色が主体のフレアには中央値面にもフレアが現れている。したがって、画像構造が赤系の領域では中央値面を利用して明度成分を生成することができるが、シアン系の領域では中央値面を利用して明度成分を生成することができない。
【００３３】
輝度の構造という視点から考えると、ＨＳＶ空間のＶ面がＶｍａｘを使用しているように、明るい面の方が輝度情報を多く含んでいると考えられる。しかしながら、最大値面にはフレアが集まってくるので、フレア補正の目的にはあまり多くを参照することができない。その意味では、次に重要になるのは中央値面の輝度構造である。ゆえに、赤系の色相領域では中央値面を参照してＶ面を生成するのがよい。一方のシアン系の色相領域ではフレアが生じていないのは最小値面だけである。したがって、最小値面を最も支配的に参照しながらＶ面を生成する。
【００３４】
シアン系の色相領域で参照する最小値面は最も暗い面であり、画像の輝度構造を表さない場合も存在しうる。このような状況に対応するため、シアン系の色相領域では、最小値面と共に最大値面も参照し、その平均値によってＶ面を生成するものとする。ここで、フレアの発生している最大値面を導入するには工夫が必要である。フレア補正の原理の節で説明したように、エッジ回復を行うために抽出するのは、Ｖ面そのままの値の輝度構造ではなく、Ｖ面から抽出したエッジ構造、すなわちコントラスト情報である。フレアは、最大値面の中でも最も階調が明るい領域に集まっていると考えられ、その他の階調領域では実在する画像構造を表していると考えられる。したがって、フレアが集まっている階調域をコントラスト圧縮して、エッジ成分としてほとんど抽出されないようにし、実在エッジのみのコントラストが最大値面から抽出されるように最大値面に対して階調変換を行う。
【００３５】
一方のフレア発生源となった光源領域のコントラスト構造は、最大値面からは弱くしか抽出されないので、その領域のフレアのない状態でコントラストを回復する必要がある。そのために、フレアの発生していない最小値面を最大値面とは逆のガンマ変換を行って、最大値面で抽出できなかった階調領域のコントラストを最小値面から挽回するように増幅して抽出する。一方の最大値面でコントラストが強調される領域の実在エッジが多い部分の画像構造は、最小値面では逆に弱められたコントラストの状態で抽出されるようにすれば、互いに相殺し合って、全階調域で適正なレベルのコントラストを保った、輝度構造がＶ面から抽出されうる。
【００３６】
図３は、赤系およびシアン系の色相領域におけるＶ面の階調変換を例示する図である。赤系の色相領域におけるＶ面に用いられる中央値面Ｖｍｅｄでは階調変換が行われず、これを換言すると、実線３１０で表されるように、中央値面Ｖｍｅｄでは１倍の線形変換が行われたともいえる。シアン系の色相領域におけるＶ面に用いられる最大値面Ｖｍａｘでは、破線３２０で表される平方根型階調特性を有するガンマ変換によって、フレアが集まっている高階調域でのコントラストが圧縮される。高階調域でのコントラストが圧縮されると、その領域に含まれる実在エッジも弱められるので、この実在エッジを回復するために、フレアが少ない最小値面Ｖｍｉｎもシアン系の色相領域におけるＶ面に用いられる。この最小値面Ｖｍｉｎでは、一点鎖線３３０で表される平方型階調特性を有するガンマ変換によって高階調域でのコントラストが増幅され、強調された実在エッジを取り出すことが可能となる。
【００３７】
したがって、Ｖ面の生成方法は、次式（９），（１０）の通りとなる。赤系の色相領域におけるＶ面は式（９）にしたがって生成され、シアン系の通常の色相領域におけるＶ面は式（１０）にしたがって生成される。ただし、各々の明度成分（明るさ変数）Ｖの値は［０，１］の範囲に規格化されているものとする。
【数９】
2015142357.tif 000011
【数１０】
2015142357.tif 000012
【００３８】
式（１０）においては、最大値面に対して平方根型の階調変換を行い、最小値面に対して平方型の階調変換を行う。しかし、実験的に調べてみると、原画像中のシアン系の色相領域で特に彩度が所定値以上の高彩度部の領域では、この階調変換を逆転させた方がフレア成分をより抑制したＶ面を生成しうることが判明しているので、その高彩度部の領域でのＶ面の生成には式（１１）を用いる。式（１０）は、原画像中のシアン系の色相領域で彩度が所定値未満の領域で用いられる。所定値は、例えば２５６階調において２１０±１０である。
【数１１】
2015142357.tif 000013
【００３９】
ゆえに、フレアの抑制されたＶ面を生成するために、原画像の色相と彩度に応じて、その生成法を変える。その様子を図４にまとめる。図４において、フレアは、色相が０度近傍、すなわち０〜９０度程度および２７０〜３６０度程度の赤系、および色相が１８０度近傍、すなわち９０〜２７０度程度のシアン系に大まかに２分類され、Ｖ面生成法はそれに応じて切り替えているだけであるので、フレアのない明度面の生成法としては一般性の高い概念である。図４において、例えば緑フレアや黄色系フレアについて赤系フレアやシアン系フレアとは異なるフレア補正が行われる等の場合において、赤系フレアの色相は０〜６０度程度および３００〜３６０度程度、ならびにシアン系フレアは色相が１２０〜２４０度程度であることとしてもよい。
【００４０】
なお、上述のような大別はできないが、黄色系フレアの大輪帯構造では、式（１２）によれば、効果的にフレア輪帯の消滅した明度面を生成しうることも実験的には確認している。黄色系フレアについては、式（１２）を式（９）と比較すると、赤系フレアの半分程度のフレア輪帯がＲ面に生じるとともに、残り半分程度のフレア輪帯がＧ面においてＲ面とは逆位相で発生している。
【数１２】
2015142357.tif 000014
【００４１】
＜フレア精錬＞
式（５）〜（７）では、フレア補正を行う箇所について、領域単位の関数である係数α、βを設定する式を提示した。ここでは、色差成分に対する補正領域特定関数である係数βを具体的に実現する考え方について述べる。フレア補正において、輝度成分はＶ面によるエッジ回復機能が存在するが、色差成分はその機能がないため、色差面から抽出されたエッジ成分からフレア成分だけを残し、実在エッジ成分は排除する機能を入れないと、色が抜けてしまう弊害が発生する。色差面におけるフレア成分と実在エッジ成分との見分け方について、ここで述べる。
【００４２】
通常、回折フレア成分は、画像の実在エッジ構造に比べて非常に緩やかに変化する。この性質を利用すると、原画像を等価的に表した統合エッジ成分Ｅ（ｘ，ｙ）に対し、エッジ強度が大きければ実在エッジである可能性が非常に高い。一方、エッジ強度が小さければフレア成分の可能性が高い。したがって、抽出されたエッジ成分に対してコアリング処理をしてやれば、実在エッジ成分を排除することができる。すなわち、コアリング処理によって、原画像を等価的に表した統合エッジ成分Ｅ（ｘ，ｙ）のエッジ強度（統合エッジ成分の高周波画像の値の振幅）を減衰させる。多重解像度変換で生成する高周波画像は通常２次微分のエッジ検出フィルタを用いて生成する。ラプラシアンピラミッドの名前もそこに由来する。したがって、このコアリング処理を、２次微分の統合エッジ成分Ｅ（ｘ，ｙ）によるフレア成分を残す精錬処理という意味で、２次のフレア精錬と呼ぶことができる。フレア精錬とは、エッジ成分から実在エッジを取り除いてフレアを取り出すことをいう。式（１３）に示す２次のフレア精錬によってフレアとしてエッジ成分Ｅ’（ｘ，ｙ）が取り出される。
【数１３】
2015142357.tif 000015
【００４３】
式（１３）に示すフレア精錬のコアリングによって、実在エッジとフレアが識別される様子を図５に示す。上述したように、画素位置の変化に対してフレアは実在エッジよりも非常に緩やかに変化する。そのため、フレアに対応する画素においては、２次微分の統合エッジ成分Ｅ（ｘ，ｙ）の値が０または０に近い値を取りやすい。すなわち、フレアが発生している場合、図５に示すように、２次微分の統合エッジ成分Ｅ（ｘ，ｙ）の値が０または０に近い値となる画素の数が多くなる。フレアに対応する画素における統合エッジ成分Ｅ（ｘ，ｙ）の値のゆらぎ幅σ２ｎｄの設定値は、予めサンプル画像を用いて決定される値であり、通例大きな値をとる。ゆらぎ幅σ２ｎｄの値が小さ過ぎるとフレア成分の一部がエッジ成分Ｅ’（ｘ，ｙ）に含まれなくなってしまい、ゆらぎ幅σ２ｎｄの値が大き過ぎると実在エッジ成分の一部がエッジ成分Ｅ’（ｘ，ｙ）に含まれることとなってしまう。２５６階調で画像が表されている場合は、例えば、その１／４程度の±６４階調幅のゆらぎ値を設定する。つまり、２次微分で抽出されたフレアのゆらぎ幅±σ２ｎｄの値は±６４である。
【００４４】
上述した式（１３）による２次のフレア精錬を経たエッジ成分Ｅ’（ｘ，ｙ）の中には、設定したゆらぎ幅より小さい振幅の実在エッジ（コントラストの小さい実在エッジ）が、フレア成分と一緒に残存してしまう可能性がある。そのまま減算処理をすると、弊害抑制対策はなされるものの、弊害が残る結果となる。
【００４５】
次に考えるべきは、フレアが緩やかに変化して、エッジ検出されにくいという性質を更に積極的に使う方法である。すなわち、多重解像度変換によって生成された各解像度における高周波画像に対して、もう一度エッジ抽出を行うと、実在エッジの細かい構造はエッジ抽出されるのに対して、フレア成分はハイパスのハイパスによって抽出がより一層されにくくなる。したがって、ハイパスのハイパス、すなわち４次微分エッジを参照してもう一度、２次微分エッジに対するコアリングを行うことによって、フレア精錬をする。これは４次のフレア精錬と呼ぶこともできる。式（１３）によって得られたエッジ成分Ｅ’（ｘ，ｙ）を新たな統合エッジ成分Ｅ（ｘ，ｙ）として、この新たな統合エッジ成分Ｅ（ｘ，ｙ）を用いた式（１４）に示す４次のフレア精錬によって、新たにフレアとしてエッジ成分Ｅ’（ｘ，ｙ）が取り出される。∇２Ｅ（ｘ，ｙ）はＥ（ｘ，ｙ）の２次微分値を表している。
【数１４】
2015142357.tif 000016
【００４６】
４次微分によって抽出されるフレアのゆらぎ幅σ４ｔｈは、２次微分で抽出されたフレアのゆらぎ幅σ２ｎｄよりも小さく設定することができる。これはすなわち、フレア精錬をより正確に実行して、実在エッジとフレアの分離能力を上げたことに相当する。４次微分によって抽出されるフレアのゆらぎ幅±σ４ｔｈは、通常、式（１５）に示すように、２次微分で抽出されたフレアのゆらぎ幅±σ２ｎｄの値±６４の半分程度、すなわち±３２に設定することができる。
【数１５】
2015142357.tif 000017
【００４７】
また、シアン系のフレアと比べて赤系のフレアは大面積に広がるために個々の輪帯成分のコントラストは小さいという事実も利用することができる。そうすると、赤系の色相においては、より一層実在エッジとフレアとの区別がつくようになり、画像構造の保存を図ることができる。したがって、ゆらぎ幅σ２ｎｄとσ４ｔｈを色相の関数として設定するのがよい。このフレアの性質の違いは、ゆらぎ幅の設定におよそ半分程度の違いをもたらす。すなわち、式（１６）に示すように、赤系のフレアのゆらぎ幅σ２ｎｄ（Ｒ）はシアン系のフレアのゆらぎ幅σ２ｎｄ（Ｃｙ）の半分程度であり、式（１７）に示すように、赤系のフレアのゆらぎ幅σ４ｔｈ（Ｒ）はシアン系のフレアのゆらぎ幅σ４ｔｈ（Ｃｙ）の半分程度である。
【数１６】
2015142357.tif 000018
【数１７】
2015142357.tif 000019
【００４８】
２次のフレア精錬と４次のフレア精錬の様子を図６に示す。考え方としては、６次のフレア精錬、８次のフレア精錬と続けていくことができる。
【００４９】
ところで、逆に０次のフレア精錬という考え方も導入することができる。０次は、エッジ成分ではなく、画素値自身のことを表す。すなわち、明るさレベルに応じて、フレア補正を行う強度を設定する。これは本来、式（５）〜（７）の係数βに導入した考え方そのものである。色差成分の０次フレア精錬を行うマップ、すなわち、色差成分を保護すべき領域は、Ｖｍｉｎ面を参照するとよい。なぜならば、Ｖｍｉｎ面には回折フレアは現れにくく、カラフルなネオン等であっても最小値面の値は小さい可能性が高く、その暗い領域というものは画像構造を保護すべき領域と考えられるからである。したがって、色差成分の０次のマップをβ（０）で表すと、次式（１８）となる。すなわち、β（０）はＶｍｉｎの関数である。
【数１８】
2015142357.tif 000020
【００５０】
同様の考えを輝度成分の０次フレア精錬を行うマップとして導入することもできる。輝度成分を保護すべき領域は、例えばＶｍａｘ面を参照するとよい。なぜならば、Ｖｍａｘ面には回折フレアの補正すべき領域が現れているからである。したがって、輝度成分の０次のマップをα（０）で表すと、次式（１９）となる。すなわち、α（０）はＶｍａｘの関数である。
【数１９】
2015142357.tif 000021
【００５１】
図７および図８を用いて、本実施形態におけるフレア補正アルゴリズムの具体例を説明する。図７はフレア補正処理ブロックを示すブロック図である。図７に示すフレア補正処理ブロックの各処理ブロックは、制御装置１０３において機能的に実現される。図８はフレア補正処理手順を示すフローチャートである。図８に示すフレア補正処理手順の各ステップは、制御装置１０３によって実行される。
【００５２】
１）補正対象原画像入力（図７のブロックＢ７０１および図８のステップＳ８０１）
光学系１０６によって結像された像が撮像素子１０２によって撮像されて得られる画像に対する絵づくり色処理の完了したユーザーガンマ補正のなされた原画像を、補正対象画像として入力する例を説明する。例えば、カメラが出力するＪＰＥＧ画像等がこれに相当する。
【００５３】
２）階調変換（図７のブロックＢ７０２および図８のステップＳ８０２）
２−１）逆ガンマ変換
入力された原画像のユーザーガンマを解いて線形階調のデータに戻す。ｓＲＧＢ規定のガンマ特性を仮定し、その逆ガンマ特性の階調変換を行うことによって、線形階調のＲＧＢデータを作る。
【００５４】
２−２）対数ガンマ変換
線形階調のＲＧＢデータの各々に以下の式（２０）に示すような対数ガンマ変換を施し、作業用階調空間を対数階調空間に移行する。ただし、ｋは定数で対数特性を調節するパラメータである。ｋの値は１より十分に大きい値に設定する。例えば１万のオーダーである。
【数２０】
2015142357.tif 000022
【００５５】
式（２０）において、階調変換を行うときの変数ｔは全てｔ＝［０，１］の範囲で規格化して定義する。すなわち、ｔ＝Ｒ，Ｇ，Ｂの値をとるが、それぞれのＲＧＢ値は［０，１］の範囲に再スケールされているものとする。なお、対数階調空間への移行処理は必須ではないので、以降の処理を線形階調のままで行ってもよい。
【００５６】
３）Ｖ面の生成（図７のブロックＢ７０３〜Ｂ７０５、ならびに図８のステップＳ８０３）
３−１）ＨＳＶＶＶ面の作成
フレアの抑制された１つの明度面（Ｖ面）を生成するために、式（２１）、（２２）および（２３）に示すように、ＲＧＢ値を大きさの順に並び替えたＶｍａｘ，Ｖｍｅｄ，Ｖｍｉｎの各面を生成する。
【数２１】
2015142357.tif 000023
【数２２】
2015142357.tif 000024
【数２３】
2015142357.tif 000025
【００５７】
更に、式（２４）および（２５）に示すように、１つのＶ面に統合するときに参照する色相Ｈ面と彩度Ｓ面を生成する。これはＨＳＶ空間の定義と同じである。
【数２４】
2015142357.tif 000026
【数２５】
2015142357.tif 000027
【００５８】
３−２）Ｖ面のガンマ変換
Ｖｍａｘ，Ｖｍｉｎの各面に式（２６）に示すΓ変換と、式（２７）に示すΓ−１変換との２種類のガンマ変換を行う。Γは平方根型階調特性であり、Γ−１は平方型階調特性である。Γの原点における微分が発散しないように、少し変形した関数で定義する。定数εの値は１よりも十分小さな値である。
【数２６】
2015142357.tif 000028
【数２７】
2015142357.tif 000029
【００５９】
こうして求めたガンマ変換後のＶｍａｘ，Ｖｍｉｎ面を次式（２８）、（２９）、（３０）および（３１）のように表す。
【数２８】
2015142357.tif 000030
【数２９】
2015142357.tif 000031
【数３０】
2015142357.tif 000032
【数３１】
2015142357.tif 000033
【００６０】
３−３）Ｖ面の合成
３−３−１）赤系色相のＶ面生成
色相が０度近傍（０〜９０度程度および２７０〜３６０度程度）の値をとる赤系色相で用いるＶ面（ＶＲ）を定義する。これには式（３２）に示すようにＶｍｅｄを使う。
【数３２】
2015142357.tif 000034
【００６１】
３−３−２）シアン系色相のＶ面生成
色相が１８０度近傍（９０〜２７０度程度）の値をとるシアン系色相については、低彩度から中彩度、およびかなりの高彩度域に渡る彩度が所定値未満の通常彩度領域で使用するＶａと、彩度が所定値以上の超高彩度域で使用するＶｃとを次式（３３）および（３４）のように定義する。
【数３３】
2015142357.tif 000035
【数３４】
2015142357.tif 000036
【００６２】
式（３３）および（３４）を彩度に関して統合するために、加重合成してシアン系色相で用いるＶ面（ＶＣｙ）を、式（３５）に示すように定義する。式（３５）中の係数ηは、式（３６）で表され、［０，１］の範囲の値をとる。ここに、加重合成する係数ηにはフェルミ分布関数を採用することによって、ＶａとＶｃとを緩やかに接続する。各画素でとる彩度値Ｓに対して、設定値ＳＦ±ＳＴ付近でＶａとＶｃの切り替えを行う。
【数３５】
2015142357.tif 000037
【数３６】
2015142357.tif 000038
【００６３】
３−３−３）色相に関するＶ面合成
上記求まった赤系色相で主に用いるＶ面（ＶＲ）とシアン系色相で主に用いるＶ面（ＶＣｙ）とを、式（３７）に示すように、加重合成して１つの明度面としてのＶ面に統合する。係数ξは［０，１］の範囲の値をとる。
【数３７】
2015142357.tif 000039
【００６４】
式（３７）に示す加重合成の際に用いられる係数ξとして、ＶＲとＶＣｙとを緩やかに接続するために、式（３８）および式（３９）で表される２通りを示す。式（３８）に示されるように１つ目は直線的に変化し、式（３９）に示されるように２つ目はローレンチャン（共鳴曲線と同じ関数）である。通常、Ｈ０＝１８０（Ｃｙ）、Ｈｗ＝９０の値をとる。ローレンチャンの場合は、Ｈ０±Ｈｗの区間で値０をとり、その外側では１となる。
【数３８】
2015142357.tif 000040
【数３９】
2015142357.tif 000041
【００６５】
４）ＹＣｂＣｒ空間への変換（図７のブロックＢ７０６および図８のステップＳ８０４）
フレア補正を実際に行う空間として輝度・色差空間へ移行する。ＲＧＢ空間からＹＣｂＣｒ空間への変換を行う。式（４０）に示すように、変換式はＪＰＥＧ規格の行列を用いる。
【数４０】
2015142357.tif 000042
【００６６】
上記式（４０）を略して書けば、Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ，Ｃｂ＝（１０／９）＊（Ｂ−Ｙ）／２，Ｃｒ＝（１０／７）＊（Ｒ−Ｙ）／２と表すこともできる。
【００６７】
５）Ｙ，Ｖ，Ｃｂ，Ｃｒ面のエッジ抽出（図７のブロックＢ７０７〜Ｂ７１２および図８のステップＳ８０５）
５−１）多重解像度変換
ＹＣｂＣｒ、及びＶの各色面をそれぞれ多重解像度変換を行って、逐次的に生成される最低解像度の所定周波数未満の低周波画像と複数の解像度からなる所定周波数以上の高周波画像の連なりによって等価表現する。多重解像度変換として代表的なものにラプラシアンピラミッド表現とウェーブレット変換があり、どちらを用いてもよい。ウェーブレット変換の場合の具体的処理方法については、次の処理５−２）の統合エッジの作り方まで、例えば、米国特許出願公開２０１０／００７４５２３に詳述されていることから、公知であるので、ここでは述べない。ラプラシアンピラミッドの例について述べておく。
【００６８】
図６に示す例において、原画像Ｇ０を５×５程度のローパスフィルタ（ガウシアンぼかし）を掛けてエイリアジング成分を取り除き、１／２解像度にサブサンプリングし、それを一段解像度の低い低周波画像Ｇ１とする。その低周波画像を２倍拡大し、原画像Ｇ０との差分を先ほどの低周波画像に対応する所定周波数以上の高周波画像Ｌ１とする。この処理を繰り返すと、低周波画像Ｇｉ＋１と低周波画像Ｇｉとの差分として高周波画像Ｌｉが得られ、最低解像度の低周波画像Ｇ６と各解像度の高周波画像Ｌ５〜Ｌ０の連なりが生成される。これによって原画像が等価表現される。解像度の段数は、原画像Ｇ０の画素数と対応して決定され、１千万画素程度であれば、解像度の段数は通常、５〜６段はとる。すなわち、ｉ＝０〜５または０〜６である。
【００６９】
５−２）逆多重解像度変換によるエッジ統合（２次微分エッジ）
図６に示すように、処理５−１）において多重解像度変換された画像群の内、最低解像度の低周波画像Ｇ６の画素値を全てゼロに設定した上で、残りの各解像度の高周波画像Ｌ５〜Ｌ０のみを逆多重解像度変換することによって、多重解像度統合エッジ画像Ｅ５（２）〜Ｅ０（２）を生成する。こうして得られた統合エッジＥ０（２）には、原画像Ｇ０に含まれる回折フレアの輪帯成分がそのまま表現されている。高周波画像Ｌｉは低周波画像Ｇｉと低周波画像Ｇｉ−１との差分として得られるので、高周波画像Ｌ５〜Ｌ０を生成したハイパスフィルタは２次微分である。したがって、統合エッジＥ０（２）も２次微分を原画像Ｇ０の画像全体で代表した記述である。ラプラシアン記号△を用いて、各色面の統合エッジＥ０（２）に対応する統合エッジ△Ｙ，△Ｖ，△Ｃｂおよび△Ｃｒを次式（４１）〜（４４）のように表す。
【数４１】
2015142357.tif 000043
【数４２】
2015142357.tif 000044
【数４３】
2015142357.tif 000045
【数４４】
2015142357.tif 000046
【００７０】
なお、式（４１）〜（４４）において、ラプラシアン記号△の代わりに２次微分を表す記号∇２が用いられてもよい。局所平均を表す＜＞の演算は、多重解像度変換を用いなくても巨大なガウスぼかしフィルタを実解像度のままで掛けても得られる。
【００７１】
５−３）多重解像度ハイパス面からのエッジ抽出
図６に示すように、処理５−１）において多重解像度変換して求まった各解像度の高周波画像Ｌ５〜Ｌ０の連なりの各々に対して、式（４５）〜（４８）に示すように、２次微分のエッジフィルタを掛けてハイパス面からハイパス成分、すなわち４次微分のエッジｅ５〜ｅ０が抽出される。エッジフィルタは、元画像である高周波画像Ｌ５〜Ｌ０に５×５のガウスぼかしを掛けて元画像から引き算するとよい。
【数４５】
2015142357.tif 000047
【数４６】
2015142357.tif 000048
【数４７】
2015142357.tif 000049
【数４８】
2015142357.tif 000050
【００７２】
５−４）逆多重解像度変換によるエッジ統合（４次微分エッジ）
図６に示すように、４次微分のエッジｅ５〜ｅ０についても同様に統合エッジＥ５（４）〜Ｅ０（４）を生成する。ラプラシアン記号△を用いて、各色面の統合エッジＥ０（４）に対応する統合エッジ△（△Ｙ），△（△Ｖ），△（△Ｃｂ）および△（△Ｃｒ）を次式（４９）〜（５２）のように表す。統合エッジ△（△Ｙ），△（△Ｖ），△（△Ｃｂ）および△（△Ｃｒ）は、∇２（∇２Ｙ），∇２（∇２Ｖ），∇２（∇２Ｃｂ）および∇２（∇２Ｃｒ）と同じ意味を表す。
【数４９】
2015142357.tif 000051
【数５０】
2015142357.tif 000052
【数５１】
2015142357.tif 000053
【数５２】
2015142357.tif 000054
【００７３】
６）Ｃｂ，Ｃｒエッジのフレア精錬（図７のブロックＢ７１３〜Ｂ７１５およびＢ７１７、ならびに図８のステップＳ８０６）
６−１）４次のフレア精錬
原画像を等価表現した色差面の２次微分の統合エッジからエッジを排除し、フレアだけを残すフレア精錬を行う。４次微分のエッジを参照した４次のフレア精錬を行う。自分自身の色面を参照する自己精錬の他に、他の色面を参照する相互精錬の考え方も導入することができる。これによって、フレアが緩やかに変化するという特徴をエッジと区別するためのあらゆる情報を用いて導き出すことができる。Ｃｒ面のフレア精錬の式（５３）〜（５５）だけを以下に示す。Ｃｂ面も同様である。自己精錬としては、式（５３）に示す演算が行われる。相互精錬は行われなくてもよいが、相互精錬も行われる場合、式（５４）および（５５）に示す演算が行われる。なお、左辺のプライム記号’、すなわち補正された統合エッジを次の式の右辺に順に代入していくものとする。そのときの右辺のプライム記号は省略している。また、式（５３）〜（５５）で表される４次精錬をスキップしてもよい。
【数５３】
2015142357.tif 000055
【数５４】
2015142357.tif 000056
【数５５】
2015142357.tif 000057
【００７４】
ここにゆらぎ幅σ４ｔｈ＿Ｃとσ４ｔｈ＿Ｙの値は同程度の値をとる。ただし、式（１６）および（１７）を用いて説明したように、赤系のフレアのゆらぎ幅はシアン系のフレアのゆらぎ幅の半分程度である。また、例えば式（４０）に示すＹＣｂＣｒ変換の定義式による増幅ゲイン係数の差は考慮する必要がある。
【００７５】
６−２）２次のフレア精錬
２次のフレア精錬についても４次のフレア精錬と同様に定義する。Ｃｂ，Ｃｒ成分の内、Ｃｒ成分のみの式（５６）〜（５８）を示す。自己精錬としては、式（５６）に示す演算が行われる。相互精錬は行われなくてもよいが、相互精錬も行われる場合、式（５７）および（５８）に示す演算が行われる。左辺のプライム記号’、すなわち補正された統合エッジを次の式の右辺に順に代入していくものとする。そのときの右辺のプライム記号は省略している。なお、式（５６）〜（５８）で表される２次精錬では、上述した４次のフレア精錬後の値が用いられることが好ましいが、こうした２次精錬をスキップしてもよい。
【数５６】
2015142357.tif 000058
【数５７】
2015142357.tif 000059
【数５８】
2015142357.tif 000060
【００７６】
ここにゆらぎ幅σ２ｎｄ＿Ｃとσ２ｎｄ＿Ｙの値は同程度の値をとる。その差異は、４次のフレア精錬の注意と同じである。すなわち、式（１６）および（１７）を用いて説明したように、赤系のフレアのゆらぎ幅はシアン系のフレアのゆらぎ幅の半分程度である。式（１５）を用いて説明したように、４次微分で抽出されたフレアのゆらぎ幅σ４ｔｈ＿Ｃおよびσ４ｔｈ＿Ｙは、２次微分で抽出されたフレアのゆらぎ幅σ２ｎｄ＿Ｃおよびσ２ｎｄ＿Ｙの半分程度である。また、例えば式（４０）に示すＹＣｂＣｒ変換の定義式による増幅ゲイン係数の差は考慮する必要がある。
【００７７】
６−３）０次のフレア精錬
Ｖｍｉｎ面を参照して色差成分のフレア補正除外域を特定する。０次のフレア精錬マップβ（ｘ，ｙ）を次のように定義する。すなわち、Ｖｍｉｎ（ｘ，ｙ）の明るさに基づいてβは［０，１］の範囲の値を返す。βの定義は、式（６）、（７）、（１８）と同じで、フレア補正を行う箇所では１となり、フレア補正を行わない箇所では０となる。
【数５９】
2015142357.tif 000061
【００７８】
定数ＶＦ１／２±ＶＴ１／２近辺で０と１の切り替えが行われる。ＶＴ１／２＝０のときはステップ関数のように切り替わるので、ＶＴ１／２≠０であることが好ましい。また、最小値面Ｖｍｉｎの明るさが極めて暗い場合にはフレア補正が行われないことが好ましい。したがって、ＶＦ１／２の値は、通常フレアが目立たないほどの暗いレベルの値をとる。ただし、対数階調空間で作業しているので、その値は暗部であっても大きな値をとる。２５６階調の画像の場合、例えばＶＦ１／２＝１５０であって、かつＶＴ１／２は１０程度の値である。式（５９）によって得られる係数βを用いた０次のフレア精錬の演算は、各画素について、次式（６０）および（６１）によって行われる。式（６０）および（６１）で表される０次精錬では、上述した４次または２次のフレア精錬後の値が用いられることが好ましい。なお、式（６０）および（６１）は、式（６）および（７）と等価である。
【数６０】
2015142357.tif 000062
【数６１】
2015142357.tif 000063
【００７９】
７）Ｙ，Ｖエッジのフレア精錬（図７のブロックＢ７１６およびＢ７１７、ならびに図８のステップＳ８０７）
７−１）０次のフレア精錬
係数αを用いた０次のフレア精錬の演算は、各画素について、次式（６２）および（６３）によって行われる。
【数６２】
2015142357.tif 000064
【数６３】
2015142357.tif 000065
【００８０】
式（６２）および（６３）における係数αについて３つの考えられる例として以下のｉ）〜ｉｉｉ）を示しておく。ｉｉ）またはｉｉｉ）の場合は、各画素についてそれぞれ次式（６４）または（６５）の演算を行う。
【００８１】
ｉ）処理なし（α＝０）
【００８２】
ｉｉ）Ｖｍａｘ面による輝度成分のフレア補正除外域特定その１
【数６４】
2015142357.tif 000066
【００８３】
ｉｉｉ）Ｖｍａｘ面による輝度成分のフレア補正除外域特定その２
式（６５）において、定数ＶＦ２±ＶＴ２近辺で０と１の切り替えが行われ、その値は係数βの切り替えと同程度である。
【数６５】
2015142357.tif 000067
【００８４】
８）フレア補正（図７のブロックＢ７１８および図８のステップＳ８０８）
式（６６）〜（６８）に示すように、原画像を等価表現した統合エッジ成分からフレア成分を精錬して得られたエッジ成分△Ｙ’，△Ｃｂ’および△Ｃｒ’を原画像の色成分Ｙ，ＣｂおよびＣｒからそれぞれ減算することによって、フレア補正を実行する。色差成分に関して、式（６７）および（６８）は式（６）および（７）に対応する。輝度成分に関しては、まだエッジ回復がされていない段階であるため、式（６６）は、式（５）と比較すると、右辺にエッジ回復成分△Ｖ’が欠けている。
【数６６】
2015142357.tif 000068
【数６７】
2015142357.tif 000069
【数６８】
2015142357.tif 000070
【００８５】
９）逆色空間変換（図７のブロックＢ７１９および図８のステップＳ８０９）
Ｙ’Ｃｂ’Ｃｒ’面をフレア補正されたＲＧＢ面へ逆変換する。これにより、Ｒ’，Ｇ’，Ｂ’が生成されたものとする。
【００８６】
１０）エッジ回復（図７のブロックＢ７２０および図８のステップＳ８１０）
式（６９）〜（７１）に示すように、ＲＧＢ各色面におけるＲ’，Ｇ’，Ｂ’のそれぞれに対してエッジ回復を行って、Ｒ’’，Ｇ’’，Ｂ’’が得られる。なお、式（６９）〜（７１）における左辺のＲ’’，Ｇ’’，Ｂ’’は、上述した式（２）〜（４）における３つの色成分の補正画素値Ｒ’，Ｇ’，Ｂ’に対応する。
【数６９】
2015142357.tif 000071
【数７０】
2015142357.tif 000072
【数７１】
2015142357.tif 000073
【００８７】
１１）逆階調変換（図７のブロックＢ７２１および図８のステップＳ８１１）
１１−１）逆対数ガンマ変換
処理２−２）で行われた対数ガンマ変換の逆変換を行う。
【００８８】
１１−２）ガンマ変換
処理２−１）で行われた逆ガンマ変換の逆変換を行う。
【００８９】
１２）補正画像出力（図７のブロックＢ７２２および図８のステップＳ８１２）
回折フレアが補正された画像を出力する。
【００９０】
以上説明した本実施形態における画像処理装置としての制御装置１０３は、以下のような作用および効果を有する。
（１）制御装置１０３は、各画素が３つの色成分で表される原画像Ｇ０を取得する。制御装置１０３は、各画素毎に３つの色成分の値を大きさの順に並び替えて、少なくとも最大値面Ｖｍａｘと最小値面Ｖｍｉｎと中央値面Ｖｍｅｄを生成するとともに、少なくとも最大値面Ｖｍａｘと最小値面Ｖｍｉｎに対して平方根型階調特性のガンマ変換および平方型階調特性のガンマ変換を施し、ガンマ変換された最大値面Ｖｍａｘと最小値面Ｖｍｉｎ、及び中央値面Ｖｍｅｄの少なくとも１つに基づいて１つの明度成分Ｖを生成する。制御装置１０３は、３つの色成分の補正対象画素において、３つの色成分の補正画素値Ｒ’，Ｇ’およびＢ’と３つの色成分の局所平均値＜Ｒ＞，＜Ｇ＞および＜Ｂ＞との差または比が、該画素における明度成分の画素値Ｖと明度成分の局所平均値＜Ｖ＞との差または比に対して相関を保つように、３つの色成分の補正画素値Ｒ’，Ｇ’およびＢ’を求める。このようにすることによって、シアン系回折フレア、赤系回折フレアが共にきれいに補正される。それがたとえ車のヘッドライトのように画像構造の中にあっても画像構造を保存しつつ、回折フレアを消滅、抑制することができる。すなわち、回折フレアが大輪帯として多数の画像構造の上に重畳されていても、回折フレアと画像構造を正確に判別して、回折フレアを消滅、抑制することができる。
【００９１】
（２）制御装置１０３は、各画素が３つの色成分からなる原画像Ｇ０を取得する。制御装置１０３は、各画素の３つの色成分をフィルタリングして、逐次的にｉ種類の解像度からなる所定周波数以上の高周波画像Ｌ５〜Ｌ０を生成し、高周波画像Ｌ５〜Ｌ０を最も低い解像度から逐次的に統合して１つに統合された高周波画像に対応する統合エッジ成分Ｅ（ｘ，ｙ）＝Ｅ０（２）を生成する。１つに統合された高周波画像に対応する統合エッジ成分Ｅ（ｘ，ｙ）の各画素における各色成分の値自身の大きさおよび／または３つの色成分のうちの別の色成分の値の大きさに基づいて、１つに統合された高周波画像に対応する統合エッジ成分Ｅ（ｘ，ｙ）の値の振幅を、式（１３）によって減衰する。原画像Ｇ０の３つの色成分の各色成分から減衰された高周波画像に対応するエッジ成分Ｅ’（ｘ，ｙ）を減算する処理を、式（５６）〜（５８）を用いてＹＣｂＣｒ空間で行うことによって、３つの色成分の補正画像の補正画素値Ｒ’，Ｇ’およびＢ’を生成する。夕日撮影時等、光源強度が強く露出時間が長いとき、赤系や黄色系の回折フレアは通常はテイル部分として目立たない高次の輪帯成分までが目立つようになり、これらが重畳された結果は全体が明るく被ったようなフレアとして認識されるが、このような高次回折光によるフレア被りであっても補正する効果を発揮する。高周波画像Ｌ５〜Ｌ０の解像度の段数を５〜６段取ったことで、その効果が特に良好に現れる。本発明は、ＤＯＥレンズ（回折格子レンズを含む光学系）による回折フレアのみならず、通常レンズの内面反射や乱反射等によって生じるフレアのフレア補正にも利用することができる。
【００９２】
なお、上述した実施形態ではＲＧＢカラー画像を扱ったが、４色センサーなどのＲＧＢの他にエメラルドグリーンが存在していた場合にも、同様な考え方で最大値面、最小値面および２つの中央値面を生成してＤＯＥレンズによる回折フレアを補正することができる。
【００９３】
カメラ１００の制御装置１０３が上述の実施形態における画像処理を実行するためのコンピュータプログラム製品は、図９に示されるように、プログラム記憶媒体２０００（例えばＣＤ−ＲＯＭ）や通信ネットワーク４０００（例えばインターネット）によって伝達されるデータ信号を通じてデータ処理装置１０００（例えばＰＣ）に提供される。カメラ１００は、そのデータ処理装置１０００から通信を介して画像処理プログラムを読み込む。
【００９４】
データ処理装置１０００は、プログラム記憶媒体２０００を介して画像処理プログラムの提供を受ける。あるいは、以下の供給形態で画像処理プログラムが提供されてもよい。データ処理装置１０００は通信ネットワーク４０００との接続機能を有する。サーバー３０００は画像処理プログラムを提供するコンピュータであり、ハードディスクなどの記憶媒体に画像処理プログラムを格納する。サーバー３０００はハードディスクから読み出した画像処理プログラムを、データ信号として搬送波に載せ、通信ネットワーク４０００を介してデータ処理装置１０００へ転送する。以上のように、画像処理プログラムは、プログラム記憶媒体２０００や通信ネットワーク４０００を介するデータ信号としての提供を含む種々の形態のコンピュータプログラム製品によって供給されることが好ましい。
【符号の説明】
【００９５】
１００  カメラ、１０１  操作部材、１０２  撮像素子、１０３  制御装置、
１０４  メモリカードスロット、１０５  モニタ、１０６  光学系、
１０００  データ処理装置、２０００  プログラム記憶媒体、３０００  サーバー、
４０００  通信ネットワーク
【図１】
2015142357.tif 000074
【図２】
2015142357.tif 000075
【図３】
2015142357.tif 000076
【図４】
2015142357.tif 000077
【図５】
2015142357.tif 000078
【図６】
2015142357.tif 000079
【図７】
2015142357.tif 000080
【図８】
2015142357.tif 000081
【図９】
2015142357.tif 000082