(57)【要約】  画像処理装置は、少なくとも第１および第２の色成分を含む複数の色成分で表現された入力画像を取得する取得部と、入力画像における注目領域について、第１の色成分と第２の色成分の濃淡方向が同一方向であるか逆方向であるかを示す濃淡方向相関度を算出する相関度算出部と、注目領域について、第１の色成分の高周波成分を算出する高周波成分算出部と、相関度算出部によって算出された濃淡方向相関度に応じた方法で、高周波成分算出部によって算出された第１の色成分の高周波成分を用いて注目領域についての第２の色成分を補正する補正部とを含む。
2014002811.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第１および第２の色成分を含む複数の色成分で表現された入力画像を取得する取得部と、
前記入力画像における注目領域について、前記第１の色成分と前記第２の色成分の濃淡方向が同一方向であるか逆方向であるかを示す濃淡方向相関度を算出する相関度算出部と、
前記注目領域について、前記第１の色成分の高周波成分を算出する高周波成分算出部と、
前記相関度算出部によって算出された濃淡方向相関度に応じた方法で、前記高周波成分算出部によって算出された前記第１の色成分の高周波成分を用いて前記注目領域についての前記第２の色成分を補正する補正部とを備える、画像処理装置。
【請求項２】
前記補正部は、
前記注目領域についての前記濃淡方向相関度が、前記第１の色成分と前記第２の色成分の濃淡方向が同一方向である正相関を示すときに、前記第２の色成分に対して前記第１の色成分の高周波成分を加算し、
前記注目領域についての前記濃淡方向相関度が、前記第１の色成分と前記第２の色成分の濃淡方向が逆方向である負相関を示すときに、前記第１の色成分の高周波成分による前記第２の色成分の補正を行なわない、請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、
前記注目領域についての前記濃淡方向相関度が所定値α（α＞０）を超えるときに前記正相関と判断し、前記注目領域についての前記濃淡方向相関度が所定値β（β＜０）を下回るときに前記負相関と判断し、
前記注目領域についての前記濃淡方向相関度が所定値αから所定値βの範囲にあるときに、前記正相関の場合と比較して低減された前記第１の色成分の高周波成分を前記第２の色成分に対して加算する、請求項２に記載の画像処理装置。
【請求項４】
前記補正部は、
前記注目領域についての前記濃淡方向相関度が、前記第１の色成分と前記第２の色成分の濃淡方向が同一方向である正相関を示すときに、前記第２の色成分に対して前記第１の色成分の高周波成分を加算し、
前記注目領域についての前記濃淡方向相関度が、前記第１の色成分と前記第２の色成分の濃淡方向が逆方向である負相関を示すときに、前記正相関の場合と比較して低減された前記第１の色成分の高周波成分を前記第２の色成分に対して加算する、請求項１に記載の画像処理装置。
【請求項５】
前記補正部は、
前記注目領域についての前記濃淡方向相関度が、前記第１の色成分と前記第２の色成分の濃淡方向が同一方向である正相関を示すときに、前記第２の色成分に対して前記第１の色成分の高周波成分を加算し、
前記注目領域についての前記濃淡方向相関度が、前記第１の色成分と前記第２の色成分の濃淡方向が逆方向である負相関を示すときに、前記第２の色成分に対して前記第１の色成分の高周波成分を減算する、請求項１に記載の画像処理装置。
【請求項６】
前記補正部は、
前記注目領域に高周波成分が多く含まれているか否かを判断し、
前記注目領域に高周波成分が多く含まれていない場合には、前記濃淡方向相関度に応じた方法で前記注目領域についての前記第２の色成分を補正する一方、
前記注目領域に高周波成分が多く含まれている場合には、前記濃淡方向相関度に依存せず、予め定められた方法で前記注目領域についての前記第２の色成分を補正する、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記補正部は、前記第２の色成分のＭＴＦ特性のうち、前記第１の色成分のＭＴＦ特性に比較して劣化している周波数帯域を補正する、請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記相関度算出部は、前記第１の色成分および前記第２の色成分に含まれる高周波成分に基づいて、前記濃淡方向相関度を算出する、請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記相関度算出部は、前記第１の色成分および前記第２の色成分に含まれる高周波成分をパターンマッチングして得られた相関値を用いて、前記濃淡方向相関度を算出する、請求項８に記載の画像処理装置。
【請求項１０】
前記相関度算出部は、前記相関値に第２の色成分の濃淡変化の大きさを乗じることで、前記濃淡方向相関度を算出する、請求項９に記載の画像処理装置。
【請求項１１】
前記相関度算出部は、ＮＣＣ法を用いて前記相関値を算出する、請求項９または１０に記載の画像処理装置。
【請求項１２】
少なくとも第１および第２の色成分を含む複数の色成分で表現された入力画像を取得するステップと、
前記入力画像における注目領域について、前記第１の色成分と前記第２の色成分の濃淡方向が同一方向であるか逆方向であるかを示す濃淡方向相関度を算出するステップと、
前記注目領域について、前記第１の色成分の高周波成分を算出するステップと、
前記濃淡方向相関度に応じた方法で、前記第１の色成分の高周波成分を用いて、前記注目領域についての前記第２の色成分を補正するステップとを備える、画像処理方法。
【請求項１３】
コンピューターに画像処理を実行させる画像処理プログラムであって、前記画像処理プログラムは、前記コンピューターに、
少なくとも第１および第２の色成分を含む複数の色成分で表現された入力画像を取得するステップと、
前記入力画像における注目領域について、前記第１の色成分と前記第２の色成分の濃淡方向が同一方向であるか逆方向であるかを示す濃淡方向相関度を算出するステップと、
前記注目領域について、前記第１の色成分の高周波成分を算出するステップと、
前記濃淡方向相関度に応じた方法で、前記第１の色成分の高周波成分を用いて、前記注目領域についての前記第２の色成分を補正するステップとを実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のぼけを補正する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
レンズなどの光学系を通して撮像する場合には、レンズの軸上色収差などが生じ得る。そのため撮像によって得られた画像には、ぼけが生じ得る。そこで、例えば、特開２００７−０２８０４１号公報（特許文献１）は、光学系を通して撮像された画像の色収差補正を行なう方法を開示する。より具体的には、当該先行技術では、撮像面において少なくとも２つの色成分の間でＭＴＦ特性が異なる第１の画像の少なくとも２つの色成分のうち、１つの色成分に対して、平滑化ないしは先鋭化処理を行なってＭＴＦを補正する処理を複数通り行ない、それらの間での色応答を比較する。そして、色応答の比較結果に基づいて、複数通りのＭＴＦ処理の中から１つのＭＴＦ補正処理を決定し、少なくとも２つの色成分のうちの１つの色成分のＭＴＦ特性を他の色成分のＭＴＦ特性に整合させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０２８０４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の先行技術に開示された方法で色収差によるぼけを補正しようとすると、一部の領域で逆にぼけたり、エッジに不自然な画像処理がなされたりする。そこで、本発明は、このような問題を解決するためになされたものであり、その目的は、色収差によるぼけをより適切に補正できる画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明のある実施の形態に従う画像処理装置は、少なくとも第１および第２の色成分を含む複数の色成分で表現された入力画像を取得する取得部と、入力画像における注目領域について、第１の色成分と第２の色成分の濃淡方向が同一方向であるか逆方向であるかを示す濃淡方向相関度を算出する相関度算出部と、注目領域について、第１の色成分の高周波成分を算出する高周波成分算出部と、相関度算出部によって算出された濃淡方向相関度に応じた方法で、高周波成分算出部によって算出された第１の色成分の高周波成分を用いて注目領域についての第２の色成分を補正する補正部とを含む。【０００６】
好ましくは、補正部は、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が同一方向である正相関を示すときに、第２の色成分に対して第１の色成分の高周波成分を加算し、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が逆方向である負相関を示すときに、第１の色成分の高周波成分による第２の色成分の補正を行なわない。【０００７】
さらに好ましくは、補正部は、注目領域についての濃淡方向相関度が所定値α（α＞０）を超えるときに正相関と判断し、注目領域についての濃淡方向相関度が所定値β（β＜０）を下回るときに負相関と判断し、注目領域についての濃淡方向相関度が所定値αから所定値βの範囲にあるときに、正相関の場合と比較して低減された第１の色成分の高周波成分を第２の色成分に対して加算する。【０００８】
好ましくは、補正部は、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が同一方向である正相関を示すときに、第２の色成分に対して第１の色成分の高周波成分を加算し、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が逆方向である負相関を示すときに、正相関の場合と比較して低減された第１の色成分の高周波成分を第２の色成分に対して加算する。【０００９】
好ましくは、補正部は、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が同一方向である正相関を示すときに、第２の色成分に対して第１の色成分の高周波成分を加算し、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が逆方向である負相関を示すときに、第２の色成分に対して第１の色成分の高周波成分を減算する。【００１０】
好ましくは、補正部は、注目領域に高周波成分が多く含まれているか否かを判断し、注目領域に高周波成分が多く含まれていない場合には、濃淡方向相関度に応じた方法で注目領域についての第２の色成分を補正する一方、注目領域に高周波成分が多く含まれている場合には、濃淡方向相関度に依存せず、予め定められた方法で注目領域についての第２の色成分を補正する。【００１１】
好ましくは、補正部は、第２の色成分のＭＴＦ特性のうち、第１の色成分のＭＴＦ特性に比較して劣化している周波数帯域を補正する。【００１２】
好ましくは、相関度算出部は、第１の色成分および第２の色成分に含まれる高周波成分に基づいて、濃淡方向相関度を算出する。【００１３】
さらに好ましくは、相関度算出部は、第１の色成分および第２の色成分に含まれる高周波成分をパターンマッチングして得られた相関値を用いて、濃淡方向相関度を算出する。【００１４】
さらに好ましくは、相関度算出部は、相関値に第２の色成分の濃淡変化の大きさを乗じることで、濃淡方向相関度を算出する。【００１５】
さらに好ましくは、相関度算出部は、ＮＣＣ法を用いて相関値を算出する。
本発明の別の実施の形態に従う画像処理方法は、少なくとも第１および第２の色成分を含む複数の色成分で表現された入力画像を取得するステップと、入力画像における注目領域について、第１の色成分と第２の色成分の濃淡方向が同一方向であるか逆方向であるかを示す濃淡方向相関度を算出するステップと、注目領域について、第１の色成分の高周波成分を算出するステップと、濃淡方向相関度に応じた方法で、第１の色成分の高周波成分を用いて、注目領域についての第２の色成分を補正するステップとを含む。【００１６】
本発明のさらに別の実施の形態に従えば、コンピューターに画像処理を実行させる画像処理プログラムが提供される。画像処理プログラムは、コンピューターに、少なくとも第１および第２の色成分を含む複数の色成分で表現された入力画像を取得するステップと、入力画像における注目領域について、第１の色成分と第２の色成分の濃淡方向が同一方向であるか逆方向であるかを示す濃淡方向相関度を算出するステップと、注目領域について、第１の色成分の高周波成分を算出するステップと、濃淡方向相関度に応じた方法で、第１の色成分の高周波成分を用いて、注目領域についての第２の色成分を補正するステップとを実行させる。
【発明の効果】
【００１７】
本発明によれば、色収差によるぼけをより適切に補正できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に従う画像処理装置の基本的構成を示すブロック図である。
【図２】図１に示す画像処理装置を具現化したデジタルカメラの構成を示すブロック図である。
【図３】図１に示す画像処理装置を具現化したパーソナルコンピューターの構成を示すブロック図である。
【図４】本発明の実施の形態に従う画像処理装置および画像処理方法が補正の対象とする色収差を説明するための図である。
【図５】本発明に関連する画像処理方法の手順を示すフローチャートである。
【図６】本発明に関連する画像処理方法の処理対象となる入力画像の一例を示す図である。
【図７】本発明に関連する画像処理方法の高周波成分の抽出処理を説明するための図である。
【図８】ＬＰＦの一例を示す図である。
【図９】本発明に関連する画像処理方法におけるＹＣｒＣｂ色空間への変換処理を説明するための図である。
【図１０】本発明に関連する画像処理方法における入力画像に対する補正処理を説明するための図である。
【図１１】本発明に関連する画像処理方法における入力画像に対する補正処理による効果を説明するための図である。
【図１２】本発明に関連する画像処理方法におけるＲＧＢ色空間への色変換処理を説明するための図である。
【図１３】本発明に関連する画像処理方法による補正結果の一例を示す図である。
【図１４】図１３に示す補正結果の拡大図である。
【図１５】本発明に関連する画像処理方法による補正によって生じる課題を説明するための図である。
【図１６】本発明に関連する画像処理方法による補正によって生じる課題を説明するための図である。
【図１７】本発明の実施の形態において採用する濃淡方向相関度を説明するための図である。
【図１８】本発明の実施の形態１に従う画像処理方法の手順を示すフローチャートである。
【図１９】本発明の実施の形態１に従う画像処理方法における濃淡方向相関度の概要を示す図である。
【図２０】本発明の実施の形態１に従う画像処理方法における濃淡方向相関度の算出処理の一過程を示す図である。
【図２１】本発明の実施の形態１に従う画像処理方法における濃淡方向相関度の算出処理の一過程を示す図である。
【図２２】本発明の実施の形態１に従う画像処理方法における濃淡方向相関度の算出結果の一例を示す図である。
【図２３】本発明の実施の形態１に従う補正用の高周波成分を算出するための処理を示す図である。
【図２４】本発明の実施の形態１に従う補正用の高周波成分を算出するための補正係数の一例を示す図である。
【図２５】本発明の実施の形態１に従う画像処理方法における入力画像の補正処理を説明するための図である。
【図２６】図２５に示す入力画像の補正処理による補正の効果を説明するための図である。
【図２７】本発明の実施の形態１に従う画像処理方法におけるＲＧＢ色空間への色変換処理を説明するための図である。
【図２８】本発明の実施の形態１に従う画像処理方法による補正結果の一例を示す図である。
【図２９】図２８に示す補正結果の拡大図である。
【図３０】本発明の実施の形態１に従う画像処理方法による補正結果の別の例を示す図である。
【図３１】本発明の実施の形態１に従う画像処理方法による補正結果の別の例を示す図である。
【図３２】本発明の実施の形態１の変形例に従う補正用の高周波成分を算出するための補正係数の一例を示す図である。
【図３３】本発明の実施の形態２に従う補正用の高周波成分を算出するための処理を示す図である。
【図３４】本発明の実施の形態２に従う補正用の高周波成分を算出するための補正係数の一例を示す図である。
【図３５】本発明の実施の形態２に従う画像処理方法における入力画像の補正処理を説明するための図である。
【図３６】図３５に示す入力画像の補正処理による補正の効果を説明するための図である。
【図３７】本発明の実施の形態２に従う画像処理方法による補正結果の一例を示す図である。
【図３８】本発明の実施の形態３に従う画像処理方法の概要を説明するための図である。
【図３９】本発明の実施の形態３に従う画像処理方法において使用される補正係数の一例を示す図である。
【図４０】本発明の実施の形態４に従う画像処理方法における濃淡方向相関度の算出結果の一例を示す図である。
【発明を実施するための形態】
【００１９】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【００２０】
＜Ａ．概要＞
本発明の実施の形態に従う画像処理装置は、典型的には、光学系の軸上色収差などにより入力画像がぼけを含む場合、最もＭＴＦ特性の良い色（例えば、Ｇ）の高周波成分を、他の色（例えば、Ｒ）の高周波成分を用いて補正するような画像補正処理に適している。
【００２１】
本発明の実施の形態に従う画像処理装置は、複数の色成分で表現された入力画像に対して、同一の領域についての色間の濃淡方向相関度を算出するとともに、その算出した濃淡方向相関度に応じて、高周波成分を用いた補正方法を最適化する。
【００２２】
＜Ｂ．システム構成＞
まず、本発明の実施の形態に従う画像処理装置の構成について説明する。
【００２３】
（ｂ１：基本的構成）
図１は、本発明の実施の形態に従う画像処理装置１の基本的構成を示すブロック図である。図１を参照して、画像処理装置１は、撮像部２と、画像処理部３と、画像出力部４とを含む。図１に示す画像処理装置１においては、撮像部２が被写体を撮像することで画像（以下、「入力画像」とも称す。）を取得し、画像処理部３がこの取得された入力画像に対して後述するような画像処理を行なうことで、当該入力画像に含まれるぼけを補正する。そして、画像出力部４は、この補正後の入力画像（以下、単に「補正後画像」とも称す。）を表示デバイスなどへ出力する。
【００２４】
撮像部２は、対象物（被写体）を撮像して入力画像を生成する。より具体的には、撮像部２は、カメラ２２と、カメラ２２と接続されたＡ／Ｄ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）変換部２４とを含む。Ａ／Ｄ変換部２４は、カメラ２２により撮像された被写体を示す入力画像を出力する。
【００２５】
カメラ２２は、被写体を撮像するための光学系であるレンズ２２ａと、レンズ２２ａにより集光された光を電気信号に変換するデバイスである撮像素子２２ｂとを含む。Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、各部分を制御するための制御処理回路などを含み得る。
【００２６】
画像処理部３は、撮像部２によって取得された入力画像に対して、本実施の形態に従う画像処理方法を実施することで、当該入力画像に含まれるぼけを補正する。より具体的には、画像処理部３は、ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ：ローパスフィルター）処理部３０と、色空間変換部３２と、濃淡方向相関度算出部３４と、エッジ補正部３６と、ＲＧＢ補正画像生成部３８とを含む。
【００２７】
ＬＰＦ処理部３０は、処理対象の入力画像に対して低周波数成分を抽出する。
色空間変換部３２は、処理対象の入力画像の色空間を変換する。具体的には、色空間変換部３２は、ＲＧＢ色空間の入力画像をＹＣｒＣｂ色空間の画像に変換する。
【００２８】
濃淡方向相関度算出部３４は、処理対象の入力画像についての濃淡方向相関度を算出する。この濃淡方向相関度の詳細については後述する。
【００２９】
エッジ補正部３６は、入力画像のぼけを補正するためのエッジ補正を行なう。
ＲＧＢ補正画像生成部３８は、エッジ補正後の入力画像をＲＧＢ色空間の画像に再度変換して出力する。
【００３０】
画像出力部４は、画像処理部３によって生成される補正後画像の画像を表示デバイスなどへ出力する。
【００３１】
各部の処理動作の詳細については、後述する。
図１に示す画像処理装置１は、各部を独立に構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理装置１の具現化例について説明する。
【００３２】
（ｂ２：具現化例１）
図２は、図１に示す画像処理装置１を具現化したデジタルカメラ１００の構成を示すブロック図である。図２において、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。
【００３３】
図２を参照して、デジタルカメラ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、ズーム機構１１４と、光学系１２０とを含む。
【００３４】
ＣＰＵ１０２は、予め格納されたプログラムなどを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。
【００３５】
画像表示部１０８は、光学系１２０により提供される入力画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される出力画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面などを表示する。
【００３６】
カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメータや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。
【００３７】
ズーム機構１１４は、ユーザー操作などに応じて、光学系１２０の撮像倍率を変更する機構である。ズーム機構１１４は、典型的には、サーボモーターなどを含み、光学系１２０を構成するレンズ群を駆動することで、焦点距離を変化させる。
【００３８】
光学系１２０は、被写体を撮像することで入力画像を生成する。
図２に示すデジタルカメラ１００は、本実施の形態に従う画像処理装置１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において当該被写体を立体的に視認することができる。
【００３９】
（ｂ３：具現化例２）
図３は、図１に示す画像処理装置１を具現化したパーソナルコンピューター２００の構成を示すブロック図である。図３に示すパーソナルコンピューター２００では、入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された入力画像が外部から入力される構成となっている。このような構成であっても、本発明の実施の形態に従う画像処理装置１に含まれ得る。なお、図３においても、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。
【００４０】
図３を参照して、パーソナルコンピューター２００は、パーソナルコンピューター本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。
【００４１】
パーソナルコンピューター本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などを含む。パーソナルコンピューター本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、パーソナルコンピューター本体２０２のハードディスクなどの記憶領域内に格納される。
【００４２】
このような画像処理プログラム２０４は、パーソナルコンピューター本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理装置１の趣旨を逸脱するものではない。
【００４３】
もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。
【００４４】
モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。
【００４５】
マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体２０２へ出力する。
【００４６】
外部記憶装置２１２は、何らかの方法で取得された入力画像を格納しており、この入力画像をパーソナルコンピューター本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。
【００４７】
図３に示すパーソナルコンピューター２００は、本実施の形態に従う画像処理装置１の一部を単体の装置として実装したものである。
【００４８】
＜Ｃ．色収差＞
本実施の形態に従う画像処理装置および画像処理方法では、典型的には、光学系に生じる色収差（軸上色収差）を補正する。
【００４９】
図４は、本発明の実施の形態に従う画像処理装置および画像処理方法が補正の対象とする色収差を説明するための図である。図４に示すように、色収差は、レンズを透過する光の屈折率が波長によって異なるために生じる現象である。例えば、撮像素子がＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の３色に感度を有している場合に、Ｇでピント合わせしたとする。すなわち、Ｇに対応する波長でみれば、被写体の表面位置（目的とする位置）で合焦することになる（Ｇ合焦位置）。これに対して、ＲおよびＢに対応する波長でみれば、レンズにおけるＧに対応する波長の屈折率とは異なる屈折率が生じるため、被写体の表面位置とは異なる位置で合焦することになる（Ｒ合焦位置）。
【００５０】
このように、光に含まれる波長成分によって合焦する位置が異なる状態を色収差といい、これによって、入力画像のＧ成分については、ぼけが生じないが、Ｒ成分については、ぼけが生じ得る。本実施の形態においては、このようなぼけを補正する画像処理方法を提供する。
【００５１】
すなわち、本実施の形態においては、光学系の軸上色収差などのために、ある色成分（例えば、Ｇ）には、ぼけは発生していないが、他の色成分（例えば、ＲやＢ）には、ぼけが発生している画像について、その発生しているぼけを補正する処理を想定している。このぼけの補正は、ＧとＲまたはＢとの間のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ：光学伝達関数）特性の違いを補正することを意味する。
【００５２】
＜Ｄ．関連する画像処理方法＞
まず、本実施の形態に従う画像処理方法の内容についての理解を容易にするために、本発明に関連する画像処理方法の内容について先に説明する。
【００５３】
図５は、本発明に関連する画像処理方法の手順を示すフローチャートである。本発明に関連する画像処理方法（以下、単に「関連技術」とも称す。）においては、一例として、入力画像に含まれるＧの高周波成分を、Ｙ（輝度）の高周波成分として代用することで、ぼけを補正することを考える。
【００５４】
より具体的には、図５を参照して、まず入力画像を取得する処理（ステップＳ１）が実行される。この入力画像は、それを構成する各画素がＲ濃淡値、Ｇ濃淡値、Ｂ濃淡値の３次元の濃淡値で定義されているとする。続いて、当該取得した入力画像に含まれる色成分（Ｒ、Ｇ、Ｂ）のうち基準となる色成分（典型的には、Ｇ）についての高周波成分を取得する処理（ステップＳ２）が実行される。
【００５５】
続いて、入力画像のＲＧＢ色空間をＹＣｒＣＢ色空間へ変換する処理が実行される（ステップＳ３）。そして、ステップＳ２において取得された基準となる色成分についての高周波成分を用いて、ステップＳ３において取得されたＹＣｒＣＢ色空間の入力画像に対する補正処理が実行される（ステップＳ８）。そして、ステップＳ８による補正後の入力画像（ＹＣｒＣＢ色空間）を再度ＲＧＢ色空間へ変換する処理が実行され（ステップＳ９）、この処理によって得られた補正後画像が出力される（ステップＳ１０）。そして、処理は終了する。
【００５６】
（ｄ１：入力画像の取得（ステップＳ１））
画像処理装置は、カメラで被写体を撮像するなどして、入力画像を取得する。図６は、本発明に関連する画像処理方法の処理対象となる入力画像の一例を示す図である。図６（ａ）には、ＲＧＢ色空間で表現した入力画像（ＲＧＢ０）の一例を示し、図６（ｂ），（ｃ），（ｄ）には、Ｒ、Ｇ、Ｂの各濃淡画像（Ｒ０、Ｇ０、Ｂ０）の一例を示す。
【００５７】
なお、図６には、一例として、７５０×５００画素のサイズの画像を示す。
（ｄ２：高周波成分の取得（ステップＳ２））
画像処理装置は、処理対象の入力画像に含まれる色成分（Ｒ、Ｇ、Ｂ）のうち基準となる色成分（典型的には、Ｇ）についての高周波成分を取得する。具体的には、入力画像に対してＬＰＦ（ローパスフィルター）をかけて低周波成分を抽出するとともに、入力画像からこの抽出した低周波成分を減算することで、高周波成分を抽出する。
【００５８】
なお、補正に用いる高周波成分の波長範囲については、予め定めておくことができる。このような波長範囲としては、補正対象の色成分のＭＴＦ特性のうち、基準となる色成分のＭＴＦ特性に比較して劣化している周波数帯域と設定することができる。すなわち、補正の対象となる高周波成分としては、少なくとも２色間で比較し、ＭＴＦ特性がより悪い周波数帯域に設定することができる。
【００５９】
図７は、本発明に関連する画像処理方法の高周波成分の抽出処理を説明するための図である。図８は、ＬＰＦの一例を示す図である。
【００６０】
図７（ａ）を参照して、まず、画像処理装置は、入力画像（ＲＧＢ０）に対してＬＰＦをかける。ＬＰＦとしては、例えば、図８に示すような１１画素×１１画素での平均化フィルタを採用することができる。なお、ＬＰＦとしては、抽出したい周波数や画像サイズなどの条件に応じて、フィルタサイズを変更してもよいし、ガウシアンフィルタなどの重み付け平均を用いる方式であってもよい。
【００６１】
このＬＰＦ処理によって、図７（ａ）に示すような、入力画像の低周波成分（ＲＧＢＬ）が取得される。図７（ａ）には、説明の便宜上、ＲＧＢ色空間で表現した入力画像（ＲＧＢ０）の低周波成分（ＲＧＢＬ）を示すが、目的とする色（本例では、Ｇ）の濃淡画像に対してのみ、ＬＰＦをかけてもよい。
【００６２】
次に、図７（ｂ）に示すように、入力画像のＧ（Ｇ０）から当該Ｇの低周波成分（ＧＬ）を減算することでと、入力画像のＧの高周波成分（ＧＨ）が取得される。すなわち、入力画像からＧの高周波成分が取り出される。
【００６３】
（ｄ３：ＹＣｒＣＢ色空間への色変換処理（ステップＳ３））
画像処理装置は、ＲＧＢ色空間の入力画像およびその低周波成分のそれぞれを、事後の補正処理のために、ＹＣｒＣｂ色空間へ変換する。
【００６４】
図９は、本発明に関連する画像処理方法におけるＹＣｒＣｂ色空間への変換処理を説明するための図である。図９（ａ）に示すように、ＲＧＢ色空間の入力画像（ＲＧＢ０）がＹＣｒＣｂ色空間へ変換される。この色変換処理によって、輝度成分（Ｙ０）および２つの色相成分（Ｃｒ０、Ｃｂ０）が生成される。
【００６５】
また、図９（ｂ）に示すように、入力画像の低周波成分（ＲＧＢＬ）についても、ＹＣｒＣｂ色空間へ変換される。この色変換処理によって、輝度成分（ＹＬ）および２つの色相成分が生成されるが、事後の処理では、入力画像の低周波成分（ＲＧＢＬ）の輝度成分（ＹＬ）のみが必要となるため、それ以外については図示していない。
【００６６】
（ｄ４：ＹＣｒＣＢ色空間の入力画像に対する補正処理（ステップＳ８））
次に、画像処理装置は、ＹＣｒＣＢ色空間の入力画像に対して補正処理を行なう。すなわち、画像処理装置は、入力画像のＧの高周波成分（ＧＨ）を入力画像のＹ（輝度）へ移植する。
【００６７】
図１０は、本発明に関連する画像処理方法における入力画像に対する補正処理を説明するための図である。図１１は、本発明に関連する画像処理方法における入力画像に対する補正処理による効果を説明するための図である。
【００６８】
図１０に示すように、画像処理装置は、入力画像のＹ（輝度）の高周波成分の代わりに、入力画像のＧの高周波成分（ＧＨ）を代用して、入力画像のＹ（輝度）を補正する。入力画像のＹ（輝度）の高周波成分を差し替えるため、入力画像のＹ（輝度）から高周波成分を取り除いた低周波成分（ＹＬ）に、入力画像のＧの高周波成分（ＧＨ）を加算し、補正後の入力画像の輝度である補正後Ｙ（Ｙ’）を生成する。
【００６９】
図１１（ａ）と図１１（ｂ）とを比較するとわかるように、上述した入力画像に対する補正処理によって、入力画像の元のＹ（輝度）に比較して、文字部やパッチの境界部などで、エッジがシャープに補正されていることがわかる。
【００７０】
（ｄ５：ＲＧＢ色空間への色変換処理（ステップＳ９））
最後に、画像処理装置は、補正後Ｙ（Ｙ’）を用いて、ＹＣｒＣｂ色空間からＲＧＢ色空間へ戻すことで、補正後のＲＧＢ画像を生成する。
【００７１】
図１２は、本発明に関連する画像処理方法におけるＲＧＢ色空間への色変換処理を説明するための図である。図１２（ａ）および図１２（ｂ）に示すように、画像処理装置は、補正後Ｙ（Ｙ’）と元のＣｒおよびＣｂをそれぞれ加算することで、補正後のＲおよびＢを生成する。なお、Ｇについては、もともと基準となる色成分であり、補正の必要がないため、入力画像の元の値がそのまま使用される。
【００７２】
（ｄ６：関連技術による補正結果）
図１３は、本発明に関連する画像処理方法による補正結果の一例を示す図である。図１４は、図１３に示す補正結果の拡大図である。
【００７３】
図１３には、関連技術によって入力画像を補正して得られる結果の画像を示す。図１３に示す補正後画像をみると概ねシャープ化されているように見えるが、図１４に示すように、補正後画像を部分的に拡大すると、赤のパッチ部は、高周波成分を補正したにもかかわらず、逆にぼけてしまっていることがわかる。これは、図１４の中段に示すように、補正によってＲ成分がぼけてしまうことにより生じる。
【００７４】
＜Ｅ．本実施の形態における解決手段＞
本願発明者は、上述した関連技術において、図１４に示すような課題が生じることを見出すとともに、その原因について新たな知見を得た。その上で、本願発明者は、この新たな知見に基づいて、本願の技術思想に想到したものである。以下、これらの内容について説明する。
【００７５】
図１５および図１６は、本発明に関連する画像処理方法による補正によって生じる課題を説明するための図である。図１７は、本発明の実施の形態において採用する濃淡方向相関度を説明するための図である。
【００７６】
図１５（ａ）に示すように、関連技術による補正の結果得られる補正後画像（ＲＧＢ’）についてみれば、グレイのパッチ部については、補正によってシャープ（ぼけが解消）になっているが、赤のパッチ部については、補正によってぼけの度合いが増している。
【００７７】
図１５（ｂ）に示すように、入力画像のＲ成分およびＧ成分において、それぞれの色について、パッチ部とその周辺部とを比較する。まず、グレイについては、Ｒ成分およびＧ成分とも、パッチ部の内部が薄い一方で、その周辺部は濃くなっており、濃淡変化についての関係が同じである。これに対して、赤については、Ｒ成分では、パッチ部の内部が濃い一方で、その周辺部は薄くなっており、Ｇ成分では、パッチ部の内部が薄い一方で、その周辺部は濃くなっている。すなわち、赤については、パッチ部とその周辺との間の濃淡変換の関係がＲ成分とＧ成分との間で逆転している。
【００７８】
本実施の形態において、入力画像の同一範囲における、異なる色成分の間での濃淡変化の関係を「濃淡方向相関度」と称す。そして、上述のグレイのように、異なる色成分の間での濃淡変化が同一または類似している状態を「正相関」と称し、上述の赤のように、異なる色成分の間での濃淡変化が異なっているまたは反対になっている状態を「負相関」と称す。すなわち、本実施の形態に従う解決手段は、入力画像における注目領域について、第１の色成分と第２の色成分の濃淡方向が同一方向であるか逆方向であるかを示す濃淡方向相関度を算出する処理を含む。
【００７９】
図１６（ａ）に示すように、「濃淡方向相関度」が高い、つまり色成分の間で「正相関」があるときには、補正によって、エッジを立てて、シャープになるように働く。これに対して、図１６（ｂ）に示すように、「濃淡方向相関度」が低い、つまり色成分の間で「負相関」があるときには、補正によって逆にエッジを鈍らせてしまう。
【００８０】
濃淡方向相関度に係る正相関および負相関の概念図を図１７に示す。図１７（ａ）に示すように、Ｒ成分およびＧ成分の両方において、対応する部分が濃い状態から薄い状態へ変化するような場合は、正相関となる。これに対して、図１７（ｂ）に示すように、Ｒ成分において、対応する部分が濃い状態から薄い状態へ変化する一方で、Ｇ成分において、対応する部分が薄い状態から濃い状態へ変化するような場合は、負相関となる。
【００８１】
本実施の形態においては、このような濃淡方向相関度を用いて、補正によってぼけを生じさせないように、補正に用いる高周波成分を適宜修正する。すなわち、本実施の形態に従う画像処理方法は、高周波成分を他の色成分（チャンネル）の高周波成分として代用する方法を採用した場合に生じる課題に向けられている。なお、上述の関連技術においては、入力画像のＧの高周波成分をＹ（輝度）の高周波成分として用いることで、ＧをＲとして代用することに相当している。
【００８２】
＜Ｆ．実施の形態１＞
次に、上述のような解決手段を用いた実施の形態１について説明する。実施の形態１に従う画像処理方法においても、一例として、入力画像に含まれるＧの高周波成分をＹ（輝度）の高周波成分として代用する方法を想定する。
【００８３】
本発明の実施の形態１に従う画像処理装置は、複数の色成分で表現された入力画像を取得する機能と、入力画像における注目領域について、第１の色成分（典型的には、Ｇ）と第２の色成分（典型的には、Ｒ）の濃淡方向が同一方向であるか逆方向であるかを示す濃淡方向相関度を算出する機能と、注目領域について、第１の色成分の高周波成分を算出する機能とを有する。そして、画像処理装置は、高周波成分を用いて、算出された濃淡方向相関度に応じた方法で、注目領域についての補正対象の色成分を補正する。つまり、画像処理装置は、相関度算出部によって算出された濃淡方向相関度に応じた方法で、高周波成分算出部によって算出された第１の色成分の高周波成分を用いて注目領域についての第２の色成分を補正する。すなわち、本実施の形態１に従う画像処理装置は、少なくとも２色間の濃淡方向相関度を算出し、領域毎に高周波成分の用い方を切り替えて、ぼけを補正する。
【００８４】
（ｆ１：全体手順）
図１８は、本発明の実施の形態１に従う画像処理方法の手順を示すフローチャートである。図１８を参照して、まず入力画像を取得する処理（ステップＳ１）が実行される。続いて、当該取得した入力画像に含まれる色成分（Ｒ、Ｇ、Ｂ）のうち基準となる色成分（典型的には、Ｇ）についての高周波成分を取得する処理（ステップＳ２）が実行される。さらに、入力画像のＲＧＢ色空間をＹＣｒＣＢ色空間へ変換する処理が実行される（ステップＳ３）。このステップＳ１〜Ｓ３の処理は、図５に示すステップＳ１〜Ｓ３の処理と同様である。
【００８５】
続いて、濃淡方向相関度の算出処理（ステップＳ４）が実行される。そして、基準となる色成分（典型的には、Ｇ）についての高周波成分から補正値を算出する処理（ステップＳ５）が実行される。そして、ステップＳ５において算出された基準となる色成分についての高周波成分を用いて、ステップＳ３において取得されたＹＣｒＣＢ色空間の入力画像に対する補正処理が実行される（ステップＳ６）。そして、ステップＳ６による補正後の入力画像（ＹＣｒＣＢ色空間）を再度ＲＧＢ色空間へ変換する処理が実行され（ステップＳ７）、この処理によって得られた補正後画像が出力される（ステップＳ１０）。そして、処理は終了する。
【００８６】
以下、主として、図１８に示すステップＳ４〜Ｓ７の処理内容について詳述する。なお、ステップＳ１〜Ｓ３およびＳ１０の処理内容については、上述の関連技術において説明した内容と同様であるので、詳細な説明は繰り返さない。
【００８７】
（ｆ２：濃淡方向相関度の算出処理（ステップＳ４））
次に、濃淡方向相関度の算出処理の詳細について説明する。
【００８８】
図１９は、本発明の実施の形態１に従う画像処理方法における濃淡方向相関度の概要を示す図である。図２０および図２１は、本発明の実施の形態１に従う画像処理方法における濃淡方向相関度の算出処理の一過程を示す図である。図２２は、本発明の実施の形態１に従う画像処理方法における濃淡方向相関度の算出結果の一例を示す図である。
【００８９】
図１８のステップＳ４においては、図１９（ａ）に示すような、補正によってぼけが生じる領域の発生を回避するために、濃淡方向相関度を算出する。ここでは、入力画像のＲについての濃淡方向相関度を算出するものとする。
【００９０】
上述したように、本実施の形態において「濃淡方向相関度」は、図１９（ｂ）に示すように、エッジ（濃淡変化が大きな部分）に正相関または負相関があるかを判断できるようなデータである。図１９（ｂ）には、濃淡方向相関度を２次元画像として表現している。この濃淡方向相関度において、「白」の部分は、エッジであって正相関が強いほど、データとしては正の大きな値をとる。一方、「黒」の部分は、エッジであって負相関が強いほど、データとしては負の大きな値をとる。また、「グレイ」の部分は、エッジでない部分か、あるいはエッジであっても相関がほとんどない部分となり、データとしては０近傍の値をとる。
【００９１】
以下、図２０〜図２２を参照して、濃淡方向相関度の算出処理の詳細について説明する。まず、図２０に示すように、画像処理装置１は、入力画像のＲおよびＧの高周波成分（ＲＨおよびＧＨ）をそれぞれ算出する。この高周波成分の算出方法については、図７および図８を参照して説明したので、詳細な内容については繰り返さない。
【００９２】
次に、画像処理装置１は、Ｒの高周波成分（ＲＨ）とＧの高周波成分（ＧＨ）との間で、相関値を算出する。すなわち、画像処理装置１は、２色の高周波成分を用いて濃淡方向相関度を算出する。このとき、濃淡方向相関度は、２色の高周波成分をパターンマッチングして得られた相関値を用いて算出される。
【００９３】
本実施の形態においては、一例として、Ｒの高周波成分（ＲＨ）とＧの高周波成分（ＧＨ）とに対し、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）法を用いて、高周波成分の相関値としてＮＣＣ値が算出される。ここで、ＮＣＣ法は、パターンマッチングの一種である。
【００９４】
ここで、図８に示すＬＰＦと同じく、１１画素×１１画素のサイズであれば、以下の（１）式に従って、ＮＣＣ値が算出される。
【００９５】
【数１】
2014002811.tif 000003
【００９６】
図２０に示される高周波成分（ＲＨおよびＧＨ）についてのＮＣＣ値の結果は、図２１に示すようになる。図２１に示すＮＣＣ値の結果において、濃淡方向が同じところほど白っぽく表示されて、１．０に近い値を示し、逆の、濃淡方向が異なるところほど黒っぽく、−１．０に近い値を示すことになる。
【００９７】
上述の（１）式に示すような１１画素×１１画素のすべて処理を行なう代わりに、２画素毎に計算を行なうなど、高速化のため処理を簡略化してもよい。また、処理サイズについても、ＬＰＦのサイズと同じである必要はなく、目的とするエッジの濃淡についての相関が適切に算出できるように、フィルタサイズを調整してよい。
【００９８】
このように、本実施の形態に従う画像処理装置は、基準となる色成分（典型的には、Ｇ）および補正対象の色成分（典型的には、Ｒ）に含まれる高周波成分に基づいて、濃淡方向相関度を算出する。より具体的には、本実施の形態に従う画像処理装置は、ＮＣＣ法を用いて濃淡方向相関度を算出する。
【００９９】
図２１に示す高周波成分の相関値（ＮＣＣ値の結果）には、エッジであるか否か（すなわち、濃淡変化が大きいか否か）の情報は含まれないので、ＲＨの絶対値を掛け合わせることで、濃淡方向相関度が算出される。
【０１００】
すなわち、図２２に示すように、「高周波成分の相関値」と「ＲＨの絶対値」（Ｒのエッジであるか否か（濃淡変化が大きいか否か）の情報）とを各画素について掛け合わせる処理が実行される。より具体的には、画像処理装置は、以下の（２）式に従って、高周波成分の相関値にＲＨの絶対値を掛け合わせることで、濃淡方向相関度を算出する。
【０１０１】
濃淡方向相関度＝ＮＣＣ×｜ＲＨ｜  …（２）
ここでは、ＲのエッジがＧのエッジに対してどのような相関があるかを算出しているため、ＲＨの絶対値を用いている。すなわち、Ｒの高周波成分の絶対値がＲの濃淡変化の大きさに相当する。
【０１０２】
このように、本実施の形態に従う画像処理装置は、相関値に第２の色成分（典型的には、Ｒ）の濃淡変化の大きさを乗じることで、濃淡方向相関度を算出する。
【０１０３】
（ｆ３：高周波成分から補正値の算出処理（ステップＳ５））
次に、基準となる色成分（典型的には、Ｇ）についての高周波成分から補正値を算出する処理（ステップＳ５）が実行される。
【０１０４】
図２３は、本発明の実施の形態１に従う補正用の高周波成分を算出するための処理を示す図である。図２４は、本発明の実施の形態１に従う補正用の高周波成分を算出するための補正係数の一例を示す図である。
【０１０５】
図２３（ａ）に示すような濃淡方向相関度が算出されると、この算出された濃淡方向相関度を用いて、入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ）が算出される。より具体的には、図２３（ｂ）に示すような入力画像のＧの高周波成分（ＧＨ）のうち、正相関を有する部分では高周波成分を残し、負相関を有する部分では高周波成分を加算しないように、Ｇの高周波成分（ＧＨ）を補正することで、入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ）を生成する。このＧの高周波成分（ＧＨｒｅｄ）の生成には、図２４に示すような補正係数ｃを用いて、以下の（３）式に従って算出する。
【０１０６】
ＧＨｒｅｄ＝ＧＨ×ｃ  …（３）
図２４に示す補正係数ｃに関して、正相関のところはＧの高周波成分をそのまま残すために、濃淡方向相関度がα（α＞０）を超える場合には、補正係数ｃ＝１を採用する。一方、負相関のところはＧの高周波成分を加算しないために、濃淡方向相関度が−αを下回る場合には、補正係数ｃ＝０を採用する。正相関と負相関との間で急激な変化を避けるために、濃淡方向相関度が−αからαの範囲にある場合には、補正係数を濃淡方向相関度についての一次関数に設定して、補正係数の変化を滑らかにしている。なお、ここでは濃淡方向相関度の閾値としてαと−αの絶対値が同じ値を用いたが、負相関の閾値としては、−αに限らず、任意の値β（β＜０）を用いても構わない。
【０１０７】
つまり、本実施の形態に従う補正処理においては、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が同一方向である正相関を示すときに、第２の色成分に対して第１の色成分の高周波成分を加算し、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が逆方向である負相関を示すときに、第１の色成分の高周波成分による第２の色成分の補正を行なわない。
【０１０８】
より具体的には、本実施の形態に従う補正処理においては、注目領域についての濃淡方向相関度が所定値α（α＞０）を超えるときに正相関と判断し、注目領域についての濃淡方向相関度が所定値β（β＜０）を下回るときに相関と判断し、注目領域についての濃淡方向相関度が所定値αから所定値βの範囲にあるときに、正相関の場合と比較して低減された第１の色成分の高周波成分を第２の色成分に対して加算する。
【０１０９】
（ｆ４：入力画像に対する補正処理（ステップＳ６））
次に、上述のような処理によって算出された、入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ）を用いて、入力画像に対する補正処理が実行される。
【０１１０】
図２５は、本発明の実施の形態１に従う画像処理方法における入力画像の補正処理を説明するための図である。図２６は、図２５に示す入力画像の補正処理による補正の効果を説明するための図である。
【０１１１】
図２５を参照して、入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ）が入力画像のＲの輝度（Ｙ’ｒｅｄ）へ移植される。すなわち、入力画像のＲについては、Ｇの高周波成分（ＧＨｒｅｄ）を用いて、Ｒ用の補正後の輝度（Ｙ’ｒｅｄ）が算出される。より具体的には、入力画像の輝度の低周波成分（ＹＬ）にＧの高周波成分（ＧＨｒｅｄ）が加算されることで、輝度（Ｙ’ｒｅｄ）が算出される。
【０１１２】
図２６に示すように、このような補正方法を採用することで、図１５に示すような負相関が原因でぼけが発生していた赤のパッチ部のエッジに対しては、補正が行なわれず、上述のような問題は発生しない。すなわち、負相関の部分は、エッジが強調されない。
【０１１３】
入力画像のＧは補正の基準であるので、何らの補正もなされない。これに対して、入力画像のＢについては、上述の関連技術と同様に、Ｇの高周波成分（ＧＨ）を用いて補正される。
【０１１４】
但し、入力画像のＢについても、上述の実施の形態１におけるＲと同様に、入力画像のＧとＢとの間で濃淡方向相関度を算出するとともに、算出した濃淡方向相関度に基づいて、入力画像のＢを補正するためのＧの高周波成分（ＧＨｂｌｕｅ）を算出する。そして、この算出されたＧの高周波成分（ＧＨｂｌｕｅ）を用いて、補正を行なうようにしてもよい。その手順の詳細は、上述したので繰り返さない。
【０１１５】
（ｆ５：ＲＧＢ色空間への変換処理（ステップＳ７））
最後に、画像処理装置は、Ｒ用の補正後の輝度（Ｙ’ｒｅｄ）を用いて、ＹＣｒＣｂ色空間からＲＧＢ色空間へ戻すことで、補正後のＲＧＢ画像を生成する。
【０１１６】
図２７は、本発明の実施の形態１に従う画像処理方法におけるＲＧＢ色空間への色変換処理を説明するための図である。図２７に示すように、画像処理装置１は、Ｒ用の補正後の輝度（Ｙ’ｒｅｄ）と元のＣｒとを加算することで、補正後のＲ（Ｒ’’）を生成する。
【０１１７】
なお、Ｇについては、もともと基準となる色成分であり、補正の必要がないため、入力画像の元の値がそのまま使用される。また、Ｂについては、基本的には、図１２（ｂ）に示す関連技術と同様の手順で、輝度（Ｙ’）と元のＣｂとを加算することで、補正後のＢ（Ｂ’）が生成される。但し、濃淡方向相関度に基づいて、入力画像のＢを補正するためのＧの高周波成分（ＧＨｂｌｕｅ）が算出された場合には、図２７と同様の手順で、補正後のＢ（Ｂ’’）が生成される。
【０１１８】
（ｆ６：実施の形態１による補正結果）
図２８は、本発明の実施の形態１に従う画像処理方法による補正結果の一例を示す図である。図２９は、図２８に示す補正結果の拡大図である。
【０１１９】
図２８および図２９に示すように、関連技術による画像処理方法では、ぼけが生じてしまっていた部分（負相関をもつ赤のパッチ部）について、本実施の形態に従う画像処理方法では、ぼけの発生を防止できる。すなわち、本実施の形態に従う画像処理方法では、補正に問題が生じる領域（負相関をもつ領域）については、誤ってぼかしてしまわないように、補正内容を修正できていることがわかる。
【０１２０】
上述の説明では、説明の便宜上、複数の色を有する複数のパッチ部（人工物）を被写体とした入力画像に本実施の形態に従う画像処理方法を提供した例を示したが、通常の被写体を写した自然な入力画像に対しても、同様の効果が得られる。
【０１２１】
図３０および図３１は、本発明の実施の形態１に従う画像処理方法による補正結果の別の例を示す図である。
【０１２２】
図３０において、（ａ）は、処理対象の入力画像を示し、（ｂ）は、関連技術に従う画像処理方法によって得られる補正後画像を示し、（ｃ）は、本実施の形態に従う画像処理方法によって得られる補正後画像を示す。
【０１２３】
図３０（ｂ）に示すように、関連技術に従う画像処理方法では、服の端部や襟の部分において、誤った補正がなされていたが、図３０（ｃ）に示すように、本実施の形態に従う画像処理方法では、このような誤った補正が生じないように処理がなされていることがわかる。
【０１２４】
より具体的には、図３１（ａ）に示すような濃淡方向相関度を算出するとともに、図３１（ｂ）に示すように、この算出された濃淡方向相関度に基づいて、入力画像のＧの高周波成分（ＧＨ）を補正することで、入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ）が適切に算出される。
【０１２５】
（ｆ７：変形例）
上述の説明においては、入力画像のＲについて、濃淡方向相関度を算出するとともに、当該算出した濃淡方向相関度に基づいて入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ）を算出した上で、入力画像のＲを補正する例を記載した。これに代えて、あるいは、これに代えて、入力画像のＢに対しても同様の画像処理方法を適用できることは自明である。この場合においても、同様の効果が得られることも自明である。
【０１２６】
上述の実施の形態１においては、入力画像のＧの高周波成分（ＧＨ）を入力画像のＹ（輝度）へ移植する処理例について記載したが、ＲＧＢ色空間やＹＣｒＣｂ色空間といった異なる色空間の間で、高周波成分を移植する処理においても同様の効果を得ることができる。例えば、上述の特開２００７−０２８０４１号公報（特許文献１）に開示されるように、入力画像のＲおよび／またはＢに対して、Ｇの高周波成分を直接的に加算するという処理例を採用した場合であって、本実施の形態に従う画像処理方法を同様に適用でき、かつ同様の効果を奏する。
【０１２７】
補正係数ｃについては、負相関の部分については補正を全く止めるのではなく、補正度合いを弱めるだけでもよい。図３２は、本発明の実施の形態１の変形例に従う補正用の高周波成分を算出するための補正係数の一例を示す図である。図３２に示す補正係数ｃでは、負相関のところはＧの高周波成分の補正度合いを弱めるために、濃淡方向相関度が−αを下回る場合には、一例として補正係数ｃ＝０．２を採用する。この負相関における補正係数ｃは、０から１．０の範囲にあるいずれかの値を採用し得る。
【０１２８】
このように、本実施の形態に従う画像処理装置は、負相関の領域に対して、高周波成分を加算しない、または弱める。すなわち、本実施の形態に従う画像処理装置は、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が同一方向である正相関を示すときに、補正対象の色成分に対して高周波成分を加算する一方で、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が逆方向である負相関を示すときに、正相関の場合と比較して低減された第１の色成分の高周波成分を補正対象の色成分に対して加算する高周波成分の大きさを正相関の場合に比較して低減する。
【０１２９】
（ｆ８：利点）
光学系の軸上色収差などにより入力画像がぼけを含む場合、最もＭＴＦ特性の良い色（例えば、Ｇ）の高周波成分を、他の色（例えば、Ｒ）の高周波成分に単純に移植（加算）することで、このようなぼけを補正しようとすると、一部の領域で逆にぼけたり、エッジに不自然な画像処理がかかったりすることがある。これに対して、本実施の形態においては、色毎に濃淡変化の方向が同じであるか否か、すなわち濃淡方向相関度を評価することで、このような他の色の高周波成分に移植（加算）してよいか否かを判断することで、ぼけの発生といった副作用が生じないように、画像補正を行なうことができる。
【０１３０】
＜Ｇ．実施の形態２＞
上述の実施の形態１においては、濃淡方向相関度が負相関の場合に、高周波成分を加算しない、または弱める処理例について説明した。これに対して、実施の形態２においては、濃淡方向相関度が負相関の場合に、高周波成分を減算する処理例について説明する。
【０１３１】
実施の形態２に従う画像処理方法は、図１８に示す実施の形態１に従う画像処理方法の手順を示すフローチャートに比較して、基準となる色成分（典型的には、Ｇ）についての高周波成分から補正値を算出する処理（ステップＳ５）の処理内容が異なっているだけであるので、それ以外の処理の詳細な説明は繰り返さない。以下、主として、実施の形態１との相違点について説明する。
【０１３２】
図３３は、本発明の実施の形態２に従う補正用の高周波成分を算出するための処理を示す図である。図３４は、本発明の実施の形態２に従う補正用の高周波成分を算出するための補正係数の一例を示す図である。
【０１３３】
図３３（ａ）に示すような濃淡方向相関度が算出されると、この算出された濃淡方向相関度を用いて、入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ２）が算出される。より具体的には、図３３（ｂ）に示すような入力画像のＧの高周波成分（ＧＨ）のうち、正相関を有する部分では高周波成分を残し、負相関を有する部分では高周波成分を減算するような、入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ２）を生成する。このＧの高周波成分（ＧＨｒｅｄ）の生成には、図３４に示すような補正係数ｃを用いる。
【０１３４】
図３４に示す補正係数ｃに関して、正相関のところはＧの高周波成分をそのまま残すために、濃淡方向相関度がαを超える場合には、補正係数ｃ＝１を採用する。一方、負相関のところはＧの高周波成分を減算（符号を逆にして加算）するために、濃淡方向相関度が−αを下回る場合には、補正係数ｃ＝−１を採用する。正相関と負相関との間で急激な変化を避けるために、濃淡方向相関度が−αからαの範囲にある場合には、補正係数を濃淡方向相関度についての一次関数に設定して、補正係数の変化を滑らかにしている。
【０１３５】
このような補正係数ｃを用いて入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ２）を生成することで、Ｙに対して負相関のところでは、関連技術に従う画像処理方法とは逆向きにエッジが立つことになる。
【０１３６】
図３５は、本発明の実施の形態２に従う画像処理方法における入力画像の補正処理を説明するための図である。図３６は、図３５に示す入力画像の補正処理による補正の効果を説明するための図である。図３７は、本発明の実施の形態２に従う画像処理方法による補正結果の一例を示す図である。
【０１３７】
図３５を参照して、入力画像のＲを補正するためのＧの高周波成分（ＧＨｒｅｄ２）が入力画像のＲの輝度（Ｙ’ｒｅｄ）へ移植される。すなわち、入力画像のＲについては、Ｇの高周波成分（ＧＨｒｅｄ２）を用いて、Ｒ用の補正後の輝度（Ｙ’ｒｅｄ２）が算出される。より具体的には、入力画像の輝度の低周波成分（ＹＬ）にＧの高周波成分（ＧＨｒｅｄ２）が加算されることで、輝度（Ｙ’ｒｅｄ２）が算出される。
【０１３８】
図３６に示すように、このような補正方法を採用することで、図１５に示すような負相関が原因でぼけが発生していた赤のパッチ部のエッジに対しては、図１５に示す例とは逆向きにエッジが補正される。これによって、図３７に示すように、赤のパッチ部をよりシャープになるように補正することが可能になる。
【０１３９】
このように、本実施の形態に従う画像処理装置は、負相関の領域に対して、高周波成分を減算する。すなわち、本実施の形態に従う画像処理装置は、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が同一方向である正相関を示すときに、補正対象の色成分に対して第１の色成分の高周波成分を加算する一方で、注目領域についての濃淡方向相関度が、第１の色成分と第２の色成分の濃淡方向が逆方向である負相関を示すときに、補正対象の色成分に対して第１の色成分の高周波成分を減算する。
【０１４０】
本実施の形態においては、色毎に濃淡変化の方向が同じであるか否か、すなわち濃淡方向相関度を評価することで、このような他の色の高周波成分に加算すべきか、減算すべきかを判断することで、ぼけの発生といった副作用が生じないように、画像補正を行なうことができる。
【０１４１】
＜Ｈ．実施の形態３＞
上述の実施の形態１および２においては、画像全体に対して、濃淡方向相関度が負相関であるか否かに応じて、高周波成分を用いた補正方法を変更する（高周波成分を加算しない、弱める、逆に加算する）処理例について説明した。
【０１４２】
しかしながら、実際には空間周波数が高い画像領域（典型的には、ごちゃごちゃした画像領域）では、エッジの濃淡変化方向が意図したものと異なっていても、そのままエッジを立てた方が、画像として見栄えよく補正できる場合もある。そこで、実施の形態３においては、高周波成分が少ない画像領域についてのみ、濃淡方向相関度に依存して補正方法を変更する処理例について説明する。
【０１４３】
本実施の形態に従う画像処理方法では、まず、処理対象の入力画像を複数の部分領域に区分するとともに、各部分領域について、高周波成分が多い領域であるか、あるいは少ない領域であるかを判断する。そして、高周波成分が多い領域については、上述した関連技術に従う画像処理方法を適用し、濃淡方向相関度とは無関係に、入力画像の高周波成分を用いて補正を行なう。これに対して、高周波成分が少ない領域については、上述した実施の形態１または２に従う画像処理方法を適用し、濃淡方向相関度に依存して、高周波成分を用いた補正方法を変更する。
【０１４４】
図３８は、本発明の実施の形態３に従う画像処理方法の概要を説明するための図である。図３９は、本発明の実施の形態３に従う画像処理方法において使用される補正係数の一例を示す図である。
【０１４５】
図３８を参照して、画像処理装置１は、まず、入力画像を複数の部分領域（赤点線の領域）に分割する。各部分領域は、例えば５０画素×５０画素のサイズに設定される。続いて、画像処理装置１は、部分領域毎に、高周波成分が多い領域であるか、高周波成分が少ない領域であるかを判定する。そして、画像処理装置１は、高周波成分が多い領域については、図５に示す関連技術に従う画像処理方法を適用し、高周波成分が少ない領域については、上述の実施の形態１または２に従う画像処理方法を適用する。すなわち、画像処理装置１は、高周波成分が少ない領域に対してのみ、濃淡方向相関度に応じて高周波成分の処理を変更する（高周波成分を加算しない、弱める、逆に加算する）。
【０１４６】
言い換えれば、画像処理装置１は、入力画像のうち高周波成分が少ない領域については、図３９（ａ）または図３９（ｂ）に示す補正係数ｃを用いて補正を行ない、入力画像のうち高周波成分が多い領域については、図３９（ｃ）に示す補正係数ｃを用いて補正を行なう。この図３９（ｃ）に示す補正係数ｃは、濃淡方向相関度に依存することなく常に「１」となっている。
【０１４７】
入力画像に設定される部分領域の高周波成分が多いのか、あるいは少ないのかという判断は、例えば、上述の実施の形態１または２において説明したように、入力画像のＲを補正する場合には、Ｒの高周波成分（ＲＨ）の絶対値がしきい値（例えば、１０）以上であるか否かに基づいて判断すればよい。この判断方法によれば、Ｒの高周波成分（ＲＨ）の絶対値がしきい値以上である領域をＲの高周波領域と判定し、部分領域に占める高周波領域の割合が一定値以下の場合（例えば、５０％以下）なら、高周波成分が少ない領域と判定する。これに対して、部分領域に占める高周波領域の割合が当該一定値を超えている場合（例えば、５０％超）なら、高周波成分が多い領域と判定する。
【０１４８】
このように、本実施の形態に従う画像処理装置は、注目領域に高周波成分が多く含まれているか否かを判断し、注目領域に高周波成分が多く含まれていない場合には、濃淡方向相関度に応じた方法で注目領域についての第２の色成分を補正する一方、注目領域に高周波成分が多く含まれている場合には、濃淡方向相関度に依存せず、予め定められた方法で注目領域についての補正対象の色成分を補正する。すなわち、負相関を有する領域であって、かつ低周波領域（高周波成分が少ない領域）についてのみ、高周波成分による補正方法を変更（加算しない／弱める／減算する）する。
【０１４９】
本実施の形態においては、濃淡方向相関度に応じた補正を適用するか否かを判断した上で、関連技術に従う画像処理方法を適用して一律にエッジを強調するのか、濃淡方向相関度に依存させて高周波成分の適用方法を変更するのかを切り替える。これによって、処理を高速化できるとともに、画像全体としてより自然な補正を行なうことができる。
【０１５０】
＜Ｉ．実施の形態４＞
上述の実施の形態１〜３においては、濃淡方向相関度の算出にＮＣＣ法を用いる例について説明したが、これ以外の方法を用いて濃淡方向相関度を算出することもできる。
【０１５１】
すなわち、上述の（１）式では、ＮＣＣ法を用いて濃淡方向相関度を算出したが、以下の（４）式に従って、高周波成分の相関値（ＲＨとＧＨとの相関値）を算出してもよい。この（４）式は、平方根演算を含まないので、演算処理を高速化できる。
【０１５２】
【数２】
2014002811.tif 000004
【０１５３】
この（４）式によって得られる結果に、実施の形態１と同様に、以下の（５）式に従って、ＲＨの絶対値（Ｒのエッジであるかどうか（濃淡変化が大きいか）の情報）を掛け合わせることで、濃淡方向相関度を算出する。
【０１５４】
濃淡方向相関度＝高周波成分の相関値×｜ＲＨ｜  …（５）
図４０は、本発明の実施の形態４に従う画像処理方法における濃淡方向相関度の算出結果の一例を示す図である。図４０に示すように、ＮＣＣ法を用いて算出した濃淡方向相関度（図２２参照）と同様の結果が得られることがわかる。
【０１５５】
上述のように、濃淡方向相関度を算出する際に利用する「高周波成分の相関値」の算出方法としては、ＮＣＣ法に限定されるものではなく、エッジの濃淡変化方向が同じ場合と逆である場合との間で、符号が逆転するような相関値を計算できれば、他のどのような方法または処理であっても採用できる。
【０１５６】
＜Ｊ．利点＞
本発明の実施の形態によれば、光学系の軸上色収差などにより入力画像がぼけを含む場合、最もＭＴＦ特性の良い色（例えば、Ｇ）の高周波成分を、他の色（例えば、Ｒ）の高周波成分に単純に移植（加算）することで、このようなぼけを補正しようとすると、一部の領域で逆にぼけたり、エッジに不自然な画像処理がかかったりすることがある。これに対して、本実施の形態によれば、より自然なかたちでぼけを補正できる。
【０１５７】
また、このようなぼけを有効に補正できるため、ＭＴＦ特性を必ずしも良好にしなくとも、被写体を写したより自然な入力画像を取得できる。これによって、デジタルカメラなどに実装した場合には、レンズの光学特性を過度に高める必要がなく、装置全体の簡素化やコスト低減を実現し得る。
【０１５８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１５９】
１  画像処理装置、２  撮像部、３  画像処理部、４  画像出力部、２２  カメラ、２２ａ  レンズ、２２ｂ  撮像素子、２４  Ａ／Ｄ変換部、３０  ＬＰＦ処理部、３２  色空間変換部、３４  濃淡方向相関度算出部、３６  エッジ補正部、３８  補正画像生成部、１００  デジタルカメラ、１０２  ＣＰＵ、１０４  デジタル処理回路、１０６  画像処理回路、１０８  画像表示部、１１２  記憶部、１１４  ズーム機構、１２０  光学系、２００  パーソナルコンピューター、２０２  パーソナルコンピューター本体、２０４  画像処理プログラム、２０６  モニター、２０８  マウス、２１０  キーボード、２１２  外部記憶装置。
【図１】
2014002811.tif 000005
【図２】
2014002811.tif 000006
【図３】
2014002811.tif 000007
【図４】
2014002811.tif 000008
【図５】
2014002811.tif 000009
【図８】
2014002811.tif 000010
【図１６】
2014002811.tif 000011
【図１７】
2014002811.tif 000012
【図１８】
2014002811.tif 000013
【図２４】
2014002811.tif 000014
【図３２】
2014002811.tif 000015
【図３４】
2014002811.tif 000016
【図３９】
2014002811.tif 000017
【図６】
2014002811.tif 000018
【図７】
2014002811.tif 000019
【図９】
2014002811.tif 000020
【図１０】
2014002811.tif 000021
【図１１】
2014002811.tif 000022
【図１２】
2014002811.tif 000023
【図１３】
2014002811.tif 000024
【図１４】
2014002811.tif 000025
【図１５】
2014002811.tif 000026
【図１９】
2014002811.tif 000027
【図２０】
2014002811.tif 000028
【図２１】
2014002811.tif 000029
【図２２】
2014002811.tif 000030
【図２３】
2014002811.tif 000031
【図２５】
2014002811.tif 000032
【図２６】
2014002811.tif 000033
【図２７】
2014002811.tif 000034
【図２８】
2014002811.tif 000035
【図２９】
2014002811.tif 000036
【図３０】
2014002811.tif 000037
【図３１】
2014002811.tif 000038
【図３３】
2014002811.tif 000039
【図３５】
2014002811.tif 000040
【図３６】
2014002811.tif 000041
【図３７】
2014002811.tif 000042
【図３８】
2014002811.tif 000043
【図４０】
2014002811.tif 000044
【国際調査報告】
2014002811.tif 000045
2014002811.tif 000046
2014002811.tif 000047