(57)【要約】  近飽和領域以外の領域においても軸上色収差を検出して精度よく補正することを目的とした、画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出部（４）と、該合計画素値算出部（４）により算出された一方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係が、他方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係と逆である場合、または、一方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係が、他方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係と逆である場合に、注目画素を軸上色収差の発生起点として検出する発生起点検出部（５）とを備える画像処理装置（１）である。
2016084223.tif 000002
【特許請求の範囲】
【請求項１】
画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出部と、
該合計画素値算出部により算出された前記一方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出部とを備える画像処理装置。
【請求項２】
前記発生起点検出部により検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定部を備える請求項１に記載の画像処理装置。
【請求項３】
前記領域判定部により判定された前記軸上色収差領域を補正する補正部を備える請求項２に記載の画像処理装置。
【請求項４】
前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項１から請求項３のいずれかに記載の画像処理装置。
ＰｇＤ１＞ＰｒＤ１
ＰｇＤ２＜ＰｒＤ２
ここで、
ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、
ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、
ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、
ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計
である。
【請求項５】
前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項１から請求項３のいずれかに記載の画像処理装置。
ＰｇＤ１＞ＰｂＤ１
ＰｇＤ２＜ＰｂＤ２
ここで、
ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、
ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、
ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、
ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計
である。
【請求項６】
前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項１から請求項３のいずれかに記載の画像処理装置。
ＰｇＤ１＞ＰｒＤ１
ＰｇＤ２＜ＰｒＤ２
ＰｇＤ２＜ＰｂＤ２
ここで、
ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、
ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、
ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、
ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、
ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計
である。
【請求項７】
前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項１から請求項３のいずれかに記載の画像処理装置。
ＰｇＤ１＞ＰｂＤ１
ＰｇＤ２＜ＰｒＤ２
ＰｇＤ２＜ＰｂＤ２
ここで、
ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、
ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、
ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、
ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、
ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計
である。
【請求項８】
前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項１から請求項３のいずれかに記載の画像処理装置。
ＰｇＤ１＞ＰｒＤ１
ＰｇＤ１＞ＰｂＤ１
ＰｇＤ２＜ＰｒＤ２
ここで、
ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、
ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、
ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、
ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、
ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計
である。
【請求項９】
前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項１から請求項３のいずれかに記載の画像処理装置。
ＰｇＤ１＞ＰｒＤ１
ＰｇＤ１＞ＰｂＤ１
ＰｇＤ２＜ＰｂＤ２
ここで、
ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、
ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、
ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、
ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、
ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計
である。
【請求項１０】
前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項１から請求項３のいずれかに記載の画像処理装置。
ＰｇＤ１＋ＴＨＲ１＞ＰｒＤ１
ＰｇＤ２−ＴＨＲ２＜ＰｒＤ２
ＰｇＤ１＋ＴＨＢ１＞ＰｂＤ１
ＰｇＤ２−ＴＨＢ２＜ＰｂＤ２
ここで、
ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、
ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、
ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、
ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、
ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、
ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計、
ＴＨＲ１，ＴＨＲ２，ＴＨＢ１，ＴＨＢ２は任意の定数である。
【請求項１１】
前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項１から請求項３のいずれかに記載の画像処理装置。
ＰｇＤ１＋ＴＨＲ＞ＰｒＤ１
ＰｇＤ２＋ＴＨＲ＜ＰｒＤ２
ＰｇＤ１＋ＴＨＢ＞ＰｂＤ１
ＰｇＤ２＋ＴＨＢ＜ＰｂＤ２
ここで、
ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、
ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、
ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、
ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、
ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、
ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計、
ＴＨＲ，ＴＨＢは任意の定数である。
【請求項１２】
前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項１から請求項３のいずれかに記載の画像処理装置。
ＰｇＤ１＞ＰｒＤ１×ＫＲ
ＰｇＤ２＜ＰｒＤ２×ＫＲ
ＰｇＤ１＞ＰｂＤ１×ＫＢ
ＰｇＤ２＜ＰｂＤ２×ＫＢ
ここで、
ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、
ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、
ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、
ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、
ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、
ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計、
ＫＲ，ＫＢは任意の定数である。
【請求項１３】
前記画像が、各画素にＲＧＢ全ての画素値を有する請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項１４】
前記画像が、各画素においてＲＧＢの少なくとも１つの画素値が欠落した画素値を有する請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項１５】
画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出ステップと、
該合計画素値算出ステップにより算出された前記一方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出ステップとを含む画像処理方法。
【請求項１６】
前記発生起点検出ステップにより検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定ステップを含む請求項１５に記載の画像処理方法。
【請求項１７】
前記領域判定ステップにより判定された前記軸上色収差領域を補正する補正ステップを含む請求項１６に記載の画像処理方法。
【請求項１８】
画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出ステップと、
該合計画素値算出ステップにより算出された前記一方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出ステップとをコンピュータに実行させる画像処理プログラム。
【請求項１９】
前記発生起点検出ステップにより検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定ステップをコンピュータに実行させる請求項１８に記載の画像処理プログラム。
【請求項２０】
前記領域判定ステップにより判定された前記軸上色収差領域を補正する補正ステップをコンピュータに実行させる請求項１９に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
通常の光学系を通して撮影された画像には軸上色収差が発生することが知られている。このような軸上色収差を画像処理で補正するための技術が提案されている（例えば、特許文献１参照。）。
この技術は、飽和閾値を上回る画素を有する近飽和領域、および画素の青および赤色の強度値が緑色の強度値を大幅に上回る画素を有する候補領域を発見し、近飽和領域に隣接する候補領域を軸上色収差領域として検出するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４４４７６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、軸上色収差は近飽和領域ではない暗い画素値の領域でも発生しているとともに、特許文献１の候補領域ではない画素の青および赤色の強度が緑色の強度を下回る画素を有する領域としても発生している。このため、特許文献１の技術では、軸上色収差領域を検出して精度よく補正を行うためには不十分である。【０００５】
本発明は、上述した事情に鑑みてなされたものであって、近飽和領域以外の領域においても軸上色収差を検出して精度よく補正することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出部と、該合計画素値算出部により算出された前記一方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出部とを備える画像処理装置である。【０００７】
本態様によれば、注目画素を挟む両側に一直線上に配列されている画素の画素値が合計画素値算出部によりそれぞれ算出され、算出された画素値の合計において、いずれか一方はＧが多く他方はＲまたはＢが多い場合には、発生起点検出部により注目画素が軸上色収差の発生起点として検出される。これにより、近飽和領域ではない画素を軸上色収差の発生起点として検出することができる。【０００８】
上記態様においては、前記発生起点検出部により検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定部を備えてもよい。
このようにすることで、近飽和領域ではない画素を発生起点としてその周辺に軸上色収差領域を設定することができる。【０００９】
また、上記態様においては、前記領域判定部により判定された前記軸上色収差領域を補正する補正部を備えていてもよい。
このようにすることで、軸上色収差が発生している領域のみに補正処理を行うことができ、その他の領域での補正処理による色の変化を防止することができる。【００１０】
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
ＰｇＤ１＞ＰｒＤ１
ＰｇＤ２＜ＰｒＤ２
ここで、ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計である。
このようにすることで、フォーカス位置近傍における軸上色収差の発生起点を検出することができる。【００１１】
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
ＰｇＤ１＞ＰｂＤ１
ＰｇＤ２＜ＰｂＤ２
ここで、ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計である。
このようにすることによっても、フォーカス位置近傍における軸上色収差の発生起点を検出することができる。【００１２】
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
ＰｇＤ１＞ＰｒＤ１
ＰｇＤ２＜ＰｒＤ２
ＰｇＤ２＜ＰｂＤ２
ここで、ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計である。
このようにすることで、他方向にパープルフリンジが発生し、一方向のＲの画素値の合計が、Ｇの画素値の合計より小さく、色相環で反対色に近い色となってパープルフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。【００１３】
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
ＰｇＤ１＞ＰｂＤ１
ＰｇＤ２＜ＰｒＤ２
ＰｇＤ２＜ＰｂＤ２
ここで、ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計である。
このようにすることによっても、他方向にパープルフリンジが発生し、一方向のＢの画素値の合計が、Ｇの画素値の合計より小さく、色相環で反対色に近い色となってパープルフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。【００１４】
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
ＰｇＤ１＞ＰｒＤ１
ＰｇＤ１＞ＰｂＤ１
ＰｇＤ２＜ＰｒＤ２
ここで、ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計である。【００１５】
このようにすることで、一方向にグリーンフリンジが発生し、他方向のＲの画素値の合計がＧの画素値の合計より大きく、色相環で反対色に近い色となってグリーンフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。【００１６】
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
ＰｇＤ１＞ＰｒＤ１
ＰｇＤ１＞ＰｂＤ１
ＰｇＤ２＜ＰｂＤ２
ここで、ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計である。【００１７】
このようにすることによっても、一方向にグリーンフリンジが発生し、他方向のＢの画素値の合計がＧの画素値の合計より大きく、色相環で反対色に近い色となってグリーンフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。【００１８】
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
ＰｇＤ１＋ＴＨＲ１＞ＰｒＤ１
ＰｇＤ２−ＴＨＲ２＜ＰｒＤ２
ＰｇＤ１＋ＴＨＢ１＞ＰｂＤ１
ＰｇＤ２−ＴＨＢ２＜ＰｂＤ２
ここで、ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計、ＴＨＲ１，ＴＨＲ２，ＴＨＢ１，ＴＨＢ２は任意の定数である。
このようにすることで、ＴＨＲ１，ＴＨＲ２，ＴＨＢ１，ＴＨＢ２を適当に選択することにより、ノイズの影響を低減し、軸上色収差の発生起点を安定して検出することができる。【００１９】
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
ＰｇＤ１＋ＴＨＲ＞ＰｒＤ１
ＰｇＤ２＋ＴＨＲ＜ＰｒＤ２
ＰｇＤ１＋ＴＨＢ＞ＰｂＤ１
ＰｇＤ２＋ＴＨＢ＜ＰｂＤ２
ここで、ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計、ＴＨＲ，ＴＨＢは任意の定数である。
このようにすることで、ＴＨＲ，ＴＨＢを適当に選択することにより、無彩色ではなく、色付き被写体上に発生した軸上色収差の発生起点を検出することができる。【００２０】
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
ＰｇＤ１＞ＰｒＤ１×ＫＲ
ＰｇＤ２＜ＰｒＤ２×ＫＲ
ＰｇＤ１＞ＰｂＤ１×ＫＢ
ＰｇＤ２＜ＰｂＤ２×ＫＢ
ここで、ＰｇＤ１は前記注目画素から前記一方向に配列している画素のＧの画素値の合計、ＰｇＤ２は前記注目画素から前記他方向に配列している画素のＧの画素値の合計、ＰｒＤ１は前記注目画素から前記一方向に配列している画素のＲの画素値の合計、ＰｒＤ２は前記注目画素から前記他方向に配列している画素のＲの画素値の合計、ＰｂＤ１は前記注目画素から前記一方向に配列している画素のＢの画素値の合計、ＰｂＤ２は前記注目画素から前記他方向に配列している画素のＢの画素値の合計、ＫＲ，ＫＢは任意の定数である。
このようにすることによっても、ＫＲ，ＫＢを適当に選択することにより、無彩色ではなく、色付き被写体上に発生した軸上色収差の発生起点を検出することができる。【００２１】
また、上記態様においては、前記画像が、各画素にＲＧＢ全ての画素値を有していてもよい。
このようにすることで、各画素においてＲＧＢ全ての画素値を同時に取得する同時化された画像に対しても軸上色収差の発生起点を検出する処理を行うことができる。【００２２】
また、上記態様においては、前記画像が、各画素においてＲＧＢの少なくとも１つの画素値が欠落した画素値を有していてもよい。
このようにすることで、各画素においてＲＧＢ全ての画素値が同時に取得されない、同時化されていない画像に対しても軸上色収差の発生起点を検出することができ、検出時に同時化のための補間エラーの影響をなくすことができる。【００２３】
また、本発明の他の態様は、画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出ステップと、該合計画素値算出ステップにより算出された前記一方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出ステップとを含む画像処理方法である。【００２４】
上記態様においては、前記発生起点検出ステップにより検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定ステップを含でいてもよい。
また、上記態様においては、前記領域判定ステップにより判定された前記軸上色収差領域を補正する補正ステップを含んでいてもよい。【００２５】
また、本発明の他の態様は、画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出ステップと、該合計画素値算出ステップにより算出された前記一方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＲの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係が、前記他方向に配列している画素のＧの画素値の合計とＢの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出ステップとをコンピュータに実行させる画像処理プログラムである。【００２６】
上記態様においては、前記発生起点検出ステップにより検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定ステップをコンピュータに実行させてもよい。
また、上記態様においては、前記領域判定ステップにより判定された前記軸上色収差領域を補正する補正ステップをコンピュータに実行させてもよい。
【発明の効果】
【００２７】
本発明によれば、近飽和領域以外の領域においても軸上色収差を検出して精度よく補正することができるという効果を奏する。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態に係る画像処理装置を示すブロック図である。
【図２】図１の画像処理装置を適用する光学系と軸上色収差との関係を模式的に示す図である。
【図３】図１の画像処理装置おいて設定される注目画素とその周辺画素との座標関係を示す図である。
【図４】図１の画像処理装置を用いた画像処理方法を説明するフローチャートである。
【図５】図２とは異なる態様で軸上色収差が発生している場合のステップエッジの第１の例を示す図である。
【図６】図２とは異なる態様で軸上色収差が発生している場合のステップエッジの第２の例を示す図である。
【図７】画像信号にノイズが含まれる場合の対応例をノイズのない場合および対応前の状態との比較で示す図である。
【図８】有彩色のステップエッジの場合の対応例を無彩色の場合および対応前の状態との比較で示す図である。
【図９】有彩色のステップエッジの場合の他の対応例を無彩色の場合および対応前の状態との比較で示す図である。
【図１０Ａ】ベイヤ配列された撮像素子により取得された画像のＲを注目画素とする場合の画素配列を示す図である。
【図１０Ｂ】ベイヤ配列された撮像素子により取得された画像のＢを注目画素とする場合の画素配列を示す図である。
【図１０Ｃ】ベイヤ配列された撮像素子により取得された画像のＧＲを注目画素とする場合の画素配列を示す図である。
【図１０Ｄ】ベイヤ配列された撮像素子により取得された画像のＧＢを注目画素とする場合の画素配列を示す図である。
【発明を実施するための形態】
【００２９】
本発明の一実施形態に係る画像処理装置１および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置１は、図１に示されるように、カメラにより取得された入力画像中の軸上色収差が発生している領域を抽出する領域抽出部２と、該領域抽出部２により抽出された領域の軸上色収差を補正した出力画像を出力する収差補正部（補正部）３とを備えている。
【００３０】
領域抽出部２は、入力画像中の注目画素を設定し、設定された注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出部４と、該合計画素値算出部４により算出された合計画素値に基づいて軸上色収差の発生起点を検出する発生起点検出部５と、該発生起点検出部５により検出された発生起点の周囲の所定の周辺領域を軸上色収差領域と判定する領域判定部６とを備えている。
【００３１】
本実施形態においては、カメラにより取得された入力画像は、図示しない撮像光学系を通して入射された光線が固体撮像素子において電気信号に変換され、固定ノイズパターン除去およびアナログゲイン調整等が行われた後に、Ａ／Ｄ変換器でディジタル信号に変換され、各種画像処理が施された画像信号である。この入力画像は、各画素においてＲＧＢ全ての信号値が得られるフルカラー画像であり、三板撮像素子により取得された三板カラー画像、もしくは、単板撮像素子により取得された単板カラー画像を各画素でＲＧＢ値が得られるように補間処理された画像である。
【００３２】
発生起点検出部５により検出される軸上色収差の発生起点とは、図２に示されるように、注目画素を挟んで一直線に並ぶ一方向および他方向の色が異なる場合の注目画素を意味している。
すなわち、図２に示されるように、通常の光学系７では、波長の異なる光は光軸の奥行き方向に結像位置が異なることが知られている。一般にＧに対して長波長のＲは光軸方向の奥側に結像し、Ｇに対して短波長のＢは光軸方向の手前側に結像する。このＲＧＢの結像位置のずれが軸上色収差となって現れる。
【００３３】
無彩色のステップエッジを撮影した場合、像面ではＧがステップエッジの形状を有するが、Ｒ，Ｂは結像せずにステップエッジの形状が鈍っている。一方、像面奥では、Ｇは結像しないためステップエッジの形状が鈍っているが、Ｒが結像してステップエッジの形状を保持している。ＢはＧよりさらに鈍った形状となる。
逆に、像面手前では、Ｇは結像しないためステップエッジの形状が鈍り、Ｂが結像してステップエッジの形状を保持している。ＲはＧよりさらに鈍った形状となる。
【００３４】
このように構成された本実施形態に係る画像処理装置１を用いた画像処理方法について、図面を参照して以下に説明する。
合計画素値算出部４は、入力画像において、図３および図４に示されるように、注目画素（０，０）を設定し（ステップＳ１）、この注目画素を中心として、縦方向、横方向、右斜め方向および左斜め方向の４方向について、注目画素を挟んで両側に並ぶ複数画素の画素値の合計を別々に算出するようになっている（合計画素値算出ステップＳ２）。
具体的には、数１に示す通りである。
【００３５】
【数１】
2016084223.tif 000003
【００３６】
ここで、Ｐｃ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する画素の画素値、ＰｃＬは注目画素の左側の画素列の画素値の合計、ＰｃＲは注目画素の右側の画素列の画素値の合計、ＰｃＴは注目画素の上側の画素列の画素値の合計、ＰｃＢは注目画素の下側の画素列の画素値の合計、ＰｃＬＴは注目画素の左上側の画素列の画素値の合計、ＰｃＬＢは注目画素の左下側の画素列の画素値の合計、ＰｃＲＴは注目画素の右上側の画素列の画素値の合計、ＰｃＲＢは注目画素の右下側の画素列の画素値の合計である。また、添字ｃはカラーを意味し、ｒ、ｇ、ｂに置き換えることができる。また、ｉ，ｍは正の整数である。
【００３７】
発生起点検出部５は、数１で算出された画素値の合計が、次の条件式（１）〜（４）を全て満たす場合に注目画素を軸上色収差の発生起点として検出するようになっている（発生起点検出ステップＳ３）。
【００３８】
ＰｇＤ１＞ＰｒＤ１                ・・・（１）
ＰｇＤ２＜ＰｒＤ２                ・・・（２）
ＰｇＤ１＞ＰｂＤ１                ・・・（３）
ＰｇＤ２＜ＰｂＤ２                ・・・（４）
【００３９】
ここで、ＰｇＤ１は注目画素から一方向Ｄ１に配列している画素のＧの画素値の合計、ＰｇＤ２は注目画素から他方向Ｄ２に配列している画素のＧの画素値の合計、ＰｒＤ１は注目画素から一方向Ｄ１に配列している画素のＲの画素値の合計、ＰｒＤ２は注目画素から他方向Ｄ２に配列している画素のＲの画素値の合計、ＰｂＤ１は注目画素から一方向Ｄ１に配列している画素のＢの画素値の合計、ＰｂＤ２は注目画素から他方向Ｄ２に配列している画素のＢの画素値の合計である。
【００４０】
添字のＤ１は注目画素からの一方向であることを示し、例えば、数１におけるＬ、Ｔ、ＬＴ、ＬＢが該当する。また、添字のＤ２は注目画素からの他方向であることを示し、例えば、Ｒ、Ｂ、ＲＴ、ＲＢが該当する。方向の定義は任意であるが、Ｄ１としてＬ、Ｔ、ＬＴ、ＬＢを選択した場合にはＤ２はＲ、Ｂ、ＲＴ、ＲＢとなる。
【００４１】
そして、発生起点検出部５は、条件式（１）〜（４）全てを満たして軸上色収差の発生起点であると検出された画素を「０」、それ以外の発生起点ではないと検出された画素を「１」のように検出情報を生成するようになっている（ステップＳ４）。
領域判定部６は、発生起点検出部５により、検出情報が「０」であった画素周辺の所定の領域を軸上色収差領域と判定するようになっている（領域判定ステップＳ５）。所定領域としては、例えば、検出情報が「０」である画素を中心とした７×７画素のように設定できる。
【００４２】
そして、全ての画素について処理が行われていない場合には、ステップＳ１に戻って注目画素がずらされてステップＳ２〜Ｓ５の工程が繰り返され（ステップＳ６）、全ての画素について処理が行われた場合に、領域判定部６により生成された軸上色収差領域について、収差補正部３により補正処理を実施し（補正ステップＳ７）、処理を終了する。
【００４３】
このように、本実施形態に係る画像処理装置１および画像処理方法によれば、注目画素を挟む両側の画素の色毎の画素値の合計の大小関係によって軸上色収差の発生起点を検出しているので、近飽和領域ではない画素を軸上色収差の発生起点として検出することができる。したがって、近飽和領域の存在しない画像についても軸上色収差を補正することができる。また、軸上色収差領域と判定された領域のみで収差補正を行うので、それ以外の領域で補正処理による色の変化を防ぐことができるという利点もある。
【００４４】
なお、本実施形態に係る画像処理装置１においては、条件式（１）〜（４）全てを満たす場合に軸上色収差の発生起点であるとして検出することとしたが、これに代えて、図５および図６に示されるように、条件式（１）および条件式（２）を満たす場合、または、条件式（３）および条件式（４）を満たす場合に、注目画素を軸上色収差の発生起点であるとして検出することにしてもよい。
このようにすることで、フォーカス位置より広い奥行き範囲で軸上色収差の発生起点を検出することができるという利点がある。
【００４５】
また、条件式（１）、（２）、（４）を全て満たす場合、または、条件式（２）、（３）、（４）を全て満たす場合に、注目画素を軸上色収差の発生起点として検出してもよい。
このようにすることで、他方向Ｄ２にパープルフリンジが発生し、一方向Ｄ１のＲの画素値の合計またはＢの画素値の合計が、Ｇの画素値の合計より小さく、色相環で反対色に近い色となってパープルフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。
【００４６】
また、条件式（１）、（２）、（３）を全て満たす場合、または、条件式（１）、（３）、（４）を全て満たす場合に、注目画素を軸上色収差の発生起点として検出してもよい。
このようにすることで、一方向Ｄ１にグリーンフリンジが発生し、他方向Ｄ２のＲの画素値の合計またはＢの画素値の合計が、Ｇの画素値の合計より大きく、色相環で反対色に近い色となってグリーンフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。
【００４７】
また、数１で算出された画素値の合計が、次の条件式（５）〜（８）を全て満たす場合に注目画素を軸上色収差の発生起点として検出することにしてもよい。
ＰｇＤ１＋ＴＨＲ１＞ＰｒＤ１                ・・・（５）
ＰｇＤ２−ＴＨＲ２＜ＰｒＤ２                ・・・（６）
ＰｇＤ１＋ＴＨＢ１＞ＰｂＤ１                ・・・（７）
ＰｇＤ２−ＴＨＢ２＜ＰｂＤ２                ・・・（８）
ここで、ＴＨＲ１，ＴＨＲ２，ＴＨＢ１，ＴＨＢ２は任意の定数である。
【００４８】
ＴＨＲ１，ＴＨＲ２，ＴＨＢ１，ＴＨＢ２としては、図７に示されるように、例えば、処理対象の画素位置におけるＧとＲ、または、ＧとＢのノイズ量を示す標準偏差の差を例示することができる。一方向Ｄ１および他方向Ｄ２のＲ，Ｇ，Ｂそれぞれのノイズ量をＮｒＤ１、ＮｇＤ１、ＮｂＤ１、ＮｒＤ２、ＮｇＤ２、ＮｂＤ２として、
ＴＨＲ１＝ＮｒＤ１−ＮｇＤ１
ＴＨＲ２＝ＮｒＤ２−ＮｇＤ２
ＴＨＢ１＝ＮｂＤ１−ＮｇＤ１
ＴＨＢ２＝ＮｂＤ２−ＮｇＤ２
となる。
このようにすることで、ノイズの影響を低減し、安定して軸上色収差の発生起点を検出することができるという利点がある。
【００４９】
また、数１で算出された画素値の合計が、次の条件式（９）〜（１２）を全て満たす場合に注目画素を軸上色収差の発生起点として検出することにしてもよい。
ＰｇＤ１＋ＴＨＲ＞ＰｒＤ１                ・・・（９）
ＰｇＤ２＋ＴＨＲ＜ＰｒＤ２                ・・・（１０）
ＰｇＤ１＋ＴＨＢ＞ＰｂＤ１                ・・・（１１）
ＰｇＤ２＋ＴＨＢ＜ＰｂＤ２                ・・・（１２）
ここで、ＴＨＲ，ＴＨＢは任意の定数である。
【００５０】
定数ＴＨＲ，ＴＨＢとしては、図８に示されるように、例えば、処理対象の画素位置におけるＧとＲ、または、ＧとＢの画素値の差分を例示することができる。注目画素のＲ，Ｇ，Ｂのそれぞれの画素値をＰｒ（０，０）、Ｐｇ（０，０）、Ｐｂ（０，０）とすると、
ＴＨＲ＝Ｐｇ（０，０）−Ｐｒ（０，０）
ＴＨＢ＝Ｐｇ（０，０）−Ｐｂ（０，０）
となる。
このようにすることで、無彩色ではなく、色つきの被写体上に発生した軸上色収差の発生起点を検出することができるという利点がある。
【００５１】
また、数１で算出された画素値の合計が、次の条件式（１３）〜（１６）を全て満たす場合に注目画素を軸上色収差の発生起点として検出することにしてもよい。
ＰｇＤ１＞ＰｒＤ１×ＫＲ                ・・・（１３）
ＰｇＤ２＜ＰｒＤ２×ＫＲ                ・・・（１４）
ＰｇＤ１＞ＰｂＤ１×ＫＢ                ・・・（１５）
ＰｇＤ２＜ＰｂＤ２×ＫＢ                ・・・（１６）
ここで、ＫＲ，ＫＢは任意の定数である。
【００５２】
定数ＫＲ，ＫＢとしては、図９に示されるように、例えば、処理対象の画素位置におけるＧとＲ、または、ＧとＢの画素値の比率を例示することができる。注目画素のＲ，Ｇ，Ｂのそれぞれの画素値をＰｒ（０，０）、Ｐｇ（０，０）、Ｐｂ（０，０）とすると、
ＫＲ＝Ｐｇ（０，０）／Ｐｒ（０，０）
ＫＢ＝Ｐｇ（０，０）／Ｐｂ（０，０）
となる。
このようにすることによっても、無彩色ではなく、色つきの被写体上に発生した軸上色収差の発生起点を検出することができるという利点がある。
【００５３】
また、本実施形態においては、各画素においてＲＧＢ全ての信号値が得られるフルカラー画像が入力画像として入力される場合について例示したが、これに代えて、いわゆるベイヤ画像である場合に適用することにしてもよい。この場合、一方向Ｄ１の合計画素値算出部４における合計画素値の算出方法は数２〜数４の通りとなる。
【００５４】
図１０Ａに示されるように、注目画素がＲ（斜線部分）である場合には、数２および数３に示される数式により合計画素値が算出される。
【数２】
2016084223.tif 000004
【数３】
2016084223.tif 000005
【００５５】
図１０Ｂに示されるように、注目画素がＢ（斜線部分）である場合には、数４および数５に示される数式により合計画素値が算出される。
【数４】
2016084223.tif 000006
【数５】
2016084223.tif 000007
【００５６】
図１０Ｃに示されるように、注目画素がＧＲ（斜線部分）である場合には、数６および数７に示される数式により合計画素値が算出される。
【数６】
2016084223.tif 000008
【数７】
2016084223.tif 000009
【００５７】
図１０Ｄに示されるように、注目画素がＧＢ（斜線部分）である場合には、数８および数９に示される数式により合計画素値が算出される。
【数８】
2016084223.tif 000010
【数９】
2016084223.tif 000011
【００５８】
このようにすることで、同時化されていない画像に対しても軸上色収差の発生起点を検出することができ、検出時に同時化のための補間エラーの影響をなくすことができる。
本実施形態に係る画像処理装置１は、放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に搭載して使用される。また、動画を扱う画像信号補正プログラム（ＣＧプログラム）や画像編集装置等にも用いることができる。また、本実施形態に係る画像処理方法をコンピュータ（例えば、パーソナルコンピュータ）に実行させる画像処理プログラムとして用いることもできる。
【符号の説明】
【００５９】
１  画像処理装置
３  収差補正部（補正部）
４  合計画素値算出部
５  発生起点検出部
６  領域判定部
Ｓ２  合計画素値算出ステップ
Ｓ３  発生起点検出ステップ
Ｓ５  領域判定ステップ
Ｓ７  補正ステップ
【図１】
2016084223.tif 000012
【図２】
2016084223.tif 000013
【図３】
2016084223.tif 000014
【図４】
2016084223.tif 000015
【図５】
2016084223.tif 000016
【図６】
2016084223.tif 000017
【図７】
2016084223.tif 000018
【図８】
2016084223.tif 000019
【図９】
2016084223.tif 000020
【図１０Ａ】
2016084223.tif 000021
【図１０Ｂ】
2016084223.tif 000022
【図１０Ｃ】
2016084223.tif 000023
【図１０Ｄ】
2016084223.tif 000024
【国際調査報告】
2016084223.tif 000025
2016084223.tif 000026