(57)【要約】【課題】画像のパープルフリンジ補正を実行する装置、方法を提供する。【解決手段】ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の補間画素値を算出する画素補間部と、ＲＧＢＷ配列画像からパープルフリンジ画素を検出しパープルフリンジ画素の補正を実行して補正画素値を算出する補正値算出部と、画素補間部の算出した補間画素値と、補正値算出部の算出した補正画素値のブレンドにより、出力画像の構成画素値ＲＧＢを算出するブレンド処理部を有する。パープルフリンジ検出部は、参照領域のＷ画素ダイナミックレンジが既定閾値より大であり参照領域に飽和ＲＧＢ画素、またはＲＧＢＷ画素が存在する場合、注目画素をパープルフリンジ画素であると判定する。【選択図】図５
2013219705.tif 000002
【特許請求の範囲】
【請求項１】
ＲＧＢＷ配列画像を入力し、出力画像としてＲＧＢ配列画像を生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の配列に対応した補間画素値ｒ１，ｇ１，ｂ１を算出する画素補間部と、
前記ＲＧＢＷ配列画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出部と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出部と、
前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、出力画像の構成画素値ＲＧＢを算出するブレンド処理部を有する画像処理装置。
【請求項２】
前記パープルフリンジ検出部は、
前記ＲＧＢＷ配列画像に設定した参照領域であり、前記出力画像の構成画素値の算出対象画素である注目画素を含む参照領域のＷ画素値からＷ画素ダイナミックレンジＷｄを算出し、
前記Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定を実行する請求項１に記載の画像処理装置。
【請求項３】
前記パープルフリンジ検出部は、
前記初期判定において、前記注目画素がパープルフリンジ画素である可能性が高いと判定された場合、
前記参照領域におけるＲＧＢ画素、またはＲＧＢＷ画素に飽和画素が存在するか否かを検証し、飽和画素が存在する場合、前記注目画素をパープルフリンジ画素であるとの最終判定を行う請求項２に記載の画像処理装置。
【請求項４】
前記補正値算出部は、
前記ＲＧＢＷ配列画像内に設定した参照領域であり、前記出力画像の構成画素値の算出対象となる注目画素を含む参照領域の輝度信号主成分となる色画素の画素値から輝度信号主成分低域信号を算出し、
算出した輝度信号主成分低域信号に対して、前記注目画素の変換対象後の色に応じたホワイトバランス調整を実行して前記補正画素値を算出する請求項１に記載の画像処理装置。
【請求項５】
前記輝度信号主成分となる色画素はＷ画素またはＧ画素である請求項４に記載の画像処理装置。
【請求項６】
前記ブレンド処理部は、
前記ＲＧＢＷ配列画像内に設定した参照領域であり、前記出力画像の構成画素値の算出対象となる注目画素を含む参照領域のＷ画素値から算出されるＷ画素ダイナミックレンジＷｄに応じてブレンド比率を算出し、算出したブレンド比率に応じて前記ブレンド処理を実行する請求項１に記載の画像処理装置。
【請求項７】
前記ブレンド処理部は、
前記参照領域のＷ画素ダイナミックレンジＷｄが大きいほど、
前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１より、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２の寄与率を高くしたブレンド処理を実行して、前記出力画像の構成画素値ＲＧＢを算出する請求項１に記載の画像処理装置。
【請求項８】
前記ブレンド処理部は、
前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド比率ｒａｔｅを、前記参照領域のＷ画素ダイナミックレンジＷｄと、Ｗｄの取り得る最大値ＭＡＸを適用して、
ｒａｔｅ＝Ｗｄ／ＭＡＸ、
上記式に従って算出する請求項１に記載の画像処理装置。
【請求項９】
前記ブレンド処理部は、
前記ハープルフリンジ検出部においてパープルフリンジ画素と判定された画素については、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド比率ｒａｔｅを１．０に設定したブレンド処理を実行して、前記補正画素値ｒ２，ｇ２，ｂ２を前記出力画像の構成画素値ＲＧＢとして出力する請求項１に記載の画像処理装置。
【請求項１０】
ＲＧＢ配列画像を入力画像とし、画素値補正処理を施した補正画像を生成するデータ補正処理部を有し、
前記データ補正処理部は、
前記入力画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出部と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出部と、
前記入力画像の画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、前記補正画像の構成画素値ＲＧＢを算出するブレンド処理部を有する画像処理装置。
【請求項１１】
前記パープルフリンジ検出部は、
前記入力画像内に設定した参照領域であり、前記補正画像の構成画素値の算出対象となる注目画素を含む参照領域のＧ画素値からＧ画素ダイナミックレンジＧｄを算出し、
前記Ｇ画素ダイナミックレンジＧｄが、閾値ＴｈｒＧより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定を実行する請求項１０に記載の画像処理装置。
【請求項１２】
前記パープルフリンジ検出部は、
前記初期判定において、前記注目画素がパープルフリンジ画素である可能性が高いと判定された場合、
前記参照領域におけるＲＧＢ画素に飽和画素が存在するか否かを検証し、飽和画素が存在する場合、前記注目画素をパープルフリンジ画素であるとの最終判定を行う請求項１１に記載の画像処理装置。
【請求項１３】
前記補正値算出部は、
前記入力画像内に設定した参照領域であり、前記補正画像の構成画素値の算出対象となる注目画素を含む参照領域のＧ画素の画素値からＧ低域信号を算出し、
算出したＧ低域信号に対して、前記注目画素の変換対象後の色に応じたホワイトバランス調整を実行して前記補正画素値を算出する請求項１０に記載の画像処理装置。
【請求項１４】
前記ブレンド処理部は、
前記入力画像内に設定した参照領域であり、前記補正画像の構成画素値の算出対象となる注目画素を含む参照領域のＧ画素値から算出されるＧ画素ダイナミックレンジＧｄに応じてブレンド比率を算出し、算出したブレンド比率に応じて前記ブレンド処理を実行する請求項１０に記載の画像処理装置。
【請求項１５】
前記ブレンド処理部は、
前記参照領域のＧ画素ダイナミックレンジＧｄが大きいほど、
前記入力画像の画素値ｒ１，ｇ１，ｂ１より、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２の寄与率を高くしたブレンド処理を実行して、前記補正画像の構成画素値ＲＧＢを算出する請求項１０に記載の画像処理装置。
【請求項１６】
前記ブレンド処理部は、
前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド比率ｒａｔｅを、前記参照領域のＧ画素ダイナミックレンジＧｄと、Ｇｄの取り得る最大値ＭＡＸを適用して、
ｒａｔｅ＝Ｇｄ／ＭＡＸ、
上記式に従って算出する請求項１０に記載の画像処理装置。
【請求項１７】
画像処理装置において実行する画像処理方法であり、
データ変換処理部が、ＲＧＢＷ配列画像を入力し、出力画像としてＲＧＢ配列画像を生成するデータ変換処理を実行し、
前記データ変換処理において、
前記ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の配列に対応した補間画素値ｒ１，ｇ１，ｂ１を算出する画素補間処理と、
前記ＲＧＢＷ配列画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出処理と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出処理と、
前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、出力画像の構成画素値ＲＧＢを算出するブレンド処理を実行する画像処理方法。
【請求項１８】
前記パープルフリンジ検出処理において、
前記ＲＧＢＷ配列画像に設定した参照領域であり、前記出力画像の構成画素値の算出対象画素である注目画素を含む参照領域のＷ画素値からＷ画素ダイナミックレンジＷｄを算出し、
前記Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定を実行する請求項１７に記載の画像処理方法。
【請求項１９】
画像処理装置において画像処理を実行させるプログラムであり、
データ変換処理部に、ＲＧＢＷ配列画像を入力し、出力画像としてＲＧＢ配列画像を生成するデータ変換処理を実行させ、
前記データ変換処理において、
前記ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の配列に対応した補間画素値ｒ１，ｇ１，ｂ１を算出する画素補間処理と、
前記ＲＧＢＷ配列画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出処理と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出処理と、
前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、出力画像の構成画素値ＲＧＢを算出するブレンド処理を実行させるプログラム。
【請求項２０】
前記パープルフリンジ検出処理において、
前記ＲＧＢＷ配列画像に設定した参照領域であり、前記出力画像の構成画素値の算出対象画素である注目画素を含む参照領域のＷ画素値からＷ画素ダイナミックレンジＷｄの算出処理と、
前記Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定処理を実行させる請求項１９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、カメラの撮影画像に発生する偽色等の補正処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
カメラでの撮影画像には撮影レンズの収差に起因する問題が発生する場合がある。具体的には、例えばレンズ収差による影響の１つとして色収差がある。色収差はカメラの撮影レンズにおける光の屈折率が波長に依存して異なることが原因であり、撮像面で偽色を発生させる。
【０００３】
色収差の代表的な例として、光軸上の焦点位置が波長によって異なるために色のにじみが発生する軸上色収差や、波長により像高倍率が異なるために色ずれが発生する倍率色収差などが知られている。
【０００４】
また、画素の輝度が飽和値に達した白飛び画素が存在するハイコントラストのエッジ周辺に発生する紫色の偽色を一般的にパープルフリンジ（Ｐｕｒｐｌｅ  Ｆｒｉｎｇｅ）と呼ぶ。このパープルフリンジは、軸上色収差や倍率色収差が原因となっており、画質の劣化を引き起こす。
【０００５】
パープルフリンジは、紫色に近い色の場合が多いが、実際にはレンズや撮影条件などによって、紫色以外の色になる場合もある。ここでは、偽色の色にかかわらず、白飛びしているハイコントラストのエッジの周辺に発生している偽色をパープルフリンジと呼ぶことにする。
【０００６】
パープルフリンジの発生原因と発生領域について図１を参照して説明する。
図１（ａ）は、横軸に画素位置、縦軸に画素値を示すグラフである。
図１（ｂ）は、画像における撮影画像の概略図を示している。
一般的なカメラの撮像素子の画素配列として多く用いられているベイヤー配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の画素から構成されている。
【０００７】
図１（ａ）において、画素位置０〜Ｘ１の領域は、画素値が最大値であり、いわゆる白飛び領域である。画素位置Ｘ１が、輝度値が急激に変化するエッジ位置に相当し、画素位置Ｘ１〜以降は本来の画素値はほぼ０に設定されるべき領域である。
このように、最大画素値を持つ白とび領域から急激に画素値が変化するエッジ周辺の白飛び領域近傍では、色収差によりＲＧＢの各画素値に差が生じるため、偽色が発生する。
【０００８】
色収差を軽減するためには、色収差をほとんど発生させない蛍石などの特殊な素材のガラスでできたレンズを用いることが理想的であるが、製造コストが高いという欠点がある。
【０００９】
このような色収差によって発生する偽色を画像処理により軽減する方法が、例えば特許文献１（特開２００９−１２４５９８号公報）、特許文献２（特開２００６−１４２６１号公報）に記載されている。
【００１０】
しかし、これら特許文献１、２に記載の処理は、撮像素子から出力される各画素にＲＧＢいずれか１つの画素値の設定されたモザイク画像に対する画素値補間等の信号処理によって各画素にＲＧＢの全画素値を設定するデモザイク処理を実行した後のＲＧＢ画像を用いて偽色の検出と補正を行う構成である。
従って、これらの特許文献１，２の処理は、撮像素子から出力直後のモザイク画像、すなわち、各画素にＲＧＢいずれか１つの画素値の設定されたモザイク画像に対する処理としては適用できない。
【００１１】
また、特許文献３（特開２０１０−１３６２２５号公報）には、デモザイク処理前のモザイク画像に対する画像処理によって、偽色を取り除く処理を開示している。
しかし、この処理は、従来型のカメラにおいて多く利用されている図２（ａ）に示す画素配列を有するベイヤー（Ｂａｙｅｒ）配列の画像に対する処理を記載しているのみである。
【００１２】
一方、昨今、撮像素子の画素密度が上昇し、１画素あたりの入射光量が減少してしまい、相対的なノイズが増加してしまうという問題が発生している。このような問題を解決する一手法として、ＲＧＢの各色に加え、全波長透過型のＷ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つ撮像素子が提案されている。
【００１３】
具体的には、図２（ｂ）に示すようにホワイト（Ｗ）画素を含んだＲＧＢＷ配列の撮像素子である。このＲＧＢＷ配列の撮像素子を用いて撮影された撮像素子の出力画像であるモザイク画像は、各画素に図２（ｂ）に示す画素配列に従ったＲＧＢＷいずれかの色の画素値のみが設定されたモザイク画像となる。
【００１４】
このようなＲＧＢＷ配列を持つ撮像素子によって撮影されたモザイク画像に対するパープルフリンジの削減を開示した従来技術はなく、これまでに開示された従来技術であるＲＧＢ配列に対する補正処理をそのまま適用することはできないという問題がある。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００９−１２４５９８号公報
【特許文献２】特開２００６−１４２６１号公報
【特許文献３】特開２０１０−１３６２２５号公報
【特許文献４】特開２０１１−１８２３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本開示は、例えば上記問題点に鑑みてなされたものであり、デモザイク前の撮像素子出力画像であるモザイク画像に対する処理として、パープルフリンジなどの偽色の発生領域の検出処理や補正処理を実行して高画質な画像を出力する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１７】
また、本開示の一実施例の構成では、ホワイト画素を含んだ配列を有するモザイク画像から、パープルフリンジなどの偽色の発生領域を検出し、補正を実行して高画質な画像を出力する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本開示の第１の側面は、
ＲＧＢＷ配列画像を入力し、出力画像としてＲＧＢ配列画像を生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の配列に対応した補間画素値ｒ１，ｇ１，ｂ１を算出する画素補間部と、
前記ＲＧＢＷ配列画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出部と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出部と、
前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、出力画像の構成画素値ＲＧＢを算出するブレンド処理部を有する画像処理装置にある。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記パープルフリンジ検出部は、前記ＲＧＢＷ配列画像に設定した参照領域であり、前記出力画像の構成画素値の算出対象画素である注目画素を含む参照領域のＷ画素値からＷ画素ダイナミックレンジＷｄを算出し、前記Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定を実行する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記パープルフリンジ検出部は、前記初期判定において、前記注目画素がパープルフリンジ画素である可能性が高いと判定された場合、前記参照領域におけるＲＧＢ画素、またはＲＧＢＷ画素に飽和画素が存在するか否かを検証し、飽和画素が存在する場合、前記注目画素をパープルフリンジ画素であるとの最終判定を行う。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記補正値算出部は、前記ＲＧＢＷ配列画像内に設定した参照領域であり、前記出力画像の構成画素値の算出対象となる注目画素を含む参照領域の輝度信号主成分となる色画素の画素値から輝度信号主成分低域信号を算出し、算出した輝度信号主成分低域信号に対して、前記注目画素の変換対象後の色に応じたホワイトバランス調整を実行して前記補正画素値を算出する。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記輝度信号主成分となる色画素はＷ画素またはＧ画素である。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド処理部は、前記ＲＧＢＷ配列画像内に設定した参照領域であり、前記出力画像の構成画素値の算出対象となる注目画素を含む参照領域のＷ画素値から算出されるＷ画素ダイナミックレンジＷｄに応じてブレンド比率を算出し、算出したブレンド比率に応じて前記ブレンド処理を実行する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド処理部は、前記参照領域のＷ画素ダイナミックレンジＷｄが大きいほど、前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１より、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２の寄与率を高くしたブレンド処理を実行して、前記出力画像の構成画素値ＲＧＢを算出する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド処理部は、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド比率ｒａｔｅを、前記参照領域のＷ画素ダイナミックレンジＷｄと、Ｗｄの取り得る最大値ＭＡＸを適用して、
ｒａｔｅ＝Ｗｄ／ＭＡＸ、
上記式に従って算出する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド処理部は、前記ハープルフリンジ検出部においてパープルフリンジ画素と判定された画素については、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド比率ｒａｔｅを１．０に設定したブレンド処理を実行して、前記補正画素値ｒ２，ｇ２，ｂ２を前記出力画像の構成画素値ＲＧＢとして出力する。
【００２７】
さらに、本開示の第２の側面は、
ＲＧＢ配列画像を入力画像とし、画素値補正処理を施した補正画像を生成するデータ補正処理部を有し、
前記データ補正処理部は、
前記入力画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出部と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出部と、
前記入力画像の画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、前記補正画像の構成画素値ＲＧＢを算出するブレンド処理部を有する画像処理装置にある。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記パープルフリンジ検出部は、前記入力画像内に設定した参照領域であり、前記補正画像の構成画素値の算出対象となる注目画素を含む参照領域のＧ画素値からＧ画素ダイナミックレンジＧｄを算出し、前記Ｇ画素ダイナミックレンジＧｄが、閾値ＴｈｒＧより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定を実行する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記パープルフリンジ検出部は、前記初期判定において、前記注目画素がパープルフリンジ画素である可能性が高いと判定された場合、前記参照領域におけるＲＧＢ画素に飽和画素が存在するか否かを検証し、飽和画素が存在する場合、前記注目画素をパープルフリンジ画素であるとの最終判定を行う。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記補正値算出部は、前記入力画像内に設定した参照領域であり、前記補正画像の構成画素値の算出対象となる注目画素を含む参照領域のＧ画素の画素値からＧ低域信号を算出し、算出したＧ低域信号に対して、前記注目画素の変換対象後の色に応じたホワイトバランス調整を実行して前記補正画素値を算出する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド処理部は、前記入力画像内に設定した参照領域であり、前記補正画像の構成画素値の算出対象となる注目画素を含む参照領域のＧ画素値から算出されるＧ画素ダイナミックレンジＧｄに応じてブレンド比率を算出し、算出したブレンド比率に応じて前記ブレンド処理を実行する。
【００３２】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド処理部は、前記参照領域のＧ画素ダイナミックレンジＧｄが大きいほど、前記入力画像の画素値ｒ１，ｇ１，ｂ１より、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２の寄与率を高くしたブレンド処理を実行して、前記補正画像の構成画素値ＲＧＢを算出する。
【００３３】
さらに、本開示の画像処理装置の一実施態様において、前記ブレンド処理部は、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド比率ｒａｔｅを、前記参照領域のＧ画素ダイナミックレンジＧｄと、Ｇｄの取り得る最大値ＭＡＸを適用して、
ｒａｔｅ＝Ｇｄ／ＭＡＸ、
上記式に従って算出する。
【００３４】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
データ変換処理部が、ＲＧＢＷ配列画像を入力し、出力画像としてＲＧＢ配列画像を生成するデータ変換処理を実行し、
前記データ変換処理において、
前記ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の配列に対応した補間画素値ｒ１，ｇ１，ｂ１を算出する画素補間処理と、
前記ＲＧＢＷ配列画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出処理と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出処理と、
前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、出力画像の構成画素値ＲＧＢを算出するブレンド処理を実行する画像処理方法にある。
【００３５】
さらに、本開示の画像処理方法の一実施態様において、前記パープルフリンジ検出処理において、前記ＲＧＢＷ配列画像に設定した参照領域であり、前記出力画像の構成画素値の算出対象画素である注目画素を含む参照領域のＷ画素値からＷ画素ダイナミックレンジＷｄを算出し、前記Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定を実行する。
【００３６】
さらに、本開示の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
データ変換処理部に、ＲＧＢＷ配列画像を入力し、出力画像としてＲＧＢ配列画像を生成するデータ変換処理を実行させ、
前記データ変換処理において、
前記ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の配列に対応した補間画素値ｒ１，ｇ１，ｂ１を算出する画素補間処理と、
前記ＲＧＢＷ配列画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出処理と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出処理と、
前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、出力画像の構成画素値ＲＧＢを算出するブレンド処理を実行させるプログラムにある。
【００３７】
さらに、本開示のプログラムの一実施態様において、前記パープルフリンジ検出処理において、前記ＲＧＢＷ配列画像に設定した参照領域であり、前記出力画像の構成画素値の算出対象画素である注目画素を含む参照領域のＷ画素値からＷ画素ダイナミックレンジＷｄの算出処理と、前記Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定処理を実行させる。
【００３８】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３９】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４０】
本開示の一実施例の構成によれば、撮像素子から出力されるモザイク画像に対するパープルフリンジ補正を実行する装置、方法が実現される。
具体的には、例えば、ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の補間画素値を算出する画素補間部と、ＲＧＢＷ配列画像からパープルフリンジ画素を検出するパープルフリンジ検出部と、パープルフリンジ画素の補正を実行して補正画素値を算出する補正値算出部と、画素補間部の算出した補間画素値と、補正値算出部の算出した補正画素値のブレンドにより、出力画像の構成画素値ＲＧＢを算出するブレンド処理部を有する。パープルフリンジ検出部は、参照領域のＷ画素ダイナミックレンジが既定閾値より大であり参照領域に飽和ＲＧＢ画素、または飽和ＲＧＢＷ画素が存在する場合、注目画素をパープルフリンジ画素であると判定する。
これらの処理により、撮像素子から出力されるモザイク画像に対する高精度なパープルフリンジ画素の検出、およびパープルフリンジの影響を低減した補正された高品質な画像生成が実現される。
【図面の簡単な説明】
【００４１】
【図１】パープルフリンジの発生領域について説明する図である。
【図２】撮像装置の画素配列の構成例について説明する図である。
【図３】本開示の画像処理装置の構成例について説明する図である。
【図４】本開示の画像処理装置の撮像素子の画素配列について説明する図である。
【図５】本開示の画像処理装置のデータ変換処理部の構成例について説明する図である。
【図６】パープルフリンジの発生領域とＷ画素のダイナミックレンジＷｄとの対応について説明する図である。
【図７】本開示の画像処理装置の実行するパープルフリンジの補正処理について説明する図である。
【図８】本開示の画像処理装置の実行するパープルフリンジ補正に適用するフィルタ（ＬＰＦ）の設定例について説明する図である。
【図９】本開示の画像処理装置のデータ変換処理部において実行するブレンド処理に適用するブレンド比率ｒａｔｅの設定例について説明する図である。
【図１０】本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図１１】本開示の画像処理装置の構成例を説明する図である。
【図１２】本開示の画像処理装置のデータ補正処理部の構成例について説明する図である。
【図１３】パープルフリンジの発生領域とＧ画素のダイナミックレンジＧｄとの対応について説明する図である。
【図１４】本開示の画像処理装置の実行するパープルフリンジの補正処理について説明する図である。
【図１５】本開示の画像処理装置のデータ変換処理部において実行するブレンド処理に適用するブレンド比率ｒａｔｅの設定例について説明する図である。
【図１６】本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００４２】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の第１実施例の構成と処理について
２．本開示の画像処理装置の第２実施例の構成と処理について
３．本開示の画像処理装置の第３実施例の構成と処理について
４．本開示の画像処理装置の第４実施例の構成と処理について
５．本開示の画像処理装置の処理による効果について
６．本開示の構成のまとめ
【００４３】
［１．本開示の画像処理装置の第１実施例の構成と処理について］
本開示の第１実施例に係る画像処理装置は、ＲＧＢ各色の波長光を選択的に透過するＲＧＢフィルタに加え、ＲＧＢ各波長光をすべて透過するホワイト（Ｗ：Ｗｈｉｔｅ）を含むＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データに対する処理を行う。
【００４４】
具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。
【００４５】
本発明の画像処理装置は、図２（ｂ）に示すような、ホワイト（Ｗ：Ｗｈｉｔｅ）を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを、図２（ａ）に示すＲＧＢ配列（例えばベイヤー配列）に変換する処理を実行する。以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
なお、このような画素配列の変換処理であるリモザイク処理の詳細については、例えば、特許文献４（特開２０１１−１８２３５４号公報）に記載されている。
【００４６】
本開示の画像処理装置は、このＲＧＢＷ画素配列をＲＧＢ画素配列からなるベイヤー（Ｂａｙｅｒ）配列画像に変換する画素配列変換処理（リモザイク処理）に際して、パープルフリンジを補正する処理を実行する。
【００４７】
画素配列変換処理（リモザイク処理）によって生成したベイヤー（Ｂａｙｅｒ）配列画像は、後段の信号処理部に入力される。
この信号処理部は、ベイヤー配列のモザイク画像から各画素にＲＧＢ全画素値を設定するデモザイク処理や、ホワイトバランス（ＷＢ）調整処理、あるいはガンマ補正などの一般的な信号処理を実行する。
【００４８】
多くのカメラに備えられた信号処理部は、撮像素子から入力する画像がＲＧＢ画素配列からなるベイヤー（Ｂａｙｅｒ）配列の画像であることを前提とした信号処理を行う構成となっている。
従って、信号処理部への入力画像を、その前段でベイヤー配列に変換することで、従来型の信号処理部をそのまま利用することができる。
このために、ＲＧＢＷ配列を持つ撮像素子の出力を信号処理部に入力する前段において、ベイヤー配列に変換するリモザイク処理を行う。
【００４９】
図３以下を参照して、本開示の一実施例に係る画像処理装置の構成例および処理例について説明する。
図３は、本開示の画像処理装置の一実施例としての撮像装置１００の構成を説明する図である。
撮像装置１００は、光学レンズ１０５、撮像素子（イメージセンサ）１１０、信号処理部１２０、メモリ１３０、制御部１４０を有する。なお、撮像装置は、本開示の画像処理装置の一態様である。本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図３に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１１０の取得データに対応するデータを入力する入力部、または記憶部を持つ構成となる。具体的には撮像装置１００は、スチルカメラ、ビデオカメラなどであり、画像処理装置には、この撮像装置の他、ＰＣなど画像処理の可能な情報処理装置が含まれる。
【００５０】
以下では、撮像装置１００を、本発明の画像処理装置の代表例として説明する。図３に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図４に示すホワイト（Ｗ）を持つＲＧＢＷ配列１８１を持つフィルタを備えた構成である。
すなわち、撮像素子（イメージセンサ）１１０は、図４に示すように、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
ＲＧＢのすべてを透過するホワイト（Ｗ）、
これら４種類の分光特性を持つフィルタを備えた撮像素子である。
【００５１】
図４に示すように、輝度信号の主成分となる画素（Ｗ）が市松状に配置され、残りの部分に色情報成分となる複数色の画素（ＲＧＢ）が配置された２次元画素配列である。
【００５２】
図３に示すように、このＲＧＢＷ配列１８１からなるフィルタを持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢＷいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢＷ４種類の分光から成るモザイク画像が得られる。
撮像素子（イメージセンサ）１１０の出力信号は信号処理部１２０のデータ変換処理部２００に入力される。
【００５３】
データ変換処理部２００は、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への画素配列変換処理を実行する。データ変換処理部２００は、この画素配列変換処理に際して、パープルフリンジを抑制するための処理を実行する。
【００５４】
データ変換処理部２００が生成したＲＧＢ配列１８２、すなわちベイヤー配列を持つデータは、従来のカメラ等の撮像素子によって得られるカラー配列を持つデータである。このカラー配列データは、ＲＧＢ信号処理部２５０に入力される。
ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。
制御部１４０は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ１３０に格納されており、制御部１４０は、メモリ１３０から読み出したプログラムを実行して一連の処理を制御する。
【００５５】
データ変換処理部２００の詳細構成について図５を参照して説明する。データ変換処理部２００は、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への画素配列の変換処理を実行する。さらに、この処理に際してパープルフリンジを抑制するための処理を併せて実行する。
【００５６】
データ変換処理部２００への入力画素単位は、パープルフリンジの除去および画素配列変換処理として実行する画素値変換の処理対象画素を中心とした７画素×７画素とする。すなわち処理対象画素を中心とした７×７画素の参照領域を設定した処理を行う。なお、処理対象画素は、順次変更され、データ変換処理部２００は、各画素について順次、処理を行う。
なお、入力画素単位として設定する参照領域の大きさは、７画素×７画素以外の大きさの領域を設定してもよい。
【００５７】
データ変換処理部２００は、図５に示すように、パープルフリンジ検出部２０１、補正値算出部２０２、画素補間部２０３、ブレンド処理部２０４を有する。
【００５８】
画素補間部２０３は、撮像素子１１０の出力であるＲＧＢＷ配列１８１をＲＧＢ配列１８２となるように、処理対象画素（＝注目画素）、すなわち入力画素単位（７×７画素）領域の中心画素の画素値を決定する。
【００５９】
注目画素はＲＧＢＷいずれかの画素であり、画素補間部２０３は、この注目画素位置の画素を出力するＲＧＢ画素配列に応じたＲＧＢいずれかの画素に変換して設定する画素補間処理を行う。
この画素補間処理は、設定予定のＲＧＢいずれかと同一の色の画素を７×７画素の参照領域から選択して、これらの選択画素値を参照画素として参照画素の画素値を適用して処理対象画素、すなわち７×７画素の中心画素の画素値を算出する処理として実行する。
なお、この補間処理においては、エッジ方向を考慮した処理や、参照領域のＷ画素素とＲＧＢ画素の相関を利用する方法など既存の様々な方法が適用できる。
【００６０】
パープルフリンジ検出部２０１では、パープルフリンジが発生している領域を検出する。
パープルフリンジ検出部２０１の実行するパープルフリンジ発生領域の検出処理について、図６を参照して説明する。
【００６１】
図６には、以下の各図を示している。
（ａ）注目画素位置［横軸］と、ＲＧＢＷ各画素値［縦軸］との対応関係、
（ｂ）注目画素位置［横軸］と、注目画素位置を中心とする参照領域（例えば７×７画素）におけるＷ画素のダイナミックレンジ（最大Ｗ画素値−最小Ｗ画素値）［縦軸］との対応関係、
なお、（ａ），（ｂ）の注目画素の画素位置を示す横軸は、（ａ），（ｂ）とも同じ位置関係にある。
【００６２】
先に、図１を参照して説明したように、パープルフリンジは、最大画素値を持つ白とび領域から急激に画素値が変化するエッジ周辺の白飛び領域近傍で多く発生する。図６（ａ）に示すＸ１〜の領域において偽色を伴うパープルフリンジが多く検出される。
【００６３】
図６（ａ），（ｂ）の対応から理解されるように、パープルフリンジの発生領域では、参照領域（例えば７×７画素）におけるＷ画素のダイナミックレンジ（最大Ｗ画素値−最小Ｗ画素値）が大きいという特徴がある。
【００６４】
この参照領域のＷ画素の変化率、すなわちダイナミックレンジを指標としてパープルフリンジを検出することができる。
なお、図４に示す画素配列から理解されるように、Ｗ画素はＲ、Ｇ、Ｂ、Ｗ画素の中で最も密に配置している。従って、Ｗ画素を用いたダイナミックレンジに基づく判定処理を行うことで検出精度が上がるという利点もある。
このパープルフリンジ検出処理について、図７を参照して説明する。
【００６５】
例えば、図７（ａ）に示す参照領域（７画素×７画素）から、Ｗ画素の最大値Ｗｍａｘと最小値Ｗｍｉｎを求める。
さらに、以下の（式１）に従って、これらの差分を算出して、Ｗ画素ダイナミックレンジＷｄを求める。
Ｗｄ＝Ｗｍａｘ−Ｗｍｉｎ  ・・・（式１）
【００６６】
さらに、Ｗ画素ダイナミックレンジＷｄを閾値ＴｈｒＷと比較する。
Ｗｄ＞ＴｈｒＷ  ・・・・（式２）
上記（式２）が成立する場合、
すなわち、参照領域におけるＷ画素ダイナミックレンジＷｄが既定閾値ＴｈｒＷよりも大きければ、参照領域の中央の注目画素はパープルフリンジ発生画素であるとの初期判定を行う。
なお、この判定は、初期判定であり、この初期判定の後、さらに参照領域のＲＧＢ画素値に基づいて最終判定を行う。この処理については後述する。
【００６７】
上記（式２）が成立しない場合、
すなわち、Ｗ画素ダイナミックレンジＷｄが既定閾値ＴｈｒＷ以下であれば、参照領域の中央の注目画素はパープルフリンジ発生画素でないと判定し、以下に説明するブレンド比率（ｒａｔｅ）を０としたブレンド処理を行う。すなわち、ブレンド処理部２０４の生成する出力画素値に、補正値算出部２０２の生成した画素値を反映させない設定としたブレンド処理を実行する。
【００６８】
上記の初期判定後の最終判定処理について説明する。
例えばＣＺＰチャートなどのようなコントラストが高い画像では、飽和画素がなくパープルフリンジが発生していない領域でもＷ画素ダイナミックレンジＷｄの値が大きくなる。このような場合、上記の（式１）、（式２）に従った判定処理を行うと、パープルフリンジ発生領域でないにも関わらずパープルフリンジ発生領域であると判定してしまう誤検出をする場合が想定される。
【００６９】
このような誤検出を防止するため、図７（ｂ）に示すように、Ｗ画素ダイナミックレンジＷｄの算出処理と同じ参照領域のＲＧＢ画素、またはＲＧＢＷ画素を選択して、これらＲＧＢ画素の画素値を検証する。
すなわち、参照領域（＝７×７画素入力画素単位領域）に飽和しているＲＧＢ画素、またはＲＧＢＷ画素が存在するか否かを検証する。
【００７０】
この検証処理に従って、以下の最終判定を行う。
（１）飽和しているＲＧＢ画素、またはＲＧＢＷ画素が存在していれば、上記の（式１）、（式２）に従った判定処理を有効とする最終判定を行う。
（２）飽和しているＲＧＢ画素、またはＲＧＢＷ画素が存在していなければ、上記の（式１）、（式２）に従った判定処理を無効とし、上記（式１）、（式２）に従って注目画素がパープルフリンジ発生画素であると初期判定された場合であっても、その画素はパープルフリンジ発生画素ではないとする最終判定を行う。
なお、飽和画素の存在を検証する画素を、ＲＧＢ画素とするかＲＧＢＷ画素とするかは、参照領域の大きさや、補正したいパープルフリンジの特性によって決定する。
【００７１】
補正値算出部２０２では、パープルフリンジ検出部２０１において、注目画素がパープルフリンジ検出画素であると最終判定した画素に対する画素値補正を行う。
すなわち、パープルフリンジ検出画素の補正画素値として、パープルフリンジの影響を低減させた補正画素値を求め、補正画素値をブレンド処理部２０４に出力する。
【００７２】
なお、補正値算出部２０２では、パープルフリンジ検出部２０１において、注目画素がパープルフリンジ検出画素でないと判定した画素に対しては、画素値補正を行うことなく、そのままの画素値をブレンド処理部２０４に出力する。
【００７３】
パープルフリンジが発生している領域では、ＲＧＢ画素の各値の比率が本来の比率と異なっているために偽色が発生している。そのため、Ｒ画素とＢ画素の値は使わずに、Ｇ画素の値のみから補正値を求め、偽色発生領域の彩度を落とすことにより、偽色を抑制する。
【００７４】
この処理について、図８を参照して説明する。
参照画素領域である７×７画素領域の設定態様は、図８に示す（ａ）〜（ｄ）の４つの態様がある。すなわち、以下の４種類である。
（ａ）中心画素がＷで、中心画素の右と下の画素がＧの設定、
（ｂ）中心画素がＷで、中心画素の左と上の画素がＧの設定、
（ｃ）中心画素がＧの設定、
（ｄ）中心画素がＲまたはＢの設定、
【００７５】
補正値算出部２０２の実行するパープルフリンジ補正処理の補正パターンは（ａ）〜（ｄ）の参照画素領域の設定に応じて異なる処理となる。
まず、これら（ａ）〜（ｄ）の４種類のパターンに従って参照領域中のＧ画素に、図８（ａ）〜（ｄ）にフィルタ係数として示すＬＰＦ係数を持つローパスフィルタ（ＬＰＦ）を適用した畳み込み演算を行うことにより、Ｇ画素の低域信号ｍＧを求める。なお、図８に示すＬＰＦ係数はＧ画素の低域信号ｍＧを求めるために適用する係数の一例であり、適用する係数はこの例示された係数には限られない。
図に示す例では、補正処理対象となる７×７の参照領域の中央位置の注目画素の周囲の５×５画素領域のＧ画素を適用して低域信号ｍＧを求める処理を実行した例である。
【００７６】
補正値算出部２０２は、まず、図８に示す４つの参照領域の設定、すなわち、（ａ）〜（ｄ）の設定に応じてそれぞれの設定に応じたＬＰＦの適用によって、参照領域の中央の補正対象画素（注目画素）に対応するＧ低域信号ｍＧを算出する。
【００７７】
次に、算出したＧ低域信号ｍＧを適用して、注目画素、すなわち７×７画素の参照画素領域の中心画素の補正画素値を算出する。
補正画素値は、以下の（式３ｇ）、（式３ｒ）、（式３ｂ）に従って算出する。
以下の（式３ｇ）、（式３ｒ）、（式３ｂ）の各々は、変換先出力画素の色（ＲＧＢ）に応じて選択適用する式である。
【００７８】
すなわち、注目画素、すなわち７×７画素の参照画素領域の中心画素位置に設定する画素が、図５に示す出力画像であるＲＧＢ配列１８２のどの色（ＲＧＢ）として出力するか、すなわちリモザイク処理によって変換される変換先出力画素の色（ＲＧＢ）に応じて選択適用する式である。
【００７９】
（１）変換先の画素がＧ画素の場合は、以下の（式３ｇ）に従い補正値ｇ'を求める。
ｇ'＝ｍＧ  ・・・（式３ｇ）
（２）変換先の画素がＲ画素の場合は、以下の（式３ｒ）に従い補正値ｒ'を求める。
ｒ'＝ｍＧ／ｇａｉｎＲ  ・・・（式３ｒ）
（３）変換先の画素がＢ画素の場合は、以下の（式３ｂ）に従い補正値ｂ'を求める。
ｂ'＝ｍＧ／ｇａｉｎＢ  ・・・（式３ｂ）
【００８０】
なお、上記式において、
ｇａｉｎＲはＲ画素のホワイトバランスゲイン、
ｇａｉｎＢはＢ画素のホワイトバランスゲイン、
を表す。
【００８１】
補正値算出部２０２は、このようにして、注目画素がパープルフリンジ画素であると判定した画素の補正画素値ｒ'，ｇ'，ｂ'を算出し、ブレンド処理部２０４に出力する。
なお、注目画素がパープルフリンジ画素でないと判定した画素については、補正値算出部２０２の処理は実行されず、補正前の入力画素値をそのままブレンド処理部２０４に出力する。
【００８２】
ブレンド処理部２０４は、画素補間部２０３の出力信号（ｒ、ｇ、ｂ）と補正値算出部２０２の出力信号を、各対応画素位置において、以下の（式４Ｇ）、（式４Ｒ）、（式４Ｂ）に従ってブレンドして最終的な画素値を算出して出力する。
【００８３】
（１）変換先がＧ画素の場合は、以下の（式４Ｇ）に従い出力値Ｇを求める。
Ｇ＝（１−ｒａｔｅ）×ｇ＋ｒａｔｅ×ｇ'  ・・・（式４Ｇ）
（２）変換先がＲ画素の場合は、以下の（式４Ｒ）に従い出力値Ｒを求める。
Ｒ＝（１−ｒａｔｅ）×ｒ＋ｒａｔｅ×ｒ'  ・・・（式４Ｒ）
（３）変換先がＢ画素の場合は、以下の（式４Ｂ）に従い出力値Ｂを求める。
Ｂ＝（１−ｒａｔｅ）×ｂ＋ｒａｔｅ×ｂ'  ・・・（式４Ｂ）
【００８４】
上記（式４Ｇ）、（式４Ｒ）、（式４Ｂ）は、パープルフリンジの補正後の画素値ｒ'，ｇ'，ｂ'の各画素値のプレンド比率（重み）をｒａｔｅとし、一方、ＲＧＢＷ配列からＲＧＢ配列へのリモザイク処理を実行する画素補間部２０３の補間画素値ｒ，ｇ，ｂのブレンド比率（重み）を（１−ｒａｔｅ）としたブレンド処理（重み付け加算）結果を出力値Ｒ，Ｇ，Ｂとする算出式である。
【００８５】
偽色の強度は参照領域におけるＷ画素のダイナミックレンジＷｄにほぼ比例しているので、以下に示す（式５）に従ってＷｄを０〜１の範囲に正規化した値ｒａｔｅをブレンド比率とする。
ｒａｔｅ＝Ｗｄ／ＭＡＸ  ・・・・・（式５）
ＭＡＸはＷｄが取りうる最大値を表す。
すなわち、図９に示す設定のブレンド比率（ｒａｔｅ）を適用したブレンド処理を行う。
【００８６】
なお、パープルフリンジの補正を行う補正値算出部２０２は、注目画素がパープルフリンジ画素であると判定した画素については、補正画素値ｒ'，ｇ'，ｂ'を算出し、ブレンド処理部２０４に出力している。従って、ブレンド処理部２０４は、パープルフリンジの実行された画素については、上記（式４Ｇ）、（式４Ｒ）、（式４Ｂ）をそのまま適用して最終的な画素値ＲＧＢを算出する。
【００８７】
しかし、パープルフリンジの補正を行う補正値算出部２０２は、注目画素がパープルフリンジ画素でないと判定した画素については、補正画素値ｒ'，ｇ'，ｂ'を算出しておらず、入力画像のＲＧＢＷの画素値をそのまま、ブレンド処理部２０４に出力している。
従って、ブレンド処理部２０４に入力する画素値は、画素配列が変換前のＲＧＢＷ配列に従ったＲＧＢＷの各画素値のままであるが、ブレンド処理部２０４は、このＲＧＢＷの各画素値を、配列変換後のＲＧＢ配列１８２に従ったＲＧＢ画素値、すなわち、上記（式４Ｇ）、（式４Ｒ）、（式４Ｂ）におけるｒ'，ｇ'，ｂ'であると解釈して処理を行う。
【００８８】
なお、この場合、上記（式４Ｇ）、（式４Ｒ）、（式４Ｂ）におけるブレンド比率（ｒａｔｅ）は、ｒａｔｅ＝０に設定して最終的な出力値ＲＧＢを算出する処理を行う。
すなわち、パープルフリンジ発生画素でない場合は、ブレンド処理部２０４は、画素補間部２０３の補間処理によって得られた画素値をそのまま出力する。
【００８９】
このように、ブレンド処理部２０４は、以下のいずれかの処理によって出力画素値を決定する。
（ａ）パープルフリンジ発生画素については、画素補間部２０３の生成した画素値ｒ，ｇ，ｂと、補正値算出部２０２の生成した画素値ｒ'，ｇ'，ｂ'を、参照領域のＷ画素ダイナミックレンジＷｄに応じて決定するブレンド比率に応じてブレンドして出力画素値を決定する。
（ｂ）パープルフリンジ発生画素でない画素については、画素補間部２０３の生成した画素値ｒ，ｇ，ｂを出力画素値とする。
【００９０】
データ変換処理部２００は、このようにして、ＲＧＢＷ配列をＲＧＢ配列に変換するリモザイク処理に併せてパープルフリンジの低減を行い、ＲＧＢ配列１８２を持つ出力画像を生成して、ＲＧＢ信号処理部２５０に出力する。
【００９１】
データ変換処理部２００の実行する処理シーケンスを説明するフローチャートを図１０に示す。
図１０は、データ変換処理部２００の実行するパープルフリンジの検出、補正値の算出、ブレンドまでのフローチャートを示したものであり、以下、各ステップの処理について説明する。
【００９２】
ステップＳ１０１、Ｓ１０２、Ｓ１０３は、図５に示すデータ変換処理部２００中のパープルフリンジ検出部２０１が実行する処理である。
まず、ステップＳ１０１で補正対象となる注目画素を含む参照領域からなる入力画素単位領域のＷ画素の最大値と最小値との差分、すなわちＷ画素ダイナミックレンジＷｄを求める。
上述の実施例で説明した例では、入力画素単位領域は、補正対象となる注目画素を含む７×７画素領域である。
この７×７画素領域に含まれるＷ画素の最大値（Ｗｍａｘ）と最小値（Ｗｍｉｎ）を取得し、Ｗ画素ダイナミックレンジＷｄを、以下の式に従って算出する。
Ｗｄ＝Ｗｍａｘ−Ｗｍｉｎ
【００９３】
次に、ステップＳ１０２において、Ｗ画素ダイナミックレンジＷｄと閾値ＴｈｒＷを比較し、Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大きいか否かを判定する。すなわち、
Ｗｄ＞ＴｈｒＷ
上記判定式が成立するか否かを判定する。
なお、閾値ＴｈｒＷは、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
【００９４】
なお、先に図６を参照して説明したように、Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大きい場合とは、パープルフリンジの発生可能性が高い領域であり、Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大きくない場合は、パープルフリンジの発生可能性が低い領域である。
【００９５】
上記判定式が成立しない場合、すなわち、Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大きくない場合は、ステップＳ１０７に進む。
ステップＳ１０７では、ブレンド比率ｒａｔｅを０とする。すなわち、図５に示すデータ変換処理部２００のブレンド処理部２０４において出力画素値を算出するブレンド処理において、補正値算出部２０２の出力画素値のブレンド比率を０とする。
このブレンド比率ｒａｔｅは、前述の（式４Ｇ）、（式４Ｒ）、（式４Ｂ）に設定したブレンド比率ｒａｔｅである。
【００９６】
すなわち、変換先がＧ画素の場合の出力値Ｇの算出式、
Ｇ＝（１−ｒａｔｅ）×ｇ＋ｒａｔｅ×ｇ'  ・・・（式４Ｇ）
変換先がＲ画素の場合の出力値Ｒの算出式、
Ｒ＝（１−ｒａｔｅ）×ｒ＋ｒａｔｅ×ｒ'  ・・・（式４Ｒ）
変換先がＢ画素の場合の出力値Ｂの算出式、
Ｂ＝（１−ｒａｔｅ）×ｂ＋ｒａｔｅ×ｂ'  ・・・（式４Ｂ）
これらの各出力画素値算出式に設定するブレンド比率ｒａｔｅである。
【００９７】
すなわち、Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大きくなく、パープルフリンジの発生可能性が小さい領域と判定される場合は、（式４Ｇ）、（式４Ｒ）、（式４Ｂ）に設定したブレンド比率ｒａｔｅ＝０として、ステップＳ１０６のブレンド処理を実行する。
【００９８】
この結果として、Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大きくなく、パープルフリンジの発生可能性が少ない領域と判定される場合は、図５のデータ変換処理部２００の画素補間部２０３の設定した補間画素値が出力画素値として設定される。
【００９９】
一方、ステップＳ１０２におけるＷ画素ダイナミックレンジＷｄと閾値ＴｈｒＷとの比較処理、すなわち、
Ｗｄ＞ＴｈｒＷ
上記判定式が成立した場合は、ステップＳ１０３へ進む。
上記判定式が成立する場合は、パープルフリンジの発生可能性が高い領域と判定された場合である。
【０１００】
この場合は、さらに、ステップＳ１０３において、入力画素単位領域に飽和しているＲＧＢ画素、またはＲＧＢＷ画素が存在するかどうかを調べる。
上述した実施例では、入力画素単位領域は、補正対象となる注目画素を含む７×７画素領域である。
この７×７画素領域に含まれるＲＧＢ画素、またはＲＧＢＷ画素に飽和画素値が存在するか否かを判定する。
【０１０１】
飽和しているＲＧＢ画素、またはＲＧＢＷ画素が１画素もなければ、ステップＳ１０７へ進み、ブレンド比率ｒａｔｅを０とする。すなわち、図５に示すデータ変換処理部２００のブレンド処理部２０４において出力画素値を算出するブレンド処理において、補正値算出部２０２の出力画素値のブレンド比率を０とする。
このブレンド比率ｒａｔｅは、前述の（式４Ｇ）、（式４Ｒ）、（式４Ｂ）に設定したブレンド比率ｒａｔｅである。
【０１０２】
なお、入力画素単位領域、すなわち参照領域に飽和しているＲＧＢ画素、またはＲＧＢＷ画素が１画素もない場合とは、その領域がパープルフリンジの発生領域でないと判定される場合である。
この場合は、補正値算出部２０２の出力画素値のブレンド比率を０として、前述の（式４Ｇ）、（式４Ｒ）、（式４Ｂ）に従ったブレンド処理を実行し、画素補間部２０３の算出した補間画素値を出力画素値として設定する。
【０１０３】
一方、ステップＳ１０３において、入力画素単位領域に飽和しているＲＧＢ画素、またはＲＧＢＷ画素が存在する場合は、ステップＳ１０４へ進む。
【０１０４】
ステップＳ１０４、Ｓ１０５の処理は、図５に示すデータ変換処理部２００の補正値算出部２０２の実行する処理である。
ステップＳ１０４では、入力画素単位領域である参照領域のＧ画素値を適用してＧ画素の低域信号を求める。
この処理は、先に図８を参照して説明した画素配列に応じて選択されるＬＰＦを適用した処理である。
【０１０５】
ステップＳ１０５では、Ｇ画素の低域信号にホワイトバランスの逆数をかけて、補正値を求める。具体的には、先に説明した（式３ｇ）、（式３ｒ）、（式３ｂ）の式を適用し、変換後の画素値の色に応じて補正値を求める。すなわち、以下の処理を実行する。
（１）変換先の画素がＧ画素の場合は、以下の（式３ｇ）に従い補正値ｇ'を求める。
ｇ'＝ｍＧ  ・・・（式３ｇ）
（２）変換先の画素がＲ画素の場合は、以下の（式３ｒ）に従い補正値ｒ'を求める。
ｒ'＝ｍＧ／ｇａｉｎＲ  ・・・（式３ｒ）
（３）変換先の画素がＢ画素の場合は、以下の（式３ｂ）に従い補正値ｂ'を求める。
ｂ'＝ｍＧ／ｇａｉｎＢ  ・・・（式３ｂ）
【０１０６】
ステップＳ１０６の処理は、図５に示すデータ変換処理部２００のブレンド処理部２０４の実行する処理である。
ステップＳ１０６では、画素補間部２０３の出力信号と補正値算出部２０２の出力信号をブレンド比率ｒａｔｅに従ってブレンドする。
すなわち、先に説明したように、以下の算出式に従って出力画素値を算出する。
（ａ）変換先がＧ画素の場合の出力値Ｇの算出式、
Ｇ＝（１−ｒａｔｅ）×ｇ＋ｒａｔｅ×ｇ'  ・・・（式４Ｇ）
（ｂ）変換先がＲ画素の場合の出力値Ｒの算出式、
Ｒ＝（１−ｒａｔｅ）×ｒ＋ｒａｔｅ×ｒ'  ・・・（式４Ｒ）
（ｃ）変換先がＢ画素の場合の出力値Ｂの算出式、
Ｂ＝（１−ｒａｔｅ）×ｂ＋ｒａｔｅ×ｂ'  ・・・（式４Ｂ）
これらの各式に従って、図５に示すＲＧＢ配列１８２を持つ出力画像の出力画素値を算出する。
【０１０７】
なお、図１０に示すフローチャートでは、図５に示すデータ変換処理部２００中の画素補間部２０３の処理については省略している。
画素補間部２０３では、既存の処理を適用してＲＧＢＷ配列をＲＧＢ配列に変換するリモザイク処理を実行する。
図１０に示すフローのステップＳ１０６においては、図５に示すデータ変換処理部２００中の画素補間部２０３の生成画素値ｒ，ｇ，ｂと、補正値算出部２０２の出力画素値ｒ'，ｂ'，ｇ'の画素値の同一の画素位置の画素値をブレンド比率ｒａｔｅに従って前述の（式４Ｒ）、（式４Ｇ）、（式４Ｂ）に従ってブレンドを実行して出力画素値を決定する。
【０１０８】
これらの処理により、パーブルフリンジによる偽色等の画素値エラーが低減されたＲＧＢ配列１８２を持つ画像を生成することが可能となる。
なお、図５に示すデータ変換処理部２００の生成したＲＧＢ配列１８２を持つ画像は、図３に示すように、ＲＧＢ信号処理部２５０に入力される。
ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。
【０１０９】
［２．本開示の画像処理装置の第２実施例の構成と処理について］
次に、本開示の画像処理装置の第２実施例の構成と処理について説明する。
上述した第１実施例では、図５に示すデータ変換処理部２００の補正値算出部２０２は、パープルフリンジ発生画素に対する補正値算出処理に際して以下の処理を実行する。
【０１１０】
まず、図８に示す（ａ）〜（ｄ）を参照して説明したように、参照領域中のＧ画素を適用して低域信号ｍＧを求める処理を実行する。
さらに、算出した低域信号ｍＧを利用して、前述した（式３ｇ），（式３ｒ）、（式３ｂ）を適用して、補正画素値ｇ'，ｒ'，ｂ'を算出する。
すなわち、以下の処理である。
（１）変換先の画素がＧ画素の場合の補正値ｇ'算出式。
ｇ'＝ｍＧ  ・・・（式３ｇ）
（２）変換先の画素がＲ画素の場合の補正値ｒ'算出式。
ｒ'＝ｍＧ／ｇａｉｎＲ  ・・・（式３ｒ）
（３）変換先の画素がＢ画素の場合の補正値ｂ'算出式。
ｂ'＝ｍＧ／ｇａｉｎＢ  ・・・（式３ｂ）
なお、上記式において、
ｇａｉｎＲはＲ画素のホワイトバランスゲイン、
ｇａｉｎＢはＢ画素のホワイトバランスゲイン、
を表す。
【０１１１】
本実施例では、補正値算出部２０２において、参照領域のＧ画素の低域信号ｍＧではなく、Ｗ画素の低域信号ｍＷを算出して、Ｗ画素の低域信号ｍＷから、パープルフリンジを低減した補正画素値ｒ'，ｂ'，ｇ'を生成する。
【０１１２】
すなわち、注目画素を中心として設定される参照領域（例えば７×７画素領域）のＷ画素の画素値に対してＬＰＦを適用した畳み込み演算を実行することにより、Ｗ画素の低域信号ｍＷを求める。
さらに、算出したＷ画素の低域信号ｍＷを適用して、以下の（式６ｇ），（式６ｒ）、（式６ｂ）を適用して、補正画素値ｇ'，ｒ'，ｂ'を算出する。
【０１１３】
（１）変換先の画素がＧ画素の場合は、以下の（式６ｇ）に従い補正値ｇ'を求める。
ｇ'＝ｍＷ／ｓｅｎｓｅＷＧ  ・・・（式６ｇ）
（２）変換先の画素がＲ画素の場合は、以下の（式６ｒ）に従い補正値ｒ'を求める。
ｒ'＝ｍＷ／ｇａｉｎＲ／ｓｅｎｓｅＷＧ  ・・・（式６ｒ）
（３）変換先の画素がＢ画素の場合は、以下の（式６ｂ）に従い補正値ｂ'を求める。
ｂ'＝ｍＷ／ｇａｉｎＢ／ｓｅｎｓｅＷＧ  ・・・（式６ｂ）
なお、上記各式において、
ｇａｉｎＲはＲ画素のホワイトバランスゲイン、
ｇａｉｎＢはＢ画素のホワイトバランスゲイン、
ｓｅｎｓｅＷＧは、以下の（式７）に示すＷ画素とＧ画素の感度比を表す。
ｓｅｎｓｅＷＧ＝（Ｗの感度）／（Ｇの感度）  ・・・（式７）
【０１１４】
このように、本実施例２では、パープルフリンジ画素に対する補正画素値の算出処理において、参照領域のＷ画素の低域信号ｍＷを算出し、算出したＷ画素の低域信号ｍＷを適用して、補正画素値ｇ'，ｒ'，ｂ'を算出する。
【０１１５】
［３．本開示の画像処理装置の第３実施例の構成と処理について］
次に、本開示の画像処理装置の第３実施例の構成と処理について説明する。
上記の第１実施例において、図５に示すデータ変換処理部２００のブレンド処理部２０４は、補正値算出部２０２のパープルフリンジ低減処理後の補正画素値ｒ'，ｇ'，ｂ'と、画素補間部２０３の補間処理によって生成した画素値ｒ，ｇ，ｂを所定のブレンド比率ｒａｔｅでブレンドして出力画素値ＲＧＢを生成していた。すなわち、前述の（式４Ｒ）、（式４Ｇ）、（式４Ｂ）に従ったブレンド処理である。
【０１１６】
このブレンド処理において適用するブレンド比率ｒａｔｅは、図９に示すように、参照領域のＷ画素ダイナミックレンジＷｄに基づいて設定していた。すなわち、先に説明した（式５）、すなわち、以下の式で設定されていた。
ｒａｔｅ＝Ｗｄ／ＭＡＸ  ・・・・・（式５）
【０１１７】
本実施例では、ブレンド比率を、０または１のいずれかに設定する。
パープルフリンジ検出画素であると判定された画素については、ブレンド比率ｒａｔｅを１．０にする。
パープルフリンジ検出画素である判定されなかった画素については、ブレンド比率ｒａｔｅを０．０にする。
【０１１８】
この処理を実行すると、パープルフリンジ検出画素と判定した画素の画素値は、補正値算出部２０２の補正画素値に置き換えられる。
パープルフリンジが検出画素でないと判定した画素の画素値は、画素補間部２０３の画素値がそのまま出力される。
【０１１９】
この処理を行えば、先の実施例１において説明した様々なブレンド比率ｒａｔｅに応じたブレンド処理を実行して出力画素値を決定する処理、すなわち、前述の（式４Ｒ）、（式４Ｇ）、（式４Ｂ）による出力画素値の算出処理を省略することが可能となり、処理量を削減することが可能となる。
ただし、パープルフリンジが検出された領域と検出されない領域との境界にアーティファクトが発生する可能性がある。
【０１２０】
［４．本開示の画像処理装置の第４実施例の構成と処理について］
次に、本開示の画像処理装置の第４実施例の構成と処理について説明する。
上述の第１実施例では、入力画像はＲＧＢＷ配列を持つ画像であった。
以下、第４実施例として、入力画像をＲＧＢ配列にした場合の構成と処理について、説明する。この場合、輝度の主成分となる色はＧ画素となる。
【０１２１】
図１１に、第４実施例の画像処理装置の一実施例である撮像装置４００の構成例を示す。
図１１に示す撮像装置４００は、先に第１実施例の撮像装置として説明した図３の撮像装置１００とほぼ同様の構成を有する。
【０１２２】
撮像装置４００は、光学レンズ４０５、撮像素子（イメージセンサ）４１０、信号処理部４２０、メモリ４３０、制御部４４０を有する。なお、撮像装置は、本開示の画像処理装置の一態様である。本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図１１に示す撮像装置４００の光学レンズ４０５、撮像素子４１０を持たず、その他の構成要素から構成され、撮像素子４１０の取得データに対応するデータを入力する入力部、または記憶部を持つ構成となる。具体的には撮像装置４００は、スチルカメラ、ビデオカメラなどであり、画像処理装置には、撮像装置の他、ＰＣなど画像処理の可能な情報処理装置が含まれる。
【０１２３】
図１１に示す撮像装置４００の撮像素子（イメージセンサ）４１０は、先に説明した実施例１と異なりホワイト（Ｗ）画素を持たないＲＧＢ配列４８１、例えば図２（ａ）に示すベイヤー配列からなるＲＧＢからなるフィルタを備えた構成である。
すなわち、撮像素子（イメージセンサ）４１０は、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これら３種類の分光特性を持つフィルタを備えた撮像素子である。
【０１２４】
撮像素子４１０の出力信号は、信号処理部４２０のデータ補正処理部５００に入力される。データ補正処理部５００では、パープルフリンジを抑制するための処理を行う。なお、本実施例４のデータ補正処理部５００は、実施例１のデータ変換処理部２００において実行していたリモザイク処理、すなわちＲＧＢＷ配列からＲＧＢ配列への配列変換処理は実行しない。
【０１２５】
データ補正処理部５００の詳細構成について図１２を参照して説明する。
データ補正処理部５００への入力画素単位は、画素値補正の処理対象画素を中心とした７画素×７画素とする。すなわち処理対象画素を中心とした７×７画素の参照領域を設定した処理を行う。なお、処理対象画素は、順次変更され、データ補正処理部５００は、各画素について順次、処理を行う。
なお、入力画素単位として設定する参照領域の大きさは、７画素×７画素以外の大きさの領域を設定してもよい。
【０１２６】
図１２に示すように、データ補正処理部５００は、パープルフリンジ検出部５０１、補正値算出部５０２、ブレンド処理部５０３を有する。
パープルフリンジ検出部５０１では、パープルフリンジが発生している領域を検出する。
【０１２７】
パープルフリンジ検出部５０１の実行するパープルフリンジ発生領域の検出処理について、図１３を参照して説明する。
図１３には、以下の各図を示している。
（ａ）注目画素位置［横軸］と、ＲＧＢ各画素値［縦軸］との対応関係、
（ｂ）注目画素位置［横軸］と、注目画素位置を中心とする参照領域（例えば７×７画素）におけるＧ画素のダイナミックレンジ（最大Ｇ画素値−最小Ｇ画素値）［縦軸］、
なお、（ａ），（ｂ）の注目画素の画素位置を示す横軸は、（ａ），（ｂ）とも同じ位置関係にある。
【０１２８】
先に、図１を参照して説明したように、パープルフリンジは、最大画素値を持つ白とび領域から急激に画素値が変化するエッジ周辺の白飛び領域近傍で発生する。図１３（ａ）に示すＸ１〜の領域において偽色を伴うパープルフリンジが多く検出される。
【０１２９】
図１３（ａ），（ｂ）の対応から理解されるように、パープルフリンジの発生領域では、参照領域（例えば７×７画素）におけるＧ画素のダイナミックレンジ（最大Ｇ画素値−最小Ｇ画素値）が大きいという特徴がある。
【０１３０】
この参照領域のＧ画素の変化率、すなわちダイナミックレンジを指標としてパープルフリンジを検出することができる。
なお、図２（ａ）に示す画素配列（ベイヤー配列）から理解されるように、Ｇ画素はＲ、Ｇ、Ｂ画素の中で最も密に配置している。従って、Ｇ画素を用いたダイナミックレンジに基づく判定処理を行うことで検出精度が上がるという利点もある。
このパープルフリンジ検出処理について、図１４を参照して説明する。
【０１３１】
パープルフリンジ検出部５０１は、まず、例えば図１４（ａ）に示す参照領域（７画素×７画素）から、Ｇ画素の最大値Ｇｍａｘと最小値Ｇｍｉｎを求める。
さらに、以下の（式８）に従って、これらの差分を算出して、Ｇ画素ダイナミックレンジＧｄを求める。
Ｇｄ＝Ｇｍａｘ−Ｇｍｉｎ  ・・・（式８）
【０１３２】
パープルフリンジ検出部５０１は、さらに、Ｇ画素ダイナミックレンジＧｄを閾値ＴｈｒＧと比較する。
Ｇｄ＞ＴｈｒＧ  ・・・・（式９）
上記（式９）が成立する場合、
すなわち、Ｇ画素ダイナミックレンジＧｄが既定閾値ＴｈｒＧよりも大きければ、参照領域の中央の注目画素はパープルフリンジ発生画素であると初期判定を行う。
なお、この判定は、初期判定であり、さらに、参照領域のＲＧＢ画素値に基づいて最終判定を行う。この処理は後述する。
【０１３３】
上記（式９）が成立しない場合、
すなわち、Ｇ画素ダイナミックレンジＧｄが既定閾値ＴｈｒＧ以下であれば、参照領域の中央の注目画素はパープルフリンジ発生画素でないと判定し、以下に説明するブレンド比率（ｒａｔｅ）を０としたブレンド処理を行う。すなわち、ブレンド処理部５０３の生成する出力画素値に、補正値算出部５０２の生成した画素値を反映させない設定としたブレンド処理を実行する。
【０１３４】
上記の初期判定後の最終判定処理について説明する。
前述したように、例えばＣＺＰチャートなどのようなコントラストが高い画像では、飽和画素がなくパープルフリンジが発生していない領域でもＷ画素ダイナミックレンジＷｄの値が大きくなる。このような場合、上記の（式８）、（式９）に従った判定処理を行うと、パープルフリンジ発生領域でないにも関わらずパープルフリンジ発生領域であると判定してしまう誤検出をする場合が想定される。
【０１３５】
このような誤検出を防止するため、図１４（ｂ）に示すように、Ｇ画素ダイナミックレンジＧｄの算出処理と同じ参照領域からＲＧＢ画素を選択して検証を行う。
すなわち、参照領域（＝７×７画素入力画素単位領域）に飽和しているＲＧＢ画素が存在するか否かを検証する。この検証処理の結果に従って、以下の最終判定を行う。
（１）飽和しているＲＧＢ画素が存在していれば、上記の（式８）、（式９）に従った判定処理を有効とする最終判定を行う。
（２）飽和しているＲＧＢ画素が存在していなければ、上記の（式８）、（式９）に従った判定処理を無効とし、上記（式１）、（式２）に従って注目画素がパープルフリンジ発生画素であると初期判定された場合であっても、その画素はパープルフリンジ発生画素ではないとする最終判定を行う。
【０１３６】
補正値算出部５０２では、パープルフリンジ検出部５０１において、注目画素がパープルフリンジ検出画素であると最終判定した画素に対する画素値補正を行う。
すなわち、パープルフリンジ検出画素の補正画素値として、パープルフリンジの影響を低減させた画素値を求め、補正画素値をブレンド処理部５０３に出力する。
【０１３７】
なお、補正値算出部５０２では、パープルフリンジ検出部５０１において、注目画素がパープルフリンジ検出画素でないと判定した画素に対しては、画素値補正を行うことなく、補正前のそのままの画素値をブレンド処理部５０３に出力する。
【０１３８】
補正値算出部５０２では、パープルフリンジが検出された領域を補正するための画素値を求める。
まず、補正値算出部５０２は、補正対象画素である注目画素を中心とした参照領域のＧ画素にＬＰＦを畳み込み演算をすることにより、Ｇ画素の低域信号ｍＧを求める。
この処理は、先に第1実施例において図８を参照して説明した処理と同様の処理である。
【０１３９】
次に、補正値算出部５０２は、算出したＧ低域信号ｍＧを適用して、注目画素、すなわち７×７画素の参照画素領域の中心画素の補正画素値を算出する。
補正画素値は、以下の（式１０ｇ）、（式１０ｒ）、（式１０ｂ）に従って算出する。
以下の（式１０ｇ）、（式１０ｒ）、（式１０ｂ）は、注目画素、すなわち７×７画素の参照画素領域の中心画素位置の画素の色に応じて選択適用する。
【０１４０】
（１）出力画素がＧ画素の場合は、以下の（式１０ｇ）に従い補正値ｇ'を求める。
ｇ'＝ｍＧ  ・・・（式１０ｇ）
（２）出力画素がＲ画素の場合は、以下の（式１０ｒ）に従い補正値ｒ'を求める。
ｒ'＝ｍＧ／ｇａｉｎＲ  ・・・（式１０ｒ）
（３）出力画素がＢ画素の場合は、以下の（式１０ｂ）に従い補正値ｂ'を求める。
ｂ'＝ｍＧ／ｇａｉｎＢ  ・・・（式１０ｂ）
【０１４１】
なお、上記式において、
ｇａｉｎＲはＲ画素のホワイトバランスゲイン、
ｇａｉｎＢはＢ画素のホワイトバランスゲイン、
を表す。
【０１４２】
補正値算出部５０２は、このようにして、注目画素がパープルフリンジ画素であると判定した画素の補正画素値ｒ'，ｇ'，ｂ'を算出し、ブレンド処理部５０３に出力する。
なお、注目画素がパープルフリンジ画素でないと判定した画素については、補正値算出部５０２の処理は実行されず、補正前の入力画素値をそのままブレンド処理部５０３に出力する。
【０１４３】
ブレンド処理部５０３は、撮像素子４１０の出力である入力画素値（ｒ、ｇ、ｂ）と補正値算出部５０２の出力信号を、各対応画素位置において、以下の（式１１Ｇ）、（式１１Ｒ）、（式１１Ｂ）に従ってブレンド処理（重み付け加算）を実行して最終的な画素値を算出して出力する。
【０１４４】
（１）出力画素がＧ画素の場合は、以下の（式１１Ｇ）に示すように、撮像素子４１０からの入力画素値ｇをそのまま出力値Ｇとする。
Ｇ＝ｇ  ・・・（式１１Ｇ）
（２）出力画素がＲ画素の場合は、以下の（式１１Ｒ）に従い出力値Ｒを求める。
Ｒ＝（１−ｒａｔｅ）×ｒ＋ｒａｔｅ×ｒ'  ・・・（式１１Ｒ）
（３）出力画素がＢ画素の場合は、以下の（式１１Ｂ）に従い出力値Ｂを求める。
Ｂ＝（１−ｒａｔｅ）×ｂ＋ｒａｔｅ×ｂ'  ・・・（式１１Ｂ）
【０１４５】
上記（式１１Ｒ）、（式１１Ｂ）は、パープルフリンジの補正後の画素値ｒ'，ｂ'の各画素値のプレンド比率（重み）をｒａｔｅとし、一方、撮像素子４１０からの出力画素値ｒ，ｂのブレンド比率（重み）を（１−ｒａｔｅ）としたブレンド処理（重み付け加算）結果を出力値Ｒ，Ｂとする算出式である。
【０１４６】
なお、偽色の強度は参照領域におけるＧ画素のダイナミックレンジＧｄにほぼ比例しているので、以下に示す（式１２）に従ってＧｄを０〜１の範囲に正規化した値ｒａｔｅをブレンド比率とする。
ｒａｔｅ＝Ｇｄ／ＭＡＸ  ・・・・・（式１２）
ＭＡＸはＧｄが取りうる最大値を表す。
すなわち、図１５に示す設定のブレンド比率（ｒａｔｅ）を適用したブレンド処理を行う。
【０１４７】
このように、ブレンド処理部５０３は、以下のいずれかの処理によって出力画素値を決定する。
（ａ）Ｇ画素については、撮像素子４１０からの入力画素値ｇをそのまま出力値Ｇとする。
（ｂ１）Ｒ，Ｂ画素のパープルフリンジ発生画素については、撮像素子４１０の画素値ｒ，ｂと、補正値算出部５０２の生成した画素値ｒ'，ｂ'を、参照領域のＧ画素ダイナミックレンジＧｄに応じて決定するブレンド比率に応じてブレンドして出力画素値を決定する。
（ｂ２）Ｒ，Ｂ画素のパープルフリンジ発生画素でない画素については、撮像素子４１０の画素値ｒ，ｂを出力画素値とする。
【０１４８】
データ補正処理部５００は、このようにして、パープルフリンジの低減を行い、ＲＧＢ配列を持つ出力画像を生成して、ＲＧＢ信号処理部４５０に出力する。
【０１４９】
データ補正処理部５００の実行する処理シーケンスを説明するフローチャートを図１６に示す。
図１６は、データ補正処理部５００の実行するパープルフリンジの検出、補正値の算出、ブレンドまでのフローチャートを示したものであり、以下、各ステップの処理について説明する。
【０１５０】
ステップＳ２０１、Ｓ２０２、Ｓ２０３は、図１２に示すデータ補正処理部５００中のパープルフリンジ検出部５０１が実行する処理である。
まず、ステップＳ２０１で補正対象となる注目画素を含む参照領域からなる入力画素単位領域のＧ画素の最大値と最小値との差分、すなわちＧ画素ダイナミックレンジＧｄを求める。
上述の実施例で説明した例では、入力画素単位領域は、補正対象となる注目画素を含む７×７画素領域である。
この７×７画素領域に含まれるＧ画素の最大値（Ｇｍａｘ）と最小値（Ｇｍｉｎ）を取得し、Ｇ画素ダイナミックレンジＧｄを、以下の式に従って算出する。
Ｇｄ＝Ｇｍａｘ−Ｇｍｉｎ
【０１５１】
次に、ステップＳ２０２において、Ｇ画素ダイナミックレンジＧｄと閾値ＴｈｒＧを比較し、Ｇ画素ダイナミックレンジＧｄが、閾値ＴｈｒＧより大きいか否かを判定する。すなわち、
Ｇｄ＞ＴｈｒＧ
上記判定式が成立するか否かを判定する。
なお、閾値ＴｈｒＧは、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
【０１５２】
なお、先に図１３を参照して説明したように、Ｇ画素ダイナミックレンジＧｄが、閾値ＴｈｒＧより大きい場合とは、パープルフリンジの発生可能性が高い領域であり、Ｇ画素ダイナミックレンジＧｄが、閾値ＴｈｒＧより大きくない場合は、パープルフリンジの発生可能性が低い領域である。
【０１５３】
上記判定式が成立しない場合、すなわち、Ｇ画素ダイナミックレンジＧｄが、閾値ＴｈｒＧより大きくない場合は、ステップＳ２０７に進む。
ステップＳ２０７では、ブレンド比率ｒａｔｅを０とする。すなわち、図１２に示すデータ補正処理部５００のブレンド処理部５０３において出力画素値を算出するブレンド処理において、補正値算出部５０２の出力画素値のブレンド比率を０とする。
このブレンド比率ｒａｔｅは、前述の（式１１Ｒ）、（式１１Ｂ）に設定したブレンド比率ｒａｔｅである。
【０１５４】
すなわち、Ｇ画素ダイナミックレンジＧｄが、閾値ＴｈｒＧより大きくなく、パープルフリンジの発生可能性が少ない領域と判定される場合は、（式１１Ｒ）、（式１１Ｂ）に設定したブレンド比率ｒａｔｅ＝０として、ステップＳ２０６のブレンド処理を実行する。
【０１５５】
この結果として、Ｇ画素ダイナミックレンジＧｄが、閾値ＴｈｒＧより大きくなく、パープルフリンジの発生可能性が低い領域であると判定される場合は、図１２のデータ補正処理部５００が、撮像素子４１０から入力する画素値がそのまま出力画素値として設定される。
【０１５６】
一方、ステップＳ２０２におけるＧ画素ダイナミックレンジＧｄと閾値ＴｈｒＧとの比較処理、すなわち、
Ｇｄ＞ＴｈｒＧ
上記判定式が成立した場合は、ステップＳ２０３へ進む。
上記判定式が成立する場合は、パープルフリンジの発生可能性が高い領域であると判定された場合である。
【０１５７】
この場合は、さらに、ステップＳ２０３において、入力画素単位領域に飽和しているＲＧＢ画素が存在するかどうかを調べる。
上述した実施例では、入力画素単位領域は、補正対象となる注目画素を含む７×７画素領域である。
この７×７画素領域に含まれるＲＧＢ画素に飽和画素値が存在するか否かを判定する。
【０１５８】
飽和しているＲＧＢ画素が１画素もなければ、ステップＳ２０７へ進み、ブレンド比率ｒａｔｅを０とする。すなわち、図１２に示すデータ補正処理部５００のブレンド処理部５０３において出力画素値を算出するブレンド処理において、補正値算出部５０２の出力画素値のブレンド比率を０とする。
このブレンド比率ｒａｔｅは、前述の（式１１Ｒ）、（式１１Ｂ）に設定したブレンド比率ｒａｔｅである。
【０１５９】
なお、入力画素単位領域、すなわち参照領域に飽和しているＲＧＢ画素が１画素もない場合とは、その領域がパープルフリンジの発生領域である可能性が低いと判定される場合である。
この場合は、補正値算出部５０２の出力画素値のブレンド比率を０として、前述の（式１１Ｇ）、（式１１Ｒ）、（式１１Ｂ）に従ったブレンド処理を実行し、撮像素子４１０から入力する画素値をそのまま出力画素値として設定する。
【０１６０】
一方、ステップＳ２０３において、入力画素単位領域に飽和しているＲＧＢ画素が存在する場合は、ステップＳ２０４へ進む。
【０１６１】
ステップＳ２０４、Ｓ２０５の処理は、図１２に示すデータ補正処理部５００の補正値算出部５０２の実行する処理である。
ステップＳ２０４では、入力画素単位領域である参照領域のＧ画素値を適用してＧ画素の低域信号を求める。
この処理は、画素配列に応じて選択されるＬＰＦを適用した処理である。
【０１６２】
ステップＳ２０５では、Ｇ画素の低域信号にホワイトバランスの逆数をかけて、補正値を求める。具体的には、先に説明した（式１０ｇ）、（式１０ｒ）、（式１０ｂ）の式を適用し、変換後の画素値の色に応じて補正値を求める。すなわち、以下の処理を実行する。
（１）出力画素がＧ画素の場合は、以下の（式１０ｇ）に従い補正値ｇ'を求める。
ｇ'＝ｍＧ  ・・・（式１０ｇ）
（２）出力画素がＲ画素の場合は、以下の（式１０ｒ）に従い補正値ｒ'を求める。
ｒ'＝ｍＧ／ｇａｉｎＲ  ・・・（式１０ｒ）
（３）出力画素がＢ画素の場合は、以下の（式１０ｂ）に従い補正値ｂ'を求める。
ｂ'＝ｍＧ／ｇａｉｎＢ  ・・・（式１０ｂ）
なお、上記式において、
ｇａｉｎＲはＲ画素のホワイトバランスゲイン、
ｇａｉｎＢはＢ画素のホワイトバランスゲイン、
を表す。
【０１６３】
ステップＳ２０６の処理は、図１２に示すデータ補正処理部５００のブレンド処理部５０３の実行する処理である。
ステップＳ２０６では、撮像素子４１０の出力信号と補正値算出部５０２の出力信号をブレンド比率ｒａｔｅに従ってブレンドする。
すなわち、先に説明したように、以下の算出式に従って出力画素値を算出する。
（ａ）出力画素がＧ画素の場合の出力値Ｇの算出式、
Ｇ＝×  ・・・（式１１Ｇ）
（ｂ）出力画素がＲ画素の場合の出力値Ｒの算出式、
Ｒ＝（１−ｒａｔｅ）×ｒ＋ｒａｔｅ×ｒ'  ・・・（式１１Ｒ）
（ｃ）出力画素がＢ画素の場合の出力値Ｂの算出式、
Ｂ＝（１−ｒａｔｅ）×ｂ＋ｒａｔｅ×ｂ'  ・・・（式１１Ｂ）
これらの各式に従って、図１２に示すＲＧＢ配列４８２を持つ出力画像の出力画素値を算出する。
【０１６４】
これらの処理により、パーブルフリンジによる画素値エラーが低減されたＲＧＢ画像を生成することが可能となる。
なお、図１２に示すデータ補正処理部５００の生成したＲＧＢ配列４８２を持つ画像は、図１１に示すように、ＲＧＢ信号処理部４５０に入力される。
ＲＧＢ信号処理部４５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像４８３を生成する。生成したカラー画像４８３はメモリ４３０に記録される。
【０１６５】
本実施例４の構成では、データ補正処理部５００の入力画像と出力画像の画素配列は同じＲＧＢ配列であるため、前述の実施例１とは異なり画素配列変換処理としてのリモザイク処理を行うことなくパーブルフリンジ補正を実行して補正後のＲＧＢ配列画像を次段のＲＧＢ信号処理部４５０に出力する。
【０１６６】
［５．本開示の画像処理装置の処理による効果について］
以上、本開示の画像処理装置の複数の実施例について説明してきた。
本開示の画像処理装置の処理により、例えば以下の効果を奏することができる。
（ａ）撮像装置のレンズの色収差によって生じるパープルフリンジを抑制することが可能である。
（ｂ）高価なレンズを用いて色収差を低減する方法と比較して、低コストにパープルフリンジを抑制することが可能である。
（ｃ）補正処理をデモザイク前のＲＡＷデータに適用可能であるため、例えば、イメージセンサ内に補正処理部を組み込む構成が可能である。
（ｄ）カラーフィルタにホワイト画素を含んだＲＧＢＷ配列の画像に対して適用することが可能である。
例えば、これらの効果を奏することができる。
【０１６７】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１６８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  ＲＧＢＷ配列画像を入力し、出力画像としてＲＧＢ配列画像を生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の配列に対応した補間画素値ｒ１，ｇ１，ｂ１を算出する画素補間部と、
前記ＲＧＢＷ配列画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出部と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出部と、
前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、出力画像の構成画素値ＲＧＢを算出するブレンド処理部を有する画像処理装置。
【０１６９】
（２）前記パープルフリンジ検出部は、前記ＲＧＢＷ配列画像に設定した参照領域であり、前記出力画像の構成画素値の算出対象画素である注目画素を含む参照領域のＷ画素値からＷ画素ダイナミックレンジＷｄを算出し、前記Ｗ画素ダイナミックレンジＷｄが、閾値ＴｈｒＷより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定を実行する前記（１）に記載の画像処理装置。
【０１７０】
（３）前記パープルフリンジ検出部は、前記初期判定において、前記注目画素がパープルフリンジ画素である可能性が高いと判定された場合、前記参照領域におけるＲＧＢ画素、またはＲＧＢＷ画素に飽和画素が存在するか否かを検証し、飽和画素が存在する場合、前記注目画素をパープルフリンジ画素であるとの最終判定を行う前記（２）に記載の画像処理装置。
【０１７１】
（４）前記補正値算出部は、前記ＲＧＢＷ配列画像内に設定した参照領域であり、前記出力画像の構成画素値の算出対象となる注目画素を含む参照領域の輝度信号主成分となる色画素の画素値から輝度信号主成分低域信号を算出し、算出した輝度信号主成分低域信号に対して、前記注目画素の変換対象後の色に応じたホワイトバランス調整を実行して前記補正画素値を算出する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記輝度信号主成分となる色画素はＷ画素またはＧ画素である前記（４）に記載の画像処理装置。
【０１７２】
（６）前記ブレンド処理部は、前記ＲＧＢＷ配列画像内に設定した参照領域であり、前記出力画像の構成画素値の算出対象となる注目画素を含む参照領域のＷ画素値から算出されるＷ画素ダイナミックレンジＷｄに応じてブレンド比率を算出し、算出したブレンド比率に応じて前記ブレンド処理を実行する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１７３】
（７）前記ブレンド処理部は、前記参照領域のＷ画素ダイナミックレンジＷｄが大きいほど、前記画素補間部の算出した補間画素値ｒ１，ｇ１，ｂ１より、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２の寄与率を高くしたブレンド処理を実行して、前記出力画像の構成画素値ＲＧＢを算出する前記（１）〜（６）いずれかに記載の画像処理装置。
【０１７４】
（８）前記ブレンド処理部は、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド比率ｒａｔｅを、前記参照領域のＷ画素ダイナミックレンジＷｄと、Ｗｄの取り得る最大値ＭＡＸを適用して、
ｒａｔｅ＝Ｗｄ／ＭＡＸ、
上記式に従って算出する前記（１）〜（７）いずれかに記載の画像処理装置。
【０１７５】
（９）前記ブレンド処理部は、前記ハープルフリンジ検出部においてパープルフリンジ画素と判定された画素については、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド比率ｒａｔｅを１．０に設定したブレンド処理を実行して、前記補正画素値ｒ２，ｇ２，ｂ２を前記出力画像の構成画素値ＲＧＢとして出力する前記（１）〜（８）いずれかに記載の画像処理装置。
【０１７６】
（１０）  ＲＧＢ配列画像を入力画像とし、画素値補正処理を施した補正画像を生成するデータ補正処理部を有し、
前記データ補正処理部は、
前記入力画像の解析により、各画素がパープルフリンジ画素であるか否かを検出するハープルフリンジ検出部と、
パープルフリンジ画素の画素値補正を実行して補正画素値ｒ２，ｇ２，ｂ２を算出する補正値算出部と、
前記入力画像の画素値ｒ１，ｇ１，ｂ１と、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド処理により、前記補正画像の構成画素値ＲＧＢを算出するブレンド処理部を有する画像処理装置。
【０１７７】
（１１）前記パープルフリンジ検出部は、前記入力画像内に設定した参照領域であり、前記補正画像の構成画素値の算出対象となる注目画素を含む参照領域のＧ画素値からＧ画素ダイナミックレンジＧｄを算出し、前記Ｇ画素ダイナミックレンジＧｄが、閾値ＴｈｒＧより大である場合、前記注目画素がパープルフリンジ画素である可能性が高いとの初期判定を実行する前記（１）に記載の画像処理装置。
【０１７８】
（１２）前記パープルフリンジ検出部は、前記初期判定において、前記注目画素がパープルフリンジ画素である可能性が高いと判定された場合、前記参照領域におけるＲＧＢ画素に飽和画素が存在するか否かを検証し、飽和画素が存在する場合、前記注目画素をパープルフリンジ画素であるとの最終判定を行う前記（１１）に記載の画像処理装置。
【０１７９】
（１３）前記補正値算出部は、前記入力画像内に設定した参照領域であり、前記補正画像の構成画素値の算出対象となる注目画素を含む参照領域のＧ画素の画素値からＧ低域信号を算出し、算出したＧ低域信号に対して、前記注目画素の変換対象後の色に応じたホワイトバランス調整を実行して前記補正画素値を算出する前記（１０）〜（１２）いずれかに記載の画像処理装置。
【０１８０】
（１４）前記ブレンド処理部は、前記入力画像内に設定した参照領域であり、前記補正画像の構成画素値の算出対象となる注目画素を含む参照領域のＧ画素値から算出されるＧ画素ダイナミックレンジＧｄに応じてブレンド比率を算出し、算出したブレンド比率に応じて前記ブレンド処理を実行する前記（１０）〜（１３）いずれかに記載の画像処理装置。
【０１８１】
（１５）前記ブレンド処理部は、前記参照領域のＧ画素ダイナミックレンジＧｄが大きいほど、前記入力画像の画素値ｒ１，ｇ１，ｂ１より、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２の寄与率を高くしたブレンド処理を実行して、前記補正画像の構成画素値ＲＧＢを算出する前記（１０）〜（１４）いずれかに記載の画像処理装置。
【０１８２】
（１６）前記ブレンド処理部は、前記補正値算出部の算出した補正画素値ｒ２，ｇ２，ｂ２のブレンド比率ｒａｔｅを、前記参照領域のＧ画素ダイナミックレンジＧｄと、Ｇｄの取り得る最大値ＭＡＸを適用して、
ｒａｔｅ＝Ｇｄ／ＭＡＸ、
上記式に従って算出する前記（１０）〜（１５）いずれかに記載の画像処理装置。
【０１８３】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１８４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１８６】
以上、説明したように、本開示の一実施例の構成によれば、撮像素子から出力されるモザイク画像に対するパープルフリンジ補正を実行する装置、方法が実現される。
具体的には、例えば、ＲＧＢＷ配列画像の画素補間処理によりＲＧＢ配列画像の補間画素値を算出する画素補間部と、ＲＧＢＷ配列画像からパープルフリンジ画素を検出するパープルフリンジ検出部と、パープルフリンジ画素の補正を実行して補正画素値を算出する補正値算出部と、画素補間部の算出した補間画素値と、補正値算出部の算出した補正画素値のブレンドにより、出力画像の構成画素値ＲＧＢを算出するブレンド処理部を有する。パープルフリンジ検出部は、参照領域のＷ画素ダイナミックレンジが既定閾値より大であり参照領域に飽和ＲＧＢ画素、またはＲＧＢＷ画素が存在する場合、注目画素をパープルフリンジ画素であると判定する。
これらの処理により、撮像素子から出力されるモザイク画像に対する高精度なパープルフリンジ画素の検出、およびパープルフリンジの影響を低減した補正された高品質な画像生成が実現される。
【符号の説明】
【０１８７】
１００  撮像装置
１０５  光学レンズ
１１０  撮像素子（イメージセンサ）
１２０  信号処理部
１３０  メモリ
１４０  制御部
１８１  ＲＧＢＷ配列
１８２  ＲＧＢ配列
１８３  カラー画像
２００  データ変換処理部
２０１  パープルフリンジ検出部
２０２  補正値算出部
２０３  画素補間部
２０４  ブレンド処理部
２５０  ＲＧＢ信号処理部
４００  撮像装置
４０５  光学レンズ
４１０  撮像素子（イメージセンサ）
４２０  信号処理部
４３０  メモリ
４４０  制御部
４５０  ＲＧＢ信号処理部
４８１  ＲＧＢ配列
４８２  ＲＧＢ配列
４８３  カラー画像
５００  データ補正処理部
５０１  パープルフリンジ検出部
５０２  補正値算出部
５０３  ブレンド処理部
【図２】
2013219705.tif 000003
【図３】
2013219705.tif 000004
【図４】
2013219705.tif 000005
【図５】
2013219705.tif 000006
【図６】
2013219705.tif 000007
【図９】
2013219705.tif 000008
【図１０】
2013219705.tif 000009
【図１１】
2013219705.tif 000010
【図１２】
2013219705.tif 000011
【図１３】
2013219705.tif 000012
【図１５】
2013219705.tif 000013
【図１６】
2013219705.tif 000014
【図１】
2013219705.tif 000015
【図７】
2013219705.tif 000016
【図８】
2013219705.tif 000017
【図１４】
2013219705.tif 000018