(57)【要約】【課題】広範囲の色滲みを高精度に補正することが可能な画像処理装置を提供する。【解決手段】画像処理装置（１０６）は、第１の色に関する第１の信号値に基づいて第１の色に関する第１のエッジ領域を検出し、第２の色に関する第２の信号値に基づいて第２の色に関する第２のエッジ領域を検出するエッジ検出部（１０６ａ）と、第１のエッジ領域および第２のエッジ領域の少なくとも一方における第１の信号値および第２の信号値に基づいて色滲み補正を行う色滲み補正部（１０６ｅ）とを有する。【選択図】図１
2018182392.tif 000002
【特許請求の範囲】
【請求項１】
第１の色に関する第１の信号値に基づいて該第１の色に関する第１のエッジ領域を検出し、第２の色に関する第２の信号値に基づいて該第２の色に関する第２のエッジ領域を検出するエッジ検出部と、
前記第１のエッジ領域および前記第２のエッジ領域の少なくとも一方における前記第１の信号値および前記第２の信号値に基づいて色滲み補正を行う色滲み補正部と、を有することを特徴とする画像処理装置。
【請求項２】
前記第１のエッジ領域および前記第２のエッジ領域に色滲みが発生しているか否かを判定するための信頼度を算出する信頼度算出部を更に有し、
前記色滲み補正部は、前記第１の信号値と前記第２の信号値と前記信頼度とに基づいて前記色滲み補正を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のエッジ領域および前記第２のエッジ領域の少なくとも一方における前記第１の信号値および前記第２の信号値に基づいて、前記第１の色と前記第２の色との色差を算出する色差算出部を更に有し、
前記色滲み補正部は、前記色差と前記信頼度とに基づいて前記色滲み補正を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記色差と前記信頼度とに基づいて補正値を算出する補正値算出部を更に有し、
前記色滲み補正部は、撮像光学系を介して取得された画像データに含まれる画素値を前記補正値に置き換えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記エッジ検出部は、前記第１のエッジ領域および前記第２のエッジ領域のそれぞれの両端位置を検出し、
前記色滲み補正部は、前記第１のエッジ領域および前記第２のエッジ領域の少なくとも一方の前記両端位置における前記第１の信号値および前記第２の信号値に基づいて、前記色滲み補正を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記信頼度算出部は、前記第１のエッジ領域の前記両端位置のそれぞれにおける前記第１の信号値と、前記第２のエッジ領域の前記両端位置のそれぞれにおける前記第２の信号値と、に基づいて前記信頼度を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記色差算出部は、前記第１のエッジ領域および前記第２のエッジ領域の少なくとも一方の前記両端位置における前記第１の信号値および前記第２の信号値に基づいて、前記第１の色と前記第２の色との前記色差を算出することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記第１の色はＧ、前記第２の色はＢまたはＲであり、
前記両端位置は、エッジ始点位置とエッジ終点位置とを含み、
前記色差算出部は、
前記第２の色の前記エッジ終点位置における前記第２の信号値が飽和していない場合、該第２の色の該エッジ終点位置における該第２の信号値に基づいて前記色差を算出し、
前記第２の色の前記エッジ終点位置における前記第２の信号値が飽和しており、かつ前記第１の色の前記エッジ終点位置が該第２の色の該エッジ終点位置よりも前記エッジ始点位置から離れている場合、該第１の色の該エッジ終点位置における前記第１の信号値に基づいて前記色差を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第１の色はＧ、前記第２の色はＢまたはＲであり、
前記両端位置は、エッジ始点位置とエッジ終点位置とを含み、
前記色差算出部は、
前記第２の色の前記エッジ始点位置における前記第２の信号値が飽和していない場合、該第２の色の該エッジ始点位置における該第２の信号値に基づいて前記色差を算出し、
前記第２の色の前記エッジ始点位置における前記第２の信号値が飽和しており、かつ前記第１の色の前記エッジ始点位置が該第２の色の該エッジ始点位置よりも前記エッジ終点位置から離れている場合、該第１の色の該エッジ始点位置における前記第１の信号値に基づいて前記色差を算出することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記信頼度算出部は、前記第１のエッジ領域の前記両端位置における前記第１の信号値の差異に対する前記第２のエッジ領域の前記両端位置における前記第２の信号値の差異の比率に基づいて、前記信頼度を算出することを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記信頼度算出部は、前記第１のエッジ領域および前記第２のエッジ領域のそれぞれの傾きに基づいて前記信頼度を算出することを特徴とする請求項２乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記エッジ検出部は、
前記第１のエッジ領域および前記第２のエッジ領域の順に検出し、
前記第２のエッジ領域のエッジ検出方向が前記第１のエッジ領域のエッジ検出方向と等しい場合にのみ、該第２のエッジ領域を有効なエッジ領域であると判定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
前記画像データに関し、第１の色に関する第１の信号値に基づいて該第１の色に関する第１のエッジ領域を検出し、第２の色に関する第２の信号値に基づいて該第２の色に関する第２のエッジ領域を検出するエッジ検出部と、
前記第１のエッジ領域および前記第２のエッジ領域の少なくとも一方における前記第１の信号値および前記第２の信号値に基づいて色滲み補正を行う色滲み補正部と、を有することを特徴とする撮像装置。
【請求項１４】
第１の色に関する第１の信号値に基づいて該第１の色に関する第１のエッジ領域を検出し、第２の色に関する第２の信号値に基づいて該第２の色に関する第２のエッジ領域を検出するステップと、
前記第１のエッジ領域および前記第２のエッジ領域の少なくとも一方における前記第１の信号値および前記第２の信号値に基づいて色滲み補正を行うステップと、を有することを特徴とする画像処理方法。
【請求項１５】
第１の色に関する第１の信号値に基づいて該第１の色に関する第１のエッジ領域を検出し、第２の色に関する第２の信号値に基づいて該第２の色に関する第２のエッジ領域を検出するステップと、
前記第１のエッジ領域および前記第２のエッジ領域の少なくとも一方における前記第１の信号値および前記第２の信号値に基づいて色滲み補正を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像光学系の軸上色収差により劣化した画像を補正する画像処理装置に関する。
【背景技術】
【０００２】
従来から、デジタルカメラ等の撮像光学系を介して入力された画像データで発生する軸上色収差による色滲みを補正して画質を改善する技術が知られている。特許文献１には、参照画像信号であるＧ信号の勾配に対するＲ信号またはＢ信号それぞれの勾配の大小関係に基づいて算出された補正量を用いて色滲みを補正する画像処理装置が開示されている。特許文献２には、輝度の単調減少方向に向けて輝度単調減少が終了する画素位置を検索し、検索された輝度単調減少が終了する画素位置における色を目標値として色滲みを補正する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５４８６２７３号公報
【特許文献２】特開２０１１−２０５４７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された画像処理装置は、局所的なＧ信号とＲ（Ｂ）信号の傾きから補正量を算出する。このため、色滲みがなだらか広がる場合、傾きの差異が小さくなる中央部において補正量が小さく算出され、補正ムラが生じる。また、特許文献２に開示された画像処理装置は、Ｇ信号の寄与度が大きい輝度信号を用いて色滲み領域が終了する画素位置を探索している。このため、色滲みが広範囲に広がる場合には色滲み領域が終了する画素位置を適切に検出することができず、補正量が小さく算出されてしまう。
【０００５】
そこで本発明は、広範囲の色滲みを高精度に補正することが可能な画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理装置は、第１の色に関する第１の信号値に基づいて該第１の色に関する第１のエッジ領域を検出し、第２の色に関する第２の信号値に基づいて該第２の色に関する第２のエッジ領域を検出するエッジ検出部と、前記第１のエッジ領域および前記第２のエッジ領域の少なくとも一方における前記第１の信号値および前記第２の信号値に基づいて色滲み補正を行う色滲み補正部とを有する。
【０００７】
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記画像処理装置とを有する。
【０００８】
本発明の他の側面としての画像処理方法は、第１の色に関する第１の信号値に基づいて該第１の色に関する第１のエッジ領域を検出し、第２の色に関する第２の信号値に基づいて該第２の色に関する第２のエッジ領域を検出するステップと、前記第１のエッジ領域および前記第２のエッジ領域の少なくとも一方における前記第１の信号値および前記第２の信号値に基づいて色滲み補正を行うステップとを有する。
【０００９】
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
【００１０】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１１】
本発明によれば、広範囲の色滲みを高精度に補正することが可能な画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】各実施形態における撮像装置のブロック図である。
【図２】各実施形態におけるベイヤー配列を示す図である。
【図３】各実施形態におけるＲＡＷ画像データの処理ブロックを示す図である。
【図４】各実施形態における色滲み補正処理を示すフローチャートである。
【図５】各実施形態における入力データ補間処理の説明図である。
【図６】各実施形態における補間処理用のローパスフィルタの説明図である。
【図７】各実施形態におけるエッジ検出方向の説明図である。
【図８】各実施形態におけるエッジ検出方法の説明図である。
【図９】各実施形態におけるエッジ検出用のフィルタの説明図である。
【図１０】各実施形態におけるエッジ部のラインプロファイルである。
【図１１】各実施形態における信頼度評価関数の説明図である。
【図１２】各実施形態における色滲み補正値の算出方法の説明図である。
【図１３】各実施形態における信頼度および補正値の説明図である。
【図１４】各実施形態における色滲み補正処理のフローチャートである。
【図１５】第２の実施形態における飽和領域での色滲み補正の説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１４】
まず、図１を参照して、本実施形態における撮像装置（デジタルカメラ）の構成について説明する。図１は、デジタルカメラ１００のブロック図である。
【００１５】
撮像レンズ１０１は、ズームレンズおよびフォーカスレンズを含むレンズ群である。絞り１０２は、撮像レンズ１０１から入射する光量を調節するために用いられる。撮像レンズ１０１および絞り１０２により撮像光学系が構成される。撮像素子１０３は、ＣＣＤセンサやＣＭＯＳセンサなどを含み、撮像レンズ１０１からの入射光を電気信号に変換して（撮像光学系を介して形成された光学像を光電変換して）画像データを出力する。撮像素子１０３の前には、入射光をＲ、Ｇ、Ｂの色成分に分離して結像するためのカラーフィルタが取り付けられている。カラーフィルタと撮像素子１０３の各画素は、一般的に、図２に示されるようなベイヤー配列に従って配置される。
【００１６】
Ａ／Ｄ変換器１０４は、撮像素子１０３から出力されるアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１０４から出力されるデジタル信号（ＲＡＷ画像データ）は、一時記憶メモリであるＲＡＭ１０５に格納される。
【００１７】
画像処理部（画像処理装置）１０６は、ＲＡＭ１０５からＲＡＷ画像データを図３に示されるように分割された処理ブロックごとに読み出し、ＲＡＷ画像データに対して色滲み補正を行う。画像処理部１０６は、エッジ検出部１０６ａ、信頼度算出部１０６ｂ、色差算出部１０６ｃ、補正値算出部１０６ｄ、および、色滲み補正部１０６ｅを有する。色滲み補正の詳細については後述する。また画像処理部１０６は、色滲み補正後のＲＡＷ画像データに対して、現像処理やノイズリダクション処理等の画像処理を施す。画像処理が施された画像データは、外部メモリ制御部１０８を介して外部メモリ１０９に記憶される。ＣＰＵ１１０は、デジタルカメラ１００の各部の動作を制御するシステムコントローラである。
【００１８】
なお本実施形態において、撮像光学系は撮像素子１０３を備えた撮像装置本体（デジタルカメラ１００）に一体的に構成されているが、これに限定されるものではない。本実施形態は、撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（交換レンズ）とを備えて構成される撮像システムにも適用可能である。
【００１９】
（第１の実施形態）
次に、図４を参照して、本発明の第１の実施形態における画像処理部１０６による処理（色滲み補正処理）について説明する。図４は、本実施形態における色滲み補正処理示すフローチャートである。図４の各ステップは、ＣＰＵ１１０の指令に基づいて、画像処理部１０６の各部により実行される。
【００２０】
まず、ステップＳ４０１において、画像処理部１０６は、ＲＡＭ１０５から読み出した１つの処理ブロック分のＲＡＷ画像データを変換して、Ｒ、Ｇ、Ｂプレーンを生成する。ここで、図５を参照して、Ｒ、Ｇ、Ｂプレーンの生成方法について説明する。図５は、Ｒ、Ｇ、Ｂプレーンの生成方法（入力データ補間処理）の説明図である。図５（ａ）は入力データ（入力されたＲＡＷ画像データ）を示す。まず、画像処理部１０６は、入力されたＲＡＷ画像データから、図５（ｂ）に示されるように同色の画素値を抽出する。続いて画像処理部１０６は、図５（ｃ）に示されるように、信号値のない画素位置にゼロ値を挿入する（ゼロ挿入を行う）。そして画像処理部１０６は、図６に示されるようなローパスフィルタを用いて補間処理を行い、図５（ｄ）に示されるようにＲプレーンを作成する。また画像処理部１０６は、Ｂ信号およびＧ信号に関しても、Ｒ信号の場合と同様の方法を用いて、ＢプレーンおよびＧプレーンをそれぞれ作成する。
【００２１】
続いて、図４のステップＳ４０２において、画像処理部１０６（エッジ検出部１０６ａ）は、Ｒ、Ｇ、Ｂプレーンのそれぞれに対してエッジ検出を行う。エッジ検出部１０６ａは、図７に示されるような８方向（８つの矢印で示されるエッジ検出方向）のそれぞれにおいて、エッジ検出を行う。エッジ検出部１０６ａは、８つのエッジ検出方向のそれぞれに関して、以下で説明するステップＳ４０２〜Ｓ４０６の一連の処理を実施する。ただし、エッジ検出方向はこれらに限定されるものではなく、一部の方向を省略することや、他の方向を加えてもよい。
【００２２】
ここで、図８を参照して、ステップＳ４０２のエッジ検出方法の一例を説明する。図８は、エッジ検出方法の説明図である。図８（ａ）は、Ｇプレーンからエッジ検出方向に抽出した１列分のＧ信号配列（Ｇラインデータ）を示す。まずエッジ検出部１０６ａは、Ｇラインデータに対して、図９に示されるようなエッジ検出フィルタを施し、図８（ｂ）に示されるフィルタ出力を得る。続いて、エッジ検出部１０６ａは、フィルタ出力の絶対値と、所定のエッジレベル判定値とを比較する。フィルタ出力の絶対値が所定のエッジレベル判定値よりも大きい場合、エッジ検出部１０６ａは、図８（ｃ）に示されるように、閾値判定出力として１を出力する。そしてエッジ検出部１０６ａは、閾値判定出力が１となる領域が所定のエッジ長さ判定値以上連続して存在する領域をエッジ部（エッジ領域）とする。図８の例において、エッジレベル判定値を３００、エッジ長さ判定値を３とする場合、画素位置４〜７がエッジ部となる。またエッジ検出部１０６ａは、ＲプレーンおよびＢプレーンについても、Ｇプレーンの場合と同様の方法でエッジ検出を行う。
【００２３】
続いて、図４のステップＳ４０３において、画像処理部１０６（エッジ検出部１０６ａ）は、エッジ対判定を行う。具体的には、画像処理部１０６は、Ｇのエッジが検出された近傍において、同方向（立上り、または、立下り）のＲ（Ｂ）のエッジが存在するか否かを判定する。Ｇのエッジの近傍において同方向のＲ（Ｂ）のエッジが存在しない場合、ステップＳ４０２へ戻る。一方、Ｇのエッジの近傍において同方向のＲ（Ｂ）のエッジが存在する場合、ステップＳ４０４へ進む。
【００２４】
ステップＳ４０４において、画像処理部１０６（信頼度算出部１０６ｂ）は、検出されたエッジ部に色滲みが発生しているか否かを判定するための信頼度を算出する。色滲みが発生している場合には積極的に補正を行う必要がある。一方、被写体自体に色がついている場合には補正による色抜け等の弊害が生じるため、信頼度に基づいて補正量の調整を行うことが必要である。
【００２５】
図１０は、エッジ部のラインプロファイルである。図１１は、信頼度評価関数の説明図である。色滲みは、図１０（ａ）に示されるような高コントラストの無彩色エッジ部において顕著に発生し、高輝度側のエッジ端から低輝度側のエッジ端にかけてＢ信号（Ｒ信号）がなだらかに広がった形状となる。一方、図１０（ｂ）に示されるように被写体自体に色がついている場合、ＧとＢとでエッジ部の両端の信号値の差異（コントラスト）が大きく異なる。また、図１０（ｃ）に示されるようにエッジ自体に色がついている場合、Ｂのエッジの傾きが色滲み発生領域の傾きに対してより急峻になる。
【００２６】
このような特徴を考慮して、信頼度算出部１０６ｂは、信頼度Ｒｅｌを以下の式（１）で表されるように算出する。
【００２７】
Ｒｅｌ＝ＲｅｌＣｏｎｔ（ＣｏｎｔＢ／ＣｏｎｔＧ）＊ＲｅｌＧｒａｄ（ＧｒａｄＢ／ＧｒａｄＧ）＊１００  …  （１）
関数ＲｅｌＣｏｎｔ（）は、ＧとＢのエッジ部のコントラスト比からエッジ部の両端の色つきを評価する関数であり、図１１（ａ）に示されるように入力値１．０付近でピーク値１．０となるような折れ線関数となる。ＣｏｎｔＢ、ＣｏｎｔＧはそれぞれ、ＢとＧのエッジ部のコントラストであり、以下の式（２）、（３）によりそれぞれ算出される。
【００２８】
ＣｏｎｔＢ＝｜Ｂ（Ｘｂｓ）−Ｂ（Ｘｂｅ）｜  …  （２）
ＣｏｎｔＧ＝｜Ｇ（Ｘｇｓ）−Ｇ（Ｘｇｅ）｜  …  （３）
式（２）、（３）において、Ｘｂｓ、ＸｂｅはＢエッジの始点および終点位置をそれぞれ示し、Ｘｇｓ、ＸｇｅはＧエッジの始点および終点位置をそれぞれ示す。
【００２９】
関数ＲｅｌＧｒａｄ（）は、ＧとＢのエッジ部の傾きから色滲み領域の信頼度を算出する評価関数であり、図１１（ｂ）に示されるように、入力ｇｒａｄＢ／ｇｒａｄＧが１より小さい領域（０．７〜０．８付近）でピーク値１．０となるような折れ線関数となる。ＧｒａｄＢ、ＧｒａｄＧはそれぞれ、ＢとＧのエッジ部の傾きであり、以下の式（４）、（５）でそれぞれ算出される。
【００３０】
ＧｒａｄＢ＝｜Ｂ（Ｘｂｓ）−Ｂ（Ｘｂｅ）｜／（Ｘｂｅ−Ｘｂｓ）  …  （４）
ＧｒａｄＧ＝｜Ｇ（Ｘｇｓ）−Ｇ（Ｘｇｅ）｜／（Ｘｇｅ−Ｘｇｓ）  …  （５）
算出された信頼度Ｒｅｌは、０から１００までの値をとる。信頼度Ｒｅｌが１００に近いほど、色滲み発生領域である可能性が高い。一方、信頼度Ｒｅｌが０に近いほど、被写体の色つき領域である可能性が高い。以上、Ｂ信号の信頼度算出方法について説明したが、Ｒ信号についても同様の方法により信頼度を算出することができる。
【００３１】
続いて、図４のステップＳ４０５において、画像処理部１０６は、算出された信頼度Ｒｅｌがあらかじめ設定された判定値（Ｔｈ）より大きいか否か判定を行う。信頼度Ｒｅｌが判定値（Ｔｈ）よりも小さい場合、画像処理部１０６は補正値を算出することなく、ステップＳ４０２に戻り、処理ブロック中の別領域に対してエッジ検出を行う。一方、信頼度Ｒｅｌが判定値（Ｔｈ）より大きい場合、画像処理部１０６（色差算出部１０６ｃ、補正値算出部１０６ｄ）は、ステップＳ４０６へ進み、色滲み補正値を算出する。
【００３２】
ここで、図１２を参照して、色滲み補正値の算出方法について説明する。図１２は、色滲み補正値の算出方法の説明図である。本実施形態において、色滲みの補正の対象は、Ｂ信号およびＲ信号である。また本実施形態において、補正値は、Ｂ信号およびＲ信号のそれぞれに関して独立して算出される。
【００３３】
図１２（ａ）は、色滲み発生領域におけるＢ信号とＧ信号のラインプロファイルである。Ｘｂｓ、ＸｇｓはそれぞれＢ信号およびＧ信号のエッジ始点を示す位置であり、Ｘｂｅ、ＸｇｅはそれぞれＢ信号およびＧ信号のエッジ終点を示す位置である。図１２（ｂ）中の実線は、図１２（ａ）のＢ信号およびＧ信号から算出される色差信号Ｂ（Ｘ）−Ｇ（Ｘ）を示す。色滲み発生領域の色差信号は、Ｂ信号のエッジ始点および終点の座標位置Ｘｂｓ、終点Ｘｂｅを裾野とする山型の波形となる。補正値を算出するため、まず画像処理部１０６（色差算出部１０６ｃ）は、以下の式（６）、（７）を用いて、Ｂ信号のエッジ始点および終点の位置Ｘｂｓ、Ｘｂｅのそれぞれにおける色差（色差信号）Ｓ１、Ｓ２を算出する。
【００３４】
Ｓ１＝Ｂ（Ｘｂｓ）−Ｇ（Ｘｂｓ）  …  （６）
Ｓ２＝Ｂ（Ｘｂｅ）−Ｇ（Ｘｂｅ）  …  （７）
続いて、画像処理部１０６（補正値算出部１０６ｄ）は、算出された色差Ｓ１、Ｓ２を用いて、以下の式（８）〜（１０）を用いて、区間ごとに仮の補正値Ｂ’を算出する。
【００３５】
区間１：Ｘｂｓ〜Ｘｇｓ
【００３６】
【数１】
2018182392.tif 000003
【００３７】
区間２：Ｘｇｓ〜Ｘｇｅ
【００３８】
【数２】
2018182392.tif 000004
【００３９】
区間３：Ｘｇｅ〜Ｘｂｅ
【００４０】
【数３】
2018182392.tif 000005
【００４１】
区間１は、エッジ始点側の色滲み発生領域である。同区間における仮の補正値Ｂ’（Ｘ）は、図１２（ｂ）中の点線部（位置Ｘｂｓ〜Ｘｇｓ）のようにエッジ始点側の色差Ｓ１が保たれるように算出される。区間２はＧのエッジ部である。同区間において仮の補正値Ｂ’（Ｘ）は、Ｇ（Ｘ）との色差がエッジ始点側の色差Ｓ１とエッジ終点側の色差Ｓ２との間でなだらかにつながるように（図１２（ｂ）に示される点線部の位置Ｘｇｓ〜Ｘｇｅ）、位置Ｘに応じて色差Ｓ１、Ｓ２を加重加算して算出される。区間３は、エッジ終点側の色滲み発生領域である。同区間において仮の補正値Ｂ’（Ｘ）は、エッジ始点側の色差Ｓ２が保たれるように算出される。なお、Ｘｂｓ＞Ｘｇｓの場合、画像処理部１０６（補正値算出部１０６ｄ）は、区間１に関して、仮の補正値Ｂ’（Ｘ）を算出しない。またＸｂｅ＜Ｘｇｅの場合、画像処理部１０６は、区間３に関して、仮の補正値Ｂ’（Ｘ）を算出しない。
【００４２】
以上のように算出された仮の補正値Ｂ’（Ｘ）は、図１２（ｃ）中の点線で示されるように、Ｇ信号に沿うような信号値になる。最終的に求められる補正値Ｂ”（Ｘ）は、ステップＳ４０４にて算出された信頼度Ｒｅｌに応じて、元の画素値Ｂ（Ｘ）と仮の補正値Ｂ’（Ｘ）とを加重加算して算出される。
【００４３】
Ｂ”（Ｘ）＝｛Ｒｅｌ＊Ｂ’（Ｘ）＋（１００−Ｒｅｌ）＊Ｂ（Ｘ）｝／１００  …  （１１）
このように信頼度を加味して補正値を算出することにより、被写体自体の色つきを考慮して弊害を抑制することができる。算出された補正値は、ステップＳ４０４にて算出された信頼度に基づいて、エッジ検出方向ごとにＲＡＭ１０５に保存される。図１３は、算出された１処理ブロック分の信頼度Ｓ（Ｘ，Ｙ）および補正値Ｂ”（Ｘ，Ｙ）の一例である。
【００４４】
処理ブロック中でエッジが検出されなかった画素位置は、信頼度Ｓ（Ｘ，Ｙ）および補正値Ｂ”（Ｘ、Ｙ）ともに０となる。本実施形態では、Ｂ信号に関する補正値の算出方法を説明しているが、Ｒ信号についても同様の方法で信頼度Ｓ（Ｘ，Ｙ）と補正値Ｒ”（Ｘ，Ｙ）とを算出することができる。
【００４５】
続いてステップＳ４０７において、画像処理部１０６は、図７に示される全てのエッジ検出方向において、ステップＳ４０２〜Ｓ４０６を実施したか否かを判定する。全てのエッジ検出方向に関するステップＳ４０２〜Ｓ４０６の処理が完了していない場合、ステップＳ４０２へ戻る。一方、全てのエッジ検出方向に関してステップＳ４０２〜Ｓ４０５を実施した場合、ステップＳ４０８へ進む。
【００４６】
ステップＳ４０８において、画像処理部１０６（色滲み補正部１０６ｅ）は、それぞれのエッジ検出方向に関して算出された信頼度と補正値とを用いて、色滲み補正を行う。具体的には、色滲み補正部１０６ｅは、処理ブロックの元データに対してＲ信号およびＢ信号をそれぞれ、補正値Ｒ”、Ｂ”に置き換えることにより、色滲みが補正された出力データを作成する（色滲み補正を行う）。ここで、図１４を参照して、色滲み補正処理について説明する。図１４は、色滲み補正処理のフローチャートである。
【００４７】
まずステップＳ１４０１において、各エッジ検出方向において算出された信頼度Ｓ（Ｘ，Ｙ）を参照し、同じ画素位置において最も信頼度の高い検出方向を特定する。続いてステップＳ１４０２では、ステップＳ１４０１で特定された検出方向から同画素位置における補正値Ｂ”（または補正値Ｒ”）を取得する。ステップＳ１４０１にて最も高い信頼度が複数の検出方向で（同じ値が）検出された場合は、それぞれの検出方向から取得した補正値Ｂ”（または補正値Ｒ”）の平均値を最終的な補正値とする。続いてステップＳ１４０３において、ステップＳ１４０１にて抽出された最も高い信頼度が予め設定された判定値（Ｔｈ）よりも大きいか否かを判定する。信頼度が判定値（Ｔｈ）より大きい場合、元データのＢ（またはＲ）を補正値Ｂ”（または補正値Ｒ”）に置き換える。信頼度が判定値（Ｔｈ）よりも小さい場合、画像処理部１０６は、置き換えを行うことなく、元のＲ（またはＢ）信号を出力する。以上の処理を処理ブロック中の全てのＢ信号およびＲ信号の画素位置に関して実施することにより、１処理ブロック分の色滲み補正が行われる。
【００４８】
以上、処理ブロックを対象としたステップＳ４０１〜Ｓ４０７の処理を画像中の全ての処理ブロックについて実施することにより、色滲みが補正された画像を得ることができる。本実施形態によれば、Ｒ、Ｇ、Ｂ別に検出されたエッジ両端の位置と信号値を用いて色滲みの補正値を算出するため、補正ムラや補正残りのない画像を得ることができる。またエッジ両端の位置と信号値から算出された信頼度をもとに補正量の制御を行うため、色付き被写体に対する弊害を低減した、高精度な色滲み補正を行うことができる。
【００４９】
（第２の実施形態）
次に、図１５を参照して、本発明の第２の実施形態について説明する。本実施形態は、飽和領域における色滲み補正を行う。図１５は、飽和領域での色滲み補正の説明図である。
【００５０】
飽和領域の近傍では、図１５（ａ）に示されるように、高輝度側のＢエッジ終点の位置Ｘｂｅが位置Ｘｇｅよりもエッジ始点側にシフトするため、高輝度側でも高い彩度の色滲みが発生する。このため、第１の実施形態のようにＢ信号のエッジ終点の位置Ｘｂｅを基準として算出されたエッジ終点側の色差Ｓ２に基づいて仮の補正値Ｂ’を算出すると、図１５（ａ）中の実線のように、高輝度側のエッジ部で色滲みが残ってしまう。そこで、Ｇ信号、Ｂ信号のエッジの高輝度側の信号値が飽和レベルにある場合、エッジ端の位置関係に応じて、以下のようにエッジ始点側の色差Ｓ１、エッジ終点側の色差Ｓ２の算出の際に基準とする画素位置を切り替える。
【００５１】
（Ａ）立上りエッジかつＸｂｅ＜Ｘｇｅの場合
Ｓ１＝Ｂ（Ｘｂｓ）−Ｇ（Ｘｂｓ）  …  （１２）
Ｓ２＝Ｂ（Ｘｇｅ）−Ｇ（Ｘｇｅ）  …  （１３）
（Ｂ）立下りエッジかつＸｇｓ＜Ｘｂｓの場合
Ｓ１＝Ｂ（Ｘｇｓ）−Ｇ（Ｘｇｓ）  …  （１４）
Ｓ２＝Ｂ（Ｘｂｅ）−Ｇ（Ｘｂｅ）  …  （１５）
（Ｃ）それ以外の場合
Ｓ１＝Ｂ（Ｘｂｓ）−Ｇ（Ｘｂｓ）  …  （１６）
Ｓ２＝Ｂ（Ｘｂｅ）−Ｇ（Ｘｂｅ）  …  （１７）
画像処理部１０６は、算出された色差Ｓ１、Ｓ２を用いて区間ごとに仮の補正値Ｂ’を算出する。補正値Ｂ’の算出方法は、第１の実施形態と同じである。図１５（ｂ）に示されるように、Ｂのエッジ始点の位置ＸｂｓからＧのエッジ始点の位置Ｘｇｓにかけて、仮の補正値Ｂ’（Ｘ）は色差Ｓ１を保つように算出される。また、Ｇのエッジ始点の位置Ｘｇｓからエッジ終点の位置Ｘｇｅにかけて、仮の補正値Ｂ’（Ｘ）は色差がＳ１からＳ２の範囲でなだらかに繋がるように算出される。以上のように、飽和領域の近傍では、エッジ端の位置関係に応じて色差算出時の基準画素位置を切り替える。これにより、図１５（ｃ）中の点線で示されるように飽和領域の近傍においてもＧ信号に沿うような仮の補正値Ｂ’（Ｘ）を得ることができる。図１５（ｃ）に示されるように、最終的な補正値”（Ｘ）は、第１の実施形態と同様に、信頼度に応じて仮の補正値Ｂ’（Ｘ）を元の信号Ｂ（Ｘ）と加重加算することで算出される。
【００５２】
このように各実施形態において、画像処理装置（画像処理部１０６）は、エッジ検出部１０６ａおよび色滲み補正部１０６ｅを有する。エッジ検出部１０６ａは、第１の色（Ｇ）に関する第１の信号値に基づいて第１の色に関する第１のエッジ領域を検出し、第２の色（Ｂ、Ｒ）に関する第２の信号値に基づいて第２の色に関する第２のエッジ領域を検出する。色滲み補正部１０６ｅは、第１のエッジ領域および第２のエッジ領域の少なくとも一方における第１の信号値および第２の信号値に基づいて色滲み補正を行う。
【００５３】
好ましくは、画像処理装置は、第１のエッジ領域および第２のエッジ領域に色滲みが発生しているか否かを判定するための信頼度を算出する信頼度算出部１０６ｂを有する。そして色滲み補正部１０６ｅは、第１の信号値と第２の信号値と信頼度とに基づいて色滲み補正を行う。より好ましくは、画像処理装置は、第１のエッジ領域および第２のエッジ領域の少なくとも一方における第１の信号値および第２の信号値に基づいて、第１の色と第２の色との色差を算出する色差算出部１０６ｃを有する。そして色滲み補正部１０６ｅは、色差と信頼度とに基づいて色滲み補正を行う。より好ましくは、画像処理装置は、色差と信頼度とに基づいて補正値を算出する補正値算出部１０６ｄを有する。そして色滲み補正部１０６ｅは、撮像光学系を介して取得された画像データに含まれる画素値を補正値に置き換える。より好ましくは、エッジ検出部１０６ａは、第１のエッジ領域および第２のエッジ領域のそれぞれの両端位置（エッジ始点位置とエッジ終点位置）を検出する。そして色滲み補正部１０６ｅは、第１のエッジ領域および第２のエッジ領域の少なくとも一方の両端位置における第１の信号値および第２の信号値に基づいて、色滲み補正を行う。より好ましくは、信頼度算出部１０６ｂは、第１のエッジ領域の両端位置のそれぞれにおける第１の信号値と、第２のエッジ領域の両端位置のそれぞれにおける第２の信号値と、に基づいて信頼度を算出する。また好ましくは、色差算出部１０６ｃは、第１のエッジ領域および第２のエッジ領域の少なくとも一方の両端位置における第１の信号値および第２の信号値に基づいて、第１の色と第２の色との色差を算出する。
【００５４】
好ましくは、色差算出部１０６ｃは、第２の色のエッジ終点位置における第２の信号値が飽和していない場合、第２の色のエッジ終点位置における第２の信号値に基づいて色差（エッジ終点側色差）を算出する。一方、第２の色のエッジ終点位置での第２の信号値が飽和し、かつ第１の色のエッジ終点位置が第２の色のエッジ終点位置よりもエッジ始点位置から離れている場合、第１の色のエッジ終点位置での第１の信号値に基づいて色差（エッジ終点側色差）を算出する。また好ましくは、色差算出部１０６ｃは、第２の色のエッジ始点位置における第２の信号値が飽和していない場合、第２の色のエッジ始点位置における第２の信号値に基づいて色差（エッジ始点側色差）を算出する。一方、第２の色のエッジ始点位置での第２の信号値が飽和し、かつ第１の色のエッジ始点位置が第２の色のエッジ始点位置よりもエッジ終点位置から離れている場合、第１の色のエッジ始点位置での第１の信号値に基づいて色差（エッジ始点側色差）を算出する。
【００５５】
好ましくは、信頼度算出部１０６ｂは、第１のエッジ領域の両端位置における第１の信号値の差異（第１のコントラスト）に対する第２のエッジ領域の両端位置における第２の信号値の差異（第２のコントラスト）の比率に基づいて、信頼度を算出する。また好ましくは、信頼度算出部１０６ｂは、第１のエッジ領域および第２のエッジ領域のそれぞれの傾きに基づいて信頼度を算出する。また好ましくは、エッジ検出部１０６ａは、第１のエッジ領域および第２のエッジ領域の順に検出し、第２のエッジ領域のエッジ検出方向が第１のエッジ領域のエッジ検出方向と等しい場合にのみ、第２のエッジ領域を有効なエッジ領域であると判定する。
【００５６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５７】
各実施形態によれば、広範囲の色滲みを高精度に補正することが可能な画像処理装置、撮像装置、画像処理方法、および、プログラムを提供することができる。
【００５８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５９】
１０６  画像処理部（画像処理装置）
１０６ａ  エッジ検出部
１０６ｅ  色滲み補正部
【図１】
2018182392.tif 000006
【図２】
2018182392.tif 000007
【図３】
2018182392.tif 000008
【図４】
2018182392.tif 000009
【図５】
2018182392.tif 000010
【図６】
2018182392.tif 000011
【図７】
2018182392.tif 000012
【図８】
2018182392.tif 000013
【図９】
2018182392.tif 000014
【図１０】
2018182392.tif 000015
【図１１】
2018182392.tif 000016
【図１２】
2018182392.tif 000017
【図１３】
2018182392.tif 000018
【図１４】
2018182392.tif 000019
【図１５】
2018182392.tif 000020