(57)【要約】【課題】  色収差によるパープルフリンジ等の偽色の補正を効率的に実行し高品質な画像データを生成、出力する装置および方法を提供する。【解決手段】  画像データの注目画素について、偽色可能性を示すパラメータとしての偽色度合いｐを算出し、注目画素近傍領域の画素値に基づいて注目画素に対応する補間値を算出し、注目画素の偽色度合いｐに応じて元画素値と前記補間値との寄与率を変更して注目画素の補正画素値を算出する。注目画素の偽色度合いｐは、（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθを適用して算出する。【選択図】  図１２
2006115039.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であり、
画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出部と、
注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出部と、
注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記偽色度合い算出部は、
注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、
の少なくともいずれかを適用して注目画素の偽色度合いｐを算出する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記偽色度合い算出部は、
注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、
を適用し、偽色度合いｐを、下記式、
ｐ＝Ｐｄ・Ｐθ・Ｐｓ、
に従って算出する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記補正画素値算出部は、
注目画素（ｘ，ｙ）の元画素値対応の色情報をＣ（ｘ，ｙ）、前記補間値をＦとし、注目画素の偽色度合いをｐとした場合、注目画素の補正画素値に対応する色情報Ｃ'（ｘ，ｙ）を、式：Ｃ'（ｘ，ｙ）＝ｐＦ＋（１−ｐ）Ｃ（ｘ，ｙ）
ただしｐ＝０〜１であり、偽色度合いが高い場合１に近づく値を持つ、
上記式に従って算出する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記補間値算出部は、
注目画素近傍領域に設定した補間値算出範囲の構成画素に設定した重み情報に基づいて、補間値算出範囲の全構成画素に基づく重み総和保存変数Ｗｔｏｔａｌと、色情報補間値保存変数Ｃｔｍｐとを算出し、該変数に基づいて、注目画素に対応する補間値（Ｃｔｍｐ／Ｗｔｏｔａｌ）を算出する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補正画素値算出部は、
前記偽色度合いｐに基づいてフィルタリング態様を設定したローパスフィルタを適用して生成した補間値に基づいて注目画素の補正画素値を算出する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
偽色と判定された注目画素の画素値を周囲画素の画素値に基づいて補正する穴埋め補間処理を実行する穴埋め補間処理部と、
前記穴埋め補間処理部において実行された補間処理において算出する注目画素対応の第１の補正画素値と、前記補正画素値算出部において偽色度合いｐを適用して算出する第２の補正画素値とをブレンドして最終補正画素値を算出するブレンド処理部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記偽色はパープルフリンジであり、
前記偽色度合い算出部は、
画像データの構成画素から選択された注目画素について、パープルフリンジである可能性を示すパラメータとしての偽色度合いｐを算出する構成であり、
前記補正画素値算出部は、
注目画素の元画素値と前記補間値とを適用し、注目画素がパープルフリンジである可能性を示すパラメータとしての偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する構成であることを特徴とする請求項１乃至７いずれかに記載の画像処理装置。
【請求項９】
画像処理方法であり、
画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出ステップと、
注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出ステップと、
注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
前記偽色度合い算出ステップは、
注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、
の少なくともいずれかを適用して注目画素の偽色度合いｐを算出するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記偽色度合い算出ステップは、
注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、
を適用し、偽色度合いｐを、下記式、
ｐ＝Ｐｄ・Ｐθ・Ｐｓ、
に従って算出するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１２】
前記補正画素値算出ステップは、
注目画素（ｘ，ｙ）の元画素値対応の色情報をＣ（ｘ，ｙ）、前記補間値をＦとし、注目画素の偽色度合いをｐとした場合、注目画素の補正画素値に対応する色情報Ｃ'（ｘ，ｙ）を、式：Ｃ'（ｘ，ｙ）＝ｐＦ＋（１−ｐ）Ｃ（ｘ，ｙ）
ただしｐ＝０〜１であり、偽色度合いが高い場合１に近づく値を持つ、
上記式に従って算出するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１３】
前記補間値算出ステップは、
注目画素近傍領域に設定した補間値算出範囲の構成画素に設定した重み情報に基づいて、補間値算出範囲の全構成画素に基づく重み総和保存変数Ｗｔｏｔａｌと、色情報補間値保存変数Ｃｔｍｐとを算出し、該変数に基づいて、注目画素に対応する補間値（Ｃｔｍｐ／Ｗｔｏｔａｌ）を算出するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１４】
前記補正画素値算出ステップは、
前記偽色度合いｐに基づいてフィルタリング態様を設定したローパスフィルタを適用して生成した補間値に基づいて注目画素の補正画素値を算出するステップであることを特徴とする請求項９に記載の画像処理方法。
【請求項１５】
前記画像処理方法は、さらに、
偽色と判定された注目画素の画素値を周囲画素の画素値に基づいて補正する穴埋め補間処理を実行する穴埋め補間処理ステップと、
前記穴埋め補間処理ステップにおいて実行された補間処理において算出する注目画素対応の第１の補正画素値と、前記補正画素値算出部において偽色度合いｐを適用して算出する第２の補正画素値とをブレンドして最終補正画素値を算出するブレンド処理ステップと、
を有することを特徴とする請求項９に記載の画像処理方法。
【請求項１６】
前記偽色はパープルフリンジであり、
前記偽色度合い算出ステップは、
画像データの構成画素から選択された注目画素について、パープルフリンジである可能性を示すパラメータとしての偽色度合いｐを算出するステップであり、
前記補正画素値算出ステップは、
注目画素の元画素値と前記補間値とを適用し、注目画素がパープルフリンジである可能性を示すパラメータとしての偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出するステップであることを特徴とする請求項９乃至１５いずれかに記載の画像処理方法。
【請求項１７】
画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出ステップと、
注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出ステップと、
注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出ステップと、
を有することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばレンズの収差による偽色の発生した画像データを補正し、高品質な画像データを生成する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
カメラで画像撮影を行なう際には、レンズの収差によりさまざまな問題が引き起こされる。典型的な収差の例として、単色収差であるザイデルの五収差が挙げられる。これはドイツのザイデルによって分析されたレンズの球面に基づく５つの収差であり、球面収差、コマ収差、非点収差、歪曲収差、像面歪曲の各収差の総称である。さらに、これらの収差とは別に、色収差も重要な問題を引き起こすことが知られている。色収差は、レンズ素材に対する光の屈折率がその波長により異なることに起因し、撮像面にて偽色を生ずる。
【０００３】
色収差の代表的な例として、光軸上の焦点位置が波長によって異なるため色のにじみが起こる軸上色収差や、波長により像倍率が異なるため色ずれが起こる倍率色収差などがよく知られているが、英語で一般的にＰｕｒｐｌｅ  Ｆｒｉｎｇｅ（パープルフリンジ）と呼ばれる現象も画像の劣化を引き起こす重要な原因となる。これは、光の波長により点像分布が異なっているために、画像中のエッジ部分に偽色が発生する現象である。通常の画素ではそれほど目立たない場合でも、輝度レベルにおける飽和状態としての白とびが起こっているハイコントラストのエッジ部分があれば、その周辺に紫色の偽色が発生し、不自然な像が結像されてしまう。一般に、白とびの近傍に発生する偽色は紫系の色が多く発生するためパープルフリンジと呼ばれる。ただし、レンズ、撮影条件などに応じて、偽色の色は緑がかった色となる場合など様々である。以下、パープルフリンジとは、発生する色に関わらず白とびが起こっているハイコントラストのエッジ部分における偽色発生現象を指すものとする。
【０００４】
色収差を軽減するための技術としては、蛍石など特殊な素材で出来たガラスを用いたレンズがある。しかし、このようなレンズを製造するのはコストがかるため価格も高く、レンズ交換式のカメラ用など一部の高級なカメラで用いられているが、一般に広く普及しているとは言えない。
【０００５】
また、特許文献１には、色収差によって発生する偽色を画像処理により軽減する方法が示されている。これは、緑チャンネルの高周波成分が高い部分に関して、色を抑制、つまり彩度を低下させる処理を行うものである。また、白とびが起こっている場合の対策として、露出を変えて２枚の画像を撮像し白とび部分の本来の輝度を推定し、彩度を低下させる処理を行う構成を開示している。
【０００６】
しかし、特許文献１に記載の処理は、彩度の低下により偽色の軽減を行っているため、本来の被写体の色についての彩度も低下し、被写体本来の忠実な色の再現ができなくなりその結果、不自然な画像が出力されるという問題がある。また、白とび部分の輝度推定のために、２回撮影を行う必要があり、この２回の撮影の間に手ぶれや被写体ぶれなどが起こった場合、正しい結果を得ることが困難になるという問題がある。
【特許文献１】特開２００３−６０９８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上述の問題点に鑑みてなされたものであり、白とび周辺に発生するパープルフリンジ等の偽色に注目し、この偽色領域を効率的に検出し、部分的な補正を実行することにより、画像全体に対する影響を発生させることなく高品質な画像データを生成、出力することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【０００８】
本発明は、特に、画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いを算出し、偽色度合いに応じて注目画素の元画素値と、周囲画素の画素値に基づいて生成する補間値との寄与率を変更して注目画素の補正画素値を算出する構成とすることで、ユーザによるパラメータ設定などのアシストのない自動補正処理を行った場合にも画像が破綻することのない高品質な画像データを生成可能な画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の側面は、
画像処理装置であり、
画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出部と、
注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出部と、
注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出部と、
を有することを特徴とする画像処理装置にある。
【００１０】
さらに、本発明の画像処理装置の一実施態様において、前記偽色度合い算出部は、注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、
の少なくともいずれかを適用して注目画素の偽色度合いｐを算出する構成であることを特徴とする。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記偽色度合い算出部は、注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、
を適用し、偽色度合いｐを、下記式、
ｐ＝Ｐｄ・Ｐθ・Ｐｓ、
に従って算出する構成であることを特徴とする。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記補正画素値算出部は、注目画素（ｘ，ｙ）の元画素値対応の色情報をＣ（ｘ，ｙ）、前記補間値をＦとし、注目画素の偽色度合いをｐとした場合、注目画素の補正画素値に対応する色情報Ｃ'（ｘ，ｙ）を、式：Ｃ'（ｘ，ｙ）＝ｐＦ＋（１−ｐ）Ｃ（ｘ，ｙ）
ただしｐ＝０〜１であり、偽色度合いが高い場合１に近づく値を持つ、
上記式に従って算出する構成であることを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記補間値算出部は、注目画素近傍領域に設定した補間値算出範囲の構成画素に設定した重み情報に基づいて、補間値算出範囲の全構成画素に基づく重み総和保存変数Ｗｔｏｔａｌと、色情報補間値保存変数Ｃｔｍｐとを算出し、該変数に基づいて、注目画素に対応する補間値（Ｃｔｍｐ／Ｗｔｏｔａｌ）を算出する構成であることを特徴とする。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記補正画素値算出部は、前記偽色度合いｐに基づいてフィルタリング態様を設定したローパスフィルタを適用して生成した補間値に基づいて注目画素の補正画素値を算出する構成であることを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、偽色と判定された注目画素の画素値を周囲画素の画素値に基づいて補正する穴埋め補間処理を実行する穴埋め補間処理部と、前記穴埋め補間処理部において実行された補間処理において算出する注目画素対応の第１の補正画素値と、前記補正画素値算出部において偽色度合いｐを適用して算出する第２の補正画素値とをブレンドして最終補正画素値を算出するブレンド処理部と、を有することを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記偽色はパープルフリンジであり、前記偽色度合い算出部は、画像データの構成画素から選択された注目画素について、パープルフリンジである可能性を示すパラメータとしての偽色度合いｐを算出する構成であり、前記補正画素値算出部は、注目画素の元画素値と前記補間値とを適用し、注目画素がパープルフリンジである可能性を示すパラメータとしての偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する構成であることを特徴とする。
【００１７】
さらに、本発明の第２の側面は、
画像処理方法であり、
画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出ステップと、
注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出ステップと、
注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出ステップと、
を有することを特徴とする画像処理方法にある。
【００１８】
さらに、本発明の画像処理方法の一実施態様において、前記偽色度合い算出ステップは、注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、
の少なくともいずれかを適用して注目画素の偽色度合いｐを算出するステップであることを特徴とする。
【００１９】
さらに、本発明の画像処理方法の一実施態様において、前記偽色度合い算出ステップは、注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、
を適用し、偽色度合いｐを、下記式、
ｐ＝Ｐｄ・Ｐθ・Ｐｓ、
に従って算出するステップであることを特徴とする。
【００２０】
さらに、本発明の画像処理方法の一実施態様において、前記補正画素値算出ステップは、注目画素（ｘ，ｙ）の元画素値対応の色情報をＣ（ｘ，ｙ）、前記補間値をＦとし、注目画素の偽色度合いをｐとした場合、注目画素の補正画素値に対応する色情報Ｃ'（ｘ，ｙ）を、式：Ｃ'（ｘ，ｙ）＝ｐＦ＋（１−ｐ）Ｃ（ｘ，ｙ）
ただしｐ＝０〜１であり、偽色度合いが高い場合１に近づく値を持つ、
上記式に従って算出するステップであることを特徴とする。
【００２１】
さらに、本発明の画像処理方法の一実施態様において、前記補間値算出ステップは、注目画素近傍領域に設定した補間値算出範囲の構成画素に設定した重み情報に基づいて、補間値算出範囲の全構成画素に基づく重み総和保存変数Ｗｔｏｔａｌと、色情報補間値保存変数Ｃｔｍｐとを算出し、該変数に基づいて、注目画素に対応する補間値（Ｃｔｍｐ／Ｗｔｏｔａｌ）を算出するステップであることを特徴とする。
【００２２】
さらに、本発明の画像処理方法の一実施態様において、前記補正画素値算出ステップは、前記偽色度合いｐに基づいてフィルタリング態様を設定したローパスフィルタを適用して生成した補間値に基づいて注目画素の補正画素値を算出するステップであることを特徴とする。
【００２３】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、偽色と判定された注目画素の画素値を周囲画素の画素値に基づいて補正する穴埋め補間処理を実行する穴埋め補間処理ステップと、前記穴埋め補間処理ステップにおいて実行された補間処理において算出する注目画素対応の第１の補正画素値と、前記補正画素値算出部において偽色度合いｐを適用して算出する第２の補正画素値とをブレンドして最終補正画素値を算出するブレンド処理ステップとを有することを特徴とする。
【００２４】
さらに、本発明の画像処理方法の一実施態様において、前記偽色はパープルフリンジであり、前記偽色度合い算出ステップは、画像データの構成画素から選択された注目画素について、パープルフリンジである可能性を示すパラメータとしての偽色度合いｐを算出するステップであり、前記補正画素値算出ステップは、注目画素の元画素値と前記補間値とを適用し、注目画素がパープルフリンジである可能性を示すパラメータとしての偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出するステップであることを特徴とする。
【００２５】
さらに、本発明の第３の側面は、
画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出ステップと、
注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出ステップと、
注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００２６】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２８】
本発明の構成によれば、画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出し、注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出し、注目画素の偽色度合いｐに応じて元画素値と前記補間値との寄与率を変更して注目画素の補正画素値を算出する構成としたので、カメラで撮影した画像に起こる色収差によるパープルフリンジ等の偽色に対する適正な補正が可能となり、高品質な画像データの生成、出力を実現することができる。特に、本発明の処理構成では、ユーザのアシスト、すなわち画像に応じた最適なパラメータの設定などの処理を行なうことなく、すべてを自動処理として行なった場合でも、破綻の無い画像を生成することが可能となる。本発明の画像処理を適用することにより、撮影画像を、より自然に見えるように補正をすることが可能である。従って、撮影時にパープルフリンジが起こらないようにレンズの絞りや焦点距離などに注意を払う必要がなく、より高い自由度で撮影を行なうことが可能となる。
【００２９】
さらに、本発明の構成によれば、偽色である可能性を示すパラメータとしての注目画素の偽色度合いｐを、（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、を適用して算出する構成としたので、パープルフリンジ等の偽色の可能性の高い画素については周囲画素に基づく補間値の寄与率を高め、偽色の可能性の低い画素については、元画素値の寄与率を高くした補正が実行されることになり、破綻の無い高品質な画像を取得することが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３１】
まず、画像処理装置の構成例について図１を参照して説明する。なお、図１に示す画像処理装置は、撮像部を備え、撮像部において撮影した画像データの補正処理を実行する装置例として示してあるが、本発明の画像処理装置は、たとえばハードディスクなどの記憶部に格納された画像データを入力して入力画像の補正を実行することも可能であり、補正処理対象の画像データは、撮像部を介して入力されるデータのみならず、記憶手段、あるいはネットワークを介して入力する画像データなどあらゆる入力画像データに対応可能である。図１は本発明の画像処理装置の一構成例を示すものである。
【００３２】
図１に示す画像処理装置の詳細構成について説明する。図１に示すように、画像処理装置は、レンズ１０１、絞り１０２、固体撮像素子１０３、相関２重サンプリング回路１０４、Ａ／Ｄコンバータ１０５、ＤＳＰブロック１０６、タイミングジェネレータ１０７、Ｄ／Ａコンバータ１０８、ビデオエンコーダ１０９、ビデオモニタ１１０、コーデック（ＣＯＤＥＣ）１１１、メモリ１１２、ＣＰＵ１１３、入力デバイス１１４、フラッシュ制御装置１１５、フラッシュ発光装置１１６から構成される。
【００３３】
ここで、入力デバイス１１４はカメラ本体にある録画ボタンなどの操作ボタン類をさす。また、ＤＳＰブロック１０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。
【００３４】
本実施例の全体的な動作を以下に説明する。
光学系を通過して固体撮像素子１０３に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１０４によってノイズ除去され、Ａ／Ｄコンバータ１０５によってデジタ。信号に変換された後、デジタル信号処理部（ＤＳＰ）１０６中の画像メモリに一時格納される。なお、必要があれば、撮影の際に、フラッシュ制御装置１１５を介して、フラッシュ発光装置１１６を発光させることができる。
【００３５】
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ１０７が信号処理系を制御する。デジタル信号処理部（ＤＳＰ）１０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ１０８もしくはコーデック（ＣＯＤＥＣ）１１１あるいはその両方に送られる。Ｄ／Ａコンバータ１０８はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ１０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ１１０でモニタできるようになっていて、このビデオモニタ１１０は本実施例においてカメラのファインダの役割を担っている。また、コーデック（ＣＯＤＥＣ）１１１はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データに対する符号化をおこない、符号化された画像データはメモリ１１２に記録される。ここで、メモリ１１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。
【００３６】
以上が本実施例の画像処理装置の一例としてのデジタルビデオカメラのシステム全体の説明であるが、本発明に係る画像処理、すなわち画像データの補正処理はデジタル信号処理部（ＤＳＰ）１０６において実行される。以下、この画像処理の詳細について説明する。なお、本実施例で扱う画像の色空間としては、輝度情報と色情報が独立に定義されているものを用いる。例えば、ＹＣｂＣｒ空間やＣＩＥＬ*ａ*ｂ*空間などが挙げられる。
【００３７】
以下、本発明の画像処理装置のデジタル信号処理部（ＤＳＰ）１０６において実行する画像データ補正処理の詳細について説明する。本発明の画像処理装置は、白とび周辺に発生するパープルフリンジ等の偽色に注目し、この偽色領域を効率的に検出し、部分的な補正を実行することにより、画像全体に対する影響を発生させることなく高品質な画像データを生成、出力することを可能とした構成を持つ。
【００３８】
まず、偽色（パープルフリンジ）の発生の仕方の特徴について説明する。偽色（パープルフリンジ）とは、色収差による色ずれが、白とび部分周辺で目立って現れる現象で、例えば紫色の偽色を生ずることを特徴とする。偽色が発生する白とびの周り範囲大きさは、光学系の絞り、焦点距離に連動しており、また、光学中心からの距離にも依存し、大きさが変わる。また、偽色が出る方向も、光学中心から白とび画素の外側に向かう方向、白とび画素から光学中心に向かう方向それぞれに発生し、その傾向は、撮像する光学系により異なる。
【００３９】
白とび近傍に発生する偽色を補正して、より正しい色に修正するための処理として、本出願人は、先の特許出願（特願２００４−１５７０９８）において、白とび近傍の偽色画素（着目画素）を選択し、選択した偽色画素の画素値補正処理として、周囲の画素値に基づいて画素値を決定する穴埋め（Ｈｏｌｅ  ｆｉｌｌｉｎｇ）による画像補正処理構成を提案した。この手法は、白とびと判断される画素を特定し、さらに、白とび近傍に発生す偽色と判定される画素を偽色画素（着目画素）として選択して、この偽色画素（着目画素）の画素値を周囲の正常と判定される画素値に基づいて決定する手法である。この処理は、穴埋め（Ｈｏｌｅ  ｆｉｌｌｉｎｇ）処理、あるいは穴埋め補間処理と呼ばれる。
【００４０】
先の特許出願（特願２００４−１５７０９８）において提案した穴埋め補間処理の概要について説明する。図２（Ａ）に例えば色収差によるパープルフリンジの発生した画像データの例を示す。図２（Ａ）に示されるように、画素は、「白とび画素１５１」、「偽色（パープルフリンジ）画素１５２」、「白とびでもパープルフリンジでもないその他の画素１５３」のいずれかに分類される。この中で、画素値の再設定が必要な画素は、「白とび画素１５１」、「偽色（パープルフリンジ）画素１５２」であり、これらの画素の画素値を「白とびでもパープルフリンジでもないその他の画素１５３」に基づいて決定する。すなわち、「白とび画素１５１」、「偽色（パープルフリンジ）画素１５２」のような補正の必要な画素を、その周囲にある正しい画素値の設定された画素の画素値の平均値などを取得して、補正すべき画素の画素値に設定する処理などが行なわれる。
【００４１】
この穴埋め補間処理は、図２（Ｂ）の矢印１５５の方向に、順次、繰り返し実行され、順次「補間済み画素１５４」として、各画素の画素値が設定される。すなわち、最初の穴埋め補間処理で「白とびでもパープルフリンジでもないその他の画素１５３」に隣接する「偽色（パープルフリンジ）画素１５２」の補正画素値が決定され「補間済み画素１５４」に設定される。
【００４２】
次に、２回目の穴埋め補間処理で、「白とびでもパープルフリンジでもないその他の画素１５３」または初回の穴埋め補間処理で生成された「補間済み画素１５４」に隣接する「偽色（パープルフリンジ）画素１５２」の補正画素値が、これらの画素に基づいて決定されて新たに「補間済み画素１５４」に設定される。これらの処理が予め定められた回数、またはユーザの設定した回数分繰り返し実行される。
【００４３】
穴埋め補間処理を適用した画像データ補正処理の処理手順について説明する。パープルフリンジに対する穴埋め補間処理を適用した画像データの補正処理は、例えば図３に示すフローに従った処理手順によって実行される。
【００４４】
ステップＳ１０１は、色空間変換処理であり、入力画像に対し、色空間の変換を施し輝度成分画像と色成分画像に分離する。具体的には、例えば入力画像がＲＧＢ画像である場合、これを変換し、輝度成分画像Ｌと色成分画像Ｃに分離する。つまりＲＧＢカラーの入力画像を、輝度成分と色成分を別々に持つ色空間データに変換する。変換データの色空間としては、例えばＹＣｂＣｒやＣＩＥ  Ｌ＊ａ＊ｂ＊などが適用可能である。
【００４５】
次に、ステップＳ１０２は、白とび領域検出処理であり、補正対象の入力画像データ中から白とび部分を検出する。色収差の目立つ紫色をおびた画素は、画像の中で「白とび」を起こしている周囲の部分であることより、ステップＳ１０２で、「白とび」の画素を検出する。「白とび」の画素検出は、画素値の値が所定の値より高い画素（高輝度画素）を選択する処理として実行される。
【００４６】
ステップＳ１０３は、偽色画素検出領域設定（Ｄｉｌａｔｅ）処理であり、「白とび」の周囲において偽色、すなわちパープルフリンジが存在する可能性のある画像中の領域を偽色発生部検索領域として設定する。
【００４７】
ステップＳ１０４は、偽色画素検出処理であり、検索領域内にある紫色画素を検出する。すなわち、紫色をおびた画素を選択し、これを偽色（パーブルフリンジ）画素、すなわち補間処理対象画素として選択する。
【００４８】
ステップＳ１０５は、偽色画素補正処理であり、検出された紫色の画素の色成分を補正する。具体的には、補正処理対象画素を、周囲の画素の画素値に基づいて補間する処理を実行する。この処理は、穴埋め補間処理と呼ばれ、図２を参照して説明したように、図２（Ｂ）の矢印１５５の方向に、順次、繰り返し実行される。繰り返し実行回数は、例えばユーザが設定することができる。なお、この際、補正すべきであるにも係わらず補正できなかった画素については、例外的に、彩度を落とす処理を実行する。
【００４９】
さらに、ステップＳ１０６は、色ぼかし処理（フィルタリング処理）であり、自然な結果を得るためのフィルタリング処理である。ステップＳ１０５での補正処理を行った画素（周囲より補間した画素）と、例外処理の画素（彩度を落とした画素）との画素値の差を目立たなくするために、全体的にぼかす処理を実行する。ぼかし処理は、例えば複数の隣接画素についてなだらかな画素値変化を示すように画素値を再設定する処理として実行される。最後に、ステップＳ１０７が色空間逆変換処理であり、補正結果の輝度成分画像、色成分画像、例えばＹＣｂＣｒやＣＩＥ  Ｌ＊ａ＊ｂ＊などを変換しＲＧＢのカラー画像として、結果画像を出力する。
【００５０】
上述の画像補正処理、すなわち、穴埋めによる補間処理により、ほとんどのパープルフリンジの偽色は軽減され、大きな効果がある。しかし、上述の処理工程において、白とび画素の近傍にあるどの画素をパープルフリンジと判定するかによって、補正後の結果画像が大きく変わる可能性がある。予め設定されたパラメータを適用して自動補正処理を行う場合、多くの画像については、上述した補正処理が有効に働き画像データが改善するが、ごく一部の画像に対して結果が不自然なものになり、補正前の画像より劣化した画像、すなわち画像が破綻してしまう場合がある。
【００５１】
つまり、ユーザのアシストなしに一定のパラメータを固定的に適用した穴埋め補間処理を、様々な画像に対して適用した場合、その一部において、破綻画像が現れるという問題があり、様々なタイプの画像データのすべてにおいて、見た目の自然な補正結果を生成するのは難しいという問題がある。
【００５２】
本発明は、このような問題を解決するものであり、破綻の少ないパープルフリンジ等の偽色補正のための画像処理方法を提案する。本発明の構成は、ユーザのアシストなしの自動処理によりパープルフリンジ等の偽色補正を行う場合でも、破綻の無い結果画像を常に生成することができる。
【００５３】
なお、前述したように、輝度レベルにおける飽和状態としての白とびが起こっているハイコントラストのエッジ部分に発生するレンズ収差による偽色の代表的な現象をパープルフリンジと呼ぶが、偽色の色は紫に限定されるものではなく、例えば緑がかった色となる場合などもある。以下の実施例では、紫色の偽色を生じた例として説明するが、本発明は、紫色に限らず、白とび近傍に発生する任意の色を有する偽色の補正処理に適用可能である。
【００５４】
本発明の画像処理では、例えば図１に示す画像処理装置の撮像部において撮影され、デジタル信号処理部（ＤＳＰ）１０６に入力された画像データの構成画素について１つずつ、後述する偽色度合い（ＰＦ度合い）を算出し、算出した各画素対応の偽色度合い（ＰＦ度合い）に基づく補正処理を行なう。ＰＦはパープルフリンジ（Ｐｕｒｐｌｅ  Ｆｒｉｎｇｅ）を意味する。
【００５５】
本発明の画像処理シーケンスについて、図４以下を参照して説明する。図４、図５は、本発明の画像処理の手順を示すフローチャートである。図４、図５に示すフローチートの各ステップの処理の詳細を順次説明する。
【００５６】
ステップＳ２０１、Ｓ２０２において、補正対象画像データの検査対象画素位置の初期設定を実行する。初期設定として注目画素の画素位置を（０，０）、すなわちｘ＝０、ｙ＝０として設定する。本発明の処理では、上述のように、補正対象として入力される画像データの構成画素について１つずつ、偽色度合い（ＰＦ度合い）を算出し、算出した各画素対応の偽色度合い（ＰＦ度合い）に基づく補正処理を行なう。ステップＳ２０１、Ｓ２０２にあるように座標（０，０）から始めて、画像中の各画素を順番に注目画素として色情報の補正を行う。
【００５７】
注目画素が決定されたあとは、偽色度合い、すなわちパープルフリンジ度合い（ＰＦ度合い）を算出する。本実施例においては、偽色度合い（ＰＦ度合い）の算出に、以下の各尺度、すなわち、
（ａ）白とび（高輝度画素）への近さ、
（ｂ）彩度の大きさ、
（ｃ）偽色に相当する特定色相への近さ
の３種類の尺度を考慮する。
【００５８】
まず、上記尺度（ａ）〜（ｃ）中の、「（ａ）白とび（高輝度画素）への近さ」に関して説明する。パープルフリンジは、主に白とびの周囲に発生する。逆に、注目画素がパープルフリンジであるときには、注目画素の周囲に、白とびが存在する。注目画素が白とびに近ければ近いほど、その画素はパープルフリンジである可能性が高いといえる。
【００５９】
ところで、パープルフリンジは白とびが発生している部分を中心として発生するが、白とびの画像上での位置によりパープルフリンジが発生する範囲は異なる。例えば、光学中心に当たる画像中心部から画像端に向かう方向に、パープルフリンジが発生しやすい場合がある。これは、光学系の種類や、絞り・焦点距離などの設定、注目画素の位置によっても、パープルフリンジが発生する範囲の特徴は異なる。
【００６０】
本実施例では、ステップＳ２０３において、注目画素がパープルフリンジであるとしたときに白とびが起こっている可能性のある範囲、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を算出する。白とび探索範囲の算出方法としては、例えば、注目画素が白とびであった場合に、注目画素から画像中心に向かう方向とその１８０度反対側の方向またそれらと直行する方向に、どの程度の大きさのパープルフリンジが発生するかを算出すればよい。そのためには、あらかじめ本実施例に用いる光学系に関して、パープルフリンジの発生する可能性のある範囲を調べておき、ルックアップテーブルなどにそのデータを保存し、注目画素の画素位置に基づいてルックアップテーブルを検索して、画素位置対応の白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）のデータを抽出する。あるいは、ルックアップテーブルには、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を算出するために必用なデータを格納し、これを抽出して演算によって白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を算出する構成としてもよい。あるいは、ルックアップテーブルを適用せずに、予め設定された関数に従った演算処理を実行して、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を算出する構成としてもよい。
【００６１】
ステップＳ２０３においては、定義済みのルックアップテーブルの参照、演算処理の少なくともいずれかの処理によって、光学系の設定、注目画素位置等の各種情報に基づいて、探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を算出する。探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）は、注目画素がパープルフリンジである場合に白とび存在する可能性のある範囲として算出される範囲である。
【００６２】
図６を参照して、光学系にあわせた白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の設定の一例を述べる。図６に示す補正対象となる画像データ２１０において、ある画素２１１が白とびを起こしていると仮定する。画素が白とび画素であるか否かは、予め定めた閾値以上の輝度値を持つ画素であるかの判定処理によって行われ、閾値以上の輝度値を持つ画素であれば、白とび画素として判定する。
【００６３】
画素２１１が白とび画素である場合、画素２１１の周囲において、パープルフリンジが発生する可能性のある範囲は、撮像手段における使用レンズの特性と、撮影時のＦ値と焦点距離に基づいて算出することができる。これらの各データは、画像データの撮影時に撮影画像に対応する属性情報として、画像データとともに画像処理実行部としてのデジタル図信号処理部（ＤＳＰ）１０６（図１参照）に入力され、デジタル信号処理部（ＤＳＰ）１０６は、これらの入力データと注目画素の画素位置に基づいてルックアップテーブルを検索して、画素位置対応の白とび探索範囲を算出するために必用なデータを抽出して、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の算出を実行する。
【００６４】
図６を参照して、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の詳細について説明する。例えば、ある撮影条件における画像で、図６に示す画像データ２１０の画素２１１が白とび画素であるとき、白とび画素２１１の右下側に幅：Ｗａ、高さ：Ｈａ、左上側に幅：Ｗｂ、高さ：Ｈｂでパープルフリンジが発生するとする。図６に示す画素領域２１２と画素領域２１３によって規定される領域である。
【００６５】
一方、逆に、画素２１１がパープルフリンジ画素であると仮定すると、パープルフリンジ画素は、白とび画素の近傍に発生するという前提から、パープルフリンジ画素２１１の近傍には、必ず白とびの画素があるはずである。パープルフリンジ画素２１１の周囲において、白とびの発生している可能性のある領域は、上述した画素領域２１２と画素領域２１３とを、画素２１１と画像データ中心画素２５０を結ぶ直線に沿って画素２１１を中心として折り返して設定される領域、すなわち、図６に示す画素領域２２２、画素領域２２３である。
【００６６】
このように、図６に示す画素２１１がパープルフリンジ画素である場合、図６に示す画素領域２２２、画素領域２２３に白とび画素が発生していると推定できる。従って、画素２１１がパープルフリンジ画素の場合、図６に示す画素領域２２２、画素領域２２３を含む矩形領域として設定される画素領域２３０を探索領域として探索処理を実行すれば、白とび画素が発見できるはずである。
【００６７】
図４に示すフローのステップＳ２０３では、注目画素（ｘ，ｙ）がパープルフリンジ画素である場合に、その画素の周囲に存在すると判断される白とび画素を検出することを目的として、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を設定するものである。上述した説明から理解されるように、図６において画素２１１が注目画素である場合、画素領域２３０を白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）として設定すれば、画素２１１がパープルフリンジ画素である場合に、白とび画素をこの探索範囲において検出できることになる。
【００６８】
このように、撮影手段の特性、撮影条件によって決定される白とび画素周囲のハープルフリンジ発生領域に基づいて、パープルフリンジ画素周囲の白とび画素探索領域が設定される。図４に示すフローのステップＳ２０３では、処理対象の画素、すなわち注目画素毎に白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を算出する。
【００６９】
図７を参照して、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の領域について説明する。図７は、注目画素（ｘ，ｙ）３００の周囲に設定される白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）３０１を示している。白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）３０１は、左上端が座標（ｘ０，ｙ０）の画素３０２であり、右下端が座標（ｘ１，ｙ１）の画素３０３である矩形領域からなる白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）である。
【００７０】
図７に示す白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）３０１は、図６に示す矩形領域２３０に相当する領域であり、図６に示す画素領域２２３は、図７に示す注目画素（ｘ，ｙ）３００の左上部の高さＨ１、幅Ｗ１からなる画素領域３１１に相当し、図６に示す画素領域２２２は、図７に示す注目画素（ｘ，ｙ）３００の右下部の高さＨ２、幅Ｗ２からなる画素領域３１２に相当する。画素３２１は座標（ｘ０，ｙ１）の画素、画素３２２は座標（ｘ１，ｙ）の画素、画素３２３は座標（ｘ，ｙ０）の画素、画素３２４は座標（ｘ，ｙ１）の画素である。
【００７１】
図４に示すフローのステップＳ２０３では、例えば、図７に示す画素（ｘ，ｙ）３００を注目画素とした場合、注目画素（ｘ，ｙ）３００の左にＷ１、右にＷ２、上にＨ１、下にＨ２の領域からなる探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）３０１を設定する。この設定によって、注目画素（ｘ，ｙ）３００がパープルフリンジ画素である場合に、探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）３０１内から白とび画素を、ほぼ間違いなく検出することができる。
【００７２】
このように、図４のステップＳ２０３では、注目画素（ｘ，ｙ）がパープルフリンジ画素である場合に、その画素の周囲に存在すると判断される白とび画素を検出することを目的として、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を設定するものである。なお、前述したように、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の算出にはルックアップテーブルの参照、演算処理の少なくともいずれかの処理が実行される。撮像手段における使用レンズの特性、撮影時のＦ値、焦点距離等の各データを撮影画像に対応する属性情報として、画像データとともに画像処理実行部としてのデジタル図信号処理部（ＤＳＰ）１０６（図１参照）に入力し、デジタル信号処理部（ＤＳＰ）１０６において、これらの入力データ、注目画素位置情報等に基づいてルックアップテーブルの参照、演算処理の少なくともいずれかの処理を実行して、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を算出する。
【００７３】
図４のステップＳ２０３において、注目画素（ｘ，ｙ）に対応する白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）が算出されると、算出した白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）において、白とび画素の検索を行い、注目画素（ｘ，ｙ）と最も近接した白とび画素との距離としての最小距離：ｄｍｉｎを算出する。この処理が、図４、図５のフローに示すステップＳ２０４〜Ｓ２１４の処理である。
【００７４】
ここで算出する注目画素（ｘ，ｙ）と白とび画素との距離：ｄは、注目画素（ｘ，ｙ）を中心点として白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の領域を正規化して算出した距離データを用いる。正規化された距離データを比較して、最小距離：ｄｍｉｎを算出する。正規化した距離データを用いる理由について説明する。注目画素から白とびへの距離を算出する際には、パープルフリンジの発生する方向を考慮する必要がある。すなわち、注目画素の周囲に白とび画素があり、その白とび画素を原因として注目画素にパープルフリンジが発生する可能性を算出するためには、白とび画素の位置と注目画素の距離ならびにその位置関係を考慮する必要がある。
【００７５】
図６、図７を参照して説明したように、白とび画素探索領域は、注目画素の周囲に均等に設定されない。例えば図７に示す白とび画素探索領域３０１は、注目画素３００（ｘ，ｙ）の左上部の小さな画素領域３１１と、右下の大きな画素領域３１２を含む領域として設定され、注目画素３００（ｘ，ｙ）は白とび画素探索領域３０１の中心に設定されておらず、左上部にかたよって設定された状態となっている。注目画素（ｘ，ｙ）と白とび画素との最小距離：ｄｍｉｎを算出する際、実際の距離データとして算出すると、左上部の小さな画素領域３１１にも白とびがあり、右下の大きな画素領域３１２にも白とびがある場合、ほとんどの最小距離データは、左上部の小さな画素領域３１１との距離として算出される可能性が高くなる。
【００７６】
しかし、注目画素３００（ｘ，ｙ）のパープルフリンジを引き起こしている原因としての白とび画素は、注目画素との実際の距離がより大きな右下の画素領域３１２内の白とび画素である場合がある。このような誤認を防止するため、すなわち、注目画素（ｘ，ｙ）のパープルフリンジを引き起こしている要因としての白とび画素との距離を最小距離：ｄｍｉｎとして正確に算出するため、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の中心に注目画素（ｘ，ｙ）が設定された状態とするため、正規化距離データを用いる。
【００７７】
正規化距離データを用いることで、例えば図７に示す注目画素３００（ｘ，ｙ）と、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の端点の画素３２１（ｘ０，ｙ１）との距離：Ｗ１、注目画素３００（ｘ，ｙ）と画素３２２（ｘ１，ｙ）との距離：Ｗ２、注目画素３００（ｘ，ｙ）と画素３２３（ｘ，ｙ０）との距離：Ｈ１、注目画素３００（ｘ，ｙ）と画素３２４（ｘ，ｙ１）との距離：Ｈ２は全て等しいものとして処理される。この正規化距離データを用いることで、注目画素３００（ｘ，ｙ）と正規化最小距離：ｄｍｉｎを持つ白とび画素が、注目画素３００（ｘ，ｙ）のパープルフリンジを引き起こしている要因となった白とび画素であるとの推定が正しい確立を向上させることができる。
【００７８】
本実施例においては、例えば図７に示す白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の設定において、白とび画素位置と注目画素それぞれのｘ座標の差の絶対値を、注目画素３００（ｘ，ｙ）と白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の端点の画素３２１（ｘ０，ｙ１）との距離：Ｗ１、または注目画素３００（ｘ，ｙ）と画素３２２（ｘ１，ｙ）との距離：Ｗ２を用いて正規化し、さらに、注目画素３００（ｘ，ｙ）と画素３２３（ｘ，ｙ０）との距離：Ｈ１、注目画素３００（ｘ，ｙ）と画素３２４（ｘ，ｙ１）との距離：Ｈ２を用いて正規化して距離：ｄを算出する。
【００７９】
具体的な距離算出式について説明する。白とび探索範囲で見つかった白とび画素の位置が（ａ，ｂ）であるとする。注目画素から白とび位置（ａ，ｂ）への距離：ｄは以下の式（式１）に従って算出する。
【数１】
2006115039.tif 000003
【００８０】
上記式（式１）を用いれば、注目画素から３００（ｘ，ｙ）から、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の端点の画素３２１（ｘ０，ｙ１）との距離：Ｗ１、画素３２２（ｘ１，ｙ）との距離：Ｗ２、画素３２３（ｘ，ｙ０）との距離：Ｈ１、画素３２４（ｘ，ｙ１）との距離：Ｈ２は全て等距離とされる。この正規化距離データを適用して最小距離：ｄｍｉｎを持つ白とび画素を選択することで、注目画素３００（ｘ，ｙ）のパープルフリンジを引き起こしている要因となった白とび画素を正しく抽出することができる。
【００８１】
図４のフローの説明を続ける。ステップＳ２０３において白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）を算出した後、まず、ステップＳ２０４で、最小距離：ｄｍｉｎを初期化、例えばｄｍｉｎ＝∞あるいは注目画素と白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の最大距離より十分大きい値に設定する。次に、ステップＳ２０５，Ｓ２０６において、白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）の構成画素を１つ選択し、ステップＳ２０７において、選択画素（ｓ，ｔ）が白とび画素であるか否かを判定する。白とび画素であるか否かの判定処理は、例えば予め定めた輝度以上の画素を白とび画素として判定する処理として実行される。
【００８２】
選択画素（ｓ，ｔ）が白とび画素で無い場合は、ステップＳ２１１〜Ｓ２１４の処理によって選択画素の更新、すなわち白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）内において次の画素を選択画素として設定し、ステップＳ２０７以下の処理を繰り返し実行する。
【００８３】
選択画素（ｓ，ｔ）が白とび画素であると判定すると、ステップＳ２０８において、注目画素（ｘ，ｙ）と白とび画素（ｓ，ｔ）との距離ｄが算出する。この距離ｄは、前述の式（式１）を適用した演算によって、正規化距離データとして算出する。ステップＳ２０９では、算出距離データ：ｄと初期化されたあるいはその後更新された最小距離：ｄｍｉｎとの比較が実行され、算出距離データ：ｄが、最小距離：ｄｍｉｎより小さい値を持つ場合は、ステップＳ２１０において、算出距離データ：ｄを、最小距離：ｄｍｉｎとする最小距離：ｄｍｉｎの更新処理を実行する。
【００８４】
以上の処理を、注目画素（ｘ，ｙ）の周囲に設定した白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）内の全画素について実行し、注目画素に対応する１つの最小距離：ｄｍｉｎを決定する。白とび探索範囲（ｘ０，ｙ０，ｘ１，ｙ１）内に白とび画素が検出されなかった場合は、最小距離：ｄｍｉｎは、初期値のままとなる。
【００８５】
次に、図５に示すフローチャートのステップＳ２１５に進む。ステップＳ２１５では、注目画素（ｘ，ｙ）の偽色度合い、すなわち、ＰＦ（パープルフリンジ）度合いを算出するためのパラメータを注目画素（ｘ，ｙ）の色情報ｃ（ｘ，ｙ）に基づいて算出する。これは、注目画素（ｘ，ｙ）がパープルフリンジに近い彩度と色相を持つか否かを判定する尺度としての偽色（ＰＦ）度合いｐ、すなわちパープルフリンジ等の偽色（ＰＦ）である可能性を示すパラメータとしての偽色（ＰＦ）度合いｐの算出に適用するパラメータを求める処理である。
【００８６】
ステップＳ２１５における注目画素（ｘ，ｙ）の色情報ｃ（ｘ，ｙ）に基づくパラメータ算出処理について、図８を参照して説明する。図８は、２次元の色情報空間の一例を表わしている。ここでは、色情報としてＹＣｂＣｒ空間の、ＣｂＣｒを用いる。図８では、横軸にＣｂ、縦軸にＣｒ、原点４００はＣｂ＝１２８，Ｃｒ＝１２８となる色値を持つ。パープルフリンジ色相ライン４０１は、パープルフリンジの色であるとしてあらかじめ指定された色相を表わすラインである。注目画素色相４０２は、注目画素（ｘ，ｙ）の色相（Ｃｂ，Ｃｒ）をプロットしたものである。
【００８７】
図５に示すフローにおけるステップＳ２１５においては、注目画素の彩度ｓならびに、パープルフリンジの色相への近さθをパラメータとして求める。図８で示す例においては、彩度ｓは原点４００から注目画素色相４０２への距離として算出される値であり、パープルフリンジの色相への近さθはパープルフリンジ色相ライン４０１と、原点と注目画素色相４０２を結ぶラインとのなす角度として算出される値である。なお、本実施例では、注目画素（ｘ，ｙ）の偽色度合い、すなわち、ＰＦ（パープルフリンジ）度合いを算出するためのパラメータとして彩度ｓならびに、パープルフリンジの色相への近さθを、上記処理によってパラメータとして算出する処理を適用しているが、これらは、彩度、色相への近さの尺度としての一例であり、他の方法を適用してもよい。なお、ここで述べるθは、２つの色相のなす角度であり、必ず０以上の値となる。
【００８８】
次にステップＳ２１６において、ステップＳ２１５で求めた注目画素（ｘ，ｙ）の色情報ｃ（ｘ，ｙ）に基づくパラメータｓ，θを適用して、注目画素の偽色度合いｐ、すなわち、ＰＦ（パープルフリンジ）度合いを表わす値ｐを算出する。前述したようにパープルフリンジ度合いｐとして、本実施例の処理では以下の各尺度、すなわち、
（ａ）白とび（高輝度画素）への近さ、
（ｂ）彩度の大きさ、
（ｃ）偽色に相当する特定色相への近さ
の３種類の尺度を考慮すると説明した。最終的な偽色（ＰＦ）度合いｐの算出には、上記（ａ）〜（ｃ）の尺度が適用される。
【００８９】
上述の（ａ）〜（ｃ）の各尺度を、
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさ＝彩度評価値Ｐｓ、
（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐθ、
とする。
【００９０】
以下、各評価値の算出処理の詳細について説明する。
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐｄ、
白とび距離評価値Ｐｄは、下式（式２）によって算出する。
【数２】
2006115039.tif 000004
【００９１】
上記式において、ｄには、先にステップＳ２０４〜Ｓ２１４の処理において求められたデータ、すなわち、注目画素（ｘ，ｙ）に対応する最小距離：ｄｍｉｎを代入する。ｄｍａｘは、あらかじめ設定された距離データであり、ｄのとり得る範囲において最大値に近い値、あるいは最大値以上の値に設定する。ただし、ｄｍａｘをｄのとり得る範囲において最大値に近い値として設定した場合においてｄ＞ｄｍａｘとなった場合は、ｄｍａｘ＝ｄであると仮定して、ｄ−ｄｍａｘ＝０として処理する。例えば、前述の式（式１）によると、ｄは、０から√２までの値を取る。したがって、ｄｍａｘとしては、例えば、√２を設定すればよい。
【００９２】
このようにして、注目画素（ｘ，ｙ）から白とび画素までの距離ｄが小さいほど、距離評価値Ｐｄは１に近づき、一方、注目画素（ｘ，ｙ）から白とび画素までの距離ｄが大きいほど、距離評価値Ｐｄは０に近づく値に設定される。すなわち、距離評価値Ｐｄは０〜１の範囲で、注目画素（ｘ，ｙ）から白とび画素までの距離に応じた値に設定されることになる。
【００９３】
また、（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐθ、すなわち、パープルフリンジ色相への近さを表わす値としての色相評価値ｐθは以下の式（式３）により算出される。
【数３】
2006115039.tif 000005
【００９４】
上記式（式３）のθは、ステップＳ２１５において求めた注目画素のパープルフリンジの色相への近さθを代入する。図８を参照して説明したように、パープルフリンジの色相への近さθはパープルフリンジ色相ライン４０１と、原点と注目画素色相４０２を結ぶラインとのなす角度として算出される値である。上記式（式３）のθｍａｘは、あらかじめ指定された値であり、θのとり得る範囲において最大値に近い値、あるいは最大値以上の値に設定する。ただし、θｍａｘをθのとり得る範囲において最大値に近い値として設定した場合においてθ＞θｍａｘとなった場合は、θｍａｘ＝θであると仮定して、θ−θｍａｘ＝０として処理する。撮影に用いたレンズによりあらかじめどのような色相の偽色が発生するかはあらかじめ予想することができる。発生する可能性のある偽色の色相をすべてカバーできるように、最適な値をθｍａｘとして設定すればよい。
【００９５】
このようにして、注目画素（ｘ，ｙ）の色相が偽色としてのパープルフリンジの色相に近いほど、色相評価値ｐθは１に近づき、一方、注目画素（ｘ，ｙ）の色相が偽色としてのパープルフリンジの色相から遠いほど、色相評価値ｐθは０に近づく値に設定される。すなわち、色相評価値ｐθは０〜１の範囲で、注目画素（ｘ，ｙ）の色相とパープルフリンジの色相との差異に応じた値に設定されることになる。
【００９６】
また、（ｂ）彩度の大きさ＝彩度評価値Ｐｓは以下の式（式４）により算出される。
【数４】
2006115039.tif 000006
【００９７】
上記式（式４）のｓは、ステップＳ２１５において求めた注目画素の彩度ｓを代入する。図８を参照して説明したように、彩度ｓは原点４００から注目画素色相４０２への距離として算出される値である。上記式（式４）のｓｍａｘは、あらかじめ指定された値であり、ｓのとり得る範囲において最大値に近い値、あるいは最大値以上の値に設定する。ただし、ｓｍａｘをｓのとり得る範囲において最大値に近い値として設定した場合においてｓ＞ｓｍａｘとなった場合は、ｓｍａｘ＝ｓであると仮定して、ｓ−ｓｍａｘ＝０として処理する。
【００９８】
このようにして、注目画素（ｘ，ｙ）の彩度が大きいほど、彩度評価値Ｐｓは１に近づき、一方、注目画素（ｘ，ｙ）の彩度が小さいほど、彩度評価値Ｐｓは０に近づく値に設定される。すなわち、彩度評価値Ｐｓは０〜１の範囲で、注目画素（ｘ，ｙ）の彩度に応じた値に設定されることになる。
【００９９】
図９は、パープルフリンジの発生した画像データの画像領域と彩度の対応を示した図である。図９の縦軸は彩度を表わし、横軸は画像上での位置を表わす。図９では、画像位置の画像範囲４５１に白とび画素があり、画像範囲４５２と画像範囲４５３に渡ってパープルフリンジが発生し、画像範囲４５４には被写体の本来の色が撮像されているとする。画像範囲４５２のパープルフリンジは彩度が大きくとても目立つため、なるべく強く補正をかけるのが望ましい。一方、画像範囲４５３では、パープルフリンジから被写体本来の色への遷移部分となっているため、補正度合いとしては、強い補正度合いからだんだん弱めて補正しないレベルまで、連続的に変化させるのが望ましい。上記式（式４）で算出される彩度評価値Ｐｓは、このような彩度に応じた最適な補正のレベルに対応させることが好ましい。この設定とするためには、上記式（式４）で適用する固定値としてのｓｍａｘを、図９に示すように、例えば、画像範囲４５３の最大彩度付近の彩度として設定すればよい。
【０１００】
この設定とすることで、図９に示す画像領域４５２では、上記式（式４）によって算出される彩度評価値Ｐｓは１となり、画像領域４５３では、上記式（式４）によって算出される彩度評価値Ｐｓは、画像領域４５２の接点では１となり、画像領域４５４に近づくに従って、彩度評価値Ｐｓが減少し、徐々に０に近づく値に設定されることになる。
【０１０１】
図５のフローチャートに戻り画像処理シーケンスの説明を続ける。ステップＳ２１６においては、上述した３つの評価値、すなわち、
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさ＝彩度評価値Ｐｓ、
（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐθ、
に基づいて、下式（式５）に従って、偽色（ＰＦ）度合いｐを算出する。
【数５】
2006115039.tif 000007
【０１０２】
上記式（式５）は、３つの評価値、すなわち、白とび距離評価値Ｐｄと、色相評価値Ｐθと、彩度評価値Ｐｓとの乗算値に基づいて偽色（ＰＦ）度合いｐ、すなわち、偽色である可能性を示すパラメータである偽色（ＰＦ）度合いｐを算出する式である。
【０１０３】
次にステップＳ２１７において、注目画素の色情報を補正する処理を行う。ステップＳ２１７の詳細処理について、図１０のフローチャートを参照して説明する。本実施例においては、注目画素の周囲の画素の色情報から求めた色情報補間値を、偽色（ＰＦ）度合いｐに応じてオリジナルの色情報Ｃ（ｘ，ｙ）と案分することにより、補正を行う。また、補間値としては、注目画素とその周辺画素の重み付き平均を用いる。補間値算出範囲の色情報の重み付き平均を補間値とすることにより、パープルフリンジ等の偽色を完全に除去することはできないが、特に彩度が高く非常に目立つ部分などを、目立たなくさせることにより、パープルフリンジ等の偽色を軽減する処理を施すことができる。
【０１０４】
図１０に示すフローの各ステップの処理について説明する。最初にステップＳ３０１において、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）を算出する。補間値算出範囲は、前述の白とび探索範囲と同様に、光学系の種類や設定、注目画素の位置基づいたデータを元に、注目画素が白とびである場合にどの範囲にパープルフリンジが発生するかを表わした範囲を補間値算出範囲として算出する。ここでは、注目画素がパープルフリンジである場合の補正を行うが、その場合本来の被写体の色が残っている可能性のある範囲として、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）を用い、その範囲の画素の色情報の重み付き平均を求める。
【０１０５】
補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の具体的な設定処理について、図１１を参照して説明する。図１１は、先に説明した図６に対応する図であり、補正対象となる画像データ５１０において注目画素が画素５１１であるとする。仮に画素５１１がパープルフリンジ等の偽色画素である場合、この偽色画素を周囲の画素の画素値に基づいて補正することになる。画素５１１がパープルフリンジ等の偽色画素である場合、図６を参照して説明したように、白とび探索範囲５２０の中に白とび画素が存在する。白とび探索範囲５２０は、図６における画素領域２３０に対応し、画素領域５２１と、画素領域５２２を含む矩形領域として設定される白とび探索範囲５２０である。
【０１０６】
画素５１１がパープルフリンジであった場合は、画素５１１の周囲の画素を用いて補間処理、すなわち、画素５１１の周囲の画素の画素値を適用して画素５１１の画素値を決定する処理を行なう。その際、補間処理に適用する対象となる画素、すなわち参照する画素は、なるべく偽色（パープルフリンジ）画素ではない方が望ましい。画素５１１がパープルフリンジであった場合、例えば、白とび探索範囲５２０内に検出された白とび画素５３１と、注目画素５１１との間に存在する画素はすべてパープルフリンジになるはずである。ここで白とび画素５３１は、図４のフローにおけるステップＳ２０４〜Ｓ２１４の処理において注目画素５１１からの最小距離ｄｍｉｎを持つ白とび画素５３１であるとする。この場合、パーブルフリンジである画素５１１は、白とび画素５３１の直接的影響によってパープルフリンジとなっており、より白とび画素５３１に近い画素は、すべてパープルフリンジになるはずである。
【０１０７】
この様な場合、注目画素５１１から白とび画素５３１がある方向の反対側に進むにつれて被写体本来の色に近づくといえる。したがって、補間値算出範囲としては、例えば画素５１１から白とび画素５３１へ向かう方向の反対側の領域を設定することで、より正常な画素値を多く含む領域を設定することができると判断される。このような場合は、例えば図１１に示すように補間値算出範囲５４１を設定すればよい。
【０１０８】
図１１に示す例では、注目画素５１１の画素値は、補間値算出範囲５４１の構成画素の画素値に基づいて算出される値によって決定されることになる。このように、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の設定の際には、注目画素５１１からの最小距離ｄｍｉｎを持つ白とび画素の方向から遠い方向の画素を多く含む領域設定を行うことで、より効果的な補間処理が可能となる。
【０１０９】
図１０のフローに戻り、補間処理シーケンスについての説明を続ける。ステップＳ３０２において、初期設定として、色情報の補間値を保存する変数（ベクトル値）Ｃｔｍｐをゼロベクトルに、重みの総和を保存する変数（スカラー値）Ｗｔｏｔａｌを０にする。ステップＳ３０３，Ｓ３０４においては、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）から選択する各画素の座標（ｓ，ｔ）を表わす変数ｓ，ｔの初期設定処理を行なう。初期的には、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の１つの頂点に対応する画素座標（ｓ，ｔ）を選択し、それぞれｓ＝ｘ２、ｔ＝ｙ２に設定する。
【０１１０】
次にステップＳ３０５において、選択画素（ｓ，ｔ）に対して適用する重みｗ（ｘ，ｙ，ｓ，ｔ）を算出し、算出した重みｗ（ｘ，ｙ，ｓ，ｔ）を、重み総和保存変数（スカラー値）Ｗｔｏｔａｌに加算し、重み総和保存変数（スカラー値）Ｗｔｏｔａｌを更新し、さらに、選択画素（ｓ，ｔ）の色情報Ｃ（ｓ，ｔ）に、重みｗ（ｘ，ｙ，ｓ，ｔ）を乗じて、色情報補間値保存変数Ｃｔｍｐに加算して、色情報補間値保存変数Ｃｔｍｐを更新する処理を行う。すなわち、
Ｗｔｏｔａｌ＝Ｗｔｏｔａｌ＋ｗ（ｘ，ｙ，ｓ，ｔ）
Ｃｔｍｐ＝Ｃｔｍｐ＋ｗ（ｘ，ｙ，ｓ，ｔ）×Ｃ（ｓ，ｔ）
これらの算出式により、処理対象画素（ｓ，ｔ）に対する重みｗ（ｘ，ｙ，ｓ，ｔ）を適用して、色情報補間値保存変数（ベクトル値）Ｃｔｍｐと、重み総和保存変数（スカラー値）Ｗｔｏｔａｌとの更新を行なう。
【０１１１】
なお、最も単純な処理例では、すべての選択画素（ｓ，ｔ）の重みｗ（ｘ，ｙ，ｓ，ｔ）を１とする設定が適用できる。すべての画素（ｓ，ｔ）において重みｗ（ｘ，ｙ，ｓ，ｔ）＝１とする設定では、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）から選択されるすべての参照画素の平均値を、注目画素（ｘ，ｙ）の画素値決定に適用する補間処理となる。
【０１１２】
この他、重みｗ（ｘ，ｙ，ｓ，ｔ）の設定態様としては、パープルフリンジ画素を最適に補間するための重みｗの設定例として、注目画素（ｘ，ｙ）と座標（ｓ，ｔ）の距離に応じた値を重みｗとして用いる構成としてもよい。さらに、画素（ｓ，ｔ）の色情報Ｃ（ｓ，ｔ）の色相がパープルフリンジ色相から離れているほど重みを大きな値にする設定とするなど、入力画像の色情報を考慮する方法を採用してもよい。
【０１１３】
ステップＳ３０５における色情報補間値保存変数（ベクトル値）Ｃｔｍｐと、重み総和保存変数（スカラー値）Ｗｔｏｔａｌとの更新処理の後、ステップＳ３０６において、選択画素の座標（ｓ，ｔ）のｘ成分値：ｓを１増加させ、ステップＳ３０７においてｓが、ｓ＞ｘ３、すなわち、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）を超えるか否かを判定しＹｅｓならＳ３０８へ進みＮｏならＳ３０５へ戻る。ステップＳ３０８では、選択座標（ｓ，ｔ）のｙ成分値：ｔを１増加させ、ステップＳ３０９においてｔが、ｔ＞ｙ３、すなわち、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）を超えるか否かを判定しＹｅｓならＳ３１０へ進みＮｏならＳ３０４へ戻る。これらの処理は、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）において、選択画素（ｓ，ｔ）を１つずつ移動させる処理であり、ステップＳ３０９がＹｅｓと判定されると、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の全画素についての処理が終了し、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の全画素に基づいて算出された最終的な色情報補間値保存変数Ｃｔｍｐと、重み総和保存変数Ｗｔｏｔａｌとが決定する。
【０１１４】
最後に、ステップＳ３１０において、これらの補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の全画素に基づいて算出された最終的な色情報補間値保存変数Ｃｔｍｐと、重み総和保存変数Ｗｔｏｔａｌとに基づいて、注目画素（ｘ，ｙ）の補正色としての補正色情報Ｃ'（ｘ，ｙ）を、下式（式６）、すなわち、
【数６】
2006115039.tif 000008
上記式（式６）に基づいて決定する。
【０１１５】
上記式（式６）において、ｐは、先に説明した図５のステップＳ２１６において算出した偽色（ＰＦ）度合いｐである。すなわち、
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさ＝彩度評価値Ｐｓ、
（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐθ、
（ａ）〜（ｃ）の乗算値として、前述の式（式５）に基づいて算出された注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐである。
【０１１６】
Ｃｔｍｐ、Ｗｔｏｔａｌは、前述のステップＳ３０９までの処理において求めた補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の全画素に基づいて算出された最終的な色情報補間値保存変数Ｃｔｍｐと、重み総和保存変数Ｗｔｏｔａｌであり、Ｃ（ｘ，ｙ）は、補間処理前の注目画素（ｘ，ｙ）の色情報であり、（Ｃｔｍｐ／Ｗｔｏｔａｌ）は、注目画素（ｘ，ｙ）の近傍領域に設定された補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の全画素に基づいて算出された補間値に相当する。
【０１１７】
上記式は、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐの値が高い（１に近い）ほど、注目画素（ｘ，ｙ）の補間処理前の元画素の画素値に相当する色情報Ｃ（ｘ，ｙ）の影響が小さく、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の構成画素の色情報から算出される補間値の影響度が高くなる調整処理によって、注目画素（ｘ，ｙ）の補正画素値としての補正色情報Ｃ'（ｘ，ｙ）が設定されることを示す。上記式において、［ｐ×Ｃｔｍｐ／Ｗｔｏｔａｌ］は、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の構成画素の色情報に基づいて決定される値である。
【０１１８】
一方、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐの値が小さい（０に近い）ほど、注目画素（ｘ，ｙ）の補間処理前の元画素値に対応する色情報Ｃ（ｘ，ｙ）の影響が大きく、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の構成画素の色情報に基づく補間値の影響度が小さくなる調整処理によって注目画素（ｘ，ｙ）の補正色情報Ｃ'（ｘ，ｙ）が設定される。
【０１１９】
以上の処理が、図５のステップＳ２１７の処理であり、この処理によって１つの注目画素に対する画素値補間処理、すなわち、注目画素の元画素値と、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の構成画素の色情報に基づく補間値とを適用し、注目画素の偽色度合いｐに応じて元画素値と補間値との寄与率を変更して注目画素の補正画素値を算出する処理が終了する。
【０１２０】
上述したように、本発明処理の画像処理では、偽色である可能性を示すパラメータとしての注目画素の偽色度合いｐを、（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθを適用して算出し、上記式（式６）によって偽色度合いｐを適用して補正画素値を算出する構成としたことにより、パープルフリンジ等の偽色の可能性の高い画素については周囲画素に基づく補間値の寄与率を高め、偽色の可能性の低い画素については、元画素値の寄与率を高くした補正が実行されることになり、破綻の無い高品質な画像を取得することが可能となる。
【０１２１】
なお、本処理例では、パープルフリンジ等の偽色画素を補正する方法の一例として、図１０のフローチャートに従った処理例を挙げたが、本方法に限らず、他にも、パープルフリンジ度合いｐを用いて彩度を削減する方法もある。色空間として例えばＹＣｂＣｒを用いる場合、この方法は、以下の式（式７）で示す算出処理によって実現される。
Ｃｂ'＝（１．０−ｐ）＊（Ｃｂ−１２８）＋１２８
Ｃｒ'＝（１．０−ｐ）＊（Ｃｒ−１２８）＋１２８
・・・（式７）
【０１２２】
上記式（式７）において、Ｃｂ，Ｃｒは、補正対象となる注目画素の元の色を示し、ＹＣｂＣｒ色空間における値（Ｃｂ，Ｃｒ）である。これらの値は０〜１２８の値を持つ。これらの値に、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐを適用して、補正後の注目画素の色情報Ｃｂ'，Ｃｒ'を決定する。上記式においても、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐが高いほど、注目画素の元の色データとしての（Ｃｂ，Ｃｒ）の影響の少ない補正がなされることになる。
【０１２３】
また、上述の式（式７）で算出される彩度を削減した画素に対して、図１０のフローに示すステップＳ３０２〜Ｓ３０９の処理を実行して、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）の全画素に基づく色情報補間値保存変数Ｃｔｍｐと、重み総和保存変数Ｗｔｏｔａｌを算出し、この値を用いて、ステップＳ３１０の処理、すなわち、前述の式（式６）を適用して、注目画素の補正色情報Ｃ'（ｘ，ｙ）を算出する構成としてもよい。この補正処理によっても、効果的な偽色（パープルフリンジ）軽減が実現される。
【０１２４】
ほかにも、パープルフリンジ等の偽色を補正する方法として、前述の式（式５）で算出した偽色（ＰＦ）度合いｐを基にして、そのカーネルサイズを設定したローパスフィルタを施す方法も適用可能である。例えば、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐが低い場合は、注目画素（ｘ，ｙ）の比較的近くにある画素の画素値のみを選択して、これらの画素値を適用した補間処理を実行し、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐが高い場合は、注目画素（ｘ，ｙ）の近傍のみではなく、より広い範囲の周辺画素を参照画素として選択して、これらの広範囲の画素の画素値を適用した補間処理を実行する構成としてもよい。
【０１２５】
すなわち、前述の式（式５）で算出した偽色（ＰＦ）度合いｐに基づいて、フィルタリング態様を変更したローパスフィルタを適用して修正された補間値、すなわち注目画素近傍の画素値に基づいて生成される補間値を修正して修正補間値を適用して注目画素の補正画素値を算出する構成としてもよい。
【０１２６】
また、前述の式（式５）で算出した偽色（ＰＦ）度合いｐをそのまま使うと補正結果が安定しない場合は、偽色（ＰＦ）度合いｐ、または、白とび距離評価値Ｐｄ、彩度評価値Ｐｓ、色相評価値Ｐθ、それぞれを入力として、各値に対応する最適な補正態様を設定したルックアップテーブルを用意し、ルックアップテーブルに基づく補正処理を実行することで、効果的にパープルフリンジが削減されるようパープルフリンジ度合いを修正する構成としてもよい。
【０１２７】
図５のフローに戻り画像処理のシーケンスについての説明を続ける。ステップＳ２１７において、図１０を参照して説明した処理に従って、１つの注目画素（ｘ，ｙ）の補正された色情報Ｃ'（ｘ，ｙ）、すなわち、上述の処理によって注目画素の周囲画素の画素値を適用した補間画素値が決定される。１つの注目画素（ｘ，ｙ）の補正画素値が決定すると、次にステップＳ２１８において、注目画素の座標（ｘ，ｙ）のｘ成分値を１増加させ、ステップＳ２１９においてｘが、ｘ＞ｗ−１、すなわち、画像サイズの幅ｗに達したか否かを判定しＹｅｓならＳ２２０へ進みＮｏならＳ２０３へ戻る。ステップＳ２２０では、注目画素（ｘ，ｙ）のｙ成分値を１増加させ、ステップＳ２２１においてｙが、ｙ＞ｈ−１、すなわち、画像サイズの高さｈに達したか否かを判定しＹｅｓなら処理を終了し、ＮｏならＳ２０２へ戻る。これらの処理は、処理対象画像（幅ｗ画素、高さｈ画素）の画像データにおいて、注目画素（ｘ，ｙ）を１つずつ移動させる処理であり、ステップＳ２２１がＹｅｓと判定されると、処理対象画像（幅ｗ画素、高さｈ画素）の全画素についての処理が終了し、すべての画素を注目画素として設定した上で補正した画素値が決定される。
【０１２８】
図１２に、上述した処理を実行する本発明の画像処理装置におけるデジタル信号処理部（ＤＳＰ）（図１のＤＳＰ１０６に相当）の機能構成を示すブロック図を示す。図１２のブロック図を参照して、上述の説明において参照したフローチャートと対比しながらデジタル信号処理部（ＤＳＰ）１０６の実行する処理について説明する。
【０１２９】
デジタル信号処理部（ＤＳＰ）１０６は、機能的には、図１２に示すように、白とび距離評価値Ｐｄ算出部５５１、彩度評価値Ｐｓ算出部５５２、色相評価値Ｐθ算出部５５３、偽色（ＰＦ）度合いｐ算出部５５４、補間値［Ｃｔｍｐ／Ｗｔｏｔａｌ］算出部５５５、出力色［Ｃ'（ｘ，ｙ）］算出部５５６を有する。
【０１３０】
デジタル信号処理部（ＤＳＰ）１０６は、入力画像フレームメモリ５７１から処理対象画像フレームを入力する。なお、入力画像は、ここでは、フレームメモリ５７１からの入力として示すが、フレームメモリを介さず、撮影画像データをデジタル信号処理部（ＤＳＰ）１０６に直接入力して処理する構成としてもよい。
【０１３１】
デジタル信号処理部（ＤＳＰ）１０６は、まず、入力フレームを構成する各画素を１つずつ注目画素（ｘ，ｙ）として選択し、先に図４、図５のフローチャートを参照して説明した処理に従って、注目画素（ｘ，ｙ）に対応する以下の評価値、すなわち、
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさ＝彩度評価値Ｐｓ、
（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐθ、
をそれぞれ白とび距離評価値Ｐｄ算出部５５１、彩度評価値Ｐｓ算出部５５２、色相評価値Ｐθ算出部５５３において算出する。白とび距離評価値Ｐｄ算出部５５１における白とび距離評価値Ｐｄ算出処理は、図４、図５のフローにおけるステップＳ２０４〜Ｓ２１４の処理によって実行される処理であり、前述の式（式２）によって算出される。
【０１３２】
彩度評価値Ｐｓ算出部５５２、色相評価値Ｐθ算出部５５３における彩度評価値Ｐｓと、色相評価値Ｐθの算出はステップＳ２１５の処理、すなわち、図８を参照して説明したｓおよびθの値に基づいて算出され、前述の式（式３）によって色相評価値Ｐθが算出され、前述の式（式４）によって彩度評価値Ｐｓが算出される。
【０１３３】
偽色（ＰＦ）度合いｐ算出部５５４は、白とび距離評価値Ｐｄ算出部５５１、彩度評価値Ｐｓ算出部５５２、色相評価値Ｐθ算出部５５３において算出された各評価値に基づいて、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐを算出する。偽色（ＰＦ）度合いｐは、前述の式（式５）に従って算出される。
【０１３４】
補間値［Ｃｔｍｐ／Ｗｔｏｔａｌ］算出部５５５と、出力色［Ｃ'（ｘ，ｙ）］算出部５５６の処理は、図５のフローにおけるステップＳ２１７の処理、すなわち、図１０のフローに従った処理を実行する。補間値［Ｃｔｍｐ／Ｗｔｏｔａｌ］算出部５５５では、注目画素（ｘ，ｙ）の周囲に、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）を設定し、この範囲の構成画素の色情報に基づいて補間処理パラメータとしての重み総和保存変数Ｗｔｏｔａｌと、色情報補間値保存変数Ｃｔｍｐとを算出し、補間値［Ｃｔｍｐ／Ｗｔｏｔａｌ］を算出する。この処理は、図１０のフローにおけるステップＳ３０１〜Ｓ３０９の処理に相当する。
【０１３５】
出力色［Ｃ'（ｘ，ｙ）］算出部５５６は、図１０のフローにおけるステップＳ３１０の処理を実行して、注目画素の最終的な補正画素値情報としての色情報Ｃ'（ｘ，ｙ）を算出する。色情報Ｃ'（ｘ，ｙ）の算出は、前述の式（式６）に従って実行される。入力画像フレームを構成する画素に対する補正画素値が決定された画像データは、出力画像フレームメモリ５７２に格納される。
【０１３６】
なお、出力色［Ｃ'（ｘ，ｙ）］算出部５５６は、例えば、前述の式（式５）で算出した偽色（ＰＦ）度合いｐを基にして、そのカーネルサイズを設定したローパスフィルタを適用して求められる補間値を適用した処理を実行する構成としてもよい。すなわち、偽色度合いｐに基づいてフィルタリング態様を設定したローパスフィルタを適用して生成した補間値に基づいて注目画素の補正画素値を算出する構成としてもよい。
【０１３７】
上述した本発明の画素値補正処理を適用することにより、カメラで撮影した画像に起こる色収差によるパープルフリンジ等の偽色に対する適正な補正が可能となり、高品質な画像データの生成、出力を実現することができる。特に、ユーザのアシスト、すなわち画像に応じた最適なパラメータの設定などの処理を行なうことなく、すべてを自動処理として行なった場合でも、破綻の無い画像を生成することが可能となる。本発明の画像処理を適用することにより、撮影画像を、より自然に見えるように補正をすることが可能である。従って、撮影時にパープルフリンジが起こらないようにレンズの絞りや焦点距離などに注意を払う必要がなく、より高い自由度で撮影を行なうことが可能となる。
【０１３８】
なお、先に、図２、図３を参照して説明した穴埋め補間処理と、図４以下を参照して説明した偽色（ＰＦ）度合いｐを適用した補正処理との両者を実行して、それぞれの補正結果をブレンドして最終的な補正画素値を決定する構成としてもよい。
【０１３９】
図１３に、穴埋め補間処理と、偽色（ＰＦ）度合いｐを適用した補正処理をそれぞれ実行し、それぞれの結果として得られるデータをブレンドして最終的な補正画素値を得る処理の手順を示すフローを示す。
【０１４０】
ステップＳ４０１において、補正対象の画像フレームデータの各画素を注目画素（ｘ，ｙ）として設定し、先に説明した図３のフローに従った処理を実行して穴埋め補間処理を実行する。すなわち、
補正対象の入力画像データ中から白とび部分を検出する白とび領域検出処理、
「白とび」の周囲において偽色、すなわちパープルフリンジが存在する可能性のある画像中の領域を偽色発生部検索領域として設定する偽色画素検出領域設定（Ｄｉｌａｔｅ）処理、
検索領域内にある紫色画素を検出する偽色（ＰＦ）画素検出処理、
検出された紫色の画素の色成分を周囲の画素の画素値に基づいて補間する穴埋め補間処理による偽色画素補正処理、
自然な結果を得るためのフィルタリング処理として実行される色ぼかし処理（フィルタリング処理）
上記各処理によって、注目画素の第１の補正画素値Ａ（ｘ，ｙ）を取得する。
【０１４１】
次にステップＳ４０２において、図４以下を参照して説明した偽色（ＰＦ）度合いｐを適用した補正処理によって注目画素（ｘ，ｙ）の第２の補正画素値Ｂ（ｘ，ｙ）を算出する。すなわち、
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐｄ、
（ｂ）彩度の大きさ＝彩度評価値Ｐｓ、
（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐθ、
に基づいて、式（式５）に従って偽色（ＰＦ）度合いｐを算出し、さらに、注目画素（ｘ，ｙ）の周囲に、補間値算出範囲（ｘ２，ｙ２，ｘ３，ｙ３）を設定し、この範囲の構成画素の色情報に基づいて補間処理パラメータとしての重み総和保存変数Ｗｔｏｔａｌと、色情報補間値保存変数Ｃｔｍｐとを算出し、注目画素の補正画素値Ｂ（ｘ，ｙ）を前述の式（式６）に従って算出する。
【０１４２】
ステップＳ４０３では、穴埋め補間処理によって算出した第１の補正画素値Ａ（ｘ，ｙ）と、偽色（ＰＦ）度合いｐを適用した補正処理によって取得した第２の補正画素値Ｂ（ｘ，ｙ）とのブレンド処理によって、注目画素（ｘ，ｙ）の最終的な補正画素値Ｃ"（ｘ，ｙ）を算出する処理を実行する。
【０１４３】
このブレンド処理は、所定のブレンド比率ｋを適用して、例えば、以下に示す式、すなわち、
Ｃ"（ｘ，ｙ）＝ｋ×Ａ（ｘ，ｙ）＋（１−ｋ）×Ｂ（ｘ，ｙ）
に従って算出する。ブレンド比率ｋは０〜１の範囲で決定する。ブレンド比率をどのような値に設定するかは、それぞれの処理の特徴を踏まえて決定する。例えばより大きな補正を望む場合は、穴埋め法の処理結果の反映比率を大きくする設定とし、また、なるべく破綻のない結果画像を取得したい場合は、偽色（ＰＦ）度合いｐを適用した補正結果データをより反映するようなブレンド比率ｋの設定とする。
【０１４４】
図１４に穴埋め補間処理と、偽色（ＰＦ）度合いｐを適用した補正処理をそれぞれ実行し、それぞれの結果として得られるデータをブレンドして最終的な補正画素値を得る処理を実行する画像処理装置におけるデジタル信号処理部（ＤＳＰ）（図１のＤＳＰ１０６に相当）の機能構成を示すブロック図を示す。図１４のブロック図において、先に説明した図１２のブロック図と同様の構成については同一の参照符号を示している。
【０１４５】
図１４に示すように、デジタル信号処理部（ＤＳＰ）１０６は、図１２を参照して説明したと同様の構成として、白とび距離評価値Ｐｄ算出部５５１、彩度評価値Ｐｓ算出部５５２、色相評価値Ｐθ算出部５５３、偽色（ＰＦ）度合いｐ算出部５５４、補間値［Ｃｔｍｐ／Ｗｔｏｔａｌ］算出部５５５を有する。さらに、補正画素値算出部６０２は、図１２に示す出力色算出部５５６と同様の処理によって、偽色（ＰＦ）度合いｐを適用した補正結果データとしての第２の補正画素値Ｂ（ｘ，ｙ）を算出する。
【０１４６】
穴埋め補間処理部６０１は、図３を参照して説明したフローに従った穴埋め補間処理を実行して第１の補正画素値Ａ（ｘ，ｙ）を算出する。
【０１４７】
ブレンド処理部６０３は、穴埋め補間処理によって算出した第１の補正画素値Ａ（ｘ，ｙ）と、偽色（ＰＦ）度合いｐを適用した補正処理によって取得した第２の補正画素値Ｂ（ｘ，ｙ）とのブレンド処理によって、注目画素（ｘ，ｙ）の最終的な補正画素値Ｃ"（ｘ，ｙ）を、所定のブレンド比率ｋを適用し、例えば、下式、すなわち、
Ｃ"（ｘ，ｙ）＝ｋ×Ａ（ｘ，ｙ）＋（１−ｋ）×Ｂ（ｘ，ｙ）
に従って算出する。入力画像フレームを構成する画素に対する最終補正画素値Ｃ（ｘ，ｙ）が決定された画像データは、出力画像フレームメモリ５７２に格納される。
【０１４８】
上述したブレンド処理を適用することにより、穴埋め補間処理と、偽色（ＰＦ）度合いｐを適用した補正処理とのそれぞれの利点を融合した調和された画素値補正が可能となり、パープルフリンジ等の偽色が軽減されるとともに破綻することのない補正画像を取得することが可能となる。結果として、カメラで撮影した画像に起こる色収差によるパープルフリンジ等の偽色に対する適正な補正が可能となり、高品質な画像データの生成、出力を実現することができる。
【０１４９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１５０】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１５１】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１５２】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１５４】
以上、説明したように、本発明の構成によれば、画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出し、注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出し、注目画素の偽色度合いｐに応じて元画素値と前記補間値との寄与率を変更して注目画素の補正画素値を算出する構成としたので、カメラで撮影した画像に起こる色収差によるパープルフリンジ等の偽色に対する適正な補正が可能となり、高品質な画像データの生成、出力を実現することができる。特に、ユーザのアシスト、すなわち画像に応じた最適なパラメータの設定などの処理を行なうことなく、すべてを自動処理として行なった場合でも、破綻の無い画像を生成することが可能となる。本発明の画像処理を適用することにより、撮影画像を、より自然に見えるように補正をすることが可能である。従って、撮影時にパープルフリンジが起こらないようにレンズの絞りや焦点距離などに注意を払う必要がなく、より高い自由度で撮影を行なうことが可能となる。
【０１５５】
さらに、本発明の構成によれば、偽色である可能性を示すパラメータとしての注目画素の偽色度合いｐを、（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐｄ、（ｂ）彩度の大きさを示す彩度評価値Ｐｓ、（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐθ、を適用して算出する構成としたので、パープルフリンジ等の偽色の可能性の高い画素については周囲画素に基づく補間値の寄与率を高め、偽色の可能性の低い画素については、元画素値の寄与率を高くした補正が実行されることになり、破綻の無い高品質な画像を取得することが可能となる。
【図面の簡単な説明】
【０１５６】
【図１】本発明の画像処理装置の構成を示す図である。
【図２】穴埋め補間処理の処理概要について説明する図である。
【図３】穴埋め補間処理の処理シーケンスを説明するフローチャートである。
【図４】本発明の画像処理としての偽色度合いを適用した補正処理のシーケンスを説明するフロー図（その１）である。
【図５】本発明の画像処理としての偽色度合いを適用した補正処理のシーケンスを説明するフロー図（その２）である。
【図６】白とび画素の探索領域の設定構成について説明する図である。
【図７】白とび画素の探索領域の設定構成および白とび距離評価値Ｐｄ算出に適用する距離の算出処理について説明する図である。
【図８】注目画素の彩度評価値Ｐｓ、色相評価値Ｐθ、の算出に必用なパラメータの求め方の例について説明する図である。
【図９】彩度評価値Ｐｓの算出に適用する最大彩度Ｓｍａｘの適切な設定例について説明する図である。
【図１０】本発明の画像処理において実行する偽色度合いを適用した補正画素値の算出処理手順を説明するフロー図である。
【図１１】偽色度合いを適用した補正画素値の算出処理の際に適用する補間値算出範囲の設定処理例について説明する図である。
【図１２】本発明の画像処理装置において偽色補正を実行するデジタル信号処理部の機能構成を説明するブロック図である。
【図１３】穴埋め補間処理と、偽色度合いを適用した補正画素値の算出の両処理を実行してブレンド処理を実行する処理例の手順を説明するフロー図である。
【図１４】穴埋め補間処理と、偽色度合いを適用した補正画素値の算出の両処理を実行してブレンド処理を実行する処理を実行するデジタル信号処理部の機能構成を説明するブロック図である。
【符号の説明】
【０１５７】
１０１  レンズ
１０２  絞り
１０３  固体撮像素子
１０４  相関２重サンプリング回路
１０５  Ａ／Ｄコンバータ
１０６  ＤＳＰブロック
１０７  タイミングジェネレータ
１０８  Ｄ／Ａコンバータ
１０９  ビデオエンコーダ
１１０  ビデオモニタ
１１１  コーデック（ＣＯＤＥＣ）
１１２  メモリ
１１３  ＣＰＵ
１１４  入力デバイス
１１５  フラッシュ制御装置
１１６  フラッシュ発光装置
１５１  白とび画素
１５２  偽色画素
１５３  その他の画素
１５４  補間済み画素
２１０  画像データ
２１１  画素
２１２，２１３  画素領域
２２２，２２３  画素領域
２３０  画素領域
２５０  画像データ中心画素
３００  注目画素
３０１  白とび探索範囲
３０２，３０３  画素
３１１，３１２  画素領域
３２１〜３２４  画素
４００  原点
４０１  パープルフリンジ色相ライン
４０２  注目画素色相
４５１〜４５４  画像範囲
５１０  画像データ
５１１  画素
５２０  白とび探索範囲
５２１，５２２  画素領域
５３１  白とび画素
５５１  白とび距離評価値Ｐｄ算出部
５５２  彩度評価値Ｐｓ算出部
５５３  色相評価値Ｐθ算出部
５５４  偽色（ＰＦ）度合いｐ算出部
５５５  補間値［Ｃｔｍｐ／Ｗｔｏｔａｌ］算出部
５５６  出力色［Ｃ'（ｘ，ｙ）］算出部
５７１  入力画像フレームメモリ
５７２  出力画像フレームメモリ
６０１  穴埋め補間処理部
６０２  補正画素値算出部
６０３  ブレンド処理部
【図１】
2006115039.tif 000009
【図２】
2006115039.tif 000010
【図３】
2006115039.tif 000011
【図４】
2006115039.tif 000012
【図５】
2006115039.tif 000013
【図６】
2006115039.tif 000014
【図７】
2006115039.tif 000015
【図８】
2006115039.tif 000016
【図９】
2006115039.tif 000017
【図１０】
2006115039.tif 000018
【図１１】
2006115039.tif 000019
【図１２】
2006115039.tif 000020
【図１３】
2006115039.tif 000021
【図１４】
2006115039.tif 000022