(57)【要約】【課題】誤補正を抑制して良好な画像を取得可能にすることを課題とする。【解決手段】画像処理装置は、画像の不良画素に対し、不良補正のための所定の補正処理を行う補正手段（１０４）と、補正処理が行われる前の画像信号から生成した第１の色差信号と、補正処理が行われた後の画像信号から生成した第２の色差信号とに基づいて、不良画素について、補正処理が行われる前の画像信号と補正処理が行なわれた後の画像信号との割合を調整して出力する調整手段（１０５）と、を有する。【選択図】図１
2019186818.tif 000002
【特許請求の範囲】
【請求項１】
画像の不良画素に対し、不良補正のための所定の補正処理を行う補正手段と、
前記補正処理が行われる前の画像信号から第１の色差信号を生成する第１の生成手段と、
前記補正処理が行われた後の画像信号から第２の色差信号を生成する第２の生成手段と、
前記第１の色差信号および前記第２の色差信号に基づき、前記不良画素について、前記補正処理が行われる前の画像信号と前記補正処理が行なわれた後の画像信号との割合を調整して出力する調整手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記調整手段は、前記第１の色差信号の絶対値および前記第２の色差信号の絶対値の変化に応じて、前記補正処理が行われる前の画像信号の割合を増やすような前記調整を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、前記絶対値の変化を表す量として、前記第１の色差信号の絶対値と前記第２の色差信号の絶対値との差分を求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記調整手段は、前記絶対値の差分が所定の第１の差分閾値未満である場合には前記補正処理が行われる前の画像信号の割合を０に設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記調整手段は、前記絶対値の差分が前記第１の差分閾値より大きい第２の差分閾値よりも大きい場合には前記補正処理が行われる前の画像信号の割合を１に設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記調整手段は、前記絶対値の差分が、前記第１の差分閾値以上で前記第２の差分閾値以下である場合、前記補正処理が行われる前の画像信号の割合を、前記絶対値の差分に応じて０から１の間に設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記差分閾値は、前記画像を撮像した撮像素子に関する要因により生ずるノイズ量に基づいて決定された閾値であることを特徴とする請求項４から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記不良画素の周辺画素の画像信号から色信号を生成する色信号生成手段と、
前記不良画素の周辺画素の画像信号から信号レベルの相関を表す値を生成する相関生成手段と、
前記色信号および前記相関を表す値に基づいて、前記補正処理が行われた後の画像信号と前記調整手段による調整後の画像信号とを合成する際の割合を設定する設定手段と、
前記設定された割合を基に、前記不良画素について、前記補正処理が行われた後の画像信号と前記調整手段による調整後の画像信号とを合成する合成手段と、
をさらに有することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記設定手段は、前記色信号の値が所定の色閾値以上でかつ前記相関を表す値が所定の相関閾値以上である場合、前記補正処理が行われた後の画像信号に対する前記合成の割合を増やすように設定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記色信号生成手段は、前記色信号として彩度信号を生成し、
前記設定手段は、前記彩度信号の値が所定の第１の彩度閾値未満である場合には前記調整後の画像信号に対する前記合成の割合を１に設定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記設定手段は、前記彩度信号の値が前記第１の彩度閾値より大きい所定の第２の彩度閾値よりも大きい場合には前記調整後の画像信号に対する前記合成の割合を０に設定することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記設定手段は、前記彩度信号の値が前記第１の彩度閾値以上で前記第２の彩度閾値以下である場合、前記調整後の画像信号に対する前記合成の割合を、前記彩度信号の値に応じて０から１の間に設定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記相関生成手段は、前記相関を表す値として前記周辺画素の最大値と最小値との比を求め、
前記設定手段は、前記比の値が所定の第１の比閾値未満である場合には前記調整後の画像信号に対する前記合成の割合を０に設定することを特徴とする請求項９から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記設定手段は、前記比の値が前記第１の比閾値より大きい所定の第２の比閾値よりも大きい場合には前記調整後の画像信号に対する前記合成の割合を１に設定することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記設定手段は、前記比の値が前記第１の比閾値以上で前記第２の比閾値以下である場合、前記調整後の画像信号に対する前記合成の割合を、前記比の値に応じて０から１の間に設定することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記設定手段は、前記設定した合成の割合の最小値を、前記合成手段での前記合成の際に用いる割合とすることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記色閾値および前記相関閾値は、前記画像を撮像した撮像素子に関する要因により生ずるノイズ量に基づいて決定された閾値であることを特徴とする請求項９から１６のいずれか１項に記載の画像処理装置。
【請求項１８】
画像処理装置が実行する画像処理方法であって、
画像の不良画素に対し、不良補正のための所定の補正処理を行う補正工程と、
前記補正処理が行われる前の画像信号から第１の色差信号を生成する第１の生成工程と、
前記補正処理が行われた後の画像信号から第２の色差信号を生成する第２の生成工程と、
前記第１の色差信号および前記第２の色差信号に基づき、前記不良画素について、前記補正処理が行われる前の画像信号と前記補正処理が行なわれた後の画像信号との割合を調整して出力する調整工程と、
を有することを特徴とする画像処理方法。
【請求項１９】
コンピュータを、請求項１から１７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により撮像された画像の補正技術に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラなどの撮像装置では、カラーフィルタを配置した撮像素子として、一般的に、ＣＣＤセンサやＣＭＯＳセンサなどが使用されている。このような撮像素子では、構造上の要因、製造過程における要因、製造後の外的な要因などによって不良画素（「欠陥画素」、「点滅傷」とも呼ばれる）が生ずることがある。例えば、ＣＭＯＳセンサにおいて不良画素が発生する要因の１つとして、フォトダイオードから電荷を受けるフローティング・ディフュージョンで生じるノイズが挙げられる。かかるノイズは、周期的に発生するとは限らず、数回の撮像に１回と高頻度で発生する場合もあるし、数年に１回と低頻度で発生する場合もある。また、撮像素子の不良画素の発生頻度は、温度や電荷の蓄積時間に依存しないことがわかっている。
【０００３】
このため、撮像素子の不良画素を検出する技術が幾つか提案されている（特許文献１及び特許文献２参照）。これらの技術は、製造過程において特定の位置に発生した不良画素に限らず、製造後において発生した不良画素も検出することができる。例えば、特許文献１には、注目画素と、注目画素の周辺の複数の画素との信号レベルの差分をカラーフィルタの色ごとに求め、全ての差分が閾値以上である場合に注目画素を不良画素として検出する技術が開示されている。また、特許文献２には、カラーフィルタの色を区別することなく全ての画素の輝度値を求め、注目画素と周辺の複数の画素との輝度レベルの差が閾値以上である場合に注目画素を不良画素として検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２９７２６７号公報
【特許文献２】特開２００１−０８６５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された技術では、小さな光や穴のような極めて小さい白点または黒点を撮像した場合に、この白点や黒点を不良画素であると誤判定し、それら白点や黒点部分の色を誤補正してしまうという問題点がある。
【０００６】
そこで、本発明は、誤補正を抑制して良好な画像を取得可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像の不良画素に対し、不良補正のための所定の補正処理を行う補正手段と、前記補正処理が行われる前の画像信号から第１の色差信号を生成する第１の生成手段と、前記補正処理が行われた後の画像信号から第２の色差信号を生成する第２の生成手段と、前記第１の色差信号および前記第２の色差信号に基づき、前記不良画素について、前記補正処理が行われる前の画像信号と前記補正処理が行なわれた後の画像信号との割合を調整して出力する調整手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、誤補正を抑制した良好な画像の取得が可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態の画像処理装置が適用された撮像装置の構成例を示す図である。
【図２】不良画素の誤補正の一例を説明する図である。
【図３】第１の実施形態の判定部の構成例を示す図である。
【図４】ベイヤー配列の画素と色別のプレーンの説明図である。
【図５】画素値調整処理のフローチャートである。
【図６】画素値調整時の差分と合成割合と差分閾値との関係を示した図である。
【図７】第２の実施形態の判定部の構成例を示す図である。
【図８】緑色の被写体内に白色の不良画素がある場合の説明図である。
【図９】周辺画素白黒判定処理のフローチャートである。
【図１０】白黒判定時の彩度信号と判定値と彩度閾値との関係を示した図である。
【図１１】着目画素のＲ，Ｇ，Ｂの求め方の説明図である。
【図１２】ベタ部判定処理のフローチャートである。
【図１３】ベタ部判定時の比と判定値と比閾値との関係を示した図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の画像処理装置の一適用例として、デジタルカメラやデジタルビデオカメラ等の撮像装置の概略的な構成を示した図である。
図１において、撮像部１０１は、図示しない撮影レンズ、撮像素子及びその駆動回路からなり、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。撮像部１０１から出力されるアナログ信号は、Ａ／Ｄ変換部１０２によってデジタル信号に変換される。Ａ／Ｄ変換部１０２によってデジタル信号に変換された画像信号はＷＢ部１０３に入力され、ＷＢ部１０３により公知のホワイトバランス（ＷＢ）処理が行われる。ＷＢ部１０３でホワイトバランス処理が行われた画像信号は補正部１０４に入力される。
【００１１】
補正部１０４は、ホワイトバランス処理後の画像信号から、撮像部１０１の撮像素子の構造上の要因、製造過程における要因、製造後の外的な要因などによって生ずる不良画素（点滅傷）を検出して補正する不良補正処理を行う。
【００１２】
以下、図２（ａ）と図２（ｂ）を用いて、補正部１０４の動作の一例を説明する。
図２（ａ）は、補正部１０４に入力される画像信号における各画素の配列を表した図であり、公知のベイヤー配列のカラーフィルタによるＲ（赤），Ｇ（緑），Ｂ（青）の３原色に対応した画素配列を表している。図２（ａ）の画素Ｂ００〜画素Ｂ６６はＢ成分に対応したＢ画素を表し、画素Ｇ０１〜Ｇ６５はＧ成分に対応したＧ画素、画素Ｒ１１〜Ｒ５５はＲ成分に対応したＲ画素を表している。また、図２（ａ）の画像信号は、補正部１０４による不良補正処理が行われる前の画像信号であるとする。図２（ｂ）は、図２（ａ）に示した画像信号に対し、補正部１０４による不良補正処理が行われた後の画像信号の各画素配列を表した図である。図２（ｂ）の例も図２（ａ）と同様に、ベイヤー配列のカラーフィルタのＲ，Ｇ，Ｂの各色に対応した画素配列を表しており、画素Ｂ００'〜Ｂ６６'はＢ画素を、画素Ｇ０１'〜Ｇ６５'はＧ画素、画素Ｒ１１'〜Ｒ５５'はＲ画素を表している。
【００１３】
また、補正部１０４による不良補正処理が行われる前の図２（ａ）に示した画像信号は、撮像素子上に小さな白色光が入射した場合の画像信号の一例を表しているとする。図２（ａ）の例では、画素Ｒ３３，Ｇ２３，Ｇ３２，Ｇ３４，Ｇ４３，Ｂ２２，Ｂ２４，Ｂ４２，Ｂ４４に対して白色光が入射しており、それらの画素値が大きくなっているものとする。具体例な数値の一例として、画素Ｒ３３，Ｇ２３，Ｇ３２，Ｇ３４，Ｇ４３，Ｂ２２，Ｂ２４，Ｂ４２，Ｂ４４の各画素値は１０００で、それら以外の画素値は１００であると仮定する。
【００１４】
補正部１０４は、ある着目画素について不良画素であるか否かを判定し、その着目画素が不良画素であると判定した場合に、その着目画素に対して不良補正処理を行う。例えば、画素Ｒ３３が不良画素であるか否かを判定する場合、補正部１０４は、その画素Ｒ３３を着目画素とし、その周辺の同色の各画素（Ｒ１１，Ｒ１３，Ｒ１５，Ｒ３５，Ｒ５５，Ｒ５３，Ｒ５１，Ｒ３１）との間で、それぞれ差分値を検出する。そして、補正部１０４は、それら検出した差分値がすべて閾値以上である場合に、着目画素（Ｒ３３）が不良画素であると判定する。また例えば、画素Ｇ２３が不良画素であるか否かを判定する場合も同様の検出処理が行われる。すなわち補正部１０４は、着目画素（Ｇ２３）と周辺の同色画素（Ｇ０３，Ｇ１４，Ｇ２５，Ｇ３４，Ｇ４３，Ｇ３２，Ｇ２１，Ｇ１２）との差分を検出し、それら差分値がすべて閾値以上である場合に、着目画素（Ｇ２３）が不良画素であると判定する。
【００１５】
ここで、閾値が例えば１００であるとすると、図２（ａ）の例の場合、画素Ｒ３３は不良画素であると判定されるが、画素Ｇ２３は不良画素であるとは判定されないことになる。すなわち画素Ｒ３３が着目画素である場合、その画素値は１０００であり、周辺の同色画素（Ｒ１１、Ｒ１３、Ｒ１５、Ｒ３１，Ｒ３５，Ｒ５１，Ｒ５３，Ｒ５５）の各画素値は１００であるため、それらの差分値は閾値以上となる。このため、画素Ｒ３３は不良画素であると判定される。一方、画素Ｇ２３が着目画素（画素値は１０００）の場合、周辺の同色画素のうち画素Ｇ３２，Ｇ３４，Ｇ４３の画素値は１０００であるため、それらの差分値は閾値未満（１００未満）になる。このため、画素Ｇ２３は不良画素でないと判定されることになる。同様にして、画素Ｇ３２，Ｇ３４，Ｇ４３，Ｂ２２，Ｂ２４，Ｂ４２，Ｂ４４についても不良画素でないと判定される。すなわち、図２（ａ）の例の場合、画素Ｒ３３のみが不良画素であると判定され、画素Ｒ３３についてのみ画素値を小さく（例えば１００）するような不良補正処理が行われることになる。このため不良補正後の画像信号は、図２（ｂ）に示すように、画素Ｒ３３'のみ不良補正により画素値が１００となされ、画素Ｇ２３'，Ｇ３２'，Ｇ３４'，Ｇ４３'，Ｂ２２'，Ｂ２４'，Ｂ４２'，Ｂ４４'の各画素値は元々の１０００となる。そして、図２（ｂ）の例の場合、図２（ａ）では元々白色であった部分が色つき（例えば緑色の色つき）してしまうことになる。
【００１６】
図１に説明を戻す。判定部１０５には、補正部１０４による不良補正後の画像信号と、ＷＢ部１０３から出力された画像信号（つまり不良補正前の画像信号）とが、入力する。詳細は後述するが、判定部１０５は、それら不良補正前の画像信号と不良補正後の画像信号とからそれぞれ色差信号を生成し、それら色差信号の絶対値の変化量に応じて、不良補正前の画像信号の割合を増やすか否かを決定する。そして、判定部１０５は、その決定した割合に応じて、不良補正後の画像信号と不良補正前の画像信号とを合成し、その合成後の画像信号を、不良補正の調整後の信号として、信号処理部１０６に出力する。
【００１７】
信号処理部１０６は、判定部１０５による不良補正の調整後の画像信号に対し、公知のノイズ抑圧処理、輝度信号処理、色マトリックス変換処理を含む色信号処理等を行い、その信号処理後の画像信号を輝度信号Ｙおよび色差信号Ｕ，Ｖとして出力する。
【００１８】
図３は第１の実施形態における判定部１０５の詳細な構成を示す図であり、以下、図３を参照しながら図１の判定部１０５における詳細と動作を説明する。
ここでは、判定部１０５における着目画素として、補正部１０４にて不良補正が行われたＲ画素を例（前述の図２（ｂ）の例では画素Ｒ３３'となる。）に挙げて、判定部１０５における動作の説明を行う。
【００１９】
図３において、色補間部２０１は、補正部１０４において不良補正処理がなされた後の画像信号に対して色補間処理を行う。同様に、色補間部２０２は補正部１０４で不良補正処理がなされていない画像信号、つまりＷＢ部１０３からの不良補正前の画像信号に対して色補間処理を行う。
【００２０】
ここで、図４を参照しながら色補間部２０１および色補間部２０２の動作を説明する。
例えば、図４の画像信号４００は、色補間部２０２に入力される不良補正前の画像信号を表しており、ベイヤー配列に対応した画素配列の信号となっている。色補間部２０２は、ベイヤー配列の画像信号４００から、Ｒ成分、Ｇ成分、Ｂ成分の色成分ごとに画素を分離し、また分離した後で色成分の存在しない画素位置には画素値として０を挿入するようにして各色成分別のプレーン画像信号４０１を生成する。さらに、色補間部２０２は、各色成分別のプレーン画像信号４０１に対し、０が挿入された画素位置については公知の色補間処理を行って、各色成分別の色補間画像信号４０２を生成する。色補間部２０１による色補間処理も色補間部２０２での色補間処理と基本的に同じ処理である。不良補正後の色成分をＲ'，Ｇ'，Ｂ'として表すと、色補間部２０１では、図４に例示したＲ，Ｇ，ＢをＲ'，Ｇ'，Ｂ'に書き換えて表されるような、各色成分別の色補間画像信号４０２が生成される。
【００２１】
そして、色補間部２０１により色補間処理された色補間画像信号４０２のうち、着目画素の信号（信号Ｒ'とする）とその着目画素の周辺のＧ画素の信号（信号Ｇ'とする）とが、色差算出部２０３に入力される。色差算出部２０３では、信号Ｒ'と信号Ｇ'とから、不良補正後の色差信号Ｃｒ'（＝Ｒ'−Ｇ'）を生成する。この不良補正後の色差信号Ｃｒ'は、調整部２０５に入力される。また、色補間部２０１からは、前段の補正部１０４から不良補正後の着目画素（Ｒ'画素）のＲ成分の信号Ｒ'が出力されて、調整部２０５に入力される。
【００２２】
同様に、色補間部２０２により色補間処理された色補間画像信号４０２のうち、着目画素の信号（信号Ｒとする）とその着目画素の周辺のＧ画素の信号（信号Ｇとする）とが、色差算出部２０４に入力される。色差算出部２０４では、信号Ｒと信号Ｇとから、不良補正後の色差信号Ｃｒ（＝Ｒ−Ｇ）を生成する。そして、この不良補正前の色差信号Ｃｒは調整部２０５に入力される。また、色補間部２０２からは、前段の補正部１０４にて不良補正が行われた着目画素（Ｒ画素）における不良補正前のＲ成分の信号Ｒが出力されて、調整部２０５に入力される。
【００２３】
以下、前述した図２（ａ）と図２（ｂ）および図５のフローチャートを参照しながら、調整部２０５における動作の詳細を説明する。
ここで、前述した図２（ａ）と図２（ｂ）の例の場合、不良補正前の着目画素は画素Ｒ３３であり、不良補正後の着目画素は画素Ｒ３３'である。また、調整部２０５に入力される信号において、不良補正前の色差信号Ｃｒ３３は式（１）で表され、不良補正後の色差信号Ｃｒ３３'は式（２）で表される。
【００２４】
Ｃｒ３３＝Ｒ３３−（Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３）／４                式（１）
Ｃｒ３３'＝Ｒ３３'−（Ｇ２３'＋Ｇ３２'＋Ｇ３４'＋Ｇ４３'）／４    式（２）
【００２５】
そして、前述したように不良補正前の画素Ｒ３３の画素値は１０００であるが、不良補正後の画素Ｒ３３'の画素値は１００になっている。一方、不良補正前の画素Ｇ２３，Ｇ３２，Ｇ３４，Ｇ４３の各画素値は１０００であり、不良補正後の画素Ｇ２３'，Ｇ３２'，Ｇ３４'，Ｇ４３'の各画素値も同様に１０００である。このため、不良補正前の色差信号Ｃｒ３３は０となるのに対し、不良補正後の色差信号Ｃｒ３３'は−９００となる。
【００２６】
つまり、不良補正前の着目画素に対応した色差の絶対値ＡＢＳ（Ｃｒ）は０であったのに対し、不良補正後の着目画素に対応した色差の絶対値ＡＢＳ（Ｃｒ'）は９００と大きくなっている。そして、このように、着目画素について不良補正前後でＡＢＳ（Ｃｒ）＜ＡＢＳ（Ｃｒ'）の関係になった場合、不良補正が誤って行われたことで色つきが発生している可能性が高いと考えられる。
【００２７】
そこで、本実施形態においては、不良補正が誤補正であると考えられる場合、調整部２０５は、不良補正前後の色差信号の絶対値の変化に応じて、不良補正処理前の画像信号の割合を増やすように、着目画素の値を調整する画素値調整処理を行う。例えば、着目画素の不良補正処理が誤補正である場合、不良補正前後の色差信号の絶対値の変化に応じて、不良補正前の色差信号に戻すように着目画素の値を置き換え、あるいは不良補正前後の画素値を合成するような画素値調整処理を行う。例えば置き換えを行う場合、着目画素の信号Ｒに対して置き換え後の信号をＲ"で表すと、画素値調整処理は式（３）により表すことができる。
【００２８】
Ｒ"＝Ｃｒ＋Ｇ'      式（３）
【００２９】
ここで、着目画素が前述した画素Ｒ３３である場合、色差信号Ｃｒ３３の画素値は０であり、画素Ｇ３３'の画素値は１０００であるため、画素値調整処理後の信号Ｒ"は１０００となる。これにより、不良補正による誤補正を修正することができる。
【００３０】
図５は、調整部２０５における画素値調整処理の流れを示すフローチャートである。図５のフローチャートの処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等が実行するプログラムに基づくソフトウェア構成により実現されてもよく、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ＣＰＵ等が実行するプログラムは、例えば不図示のメモリ等に格納されていてもよいし、不図示の着脱可能な外部半導体メモリ等の記録媒体から取得されてもよく、或いは不図示のネットワーク等を介して取得されてもよい。図５の説明では、各処理のステップＳ４０１〜ステップＳ４０７をＳ４０１〜Ｓ４０７と略記する。これらのことは後述する他のフローチャートにおいても同様であるとする。
【００３１】
先ずＳ４０１において、調整部２０５は、不良補正前の色差信号Ｃｒの絶対値ＡＢＳ（Ｃｒ）と不良補正後の色差信号Ｃｒ'の絶対値ＡＢＳ（Ｃｒ'）との差分ＳｕｂＣｒを取得する。
次にＳ４０２において、調整部２０５は、差分ＳｕｂＣｒが所定の第１の差分閾値未満（Ｔｈ１未満）であるかどうかを判定する。そして、調整部２０５は、差分ＳｕｂＣｒが第１の差分閾値Ｔｈ１未満であると判定した場合にはＳ４０６に処理を進め、差分ＳｕｂＣｒが第１の差分閾値以上（Ｔｈ１以上）であると判定した場合にはＳ４０３に処理を進める。
【００３２】
Ｓ４０６に進んだ場合、不良補正により色つきが発生している可能性が低いので、調整部２０５は、後述する合成割合ＭＩＸを０に設定した後、Ｓ４０７に処理を進める。
一方、Ｓ４０３に進んだ場合、調整部２０５は、差分ＳｕｂＣｒが所定の第２の差分閾値より大きい（Ｔｈ２より大きい）か否かを判定する。なお、第２の差分閾値Ｔｈ２は、第１の差分閾値Ｔｈ１よりも大きい値である。そして、調整部２０５は、差分ＳｕｂＣｒが第２の差分閾値Ｔｈ２より大きいと判定した場合にはＳ４０５に処理を進め、差分ＳｕｂＣｒが第２の差分閾値以下（Ｔｈ２以下）であると判定した場合にはＳ４０４に処理を進める。
【００３３】
Ｓ４０５に進んだ場合、不良補正により色つきが発生している可能性が高いので、調整部２０５は、合成割合ＭＩＸを１に設定した後、Ｓ４０７に処理を進める。
一方、Ｓ４０４に進んだ場合、つまり差分ＳｕｂＣｒが第１の差分閾値Ｔｈ１以上でかつ第２の差分閾値Ｔｈ２以下の間である場合、調整部２０５は、合成割合ＭＩＸを０から１の間に設定する。
【００３４】
図６は、調整部２０５が合成割合ＭＩＸを設定する際の差分ＳｕｂＣｂと第１の差分閾値Ｔｈ１と第２の差分閾値Ｔｈ２と合成割合ＭＩＸとの対応関係を表した図である。図６に示すように、差分ＳｕｂＣｂが第１の差分閾値Ｔｈ１未満の場合には合成割合ＭＩＸが０に設定され、差分ＳｕｂＣｂが第１の差分閾値Ｔｈ２より大きい場合には合成割合ＭＩＸが１に設定される。また、差分ＳｕｂＣｂが第１の差分閾値Ｔｈ１以上で第２の差分閾値Ｔｈ２以下である場合には、下記の式（４）により合成割合ＭＩＸが設定される。
【００３５】
ＭＩＸ＝（ＳｕｂＣｂ−Ｔｈ１）／（Ｔｈ２−Ｔｈ１）        式（４）
【００３６】
そして、Ｓ４０７に進むと、調整部２０５は、合成割合ＭＩＸに応じて、不良補正前の色差信号Ｃｒから求めたＲ画素の画素値（Ｃｒ＋Ｇ'）と不良補正後のＲ画素の画素値（Ｒ'）とを合成する。この合成後の画素値（画素値調整処理後の画素）をＲ"とすると、調整部２０５で行われる合成処理は、式（５）により表すことができる。
【００３７】
Ｒ"＝（Ｃｒ＋Ｇ'）×ＭＩＸ＋Ｒ'×（１−ＭＩＸ）      式（５）
【００３８】
前述したように、本実施形態においては、不良補正前後の色差信号を求め、それら色差信号の絶対値の変化量、つまり色差信号の絶対値の差分に応じて、不良補正前の信号の割合を増やすようにする。これにより、本実施形態によれば、例えば点光源で発生する不良補正の誤補正による点光源の色つきを抑制することができる。
【００３９】
また本実施形態では、着目画素がＲ成分の画素である場合を例に挙げて説明したが、着目画素がＢ成分の画素の場合、また着目画素がＧ成分の画素であっても前述同様にして色つき判定を行って不良補正の誤補正による色つきの発生を抑制することができる。
なお、色差信号の値は撮像素子により生ずるセンサーノイズの影響を受けることがあるため、第１の差分閾値Ｔｈ１および第２の差分閾値Ｔｈ２は、センサーノイズのノイズ量に応じてその値を変更してもよい。
【００４０】
次に第２の実施形態について説明する。
図７は第２の実施形態における判定部１０５の詳細な構成を示す図であり、以下、図７を参照しながら第２の実施形態の判定部１０５における詳細と動作を説明する。なお、第２の実施形態の画像処理装置が適用される撮像装置の構成は前述した図１と同様であるため、その図示は省略する。
第２の実施形態においても第１の実施形態同様に、判定部１０５における着目画素として、補正部１０４にて不良補正が行われたＲ画素を例（画素Ｒ３３'）に挙げて、判定部１０５における動作の説明を行う。
【００４１】
第２の実施形態の場合、前述した第１の実施形態に対し、判定部１０５の内部構成が異なる。なお図７の色補間部３０１、色補間部３０２、色差算出部３０３、色差算出部３０４、調整部３０５は、図３の対応した色補間部２０１、色補間部２０２、色差算出部２０３、色差算出部２０４、調整部２０５と同一の構成であるため、それらの説明は省略する。第２の実施形態の判定部１０５の場合、色補間部３０２から出力された信号Ｒおよび信号Ｇは、後述する白黒判定部３０７にも入力される。また、色補間部３０２から出力された信号Ｇは、後述するベタ部判定部３０８にも入力される。
【００４２】
ここで、第２の実施形態では、例えば図８に示すように、緑色の被写体の中に白色の不良画素がある場合を挙げて説明を行う。図８は、補正部１０４による不良補正前の各画素を表しており、前述同様に画素Ｂ００〜画素Ｂ６６はＢ画素、画素Ｇ０１〜Ｇ６５はＧ画素、画素Ｒ１１〜Ｒ５５はＲ画素を表しているとする。具体例な数値例として、全てのＧ画素の画素値は１０００であり、画素Ｒ３３を除く他のＲ画素の各画素値は１００であり、また全てのＢ画素の画素値は１００であると仮定する。一方、画素Ｒ３３の画素値は１０００であると仮定する。すなわち緑色の被写体の場合、本来はＧ画素の信号レベルのみが高く、Ｒ画素やＢ画素の信号レベルは低くなるはずであるが、図８では、画素Ｒ３３の信号レベルが高くなっていることで白色の不良画素が生じている例を示している。したがって、図８の例の場合、画素Ｒ３３については不良補正処理を行うことが望ましい。
【００４３】
この図８に例示した緑色の被写体画像について、補正部１０４により第１の実施形態で説明したのと同様の不良画素判定処理を行った場合、画素Ｒ３３は不良画素であると判定されることになる。そして、補正部１０４において、不良画素と判定された画素Ｒ３３に対し、周囲の同色画素からの補間による不良補正処理が行われる。すなわち、画素値が１０００であった不良補正前の画素Ｒ３３は、不良補正処理が行われることによって画素値が１００の画素Ｒ３３'となされる。
【００４４】
また、第２の実施形態の場合も、第１の実施形態と同様に、判定部１０５は、不良補正前の色差信号Ｃｒを前述した式（１）により求め、不良補正後の色差信号Ｃｒ'を式（２）により求める。すなわち不良補正後の画素Ｒ３３'の画素値は１００、残りの各画素の画素値は１０００なので、不良補正前の色差信号Ｃｒ３３は０となり、不良補正後の色差信号Ｃｒ３３'は−９００となる。そして、この例の場合、色差の絶対値ＡＢＳ（Ｃｒ）と絶対値ＡＢＳ（Ｃｒ'）との関係は、ＡＢＳ（Ｃｒ）＜ＡＢＳ（Ｃｒ'）となる。このため、判定部１０５では、不良補正が誤って行われたことで色つきが発生している可能性が高いと判定され、前述した画素値調整処理が行われることになる。すなわち画素Ｒ３３'は、第１の実施形態で説明したのと同様に不良補正前の画素値に調整されることになる。この例の場合、画素Ｒ３３は緑色被写体の中の白色の不良画素であるため、本来ならば画素値を１００にするような不良補正が行われるべきであるが、画素値調整処理により不良補正が行われないのと同じ状態になってしまう。
【００４５】
そこで、第２の実施形態の判定部１０５では、着目画素の周辺画素が有彩色かつエッジではない部分（ベタ部とする。）であるかどうかを判定する。そして、判定部１０５は、周辺画素が有彩色かつベタ部であると判定した場合には、調整部３０５による画素値調整処理後の出力よりも、補正部１０４による不良補正処理の出力結果の割合を増やすような補正を行うようにする。
このようなことを実現するために、第２の実施形態における判定部１０５は、図７に示すように、白黒判定部３０７、ベタ部判定部３０８、選択部３０９、合成部３０６をも備えている。
【００４６】
白黒判定部３０７は、色補間部３０２からの信号Ｒおよび信号Ｇを基に、着目画素の周辺画素が有彩色か否かを判定する周辺画素白黒判定処理を行い、その判定結果に応じた判定値ＶＡＬ１を選択部３０９に出力する。具体的には、先ず、白黒判定部３０７は、色補間部３０２からの信号Ｒと信号Ｇを基に、周辺画素による色信号を生成するような色信号生成処理を行う。次に、白黒判定部３０７は、色信号が所定の色閾値以上である場合には有彩色であると判定し、一方、色閾値以上と判定されない場合（色閾値未満の場合）には無彩色（つまり白黒）であると判定する。そして、白黒判定部３０７は、その周辺画素白黒判定結果に応じた判定値ＶＡＬ１を選択部３０９に出力する。なお、詳細は後述するが、色信号が色閾値以上でないため無彩色と判定される場合とは、後述の図９のフローチャートにおいて彩度信号Ｃが第１の彩度閾値未満（Ｔｈ３未満）と判定される場合に相当する。また、色信号が色閾値以上で有彩色と判定される場合とは、後述の図９のフローチャートにおいて彩度信号Ｃが第２の彩度閾値より大きい（Ｔｈ４より大きい）と判定される場合に相当する。
【００４７】
ベタ部判定部３０８は、色補間部３０２からの信号Ｇを基に、着目画素の周辺画素がエッジ部ではないベタ部であるか否か判定するベタ部判定処理を行い、その判定結果に応じた判定値ＶＡＬ２を選択部３０９に出力する。具体的には、先ず、ベタ部判定部３０８は、色補間部３０２からの信号Ｇを基に、周辺画素における信号レベルの相関を表す値を生成する相関生成処理を行う。次に、ベタ部判定部３０８は、相関を表す値が所定の相関閾値以上である場合（つまり相関が高い場合）にはエッジ部ではないベタ部であると判定する。一方、ベタ部判定部３０８は、相関を表す値が所定の相関閾値以上でない場合（相関閾値未満であり相関が低い場合）にはエッジ部である（ベタ部ではない）と判定する。そして、ベタ部判定部３０８は、そのベタ部判定結果に応じた判定値ＶＡＬ２を選択部３０９に出力する。なお、詳細は後述するが、相関を表す値としては、後述の図１２のフローチャートで求められる最大値ＭＡＸ[Ｇ]と最小値ＭＩＮ[Ｇ]との比ＤｉｖＧが用いられる。つまり、比ＤｉｖＧの値が大きい場合には相関が低く、一方、比ＤｉｖＧの値が小さい場合には相関が高いことになる。また、相関を表す値が所定の相関閾値以上で周辺画素がベタ部である（エッジ部でない）と判定される場合とは、後述の図１２のフローチャートにおいて、比ＤｉｖＧが第１の比閾値未満（Ｔｈ５未満）と判定される場合に相当する。また、相関を表す値が所定の相関閾値以上でなく周辺画素がエッジ部である（ベタ部でない）と判定される場合とは、後述の図１２のフローチャートにおいて、比ＤｉｖＧが第２の比閾値より大きい（Ｔｈ６より大きい）と判定される場合に相当する。
【００４８】
選択部３０９は、白黒判定部３０７からの判定値ＶＡＬ１とベタ部判定部３０８からの判定値ＶＡＬ２の最小値を選択して、その選択した最小値を判定値ＶＡＬとして合成部３０６に出力する。
詳細は後述するが、合成部３０６は、選択部３０９にて選択された最小値の判定値ＶＡＬに応じた割合で、補正部１０４による不良補正後の信号と、調整部３０５による画素値調整処理後の信号とを合成するような補正を行う。例えば、合成部３０６では、着目画素の周辺画素が白黒でない有彩色でかつエッジ部でないベタ部である場合、補正部１０４による補正処理後の信号の割合を増やすような処理が行われる。
【００４９】
図９は、白黒判定部３０７において着目画素の周辺画素が白黒か有彩色かを判定する白黒判定処理の流れを示すフローチャートである。
先ず、Ｓ６０１において、白黒判定部３０７は、着目画素の周辺画素について、下記式（６）により色信号として彩度信号Ｃを算出する。なお、Ｙは輝度、Ｃｒ，Ｃｂは色差である。Ｒ，Ｇ，Ｂの各成分の求め方については後述する。
【００５０】
Ｃ＝√（Ｃｒ2＋Ｃｂ2）
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｃｒ＝０．７１３（Ｒ−Ｙ）
Ｃｂ＝０．５６４（Ｂ−Ｙ）            式（６）
【００５１】
次にＳ６０２において、白黒判定部３０７は、彩度信号Ｃが第１の彩度閾値未満（Ｔｈ３未満）であるか否かを判定する。白黒判定部３０７は、彩度信号Ｃが第１の彩度閾値Ｔｈ３未満であると判定した場合にはＳ６０６に処理を進め、彩度信号Ｃが第１の彩度閾値以上（Ｔｈ３以上）であると判定した場合にはＳ６０３に処理を進める。
【００５２】
ここで、彩度信号Ｃが第１の彩度閾値Ｔｈ３未満である場合、周辺画素は無彩色（白黒）の画素であると考えられる。そして、Ｓ６０６に進んだ場合、白黒判定部３０７は、判定値ＶＡＬ１を１に設定した後、図９の処理を終了する。
一方、Ｓ６０３に進んだ場合、白黒判定部３０７は、彩度信号Ｃが第２の彩度閾値より大きい（Ｔｈ４より大きい）か否かを判定する。なお、第２の彩度閾値Ｔｈ４は第１の彩度閾値より大きい値である。白黒判定部３０７は、彩度信号Ｃが第２の彩度閾値Ｔｈ４おり大きいと判定した場合にはＳ６０５に処理を進め、彩度信号Ｃが第２の彩度閾値以下（Ｔｈ４以下）と大きいと判定した場合にはＳ６０４に処理を進める。
【００５３】
Ｓ６０５に進んだ場合、着目画素の周辺画素は有彩色であると考えられるので、白黒判定部３０７は、判定値ＶＡＬ１を０に設定した後、図９の処理を終了する。
一方、Ｓ６０４に進んだ場合、つまり彩度信号Ｃが第１の彩度閾値Ｔｈ３以下でかつ第２の彩度閾値Ｔｈ４以下である場合、白黒判定部３０７は、判定値ＶＡＬ１を０から１の間に設定した後、図９の処理を終了する。
【００５４】
図１０は、白黒判定部３０７が判定値ＶＡＬ１を設定する際の、彩度信号Ｃと第１の彩度閾値Ｔｈ３と第２の彩度閾値Ｔｈ４と判定値ＶＡＬ１との対応関係を表した図である。図１０に示すように、彩度信号Ｃが第１の彩度閾値Ｔｈ３未満の場合には判定値ＶＡＬ１が１に設定され、彩度信号Ｃが第２の彩度閾値Ｔｈ４より大きい場合には判定値ＶＡＬ１が０に設定される。また、彩度信号Ｃが第１の彩度閾値Ｔｈ３以上で第２の彩度閾値Ｔｈ４以下である場合には、下記の式（７）により判定値ＶＡＬ１が決められる。
【００５５】
ＶＡＬ１＝（Ｔｈ４−Ｃ）／（Ｔｈ４−Ｔｈ３）        式（７）
【００５６】
以下、図１１を参照しながら、Ｓ６０１において彩度信号Ｃを求める際の着目画素におけるＲ，Ｇ，Ｂの各成分の求め方の一例を説明する。
図１１に示した画像信号は、ＷＢ部１０３によるホワイトバランス処理後のベイヤー配列の画像信号である。ここで、着目画素（Ｒ３３）が不良画素である場合、その周辺の画素を使ってＲ，Ｇ，Ｂの各成分を求める。本実施形態では、周辺画素の画素位置として、画素Ｇ２１の画素位置、以下同様に、画素Ｇ４１、画素Ｇ２５、画素Ｇ４５の各画素位置を定義する。ベイヤー配列の画像信号において、画素Ｇ２１に対応した画素位置のＲ成分をＲ[21]、Ｂ成分をＢ[21]とすると、Ｒ成分Ｒ[21]は画素Ｇ２１の画素位置の周囲の画素Ｒ２１，Ｒ３１の値から決定される。また、Ｂ成分Ｂ[21]は画素Ｇ２１の画素位置の周囲の画素Ｂ２０，Ｂ２２の値から決定される。これは下記の式（８）、式（９）により表される。
【００５７】
Ｒ[21]＝（Ｒ１１＋Ｒ３１）／２      式（８）
Ｂ[21]＝（Ｂ２０＋Ｂ２２）／２      式（９）
【００５８】
同様に画素Ｇ４１、画素Ｇ２５、画素Ｇ４５の各画素位置におけるＲ，Ｇ，Ｂの各成分Ｒ[41]、Ｂ[41]、Ｒ[25]、Ｂ[25]、Ｒ[45]、Ｂ[45]は式（１０）、式（１１）、式（１２）、式（１３）、式（１４）、式（１５）で決定される。
Ｒ[41]＝（Ｒ３１＋Ｒ５１）／２      式（１０）
Ｂ[41]＝（Ｂ４０＋Ｂ４２）／２      式（１１）
Ｒ[25]＝（Ｒ１５＋Ｒ３５）／２      式（１２）
Ｂ[25]＝（Ｂ２４＋Ｂ２６）／２      式（１３）
Ｒ[45]＝（Ｒ３５＋Ｒ５５）／２      式（１４）
Ｂ[45]＝（Ｂ４４＋Ｂ４６）／２      式（１５）
【００５９】
そして、画素Ｇ２１、画素Ｇ４１、画素Ｇ２５、画素Ｇ４５の画素位置で求めたＲ，Ｇ，Ｂの各成分の平均値を、それぞれ着目画素（Ｒ３３）でのＲ，Ｇ，Ｂの各成分とすると、下記の式（１６）、式（１７）、式（１８）により表せる。
【００６０】
Ｒ＝（Ｒ[21]＋Ｒ[41]＋Ｒ[25]＋Ｒ[45]）／４      式（１６）
Ｇ＝（Ｇ２１＋Ｇ４１＋Ｇ２５＋Ｇ４５）／４      式（１７）
Ｂ＝（Ｂ[21]＋Ｂ[41]＋Ｂ[25]＋Ｂ[45]）／４      式（１８）
【００６１】
なお、本実施形態では、着目画素の周辺画素を画素Ｇ２１、画素Ｇ４１、画素Ｇ２５、画素Ｇ４５の画素位置としたがこれに限るものではない。また、明るさで彩度を正規化するように構成して暗い部分も検出されるようにしてもよい。明るさでの正規化は、例えば彩度を輝度Ｙで除算することで行うことができる。
【００６２】
次に、ベタ部判定部３０８について説明する。
ベタ部判定部３０８は、色補間部３０２から出力された信号Ｇを基に周辺画素がエッジでないベタ部であるか否かを判定する。
以下、図８の例を参照しながらベタ部判定部３０８の動作の一例を説明する。
着目画素が画素Ｒ３３である場合、ベタ部判定部３０８は、その着目画素の周辺の４画素を用いてベタ部であるか否かの判定を行う。
具体的な一例として、ベタ部判定部３０８は、画素Ｇ２３、画素Ｇ３２、画素Ｇ４３、画素Ｇ３４における各画素の最大値と最小値の比を用いて判定を行う。なお、以下の説明では、画素Ｇ２３、画素Ｇ３２、画素Ｇ４３、画素Ｇ３４の４画素をまとめて周辺Ｇ画素とする。
【００６３】
図１２は、ベタ部判定部３０８におけるベタ部判定処理の流れを示すフローチャートである。
先ずＳ８０１において、ベタ部判定部３０８は、着目画素（Ｒ３３）の周辺Ｇ画素の各画素のうち最大値ＭＡＸ[Ｇ]を取得する。
またＳ８０２において、ベタ部判定部３０８は、周辺Ｇ画素の各画素のうち最小値ＭＩＮ[Ｇ]を取得する。
そしてＳ８０３において、ベタ部判定部３０８は、最大値ＭＡＸ[Ｇ]と最小値ＭＩＮ[Ｇ]との比ＤｉｖＧ（＝ＭＡＸ[Ｇ]／ＭＩＮ[Ｇ]）を算出する。この最大値ＭＡＸ[Ｇ]と最小値ＭＩＮ[Ｇ]との比ＤｉｖＧは、周辺Ｇ画素における信号レベルの相関を表す値であり、比ＤｉｖＧの値が小さいほど相関が高いことを示している。
【００６４】
次にＳ８０４において、ベタ部判定部３０８は、比ＤｉｖＧが第１の比閾値未満（Ｔｈ５未満）であるか否かを判定する。そして、ベタ部判定部３０８は、比ＤｉｖＧが第１の比閾値Ｔｈ５未満である場合にはＳ８０８に処理を進め、比ＤｉｖＧが第１の比閾値以上（Ｔｈ５以上）である場合にはＳ８０５に処理を進める。
【００６５】
Ｓ８０８に進んだ場合、周辺画素は相関が高いベタ部でありエッジ部ではないと考えられるため、ベタ部判定部３０８は、判定値ＶＡＬ２を０に設定した後、図１２の処理を終了する。
一方、Ｓ８０５に進んだ場合、ベタ部判定部３０８は、比ＤｉｖＧが第２の比閾値より大きい（Ｔｈ６より大きい）か否かを判定する。なお、第２の比閾値Ｔｈ６は第１の比閾値Ｔｈ５より大きい値である。ベタ部判定部３０８は、比ＤｉｖＧが第２の比閾値Ｔｈ６より大きい場合にはＳ８０７に処理を進め、比ＤｉｖＧが第２の比閾値以下（Ｔｈ６以下）である場合にはＳ８０６に処理を進める。
【００６６】
Ｓ８０７に進んだ場合、周辺画素はエッジ部の可能性が高くベタ部ではないと考えられるため、ベタ部判定部３０８は、判定値ＶＡＬ２を１に設定した後、図１２の処理を終了する。
一方、Ｓ８０６に進んだ場合、つまり比ＤｉｖＧが第１の比閾値Ｔｈ５以上でかつ第２の比閾値Ｔｈ６以下である場合、ベタ部判定部３０８は、判定値ＶＡＬ２を０から１の間に設定する。
【００６７】
図１３は、ベタ部判定部３０８が判定値ＶＡＬ２を設定する際の、比ＤｉｖＧと第１の比閾値Ｔｈ５と第２の比閾値Ｔｈ６と判定値ＶＡＬ２との対応関係を表した図である。図１３に示すように、比ＤｉｖＧが第１の比閾値Ｔｈ５未満の場合には判定値ＶＡＬ２が０に設定され、比ＤｉｖＧが第２の比閾値Ｔｈ６より大きい場合には判定値ＶＡＬ２が１に設定される。また、比ＤｉｖＧが第１の比閾値Ｔｈ５以上で第２の比閾値Ｔｈ６以下である場合には、下記の式（１９）により判定値ＶＡＬ２が決められる。
【００６８】
ＶＡＬ２＝（ＤｉｖＧ−Ｔｈ５）／（Ｔｈ６−Ｔｈ５）        式（１９）
【００６９】
図７に説明を戻す。選択部３０９は、白黒判定部３０７の出力である判定値ＶＡＬ１と、ベタ部判定部３０８の出力である判定値ＶＡＬ２とのうち最小値を選択し、その選択した最小値を判定値ＶＡＬとして合成部３０６に出力する。
【００７０】
合成部３０６は、選択部３０９からの判定値ＶＡＬを基に、色補間部３０１からの出力と調整部３０５からの出力とを合成する。ここでは、着目画素がＲ画素である例を挙げている。このため、合成部３０６では、色補間部３０１からの出力である補正部１０４による不良補正後の信号Ｒ'と、調整部３０５による画素値調整後の信号Ｒ"と、判定値ＶＡＬとを用い、下記の式（２０）により合成して信号Ｒ'''を出力する。
【００７１】
Ｒ'''＝Ｒ'×ＶＡＬ＋Ｒ"×（１−ＶＡＬ）        式（２０）
【００７２】
以上説明したように、第２の実施形態において、周辺画素が有彩色でかつベタ部であると判定された場合、合成部３０６へ入力される判定値ＶＡＬの値は小さくなされる。これにより、合成部３０６による合成後の信号は、調整部３０５からの出力に対し、色補間部３０１からの出力つまり補正部１０４の不良補正後の画素値の重みが大きくなるように合成された信号となる。すなわち、第２の実施形態の場合、周辺画素が有彩色でかつベタ部である場合には、補正部１０４による不良補正後の出力結果の割合を増やした合成出力を得るようにする。したがって、本実施形態によれば、点光源上の色つきを抑えながら、色つき被写体の白キズの補正を行うことが可能となる。
【００７３】
なお第２の実施形態においても、着目画素がＲ画素の場合を例に挙げて説明したが、着目画素が画素Ｂの場合、また着目画素が画素Ｇであっても前述同様にして色つき判定を行って不良補正の誤補正による色つきを抑制することができる。また、色差信号の値、彩度の値、Ｇ信号の値は、センサーノイズの影響を受けることがあるため、各閾値Ｔｈ３〜Ｔｈ６は、センサーノイズのノイズ量に応じてその値を変更してもよい。
【００７４】
前述した各実施形態では、画像処理装置の適用例としてデジタルカメラ等を挙げたが、この例には限定されず他の撮像装置にも適用可能である。例えば、デジタルカメラ等だけでなく、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、各種の監視カメラ、工業用カメラ、車載カメラ、医療用カメラなどにも本実施形態は適用可能である。
【００７５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７６】
１０１：撮像部、１０２：Ａ／Ｄ変換部、１０３：ＷＢ部、１０４：補正部、１０５：判定部、１０６：信号処理部、２０１，２０２，３０１，３０２：色補間部、２０３，２０４，３０３，３０４：色差算出部、２０５，３０５：調整部、３０６：合成部、３０７：白黒判定部、３０８：ベタ部判定部、３０９：選択部
【図１】
2019186818.tif 000003
【図２】
2019186818.tif 000004
【図３】
2019186818.tif 000005
【図４】
2019186818.tif 000006
【図５】
2019186818.tif 000007
【図６】
2019186818.tif 000008
【図７】
2019186818.tif 000009
【図８】
2019186818.tif 000010
【図９】
2019186818.tif 000011
【図１０】
2019186818.tif 000012
【図１１】
2019186818.tif 000013
【図１２】
2019186818.tif 000014
【図１３】
2019186818.tif 000015