(57)【要約】      （修正有）【課題】画素欠陥の検出精度を向上する画像処理装置、画像処理方法及び画像処理システムを提供する。【解決手段】画像処理装置２２は、色画素と、色画素よりも高感度となる高感度画素が２次元状に配列された固体撮像装置からの撮像画像の注目している注目画素について、高感度画素の画素値と、色画素の画素値との相関に基づいて、注目画素の欠陥を評価する画素欠陥評価部５１と、欠陥であると評価された注目画素を補正する画素欠陥補正部５２とを備える。【選択図】図３
2016048815.tif 000002
【特許請求の範囲】
【請求項１】
色画素と、前記色画素よりも高感度となる高感度画素が２次元状に配列された固体撮像装置からの撮像画像の注目している注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価する画素欠陥評価部と、
欠陥であると評価された前記注目画素を補正する画素欠陥補正部と
を備える画像処理装置。
【請求項２】
前記画素欠陥評価部は、前記注目画素の周辺の前記高感度画素の画素値と前記色画素の画素値の分布情報を用い、前記高感度画素の画素値と、前記色画素の画素値との相関を求める
請求項１に記載の画像処理装置。
【請求項３】
前記画素欠陥評価部は、
前記注目画素が前記色画素である場合、前記注目画素の周辺の前記高感度画素の画素値の勾配と、前記注目画素の周辺の同色の色画素の画素値との勾配を比較し、
前記注目画素が前記高感度画素である場合、前記注目画素の周辺の色画素の画素値の勾配と、前記注目画素の周辺の前記高感度画素の画素値の勾配を比較して、
前記高感度画素の画素値と、前記色画素の画素値との相関を求める
請求項２に記載の画像処理装置。
【請求項４】
前記画素欠陥評価部は、前記注目画素に対して水平方向又は垂直方向となる、前記高感度画素の画素値の勾配と色画素の画素値の勾配を求める
請求項３に記載の画像処理装置。
【請求項５】
前記画素欠陥評価部は、
前記注目画素の画素値と、前記注目画素の周辺の同色の色画素の画素値の平均値との差分値を、所定の閾値と比較することで、前記注目画素の欠陥の可能性を評価し、
欠陥の可能性があると評価された前記注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価する
請求項１に記載の画像処理装置。
【請求項６】
前記高感度画素は、白（Ｗ）画素であり、
前記色画素は、赤（Ｒ）画素、緑（Ｇ）画素、又は、青（Ｂ）画素である
請求項１に記載の画像処理装置。
【請求項７】
画像処理装置の画像処理方法において、
前記画像処理装置が、
色画素と、前記色画素よりも高感度となる高感度画素が２次元状に配列された固体撮像装置からの撮像画像の注目している注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価し、
欠陥であると評価された前記注目画素を補正する
ステップを含む画像処理方法。
【請求項８】
色画素と、前記色画素よりも高感度となる高感度画素が２次元状に配列された固体撮像装置と、
前記固体撮像装置からの撮像画像の注目している注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価する画素欠陥評価部と、欠陥であると評価された前記注目画素を補正する画素欠陥補正部とを有する画像処理装置と
を備える画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、画像処理システムに関し、特に、画素欠陥の検出精度を向上させることができるようにした画像処理装置、画像処理方法、及び、画像処理システムに関する。
【背景技術】
【０００２】
一般に、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサ等の固体撮像装置においては、画素欠陥が生じることが知られている。
【０００３】
固体撮像装置において、半導体の局所的な結晶欠陥等により、例えば異常な撮像信号を出力する画素欠陥が生じると、これに起因する画質劣化が生じることになる。この種の画素欠陥としては、例えば、周辺の画素と比較して画素値が大きい、いわゆる白点欠陥や、周辺の画素と比較して画素値が小さい、いわゆる黒点欠陥などがある。
【０００４】
従来より、これらの画素欠陥を信号処理によって補正するための方式や回路構成が各種提案されている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２９０６５３号公報
【特許文献２】特開２０１３−１１５６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術であると、撮像画像の注目している注目画素が画素欠陥（欠陥点）であるのか、あるいは画素欠陥ではなく、空間周波数の非常に高い模様（例えば微小点など）であるのかを正確に区別できなかった。そのため、画素欠陥であるかどうかを正確に区別して、画素欠陥の検出精度を向上させたいという要請があった。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、画素欠陥の検出精度を向上させることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、色画素と、前記色画素よりも高感度となる高感度画素が２次元状に配列された固体撮像装置からの撮像画像の注目している注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価する画素欠陥評価部と、欠陥であると評価された前記注目画素を補正する画素欠陥補正部とを備える画像処理装置である。
【０００９】
前記画素欠陥評価部は、前記注目画素の周辺の前記高感度画素の画素値と前記色画素の画素値の分布情報を用い、前記高感度画素の画素値と、前記色画素の画素値との相関を求めるようにすることができる。
【００１０】
前記画素欠陥評価部は、前記注目画素が前記色画素である場合、前記注目画素の周辺の前記高感度画素の画素値の勾配と、前記注目画素の周辺の同色の色画素の画素値との勾配を比較し、前記注目画素が前記高感度画素である場合、前記注目画素の周辺の色画素の画素値の勾配と、前記注目画素の周辺の前記高感度画素の画素値の勾配を比較して、前記高感度画素の画素値と、前記色画素の画素値との相関を求めるようにすることができる。
【００１１】
前記画素欠陥評価部は、前記注目画素に対して水平方向又は垂直方向となる、前記高感度画素の画素値の勾配と色画素の画素値の勾配を求めるようにすることができる。
【００１２】
前記画素欠陥評価部は、前記注目画素の画素値と、前記注目画素の周辺の同色の色画素の画素値の平均値との差分値を、所定の閾値と比較することで、前記注目画素の欠陥の可能性を評価し、欠陥の可能性があると評価された前記注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価するようにすることができる。
【００１３】
前記高感度画素は、白（Ｗ）画素であり、前記色画素は、赤（Ｒ）画素、緑（Ｇ）画素、又は、青（Ｂ）画素であるようにすることができる。
【００１４】
本技術の一側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
【００１５】
本技術の一側面の画像処理方法又は画像処理システムは、上述した本技術の一側面の画像処理装置に対応する画像処理方法又は画像処理システムである。
【００１６】
本技術の一側面の画像処理装置、画像処理方法、及び、画像処理システムにおいては、色画素と、前記色画素よりも高感度となる高感度画素が２次元状に配列された固体撮像装置からの撮像画像の注目している注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥が評価され、欠陥であると評価された前記注目画素が補正される。
【発明の効果】
【００１７】
本技術の一側面によれば、画素欠陥の検出精度を向上させることができる。
【００１８】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本技術を適用した画像処理システムの一実施の形態の構成を示す図である。
【図２】固体撮像装置におけるカラーフィルタの配列を示す図である。
【図３】本技術を適用した画像処理装置の一実施の形態の構成を示す図である。
【図４】画像処理の流れを説明するフローチャートである。
【図５】画素欠陥補正処理の流れを説明するフローチャートである。
【図６】注目画素がＷ画素又はＧ画素の場合における１次評価ステップを説明する図である。
【図７】注目画素がＢ画素又はＲ画素の場合における１次評価ステップを説明する図である。
【図８】注目画素が微小点である場合のサンプリング前の画素値分布を示す図である。
【図９】注目画素が微小点である場合のサンプリング後の画素値分布を示す図である。
【図１０】注目画素が欠陥点である場合のサンプリング後の画素値分布を示す図である。
【図１１】注目画素が色画素の場合における２次評価ステップを説明する図である。
【図１２】注目画素がＷ画素の場合における２次評価ステップを説明する図である。
【図１３】２次評価ステップの他の評価方法を説明する図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
【００２１】
１．画像処理システムの構成
２．画像処理装置の構成
３．画像処理の流れ
４．変形例
【００２２】
＜１．画像処理システムの構成＞
【００２３】
図１は、本技術を適用した画像処理システムの一実施の形態の構成を示す図である。
【００２４】
図１の画像処理システム１０は、被写体を撮像して得られる撮像画像に対して、所定の画像処理を行う機能を有する、デジタルスチルカメラやビデオカメラ等の撮像装置、携帯電話機、スマートホン、タブレット型デバイス、又はパーソナルコンピュータ等である。図１において、画像処理システム１０は、固体撮像装置２１、画像処理装置２２、及び、記録装置２３から構成される。
【００２５】
固体撮像装置２１は、例えばCMOSイメージセンサやCCDイメージセンサ等のイメージセンサである。固体撮像装置２１は、光電変換素子（フォトダイオード）を有する複数の画素が行列状に２次元配列される画素アレイ部と、画素の駆動やA/D（Analog/Digital）等を行う周辺回路部から構成される。
【００２６】
固体撮像装置２１は、レンズ部により集光された光を光電変換して得られる撮像画像を、画像処理装置２２に供給する。また、固体撮像装置２１において、画素アレイ部の前面には、カラーフィルタが配置されている。ここで、図２には、画素アレイ部の前面に配置されるカラーフィルタ３１のフィルタ配列が示されている。カラーフィルタ３１は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及び、白（Ｗ）が配列されている。
【００２７】
すなわち、固体撮像装置２１の画素アレイ部においては、高感度画素としての白（Ｗ）画素と、色画素としての赤（Ｒ）画素又は青（Ｂ）画素とが交互に配列されている行と、高感度画素としての白（Ｗ）画素と、色画素としての緑（Ｇ）画素とが交互に配列されている行とが、交互に配列されている。
【００２８】
また、画像処理装置２２は、固体撮像装置２１から供給される撮像画像に対する所定の画像処理を行う。この画像処理としては、例えば、画素欠陥補正処理、リモザイク処理、及び、カメラ信号処理などが行われる。画像処理の結果得られる撮像画像の画像データは、記録装置２３に供給される。
【００２９】
記録装置２３は、画像処理装置２２から供給される撮像画像の画像データを記録する。なお、図１の構成では、画像処理装置２２からの撮像画像の画像データは、記録装置２３に記録されるとして説明しているが、画像処理が施された撮像画像に対する処理の一例であり、その他、例えば、画像データに対応する被写体の撮像画像を表示装置に表示させたり、通信装置により画像データを、ネットワークを介して他の装置に送信させたりするようにしてもよい。
【００３０】
＜２．画像処理装置の構成＞
【００３１】
図３は、図１の画像処理装置２２の詳細な構成を示す図である。
【００３２】
画像処理装置２２は、画素欠陥補正処理部４１、リモザイク処理部４２、及び、カメラ信号処理部４３から構成される。
【００３３】
画素欠陥補正処理部４１は、固体撮像装置２１により撮像された撮像画像から画素欠陥を検出して、画素欠陥を補正する処理を行う。画素欠陥補正処理部４１は、画素欠陥評価部５１及び画素欠陥補正部５２から構成される。
【００３４】
画素欠陥評価部５１は、撮像画像の注目している注目画素に対して、１次評価ステップと２次評価ステップの二段階で、当該注目画素の欠陥を評価して、その欠陥の評価結果を、画素欠陥補正部５２に供給する。
【００３５】
画素欠陥補正部５２は、画素欠陥評価部５１から供給される欠陥の評価結果に応じて、欠陥であると評価された注目画素を補正し、リモザイク処理部４２に供給する。また、画素欠陥補正部５２は、欠陥の評価結果に応じて、欠陥ではないと評価された注目画素をそのまま、リモザイク処理部４２に供給する。
【００３６】
リモザイク処理部４２は、画素欠陥補正部５２からの撮像画像の画素配列を、図２の画素配列から、ベイヤ配列に変換して、カメラ信号処理部４３に供給する。
【００３７】
カメラ信号処理部４３は、リモザイク処理部４２から供給される撮像画像に対して、所定のカメラ信号処理を行う。このカメラ信号処理としては、例えば、ホワイトバランス、デモザイク、リニアマトリックス、ガンマ補正等の処理が行われる。カメラ信号処理により得られるＲＧＢ画像（又はＹＣ画像）は、記録装置２３に記録するための画像処理がさらに施された後、記録装置２３に記録される。
【００３８】
＜３．画像処理の流れ＞
【００３９】
（画像処理の流れ）
次に、図４のフローチャートを参照して、図３の画像処理装置２２により実行される画像処理の流れについて説明する。
【００４０】
ステップＳ１１において、画素欠陥補正処理部４１は、画素欠陥補正処理を行う。この画素欠陥補正処理では、撮像画像の注目している注目画素に対して、１次評価ステップと、２次評価ステップの二段階の評価を行い、それらの評価結果がどちらも、注目画素が画素欠陥らしいと評価された場合に、当該注目画素を補正する。
【００４１】
具体的には、１次評価ステップでは、注目画素の画素値と、その注目画素の周辺の同色画素の２画素の画素値の平均値が、所定の閾値よりも大きいかどうかを評価する。また、２次評価ステップでは、１次評価ステップの評価結果として、欠陥の可能性があると評価された注目画素について、高感度画素としての白（Ｗ）画素の画素値と、色画素としての赤（Ｒ）画素、緑（Ｇ）画素、又は青（Ｂ）画素の画素値との相関に基づいて、当該注目画素の欠陥を評価することになる。
【００４２】
そして、画素欠陥補正処理部４１では、１次評価ステップと２次評価ステップの二段階の評価結果に応じて、欠陥であると評価された注目画素に対する補正処理が行われる。なお、画素欠陥補正処理の詳細な処理の内容は、図５のフローチャートを参照して後述する。
【００４３】
ステップＳ１２において、リモザイク処理部４２は、リモザイク処理を行う。このリモザイク処理では、ステップＳ１１の処理により画素欠陥を補正済みの撮像画像の画素配列が、図２の画素配列から、ベイヤ配列に変換される。
【００４４】
ステップＳ１３において、カメラ信号処理部４３は、カメラ信号処理を行う。このカメラ信号処理では、例えば、ホワイトバランス、デモザイク、リニアマトリックス、ガンマ補正等の処理が行われる。ステップＳ１３の処理が終了すると、図４の画像処理は終了する。
【００４５】
以上、画像処理について説明した。この画像処理では、１次評価ステップと２次評価ステップの二段階で、撮像画像の注目している注目画素の欠陥が評価される。この２次評価ステップでは、１次評価ステップの評価結果として、欠陥の可能性があると評価された注目画素について、高感度画素（白（Ｗ）画素）の画素値と、色画素（赤（Ｒ）画素、緑（Ｇ）画素、又は青（Ｂ）画素）の画素値との相関に基づいて、注目画素の欠陥の評価がなされる。このような評価が行われることで、当該注目画素が画素欠陥であるのか、あるいは画素欠陥ではなく、空間周波数の非常に高い模様（例えば微小点など）であるのかを正確に区別して、画素欠陥の検出精度を向上させるようにしている。
【００４６】
また、仮に、リモザイク処理部４２により欠陥のある画素を処理してしまうと、フィルタ演算によって欠陥が拡大してしまい、さらに後段での画素欠陥補正処理を行うことが困難となるが、図４の画像処理では、画素欠陥補正処理（ステップＳ１１の処理）が、リモザイク処理（ステップＳ１２の処理）などよりも先に行われるため、そのような事態が発生することを未然に防止することができる。
【００４７】
（画素欠陥補正処理の流れ）
次に、図５のフローチャートを参照して、図４のステップＳ１１の処理に対応する画素欠陥補正処理の流れについて説明する。なお、画素欠陥には、その周辺の画素と比較して画素値が大きい白点欠陥と、その周辺の画素と比較して画素値が小さい黒点欠陥があるが、ここでは、画素欠陥として白点欠陥を検出して画素欠陥を補正する場合について説明する。
【００４８】
ステップＳ３１において、画素欠陥評価部５１は、注目画素の画素値と、その注目画素の周辺の同色画素の画素値の平均値との差分値が、所定の閾値を超えるかどうかを評価する（１次評価ステップ）。この１次評価ステップでは、注目画素とされる画素の色によってその評価方法が異なる。
【００４９】
すなわち、図６に示すように、注目画素がＷ画素（図６の中心のＷ画素）である場合、当該注目画素（Ｗ画素）の周辺のＷ画素は、正方形状に配置されている。このように配置された注目画素（Ｗ画素）と同色の周辺８画素（Ｗ画素）について、図中の矢印で結ばれて対向する垂直方向、水平方向、及び、斜め方向（＋４５度方向と−４５度方向の２方向）の２画素ずつを対として、画素値の平均値をそれぞれ計算する。
【００５０】
これにより、４組のＷ画素についての画素値の平均値がそれぞれ得られるので、この４つの平均値と、注目画素（Ｗ画素）の画素値との差分値を計算して、最も小さい差分値を、所定の閾値と比較する。そして、この比較の結果として、差分値が閾値を超える場合には、当該注目画素（Ｗ画素）は、画素欠陥らしい（画素欠陥である可能性がある）と評価される。一方、差分値が閾値を超えない場合には、当該注目画素（Ｗ画素）は、画素欠陥ではないと評価される。
【００５１】
なお、図６においては、注目画素がＷ画素である場合について説明したが、Ｇ画素を注目画素としたときの周辺のＧ画素は、Ｗ画素を注目画素としたときと同様に正方形状に配置されるので、上述したＷ画素（図６）と同様にして１次評価ステップを行うことができる。
【００５２】
また、図７に示すように、注目画素がＢ画素（図７の中心のＢ画素）である場合、当該注目画素（Ｂ画素）の周辺のＢ画素は、ひし形状に配置されている。このように配置された注目画素（Ｂ画素）と同色の周辺８画素（Ｂ画素）について、図中の矢印で結ばれて対向する垂直方向、水平方向、及び、斜め方向（＋４５度方向と−４５度方向の２方向）の２画素ずつを対として、画素値の平均値をそれぞれ計算する。
【００５３】
そして、４組のＢ画素の画素値についての平均値と、注目画素（Ｂ画素）の画素値との差分値を計算して、最も小さい差分値を、所定の閾値と比較して、差分値が閾値を超える場合には、当該注目画素（Ｂ画素）は、画素欠陥らしい（画素欠陥である可能性がある）と評価され、差分値が閾値を超えない場合には、当該注目画素（Ｂ画素）は、画素欠陥ではないと評価される。
【００５４】
なお、図７においては、注目画素がＢ画素である場合について説明したが、Ｒ画素を注目画素としたときの周辺のＲ画素は、Ｂ画素を注目画素としたときと同様にひし形状に配置されているので、上述したＢ画素（図７）と同様にして１次評価ステップを行うことができる。
【００５５】
また、差分値と比較される所定の閾値としては、あらかじめ定められた固定値を設定してもよいが、例えば、ショットノイズや画素周辺の模様などを考慮して、それらと連動して可変の値が設定されるようにしてもよい。さらに、１次評価ステップをハードウェアで実装する場合には、ラインメモリとシフトレジスタで構成されるバッファが必要とされる。
【００５６】
図５のフローチャートに戻り、ステップＳ３２においては、ステップＳ３１の処理での１次評価ステップの評価結果に基づいて、注目画素について計算された差分値が、所定の閾値を超えているかどうかが判定される。
【００５７】
ステップＳ３２において、差分値が閾値を超えていないと判定された場合、注目画素は画素欠陥ではないので、処理はステップＳ３３に進められる。ステップＳ３３において、画素欠陥補正部５２は、注目画素をそのまま、リモザイク処理部４２に出力する。
【００５８】
一方、ステップＳ３２において、差分値が閾値を超えていると判定された場合、注目画素は画素欠陥らしい（画素欠陥である可能性がある）ので、処理はステップＳ３４に進められる。ステップＳ３４において、画素欠陥評価部５１は、画素欠陥である可能性がある注目画素について、Ｗ画素と色画素の画素値分布の相関を評価する（２次評価ステップ）。
【００５９】
この２次評価ステップにおいては、ステップＳ３１の処理での１次評価ステップで、画素欠陥である可能性があると評価された注目画素について、当該注目画素が、画素欠陥（欠陥点）であるのか、あるいは画素欠陥ではなく、空間周波数の非常に高い、微小点であるのかを区別するために、Ｗ画素と色画素の画素値分布の相関を評価することになる。
【００６０】
ここで、図８には、固体撮像装置２１の光電変換素子（フォトダイオード）による光電変換前（サンプリング前）における、微小点の空間分布を表している。図８においては、横軸は空間位置を表し、縦軸は光電変換素子への入射光量を表しているが、Ｗ画素のほうが色画素よりも感度が高く、入射光量が多くなるため、Ｗ画素の画素値（以下、「Ｗ画素値」ともいう）は、色画素の画素値（以下、「色画素値」ともいう）と比べて、より高いピーク値を持った急峻な分布となる。
【００６１】
また、光電変換素子によるサンプリングを考慮して、横軸を座標とし、縦軸を画素値とすれば、Ｗ画素値と色画素値の分布は、図９のように表すことができる。図９において、Ｗ画素値の分布と色画素値の分布を比較すれば、Ｗ画素値の分布のほうが、入射光量が多い分だけピーク値が大きくなっているが、ピーク位置となる座標が対応しており、Ｗ画素値の分布と色画素値の分布には、相関があると言える。
【００６２】
一方、画素欠陥（欠陥点）の場合には、図１０に示すように、色画素値がピーク値となっても、Ｗ画素値は一定の値となっているため、Ｗ画素値の分布と色画素値の分布には、相関がない。２次評価ステップでは、Ｗ画素値の分布と、色画素値の分布との相関の有無を利用して、微小点と欠陥点が区別されるようにする。
【００６３】
具体的には、注目画素がＢ画素である場合、例えば、次のようにして、微小点と欠陥点が区別される。すなわち、図１１に示すように、まず、微小点の頂点を探索すべく、Ｂ0画素である注目画素に隣接する４つのＷ画素のうち、最も画素値が大きいＷ画素を、Ｗ0画素とする。ここでは、注目画素（Ｂ0画素）の上側のＷ画素が選択された場合を例示している。次に、Ｗ0画素から右側に２画素離れたＷ画素をＷ1とし、さらに、右側に２画素離れたＷ画素をＷ2として選択する。また、Ｂ0画素から右側に４画素離れたＢ画素をＢ1として選択する。
【００６４】
次に、Ｗ画素の画素値の勾配（傾き）と、Ｂ画素の画素値の勾配（傾き）を、下記の式（１）と、式（２）を演算することで求める。
【００６５】
Ｗ_ａ＝（Ｗ0画素の画素値）−（Ｗ2画素の画素値）      ・・・（１）
Ｂ_ａ＝（Ｂ0画素の画素値）−（Ｂ1画素の画素値）      ・・・（２）
【００６６】
そして、下記の条件（３）、かつ、条件（４）の関係が成立する場合に、注目画素（Ｂ0画素）が、画素欠陥（欠陥点）ではなく、微小点であると評価するようにする。
【００６７】
（Ｗ0画素の画素値）≧（Ｗ1画素の画素値）≧（Ｗ2画素の画素値）    ・・・（３）
Ｗ_ａ×（Gain値）＞Ｂ_ａ      ・・・（４）
【００６８】
ただし、条件（４）において、Gain値は、レジスタ等で調整できるパラメータである。
【００６９】
なお、説明が繰り返しになるので、その詳細な説明は省略するが、注目画素（Ｂ0画素）の左側についても、上述した右側と同様に、Ｗ画素とＢ画素の勾配（Ｗ_ａ，Ｂ_ａ）が求められ、条件（３）と条件（４）の関係が成立するかどうかが評価される。そして、注目画素（Ｂ0画素）の左側と右側のいずれか一方で、条件（３）と条件（４）の関係が成立する場合には、最終的に、注目画素（Ｂ0画素）が画素欠陥（欠陥点）ではない、つまり、微小点であると評価する。他方、注目画素（Ｂ0画素）の左側と右側の両方で、条件（３）と条件（４）の関係が成立しない場合には、注目画素（Ｂ0画素）が画素欠陥であると評価する。
【００７０】
なお、図１１では、注目画素がＢ画素である場合を例に説明したが、他の色画素（Ｒ画素又はＧ画素）が注目画素とされる場合でも、上述した注目画素がＢ画素である場合と同様にして、注目画素（Ｒ画素又はＧ画素）が、画素欠陥であるか（あるいは微小点であるか）どうかが評価される。
【００７１】
また、注目画素がＷ画素である場合、例えば、次のようにして、微小点と欠陥点が区別される。すなわち、図１２に示すように、まず、Ｗ0画素である注目画素に隣接する４つの色画素のうち、最も画素値が大きい色画素を選択する。ここでは、注目画素（Ｗ0画素）の下側のＢ画素が、Ｂ0として選択された場合を例示している。次に、Ｂ0画素から右側に４画素離れたＢ画素をＢ1として選択する。また、注目画素をＷ0とし、Ｗ0画素から右側に２画素離れたＷ画素をＷ1とし、さらに、右側に２画素離れたＷ画素をＷ2として選択する。
【００７２】
次に、Ｂ画素の画素値の勾配（傾き）と、Ｗ画素の画素値の勾配（傾き）を、下記の式（５）と、式（６）を演算することで求める。
【００７３】
Ｂ_ａ＝（Ｂ0画素の画素値）−（Ｂ1画素の画素値）      ・・・（５）
Ｗ_ａ＝（Ｗ0画素の画素値）−（Ｗ2画素の画素値）      ・・・（６）
【００７４】
そして、下記の条件（７）、かつ、条件（８）の関係が成立する場合に、注目画素（Ｗ0画素）が、画素欠陥（欠陥点）ではなく、微小点であると評価するようにする。
【００７５】
（Ｗ0画素の画素値）≧（Ｗ1画素の画素値）≧（Ｗ2画素の画素値）    ・・・（７）
Ｂ_ａ×（Gain値）＞Ｗ_ａ      ・・・（８）
【００７６】
ただし、条件（８）において、Gain値は、レジスタ等で調整できるパラメータである。
【００７７】
なお、説明が繰り返しになるので、その詳細な説明は省略するが、注目画素（Ｗ0画素）の左側についても、上述した右側と同様に、Ｂ画素とＷ画素の勾配（Ｂ_ａ，Ｗ_ａ）が求められ、条件（７）と条件（８）の関係が成立するかどうかが評価される。そして、注目画素（Ｗ0画素）の左側と右側のいずれか一方で、条件（７）と条件（８）の関係が成立する場合には、最終的に、注目画素（Ｗ0画素）が画素欠陥（欠陥点）ではない、つまり、微小点であると評価する。他方、注目画素（Ｗ0画素）の左側と右側の両方で、条件（７）と条件（８）の関係が成立しない場合には、注目画素（Ｗ0画素）が画素欠陥であると評価する。
【００７８】
図５のフローチャートに戻り、ステップＳ３５においては、ステップＳ３４の処理での２次評価ステップの評価結果に基づいて、注目画素が画素欠陥であるかどうかが判定される。
【００７９】
ステップＳ３５において、注目画素が画素欠陥ではなく、微小点であると判定された場合、処理はステップＳ３３に進められる。ステップＳ３３において、画素欠陥補正部５２は、注目画素をそのまま、リモザイク処理部４２に出力する。すなわち、１次評価ステップにおいて、画素欠陥である可能を有すると評価された注目画素であっても、２次評価ステップにおいて、画素欠陥ではないと評価された場合には、当該注目画素に対する補正処理が行われないようにする。
【００８０】
一方、ステップＳ３５において、注目画素が画素欠陥であると判定された場合、処理はステップＳ３６に進められる。ステップＳ３６において、画素欠陥補正部５２は、画素欠陥である注目画素を補正し、補正された注目画素を、リモザイク処理部４２に出力する。なお、注目画素に対する補正処理としては、例えば、１次評価ステップで、注目画素の評価の際にその周辺の同色画素を用いたが、同様にして周辺の同色画素を用い、注目画素との差分比較で選択された２画素の平均値や２画素のうち注目画素の値に近いほうの値で注目画素を置き換えるなどして、注目画素の補正を行うことができる。
【００８１】
ステップＳ３３又はＳ３６の処理が終了すると、処理はステップＳ３７に進められる。ステップＳ３７においては、全ての注目画素の評価が終了したかどうかが判定されるステップＳ３７において、全ての注目画素の評価が終了していないと判定された場合、ステップＳ３１の処理に戻り、次の注目画素に対して、上述したステップＳ３１乃至Ｓ３６の処理が繰り返される。そして、ステップＳ３１乃至Ｓ３７の処理が繰り返され、ステップＳ３７において、全ての注目画素の評価が終了したと判定された場合、画素欠陥補正処理は終了し、処理は、図４のステップＳ１１の処理に戻り、それ以降の処理が実行される。
【００８２】
以上、画素欠陥補正処理について説明した。この画素欠陥補正処理では、１次評価ステップと２次評価ステップの２段階の評価が行われ、特に、２次評価ステップでは、１次評価ステップの評価結果として、欠陥の可能性があると評価された注目画素について、当該注目画素の周辺の高感度画素（白（Ｗ）画素）の画素値と、色画素（赤（Ｒ）画素、緑（Ｇ）画素、又は青（Ｂ）画素）の画素値の分布情報を用いて、高感度画素の画素値と色画素の画素値との相関が求められる。
【００８３】
ここでは、注目画素が色画素である場合、注目画素の周辺の高感度画素の画素値の勾配と、注目画素の周辺の同色の色画素の画素値との勾配が比較され、注目画素が高感度画素である場合、注目画素の周辺の色画素の画素値の勾配と、注目画素の周辺の高感度画素の画素値の勾配が比較されることで、高感度画素の画素値と、色画素の画素値との相関が求められる。そして、２次評価ステップでは、このようにして求められた相関に基づいて、１次評価ステップで、欠陥の可能性があると評価された注目画素について、画素欠陥であるのか、あるいは画素欠陥ではなく、空間周波数の非常に高い模様（例えば微小点など）であるのかの評価が行われる。
【００８４】
このように、注目画素の周辺の高感度画素の画素値と、色画素の画素値の分布情報を用いて、高感度画素の画素値と色画素の画素値との相関を求めて、相関がない場合に、当該注目画素を画素欠陥であるとすることで、当該注目画素が画素欠陥であるのか、あるいは画素欠陥ではなく、空間周波数の非常に高い模様（例えば微小点など）であるのかを正確に区別することができるので、画素欠陥の検出精度を向上させることができる。その結果として、高性能な欠陥補正を実現することができる。また、欠陥ではない空間周波数の高い模様を、欠陥であるとして誤判定や誤補正することで生じる、模様の消失や偽色の発生を抑制することができる。
【００８５】
また、画素欠陥の補正を行うために、あらかじめ欠陥の位置をメモリに登録しておく方式や、撮像条件を代えた２枚の撮像画像を用いて欠陥の位置を検出する方式があるが、両者ともに欠陥位置や画像を保存するためのメモリが必要になるため、ハードウェアコストが増大することになるが、本技術では、特別なメモリを用意する必要がないため、ハードウェアコストが増大することを抑制することができる。
【００８６】
さらに、ベイヤ配列を有する固体撮像素子（イメージセンサ）において、周辺の画素情報を用いて画素欠陥検出を行う場合、注目画素と、周囲の同色画素の平均値との差分が大きいときに、注目画素を欠陥画素である、と検出する方式が知られている。しかしながら、ベイヤ配列では周囲の同色画素が、注目画素と１画素おきに存在しており、この方式であると、空間周波数が非常に高い模様（例えば、微小点等）を欠陥であると誤検出して、誤補正してしまう可能性がある。さらに配列内に、原色画素に白（Ｗ）画素が加わる場合、色画素の密度がさらに減って、同色の画素が遠くなるために、誤検出と誤補正がより増えてしまう可能性がある。
【００８７】
また、注目画素と隣接する異なる色の画素について、周囲の同色の画素との比較結果を欠陥判定に用いる方式もあるが、同一の色の画素同士のみを比較してしまうと、高周波模様が有彩色である場合には、有効でない可能性がある。一方、本技術では、上述した１次評価ステップと２次評価ステップの二段階の評価結果に応じて、欠陥であると評価された注目画素に対する補正処理が行われるため、確実に、画素欠陥を検出して、補正処理を行うことができる。
【００８８】
＜４．変形例＞
【００８９】
上述した説明では、２次評価ステップ（図５のステップＳ３４の処理）として、注目画素について、Ｗ画素と色画素の画素値の水平方向の勾配（傾き）を演算する方法について説明したが、注目画素に対して垂直方向に画素を選択して、垂直方向のＷ画素と色画素の勾配（傾き）を求めるようにしてもよい。
【００９０】
例えば、図１３に示すように、注目画素がＢ画素である場合、注目画素（Ｂ画素）に隣接する４つのＷ画素のうち、最も画素値が大きいＷ画素を選択する。ここでは、注目画素（Ｂ画素）の右側のＷ画素が選択された場合を例示している。次に、注目画素（Ｂ画素）の右側のＷ画素から上側に２画素離れたＷ画素と、４画素離れたＷ画素を選択する。
【００９１】
また、注目画素（Ｂ画素）から上側に４画素離れたＢ画素を選択する。そして、このようにして選択されたＷ画素の画素値の勾配（傾き）と、Ｂ画素の画素値の勾配（傾き）を、上述した水平方向の場合と同様にして求めることができるので、所定の条件の関係（例えば、上述した条件（３）や条件（４）の関係など）が成立する場合に、当該注目画素（Ｂ画素）が、画素欠陥（欠陥点）ではなく、微小点であると評価することができる。なお、図１３では、注目画素がＢ画素である場合について述べたが、注目画素がＷ画素などである場合も同様に評価することができる。
【００９２】
また、上述した説明では、画素欠陥として白点欠陥を検出して画素欠陥を補正する場合について説明したが、先に述べた画素値の大小関係を逆転すれば、黒点欠陥の検出にあてはめることができる。
【００９３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００９４】
また、本技術は、以下のような構成をとることができる。
【００９５】
（１）
色画素と、前記色画素よりも高感度となる高感度画素が２次元状に配列された固体撮像装置からの撮像画像の注目している注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価する画素欠陥評価部と、
欠陥であると評価された前記注目画素を補正する画素欠陥補正部と
を備える画像処理装置。
（２）
前記画素欠陥評価部は、前記注目画素の周辺の前記高感度画素の画素値と前記色画素の画素値の分布情報を用い、前記高感度画素の画素値と、前記色画素の画素値との相関を求める
（１）に記載の画像処理装置。
（３）
前記画素欠陥評価部は、
前記注目画素が前記色画素である場合、前記注目画素の周辺の前記高感度画素の画素値の勾配と、前記注目画素の周辺の同色の色画素の画素値との勾配を比較し、
前記注目画素が前記高感度画素である場合、前記注目画素の周辺の色画素の画素値の勾配と、前記注目画素の周辺の前記高感度画素の画素値の勾配を比較して、
前記高感度画素の画素値と、前記色画素の画素値との相関を求める
（２）に記載の画像処理装置。
（４）
前記画素欠陥評価部は、前記注目画素に対して水平方向又は垂直方向となる、前記高感度画素の画素値の勾配と色画素の画素値の勾配を求める
（３）に記載の画像処理装置。
（５）
前記画素欠陥評価部は、
前記注目画素の画素値と、前記注目画素の周辺の同色の色画素の画素値の平均値との差分値を、所定の閾値と比較することで、前記注目画素の欠陥の可能性を評価し、
欠陥の可能性があると評価された前記注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記高感度画素は、白（Ｗ）画素であり、
前記色画素は、赤（Ｒ）画素、緑（Ｇ）画素、又は、青（Ｂ）画素である
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
画像処理装置の画像処理方法において、
前記画像処理装置が、
色画素と、前記色画素よりも高感度となる高感度画素が２次元状に配列された固体撮像装置からの撮像画像の注目している注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価し、
欠陥であると評価された前記注目画素を補正する
ステップを含む画像処理方法。
（８）
色画素と、前記色画素よりも高感度となる高感度画素が２次元状に配列された固体撮像装置と、
前記固体撮像装置からの撮像画像の注目している注目画素について、前記高感度画素の画素値と、前記色画素の画素値との相関に基づいて、前記注目画素の欠陥を評価する画素欠陥評価部と、欠陥であると評価された前記注目画素を補正する画素欠陥補正部とを有する画像処理装置と
を備える画像処理システム。
【符号の説明】
【００９６】
１０  画像処理システム，  ２１  固体撮像装置，  ２２  画像処理装置，  ２３  記録装置，  ３１  カラーフィルタ，  ４１  画素欠陥補正処理部，  ４２  リモザイク処理部，  ４３  カメラ信号処理部，  ５１  画素欠陥評価部，  ５２  画素欠陥補正部
【図１】
2016048815.tif 000003
【図２】
2016048815.tif 000004
【図３】
2016048815.tif 000005
【図４】
2016048815.tif 000006
【図５】
2016048815.tif 000007
【図６】
2016048815.tif 000008
【図７】
2016048815.tif 000009
【図８】
2016048815.tif 000010
【図９】
2016048815.tif 000011
【図１０】
2016048815.tif 000012
【図１１】
2016048815.tif 000013
【図１２】
2016048815.tif 000014
【図１３】
2016048815.tif 000015