(57)【要約】【課題】より簡単かつ高精度に欠陥画素を検出できるようにする。【解決手段】近傍領域抽出部は、画像上の注目画素近傍の領域を注目近傍領域として抽出する。テクスチャ方向判定部は、注目近傍領域について、注目画素と同じ色の画素の画素値の変化の小さい方向をテクスチャ方向として特定する。欠陥画素検出部は、注目画素を中心とし、テクスチャ方向に連続して並ぶいくつかの画素を用いて、ラプラシアンを算出するとともに、異なる画素の組ごとに算出した複数のラプラシアンを閾値と比較して、注目画素が欠陥画素であるかを特定する。このように複数のラプラシアンを用いることで、注目画素が単独欠陥画素であるか、連続欠陥画素であるかによらず、簡単かつ高精度に欠陥画素を検出することができる。本発明は、画像処理装置に適用することができる。【選択図】図１
2012217139.tif 000002
【特許請求の範囲】
【請求項１】
画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定する判定部と、
前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する検出部と
を備える画像処理装置。
【請求項２】
前記検出部は、
前記画像上において、前記注目画素を含む前記テクスチャ方向に連続して並ぶ所定数の画素の組について、画素の画素値の２次微分値を算出する２次微分値算出部と、
複数の異なる前記組の前記２次微分値に基づいて、前記注目画素が欠陥画素であるか否かを判定する比較部と
を備える
請求項１に記載の画像処理装置。
【請求項３】
前記比較部は、前記複数の異なる前記組の前記２次微分値のそれぞれが所定の閾値より大きい場合、前記注目画素が欠陥画素であると判定する
請求項２に記載の画像処理装置。
【請求項４】
前記注目画素と同色であり、前記テクスチャ方向に並ぶ前記注目画素近傍の画素に基づいて、前記注目画素を補正する欠陥画素補正部をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
前記欠陥画素補正部は、
前記注目画素に対して、前記テクスチャ方向と平行な第１の方向に隣接する２つの画素の微分値と、前記注目画素に対して、前記第１の方向と反対の第２の方向に隣接する２つの画素の微分値とを算出する微分値算出部と、
前記注目画素に対して、前記第１の方向と前記第２の方向のうち、前記微分値が小さい方向に隣接する２つの画素を加重平均して補正後の前記注目画素とする補正値算出部と
を備える
請求項４に記載の画像処理装置。
【請求項６】
前記判定部は、前記近傍領域内の同じ方向に並ぶ画素間の微分値に基づいて、前記近傍領域における前記方向の微分値を算出し、複数の前記方向のうち、微分値が最小となる前記方向を前記テクスチャ方向とする
請求項１に記載の画像処理装置。
【請求項７】
画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定する判定部と、
前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する検出部と
を備える画像処理装置の画像処理方法であって、
前記判定部が前記テクスチャ方向を判定し、
前記検出部が前記欠陥画素を検出する
ステップを含む画像処理方法。
【請求項８】
画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定し、
前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項９】
各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正する補正部と、
前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう誤補正判定部と
を備える画像処理装置。
【請求項１０】
前記誤補正判定部は、少なくとも前記注目画素近傍の前記注目画素と異なる色成分を有する画素、前記注目画素、および前記補正注目画素に基づいて前記誤補正判定を行なう
請求項９に記載の画像処理装置。
【請求項１１】
前記近傍領域内における前記注目画素と同色の画素の平均値と、前記近傍領域内における前記注目画素と異なる色の画素の平均値との比をホワイトバランスとして算出するホワイトバランス算出部と、
前記注目画素近傍に位置する、前記注目画素と異なる色の画素の平均値に前記ホワイトバランスを乗算することで、無彩色化平均値を算出する無彩色化平均値算出部と
をさらに備え、
前記誤補正判定部は、前記無彩色化平均値、前記注目画素、および前記補正注目画素を比較することで前記誤補正判定を行なう
請求項１０に記載の画像処理装置。
【請求項１２】
前記誤補正判定部は、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値以下である場合、前記注目画素を最終的な前記注目画素として出力する
請求項１１に記載の画像処理装置。
【請求項１３】
前記誤補正判定部は、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値より大きい場合、前記補正注目画素を最終的な前記注目画素として出力する
請求項１２に記載の画像処理装置。
【請求項１４】
前記補正部は、前記注目画素に対する欠陥画素補正処理またはノイズ除去処理を行うことで、前記注目画素を補正する
請求項１３に記載の画像処理装置。
【請求項１５】
各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正する補正部と、
前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう誤補正判定部と
を備える画像処理装置の画像処理方法であって、
前記補正部が前記注目画素に対する補正を行い、
前記誤補正判定部が前記注目画素に対する誤補正判定を行う
ステップを含む画像処理方法。
【請求項１６】
各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正し、
前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単かつ高精度に欠陥画素を検出できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像上の欠陥画素を検出し、検出された欠陥画素を補正する技術が知られている。欠陥画素とは、画像上の画素のうち、本来とるべき値を画素値として有していない画素をいい、欠陥画素は白色や黒色の画素となることが多い。
【０００３】
このような欠陥画素を補正する技術として、被写体のエッジ方向を検出し、そのエッジ方向に基づいて欠陥画素を検出するとともに、検出された欠陥画素を補正する技術が提案されている（例えば、特許文献１参照）。
【０００４】
また、同色の欠陥画素が連続して並んでいる場合に、それらの欠陥画素（以下、連続欠陥画素とも称する）を検出して補正する技術も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１５４２７６号公報
【特許文献２】特開２０１０−１３０２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、簡単かつ高精度に欠陥画素を検出することはできなかった。例えば、エッジ方向に基づいて欠陥画素を検出する方法では、連続欠陥画素を検出することができなかった。
【０００７】
また、連続欠陥画素を検出する技術では、連続欠陥画素を検出するための判別部と、処理対象の画素自身は欠陥があるが、周囲の隣接する画素には欠陥がない、いわゆる単独欠陥画素を検出するための判別部とを個別に設けなければならなかった。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、より簡単かつ高精度に欠陥画素を検出することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の第１の側面の画像処理装置は、画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定する判定部と、前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する検出部とを備える。
【００１０】
前記検出部には、前記画像上において、前記注目画素を含む前記テクスチャ方向に連続して並ぶ所定数の画素の組について、画素の画素値の２次微分値を算出する２次微分値算出部と、複数の異なる前記組の前記２次微分値に基づいて、前記注目画素が欠陥画素であるか否かを判定する比較部とを設けることができる。
【００１１】
前記比較部には、前記複数の異なる前記組の前記２次微分値のそれぞれが所定の閾値より大きい場合、前記注目画素が欠陥画素であると判定させることができる。
【００１２】
画像処理装置には、前記注目画素と同色であり、前記テクスチャ方向に並ぶ前記注目画素近傍の画素に基づいて、前記注目画素を補正する欠陥画素補正部をさらに設けることができる。
【００１３】
前記欠陥画素補正部には、前記注目画素に対して、前記テクスチャ方向と平行な第１の方向に隣接する２つの画素の微分値と、前記注目画素に対して、前記第１の方向と反対の第２の方向に隣接する２つの画素の微分値とを算出する微分値算出部と、前記注目画素に対して、前記第１の方向と前記第２の方向のうち、前記微分値が小さい方向に隣接する２つの画素を加重平均して補正後の前記注目画素とする補正値算出部とを設けることができる。
【００１４】
前記判定部には、前記近傍領域内の同じ方向に並ぶ画素間の微分値に基づいて、前記近傍領域における前記方向の微分値を算出させ、複数の前記方向のうち、微分値が最小となる前記方向を前記テクスチャ方向とさせることができる。
【００１５】
本技術の第１の側面の画像処理方法またはプログラムは、画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定し、前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出するステップを含む。
【００１６】
本技術の第１の側面においては、画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向が判定され、前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかが検出される。
【００１７】
本技術の第２の側面の画像処理装置は、各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正する補正部と、前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう誤補正判定部とを備える。
【００１８】
前記誤補正判定部には、少なくとも前記注目画素近傍の前記注目画素と異なる色成分を有する画素、前記注目画素、および前記補正注目画素に基づいて前記誤補正判定を行なわせることができる。
【００１９】
画像処理装置には、前記近傍領域内における前記注目画素と同色の画素の平均値と、前記近傍領域内における前記注目画素と異なる色の画素の平均値との比をホワイトバランスとして算出するホワイトバランス算出部と、前記注目画素近傍に位置する、前記注目画素と異なる色の画素の平均値に前記ホワイトバランスを乗算することで、無彩色化平均値を算出する無彩色化平均値算出部とをさらに設け、前記誤補正判定部には、前記無彩色化平均値、前記注目画素、および前記補正注目画素を比較することで前記誤補正判定を行なわせることができる。
【００２０】
前記誤補正判定部には、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値以下である場合、前記注目画素を最終的な前記注目画素として出力させることができる。
【００２１】
前記誤補正判定部には、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値より大きい場合、前記補正注目画素を最終的な前記注目画素として出力させることができる。
【００２２】
前記補正部には、前記注目画素に対する欠陥画素補正処理またはノイズ除去処理を行わせることで、前記注目画素を補正させることができる。
【００２３】
本技術の第２の側面の画像処理方法またはプログラムは、各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正し、前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なうステップを含む。
【００２４】
本技術の第２の側面においては、各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素が補正され、前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定が行なわれる。
【発明の効果】
【００２５】
本技術の第１の側面および第２の側面によれば、より簡単かつ高精度に欠陥画素を検出することができる。
【図面の簡単な説明】
【００２６】
【図１】画像処理装置の一実施の形態の構成例を示す図である。
【図２】テクスチャ方向判定部の構成例を示す図である。
【図３】欠陥画素検出部の構成例を示す図である。
【図４】欠陥画素補正部の構成例を示す図である。
【図５】欠陥画素補正処理を説明するフローチャートである。
【図６】水平方向の微分値の算出について説明する図である。
【図７】垂直方向の微分値の算出について説明する図である。
【図８】左斜め方向の微分値の算出について説明する図である。
【図９】右斜め方向の微分値の算出について説明する図である。
【図１０】２次微分値の算出について説明する図である。
【図１１】２次微分値の算出について説明する図である。
【図１２】欠陥画素の検出について説明する図である。
【図１３】欠陥画素の補正について説明する図である。
【図１４】連続欠陥画素の検出について説明する図である。
【図１５】画像上における画素の配列例を示す図である。
【図１６】テクスチャ方向の他の特定方法について説明する図である。
【図１７】画像処理装置の他の構成例を示す図である。
【図１８】欠陥画素補正処理を説明するフローチャートである。
【図１９】注目近傍領域の平均値の算出について説明する図である。
【図２０】Ｇ画素補正処理を説明するフローチャートである。
【図２１】コンピュータの構成例を示す図である。
【図２２】画像処理装置の他の構成例を示す図である。
【図２３】欠陥画素検出・補正部の構成例を示す図である。
【図２４】誤補正判定処理部の構成例を示す図である。
【図２５】欠陥画素補正処理を説明するフローチャートである。
【図２６】ホワイトバランスの算出について説明する図である。
【図２７】無彩色化平均値の算出について説明する図である。
【図２８】画素の無彩色化について説明する図である。
【図２９】無彩色化平均値の算出について説明する図である。
【図３０】画像上における画素の配列例を示す図である。
【図３１】画像処理装置の他の構成例を示す図である。
【図３２】欠陥画素補正処理を説明するフローチャートである。
【図３３】画像処理装置の他の構成例を示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２８】
〈第１の実施の形態〉
［画像処理装置の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００２９】
画像処理装置１１は、画像上の注目する画素（以下、注目画素と称する）の画素値や位置、色成分情報などが含まれる注目画素情報を入力とし、必要に応じて欠陥が補正された注目画素を出力する。
【００３０】
画像処理装置１１は、近傍領域抽出部２１、テクスチャ方向判定部２２、欠陥画素検出部２３、および欠陥画素補正部２４から構成される。
【００３１】
例えば、近傍領域抽出部２１には、注目画素近傍の複数の画素の画素値、各画素の位置、各画素が有する色成分を示す色成分情報からなる注目画素情報が供給される。近傍領域抽出部２１は、供給された注目画素情報から、注目画素を含む、画像上の注目画素近傍のいくつかの画素からなる近傍領域情報を抽出し、テクスチャ方向判定部２２および欠陥画素検出部２３に供給する。
【００３２】
テクスチャ方向判定部２２は、近傍領域抽出部２１から供給された近傍領域情報に基づいて、画像上のテクスチャの方向を特定し、特定されたテクスチャ方向を示す方向情報を欠陥画素検出部２３および欠陥画素補正部２４に供給する。
【００３３】
欠陥画素検出部２３は、テクスチャ方向判定部２２から供給された方向情報と、近傍領域抽出部２１から供給された近傍領域情報とに基づいて、注目画素が欠陥画素であるか否かを特定し、その特定結果と注目画素近傍の画素とを欠陥画素補正部２４に供給する。
【００３４】
欠陥画素補正部２４は、欠陥画素検出部２３から供給された、欠陥画素であるかの特定結果と注目画素近傍の画素、およびテクスチャ方向判定部２２からの方向情報に基づいて、必要に応じて注目画素を補正し、補正後の注目画素を出力する。
【００３５】
［テクスチャ方向判定部の構成例］
また、図１のテクスチャ方向判定部２２は、より詳細には図２に示すように構成される。
【００３６】
すなわち、テクスチャ方向判定部２２は、微分値算出部５１−１乃至微分値算出部５１−４、および微分値比較部５２から構成される。
【００３７】
微分値算出部５１−１乃至微分値算出部５１−４は、近傍領域抽出部２１から供給された近傍領域情報に基づいて、画像上の注目画素近傍の領域における各方向の微分値を算出し、微分値比較部５２に供給する。なお、以下、微分値算出部５１−１乃至微分値算出部５１−４を、特に区別する必要のない場合、単に微分値算出部５１とも称する。
【００３８】
微分値比較部５２は、微分値算出部５１から供給された各方向の微分値を比較して、テクスチャ方向を特定し、特定されたテクスチャ方向を示す方向情報を欠陥画素検出部２３および欠陥画素補正部２４に供給する。例えば、各方向のうち、微分値が最小となる方向がテクスチャの方向とされる。
【００３９】
［欠陥画素検出部の構成例］
さらに、図１の欠陥画素検出部２３は、より詳細には図３に示すように構成される。
【００４０】
すなわち、欠陥画素検出部２３は、画素選択部８１、２次微分値算出部８２、および微分値比較部８３から構成される。
【００４１】
画素選択部８１は、近傍領域抽出部２１から供給された近傍領域情報、およびテクスチャ方向判定部２２の微分値比較部５２から供給された方向情報に基づいて、画像上のテクスチャ方向に並んでいる、注目画素を含むいくつかの画素を選択する。画素選択部８１は、選択された画素（以下、選択画素とも称する）を、２次微分値算出部８２および欠陥画素補正部２４に供給する。
【００４２】
２次微分値算出部８２は、画素選択部８１から供給された選択画素に基づいて、注目画素を含むいくつかの連続して並ぶ画素の組ごとに２次微分値を算出し、微分値比較部８３に供給する。微分値比較部８３は、２次微分値算出部８２から供給された複数の２次微分値に基づいて、注目画素が欠陥画素であるかを特定し、その特定結果を欠陥画素補正部２４に供給する。
【００４３】
［欠陥画素補正部の構成例］
また、図１の欠陥画素補正部２４は、より詳細には図４に示すように構成される。すなわち、欠陥画素補正部２４は、微分値算出部１１１および補正値算出部１１２から構成される。
【００４４】
微分値算出部１１１は、微分値比較部８３から供給された欠陥画素の特定結果に応じて、画素選択部８１からの選択画素をそのまま補正値算出部１１２に供給するか、または選択画素とともに、注目画素近傍の画素の微分値を補正値算出部１１２に供給する。また、微分値算出部１１１は、画素選択部８１からの選択画素と、微分値比較部５２からの方向情報とに基づいて、注目画素近傍の画素の微分値を算出する。
【００４５】
補正値算出部１１２は、微分値算出部１１１から選択画素および微分値が供給された場合、それらの選択画素と微分値に基づいて注目画素を補正して、補正された注目画素を出力する。また、補正値算出部１１２は、微分値算出部１１１から選択画素のみが供給された場合、選択画素に含まれる注目画素をそのまま出力する。
【００４６】
［欠陥画素補正処理の説明］
ところで、画像処理装置１１に注目画素情報が供給され、欠陥画素の検出と補正が指示されると、画像処理装置１１は、欠陥画素補正処理を行って、注目画素の画素値を必要に応じて補正し、出力する。以下、図５のフローチャートを参照して、画像処理装置１１による欠陥画素補正処理について説明する。
【００４７】
この欠陥画素補正処理は、欠陥画素の検出と補正を行おうとする処理対象の画像上の画素ごとに行なわれる。なお、以下においては、処理対象の画像は、Ｒ，Ｇ，Ｂの各色の画素からなり、それらの各色の画素がベイヤー配列で並べられているとする。また、以下、Ｒ，Ｇ，Ｂの各色の画素を、それぞれＲ画素，Ｇ画素，Ｂ画素とも呼ぶこととする。
【００４８】
ステップＳ１１において、近傍領域抽出部２１は、入力された注目画素情報から、近傍領域情報を抽出し、テクスチャ方向判定部２２の微分値算出部５１、および欠陥画素検出部２３の画素選択部８１に供給する。
【００４９】
例えば、注目画素がＧ画素である場合、近傍領域抽出部２１は、画像上における、注目画素を中心とする水平方向に９画素、垂直方向に９画素からなる矩形領域内から、その矩形領域に含まれるＧ画素を抽出し、近傍領域情報とする。
【００５０】
ステップＳ１２において、微分値算出部５１は、近傍領域抽出部２１から供給された近傍領域情報に基づいて、各方向の微分値を算出し、微分値比較部５２に供給する。
【００５１】
ここで、図６乃至図９を参照して、各方向の微分値の算出について説明する。なお、図６乃至図９において、横方向および縦方向は、それぞれｘ方向およびｙ方向を示している。また、図６乃至図９において、１つの四角形は画像上の１つの画素を表しており、それらの画素のうち、四角形内に文字「Ｇ」が記されている画素はＧ画素となっている。
【００５２】
例えば、図６に示すように、注目画素ＣＰ１１を中心とし、ｘ方向に９画素、ｙ方向に９画素からなる矩形領域（以下、注目近傍領域とも称する）内のＧ画素が、近傍領域情報として供給されたとする。この場合、微分値算出部５１−１は、注目近傍領域について、図中、水平方向（ｘ方向）の微分値ＧＨを算出する。
【００５３】
具体的には、微分値算出部５１−１は、注目近傍領域内にある図中、横方向に互いに隣接して並ぶＧ画素をペアとする。例えば、注目画素ＣＰ１１と、その注目画素ＣＰ１１の図中、左側に隣接するＧ画素である画素Ｐ１２とが、１つのペアとされる。
【００５４】
微分値算出部５１−１は、注目近傍領域内の各Ｇ画素のペアについて、それらのペアのＧ画素の画素値の微分値、つまり画素値の差分絶対値を算出し、各ペアについて得られた差分絶対値の総和を、水平方向の微分値ＧＨとする。
【００５５】
例えば、ｘｙ座標系における座標(x,y)にあるＧ画素と、座標(x-2,y)にあるＧ画素とがペアとされ、座標(x,y)にあるＧ画素の画素値がG(x,y)であり、座標(x-2,y)にあるＧ画素の画素値がG(x-2,y)であるとする。この場合、これらのＧ画素のペアの微分値gradH(x,y)は、|G(x,y)-G(x-2,y)|により求まる。
【００５６】
この微分値gradH(x,y)は、処理対象のＧ画素の位置における図中、水平方向（横方向）へのＧ画素の画素値の変化の大きさを示している。微分値ＧＨは、注目近傍領域内の各Ｇ画素の微分値の総和であるから、微分値ＧＨは、注目近傍領域全体における水平方向へのＧ画素の画素値の変化の大きさを示しているということができる。例えば、微分値ＧＨが小さいほど、注目近傍領域では、Ｇ画素の画素値の水平方向への変化が小さいことになる。
【００５７】
また、例えば図７に示すように、微分値算出部５１−２は、注目近傍領域について、図中、垂直方向（ｙ方向）の微分値ＧＶを算出する。
【００５８】
具体的には、微分値算出部５１−２は、注目近傍領域内にある図中、縦方向に互いに隣接して並ぶＧ画素をペアとする。例えば、注目画素ＣＰ１１と、その注目画素ＣＰ１１の図中、上側に隣接するＧ画素である画素Ｐ１３とが、１つのペアとされる。
【００５９】
微分値算出部５１−２は、注目近傍領域内の各Ｇ画素のペアについて、それらのペアのＧ画素の画素値の微分値を算出し、各ペアについて得られた微分値の総和を、垂直方向の微分値ＧＶとする。
【００６０】
例えば、ｘｙ座標系における座標(x,y)にあるＧ画素と、座標(x,y-2)にあるＧ画素とがペアとされ、座標(x,y)にあるＧ画素の画素値がG(x,y)であり、座標(x,y-2)にあるＧ画素の画素値がG(x,y-2)であるとする。この場合、これらのＧ画素のペアの微分値gradV(x,y)は、|G(x,y)-G(x,y-2)|により求まる。したがって、微分値ＧＶは、注目近傍領域全体における垂直方向へのＧ画素の画素値の変化の大きさを示している。
【００６１】
さらに、例えば図８に示すように、微分値算出部５１−３は、注目近傍領域について、図中、左上方向（左斜め方向）の微分値ＧＤを算出する。
【００６２】
具体的には、微分値算出部５１−３は、注目近傍領域内にある図中、左斜め方向に互いに隣接して並ぶＧ画素をペアとする。例えば、注目画素ＣＰ１１と、その注目画素ＣＰ１１の図中、左上に隣接するＧ画素である画素Ｐ１４とが、１つのペアとされる。
【００６３】
微分値算出部５１−３は、注目近傍領域内の各Ｇ画素のペアについて、それらのペアのＧ画素の画素値の微分値を算出し、各ペアについて得られた微分値の総和を、左斜め方向の微分値ＧＤとする。
【００６４】
例えば、ｘｙ座標系における座標(x,y)にあるＧ画素と、座標(x-1,y-1)にあるＧ画素とがペアとされ、座標(x,y)にあるＧ画素の画素値がG(x,y)であり、座標(x-1,y-1)にあるＧ画素の画素値がG(x-1,y-1)であるとする。この場合、これらのＧ画素のペアの微分値gradD(x,y)は、|G(x,y)-G(x-1,y-1)|により求まる。したがって、微分値ＧＤは、注目近傍領域全体における左斜め方向へのＧ画素の画素値の変化の大きさを示している。
【００６５】
さらに、例えば図９に示すように、微分値算出部５１−４は、注目近傍領域について、図中、右上方向（右斜め方向）の微分値ＧＡを算出する。
【００６６】
具体的には、微分値算出部５１−４は、注目近傍領域内にある図中、右斜め方向に互いに隣接して並ぶＧ画素をペアとする。例えば、注目画素ＣＰ１１と、その注目画素ＣＰ１１の図中、右上に隣接するＧ画素である画素Ｐ１５とが、１つのペアとされる。
【００６７】
微分値算出部５１−４は、注目近傍領域内の各Ｇ画素のペアについて、それらのペアのＧ画素の画素値の微分値を算出し、各ペアについて得られた微分値の総和を、右斜め方向の微分値ＧＡとする。
【００６８】
例えば、ｘｙ座標系における座標(x,y)にあるＧ画素と、座標(x+1,y-1)にあるＧ画素とがペアとされ、座標(x,y)にあるＧ画素の画素値がG(x,y)であり、座標(x+1,y-1)にあるＧ画素の画素値がG(x+1,y-1)であるとする。この場合、これらのＧ画素のペアの微分値gradA(x,y)は、|G(x,y)-G(x+1,y-1)|により求まる。したがって、微分値ＧＡは、注目近傍領域全体における右斜め方向へのＧ画素の画素値の変化の大きさを示している。
【００６９】
以上のようにして、微分値算出部５１−１乃至微分値算出部５１−４は、注目近傍領域の各方向の微分値ＧＨ、微分値ＧＶ、微分値ＧＤ、および微分値ＧＡを算出すると、それらの微分値を微分値比較部５２に供給する。
【００７０】
図５のフローチャートの説明に戻り、ステップＳ１２において、各方向の微分値が算出されると、処理はステップＳ１３に進む。
【００７１】
ステップＳ１３において、微分値比較部５２は、微分値算出部５１から供給された各方向の微分値を比較して、画像上のテクスチャ方向を特定する。
【００７２】
具体的には、微分値比較部５２は、微分値ＧＨ、微分値ＧＶ、微分値ＧＤ、および微分値ＧＡのうち、最も値が小さい微分値を選択し、選択した微分値の方向をテクスチャ方向とする。例えば、各方向の微分値のうち、水平方向の微分値ＧＨが最も値が小さかったとする。この場合、注目近傍領域では、水平方向、垂直方向、左斜め方向、および右斜め方向のうち、水平方向が画素値の変化の最も小さい方向となる。
【００７３】
微分値比較部５２は、画像上の注目画素近傍における最も画素値の変化の少ない方向、つまり絵柄の変化が少ない方向をテクスチャの方向として特定する。このようにして、テクスチャ方向が特定されると、微分値比較部５２は、テクスチャ方向を示す方向情報を欠陥画素検出部２３の画素選択部８１、および欠陥画素補正部２４の微分値算出部１１１に供給する。
【００７４】
ステップＳ１４において、画素選択部８１は、近傍領域抽出部２１からの近傍領域情報と、微分値比較部５２からの方向情報とに基づいて、欠陥画素の検出と補正に用いる画素を選択画素として選択し、２次微分値算出部８２および微分値算出部１１１に供給する。
【００７５】
ステップＳ１５において、２次微分値算出部８２は、画素選択部８１から供給された選択画素に基づいて、３つの２次微分値Ｌ１乃至２次微分値Ｌ３を算出し、微分値比較部８３に供給する。
【００７６】
例えば、方向情報により示されるテクスチャ方向が水平方向である場合、図１０に示すように、画素選択部８１は、注目近傍領域上のＧ画素のうち、注目画素ＣＰ２１を中心とし、水平方向に連続して並ぶ５つのＧ画素を選択画素として選択する。なお、図１０において、１つの四角形は画像上の１つの画素を表しており、それらの画素のうち、四角形内に文字「Ｇ」が記されている画素はＧ画素となっている。
【００７７】
図１０の例では、図中、横方向に連続して並ぶ画素Ｐ３１乃至画素Ｐ３４および注目画素ＣＰ２１が、選択画素として選択されている。ここで、図中、右側に示すように、画素Ｐ３１乃至画素Ｐ３４および注目画素ＣＰ２１のそれぞれの画素値が、Ｇ１５，Ｇ３５，Ｇ７５，Ｇ９５，Ｇ５５であるとする。
【００７８】
注目近傍領域から、テクスチャ方向に並ぶ画素が選択画素として選択されると、２次微分値算出部８２は、それらの選択画素を用いて３つの２次微分値を算出する。
【００７９】
具体的には、図中、右側に示すように２次微分値算出部８２は、注目画素ＣＰ２１の位置が図中、右端となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組のラプラシアンを２次微分値Ｌ１として算出する。すなわち、画素Ｐ３１、画素Ｐ３２、および注目画素ＣＰ２１の各画素の画素値に基づいて、２次微分値Ｌ１＝Ｇ１５−２Ｇ３５＋Ｇ５５が計算される。
【００８０】
同様に、２次微分値算出部８２は、注目画素ＣＰ２１の位置が図中、中央となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組のラプラシアンを２次微分値Ｌ２として算出する。つまり、画素Ｐ３２、注目画素ＣＰ２１、および画素Ｐ３３の各画素の画素値に基づいて２次微分値Ｌ２＝Ｇ３５−２Ｇ５５＋Ｇ７５が計算される。
【００８１】
さらに、２次微分値算出部８２は、注目画素ＣＰ２１の位置が図中、左端となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組のラプラシアンを２次微分値Ｌ３として算出する。つまり、注目画素ＣＰ２１、画素Ｐ３３、および画素Ｐ３４の各画素の画素値に基づいて２次微分値Ｌ３＝Ｇ５５−２Ｇ７５＋Ｇ９５が計算される。
【００８２】
このように、テクスチャ方向に連続して並ぶ３つの画素のうち、中央の画素の画素値に２を乗算して得られる値と、中央の画素の両端に位置する画素の画素値の和との差分が、２次微分値として算出される。このようにして選択画素が用いられて２次微分値Ｌ１、２次微分値Ｌ２、および２次微分値Ｌ３が算出されると、２次微分値算出部８２は、算出したこれらの２次微分値を微分値比較部８３に供給する。
【００８３】
また、例えば、方向情報により示されるテクスチャ方向が右斜め方向である場合、図１１に示すように、画素選択部８１は、注目近傍領域上のＧ画素のうち、注目画素ＣＰ３１を中心とし、右斜め方向に連続して並ぶ５つのＧ画素を選択画素として選択する。なお、図１１において、１つの四角形は画像上の１つの画素を表しており、それらの画素のうち、四角形内に文字「Ｇ」が記されている画素はＧ画素となっている。
【００８４】
図１１の例では、図中、右斜め方向に連続して並ぶ画素Ｐ４１乃至画素Ｐ４４および注目画素ＣＰ３１が、選択画素として選択されている。ここで、図中、右側に示すように、画素Ｐ４１乃至画素Ｐ４４および注目画素ＣＰ３１のそれぞれの画素値が、Ｇ３７，Ｇ４６，Ｇ６４，Ｇ７３，Ｇ５５であるとする。
【００８５】
注目近傍領域から選択画素が選択されると、２次微分値算出部８２は、図中、右側に示すように注目画素ＣＰ３１の位置が図中、右端となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、２次微分値Ｌ１を算出する。すなわち、画素Ｐ４１、画素Ｐ４２、および注目画素ＣＰ３１の各画素の画素値に基づいて、２次微分値Ｌ１＝Ｇ３７−２Ｇ４６＋Ｇ５５が計算される。
【００８６】
同様に、２次微分値算出部８２は、注目画素ＣＰ３１の位置が図中、中央となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組の２次微分値Ｌ２を算出する。つまり、画素Ｐ４２、注目画素ＣＰ３１、および画素Ｐ４３の各画素の画素値に基づいて２次微分値Ｌ２＝Ｇ４６−２Ｇ５５＋Ｇ６４が計算される。
【００８７】
さらに、２次微分値算出部８２は、注目画素ＣＰ３１の位置が図中、左端となる、テクスチャ方向に並ぶ３つの連続するＧ画素の組について、その組の２次微分値Ｌ３を算出する。つまり、注目画素ＣＰ３１、画素Ｐ４３、および画素Ｐ４４の各画素の画素値に基づいて２次微分値Ｌ３＝Ｇ５５−２Ｇ６４＋Ｇ７３が計算される。
【００８８】
図５のフローチャートの説明に戻り、２次微分値が算出されると、処理はステップＳ１５からステップＳ１６に進む。
【００８９】
ステップＳ１６において、微分値比較部８３は、２次微分値算出部８２から供給された２次微分値Ｌ１乃至２次微分値Ｌ３を、所定の閾値τと比較して、注目画素が欠陥画素であるか否かを特定し、その特定結果を欠陥画素補正部２４の微分値算出部１１１に供給する。
【００９０】
具体的には、微分値比較部８３は、２次微分値Ｌ１＞τ、かつ２次微分値Ｌ２＞τ、かつ２次微分値Ｌ３＞τである場合、注目画素が欠陥画素であるとする。つまり３つの２次微分値が全て閾値τよりも大きい場合、注目画素は欠陥画素であるとされる。
【００９１】
例えば、２次微分値は、画素値の変化の少ない方向に並ぶ３つの画素が用いられて算出されるラプラシアンである。この２次微分値の計算に用いられる３つの画素の画素値は、殆ど同じ値となるはずであるから、２次微分値は充分に小さくなるはずである。
【００９２】
ところが、２次微分値の計算に用いられる画素のなかに、欠陥画素が含まれていると、その欠陥画素の画素値は、他の画素の画素値とは大きく異なるから、欠陥画素が用いられて算出された２次微分値は、閾値τよりも大きくなる。
【００９３】
ここで、３つの２次微分値Ｌ１乃至２次微分値Ｌ３のそれぞれの算出には、必ず注目画素が用いられるので、注目画素が欠陥画素であれば、３つの２次微分値は何れも閾値τよりも大きくなる。これは、注目画素に隣接する他の画素が欠陥画素である場合でも同じである。そこで、微分値比較部８３は、３つの２次微分値のそれぞれが閾値τよりも大きい場合、注目画素は欠陥画素であるとする。
【００９４】
例えば、図１２の矢印Ａ１１に示すように、注目画素ＣＰ４１を中心とし、テクスチャ方向に並ぶ画素Ｐ５１、画素Ｐ５２、注目画素ＣＰ４１、画素Ｐ５３、および画素Ｐ５４が選択画素として選択されたとする。なお、図１２において、図中、１つの四角形は１つの画素を表しており、特にバツ印が記された四角形は欠陥画素を表している。
【００９５】
矢印Ａ１１に示す例では、注目画素ＣＰ４１が欠陥画素となっており、選択画素として選択された他の画素は欠陥画素でない正常な画素となっている。
【００９６】
この場合、２次微分値Ｌ１の算出には、画素Ｐ５１、画素Ｐ５２、および注目画素ＣＰ４１が用いられ、２次微分値Ｌ２の算出には、画素Ｐ５２、注目画素ＣＰ４１、および画素Ｐ５３が用いられる。また、２次微分値Ｌ３の算出には、注目画素ＣＰ４１、画素Ｐ５３、および画素Ｐ５４が用いられる。
【００９７】
したがって、この例では、２次微分値Ｌ１乃至２次微分値Ｌ３の算出に、欠陥画素である注目画素ＣＰ４１が用いられるから、これらの２次微分値は閾値τよりも大きくなり、注目画素ＣＰ４１が欠陥画素であると正しく特定される。
【００９８】
矢印Ａ１１に示される例は、注目画素ＣＰ４１は欠陥画素であるが、その注目画素ＣＰ４１の両側に隣接する画素Ｐ５２および画素Ｐ５３は、欠陥のない正常な画素となる例である。このように、注目画素のみに欠陥があり、注目画素と同色である隣接画素に欠陥がない場合、注目画素は、特に単独欠陥画素と呼ばれる。
【００９９】
また、矢印Ａ１２に示すように、注目画素ＣＰ４１と、注目画素ＣＰ４１の左側に隣接する画素Ｐ５２とが欠陥画素である場合にも、２次微分値Ｌ１乃至２次微分値Ｌ３のそれぞれの算出に、少なくとも１つの欠陥画素が用いられる。そのため、各２次微分値が閾値τよりも大きくなり、この場合も注目画素ＣＰ４１が欠陥画素であると正しく特定される。
【０１００】
矢印Ａ１２に示される例は、注目画素ＣＰ４１が欠陥画素であり、その注目画素ＣＰ４１に隣接する画素Ｐ５２も欠陥画素となる例である。このように、注目画素だけでなく、その注目画素と同色である隣接画素にも欠陥がある場合、注目画素は、特に連続欠陥画素と呼ばれる。
【０１０１】
なお、矢印Ａ１１に示した単独欠陥の場合は、３つの２次微分値（ラプラシアン）がほぼ同じ値となるのに対し、矢印Ａ１２に示した連続欠陥の場合は、２次微分値Ｌ１と２次微分値Ｌ３など、２つの２次微分値の値が大きく異なる。そのため、微分値比較部８３では、３つの２次微分値を比較することで、注目画素が単独欠陥画素であるか、連続欠陥画素であるかを判定することも可能である。
【０１０２】
これに対して、矢印Ａ１３に示すように、注目画素ＣＰ４１には欠陥がなく、注目画素ＣＰ４１の周囲の画素Ｐ５１にのみ欠陥がある場合、２次微分値Ｌ１の算出には、欠陥画素である画素Ｐ５１が用いられるが、２次微分値Ｌ２と２次微分値Ｌ３の算出には画素Ｐ５１は用いられない。また、２次微分値Ｌ２や２次微分値Ｌ３の算出に用いられる画素は、何れも欠陥画素ではない。
【０１０３】
そのため、２次微分値Ｌ１は閾値τよりも大きくなるが、２次微分値Ｌ２と２次微分値Ｌ３は閾値τ未満となり、注目画素ＣＰ４１が欠陥のない正常な画素であると正しく特定されることになる。
【０１０４】
同様に、矢印Ａ１４に示すように、注目画素ＣＰ４１には欠陥がなく、注目画素ＣＰ４１の周囲の画素Ｐ５１と画素Ｐ５２に欠陥がある場合、これらの欠陥画素が用いられて算出される２次微分値Ｌ１と２次微分値Ｌ２は、閾値τよりも大きくなる。しかし、欠陥のない注目画素ＣＰ４１、画素Ｐ５３、および画素Ｐ５４が用いられて算出される２次微分値Ｌ３は、閾値τ未満となるので、この場合も、注目画素ＣＰ４１が欠陥のない正常な画素であると正しく特定される。
【０１０５】
矢印Ａ１３や矢印Ａ１４に示した例では、注目画素ＣＰ４１は欠陥のない正常な画素であり、３つの２次微分値の何れかの算出時に、欠陥のない画素のみが用いられて２次微分値が算出される。したがって、選択画素のうちの注目画素以外の画素に欠陥画素があっても、注目画素に欠陥がなければ、少なくとも１つは閾値τ未満の２次微分値が得られ、注目画素が正常な画素であると特定される。これは、選択画素のなかに注目画素以外の連続欠陥が存在する場合でも同様である。つまり、選択画素のなかに、注目画素とは異なる互いに隣接する欠陥画素がある場合でも、注目画素が欠陥画素であるかを正しく特定することが可能である。
【０１０６】
以上のように、テクスチャ方向に並ぶ画素を用いて、３つの２次微分値を算出し、それらの２次微分値を閾値と比較すれば、注目画素が単独欠陥画素であるか、連続欠陥画素であるかによらず、簡単かつ高精度に注目画素が欠陥画素であるかを特定することができる。なお、より詳細には、選択画素に含まれる欠陥画素の数や位置によっては、誤検出が生じる場合もあるが、欠陥画素検出部２３では、従来よりも簡単な処理で、高精度に欠陥画素を検出することが可能である。
【０１０７】
また、２次微分値と比較される閾値τは、固定の定数とされてもよいし、テクスチャ方向の特定時に微分値算出部５１により算出された微分値に応じて、適応的に変化するようにしてもよい。また、注目画素の色によって、異なる閾値が用いられてもよい。
【０１０８】
図５のフローチャートの説明に戻り、微分値比較部８３は、注目画素が欠陥画素であるか否かを特定すると、その特定結果を欠陥画素補正部２４の微分値算出部１１１に供給し、その後、処理はステップＳ１７に進む。
【０１０９】
ステップＳ１７において、微分値算出部１１１は、微分値比較部８３から供給された注目画素が欠陥画素であるかの特定結果に基づいて、注目画素が欠陥画素であるか否かを判定する。
【０１１０】
ステップＳ１７において、注目画素が欠陥画素であると判定された場合、ステップＳ１８において、微分値算出部１１１は、微分値比較部５２からの方向情報と、画素選択部８１から供給された選択画素に基づいて、微分値を算出する。微分値算出部１１１は、算出した微分値と選択画素とを補正値算出部１１２に供給する。
【０１１１】
そして、ステップＳ１９において、補正値算出部１１２は、微分値算出部１１１から供給された微分値と選択画素とに基づいて、注目画素を補正し、補正後の注目画素を後段に出力する。
【０１１２】
例えば、図１３に示すように、テクスチャ方向に連続して並ぶ画素Ｐ６１、画素Ｐ６２、注目画素ＣＰ５１、画素Ｐ６３、および画素Ｐ６４が選択画素として微分値算出部１１１に供給されたとする。なお、図１３において、１つの四角形は１つの画素を表しており、各四角形内の文字は、その四角形が表す画素の画素値を示している。すなわち、画素Ｐ６１、画素Ｐ６２、注目画素ＣＰ５１、画素Ｐ６３、および画素Ｐ６４の各画素の画素値は、それぞれＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５とされている。
【０１１３】
このような場合、微分値算出部１１１は、注目画素ＣＰ５１の図中、左側に隣接する２つの画素Ｐ６１と画素Ｐ６２から微分値ｇ１を算出する。すなわち、微分値ｇ１＝｜Ｇ１−Ｇ２｜であり、画素Ｐ６１と画素Ｐ６２の画素値の差分の絶対値が微分値ｇ１として算出される。
【０１１４】
また、微分値算出部１１１は、注目画素ＣＰ５１の図中、右側に隣接する２つの画素Ｐ６３と画素Ｐ６４から微分値ｇ２を算出する。すなわち、微分値ｇ２＝｜Ｇ４−Ｇ５｜であり、画素Ｐ６３と画素Ｐ６４の画素値の差分の絶対値が微分値ｇ２として算出される。
【０１１５】
このようにして、注目画素ＣＰ５１の左側の画素の微分値ｇ１と、右側の画素の微分値ｇ２とが算出されると、補正値算出部１１２は、これらの微分値を用いて注目画素ＣＰ５１の画素値を補正する。
【０１１６】
具体的には、微分値ｇ１が微分値ｇ２以下である場合、補正値算出部１１２は、画素Ｐ６１の画素値Ｇ１と、画素Ｐ６２の画素値Ｇ２とを所定の重みαで重み付き加算（加重平均）することで、補正後の注目画素ＣＰ５１の画素値Ｇ３’を算出する。すなわち、Ｇ３’＝α・Ｇ１＋（１−α）Ｇ２が計算される。
【０１１７】
選択画素は、テクスチャ方向、つまり画素値の変化の少ない方向に並ぶ画素であるから、選択画素として選択された、互いに隣接する画素の差分絶対値、つまり微分値が小さければ、それらの画素は欠陥画素でない可能性が高い。したがって、微分値ｇ１が微分値ｇ２以下である場合には、画素Ｐ６１と画素Ｐ６２の組みが、画素Ｐ６３と画素Ｐ６４の組みよりも、より欠陥画素が含まれる可能性が低い。
【０１１８】
そこで、補正値算出部１１２は、注目画素ＣＰ５１に隣接する画素のうち、より欠陥画素である可能性が低い画素Ｐ６１と画素Ｐ６２を用いて、注目画素ＣＰ５１の補正後の画素値Ｇ３’を算出する。
【０１１９】
逆に、微分値ｇ１が微分値ｇ２よりも大きい場合、補正値算出部１１２は、画素Ｐ６３の画素値Ｇ４と、画素Ｐ６４の画素値Ｇ５とを所定の重みβで重み付き加算することで、補正後の注目画素ＣＰ５１の画素値Ｇ３’を算出する。すなわち、Ｇ３’＝β・Ｇ４＋（１−β）Ｇ５が計算される。
【０１２０】
このように、微分値ｇ１および微分値ｇ２の値に応じて、注目画素ＣＰ５１の片側に隣接する画素のみを用いて注目画素を補正することで、注目画素ＣＰ５１が連続欠陥画素である場合であっても、注目画素ＣＰ５１の適切な補正値を得ることができる。なお、注目画素ＣＰ５１の補正に用いられる重みαやβは、０から１までの間の任意の値とすることができる。
【０１２１】
図５のフローチャートに戻り、注目画素が補正されると、補正値算出部１１２は補正後の注目画素の画素値を出力し、欠陥画素補正処理は終了する。
【０１２２】
一方、ステップＳ１７において、注目画素が欠陥画素でないと判定された場合、微分値算出部１１１は、画素選択部８１から供給された選択画素を補正値算出部１１２に供給し、その後、処理はステップＳ２０に進む。
【０１２３】
ステップＳ２０において、補正値算出部１１２は、微分値算出部１１１から供給された選択画素から注目画素を抽出し、その注目画素の画素値をそのまま出力して、欠陥画素補正処理は終了する。すなわち、この場合、注目画素は欠陥画素ではないので、注目画素に対する補正は行なわれず、注目画素の画素値がそのまま後段に出力される。
【０１２４】
以上のようにして、画像処理装置１１は、注目画素を含む、テクスチャ方向に並ぶいくつかの画素を用いて複数の２次微分値を算出し、それらの２次微分値を閾値処理することで、注目画素が欠陥画素であるか否かを特定する。
【０１２５】
これにより、注目画素が単独欠陥画素であるか、連続欠陥画素であるかによらず、簡単かつ高精度に欠陥画素を検出することができ、画像処理装置１１の回路規模を小さくするとともに、処理速度を向上させることができる。
【０１２６】
また、注目画素が欠陥画素である場合、注目画素のテクスチャ方向に並ぶ画素のうち、より欠陥画素である可能性の低い画素を用いて、注目画素を補正するので、より適切に注目画素を補正することができる。
【０１２７】
例えば、テクスチャ方向に沿って欠陥画素の検出を行なうことで、ストライプ模様のような高周波成分を含むテクスチャ部分において、テクスチャを欠陥として過補正してしまい、画質が劣化してしまうようなことを防止することができる。また、２次微分値（ラプラシアン）を用いて欠陥画素を検出することで、画像の模様が滑らかに変化するグラデーション部分での誤検出を少なくすることができる。
【０１２８】
なお、以上においては、テクスチャ方向の判定に用いられる画素も、欠陥画素の検出に用いられる画素も、ともに注目画素と同色の画素である場合について説明したが、テクスチャ方向の判定に用いられる画素は、必ずしも注目画素と同色でなくてもよい。
【０１２９】
そのような場合、例えば注目画素がＲ画素であるとすると、テクスチャ方向判定部２２では、注目画素近傍にあるＧ画素が用いられてテクスチャ方向が特定され、欠陥画素検出部２３では、注目画素と同色のＲ画素が用いられて、欠陥画素かの特定が行なわれる。
【０１３０】
特に、画像上の各色の画素の配置がベイヤー配列となっている場合には、Ｇ画素が他の色の画素よりも多く画像に含まれているので、Ｇ画素が用いられてテクスチャ方向が特定されるようにすれば、より高精度にテクスチャ方向を特定することができる。
【０１３１】
〈変形例１〉
また、以上においては、注目画素を中心として、テクスチャ方向に並ぶ５つの連続する画素を選択画素とし、それらの選択画素を用いて欠陥画素の検出を行なう場合について説明したが、選択画素は６以上であってもよい。
【０１３２】
すなわち、例えば、図１４に示すように、注目画素ＣＰ６１を中心とする水平方向に１３画素、垂直方向に１３画素の注目近傍領域が抽出され、方向情報により示されるテクスチャ方向が水平方向であったとする。
【０１３３】
なお、図１４において、１つの四角形は画像上の１つの画素を表しており、それらの画素のうち、四角形内に文字「Ｇ」が記されている画素はＧ画素となっている。
【０１３４】
図１４の例では、画素選択部８１は、注目近傍領域上のＧ画素のうち、注目画素ＣＰ６１を中心とし、水平方向に連続して並ぶ７つのＧ画素を選択画素として選択する。すなわち、図中、横方向に連続して並ぶ画素Ｐ７１乃至画素Ｐ７６および注目画素ＣＰ６１が、選択画素として選択される。ここで、図中、右側に示すように、画素Ｐ７１乃至画素Ｐ７６および注目画素ＣＰ６１のそれぞれの画素値が、Ｇ１５，Ｇ３５，Ｇ５５，Ｇ９５，Ｇ１１５，Ｇ１３５，Ｇ７５であるとする。
【０１３５】
この場合、２次微分値算出部８２は、それらの選択画素のうちの連続して並ぶ５つの画素を用いて、３つの関数値Ｆ１乃至関数値Ｆ３を算出する。ここで、関数値Ｆ１乃至関数値Ｆ３は、その関数値の算出に用いられる画素のなかに、欠陥画素が含まれている場合に値が大きくなる任意の関数である。
【０１３６】
関数値Ｆ１が算出される場合、画素Ｐ７１乃至画素Ｐ７３、注目画素ＣＰ６１、および画素Ｐ７４が用いられる。すなわち、例えば、関数値Ｆ１＝Ｇ１５＋２Ｇ３５−６Ｇ５５＋２Ｇ７５＋Ｇ９５が計算される。同様に、関数値Ｆ２が算出される場合、画素Ｐ７２、画素Ｐ７３、注目画素ＣＰ６１、画素Ｐ７４、および画素Ｐ７５が用いられ、関数値Ｆ３が算出される場合、画素Ｐ７３、注目画素ＣＰ６１、および画素Ｐ７４乃至画素Ｐ７６が用いられる。
【０１３７】
微分値比較部８３は、これらの関数値Ｆ１乃至関数値Ｆ３を閾値と比較することで、その比較結果から、注目画素ＣＰ６１が欠陥画素であるか否かを特定することができる。この場合、注目画素ＣＰ６１が、同色の３つの連続する欠陥画素のうちの１つであるときでも、つまり３連続欠陥画素であるときでも、注目画素ＣＰ６１が欠陥画素であるか否かを正しく判定することが可能である。
【０１３８】
なお、注目近傍領域を大きくし、欠陥画素の検出の関数値の算出に用いる画素数を増やせば、注目画素が４以上の連続欠陥画素を構成する画素である場合にも、対応することが可能である。
【０１３９】
〈変形例２〉
さらに、以上においては、処理対象となる画像上の各色の画素の配置がベイヤー配列である例について説明したが、各色の画素はベイヤー配列に限らず、どのように配置されていてもよい。
【０１４０】
例えば、図１５に示すように、画像上にＲ画素、Ｇ画素、Ｂ画素の他に、さらに透明（ホワイト）な画素（以下、Ｗ画素と称する）も配置されるようにしてもよい。なお、図１５において、１つの四角形は１つの画素を表しており、それらの四角形内の文字「Ｒ」，「Ｇ」，「Ｂ」，「Ｗ」は、それぞれＲ画素，Ｇ画素，Ｂ画素，Ｗ画素を示している。
【０１４１】
この例では、Ｗ画素は、ベイヤー配列におけるＧ画素と同等に扱うことができ、Ｇ画素はベイヤー配列におけるＲ画素やＢ画素と同等に扱うことができる。しかし、図１５の例では、Ｒ画素やＢ画素はサンプル数が少ないため、これらの画素を注目画素として欠陥画素の検出を行なうには、注目近傍領域をＧ画素やＷ画素の場合よりも大きくしたり、検出可能な連続欠陥の数を減らしたりして対応する必要がある。
【０１４２】
〈変形例３〉
さらに、以上においては、所定の色の画素を用いてテクスチャ方向を特定すると説明したが、他の情報（信号）を用いてテクスチャ方向を特定するようにしてもよい。
【０１４３】
例えば、画像上にＧｒ，Ｇｂ，Ｒ，Ｂの各色の画素が配置される場合、図１６に示すように、それらの画素から輝度値（輝度信号）を求め、輝度値の微分値を用いてテクスチャ方向を特定してもよい。なお、図１６において、１つの四角形は１つの画素を表しており、それらの四角形内の文字「Ｒ」，「Ｂ」，「Ｇｒ」，「Ｇｂ」は、それぞれＲ画素，Ｂ画素，Ｇｒ画素，Ｇｂ画素を示している。また、図中、１つの円は、輝度信号の位置を示している。
【０１４４】
この場合、微分値算出部５１は、輝度信号の位置を示す円に隣接する４つの画素、つまりＲ画素，Ｂ画素，Ｇｒ画素，Ｇｂ画素の各画素の画素値の和を求めて、得られた和を輝度信号の値（輝度値）とする。そして、微分値算出部５１は、所定方向に隣接する輝度信号の位置のペアごとに輝度値の差分絶対値を求め、それらの差分絶対値の総和を微分値とする。また、輝度信号によりテクスチャ方向が特定された場合、欠陥画素の検出や補正には、注目画素と同色の画素が用いられる。
【０１４５】
〈第２の実施の形態〉
［画像処理装置の構成例］
ところで、画像上の画素がベイヤー配列とされている場合、Ｂ画素やＲ画素はＧ画素とサンプリング間隔が異なるため、各色の画素で同様の処理を行おうとすると、Ｒ画素やＢ画素を処理する場合には、Ｇ画素を処理する場合よりも注目近傍領域を大きくしなければならない。
【０１４６】
そこで、注目画素の色によって、異なる方法で欠陥画素検出や欠陥画素の補正が行なわれるようにしてもよい。そのような場合、画像処理装置は、例えば図１７に示すように構成される。なお、図１７において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１４７】
図１７の画像処理装置１４１は、例えば各色の画素がベイヤー配列で配置された画像を処理し、画像上の各画素を順番に注目画素として、必要に応じて注目画素の補正を行なう。
【０１４８】
画像処理装置１４１は、近傍領域抽出部２１、テクスチャ方向判定部２２、欠陥画素検出部２３、欠陥画素補正部２４、平均値算出部１５１、欠陥画素検出部１５２、および欠陥画素補正部１５３から構成される。
【０１４９】
近傍領域抽出部２１は、供給された注目画素情報から近傍領域情報を抽出し、注目画素の色に応じて近傍領域情報の出力先を切り替える。すなわち、近傍領域抽出部２１は、注目画素がＧ画素である場合、近傍領域情報をテクスチャ方向判定部２２および欠陥画素検出部２３に供給し、注目画素がＲ画素またはＢ画素である場合、近傍領域情報を平均値算出部１５１乃至欠陥画素補正部１５３に供給する。
【０１５０】
平均値算出部１５１は、近傍領域抽出部２１から供給された近傍領域情報から、注目近傍領域における注目画素と同色の画素の平均的な画素値を算出し、欠陥画素検出部１５２に供給する。欠陥画素検出部１５２は、近傍領域抽出部２１から供給された近傍領域情報と、平均値算出部１５１から供給された平均的な画素値とに基づいて、注目画素が欠陥画素であるか否かを特定し、その特定結果を欠陥画素補正部１５３に供給する。
【０１５１】
欠陥画素補正部１５３は、欠陥画素検出部１５２からの特定結果と、近傍領域抽出部２１からの近傍領域情報とに基づいて、必要に応じて注目画素を補正し、出力する。
【０１５２】
［欠陥画素補正処理の説明］
次に、画像処理装置１４１による欠陥画素補正処理について説明する。
【０１５３】
ステップＳ５１において、近傍領域抽出部２１は、入力された注目画素情報に基づいて、注目画素がＧ画素であるか否かを判定する。
【０１５４】
ステップＳ５１において、注目画素がＧ画素でないと判定された場合、すなわち、注目画素がＲ画素またはＢ画素である場合、ステップＳ５２において、近傍領域抽出部２１は、供給された注目画素情報から近傍領域情報を抽出する。そして近傍領域抽出部２１は、近傍領域情報を平均値算出部１５１乃至欠陥画素補正部１５３に供給する。
【０１５５】
ステップＳ５３において、平均値算出部１５１は、近傍領域抽出部２１から供給された近傍領域情報に基づいて、平均値を算出し、欠陥画素検出部１５２に供給する。
【０１５６】
例えば、図１９に示すように、注目画素ＣＰ７１がＲ画素であり、注目画素ＣＰ７１を中心とし、ｘ方向に９画素、ｙ方向に９画素からなる注目近傍領域内のＲ画素が、近傍領域情報として供給されたとする。
【０１５７】
なお、図中、横方向および縦方向は、それぞれｘ方向およびｙ方向を示している。また、図中、１つの四角形は画像上の１つの画素を表しており、それらの画素内に記された文字は画素の色を示している。
【０１５８】
この場合、平均値算出部１５１は、次式（１）を計算して注目近傍領域内のＲ画素の画素値の平均値ＷＲを算出する。
【０１５９】
【数１】
2012217139.tif 000003
【０１６０】
なお、式（１）において、ΣＲは、注目近傍領域内にある、注目画素ＣＰ７１を除く全Ｒ画素の画素値の総和を示しており、Ｎは、注目近傍領域内にある全Ｒ画素の個数から５を減算して得られる値である。
【０１６１】
また、ＲｍａｘおよびＲ２ｎｄｍａｘは、注目画素ＣＰ７１を除く注目近傍領域内のＲ画素のうち、１番目および２番目に大きい画素値をもつＲ画素の画素値である。さらに、ＲｍｉｎおよびＲ２ｎｄｍｉｎは、注目画素ＣＰ７１を除く注目近傍領域内のＲ画素のうち、１番目および２番目に小さい画素値をもつＲ画素の画素値である。
【０１６２】
したがって、平均値ＷＲは、注目画素ＣＰ７１、１番目および２番目に画素値が大きいＲ画素、並びに１番目および２番目に画素値が小さいＲ画素の合計５個の画素を除く、注目近傍領域内にある全Ｒ画素の画素値の平均値である。ここで、平均値の算出から、画素値が大きい画素と、画素値が小さい画素とが除外されるのは、注目近傍領域内にある欠陥画素の影響を軽減させるためである。
【０１６３】
このようにして得られる平均値ＷＲは、注目近傍領域内にあるＲ画素の平均的な画素値を示している。なお、注目画素がＢ画素である場合にも、Ｒ画素の場合と同様の処理により、Ｂ画素の平均的な画素値を示す平均値が求められる。
【０１６４】
図１８のフローチャートの説明に戻り、ステップＳ５４において、欠陥画素検出部１５２は、近傍領域抽出部２１からの近傍領域情報と、平均値算出部１５１からの平均値とに基づいて、注目画素が欠陥画素であるか否かを判定する。
【０１６５】
例えば、図１９に示した例で、注目画素ＣＰ７１の画素値がＲ’であるとすると、欠陥画素検出部１５２は、注目画素ＣＰ７１の画素値Ｒ’と平均値ＷＲの差分の絶対値である｜Ｒ’−ＷＲ｜が所定の閾値ｔより大きい場合、注目画素が欠陥画素であるとする。
【０１６６】
すなわち、平均値ＷＲは、注目近傍領域内のＲ画素の平均的な画素値であるので、注目画素ＣＰ７１の画素値が、その平均的な画素値と大きく異なる場合には、注目画素ＣＰ７１は欠陥画素である可能性が高い。そこで、欠陥画素検出部１５２は、注目画素の画素値と、ステップＳ５３で求められた平均値との差分の絶対値が、閾値ｔより大きい場合、注目画素が欠陥画素であるとする。
【０１６７】
欠陥画素検出部１５２は、注目画素が欠陥画素であるか否かを判定すると、その判定結果を欠陥画素補正部１５３に供給する。
【０１６８】
ステップＳ５４において、注目画素が欠陥画素であると判定された場合、ステップＳ５５において、欠陥画素補正部１５３は、欠陥画素検出部１５２からの判定結果に応じて、近傍領域抽出部２１からの近傍領域情報に基づいて、注目画素を補正する。
【０１６９】
例えば、欠陥画素補正部１５３は、ステップＳ５３と同様の処理を行なって平均値を算出し、算出された平均値を注目画素の補正後の画素値とする。注目画素が補正されると、欠陥画素補正部１５３は、補正された注目画素の画素値を出力し、欠陥画素補正処理は終了する。
【０１７０】
一方、ステップＳ５４において、注目画素が欠陥画素でないと判定された場合、ステップＳ５６において、欠陥画素補正部１５３は、欠陥画素検出部１５２からの判定結果に応じて、注目画素の画素値をそのまま出力する。すなわち、欠陥画素補正部１５３は、近傍領域抽出部２１から供給された近傍領域情報により得られる注目画素の画素値を、補正せずにそのまま出力し、欠陥画素補正処理は終了する。
【０１７１】
また、ステップＳ５１において、注目画素がＧ画素であると判定された場合、ステップＳ５７において、画像処理装置１４１はＧ画素補正処理を行ない、テクスチャ方向に並ぶＧ画素に基づいて、欠陥画素の検出や補正を行なう。なお、Ｇ画素補正処理の詳細は後述する。Ｇ画素補正処理が行なわれると、必要に応じて補正された注目画素としてのＧ画素が出力され、欠陥画素補正処理は終了する。
【０１７２】
以上のように、画像処理装置１４１は、注目画素がＲ画素若しくはＢ画素であるか、またはＧ画素であるかに応じて、異なる方法により注目画素が欠陥画素であるかを特定するとともに、必要に応じて注目画素の欠陥を補正する。これにより、注目画素の色に応じて、適切な注目近傍領域を抽出し、注目画素の色に適した方法で、欠陥画素の検出および補正を行なうことができる。
【０１７３】
［Ｇ画素補正処理の説明］
次に、図２０は、図１８のステップＳ５７の処理に対応するＧ画素補正処理を説明するフローチャートである。
【０１７４】
なお、このＧ画素補正処理のステップＳ８１乃至ステップＳ９０の処理では、図５のステップＳ１１乃至ステップＳ２０の処理と同様の処理が行なわれるので、その説明は省略する。ステップＳ８１乃至ステップＳ９０の処理では、テクスチャ方向が特定され、そのテクスチャ方向に並ぶ画素が用いられて、欠陥画素の検出および補正が行なわれる。
【０１７５】
ステップＳ８９またはステップＳ９０の処理が行なわれて、注目画素の画素値が出力されると、Ｇ画素補正処理は終了し、その後、処理は図１８のステップＳ５７に戻り、欠陥画素補正処理も終了する。
【０１７６】
このように、Ｇ画素補正処理では、Ｒ画素やＢ画素が注目画素である場合と、異なる処理により欠陥画素の検出と補正が行なわれる。
【０１７７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７８】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７９】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１８０】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０１８１】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８２】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１８３】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１８４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８５】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８６】
さらに、本技術は、以下のような構成とすることも可能である。
【０１８７】
［１］
画像上の注目画素を含む近傍領域に基づいて、前記近傍領域におけるテクスチャ方向を判定する判定部と、
前記注目画素を含む、前記画像上の前記テクスチャ方向に並ぶ複数の画素に基づいて、前記注目画素が欠陥画素であるかを検出する検出部と
を備える画像処理装置。
［２］
前記検出部は、
前記画像上において、前記注目画素を含む前記テクスチャ方向に連続して並ぶ所定数の画素の組について、画素の画素値の２次微分値を算出する２次微分値算出部と、
複数の異なる前記組の前記２次微分値に基づいて、前記注目画素が欠陥画素であるか否かを判定する比較部と
を備える
［１］に記載の画像処理装置。
［３］
前記比較部は、前記複数の異なる前記組の前記２次微分値のそれぞれが所定の閾値より大きい場合、前記注目画素が欠陥画素であると判定する
［２］に記載の画像処理装置。
［４］
前記注目画素と同色であり、前記テクスチャ方向に並ぶ前記注目画素近傍の画素に基づいて、前記注目画素を補正する欠陥画素補正部をさらに備える
［１］乃至［３］の何れかに記載の画像処理装置。
［５］
前記欠陥画素補正部は、
前記注目画素に対して、前記テクスチャ方向と平行な第１の方向に隣接する２つの画素の微分値と、前記注目画素に対して、前記第１の方向と反対の第２の方向に隣接する２つの画素の微分値とを算出する微分値算出部と、
前記注目画素に対して、前記第１の方向と前記第２の方向のうち、前記微分値が小さい方向に隣接する２つの画素を加重平均して補正後の前記注目画素とする補正値算出部と
を備える
［４］に記載の画像処理装置。
［６］
前記判定部は、前記近傍領域内の同じ方向に並ぶ画素間の微分値に基づいて、前記近傍領域における前記方向の微分値を算出し、複数の前記方向のうち、微分値が最小となる前記方向を前記テクスチャ方向とする
［１］乃至［５］の何れかに記載の画像処理装置。
【０１８８】
〈第３の実施の形態〉
［誤補正について］
ところで、画素に対する動的欠陥補正により、欠陥ではない画素も欠陥画素であると誤検出され、補正されてしまうことがある。このような誤補正が行なわれると、画像上においてテクスチャの欠落や偽色などが発生する。
【０１８９】
例えば欠陥画素の補正手法として、注目画素近傍の領域におけるテクスチャ方向を判定し、その判定結果に基づいて欠陥画素の検出，補正を行なうことで、欠陥画素の補正によるテクスチャの欠落や偽色の発生を抑制する技術も提案されている（例えば、特開２００９−２９０６５３号公報，特許第４３４３９８８号公報参照）。
【０１９０】
しかしながら、このような欠陥画素の補正手法であっても、画素の補正により高品質な画像を得ることができない場合があった。
【０１９１】
すなわち、欠陥画素の補正時に、正しいテクスチャ方向を判定しにくい領域、例えば高周波なテクスチャの領域や、画素値が飽和している領域などでは、画素の誤補正が発生し、補正により得られる画像の品質が劣化してしまう。
【０１９２】
また、上述した欠陥画素の補正手法では、同じ色成分を有する画素が用いられて欠陥画素の検出，補正が行なわれるため、色成分（例えば、ベイヤー配列であればＲ，Ｇ，Ｂなど）ごとに処理が行なわれる。その結果、補正によって各色のバランスが崩れてしまい、偽色が発生してしまうことがある。
【０１９３】
［画像処理装置の構成例］
そこで、注目画素の色とは異なる色成分を利用して、誤補正を防止するようにしてもよい。そのような場合、画像上の欠陥画素の検出および補正を行なう画像処理装置は、例えば図２２に示すように構成される。
【０１９４】
図２２の画像処理装置６０１は、近傍領域抽出部６１１、欠陥画素検出・補正部６１２、および誤補正判定処理部６１３から構成される。画像処理装置６０１は、画像上の注目する画素（以下、注目画素と称する）の近傍にある画素の画素値や位置、色成分情報などが含まれる注目画素情報を入力とし、必要に応じて欠陥が補正された注目画素を出力する。
【０１９５】
例えば、近傍領域抽出部６１１には、注目画素近傍の複数の画素の画素値、各画素の位置、各画素が有する色成分を示す色成分情報からなる注目画素情報が供給される。近傍領域抽出部６１１は、供給された注目画素情報から、注目画素を含む、画像上の注目画素近傍のいくつかの画素からなる近傍領域情報を抽出し、欠陥画素検出・補正部６１２、および誤補正判定処理部６１３に供給する。
【０１９６】
欠陥画素検出・補正部６１２は、近傍領域抽出部６１１からの近傍領域情報に基づいて、注目画素が欠陥画素であるかを検出するとともに、必要に応じて欠陥画素とされた注目画素を補正し、補正後の注目画素に関する欠陥補正情報を誤補正判定処理部６１３に供給する。なお、以下、補正された注目画素を適宜、補正注目画素とも称することとする。
【０１９７】
誤補正判定処理部６１３は、供給された注目画素情報、近傍領域抽出部６１１からの近傍領域情報、および欠陥画素検出・補正部６１２からの欠陥補正情報に基づいて、注目画素の誤補正判定を行い、その判定結果に応じて注目画素または補正注目画素を出力する。
【０１９８】
［欠陥画素検出・補正部の構成例］
また、図２２の欠陥画素検出・補正部６１２は、より詳細には図２３に示すように構成される。すなわち、欠陥画素検出・補正部６１２は、欠陥検出部６４１および欠陥補正部６４２から構成される。
【０１９９】
欠陥検出部６４１は、近傍領域抽出部６１１からの近傍領域情報に基づいて、注目画素が欠陥画素であるか否かを判定し、その判定結果と近傍領域情報を欠陥補正部６４２に供給する。欠陥補正部６４２は、欠陥検出部６４１からの判定結果と近傍領域情報に基づいて注目画素を補正し、その結果得られた補正注目画素を含む欠陥補正情報を誤補正判定処理部６１３に供給する。
【０２００】
［誤補正判定処理部の構成例］
さらに、図２２の誤補正判定処理部６１３は、より詳細には例えば図２４に示すように構成される。すなわち、誤補正判定処理部６１３は、ホワイトバランス算出部６７１、無彩色化平均値算出部６７２、および誤補正判定部６７３から構成される。
【０２０１】
ホワイトバランス算出部６７１は、近傍領域抽出部６１１からの近傍領域情報に基づいてホワイトバランスを算出し、得られたホワイトバランスと近傍領域情報を無彩色化平均値算出部６７２に供給する。
【０２０２】
無彩色化平均値算出部６７２は、ホワイトバランス算出部６７１から供給されたホワイトバランスと近傍領域情報に基づいて、注目画素近傍の無彩色化された画素の画素値の平均値を無彩色化平均値として算出し、誤補正判定部６７３に供給する。
【０２０３】
誤補正判定部６７３は、無彩色化平均値算出部６７２からの無彩色化平均値、供給された注目画素情報、および欠陥画素検出・補正部６１２の欠陥補正部６４２から供給された欠陥補正情報に基づいて、注目画素に対する補正が誤補正であるか否かを判定する。また、誤補正判定部６７３は、誤補正の判定結果等に応じて、注目画素情報に含まれる注目画素と、欠陥補正情報に含まれる補正注目画素との何れか一方を最終的な注目画素として出力する。
【０２０４】
［欠陥画素補正処理の説明］
次に、図２５のフローチャートを参照して、画像処理装置６０１により行なわれる欠陥画素補正処理について説明する。
【０２０５】
この欠陥画素補正処理は、欠陥画素の検出と補正を行おうとする処理対象の画像上の画素ごとに行なわれる。なお、以下においては、処理対象の画像は、Ｒ，Ｇ，Ｂの各色の画素からなり、それらの各色の画素がベイヤー配列で並べられているとする。また、以下、Ｒ，Ｇ，Ｂの各色の画素を、それぞれＲ画素，Ｇ画素，Ｂ画素とも呼ぶこととする。
【０２０６】
ステップＳ１２１において、近傍領域抽出部６１１は、入力された注目画素情報から近傍領域情報を抽出し、欠陥画素検出・補正部６１２の欠陥検出部６４１、および誤補正判定処理部６１３のホワイトバランス算出部６７１に供給する。
【０２０７】
例えば、注目画素がＧ画素である場合、近傍領域抽出部６１１は、画像上の注目画素を中心とする水平方向に９画素、垂直方向に９画素からなる矩形領域内から、その矩形領域に含まれる各画素を抽出し、近傍領域情報とする。
【０２０８】
ステップＳ１２２において、欠陥検出部６４１は、近傍領域抽出部６１１から供給された近傍領域情報に基づいて、注目画素に対する欠陥検出を行なう。
【０２０９】
例えば、欠陥検出部６４１は、近傍領域情報に基づいて注目画素近傍の領域のテクスチャ方向を特定し、注目画素を含み、テクスチャ方向に並ぶ注目画素と同じ色の画素からなる画素列を抽出する。そして、欠陥検出部６４１は、抽出した画素列上の画素と注目画素とを比較することで、注目画素が欠陥画素であるかを特定する。
【０２１０】
また、例えば欠陥検出部６４１は、注目画素からの距離に応じた重みを付けて、注目画素近傍にある、注目画素と同じ色の各画素の画素値の重み付き平均値を求め、得られた重み付き平均値と注目画素とを比較することで、注目画素が欠陥画素であるかを特定する。
【０２１１】
ステップＳ１２３において、欠陥検出部６４１は、注目画素が欠陥画素であるか否かを判定し、その判定結果と近傍領域情報を欠陥補正部６４２に供給する。例えばステップＳ１２２において、注目画素が欠陥画素であると特定された場合には、ステップＳ１２３において、注目画素は欠陥画素であると判定される。
【０２１２】
ステップＳ１２３において、注目画素が欠陥画素であると判定された場合、ステップＳ１２４において、欠陥補正部６４２は、欠陥検出部６４１からの判定結果と近傍領域情報に基づいて、注目画素の欠陥補正を行なう。
【０２１３】
すなわち、欠陥補正部６４２は注目画素近傍の画素に基づいて補正注目画素を求め、その結果得られた補正注目画素を含む欠陥補正情報を誤補正判定処理部６１３の誤補正判定部６７３に供給する。具体的には、例えば欠陥補正部６４２は注目画素近傍にある、注目画素と同じ色の画素の画素値の平均値を、補正注目画素の画素値とする。
【０２１４】
ステップＳ１２５において、ホワイトバランス算出部６７１は、近傍領域抽出部６１１からの近傍領域情報に基づいてホワイトバランスを算出し、得られたホワイトバランスと近傍領域情報を無彩色化平均値算出部６７２に供給する。
【０２１５】
例えば、近傍領域情報として、図２６に示す注目画素ＡＣ１１を中心とする９画素×９画素の領域（以下、注目近傍領域とも称する）の情報が供給されたとする。
【０２１６】
なお、図２６において、１つの四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」は、画素の色、つまりＲ画素，Ｇ画素，Ｂ画素であることを示しており、この例では、注目画素ＡＣ１１はＧ画素となっている。
【０２１７】
ホワイトバランス算出部６７１は、図中、縦方向９画素，横方向９画素の合計８１画素からなる注目近傍領域内にあるＲ画素、Ｇ画素、およびＢ画素の色成分ごとに、それらの色の画素の画素値の平均値を計算する。
【０２１８】
具体的には、近傍領域情報に示される注目近傍領域内に、ＮＲ個のＲ画素、ＮＧ個のＧ画素、およびＮＢ個のＢ画素があったとする。また、Ｒｉ（但し、ｉ＝１乃至ＮＲ）番目のＲ画素の画素値をＲｉとし、Ｇｉ（但し、ｉ＝１乃至ＮＧ）番目のＧ画素の画素値をＧｉとし、Ｂｉ（但し、ｉ＝１乃至ＮＢ）番目のＢ画素の画素値をＢｉとする。
【０２１９】
このとき、ホワイトバランス算出部６７１は、次式（２）を計算することで、注目近傍領域内のＲ画素の画素値の平均値ａｖｅＲを求める。
【０２２０】
【数２】
2012217139.tif 000004
【０２２１】
同様に、ホワイトバランス算出部６７１は、次式（３）を計算することで、注目近傍領域内のＧ画素の画素値の平均値ａｖｅＧを求め、次式（４）を計算することで、注目近傍領域内のＢ画素の画素値の平均値ａｖｅＢを求める。
【０２２２】
【数３】
2012217139.tif 000005
【０２２３】
【数４】
2012217139.tif 000006
【０２２４】
さらに、ホワイトバランス算出部６７１は、このようにして得られた各色成分の平均値の比をホワイトバランスとして求める。具体的には、例えばＲ成分の平均値ａｖｅＲと、Ｇ成分の平均値ａｖｅＧとの比（ａｖｅＧ／ａｖｅＲ）、およびＢ成分の平均値ａｖｅＢと、Ｇ成分の平均値ａｖｅＧとの比（ａｖｅＧ／ａｖｅＢ）が注目近傍領域のホワイトバランスとして求められる。
【０２２５】
図２５のフローチャートの説明に戻り、ステップＳ１２５においてホワイトバランスが算出されると、処理はステップＳ１２６に進む。
【０２２６】
ステップＳ１２６において、無彩色化平均値算出部６７２は、ホワイトバランス算出部６７１から供給されたホワイトバランスと近傍領域情報に基づいて無彩色化平均値を算出し、誤補正判定部６７３に供給する。
【０２２７】
例えば、図２７に示すように、無彩色化平均値算出部６７２は、注目画素ＡＣ２１の図中、上下左右に隣接する画素ＣＥ１１乃至画素ＣＥ１４を無彩色化し、それらの無彩色化された画素の画素値の平均値を無彩色化平均値Ｐとして算出する。
【０２２８】
なお、図２７において、１つの四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」は、画素の色、つまりＲ画素，Ｇ画素，Ｂ画素であることを示している。この例では、注目画素ＡＣ２１はＧ画素であり、画素ＣＥ１１および画素ＣＥ１２がＲ画素であり、画素ＣＥ１３および画素ＣＥ１４がＢ画素である。
【０２２９】
画素ＣＥ１１乃至画素ＣＥ１４は注目近傍領域内にある、注目画素近傍の画素である。また、例えば画素ＣＥ１１および画素ＣＥ１２の画素値が、それぞれＲ１およびＲ２であり、画素ＣＥ１３および画素ＣＥ１４の画素値が、それぞれＢ１およびＢ２であるとする。この場合、無彩色化平均値算出部６７２は、次式（５）を計算することで、無彩色化平均値Ｐを算出する。
【０２３０】
【数５】
2012217139.tif 000007
【０２３１】
すなわち、無彩色化平均値算出部６７２は、例えば画素ＣＥ１１の画素値Ｒ１に、ホワイトバランス（ａｖｅＧ／ａｖｅＲ）を乗算することで、画素ＣＥ１１を無彩色化する。つまり、Ｒ成分である画素ＣＥ１１の画素値がＧ成分に揃えられる。
【０２３２】
無彩色化平均値算出部６７２は、このようにして注目画素近傍にある、注目画素とは異なる色成分の画素を無彩色化すると、それらの無彩色化された画素の画素値の平均値を無彩色化平均値Ｐとする。換言すれば、Ｒ，Ｇ，Ｂの色バランスが揃えられて、注目画素近傍にある、注目画素と異なる色の画素の画素値の平均値が求められる。
【０２３３】
なお、注目画素がＲ画素である場合には、無彩色化平均値算出部６７２は、例えば次式（６）を計算することで、無彩色化平均値Ｐを算出する。
【０２３４】
【数６】
2012217139.tif 000008
【０２３５】
なお、式（６）において、Ｇ１乃至Ｇ４は、処理対象の画像上において注目画素であるＲ画素に対して上下左右に隣接するＧ画素の画素値を示している。したがって式（６）では、注目画素の上下左右に隣接するＧ画素の画素値の平均値に、ホワイトバランス（ａｖｅＲ／ａｖｅＧ）、より詳細には、ステップＳ１２５で求めたホワイトバランス（ａｖｅＧ／ａｖｅＲ）の逆数が乗算され、無彩色化平均値Ｐとされる。
【０２３６】
つまり、注目画素がＲ画素である場合であっても、注目画素の近傍にある画素が無彩色化され、無彩色化された画素の画素値の平均値が無彩色化平均値Ｐとされる。
【０２３７】
また、注目画素がＢ画素である場合にも式（６）と同様の計算により、無彩色化平均値Ｐが算出される。すなわち、注目画素の上下左右に隣接するＧ画素の画素値の平均値に、ホワイトバランス（ａｖｅＢ／ａｖｅＧ）が乗算され、無彩色化平均値Ｐとされる。
【０２３８】
例えば、図２８に示すように、注目近傍領域内の各色成分の画素の画素値の平均値は異なることが多い。なお、図２８において、横軸は各色成分を示しており、縦軸は各画素の画素値を示している。
【０２３９】
注目近傍領域において、矢印ＲＥ１１乃至矢印ＲＥ１３のそれぞれに示す縦方向の直線の範囲内にＲ画素、Ｇ画素、およびＢ画素の各色成分の画素の画素値が分布していたとする。また、それらの色成分の画素の画素値の平均値が矢印Ｖ１１乃至矢印Ｖ１３に示す位置（画素値）であったとする。この場合、例えば矢印Ｖ１１に示す位置（画素値）が、Ｒ画素の画素値の平均値ａｖｅＲとなる。
【０２４０】
また、Ｒ画素の平均値ａｖｅＲにホワイトバランス（ａｖｅＧ／ａｖｅＲ）を乗算して無彩色化すると、無彩色化後のＲ画素の画素値の平均値は、矢印Ｖ２１に示す位置となる。同様に、Ｂ画素の平均値ａｖｅＢにホワイトバランス（ａｖｅＧ／ａｖｅＢ）を乗算して無彩色化すると、無彩色化後のＢ画素の画素値の平均値は、矢印Ｖ２２に示す位置となる。
【０２４１】
このようにして平均値ａｖｅＲや平均値ａｖｅＢにホワイトバランスを乗算して、各色成分の画素値の平均値をＧの色成分に揃えると、図中、右側に示すように、Ｒ，Ｇ，Ｂの各色成分の画素の画素値の平均値は同じ値となる。
【０２４２】
無彩色化によりＲＧＢの色成分を揃えた後、注目画素近傍にある、注目画素とは異なる色の無彩色化後の画素の画素値の平均値を求めると、注目画素近傍における、注目画素と同色の画素の平均的な画素値に相当する無彩色化平均値Ｐが得られる。
【０２４３】
ステップＳ１２７において、誤補正判定部６７３は、無彩色化平均値算出部６７２から供給された無彩色化平均値Ｐ、供給された注目画素情報、および欠陥補正部６４２からの欠陥補正情報に基づいて、注目画素に対する補正が誤補正であるか否かを判定する。
【０２４４】
例えば、注目画素情報により示される注目画素の画素値、つまり注目画素の補正前の画素値がＧｏｒｇであり、欠陥補正情報により示される注目画素の補正後の画素値、つまり欠陥補正部６４２により算出された補正注目画素の画素値がＧｃｏｒであるとする。
【０２４５】
この場合、誤補正判定部６７３は、補正前の画素値Ｇｏｒｇと無彩色化平均値Ｐの差分の絶対値が、補正後の画素値Ｇｃｏｒと無彩色化平均値Ｐの差分の絶対値以下であるとき、つまり｜Ｇｏｒｇ−Ｐ｜≦｜Ｇｃｏｒ−Ｐ｜であるとき、誤補正であると判定する。
【０２４６】
例えば、無彩色化平均値Ｐは、注目画素近傍にある、注目画素と同色の画素の平均的な画素値（輝度）に相当する。したがって、｜Ｇｏｒｇ−Ｐ｜≦｜Ｇｃｏｒ−Ｐ｜である場合、つまり補正後の画素値Ｇｃｏｒよりも補正前の画素値Ｇｏｒｇが、より無彩色化平均値Ｐに近い場合、補正注目画素よりも、元の注目画素の方が、より周囲の画素と輝度が近いことになる。このような場合、補正注目画素の画素値よりも元の注目画素の画素値が、本来、注目画素がとるべき画素値により近い可能性が高い。
【０２４７】
そこで、誤補正判定部６７３は、｜Ｇｏｒｇ−Ｐ｜≦｜Ｇｃｏｒ−Ｐ｜である場合、注目画素に対して行なわれた補正は誤補正であるとし、｜Ｇｏｒｇ−Ｐ｜＞｜Ｇｃｏｒ−Ｐ｜である場合、注目画素に対して行なわれた補正は適切な補正であるとする。
【０２４８】
ステップＳ１２７において、注目画素に対する補正が誤補正でない、つまり適切な補正であると判定された場合、ステップＳ１２８において、誤補正判定部６７３は欠陥補正部６４２から供給された補正注目画素の画素値を出力する。
【０２４９】
すなわち、補正された注目画素の画素値が、最終的な注目画素の画素値として出力される。補正注目画素が出力されると、欠陥画素補正処理は終了する。
【０２５０】
また、ステップＳ１２３において注目画素が欠陥画素でないと判定された場合、またはステップＳ１２７において注目画素に対する補正が誤補正であると判定された場合、ステップＳ１２９の処理が行なわれる。
【０２５１】
すなわち、ステップＳ１２９において、誤補正判定部６７３は、供給された注目画素情報に含まれる注目画素の画素値を、最終的な注目画素の画素値として出力し、欠陥画素補正処理は終了する。すなわち、注目画素の画素値が補正されずに、そのまま出力される。
【０２５２】
以上のようにして、画像処理装置６０１は、欠陥画素を補正して得られた補正注目画素について、補正前の注目画素と無彩色化平均値の差分、および補正注目画素と無彩色化平均値の差分を比較して、注目画素に対する補正が誤補正であるか否かを判定する。そして、画像処理装置６０１は、その判定結果に応じて、補正前の注目画素または補正後の注目画素の何れかを、最終的な注目画素として出力する。
【０２５３】
このように、無彩色化した注目画素近傍の画素の画素値の平均値と、補正前後の注目画素の画素値とを比較することで、より簡単かつ高精度に欠陥画素を検出し、より高品質な画像を得ることができる。
【０２５４】
すなわち、注目画素の誤補正を検出することは、欠陥画素の検出結果が誤検出であるかを判定することとほぼ等価であるから、画像処理装置６０１によれば欠陥画素の検出精度を簡単に向上させることができるようになるということができる。また、誤補正の検出を行ない、その検出結果に応じて補正前または補正後の注目画素を出力することで、各色成分のバランスが崩れてしまうことを防止し、偽色の発生を抑制することができる。これにより、より高品質な画像を得ることができる。
【０２５５】
特に、画像処理装置６０１では、補正前後の注目画素の画素値と、無彩色化平均値とを比較、評価するだけであるので、画像上の本来、色がついている部分を無彩色にしてしまうようなことはない。また、隣接する異色の画素を参照して誤補正の評価を行なうため、同色成分を参照するよりもサンプリング間隔が短く、高周波のテクスチャを欠落させてしまうような誤補正を容易に防ぐことができる。
【０２５６】
〈変形例４〉
［誤補正判定について］
なお、以上においては、例えば図２７に示したように、注目画素の上下左右に隣接する４画素を用いて無彩色化平均値Ｐを算出する例について説明したが、無彩色化平均値Ｐは、注目画素近傍にある画素が用いられて算出されれば、どのように算出されてもよい。
【０２５７】
例えば、図２９に示すように注目画素ＡＣ３１がＧ画素である場合、注目画素ＡＣ３１を中心とする縦５画素×横５画素からなる矩形領域内にあるＲ画素とＢ画素が用いられて、無彩色化平均値Ｐが算出されるようにしてもよい。
【０２５８】
なお、図２９において、１つの四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」は、画素の色、つまりＲ画素，Ｇ画素，Ｂ画素であることを示している。
【０２５９】
この例では、注目画素ＡＣ３１を中心とする縦５画素×横５画素の矩形領域内には、６個のＲ画素と、６個のＢ画素が含まれている。
【０２６０】
ここで、注目画素ＡＣ３１を中心とする５×５画素の矩形領域内にある６個の各Ｒ画素を画素Ｒ１乃至画素Ｒ６とし、注目画素ＡＣ３１を中心とする５×５画素の矩形領域内にある６個の各Ｂ画素を画素Ｂ１乃至画素Ｂ６とする。また、これらの画素Ｒｉ（但し、ｉ＝１乃至６）の画素値をＲｉとし、画素Ｂｉ（但し、ｉ＝１乃至６）の画素値をＢｉとする。
【０２６１】
この場合、無彩色化平均値算出部６７２は、次式（７）を計算することで、注目画素ＡＣ３１についての無彩色化平均値Ｐを算出する。
【０２６２】
【数７】
2012217139.tif 000009
【０２６３】
すなわち、式（７）では、ホワイトバランス（ａｖｅＧ／ａｖｅＢ）が乗算されたＢ画素と、ホワイトバランス（ａｖｅＧ／ａｖｅＲ）が乗算されたＲ画素の平均値が無彩色化平均値Ｐとして算出される。
【０２６４】
そして、誤補正判定部６７３においては、｜Ｇｏｒｇ−Ｐ｜≦｜Ｇｃｏｒ−Ｐ｜である場合、誤補正であるとされ、｜Ｇｏｒｇ−Ｐ｜＞｜Ｇｃｏｒ−Ｐ｜である場合、適切な補正であるとされる。すなわち｜Ｇｏｒｇ−Ｐ｜≦｜Ｇｃｏｒ−Ｐ｜であれば画素値Ｇｏｒｇ、つまり補正前の注目画素がそのまま出力され、｜Ｇｏｒｇ−Ｐ｜＞｜Ｇｃｏｒ−Ｐ｜であれば画素値Ｇｃｏｒ、つまり補正注目画素が出力される。
【０２６５】
図２９に示した例では図２７に示した例と比べて、より多くの画素を用いて無彩色化平均値Ｐを算出するので、注目画素に隣接する画素が欠陥画素であっても、高精度に誤補正判定を行なうことができる。
【０２６６】
例えば、無彩色化平均値Ｐの算出に用いられる画素が欠陥画素である場合、無彩色化平均値Ｐとして適切な値が得られなくなる可能性がある。しかし、無彩色化平均値Ｐの算出に用いる画素の数を多くすれば、それらの画素のなかに欠陥画素があったとしても、欠陥画素の画素値の無彩色化平均値Ｐの算出に対する寄与率は低くなるので、適切な無彩色化平均値Ｐを得ることができる。
【０２６７】
同様に、注目画素を中心とする５×５画素の矩形領域内の画素が用いられて無彩色化平均値Ｐが算出される場合、例えば注目画素がＲ画素であるときには、その矩形領域内にあるＧ画素とＢ画素が無彩色化され、無彩色化された各画素の平均値が無彩色化平均値Ｐとされる。
【０２６８】
〈変形例５〉
［誤補正判定について］
さらに、以上では画像上にＲＧＢの各色成分がベイヤー配列で並んでいる場合を例として説明したが、例えば図３０に示すように画像上にＲ画素、Ｇ画素、Ｂ画素の他に、さらに透明（ホワイト）な画素（以下、Ｗ画素と称する）も配置されるようにしてもよい。なお、図３０において、１つの四角形は１つの画素を表しており、それらの四角形内の文字「Ｒ」，「Ｇ」，「Ｂ」，「Ｗ」は、それぞれＲ画素，Ｇ画素，Ｂ画素，Ｗ画素を示している。
【０２６９】
この例では、図３０に示す図中、縦９画素，横９画素からなる矩形領域が注目近傍領域とされる。この場合、ホワイトバランス算出部６７１は、注目近傍領域内のＲ画素、Ｇ画素、Ｂ画素、およびＷ画素の色成分ごとに、それらの色の画素の画素値の平均値を、平均値ａｖｅＲ、平均値ａｖｅＧ、平均値ａｖｅＢ、および平均値ａｖｅＷとして算出する。
【０２７０】
そして、ホワイトバランス算出部６７１は、Ｗ画素を基準として、Ｗ画素の平均値ａｖｅＷと他の色成分の平均値との比、つまりａｖｅＷ／ａｖｅＲ，ａｖｅＷ／ａｖｅＧ，ａｖｅＷ／ａｖｅＢをホワイトバランスとして算出する。
【０２７１】
また、無彩色化平均値算出部６７２は、このようにして求められたホワイトバランスａｖｅＷ／ａｖｅＲ，ａｖｅＷ／ａｖｅＧ，ａｖｅＷ／ａｖｅＢを用いて、無彩色化平均値Ｐを算出する。つまり、ホワイトバランスにより無彩色化された、注目画素と異なる色の画素の平均値が無彩色化平均値Ｐとされる。
【０２７２】
具体的には、例えば注目画素がＲ画素である場合には、無彩色化平均値算出部６７２は、次式（８）を計算することで、無彩色化平均値Ｐを算出する。
【０２７３】
【数８】
2012217139.tif 000010
【０２７４】
なお、式（８）において、Ｗ１乃至Ｗ４は、処理対象の画像上において注目画素であるＲ画素に対して上下左右に隣接するＷ画素の画素値を示している。したがって式（８）では、注目画素の上下左右に隣接するＷ画素の画素値の平均値に、ホワイトバランス（ａｖｅＷ／ａｖｅＲ）の逆数が乗算され、無彩色化平均値Ｐとされる。
【０２７５】
〈第４の実施の形態〉
［画像処理装置の構成例］
さらに、誤補正判定を行なう場合に、誤補正判定処理部６１３の前段で行なわれる注目画素の欠陥検出や欠陥補正は、どのようにして行なわれてもよい。
【０２７６】
例えば、第１の実施の形態で説明したように、テクスチャ方向に並ぶ画素から算出した２次微分値に基づいて、欠陥画素の検出を行なうようにしてもよい。そのような場合、画像上の欠陥画素の検出および補正を行なう画像処理装置は、例えば図３１に示すように構成される。
【０２７７】
図３１の画像処理装置７０１は、近傍領域抽出部２１、テクスチャ方向判定部２２、欠陥画素検出部２３、欠陥画素補正部２４、および誤補正判定処理部６１３から構成される。なお、図３１において図１または図２２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２７８】
図３１の画像処理装置７０１では、欠陥画素補正部２４の後段に誤補正判定処理部６１３が設けられており、この誤補正判定処理部６１３は、図２４に示した構成とされる。そして、誤補正判定処理部６１３のホワイトバランス算出部６７１には、近傍領域抽出部２１で得られた近傍領域情報が供給される。
【０２７９】
また、誤補正判定処理部６１３の誤補正判定部６７３には、画像処理装置７０１に入力された注目画素情報と、欠陥画素補正部２４の補正値算出部１１２からの補正後の注目画素（以下、補正注目画素と称する）の画素値とが供給される。
【０２８０】
［欠陥画素補正処理の説明］
次に、図３２のフローチャートを参照して、画像処理装置７０１により行なわれる欠陥画素補正処理について説明する。この欠陥画素補正処理は、欠陥画素の検出と補正を行おうとする処理対象の画像上の画素ごとに行なわれる。
【０２８１】
ステップＳ１５１において近傍領域抽出部２１は、入力された注目画素情報から近傍領域情報を抽出し、テクスチャ方向判定部２２の微分値算出部５１、欠陥画素検出部２３の画素選択部８１、および誤補正判定処理部６１３のホワイトバランス算出部６７１に供給する。例えば近傍領域抽出部２１は、画像上における注目画素を中心とする水平方向に９画素、垂直方向に９画素からなる矩形領域内に含まれる各画素を抽出し、近傍領域情報とする。
【０２８２】
近傍領域情報が抽出されると、その後、ステップＳ１５２乃至ステップＳ１５９の処理が行なわれるが、これらの処理は図５のステップＳ１２乃至ステップＳ１９の処理と同様であるので、その説明は省略する。
【０２８３】
但し、ステップＳ１５９において、補正値算出部１１２は、微分値算出部１１１から供給された微分値と選択画素とに基づいて注目画素を補正すると、補正により得られた補正注目画素を含む欠陥補正情報を誤補正判定処理部６１３の誤補正判定部６７３に供給する。
【０２８４】
また、補正注目画素が得られると、その後、ステップＳ１６０乃至ステップＳ１６４の処理が行なわれて、欠陥画素補正処理は終了するが、これらの処理は図２５のステップＳ１２５乃至ステップＳ１２９と同様であるので、その説明は省略する。
【０２８５】
但し、ステップＳ１５７で注目画素が欠陥画素であると判定された場合、またはステップＳ１６２において注目画素に対する補正は誤補正であると判定された場合、ステップＳ１６４の処理が行なわれる。すなわち、誤補正判定部６７３により、補正前のもとの注目画素の画素値が、最終的な注目画素の画素値として出力される。
【０２８６】
以上のようにして、画像処理装置７０１は、注目画素を含む、テクスチャ方向に並ぶいくつかの画素を用いて複数の２次微分値を算出し、それらの２次微分値を閾値処理することで、注目画素が欠陥画素であるか否かを特定する。また、画像処理装置７０１は、補正前後の注目画素と無彩色化平均値とを比較して、注目画素に対する補正が誤補正であるか否かを判定し、その判定結果に応じて、補正前または補正後の注目画素を出力する。
【０２８７】
これにより、より簡単かつ高精度に欠陥画素を検出することができるとともに、欠陥画素の補正によって、より高品質な画像を得ることができる。
【０２８８】
〈第５の実施の形態〉
［画像処理装置の構成例］
さらに、以上においては、欠陥画素に対する誤補正を検出する場合を例として説明したが、本技術の誤補正判定は、欠陥画素補正に限らず、ノイズリダクション（ノイズ除去）など注目画素に対する補正処理であれば、どのような補正処理に対しても適用可能である。
【０２８９】
例えば、本技術の誤補正判定をノイズリダクション処理に適用する場合、画像に対するノイズリダクション処理を行なう画像処理装置は、図３３に示すように構成される。なお、図３３において、図２２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２９０】
図３３の画像処理装置７３１は、ノイズリダクション処理部７４１および誤補正判定処理部６１３から構成される。また、画像処理装置７３１には、注目画素情報が供給される。
【０２９１】
ノイズリダクション処理部７４１は、供給された注目画素情報に基づいて、注目画素に対するノイズリダクション処理を行い、ノイズリダクション処理、つまり注目画素に対する補正処理により得られた補正情報を誤補正判定処理部６１３に供給する。
【０２９２】
例えば、ノイズリダクション処理部７４１は、注目画素近傍の画素に基づいて、注目画素がエッジを構成する画素であるかを特定する。
【０２９３】
そして、ノイズリダクション処理部７４１は、注目画素がエッジを構成する画素でない場合、注目画素近傍の画素に基づいて、ノイズリダクション処理後、つまり注目画素に対する補正処理後の画素値を算出する。具体的には、例えば注目画素近傍のいくつかの画素の画素値の平均値が、補正後の注目画素（以下、補正注目画素とも称する）の画素値とされる。また、ノイズリダクション処理部７４１は、注目画素がエッジを構成する画素である場合、注目画素の画素値を、そのまま補正注目画素の画素値とする。
【０２９４】
ノイズリダクション処理部７４１は、このようにして補正注目画素を求めると、求めた補正注目画素を誤補正判定処理部６１３の誤補正判定部６７３に供給する。
【０２９５】
誤補正判定処理部６１３は、供給された注目画素情報と、ノイズリダクション処理部７４１からの補正注目画素とに基づいて誤補正判定を行い、その判定結果に応じて、補正前の注目画素または補正注目画素の何れかを、最終的な注目画素として出力する。
【０２９６】
このとき、誤補正判定処理部６１３のホワイトバランス算出部６７１は、供給された注目画素情報から近傍領域情報を抽出し、ホワイトバランスを算出する。
【０２９７】
以上のように、注目画素に対してノイズリダクション処理等の欠陥補正とは異なる補正処理を行う場合であっても、本技術の誤補正判定を適用し、より高品質な画像を得ることができる。
【０２９８】
なお、第３の実施の形態乃至第５の実施の形態等で説明した一連の処理も、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。例えば、上述した一連の処理がソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムが、図２１に示したコンピュータにより実行される。
【０２９９】
さらに、本技術は、以下のような構成とすることも可能である。
【０３００】
［９］
各画素が複数の色成分のうちの何れかを画素値として有する画像について、前記画像上の注目画素を含む領域内の画素に基づいて、前記注目画素を補正する補正部と、
前記画像上の前記注目画素を含む近傍領域内の画素、前記注目画素、および前記注目画素に対する前記補正により得られた補正注目画素に基づいて、前記注目画素に対する誤補正判定を行なう誤補正判定部と
を備える画像処理装置。
［１０］
前記誤補正判定部は、少なくとも前記注目画素近傍の前記注目画素と異なる色成分を有する画素、前記注目画素、および前記補正注目画素に基づいて前記誤補正判定を行なう
［９］に記載の画像処理装置。
［１１］
前記近傍領域内における前記注目画素と同色の画素の平均値と、前記近傍領域内における前記注目画素と異なる色の画素の平均値との比をホワイトバランスとして算出するホワイトバランス算出部と、
前記注目画素近傍に位置する、前記注目画素と異なる色の画素の平均値に前記ホワイトバランスを乗算することで、無彩色化平均値を算出する無彩色化平均値算出部と
をさらに備え、
前記誤補正判定部は、前記無彩色化平均値、前記注目画素、および前記補正注目画素を比較することで前記誤補正判定を行なう
［１０］に記載の画像処理装置。
［１２］
前記誤補正判定部は、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値以下である場合、前記注目画素を最終的な前記注目画素として出力する
［１１］に記載の画像処理装置。
［１３］
前記誤補正判定部は、前記無彩色化平均値と前記注目画素の差分絶対値が、前記無彩色化平均値と前記補正注目画素の差分絶対値より大きい場合、前記補正注目画素を最終的な前記注目画素として出力する
［１１］または［１２］の何れかに記載の画像処理装置。
［１４］
前記補正部は、前記注目画素に対する欠陥画素補正処理またはノイズ除去処理を行うことで、前記注目画素を補正する
［９］乃至［１３］の何れかに記載の画像処理装置。
【符号の説明】
【０３０１】
１１  画像処理装置，  ２２  テクスチャ方向判定部，  ２３  欠陥画素検出部、  ２４  欠陥画素補正部，  ５１−１乃至５１−４，５１  微分値算出部，  ５２  微分値比較部，  ８２  ２次微分値算出部，  ８３  微分値比較部，  １１１  微分値算出部，  １１２  補正値算出部，  １５１  平均値算出部，  １５２  欠陥画素検出部，  １５３  欠陥画素補正部，  ６０１  画像処理装置，  ６１３  誤補正判定処理部，  ６７１  ホワイトバランス算出部，  ６７２  無彩色化平均値算出部，  ６７３  誤補正判定部
【図１】
2012217139.tif 000011
【図２】
2012217139.tif 000012
【図３】
2012217139.tif 000013
【図４】
2012217139.tif 000014
【図５】
2012217139.tif 000015
【図６】
2012217139.tif 000016
【図７】
2012217139.tif 000017
【図８】
2012217139.tif 000018
【図９】
2012217139.tif 000019
【図１０】
2012217139.tif 000020
【図１１】
2012217139.tif 000021
【図１２】
2012217139.tif 000022
【図１３】
2012217139.tif 000023
【図１４】
2012217139.tif 000024
【図１５】
2012217139.tif 000025
【図１６】
2012217139.tif 000026
【図１７】
2012217139.tif 000027
【図１８】
2012217139.tif 000028
【図１９】
2012217139.tif 000029
【図２０】
2012217139.tif 000030
【図２１】
2012217139.tif 000031
【図２２】
2012217139.tif 000032
【図２３】
2012217139.tif 000033
【図２４】
2012217139.tif 000034
【図２５】
2012217139.tif 000035
【図２６】
2012217139.tif 000036
【図２７】
2012217139.tif 000037
【図２８】
2012217139.tif 000038
【図２９】
2012217139.tif 000039
【図３０】
2012217139.tif 000040
【図３１】
2012217139.tif 000041
【図３２】
2012217139.tif 000042
【図３３】
2012217139.tif 000043