(57)【要約】【課題】エッジ検出精度の向上を図れ、ひいては欠陥検出精度の向上を図ることが可能な画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラムを提供する。【解決手段】各々が画素の値を有する複数の画素が二次元配列されている画像についての注目画素が、画像の欠陥であるか否かを判定する欠陥判定部１７５と、注目画素を中心とした複数の画素からなる処理領域に含まれている、少なくとも注目画素の周囲の周辺画素の値に基づいて、処理領域における勾配またはエッジを検出する勾配検出部１７４と、検出された勾配またはエッジに応じて、注目画素の補正値の取得に用いる画素を選択し、当該選択した画素の値から補正値を得る補正値取得部１７６と、注目画素が画像の欠陥と判定された場合に、注目画素の値を補正値に置き換える欠陥画素置換部１７７とを有する。【選択図】図５
2011120202.tif 000002
【特許請求の範囲】
【請求項１】
各々が画素の値を有する複数の画素が二次元配列されている画像についての注目画素が、上記画像の欠陥であるか否かを判定する欠陥判定部と、
上記注目画素を中心とした複数の画素からなる処理領域に含まれている、少なくとも上記注目画素の周囲の周辺画素の値に基づいて、上記処理領域における勾配またはエッジを検出する勾配検出部と、
検出された上記勾配またはエッジに応じて、上記注目画素の補正値の取得に用いる画素を選択し、当該選択した画素の値から補正値を得る補正値取得部と、
上記注目画素が画像の欠陥と判定された場合に、上記注目画素の値を上記補正値に置き換える欠陥画素置換部と
を有する画素欠陥補正装置。
【請求項２】
上記画像の複数の画素は、各々が所定数の色から選択された色に対応し、
上記勾配検出部は、
上記注目画素と異なる色の周辺画素の値に基づいて、上記処理領域の勾配またはエッジを検出する
請求項１記載の画素欠陥補正装置。
【請求項３】
上記勾配検出部は、
上記処理領域における勾配またはエッジを検出するために、
上記処理領域に含まれる上記注目画素と異なる色の周辺画素の値に基づいて、上記処理領域についての複数の方向毎に勾配またはエッジを取得し、
取得した上記複数の方向の勾配またはエッジから、最も勾配またはエッジが緩やかな方向を選択し、
上記補正値取得部は、
上記注目画素を基準として、最も緩やかな上記勾配またはエッジの方向にある上記注目画素と同色の画素を選択する
請求項２記載の画素欠陥補正装置。
【請求項４】
上記勾配検出部は、
上記処理領域の画素配列についての縦方向、横方向、右斜め方向、および左斜め方向の４方向について勾配またはエッジを取得する
請求項３記載の画素欠陥補正装置。
【請求項５】
上記勾配検出部は、
上記注目画素を基準とした、最も緩やかな上記勾配またはエッジの方向に、上記注目画素と同色の欠陥画素が含まれる場合、選択する勾配またはエッジの方向をそれ以外の方向に切り替える
請求項２から４のいずれか一項記載の画素欠陥補正装置。
【請求項６】
上記補正値取得部は、
上記補正値として、上記処理領域内の上記注目画素と同色の複数の周辺画素の値の平均値を得る
請求項２または５のいずれか一項記載の画素欠陥補正装置。
【請求項７】
上記補正値取得部は、
上記処理領域内の上記注目画素と同色の複数の周辺画素の値から、少なくとも最大値および最小値を除外して平均値を得る
請求項６記載の画素欠陥補正装置。
【請求項８】
上記補正値取得部は、
上記注目画素を基準として、上記勾配検出部により検出された上記勾配またはエッジの方向にある複数の画素を選択し、当該複数の画素の値の平均値を上記補正値として得る
請求項１から５のいずれか一項記載の画素欠陥補正装置。
【請求項９】
上記補正値取得部は、
上記注目画素を基準として上記勾配またはエッジの方向にある複数の画素に、欠陥画素が含まれているか否かを判定し、
上記複数の画素に欠陥画素が含まれている場合には、上記複数の画素のうちの当該欠陥画素以外の画素の値から上記補正値を得る
請求項８記載の画素欠陥補正装置。
【請求項１０】
上記補正値取得部は、
上記処理領域に含まれる複数の周辺画素のうちの、最大値または最小値の周辺画素の欠陥を、最大または最小から２番目の周辺画素の値に基づいて判定し、
上記欠陥判定部は、
上記最大値または最小値の周辺画素が欠陥でない場合には、上記最大値または最小値に基づいて上記注目画素の欠陥を判定し、
上記最大値または最小値の周辺画素が欠陥である場合には、上記最大または最小から２番目の値に基づいて上記注目画素の欠陥を判定する
請求項９記載の画素欠陥補正装置。
【請求項１１】
上記補正値取得部は、
上記処理領域に含まれる複数の周辺画素のうちの、最大値または最小値からｎ−１番目までの複数の周辺画素の欠陥を、最大または最小からｎ番目（ｎは２以上の自然数）の周辺画素の値に基づいて判定し、
上記欠陥判定部は、
上記最大値または最小値の周辺画素が欠陥でない場合には、上記最大値または最小値に基づいて上記注目画素の欠陥を判定し、
上記最大値または最小値の周辺画素が欠陥である場合には、上記最大または最小からｎ番目の値に基づいて上記注目画素の欠陥を判定する
請求項９記載の画素欠陥補正装置。
【請求項１２】
被写体像を撮像する撮像素子を含む画素部と、
上記撮像素子からの画像データを受けて画素欠陥補正処理を行う画素欠陥補正装置と、を有し、
上記画素欠陥補正装置は、
各々が画素の値を有する複数の画素が二次元配列されている画像についての注目画素が、上記画像の欠陥であるか否かを判定する欠陥判定部と、
上記注目画素を中心とした複数の画素からなる処理領域に含まれている、少なくとも上記注目画素の周囲の周辺画素の値に基づいて、上記処理領域における勾配またはエッジを検出する勾配検出部と、
検出された上記勾配またはエッジに応じて、上記注目画素の補正値の取得に用いる画素を選択し、当該選択した画素の値から補正値を得る補正値取得部と、
上記注目画素が画像の欠陥と判定された場合に、上記注目画素の値を上記補正値に置き換える欠陥画素置換部と、を有する
撮像装置。
【請求項１３】
各々が画素の値を有する複数の画素が二次元配列されている画像についての注目画素が、上記画像の欠陥であるか否かを判定する欠陥判定ステップと、
上記注目画素を中心とした複数の画素からなる処理領域に含まれている、少なくとも上記注目画素の周囲の周辺画素の値に基づいて、上記処理領域における勾配またはエッジを検出する方向検出ステップと、
検出された上記勾配またはエッジに応じて、上記注目画素の補正値の取得に用いる画素を選択し、当該選択した画素の値から補正値を得る補正値取得ステップと、
上記注目画素が画像の欠陥と判定された場合に、上記注目画素の値を上記補正値に置き換える置換ステップと
を有する画素欠陥補正方法。
【請求項１４】
各々が画素の値を有する複数の画素が二次元配列されている画像についての注目画素が、上記画像の欠陥であるか否かを判定する欠陥判定処理と、
上記注目画素を中心とした複数の画素からなる処理領域に含まれている、少なくとも上記注目画素の周囲の周辺画素の値に基づいて、上記処理領域における勾配またはエッジを検出する方向検出処理と、
検出された上記勾配またはエッジに応じて、上記注目画素の補正値の取得に用いる画素を選択し、当該選択した画素の値から補正値を得る補正値取得処理と、
上記注目画素が画像の欠陥と判定された場合に、上記注目画素の値を上記補正値に置き換える置換処理と
を有する画素欠陥補正処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ，ＣＭＯＳセンサなどの固体撮像素子における欠陥画素を検出し補償する機能を有する画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラムに関するものである。
【背景技術】
【０００２】
一般に、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子には、欠陥画素が生じることが知られている。
固体撮像素子において、半導体の局部的な結晶欠陥などによる異常な撮像信号を出力する欠陥画素を生じ、これに起因する画質劣化を生じることが知られている。
これらには、たとえば黒傷欠陥画素や白傷欠陥画素などがある。
【０００３】
すなわち、固体撮像素子の画素欠陥には、正常信号レベルに一定量の電荷が加算される白欠陥と、一定の比率で信号レベルが低下もしくは常に０前後の信号レベルを出力する黒欠陥がある。
【０００４】
これら欠陥は画像出力時に画質劣化をもたらすため、様々な欠陥検出補正方法が提案されている（たとえば、特許文献１、２参照）。
【０００５】
一般に、欠陥と判定された画素に対しては、欠陥画素と置き換える値を算出し、欠陥画素とその算出値を置き換える事で、欠陥補正を実現している。
補正値算出方法については、撮像した画像に応じて適応的に対応するため、欠陥画素周辺のエッジを検出し、エッジ方向に基づいた欠陥画素を挟む２画素の平均値を利用することで実現できる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３１８３８３号公報
【特許文献２】特開２００８−１５４２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、欠陥画素自身をエッジ検出に利用する事は、中心にある画素値が正常でないため、エッジ検出の精度を著しく劣化させる可能性が大きい。
たとえば、特許文献１や特許文献２では、欠陥判定対象画素を含めて色キャリア除去した輝度値をエッジ検出に利用したとしても、上記問題と同様に注目画素が正常でないため、正確なエッジを検出できず、欠陥検出の精度も低下すると考えられる。
【０００８】
本発明は、エッジ検出精度の向上を図れ、ひいては欠陥検出精度の向上を図ることが可能な画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点の画素欠陥補正装置は、各々が画素の値を有する複数の画素が二次元配列されている画像についての注目画素が、画像の欠陥であるか否かを判定する欠陥判定部と、注目画素を中心とした複数の画素からなる処理領域に含まれている、少なくとも上記注目画素の周囲の周辺画素の値に基づいて、処理領域における勾配またはエッジを検出する勾配検出部と、検出された勾配またはエッジに応じて、注目画素の補正値の取得に用いる画素を選択し、当該選択した画素の値から補正値を得る補正値取得部と、注目画素が画像の欠陥と判定された場合に、注目画素の値を補正値に置き換える欠陥画素置換部とを有する。
【００１０】
本発明の第２の観点の撮像装置は、被写体像を撮像する撮像素子を含む画素部と、撮像素子からの画像データを受けて画素欠陥補正処理を行う画素欠陥補正装置と、を有する。そして、画素欠陥補正装置は、各々が画素の値を有する複数の画素が二次元配列されている画像についての注目画素が、画像の欠陥であるか否かを判定する欠陥判定部と、注目画素を中心とした複数の画素からなる処理領域に含まれている、少なくとも上記注目画素の周囲の周辺画素の値に基づいて、処理領域における勾配またはエッジを検出する勾配検出部と、検出された勾配またはエッジに応じて、注目画素の補正値の取得に用いる画素を選択し、当該選択した画素の値から補正値を得る補正値取得部と、注目画素が画像の欠陥と判定された場合に、注目画素の値を補正値に置き換える欠陥画素置換部と、を有する。
【００１１】
本発明の第３の観点の画素欠陥補正方法は、各々が画素の値を有する複数の画素が二次元配列されている画像についての注目画素が、画像の欠陥であるか否かを判定する欠陥判定ステップと、注目画素を中心とした複数の画素からなる処理領域に含まれている、少なくとも上記注目画素の周囲の周辺画素の値に基づいて、処理領域における勾配またはエッジを検出する方向検出ステップと、検出された勾配またはエッジに応じて、注目画素の補正値の取得に用いる画素を選択し、当該選択した画素の値から補正値を得る補正値取得ステップと、注目画素が画像の欠陥と判定された場合に、注目画素の値を補正値に置き換える置換ステップとを有する。
【００１２】
本発明の第４の観点は、各々が画素の値を有する複数の画素が二次元配列されている画像についての注目画素が、画像の欠陥であるか否かを判定する欠陥判定処理と、注目画素を中心とした複数の画素からなる処理領域に含まれている、少なくとも上記注目画素の周囲の周辺画素の値に基づいて、処理領域における勾配またはエッジを検出する方向検出処理と、検出された勾配またはエッジに応じて、注目画素の補正値の取得に用いる画素を選択し、当該選択した画素の値から補正値を得る補正値取得処理と、注目画素が画像の欠陥と判定された場合に、注目画素の値を補正値に置き換える置換処理とを有する画素欠陥補正処理をコンピュータに実行させるプログラムである。
【発明の効果】
【００１３】
本発明によれば、エッジ検出精度の向上を図れ、ひいては欠陥検出精度の向上を図ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る画素欠陥補正装置を適用した撮像装置の構成例を示すブロック図である。
【図２】画素配列例としてベイヤ配列を示す図である。
【図３】第１実施形態に係る画素部の単位画素の構成例を示す回路図である。
【図４】図１に示される画素部の構成例を示す図である。
【図５】第１実施形態に係る欠陥検出補正回路の構成例を示す図である。
【図６】ベイヤ配列上の５画素×５画素の処理領域の一例を示す図である。
【図７】輝度値に擬似的な値を利用する場合の擬似輝度値算出処理のイメージを示す図である。
【図８】勾配算出に参照する輝度位置を示す図である。
【図９】欠陥判定対象画素と同色の画素を除いた擬似輝度算出処理のイメージを示す図である。
【図１０】第１実施形態に係る欠陥検出補正回路の欠陥検出補正処理のフローチャートを示す図である。
【図１１】実際の処理画像を示す図である。
【図１２】図１１の場合の画素値の実例を示す図である。
【図１３】従来方式で計算した擬似輝度を示す図である。
【図１４】第１実施形態に係る方式で計算した擬似輝度を示す図である。
【図１５】欠陥判定対象画素を同色周辺８画素の平均値で置き換えて擬似輝度を算出するイメージを示す図である。
【図１６】注目画素のみに欠陥がある場合の処理領域の複数の画素値の一例の説明図である。
【図１７】注目画素および周辺画素に隣接欠陥がある場合の処理領域の複数の画素値の一例の説明図である。
【図１８】本発明の第２実施形態に係る欠陥検出補正回路の構成例を示す図である。
【図１９】第２実施形態に係る欠陥検出補正回路の欠陥検出補正処理のフローチャートを示す図である。
【図２０】隣接欠陥を埋め込んだ画像の一例である。
【図２１】図２０の画像を第１実施形態の画素欠陥補正処理により補正した画像の一例である。
【図２２】図２０の画像を第２実施形態の画素欠陥補正処理により補正した画像の一例である。
【図２３】第２実施形態に係る欠陥検出補正回路の他の欠陥検出補正処理のフローチャートを示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の第１実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．第１実施形態（注目画素と異なる色成分の画素に基づいて勾配またはエッジを取得する例）。
２．第２実施形態（カプレット画素欠陥を補正する例）。
【００１６】
＜１．第１実施形態＞
［撮像装置の全体構成例］
図１は、本発明の第１実施形態に係る画素欠陥補正装置を適用した撮像装置の構成例を示すブロック図である。
【００１７】
撮像装置１０は、図１に示すように、光学系１１、および固体撮像素子としてのＣＭＯＳイメージセンサ１２を有する。
【００１８】
光学系１１は、被写体像を撮像素子１２の撮像面に結像する。
【００１９】
ＣＭＯＳイメージセンサ１２は、画素部１３、アナログフロントエンド部（ＡＦＥ：Analogue  Front  End）１４、アナログデジタルコンバータ（ＡＤＣ：Analogue  to  Digital  Converter）１５、および前処理部１６を有する。
ＣＭＯＳイメージセンサ１２は、本発明の第１実施形態に係る画素欠陥補正方法を採用した欠陥検出補正回路１７、後処理部１８、および機能制御・タイミング制御部１９を有する。
【００２０】
画素部１３は、ＣＭＯＳセンサにより形成され、複数の単位画素がマトリクス状に配列されている。
画素部１３は、その画素配列として、たとえば図２に示すようなベイヤ配列が採用される。
【００２１】
図３は、第１実施形態に係る画素部１３の単位画素の構成例を示す回路図である。
図３は、第１実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示している。
【００２２】
各画素回路１３０は、図３に示すように、たとえばフォトダイオードからなる光電変換素子１３１を有する。
そして、画素回路１３０は、この１個の光電変換素子１３１に対して、転送トランジスタ１３２、リセットトランジスタ１３３、増幅トランジスタ１３４、および選択トランジスタ１３５の４つのトランジスタを能動素子として有する。
【００２３】
光電変換素子１３１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ１３２は、光電変換素子１３１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴｘを通じてそのゲート（転送ゲート）に制御信号である送信信号ＴＧが与えられる。
これにより、転送トランジスタ１３２は、光電変換素子１３１で光電変換された電子をフローティングディフュージョンＦＤに転送する。
【００２４】
リセットトランジスタ１３３は、電源ラインＬＶＤＤとフローティングディフュージョンＦＤとの間に接続され、リセット制御線ＬＲＳＴを通してそのゲートに制御信号であるリセット信号ＲＳＴが与えられる。
これにより、リセットトランジスタ１３３は、フローティングディフュージョンＦＤの電位を電源ラインＬＶＤＤの電位にリセットする。
【００２５】
フローティングディフュージョンＦＤには、増幅トランジスタ１３４のゲートが接続されている。増幅トランジスタ１３４は、選択トランジスタ１３５を介して信号線ＬＳＧＮに接続され、画素部外の定電流源１３６とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通してアドレス信号に応じた制御信号である選択信号ＳＥＬが選択トランジスタ１３５のゲートに与えられ、選択トランジスタ１３５がオンする。
選択トランジスタ１３５がオンすると、増幅トランジスタ１３４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を信号線ＬＳＧＮに出力する。信号線ＬＳＧＮを通じて、各画素から出力された電圧は、読み出し回路であるＡＦＥ１４に出力される。
これらの動作は、たとえば転送トランジスタ１３２、リセットトランジスタ１３３、および選択トランジスタ１３５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。
【００２６】
画素部１３は、画素アレイ部に配線されているリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬが一組として画素配列の各行単位で配線されている。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬは、図示しない垂直走査回路により駆動される。
また、出力信号線ＬＳＧＮは、相関二重サンプリング（ＣＤＳ：Correlated  Double  Sampling）回路等を含む読み出し回路に接続される。
第１実施形態では、ＣＤＳ回路機能をＡＦＥ１４に持たせている。
【００２７】
欠陥検出補正回路１７は、前処理部１６でデジタル信号処理を受けた画像デジタル信号に欠陥画素信号が存在する場合には、後で詳述する欠陥画素検出補正方法により欠陥画素信号を補正し、補正後のデジタル信号を後処理部１８に出力する。
第１実施形態の欠陥検出補正回路１７は、以下に示すように、複数の画素が二次元に配列された画像から注目画素を選択し、その選択した注目画素が欠陥であるか否かを判定し、欠陥である場合には注目画素の値を補正する。
また、欠陥検出補正回路１７は、欠陥判定対象画素（選択した注目画素）と同色の画素以外の色画素を利用する勾配検出機能を有する。
欠陥検出補正回路１７は、欠陥判定対象画素と同色画素以外の色画素を利用する勾配検出機能と、この勾配検出機能で、欠陥補正方向に欠陥同色隣接画素の最大値もしくは最小値を含む方向が選択された場合、それ以外の方向に切替える変更機能を有している。
また、欠陥検出補正回路１７は、欠陥判定対象画素を同色周辺８画素平均値に置き換えて利用する勾配検出機能を有する。
欠陥検出補正回路１７は、欠陥判定対象画素を同色周辺の最大値および最小値を除く６画素平均値に置き換えて利用する勾配検出機能を有する。
【００２８】
以下に、撮像装置１０の機能の概要を説明した後、画素部の具体的な構成例、および欠陥検出補正回路１７の具体的な構成および機能について説明する。
【００２９】
［撮像装置の機能の概要］
被写体から得られた入射光は、光学系１１を介して、ＣＭＯＳイメージセンサ１２の画素部１３に入力される。
画素部１３において光電変換されて電気信号となり、ＡＦＥ１４に入力される。入力された電気信号はＡＦＥ１４により、相関二重サンプリング処理、自動利得制御処理（ＡＧＣ：Auto  Gain  Control）が行われた電気信号として出力される。
ＡＦＥ１４から出力された電気信号はＡＤＣ１５にてＡ／Ｄ変換処理が行われデジタル信号として出力される。
そのデジタル信号は前処理部１６にて種々のデジタル処理が行われ、欠陥検出補正回路１７に出力される。
そのデジタル信号に欠陥画素信号が存在する場合には、欠陥検出補正回路１７にて後述する欠陥画素検出補正方法により欠陥画素信号が補正され、補正後のデジタル信号が出力される。
そのデジタル信号は後処理部１８に入力され、種々のデジタル処理が行われ、出力される。そのデジタル信号がＣＭＯＳイメージセンサ１２の出力信号となる。
なお、機能制御・タイミング制御部１９にて、ＣＭＯＳイメージセンサ１２の各部の制御動作が行われる。
【００３０】
［画素部の構成例］
図４は、図１に示される画素部１３の構成例を示す図である。
【００３１】
画素部１３は、図４に示すように、ＲＧＢの何れかの色のフィルタを有する複数の有効画素３１を有する有効画素領域２１と、ブランキング領域２２および２３とを有する。
ブランキング領域２２は、複数のオプティカルブラック（ＯＢ：Optical  Black）画素３２を有するＯＢ画素領域２５と複数のダミー画素３３を有するダミー画素領域２４とを有する。
【００３２】
有効画素領域２１は、有効画素３１として、Ｒ（赤色）透過フィルタの画素ＰＸ１０、Ｂ（青色）透過フィルタの画素ＰＸ１１、Ｇ（緑色）透過のフィルタの画素ＰＸ１２を含み、これらがマトリクス状に配列されている。
有効画素領域２１は、Ｒ透過フィルタの画素ＰＸ１０とＧ透過フィルタの画素ＰＸ１２とを水平方向（Ｘ方向）に交互に繰り返す第１フィルタ行ＦＬＴ１１を有する。
有効画素領域２１は、Ｇ透過フィルタの画素ＰＸ１２とＢ透過フィルタの画素ＰＸ１１とを水平方向に交互に繰り返す第２フィルタ行ＦＬＴ１２を有する。
有効画素領域２１は、この第１フィルタ行ＦＬＴ１１と第２フィルタ行ＦＬＴ１２が垂直方向（Ｙ方向）に交互に繰り返し配置されている。
第１フィルタ行ＦＬＴ１１のＧ透過フィルタの画素ＰＸ１２と第２フィルタ行ＦＬＴ１２のＧ透過フィルタの画素ＰＸ１２とは、垂直方向に重ならないように配置されている。このフィルタ配列は一般的にベイヤ配列として用いられている。
また、ＯＢ画素３２を遮光状態にしているＯＢ行ＯＰＢ１１には、ＲＧＢのフィルタを有する有効画素３１と同様に欠陥画素が存在する可能性がある。
ダミー画素行ＤＭＹ１１には欠陥が存在しない。
これらの画素出力は、ダミー画素行ＤＭＹ１１が複数行、ＯＢ行ＯＰＣ１１が複数行、第１フィルタ行ＦＬＴ１１と第２フィルタ行ＦＬＴ１２が交互の順番で出力される。
第１実施形態に係る欠陥検出補正処理は、ＯＢ行ＯＰＢ１１の複数行および有効画素領域２１の複数行で行われる。
【００３３】
［欠陥検出補正回路の構成例］
図５は、第１実施形態に係る欠陥検出補正回路１７の構成例を示す図である。
図６は、ベイヤ配列上の５画素×５画素の処理領域の一例を示す図である。
図７は、輝度値に擬似的な値を利用する場合の擬似輝度値算出処理のイメージを示す図である。
図８（Ａ）〜（Ｄ）は、勾配算出に参照する輝度位置を示す図である。
図９は、欠陥判定対象画素と同色の画素を除いた擬似輝度算出処理のイメージを示す図である。
【００３４】
欠陥検出補正回路１７は、図５に示すように、ラインバッファ１７１、閾値および係数設定部１７２、欠陥判定閾値算出部１７３、勾配算出部（勾配検出部）１７４、欠陥判定部１７５、補正値演算部（補正値取得部）１７６、および欠陥画素置換部１７７を有する。
なお、第１実施形態では勾配検出を例に説明するが、本発明は、エッジ検出の場合も、同様に適用することが可能である。
【００３５】
ラインバッファ１７１は、４ライン分のメモリで構成され、画素部１３から出力されるベイヤ配列信号ＳＩＭを、図６に示すように注目する画素（欠陥判定対象画素ＤＪＰＸ）を中心とした（水平方向５画素）×（垂直方向５画素）の処理領域ＰＲＣＡを生成する。
ラインバッファ１７１は、生成した処理領域ＰＲＣＡの情報を含む信号Ｓ１７１を欠陥判定閾値算出部１７３および勾配算出部１７４に出力する。
ここで、水平方向は図６の座標系のＸ方向であり、垂直方向はＹ方向である。
なお、処理領域は５画素×５画素としたが、これは例であり、たとえばそれ以上の領域にも適用可能である。
【００３６】
欠陥判定閾値算出部１７３は、外部から、閾値および係数設定部１７２を介して設定された閾値および係数を、前段のラインバッファ１７１から出力される欠陥判定基準値ＤＪＲＦに乗算する。
ここで欠陥判定基準値ＤＪＲＦは、特に限定しないが、同色もしくは異色の隣接画素最大値、最小値、平均値、Ｎ番目に大きな値やＮ番目に小さい値（Ｎ：２〜４）などが該当する。分散や相関を組み合わせても構わない。
欠陥判定閾値算出部１７３は、演算結果を信号Ｓ１７３として欠陥判定部１７５に出力する。
【００３７】
欠陥判定部１７５は、欠陥判定閾値算出部の演算結果を閾値として欠陥判定対象画素ＤＪＰＸもしくは欠陥判定対象画素を利用した演算値と比較し、欠陥画素かどうかを判定する。
欠陥判定部１７５は、欠陥判定対象画素（注目画素）が欠陥であるか否かの判定結果を信号Ｓ１７５として欠陥画素置換部１７７に出力する。
【００３８】
勾配算出部１７４は、欠陥判定対象画素を中心とした５×５の処理領域の勾配を算出する。一般には、勾配算出部１７４は、輝度値を算出した上で勾配を算出する。
ここでは簡単のため、輝度値に擬似的な値を利用する。図７に擬似的な輝度のイメージを示している。
図７を図６と対比することで、「ａ,ｃ,ｅ,ｋ,ｍ,ｏ,ｕ,ｗ,ｙ」がＲ、「ｂ,ｄ,ｌ,ｎ,ｖ,ｘ」がＧｒ、「ｆ,ｈ,ｊ,ｐ,ｒ,ｔ」がＧｂ、「ｇ,ｉ,ｑ,ｓ」がＢであることがわかる。
擬似輝度は４画素に囲まれる位置に示す「Ａ,Ｂ,Ｃ,Ｄ,Ｅ,Ｆ,Ｇ,Ｈ,Ｉ,Ｊ,Ｋ,Ｌ,Ｍ,Ｎ,Ｏ,Ｐ」である。各々囲まれる４画素の和から算出される。
たとえば、Ａ=(ａ+ｂ+ｆ+ｇ),  Ｂ=(ｂ+ｃ+ｇ+ｈ),  ・・・,  Ｐ=(ｓ+ｔ+ｘ+ｙ)となる。
これらは平均値でも良いし、Ｒ，Ｇｒ，Ｂ、Ｇｂに重み付け係数を掛けても構わない。
擬似輝度算出後、図８（Ａ）〜（Ｄ）に示すように、方向毎に勾配を算出し、勾配が最も緩やかな方向を検出する。勾配算出は、差分でも良いし、微分でも構わないし、エッジ検出に置換えて、２次差分、2次微分でも構わない。
【００３９】
図８（Ａ）〜（Ｄ）は、直線に並んでいる３つの連続する輝度値を、方向毎４組を示している。
図８（Ａ）は縦方向勾配算出例を、図８（Ｂ）は横方向勾配算出例を、図８（Ｃ）は右上がり方向勾配算出例を、図８（Ｄ）は左上がり方向勾配算出例を、それぞれ示している。
すなわち、勾配算出部１８４は、縦方向、横方向、斜め４５度方向、および斜め１３５度方向の４方向について勾配を取得する。
【００４０】
以下に２次微分の演算例を示す。
直線に並んでいる３つの輝度値をＸ，Ｙ，Ｚとした場合、Ｘ−２Ｙ＋Ｚとする。
方向毎に４つの２次微分値が算出され、方向毎にそれらの絶対値の和を求め比較し、最小の方向を最も緩い勾配方向とする。
第１実施形態では、上記した擬似輝度算出に以下のような演算を利用する。
【００４１】
図９に第１実施形態で利用する擬似輝度演算のイメージを示す。
擬似輝度の位置は４画素に囲まれる位置に示す「Ａ’,Ｂ’,Ｃ’,Ｄ’,Ｅ’,Ｆ’,Ｇ’,Ｈ’,Ｉ’,Ｊ’,Ｋ’,Ｌ’,Ｍ’,Ｎ’,Ｏ’,Ｐ’」である。
図９では、各々囲まれる４画素から、欠陥画素と同色の画素を除く３画素の和から算出される。
たとえば、Ａ=(ｂ+ｆ+ｇ),  Ｂ=(ｂ+ｇ+ｈ),・・・,  Ｐ=(ｓ+ｔ+ｘ)となる。
これらは上記同様、平均値でも良いし、Ｒ，Ｇｒ，Ｂ、Ｇｂに重み付け係数を掛けても構わない。勾配算出は前述したものと同様である。
なお、図９は、図６と同様に注目画素がベイヤー配列の赤（Ｒ）または青（Ｂ）の場合での擬似輝度の例である。注目画素がベイヤー配列の緑（ＧｒまたはＧｂ）である場合、擬似輝度は、たとえばＧｒまたはＧｂのグループ毎に独立して、欠陥画素と同色の画素を除く３画素の和から算出すればよい。
【００４２】
勾配算出部１７４は、演算した複数の方向の勾配から、最も緩い勾配の方向を選択する。勾配算出部１７４は、選択した最も緩い勾配の方向を示す勾配算出結果を信号Ｓ１７４として補正値演算部１７６に出力する。
【００４３】
補正値演算部１７６は、前段にある勾配算出部１７４で選択された最も緩い勾配の方向から、補正値の演算に利用する画素を決定し演算する。
図７の記号を利用した場合、最緩斜が縦方向であると(ｃ+ｗ)/２、横方法であると(ｋ+ｏ)/２、右上がりであると(ｅ+ｕ)/２、左上がりであると(ａ+ｙ)/２を欠陥画素ｍに対する補正値とする。
すなわち、補正値演算部１７６は、欠陥判定対象画素（注目画素）について、選択された勾配の方向に位置する複数の同色画素を選択し、その平均値を補正値として演算する。
補正値演算部１７６は、演算した補正値を信号Ｓ１７６として欠陥画素置換部１７７に出力する。
【００４４】
欠陥画素置換部１７７は、欠陥判定部１７５で欠陥判定対象画素（注目画素）が欠陥画素と判定された場合に、欠陥画素値を、補正値演算部１７６で算出された欠陥画素補正値に置き換える。
欠陥画素置換部１７７は、補正データを含む画像信号を信号Ｓ１７として出力する。
【００４５】
［欠陥検出補正処理の説明］
図１０は、第１実施形態に係る欠陥検出補正回路の欠陥検出補正処理のフローチャートを示す図である。図１０の処理は、画像を構成する画素毎に繰り返し実行される。
【００４６】
［ステップＳＴ１０１］
ステップＳＴ１０１では、まず、ラインバッファ１７１で画素部１３から出力されるベイヤ配列信号ＳＩＭから、注目する画素（欠陥判定対象画素ＤＪＰＸ）を中心とした（水平方向５画素）×（垂直方向５画素）の処理領域ＰＲＣＡが生成される。
ラインバッファ１７１で生成された処理領域ＰＲＣＡの情報を含む信号Ｓ１７１が、欠陥判定閾値算出部１７３、および勾配算出部１７４に出力される。
欠陥判定閾値算出部１７３において、外部から設定可能な閾値および係数と欠陥判定基準値が演算され、欠陥判定対象画素が欠陥かどうかを判定する閾値が算出される。
その演算結果は信号Ｓ１７３として欠陥判定部１７５に出力される。
【００４７】
［ステップＳＴ１０２］
ステップＳ１０２では、欠陥判定部１７５において、欠陥判定閾値算出部１７３で算出された閾値と欠陥判定対象画素値が比較され、欠陥判定対象画素が欠陥かどうかが判定される。
その判定結果は欠陥画素置換部１７７に出力される。
ここで、欠陥判定対象画素が欠陥であると判断された場合はステップＳＴ１０３の処理に移行する。
【００４８】
［ステップＳＴ１０３］
ステップＳＴ１０３では、勾配算出部１７４において、欠陥画素を中心とする５×５画素から欠陥画素と同色の画素を除いた擬似輝度が算出され、縦、横、右上がり、左上がりの各方向の勾配が算出される。
【００４９】
［ステップＳＴ１０４］
ステップＳＴ１０４では、勾配算出部１７４において、ステップＳＴ１０３で算出した各方向の勾配から最も緩やかな方向が選択される。具体的には、エッジ強度出力値が最小となる方向が選択される。
その結果は補正値演算部１７６に出力される。
【００５０】
［ステップＳＴ１０５］
ステップＳＴ１０５では、補正値演算部１７６において、勾配算出部１７４で選択された方向の、欠陥判定対象画素を挟む同色隣接２画素の平均値が算出される。
その演算結果が欠陥画素置換部１７７に出力される。
【００５１】
［ステップＳＴ１０６］
ステップＳＴ１０６では、欠陥画素置換部１７７において、欠陥と判定された欠陥判定対象画素の画素値と、補正値演算部１７６で算出された補正値で置き換えられる。
【００５２】
［ステップＳＴ１０７］
ステップＳＴ１０７では、ステップＳＴ１０６で処理後の補正値で置換された補正データを含む画像信号が信号Ｓ１７として後段の処理系に出力される。
あるいは、ステップＳＴ１０７では、ステップＳＴ１０２で欠陥ではないと判断された場合に、補正データを含まない画像信号Ｓ１７が後段の処理系に出力される。つまり、ＤＪＰＸがそのまま出力される。
【００５３】
図１１（Ａ）〜（Ｃ）は、実際の処理画像を示す図である。
図１１（Ａ）は元画像を示す、図１１（Ｂ）は従来方式で欠陥補正した画像を示し、図１１（Ｃ）は、第１実施形態に係る方式で欠陥補正した画像を示している。
図１２は、図１１の場合の画素値の実例を示す図である。
図１３は、従来方式で計算した擬似輝度を示す図である。
図１４は、第１実施形態に係る方式で計算した擬似輝度を示す図である。
【００５４】
従来方式での勾配演算を以下に示す。
【００５５】
縦方向：
|942-2*940+1036|+|1007-2*971+982|+|940-2*1036+1071|+|971-2*982+996|  =  209
横方向：
|616-2*940+971|+|748-2*1036+982|+|940-2*971+681|+|1036-2*982+648|  =  1236
右上り方向：
|1051-2*971+1036|+|971-2*1036+1142|+|1007-2*940+748|+|681-2*982+1071|  =  523
左上り方向：
|856-2*940+982|+|940-2*982+924|+|942-2*971+648|+|616-2*1036+996|  =  954
【００５６】
したがって、最小となる縦方向が最も緩やかな勾配と判定される。
第１実施形態での勾配演算を以下に示す。
【００５７】
縦方向：
|587-2*456+552|+|652-2*487+498|+|456-2*552+700|+|487-2*498+625|=  571
横方向：
|444-2*456+487|+|576-2*552+498|+|456-2*487+514|+|552-2*498+481|=  90
右上り方向：
|679-2*487+552|+|487-2*552+724|+|652-2*456+576|+|514-2*498+700|  =  898
左上り方向：
|575-2*456+498|+|456-2*498+608|+|587-2*487+481|+|444-2*552+625|  =  358
【００５８】
したがって、最小となる横方向が最も緩やかな勾配と判定される。
図１１（Ａ）からも横方向を補正方向と選択することが望ましいことが明らかである。図１１（Ａ）は、横じまパターンの画像である。
【００５９】
また、変形例として欠陥判定対象画素を同色周辺８画素の平均値で置き換えても良い。  図１５は、欠陥判定対象画素を同色周辺８画素の平均値で置き換えて擬似輝度を算出するイメージを示す図である。
この場合、Ａ=(ａ+ｂ+ｆ+ｇ),  Ｂ=(ｂ+ｃ+ｇ+ｈ),  ・・・,  Ｐ=(ｓ+ｔ+ｘ+ｙ)となる。
【００６０】
さらに、同色周辺８画素のうち最大値と最小値を除く６画素平均値や、同色周辺８画素のうち画素値の大きな方から２画素と小さな方から２画素を除く４画素平均値と置き換えても構わない。
当然ではあるが中央の２画素平均値や画素値Ｎ番目の画素と置き換えても良い。
【００６１】
以上説明したように、第１実施形態によれば、以下の効果を得ることができる。
すなわち、第１実施形態によれば、勾配を算出する際に、欠陥判定された画素値を利用しないため勾配認識精度が上がり、その結果、出力画像の細部まで違和感がなくなり、画質全体が向上する。特に高精細の入力画像での効果が大きい。
また、特別複雑な演算を追加する必要もないため、回路規模、消費電流も、既存技術と比較して大差ない。
【００６２】
＜第２実施形態＞
［画素欠陥の種類］
第１実施形態は、注目画素に欠陥がある場合に、その注目画素の値を好適に補正する例である。これに対して、第２実施形態は、注目画素とその周辺の同色画素とに欠陥がある場合に、すなわちカプレット画素欠陥がある場合に、注目画素の値を好適に補正する例である。
【００６３】
図１６は、注目画素に欠陥がある場合の説明図である。図１６（Ａ）は、白欠陥の例であり、図１６（Ｂ）は、黒欠陥の例である。
図１６（Ａ）、（Ｂ）において、３行３列に配列された９個の円柱は、同色の隣接９画素に対応し、その高さが各画素の画素値に対応している。つまり、中央の円柱が注目画素であり、その周辺の８個の円柱が注目画素の周辺の同色隣接画素に対応する。
そして、注目画素のみに白欠陥がある場合、図１６（Ａ）に示すように、注目画素の画素値が大きな値となり、同色周辺画素の画素値（図１６（Ａ）では左上の画素の画素値）より突出する。
また、注目画素のみに黒欠陥がある場合、図１６（Ｂ）に示すように、注目画素の画素値が小さな値となり、同色周辺画素の最小の画素値（図１６（Ｂ）では右列の中央の画素の画素値）より低くなる。
そして、第１実施形態の画素欠陥補正方法では、このように注目画素のみに欠陥がある場合に、この注目画素の画素値を、欠陥がない周辺画素の画素値に基づいて好適に補正することができる。
【００６４】
図１７は、注目画素と周辺画素とに欠陥がある場合の説明図である。図１７（Ａ）は、白欠陥の例であり、図１７（Ｂ）は、黒欠陥の例である。
図１７（Ａ）、（Ｂ）の９個の円柱は、図１６（Ａ）、（Ｂ）と同様に同色の隣接９画素に対応する。
そして、注目画素および右上の周辺画素に白欠陥がある場合、図１７（Ａ）に示すように、注目画素の画素値と右上の周辺画素の画素値とが大きな値となり、その他の同色周辺画素の画素値より突出する。
また、注目画素および右上の周辺画素に黒欠陥がある場合、図１７（Ｂ）に示すように、注目画素の画素値と右上の周辺画素の画素値とが小さな値となり、その他の同色周辺画素の画素値より低くなる。
【００６５】
このようにカプレット欠陥が発生している場合、第１実施形態の画素欠陥補正方法では、注目画素の画素値を好適に補正することができないことがある。
たとえば、擬似輝度値に基づいて選択したエッジの方向が図１７（Ａ）、（Ｂ）についての右上がり方向であった場合、補正値を演算するための画素として、右上の周辺画素と左下の周辺画素とが選択される。
そして、図１７（Ａ）、（Ｂ）において欠陥である右上の周辺画素の画素値と、欠陥でない左下の周辺画素の画素値との平均値が、注目画素の補正値として演算される。
この場合、欠陥とされる注目画素の補正値自体も、欠陥がある周辺画素の画素値の影響を受ける。
すなわち、第１実施形態の画素欠陥補正方法により注目画素の画素値を補正したとしても、周辺画素の欠陥の影響が注目画素に移ることになり、補正値に置き換えた注目画素の画素値は好適なものとはならない。
【００６６】
［欠陥検出補正回路の構成例］
図１８は、本発明の第２実施形態に係る欠陥検出補正回路１７Ｂの構成例を示す図である。
図１８の欠陥検出補正回路１７Ｂは、ラインバッファ２０１、同色隣接画素データソート部２０２、閾値および係数設定部２０３、閾値演算部２０４、欠陥判定部２０５、補正値演算利用候補算出部２０６、および欠陥画素置換部２０７を有する。
なお、第２実施形態ではエッジ検出を例に説明するが、本発明は、勾配検出の場合も、同様に適用することが可能である。
【００６７】
図１８に示す以外の第２実施形態に係る撮像装置の構成は、第１実施形態に係る撮像装置の構成と同様である。そのため、第１実施形態と同様の機能を発揮する構成には、第１実施形態と同じ符号を使用し、その説明を省略する。
【００６８】
ラインバッファ２０１は、５行５列の処理領域を演算対象とするため、画像の５ライン分のメモリで構成される。
ラインバッファ２０１は、画素部１３から出力されるベイヤ配列信号ＳＩＭから、図６に示すように注目する画素（欠陥判定対象画素ＤＪＰＸ）を中心とした（水平方向５画素）×（垂直方向５画素）の処理領域ＰＲＣＡを生成する。
ラインバッファ２０１は、生成した処理領域ＰＲＣＡの情報を含む信号Ｓ２０１を、同色隣接画素データソート部２０２、欠陥判定部２０５、および補正値演算利用候補算出部２０６に出力する。
ここで、水平方向は図６の座標系のＸ方向であり、垂直方向はＹ方向である。
なお、処理領域は、５画素×５画素としたが、これは例であり、たとえばそれ以上の領域にも適用可能である。
【００６９】
同色隣接画素データソート部２０２は、処理領域に含まれる注目画素と同色の周辺画素を選択し、画素値の順番にソートする。
たとえば図６の５画素×５画素の処理領域では、注目画素が赤（Ｒ）または青（Ｂ）の場合は、８個の周辺画素が選択されて、画素値の順番にソートされる。また、注目画素が緑（Ｇｒ、Ｇｂ）の場合は、たとえばＧｒまたはＧｂのグループ毎に独立して、８個の周辺画素が選択されて、画素値の順番にソートされる。
そして、同色隣接画素データソート部２０２は、ソート結果を含む信号Ｓ２０２を、閾値演算部２０４に出力する。
【００７０】
閾値演算部２０４は、処理領域内の欠陥画素を判定するための閾値を演算する。
たとえば閾値演算部２０４は、ソート結果に含まれる８個の周辺画素の画素値のうちの最大値、最大から２番目の値、最小値、最小から２番目の値に基づく４個の閾値を演算する。
具体的には、閾値演算部２０４は、たとえば、外部から、閾値および係数設定部２０３を介して設定された閾値および係数を、上述した４個の画素値に乗算する。
そして、閾値演算部２０４は、４個の閾値の演算結果を含む信号Ｓ２０４を、欠陥判定部２０５に出力する。
【００７１】
欠陥判定部２０５は、注目画素の欠陥、注目画素と同色の周辺画素の最大値の欠陥、注目画素と同色の周辺画素の最小値の欠陥を判定する。すなわち、欠陥判定部２０５は、注目画素のみが欠陥である場合、注目画素とともに同色の周辺画素が欠陥である場合（カプレット欠陥である場合）、欠陥がない場合を判定する。
たとえば欠陥判定部２０５は、周辺画素の最大値による閾値に基づいて、注目画素が欠陥であるか否かを判定する。欠陥判定部２０５は、たとえば周辺画素の最大値による閾値より、注目画素の値が大きい場合、欠陥と判断する。
また、欠陥判定部２０５は、周辺画素の最大から２番目の値による閾値に基づいて、注目画素が欠陥であるか否かを判定する。
また、欠陥判定部２０５は、周辺画素の最大から２番目の値による閾値に基づいて、最大値の周辺画素が欠陥であるか否かを判定する。
以上の判定により、欠陥判定部２０５は、注目画素および同色の最大値の周辺画素に白欠陥が含まれているか否かを判定することができる。
この他にも、欠陥判定部２０５は、周辺画素の最小値による閾値に基づいて、注目画素が欠陥であるか否かを判定する。
また、欠陥判定部２０５は、周辺画素の最小から２番目の値による閾値に基づいて、注目画素が欠陥であるか否かを判定する。
また、欠陥判定部２０５は、周辺画素の最小から２番目の値による閾値に基づいて、最小値の周辺画素が欠陥であるか否かを判定する。
以上の判定により、欠陥判定部２０５は、注目画素および同色の最大値の周辺画素に黒欠陥が含まれているか否かを判定することができる。
そして、欠陥判定部２０５は、これらの注目画素および同色の周辺画素の欠陥の判定結果の信号Ｓ２０５を、欠陥画素置換部２０７に出力する。
【００７２】
補正値演算利用候補算出部２０６は、欠陥判定対象画素を中心とした５×５の処理領域のエッジに基づいて、欠陥である注目画素の補正値の算出に利用する同色の周辺画素を特定する。
なお、補正値演算利用候補算出部２０６による処理領域についての複数の方向のエッジ強度の演算処理、および選択処理は、第１実施形態の勾配算出部１７４と同様である。
そして、補正値演算利用候補算出部２０６は、注目画素を基準として、特定した最も緩いエッジの方向に存在する２個の画素を、注目画素の補正値の算出に利用する同色の周辺画素として特定する。これにより、補正値演算利用候補算出部２０６は、選択したエッジの方向で注目画素を挟む２個１組の画素を特定することができる。
また、補正値演算利用候補算出部２０６は、特定した同色の周辺画素を示す情報を含む信号を、欠陥画素置換部２０７に出力する。
【００７３】
欠陥画素置換部２０７は、注目画素が欠陥画素である場合、注目画素の値を補正値に置き換える。
また、欠陥画素置換部２０７は、前段にある補正値演算利用候補算出部２０６で特定された画素の値から、補正値を演算する。
具体的には、補正値演算利用候補算出部２０６で特定された２個の画素に欠陥画素が含まれていない場合、欠陥画素置換部２０７は、この２個の画素の平均値を補正値として演算する。
また、補正値演算利用候補算出部２０６で特定された２個の画素に欠陥画素が含まれている場合、欠陥画素置換部２０７は、２個の画素のうちで、欠陥画素とされていない画素の画素値を補正値とする。
そして、欠陥画素置換部２０７は、注目画素が欠陥でない場合、注目画素の画素値の信号Ｓ２０８を後段へ出力する。
また、注目画素が欠陥である場合、欠陥画素置換部２０７は、演算した補正値を、注目画素の画素値として含む信号Ｓ２０８を後段へ出力する。
これにより、欠陥画素置換部２０７は、注目画素が欠陥画素である場合に、その値を、欠陥画素の値に基づかない適切な補正値により置き換えて出力することができる。
【００７４】
［欠陥検出補正処理の説明］
図１９は、第２実施形態に係る欠陥検出補正回路１７Ｂの欠陥検出補正処理のフローチャートを示す図である。図１９の処理は、画像を構成する画素毎に繰り返し実行される。
【００７５】
［ステップＳＴ２０１］
ステップＳＴ２０１では、まず、ラインバッファ２０１で画素部１３から出力されるベイヤ配列信号ＳＩＭから、注目する画素（欠陥判定対象画素ＤＪＰＸ）を中心とした（水平方向５画素）×（垂直方向５画素）の処理領域ＰＲＣＡが生成される。
ラインバッファ２０１で生成された処理領域ＰＲＣＡの情報を含む信号Ｓ２０１が、同色隣接画素データソート部２０２、および補正値演算利用候補算出部２０６に出力される。
また、ラインバッファ２０１は、注目画素の情報を含む信号を、欠陥判定部２０５へ出力する。
そして、補正値演算利用候補算出部２０６は、処理領域ＰＲＣＡに含まれる複数の画素の画素値から、擬似輝度を演算する。５行５列の処理領域では、４行４列の擬似輝度が演算される。
なお、第２実施形態において各擬似輝度は、注目画素およびそれと同色の周辺画素を除いた画素の輝度値により演算されるが、５行５列の処理領域のすべての画素の画素値から各擬似輝度を演算してもよい。
【００７６】
［ステップＳＴ２０２］
ステップＳＴ２０２では、補正値演算利用候補算出部２０６が、擬似輝度に基づいて、処理領域についての縦方向、横方向、右上がり方向、左上がり方向の各方向のエッジ強度を算出する。
【００７７】
［ステップＳＴ２０３］
ステップＳＴ２０３では、補正値演算利用候補算出部２０６が、ステップＳＴ２０２で算出した各方向のエッジから最も緩やかな方向（弱い方向）を選択する。具体的には、エッジ強度出力値が最小となる方向を選択する。
補正値演算利用候補算出部２０６は、選択したエッジの方向を含む信号を欠陥画素置換部２０７へ出力する。
【００７８】
［ステップＳＴ２０４］
ステップＳＴ２０４では、同色隣接画素データソート部２０２が、処理領域に含まれる注目画素と同色の周辺画素を選択し、画素値の順番にソートする。そして、同色隣接画素データソート部２０２は、ソート結果を含む信号Ｓ２０２を、閾値演算部２０４に出力する。
【００７９】
［ステップＳＴ２０５］
ステップＳＴ２０５では、閾値演算部２０４は、処理領域内の欠陥画素を判定するための閾値を演算する。閾値演算部２０４は、ソート結果に含まれる複数の周辺画素の画素値のうちの最大値、最大から２番目の値、最小値、最小から２番目の値に基づく４個の閾値を演算する。そして、閾値演算部２０４は、４個の閾値の演算結果を含む信号Ｓ２０４を、欠陥判定部２０５に出力する。
【００８０】
［ステップＳＴ２０６］
ステップＳＴ２０６では、欠陥判定部２０５が、同色隣接画素に欠陥が含まれるか否かを判定する。
具体的には、欠陥判定部２０５は、周辺画素の最大から２番目の値による閾値に基づいて、最大値の周辺画素が欠陥であるか否かを判定する。
また、欠陥判定部２０５は、周辺画素の最小から２番目の値による閾値に基づいて、最小値の周辺画素が欠陥であるか否かを判定する。
【００８１】
［ステップＳＴ２０７］
ステップＳＴ２０７は、同色隣接画素に欠陥が含まれない場合に欠陥判定部２０５により実行される、注目画素の欠陥判定ステップである。
同色隣接画素に欠陥が含まれない場合、欠陥判定部２０５は、周辺画素の最大値による閾値に基づいて、注目画素が欠陥であるか否かを判定する。
また、欠陥判定部２０５は、周辺画素の最小値による閾値に基づいて、注目画素が欠陥であるか否かを判定する。
【００８２】
［ステップＳＴ２０８］
ステップＳＴ２０８は、同色隣接画素および注目画素に欠陥が含まれない場合に欠陥画素置換部２０７により実行される、補正値取得ステップである。
同色隣接画素および注目画素に欠陥が含まれない場合、欠陥画素置換部２０７は、注目画素の画素値を補正値として取得する。
【００８３】
［ステップＳＴ２０９］
ステップＳＴ２０９は、注目画素のみが欠陥である場合に欠陥画素置換部２０７により実行される、補正値取得ステップである。
注目画素のみが欠陥である場合、欠陥画素置換部２０７は、ステップＳＴ２０３において選択された最も弱い方向において注目画素を挟む２個１対の同色隣接画素を選択する。
また、欠陥画素置換部２０７は、選択した２個の同色隣接画素の画素値の平均値を、補正値として演算する。
【００８４】
［ステップＳＴ２１０］
ステップＳＴ２１０は、同色隣接画素に欠陥が含まれる場合に欠陥判定部２０５により実行される、注目画素の欠陥判定ステップである。
同色隣接画素に欠陥が含まれる場合、欠陥判定部２０５は、周辺画素の最大から２番目の値による閾値に基づいて、注目画素が欠陥であるか否かを判定する。
また、欠陥判定部２０５は、周辺画素の最小から２番目の値による閾値に基づいて、注目画素が欠陥であるか否かを判定する。
これにより、注目画素の欠陥を判定する基準と、同色隣接画素の欠陥を判定する基準とは、共に、同色隣接画素の最大または最小から２番目の値となる。
その結果、複数の同色隣接画素の画素値のうちで最大または最小となった欠陥画素の画素値により、注目画素の欠陥を判定しないようにできる。正常な画素値に基づいて、注目画素の欠陥を判定できる。
【００８５】
［ステップＳＴ２１１］
ステップＳＴ２１１は、同色隣接画素のみに欠陥がある場合に欠陥画素置換部２０７により実行される、補正値取得ステップである。
同色隣接画素のみに欠陥がある場合、欠陥画素置換部２０７は、注目画素の画素値を補正値として取得する。
【００８６】
［ステップＳＴ２１２］
ステップＳＴ２１２は、注目画素および同色隣接画素に欠陥がある場合に欠陥画素置換部２０７により実行される、判断ステップである。
注目画素および同色隣接画素に欠陥がある場合、欠陥画素置換部２０７は、ステップＳＴ２０３において選択された最も緩い方向に、欠陥判定された最大値または最小値が含まれるか否かを判断する。
そして、欠陥判定された最大値または最小値が最も緩い方向に含まれない場合、欠陥画素置換部２０７は、ステップＳＴ２０９の処理により、最も緩い方向で隣接する２個の同色隣接画素の画素値の平均値を、補正値として演算する。
【００８７】
［ステップＳＴ２１３］
ステップＳＴ２１３は、欠陥判定された最大値または最小値が最も緩い方向に含まれる場合に欠陥画素置換部２０７により実行される、補正値取得ステップである。
欠陥判定された最大値または最小値が最も緩い方向に含まれる場合、欠陥画素置換部２０７は、欠陥判定されていない方の同色隣接画素の画素値を補正値として取得する。
すなわち、欠陥画素置換部２０７は、最も緩い方向の複数の同色隣接画素のうちの欠陥画素以外の画素の値から補正値を得る。
【００８８】
［ステップＳＴ２１４］
ステップＳＴ２１４では、欠陥画素置換部２０７が、ステップＳＴ２０８、ＳＴ２０９、ＳＴ２１１、またはＳＴ２１３において取得した補正値により、注目画素の画素値を置換する。
欠陥画素置換部２０７は、取得した補正値を含む信号を、注目画素の画素値として後段の処理系へ出力する。
【００８９】
［画素欠陥補正の一例］
図２０から図２２は、実際の処理画像を示す図である。
図２０は、元画像を示す。図２０の元画像には、２個１組のカプレット画素欠陥が複数個埋め込まれている。
図２１は、図２０の画像を、第１実施形態の方式により補正した画像である。
図２２は、図２０の画像を、第２実施形態の方式により補正した画像である。
【００９０】
そして、図２１に示すように、第１実施形態の画素欠陥補正方式では、カプレット画素欠陥（欠陥成分）がほぼそのまま残っている。
これに対して、図２２に示すように、第２実施形態の画素欠陥補正方式では、カプレット画素欠陥が生じていた箇所が不明となる程度まで、ほぼ完全に補正されている。
【００９１】
以上説明したように、第２実施形態によれば、以下の効果を得ることができる。
すなわち、第２実施形態によれば、エッジを算出する際に、欠陥判定された画素値を利用しないためエッジ強度の精度が上がり、その結果、出力画像の細部まで違和感がなくなり、画質全体が向上する。特に高精細の入力画像での効果が大きい。
また、特別複雑な演算を追加する必要もないため、回路規模、消費電流も、既存技術と比較して大差ない。
しかも、第２実施形態では、注目画素のみに欠陥がある場合だけでなく、カプレット欠陥がある場合にも、欠陥画素の値を用いないで注目画素の補正値を得ている。
よって、第２実施形態では、欠陥成分が残らないように補正することができる。
また、第２実施形態のアルゴリズムは、既存アルゴリズムの一部を部分的に拡張することにより実現可能である。また、周辺画素の最大値または最小値の位置を記憶する必要もない。よって、回路規模や消費電力の増大を抑制できる。
【００９２】
また、第２実施形態では、欠陥判定部２０５は、処理領域に含まれる複数の周辺画素のうちの、最大値または最小値の周辺画素の欠陥を、最大または最小から２番目の周辺画素の値に基づいて判定する。
そして、当該最大値または最小値の周辺画素が欠陥でない場合には、欠陥判定部２０５は、当該最大値または最小値に基づいて注目画素の欠陥を判定する。
また、当該最大値または最小値の周辺画素が欠陥である場合には、欠陥判定部２０５は、最大または最小から２番目の値に基づいて注目画素の欠陥を判定する。
よって、第２実施形態では、たとえば処理領域の画像が全体的に明るい場合または全体的に暗い場合に、注目画素および最大値または最小値の周辺画素を欠陥と判断しないようにすることができる。
【００９３】
［別の欠陥検出補正処理の説明］
ところで、第２実施形態の図１９のフローチャートは、図１０の第１実施形態のフローチャートに対応する流れで画素欠陥を補正するものである。この他にも、画素欠陥の補正処理は、他の処理の流れとすることが可能である。
【００９４】
図２３は、第２実施形態に係る欠陥検出補正回路１７Ｂの他の欠陥検出補正処理のフローチャートを示す図である。図２３の処理は、画像を構成する画素毎に繰り返し実行される。
図２３の処理の流れは、図１８の欠陥検出補正回路１７Ｂの構成と好適に対応し、図１９の処理を図１８の欠陥検出補正回路１７Ｂに実行させる場合より、実装し易い。
【００９５】
［ステップＳＴ３０１］
図２３のステップＳＴ３０１では、同色隣接画素データソート部２０２が、処理領域に含まれる注目画素と同色の周辺画素を選択し、画素値の順番にソートする。
【００９６】
［ステップＳＴ３０２］
ステップＳＴ３０２では、閾値演算部２０４は、処理領域内の欠陥画素を判定するための閾値を演算する。
具体的には、閾値演算部２０４は、ソート結果に含まれる複数の周辺画素の画素値のうちの最大値、最大から２番目の値、最小値、最小から２番目の値に基づく４個の閾値を演算する。
【００９７】
［ステップＳＴ３０３］
ステップＳＴ３０３では、欠陥判定部２０５が、注目画素および同色隣接画素に欠陥が含まれるか否かを判定する。
この場合、欠陥判定部２０５は、白欠陥を判定するために以下の３種類を判定し、３ビットの判定結果データ（ｘ１，ｘ２，ｘ３）を生成する。
１．周辺画素の最大値による閾値に基づいて、注目画素の白色欠陥を判定する（ｘ１）。
２．周辺画素の最大から２番目の値による閾値に基づいて、注目画素の白色欠陥を判定する（ｘ２）。
３．周辺画素の最大から２番目の値による閾値に基づいて、最大値の周辺画素の白色欠陥を判定する（ｘ３）。
また、欠陥判定部２０５は、黒欠陥を判定するために以下の３種類を判定し、３ビットの判定結果データ（ｙ１，ｙ２，ｙ３）を生成する。
４．周辺画素の最小値による閾値に基づいて、注目画素の黒色欠陥を判定する（ｙ１）。
５．周辺画素の最小から２番目の値による閾値に基づいて、注目画素の黒色欠陥を判定する（ｙ２）。
６．周辺画素の最小から２番目の値による閾値に基づいて、最小値の周辺画素の黒色欠陥を判定する（ｙ３）。
【００９８】
ここで、判定結果データ（ｘ１，ｘ２，ｘ３），（ｙ１，ｙ２，ｙ３）が（１，Ｘ，０）である場合（ただし、Ｘは０または１）、周辺画素に欠陥はなく、注目画素のみが欠陥となる（通常欠陥）。
また、判定結果データ（ｘ１，ｘ２，ｘ３），（ｙ１，ｙ２，ｙ３）が（０，１，１）である場合、周辺画素および注目画素が欠陥となる（隣接欠陥）。
また、判定結果データ（ｘ１，ｘ２，ｘ３），（ｙ１，ｙ２，ｙ３）が（０，０，０）である場合、周辺画素および注目画素に欠陥がないことになる（補正なし）。
【００９９】
［ステップＳＴ３０４］
ステップＳＴ３０４は、ステップＳＴ３０３の判定結果データが通常欠陥を示している場合に実行されるステップである。
ステップＳＴ３０４において、補正値演算利用候補算出部２０６は、擬似輝度に基づいて処理領域についての縦方向、横方向、右上がり方向、左上がり方向の各方向のエッジ強度を算出する。また、補正値演算利用候補算出部２０６は、算出した複数の方向のエッジ強度から最も緩やかな方向を選択する。
また、欠陥画素置換部２０７は、通常欠陥補正処理として、最も緩い方向の複数の同色隣接画素の平均値を演算する。
【０１００】
［ステップＳＴ３０５］
ステップＳＴ３０５は、ステップＳＴ３０３の判定結果データが隣接欠陥を示している場合に実行されるステップである。
ステップＳＴ３０５において、補正値演算利用候補算出部２０６は、擬似輝度に基づいて処理領域についての縦方向、横方向、右上がり方向、左上がり方向の各方向のエッジ強度を算出する。また、補正値演算利用候補算出部２０６は、算出した複数の方向のエッジ強度から最も緩やかな方向を選択する。
また、欠陥画素置換部２０７は、隣接欠陥補正処理として、最も緩い方向の複数の同色隣接画素のうち、欠陥でない方の画素の画素値を取得する。
【０１０１】
なお、ステップＳＴ３０５において、欠陥画素置換部２０７は、異色隣接画素もしくは同色隣接画素に複数の高輝度画素が含まれている場合には、隣接欠陥補正処理の例外処理を実行してもよい。
たとえば異色隣接画素の最大値、最大から２番目、注目画素の値がすべて高輝度である場合には、処理範囲の画像が明るいベタパターン画像であると考えられる。
また、異色隣接画素の最小値、最小から２番目、注目画素の値がすべて低輝度である場合には、処理範囲の画像が暗いベタパターン画像であると考えられる。
これらの場合には、欠陥画素置換部２０７は、例外処理として、通常欠陥補正処理または補正なしとすればよい。
【０１０２】
［ステップＳＴ３０６］
ステップＳＴ３０６では、欠陥画素置換部２０７が、ステップＳＴ３０４、ＳＴ３０５３において取得した補正値により、注目画素の画素値を置換する。
【０１０３】
［ステップＳＴ３０７］
ステップＳＴ３０７では、欠陥画素置換部２０７は、取得した補正値を含む信号、または欠陥でない注目画素の画素値を含む信号を、注目画素の画素値として後段の処理系へ出力する。
【０１０４】
このように図２３の画素欠陥補正処理は、欠陥判定部２０５が欠陥を判定するための３種類の判定を１ステップにおいて実行するので、図１８の欠陥検出補正回路１７Ｂの構成と好適に対応する。
【０１０５】
以上の各実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
【０１０６】
たとえば上記各実施形態は、ＣＭＯＳイメージセンサをイメージセンサ（固体撮像素子）として使用した固体撮像装置に適用したものである。
固体撮像装置は、たとえば携帯電話、ビデオカメラ、デジタルスチルカメラなどの各種撮像機能を持つ装置に適用可能である。
【０１０７】
また、以上詳細に説明した上記各実施形態の方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【０１０８】
第２実施形態では、注目画素および同色隣接画素に欠陥がある場合に、同色隣接画素の２番目の値による閾値に基づいて、これらの画素の欠陥を判断している。
この他にも例えば、処理領域に含まれる複数の同色周辺画素を値の順番に配列した場合に、当該配列の上位または下位からｎ番目（ｎは３以上の自然数）の値を基準として、各々の処理に係る画素の欠陥を判定してもよい。
たとえば処理領域に含まれる複数の周辺画素のうちの、最大値または最小値からｎ−１番目までの複数の周辺画素の欠陥と、注目画素の欠陥とを、最大または最小からｎ番目の周辺画素の値に基づいて判定してもよい。
これにより、たとえば同色隣接画素に（ｎ−１）個の欠陥が含まれる場合でも、正常と考えられるｎ番目の値に基づいて、これらの欠陥を適切に判定することができる。
たとえば３番目の値を基準とした場合、注目画素および２個の周辺画素の欠陥によるトリプレット欠陥を判定することができる。
【０１０９】
第２実施形態の補正値演算利用候補算出部２０６は、第１実施形態の勾配算出部１７４と同様に、注目画素と同色の周辺画素を除いた異色の周辺画素の画素値に基づいて擬似輝度を演算し、処理領域の複数の方向についてエッジ強度を演算している。
この他にも例えば、補正値演算利用候補算出部２０６は、注目画素と同色周辺画素を含めて擬似輝度を演算し、処理領域の複数の方向について勾配を演算してもよい。
【符号の説明】
【０１１０】
１０・・・撮像装置、１１・・・光学系、１２・・・ＣＭＯＳイメージセンサ、１３・・・画素部、１４・・・アナログフロントエンド部（ＡＦＥ）、１５・・・アナログデジタルコンバータ（ＡＤＣ）、１６・・・前処理部、１７，１７Ａ，１７Ｂ・・・欠陥検出補正回路、１７１・・・ラインバッファ２０１、１７２・・・閾値および係数設定部２０３、１７３・・・欠陥判定閾値算出部、１７４・・・勾配算出部、１７５・・・欠陥判定部２０５、１７６・・・補正値演算部、１７７・・・欠陥画素置換部２０７、１８・・・後処理部、１９・・・機能制御・タイミング制御部、２０１・・・ラインバッファ２０１、２０２・・・同色隣接画素データソート部２０２、２０３・・・閾値および係数設定部２０３、２０４・・・閾値演算部２０４、２０５・・・欠陥判定部２０５、２０６・・・補正値演算利用候補算出部２０６、２０７・・・欠陥画素置換部２０７。
【図１】
2011120202.tif 000003
【図２】
2011120202.tif 000004
【図３】
2011120202.tif 000005
【図４】
2011120202.tif 000006
【図５】
2011120202.tif 000007
【図６】
2011120202.tif 000008
【図７】
2011120202.tif 000009
【図８】
2011120202.tif 000010
【図９】
2011120202.tif 000011
【図１０】
2011120202.tif 000012
【図１１】
2011120202.tif 000013
【図１２】
2011120202.tif 000014
【図１３】
2011120202.tif 000015
【図１４】
2011120202.tif 000016
【図１５】
2011120202.tif 000017
【図１６】
2011120202.tif 000018
【図１７】
2011120202.tif 000019
【図１８】
2011120202.tif 000020
【図１９】
2011120202.tif 000021
【図２３】
2011120202.tif 000022
【図２０】
2011120202.tif 000023
【図２１】
2011120202.tif 000024
【図２２】
2011120202.tif 000025