(57)【要約】【課題】撮像装置１００は、色の変化の少ない模様におけるキズを低減するとともに、エッジなどを高精細の模様を鮮明に表示することができる。【解決手段】撮像装置１００は、撮像素子１２から注目画素および周辺画素の画素データを取得する画素データ取得手段１４と、注目画素を中心とする周辺画素で形成するエッジなどの模様を形成しているかを判定するエッジ方向判定手段２８と、補正手段と、色補間手段とを備えている。補正手段は、欠陥画素判定部２２にて注目画素が欠陥画素であると判定され、さらに、エッジ方向判定手段２８エッジ方向でないと判定したときに、注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する。補正されなかった注目画素は、色補間手段によりエッジ方向判定手段２８の判定結果を用いて、エッジの方向に対応した色補間を行なう。【選択図】図１
2010035114.tif 000002
【特許請求の範囲】
【請求項１】
撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する撮像装置において、
上記欠陥画素の検出対象となる注目画素の画素値を表す画素データと、上記注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得する画素データ取得手段と、
上記注目画素の画素データと上記周辺画素の画素データとの差分に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに上記被写体のエッジの模様をいずれかの方向に形成しているかを判定するエッジ方向判定手段と、
上記画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて上記注目画素が欠陥画素であると判定され、さらに、上記エッジ方向判定手段によりエッジ方向でないと判定したときに、上記注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する補正手段と、
上記エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ上記注目画素と異なった色の画素データを用いて、上記補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に上記異なった色と同色の画素データを作成する色補間手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
上記高周波成分は、上記注目画素の画素データと同じ色の周辺画素の合計値と、該注目画素の画素データに上記周辺画素の数を乗算した値との差分により求められている撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
上記欠陥画素判定部は、上記注目画素および周辺画素の画素データを、それらの画素値が大きい順から並べた判定画素群を求め、該注目画素の画素値が上記判定画素群の上位または下位の所定範囲に含まれているときに上記注目画素が欠陥画素であると判定する撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
上記欠陥画素判定部は、上記注目画素の画素値が上記判定画素群の中間の値より所定の閾値より大きいときに上記欠陥画素であると判定する撮像装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の撮像装置において、
上記補正手段の補正値は、上記注目画素および周辺画素の画素データのうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている撮像装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の撮像装置において、
上記エッジ方向判定手段は、上記注目画素を中心とした周辺画素の画素データのうち、縦方向の画素データ、横方向の画素データまたは斜め方向の画素データであり注目画素と異なった色の画素データに基づいてエッジ方向を判定する撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
上記エッジ方向判定手段は、上記縦方向、横方向または斜め方向の各々の画素データの差分の絶対値をそれぞれ求め、該絶対値が所定値以上でありかつ最小の方向の値を表わす方向をエッジ方向と判定する撮像装置。
【請求項８】
請求項１ないし請求項７のいずれかに記載の撮像装置において、
上記色補間手段は、上記エッジ方向に配列された周辺画素のうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置によって撮像された画素を構成する複数の画素の中から、撮像装置が備える撮像素子の動作不良等に起因する欠陥画素を補正する撮像装置に関する。
【背景技術】
【０００２】
近年、ディジタルスチルカメラや、ディジタルビデオカメラ等の撮像装置が普及している。そして、この撮像装置には、レンズ等を介して受光した光を電気信号に変換する撮像素子が備えられている。この撮像素子としては、一般に、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等が用いられる。これらの撮像素子は、撮像された画像を構成する複数の画素にそれぞれ対応する複数の受光素子（フォトダイオード）を備え、各画素の画素値をそれぞれ表す画素データをそれぞれ出力する。そして、撮像装置によって撮像された画像を表示装置に表示する場合、撮像時に、例えば、いずれかの受光素子において、動作不良等が生じていると、本来出力されるべき値よりも高い値の画素データが出力されて、その受光素子に対応する画素が、いわゆる白キズとして認識されたり、本来出力されるべき値よりも低い値の画素データが出力されて、その受光素子に対応する画素が、いわゆる黒キズとして認識されたりする場合がある。
【０００３】
そこで、従来、撮像装置において、撮像された画像を構成する複数の画素の中から、撮像素子の動作不良等による欠陥画素を検出し、欠陥画素の画素値を表す画素データを補正する種々の技術が提案されている。例えば、特許文献１には、単板式カラービデオカメラにおける画素欠陥である例えば白キズを検出する場合に、検査を行う画素が持つ色とは別の色フィルタを持つ周辺の画素における周波数特性から検査対象画素が高周波成分を持たないことをチェックした後、その検査対象画素が高周波成分を持つことが検出されたときに、その画素がキズであると検出する技術が記載されている。
【０００４】
また、特許文献２には、撮像時に、注目画素を中心とする３×３の９画素からなる画素ブロックを順次バッファに蓄積し、注目画素と各周辺画素との値を比較して、注目画素よりも値の大きい周辺画素の数Ｈｎと、注目画素よりも値の小さい周辺画素の数Ｌｎとをカウントし、注目画素よりも値の大きい周辺画素の数Ｈｎが５つ以上あれば黒キズとみなし、注目画素の値を、値が大きかった周辺画素の平均値に置換して出力し、注目画素よりも値の小さい周辺画素の数Ｌｎが５つ以上あれば白キズとみなし、注目画素の値を、値が小さかった周辺画素の平均値に置換して出力する技術が記載されている。
【０００５】
しかし、上記特許文献１，２に記載された技術では、色の変化の少ない被写体の模様の範囲に欠陥画素があると、そのキズが特に目立つという問題があった。こうした場合に、閾値を小さくして欠陥画素を多く検出する構成とした場合には、エッジを含む高精細の模様の画質を劣化させるという問題があった。
【０００６】
【特許文献１】特開２００１−８６５１７号公報
【特許文献２】特開２００２−３４４８１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記従来の技術の問題点を解決することを踏まえ、色の変化の少ない模様におけるキズを低減するとともに、エッジなどの高精細の模様を鮮明に表示することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述の課題の少なくとも一部を解決するために以下の形態又は適用例として実現することが可能である。
【０００９】
［適用例１］
適用例１は、撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する撮像装置において、
上記欠陥画素の検出対象となる注目画素の画素値を表す画素データと、上記注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得する画素データ取得手段と、
上記注目画素の画素データと上記周辺画素の画素データとの差分に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに上記被写体のエッジの模様をいずれかの方向に形成しているかを判定するエッジ方向判定手段と、
上記画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて上記注目画素が欠陥画素であると判定され、さらに、上記エッジ方向判定手段によりエッジ方向でないと判定したときに、上記注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する補正手段と、
上記エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ上記注目画素と異なった色の画素データを用いて、上記補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に上記注目画素と異なった色を作成する色補間手段と、
を備えたことを特徴とする撮像装置。  撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する撮像装置において、
上記欠陥画素の検出対象となる注目画素の画素値を表す画素データと、上記注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得する画素データ取得手段と、
上記注目画素の画素データと上記周辺画素の画素データとの偏差に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに上記被写体のエッジの模様をいずれかの方向に形成しているかを判定するエッジ方向判定手段と、
上記画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて上記注目画素が欠陥画素であると判定され、さらに、上記エッジ方向判定手段によりエッジ方向でないと判定したときに、上記注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する補正手段と、
上記エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ上記注目画素と異なった色の画素データを用いて、上記補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に上記注目画素と異なった色と同色の画素データを作成する色補間手段と、
を備えたことを特徴とする。
【００１０】
適用例１にかかる撮像装置は、撮像部によって撮像される被写体の画像を構成する複数の画素の中から、欠陥画素を検出して補正する。すなわち、画素データ取得手段は、欠陥画素の検出対象となる注目画素の画素値を表す画素データと、注目画素の周辺に配置された複数の周辺画素の画素値を表す画素データとを順次取得して、エッジ方向判定手段および補正手段に入力する。エッジ方向判定手段では、注目画素の画素データと周辺画素の画素データとの差分に基づいて求められた該注目画素の高周波成分を用いて、該注目画素が周辺画素とともに被写体のエッジの模様をいずれかの方向に形成しているかが判定される。一方、補正手段では、画素データ取得手段からの画素データに基づいて欠陥画素を判定する欠陥画素判定部と、該欠陥画素判定部にて注目画素が欠陥画素であると判定され、さらに注目画素がエッジ方向判定手段にいずれのエッジ方向でないと判定されたときに、注目画素を中心に対称に配列された周辺画素の画素データから求めた補正値で補正する。また、色補間手段は、エッジ方向判定手段のエッジの判定に基づいて求められたエッジの方向に配列されかつ注目画素と異なった色の画素データを用いて、補正手段により補正がされた注目画素および補正がされなかった注目画素の位置に注目画素と異なった色を作成する。
【００１１】
適用例１にかかる撮像装置は、注目画素および周辺画素の画素データを用いて、エッジ方向判定手段により被写体のエッジ方向を判定し、この判定結果に基づいて、注目画素が欠陥画素である場合の補正につき異なった処理を行なっている。すなわち、被写体のエッジ方向に特異性がない範囲、つまりエッジがなく色の変化の小さい模様の範囲では、注目画素を中心とした対称の周辺画素のデータを用い、しかも欠陥画素を判定するための所定の閾値を小さくすることにより、欠陥画素を確実に検出でき、この検出結果に基づいて、平滑な模様の場合に特に目立つ欠陥画素の補正を適切に行なうことができる。一方、被写体のエッジ方向に特異性がある範囲、つまりエッジがあり色の変化の大きい模様の範囲では、上述の補正手段により補正をした場合には、欠陥画素の判定が多くなりすぎて、画質の劣化を生じる。しかし、本発明は、欠陥画素の判定に無関係に、エッジ方向判定手段の判定結果に基づいて、注目画素の色補間により処理されるから、エッジの部分に欠陥画素があっても、注目画素の画素データを活かしつつ鮮明なエッジを有する画像を得ることができる。
【００１２】
［適用例２］
適用例２は、上記高周波成分は、上記注目画素の画素データと同じ色の周辺画素の合計値と、該注目画素の画素データに上記周辺画素の数を乗算した値との差分により求められている構成である。
【００１３】
［適用例３］
適用例３は、上記欠陥画素判定部は、上記注目画素および周辺画素の画素データを、それらの画素値が大きい順から並べた判定画素群を求め、該注目画素の画素値が上記判定画素群の上位または下位の所定範囲に含まれているときに上記注目画素が欠陥画素であると判定する構成である。この構成により、判定画素群の数だけの欠陥画素が連続している場合にも、欠陥画素を確実に検出することができる。
【００１４】
［適用例４］
適用例４は、上記欠陥画素判定部は、上記注目画素の画素値が上記判定画素群の中間の値より所定の閾値より大きいときに上記欠陥画素であると判定する構成である。所定の閾値を増減することにより特に、色の変化の小さい模様の範囲の欠陥画素の影響を調節することができる。
【００１５】
［適用例５］
適用例５は、上記補正手段の補正値は、上記注目画素および周辺画素の画素データのうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている構成である。
【００１６】
［適用例６］
適用例６は、上記エッジ方向判定手段は、上記注目画素を中心とした周辺画素の画素データのうち、縦方向の画素データ、横方向の画素データまたは斜め方向の画素データであり注目画素と異なった色の画素データに基づいてエッジ方向を判定する構成である。
【００１７】
［適用例７］
適用例７は、上記エッジ方向判定手段は、上記縦方向、横方向または斜め方向の各々の画素データの差分の絶対値をそれぞれ求め、該絶対値が所定値以上でありかつ最小の方向の値を表わす方向をエッジ方向と判定する構成である。
【００１８】
［適用例８］
適用例８は、上記色補間手段は、上記エッジ方向に配列された周辺画素のうち、それらの画素値が大きい順から並べ、該画素値の上位および下位を除いた画素値の平均値から求めている構成である。
【００１９】
なお、本適用例において、撮像素子としては、ＣＣＤや、ＣＭＯＳセンサ等が挙げられる。また、撮像素子において、受光素子は、例えば、マトリクス状に配列されているものとしてもよいし、ハニカム状に配列されているものとしてもよい。
【００２０】
本発明は、上述の欠陥画素検出装置、撮像装置としての構成の他、欠陥画素の検出方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【００２１】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、欠陥画素検出装置、撮像装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について実施例に基づいて説明する。
（１）  撮像装置の概略構成
図１は本発明の一実施例としての撮像装置１００の概略構成を示す説明図である。撮像装置１００は、撮像部１０と、欠陥画素検出／補正部２０と、出力部（図示省略）とを備えており、後述するように、撮像部１０によって撮像された画像を構成する複数の画素の中から、欠陥画素（いわゆる白キズや黒キズ）を逐次、検出・補正・補間して出力するものである。本実施例では、欠陥画素検出／補正部２０や、出力部は、ハードウェアによって構成されているものとした。これらの一部をソフトウェアによって構成するものとしてもよい。なお、図示は省略しているが、撮像装置１００は、撮像した画像を表示する液晶パネル等の表示部や、撮像した画像をフラッシュメモリ等の記録媒体に保存するための記録部等も備えている。また、撮像装置１００は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有し、撮像装置１００の各部を制御する制御ユニットを備えている。
【００２３】
撮像部１０は、図示しないズームレンズや、フォーカスレンズや、絞りや、これらを介して受光した光を電気信号に変換する撮像素子１２と、撮像素子１２から出力される画像信号を一時的に保持する画素データ取得手段１４などを備えている。撮像素子１２は、撮像された画像を構成する複数の画素にそれぞれ対応し、対応する画素の画素値を表す画素データをそれぞれ出力する複数の受光素子（フォトダイオード）を備えている。
【００２４】
図２は撮像素子１２における受光素子１２ｄの配列を示す説明図である。本実施例の撮像装置１００は、１つの撮像素子１２を備える、いわゆる単板式の撮像装置である。撮像素子１２には、複数の受光素子１２ｄがマトリクス状に配列されている。なお、撮像素子１２において、複数の受光素子１２ｄをハニカム状に配列するようにしてもよい。また、各受光素子１２ｄには、それぞれ、カラーフィルタが備えられている。本実施例では、各受光素子１２ｄは、原色系のカラーフィルタ、すなわち、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを、図示した配列で備えるものとした。各受光素子１２ｄは、補色系のカラーフィルタ、すなわち、シアン、マゼンタ、イエロのカラーフィルタを所定の配列で備えるようにしてもよい。なお、撮像素子１２において、受光素子１２ｄの数は、要求される光学解像度に応じて、任意に設定可能である。
【００２５】
図１に示した欠陥画素検出／補正部２０は、欠陥画素判定部２２と、補正値作成部２４と、高周波成分抽出部２６と、エッジ方向判定手段２８と、キズ消去部３０と、緑補間部３２と、赤青補間部３４と、エッジ安定化部３６とを備えており、撮像部１０によって撮像された画像を構成する複数の画素の中から欠陥画素を検出して補正するとともに、カラーフィルタに対応しない色の画素データを、それ以外の色の画素データから作成する補間処理を行なう。以下、欠陥画素検出／補正部２０における各部の機能について説明する。
【００２６】
（２）  欠陥画素検出／補正部２０の各部の構成および動作
図３は欠陥画素検出／補正部２０による処理の流れの概略を模式的に示す説明図である。本実施例では、撮像された画像を構成する複数の画素の中から、図中に破線で囲った所定の範囲、例えば５×５の画素からなる画素ブロックＰＢｉｊの画素データをそれぞれ取得し（画素ブロックＰＢｉｊにおける“ｉ”は画素の左上から下に向かってｉ番目、”ｊ”は画像の左上から右に向かってｊ番目の画素であることを示している。）、そして、注目画素（欠陥画素の検出対象となる画素）が、欠陥画素として視認されやすい画素であるか否かを、注目画素の周辺に配置された周辺画素の画素値に基づいて判定し、さらにこれらを周辺画素の画素データに基づいて補正および補間する。なお、これらの処理は、図３に示したように、画素ブロックＰＢ１１→画素ブロックＰＢ１２→画素ブロックＰＢ１３→・・・→画素ブロックＰＢ２１→・・・の順に、最後の画素ブロックまで、つまり、最後の注目画素まで行われる。
【００２７】
（２）−１  欠陥画素判定部２２
図４は欠陥画素判定部２２により処理されるキズ判定処理を説明する説明図、図５はキズ判定処理を説明するフローチャートである。欠陥画素判定部２２は、まず、画素データ取得手段１４にて設定された注目画素の周辺に配置された画素データを、注目画素が欠陥画素であるか否かの判定に用いられる周辺画素として設定する。すなわち、図４（Ａ）に示すように、注目画素が緑Ｇ２２である場合には、斜線で示した周辺画素Ｇ０２，Ｇ１１，Ｇ１３，Ｇ２０，Ｇ２２，Ｇ２４，Ｇ３１，Ｇ３３，Ｇ４２の９個を、欠陥画素判定用の画素データに設定する（ステップＳ１０２）。そして、９個の画素データを大きい順に並べて（ステップＳ１０４）、注目画素Ｇ２２が上位の３個または下位の３個に該当するか否かを判定する（ステップＳ１０６）。ここで、注目画素の画素データが上位の３番目以内に入っていると判定された場合には、注目画素の画素データと５番目に大きい画素（中間値）との差分の絶対値を求め、この差分の絶対値が白キズ閾値Ｐｖｗより大きいか否かが判定され（ステップＳ１０８）、肯定判定の場合に、注目画素が白キズであるとの仮判定をし（ステップＳ１１０）、一方、注目画素の画素データが下位の３番目以内に入っていると判定された場合には、注目画素の画素データと中間値との差分の絶対値を求め、この差分の絶対値が黒キズ閾値Ｐｖｂより大きいか否かが判定され（ステップＳ１１２）、肯定判定の場合に、注目画素が黒キズであるとの仮判定をする（ステップＳ１１４）。一方、キズの仮判定とされない場合には、注目画素の画素データがそのまま後段に送られる。
【００２８】
すなわち、キズ判定処理において、注目画素の画素データが欠陥画素判定用の画素データの上位または下位の３個の画素データに入り、中間値より所定値以上大きいと、白または黒キズの仮判定を行う。ここで、欠陥画素判定用画素を上位および下位の３個の画素データとしたのは、３個連続してキズがある場合に対処するためである。
一方、図４（Ｂ）に示すように、注目画素が赤Ｒ２３の場合には、斜線で示す周辺画素Ｒ０１，Ｒ０３，Ｒ０５，Ｒ２１，Ｒ２５，Ｒ４１，Ｒ４３，Ｒ４５の９個を欠陥画素判定用の周辺画素に設定し、同様なキズ判定処理を行なう。さらに、注目画素が青の場合も、赤と同様に処理する。
【００２９】
（２）−２  補正値作成部２４
図６は補正値作成部２４により作成される補正値作成処理を説明する説明図である。補正値作成部２４は、欠陥画素判定部２２にて注目画素がキズの仮判定と判定されたときの欠陥画素の補正値を設定する。図６に示すように、注目画素が緑Ｇ２２である場合には、キズ補正値Ｃｖは、５×５の画素からなる画素ブロックの画素データのうち、斜線で示す９個の周辺画素の画素データを用いて、上位の２個と下位の２個を除いた注目画素を中心として対称の５個の画素データの平均値として求める。
【００３０】
（２）−３  高周波成分抽出部２６
図７は高周波成分抽出部２６により処理される高周波成分抽出処理を説明する説明図である。高周波成分抽出部２６は、各々の画素についての高周波成分（エッジ成分）を強調した画素データを作成する。すなわち、図７（Ａ）において、注目画素が緑Ｇ２２の画素データの場合には、注目画素を中心に５×５の画素からなる画素ブロックから、破線で示す１３個の緑の画素データを取得する。そして、図７（Ａ）の式（１）に示すように、注目画素の緑Ｇ２２の画素データに周辺画素の数である１３を乗算した値から、周辺画素の画素データの合計値を減算して、さらに、周辺画素の画素数である１３で除算した値を緑Ｇ２２の高周波成分の画素データＧ２２ｈとする。すなわち、画素データＧ２２ｈは、緑Ｇ２２が周辺画素より出力の異なる部分を抽出した値を意味している。
【００３１】
同様に、図７（Ｂ）に示すように、注目画素が赤Ｒ２３の画素データの場合には、注目画素を中心に５×５の画素からなる画素ブロックのうち、破線で示す９個の赤の画素データを取得する。そして、図７（Ｂ）の式（２）に示すように、注目画素の赤Ｒ２３の画素データに周辺画素の数である９を乗算した値から、周辺画素の画素データの合計値を減算して、さらに、周辺画素の画素数である９で除算した値を赤Ｒ２３の高周波成分のデータＲ２３ｈとする。注目画素が青の画素データの場合には、赤の画素データと同様に処理する。高周波成分を抽出した画素データは、後段のエッジ方向判定手段２８に送られる。
【００３２】
（２）−４  エッジ方向判定手段２８
図８はエッジ方向判定手段２８により処理されるエッジ方向判定処理を説明する説明図である。エッジ方向判定手段２８は、図７に示した高周波成分抽出部２６により作成されたエッジ成分を強調した画素データＧ２２ｈなどに基づいて、注目画素が周辺画素と共に縦／横／斜めのいずれの方向にエッジなどを含む精細な模様を構成しているか、または孤立点であるかについて判定を行なう。図８において、本処理は、７×７の画素からなる画素ブロックの画素データに基づいて求める。ここで、図９に示すように、注目画素が赤Ｒ３３の場合には、赤Ｒ３３を中心に５個の画素データについて、以下に説明するエッジ方向判定処理をそれぞれ行ない、これらが全て同じ判定の場合に、注目画素の赤３３は、縦／横／斜め右上がり・斜め左下がりのいずれかの方向のエッジを構成していると判定する。まず、注目画素の赤Ｒ２３の各々の判定処理について説明するが、これらの判定処理は、赤Ｒ２３の周辺画素の青Ｂ２４、青Ｂ４２、青Ｂ４４についても同様に行なう。
【００３３】
（ａ）  縦判定値算出処理
図１０（Ａ）は赤Ｒ３３の縦判定値算出処理を説明する説明図である。注目画素の赤Ｒ３３の縦判定は、図１０（Ａ）に示す式（３）により縦判定値Ｒ３３ｖを求めることにより行なう。すなわち、注目画素の赤Ｒ３３を中心とした、周辺画素の縦方向の２個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【００３４】
（ｂ）  横判定値算出処理
図１０（Ｂ）は赤Ｒ３３の横判定値算出処理を説明する説明図である。注目画素の赤Ｒ３３の横判定は、図１０（Ｂ）に示す式（４）により横判定値Ｒ３３ｈを求めることにより行なう。すなわち、注目画素の赤Ｒ３３を中心とした、周辺画素の横方向の２個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【００３５】
（ｃ）  斜め右上がり判定値算出処理
図１１（Ａ）は赤Ｒ２３の斜め右上がり判定値算出処理を説明する説明図である。本処理は、注目画素の赤Ｒ３３につき、図１１（Ａ）に示す式（５）により斜め右上がり判定値Ｒ３３ｒｕを求める。すなわち、注目画素の赤Ｒ３３を中心とした斜め右上がり方向の２個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【００３６】
（ｄ）  斜め右下がり判定値算出処理
図１１（Ｂ）は赤Ｒ２３の斜め右下がり判定値算出処理を説明する説明図である。本処理は、注目画素の赤Ｒ３３につき、図１１（Ｂ）に示す式（６）により斜め右下がり判定値Ｒ３３ｒｄを求める。すなわち、注目画素の赤Ｒ３３を中心とした斜め右下がり方向の２個の画素値の差の絶対値を求め、さらにこれらの合計値を求める。
【００３７】
（ｅ）  方向判定処理
図１２はエッジ方向判定処理を説明するフローチャートである。図１２において、エッジ方向判定処理は、図１０〜図１１で説明した判定値に基づいて行なう。
（ｅ）−１  斜め右上がり判定
ステップＳ１２０にて、注目画素の赤Ｒ３３について求めた４個の判定値、つまり縦判定値Ｒ３３ｖ、横判定値Ｒ３３ｈ、斜め右上がり判定値Ｒ３３ｒｕおよび斜め右下がり判定値Ｒ３３ｒｄを比較する。その比較の結果、斜め右上がり判定値Ｒ３３ｒｕが他の判定値より小さく、しかも、ステップＳ１２２にて斜め右下がり判定値Ｒ３３ｒｄとの差が所定の閾値より大きい場合に、斜め右上がりエッジと判定する（ステップＳ１２４）。ここで、所定の閾値は、他の画素の斜め判定との結果で判定が異なる場合におけるヒステリシスを防ぎ、画面のちらつきを低減するためである。
【００３８】
（ｅ）−２  斜め右下がり判定
斜め右下がり判定処理は、上述した斜め右上がり判定と同様に行なう。すなわち、ステップＳ１２６にて、注目画素の赤Ｒ３３について求めた４個の判定値、つまり縦判定値Ｒ３３ｖ、横判定値Ｒ３３ｈ、斜め右上がり判定値Ｒ３３ｒｕおよび斜め右下がり判定値Ｒ３３ｒｄを比較する。そして、斜め右下がり判定値Ｒ３３ｒｄが他の判定値より小さく、しかも、ステップＳ１２８にて斜め右上がり判定値Ｒ３３ｒｕとの差が所定のヒステリシスを防ぐための閾値より大きい場合に、斜め右下がりエッジと判定する（ステップＳ１３０）。
【００３９】
（ｅ）−３  縦判定
縦判定処理は、２つの判定処理で行なう。すなわち、ステップＳ１３２にて、注目画素の赤Ｒ３３について求めた４個の判定値、つまり縦判定値Ｒ３３ｖ、横判定値Ｒ３３ｈ、斜め右上がり判定値Ｒ３３ｒｕおよび斜め右下がり判定値Ｒ３３ｒｄを比較する。そして、その比較の結果、縦判定値Ｒ３３ｖが他の判定値より小さく、しかも、ステップＳ１３４にて横判定値Ｒ３３ｈとの差がヒステリシスを防ぐための所定の閾値より大きい場合に、縦エッジと判定する（ステップＳ１３６）。
【００４０】
また、ステップＳ１３８にて、図９で示した赤Ｒ３３の周辺画素の４個の画素データ、つまり、青Ｂ２２について求めた縦判定値Ｂ２２ｖと横判定値Ｂ２２ｈ、青Ｂ２４について求めた縦判定値Ｂ２４ｖと横判定値Ｂ２４ｈ、青Ｂ４２について求めた縦判定値Ｂｖ４２と横判定値Ｂ４２ｈ、および青Ｂ４４について求めた縦判定値Ｂ４４ｖと横判定値Ｂ４４ｈとをそれぞれ比較する。そして、縦判定値Ｂ２２ｖ，Ｂ２４ｖ，Ｂ４２ｖ，Ｂ４４ｖの全てが、横判定値Ｂ２２ｈ，Ｂ２４ｈ，Ｂ４２ｈ，Ｂ４４ｈより小さいときには、縦エッジと判定する（ステップＳ１３６）。
【００４１】
（ｅ）−４  横判定
横判定処理は、縦判定処理と同様に２つの判定処理で行なう。すなわち、ステップＳ１４０にて、注目画素の赤Ｒ３３について求めた４個の判定値、つまり横判定値Ｒ３３ｈ、縦判定値Ｒ３３ｖ、斜め右上がり判定値Ｒ３３ｒｕおよび斜め右下がり判定値Ｒ３３ｒｄを比較する。そして、その比較の結果、横判定値Ｒ３３ｈが他の判定値より小さく場合に、そしてステップＳ１４２にて縦判定値Ｒ３３ｖとの差がヒステリシスを防ぐための所定の閾値より大きい場合に、横エッジと判定する（ステップＳ１４４）。
【００４２】
また、ステップＳ１４６にて、図９で示した赤Ｒ３３の周辺画素の４個の画素データ、つまり、青Ｂ２２について求めた横判定値Ｂ２２ｈと縦判定値Ｂ２２ｖ、青Ｂ２４について求めた横判定値Ｂ２４ｈと縦判定値Ｂ２４ｖ、青Ｂ４２について求めた横判定値Ｂ４２ｈと縦判定値Ｂ４２ｖ、および青Ｂ４４について求めた横判定値Ｂ４４ｈと縦判定値Ｂ４４ｖとをそれぞれ比較する。そして、その比較の結果、横判定値の全てが、縦判定値より小さいときには、横エッジと判定する（ステップＳ１４４）。
【００４３】
（２）−５  キズ消去部３０
図１に示すキズ消去部３０は、欠陥画素判定部２２でキズの仮判定と判定され、かつエッジ方向判定手段２８における判定結果に基づいて、つまり縦／横／斜め右上がり／斜め右下がりのエッジであるとの判定結果に基づいて、注目画素の画素値を補正値作成部２４で作成されたキズ補正値Ｃｖに補正する。すなわち、注目画素がキズの仮判定と判定されかついずれかの方向のエッジでないと判定されると、注目画素の画素値は、キズ補正値Ｃｖに置換され、一方、いずれかの方向のエッジであると判定されると、補正しない画素値となる。したがって、注目画素が高周波成分を含んでいると判定されても、孤立点ではなく、縦、横、斜めで連続するエッジであると判定されると、一旦、注目画素がキズと判定されていても補正されないで、その画素データがそのまま後段で処理される。
【００４４】
（２）−６  緑補間部３２
図１３は緑補間部３２（図１）により処理される緑補間処理について説明する説明図である。緑補間処理は、緑のカラーフィルタでない受光素子１２ｄの画素データを、周辺画素の画素データから緑の画素データを作成する処理である。緑補間処理は、エッジ方向判定手段２８の判定結果にしたがって３形態をとる。すなわち、縦判定の場合には、図１３（Ａ）に示すように、赤Ｒ２３の箇所に緑Ｇ２３の画素データを作成するのに、縦方向の緑Ｇ９３，Ｇ１３，Ｇ３３，Ｇ５３の４個の画素データを用いる。横判定の場合には、図１３（Ｂ）に示すように、赤Ｒ２３の箇所に緑Ｇ２３の画素データを作成するのに、横方向の緑Ｇ２０，Ｇ２２，Ｇ２４，Ｇ２６の４個の画素データを用いる。斜め判定またはそれ以外の場合には、図１３（Ｃ）に示すように、赤Ｒ２３の箇所に緑Ｇ２３の画素データを作成するのに、周囲の緑Ｇ２０，Ｇ２２，Ｇ２４，Ｇ２６の４個の画素データを用いる。そして、いずれの３形態についても、４個の緑の画素データから最大値と最小値を除いた中間の２個の画素データを用いて、その２個の平均値により緑Ｇ２３を作成する。
【００４５】
（２）−７  赤青補間部３４
赤青補間部３４（図１）は、上述した緑補間部３２と同様な処理、つまり、エッジ方向判定手段２８の判定結果に基づいて、補間の対象となる注目画素を中心とした周辺画素を適宜、４個選択して補間値を作成する。
【００４６】
（２）−８  エッジ安定化部３６
図１４はエッジ安定化部３６（図１）により処理されるエッジ安定化処理について説明する説明図である。エッジ安定化処理は、補間後の画像データに基づき、エッジ方向判定手段２８の判定結果にしたがって３形態をとる。すなわち、縦判定の場合には、図１４（Ａ）に示すように、注目画素の緑Ｇ２３の縦方向の緑Ｇ０３，Ｇ１３，Ｇ２３，Ｇ３３，Ｇ４３の５個の画素データを用いる。横判定の場合には、図１４（Ｂ）に示すように、注目画素の緑２３の横方向の緑の緑Ｇ２１，Ｇ２２，Ｇ２３，Ｇ２４，２５の５個の画素データを用いる。斜め判定またはそれ以外の場合には、図１４（Ｃ）に示すように、注目画素の緑Ｇ２３の周囲の緑Ｇ１３，Ｇ２２，Ｇ２３，Ｇ２４，Ｇ３３の５個の画素データを用いる。そして、いずれの３形態についても、５個の緑の画素データから最大値と最小値を除いた中間の３個の画素データの平均値を緑Ｇ２３の画素データとする。赤および青の画素データについても、緑の画素データの処理と同様に行なう。
【００４７】
（３）  実施例の作用・効果
上記実施例の構成により、上述した効果のほか、以下の効果を奏する。
（３）−１  撮像装置は、注目画素および周辺画素の画素データを用いて、エッジ方向判定手段２８により被写体のエッジ方向を判定し、この判定結果に基づいて、注目画素が欠陥画素である場合の補正につき異なった処理を行なっている。すなわち、被写体のエッジ方向に特異性がない範囲、つまりエッジがなく色の変化の小さい模様の範囲では、欠陥画素を判定するための所定の閾値を小さくすることにより、欠陥画素を確実に検出でき、この検出結果に基づいて、平滑な模様の場合に特に目立つ欠陥画素の補正を適切に行なうことができる。
【００４８】
（３）−２  被写体のエッジ方向に特異性がある範囲、つまりエッジがあり色の変化の大きい模様の範囲では、上述の補正手段により補正をした場合には、欠陥画素の判定が多くなりすぎて、画質の劣化を生じる。しかし、撮像部１０は、欠陥画素の判定に無関係に、エッジ方向判定手段２８の判定結果に基づいて、注目画素の色補間により処理されるから、エッジの部分に欠陥画素があっても、注目画素の画素データを活かしつつ鮮明なエッジを有する画像を得ることができる。
【００４９】
なお、この発明は上記実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施例としての撮像装置の概略構成を示す説明図である。
【図２】撮像素子における受光素子の配列を示す説明図である。
【図３】欠陥画素検出／補正部による処理の流れの概略を模式的に示す説明図である。
【図４】欠陥画素判定部により処理されるキズ判定処理を説明する説明図である。
【図５】キズ判定処理を説明するフローチャートである。
【図６】補正値作成部により処理される補正値作成処理を説明する説明図である。
【図７】高周波成分抽出部により処理される高周波成分抽出処理を説明する説明図である。
【図８】エッジ方向判定手段により処理されるエッジ方向判定処理を説明する説明図である。
【図９】エッジ方向判定手段により処理されるエッジ方向判定処理を説明する説明図である。
【図１０】エッジ方向判定手段の縦横判定を説明する説明図である。
【図１１】エッジ方向判定手段による斜め判定を説明する説明図である。
【図１２】エッジ方向判定処理を説明するフローチャートである。
【図１３】緑補間部により処理される緑補間処理について説明する説明図である。
【図１４】エッジ安定化部により処理されるエッジ安定化処理について説明する説明図である。
【符号の説明】
【００５１】
１０…撮像部
１２…撮像素子
１２ｄ…受光素子
１４…画素データ取得手段
２０…欠陥画素検出／補正部
２２…欠陥画素判定部
２３…緑
２４…補正値作成部
２６…高周波成分抽出部
２８…エッジ方向判定手段
３０…キズ消去部
３２…緑補間部
３３…赤
３４…赤青補間部
３６…エッジ安定化部
４０…出力部
５０…制御ユニット
１００…撮像装置
【図１】
2010035114.tif 000003
【図２】
2010035114.tif 000004
【図３】
2010035114.tif 000005
【図４】
2010035114.tif 000006
【図５】
2010035114.tif 000007
【図６】
2010035114.tif 000008
【図７】
2010035114.tif 000009
【図８】
2010035114.tif 000010
【図９】
2010035114.tif 000011
【図１０】
2010035114.tif 000012
【図１１】
2010035114.tif 000013
【図１２】
2010035114.tif 000014
【図１３】
2010035114.tif 000015
【図１４】
2010035114.tif 000016