【手続補正書】
【提出日】平成16年9月29日(2004.9.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】      明細書
【発明の名称】  欠陥画素補正装置
【特許請求の範囲】
【請求項１】  固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段とを備えていることを特徴とする欠陥画素補正装置。
【請求項２】  色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき、固体撮像素子の前面に配置された色フィルタの各色のうち欠陥画素と同色の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段とを備えていることを特徴とする欠陥画素補正装置。
【請求項３】  出現頻度が不均一な色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において出現頻度が多い色の画素の指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき出現頻度が多い色の画素の相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素中の出現頻度が多い色の画素から前記欠陥画素の補正値を算出する第１の補正値算出手段と、前記欠陥画素周囲の画素中の出現頻度が多い色の画素と出現頻度が少ない色の画素から色比率を算出する色比率算出手段と、前記欠陥画素周囲の画素中の出現頻度が多い色の画素から算出した補間値、及び前記色比率算出手段で算出された色比率に基づき前記欠陥画素の補正値を算出する第２の補正値算出手段と、前記欠陥画素の色に基づき前記第１の補正値算出手段と前記第２の補正値算出手段を切り換える切換手段とを備えていることを特徴とする欠陥画素補正装置。
【請求項４】  前記指標値算出手段は、前記画素取り込み手段で取り込まれた前記周囲画素において所定方向に関する複数のエッジ強度指標値から統合された指標値を算出することを特徴とする請求項１に係る欠陥画素補正装置。
【請求項５】  前記指標値算出手段は、前記画素取り込み手段で取り込まれた前記周囲画素において所定方向に関する複数のエッジ強度指標値から統合された指標値を算出することを特徴とする請求項２に係る欠陥画素補正装置。
【請求項６】  前記指標値算出手段は、前記画素取り込み手段で取り込まれた前記周囲画素において出現頻度が多い色の画素の所定方向に関する複数のエッジ強度指標値から複数の指標値を算出することを特徴とする請求項３に係る欠陥画素補正装置。
【請求項７】  前記エッジ強度指標値は、前記欠陥画素の周囲の正常な画素において前記欠陥画素と近接する２画素間の画素値の絶対値差であることを特徴とする請求項４に係る欠陥画素補正装置。
【請求項８】  前記エッジ強度指標値は、前記欠陥画素の周囲の正常な画素において前記欠陥画素と同色の近接する２画素間の画素値の絶対値差であることを特徴とする請求項５又は６に係る欠陥画素補正装置。
【請求項９】  前記統合された指標値は、前記エッジ強度指標値を所定の方向毎に加算した値であることを特徴とする請求項４又は５に係る欠陥画素補正装置。
【請求項10】  前記画素取り込み手段は、前記欠陥画素の位置情報に基づき周囲画素中に欠陥画素が含まれている場合に該欠陥画素を除去する除去手段を備えていることを特徴とする請求項１〜６のいずれか１項に係る欠陥画素補正装置。
【請求項11】  前記指標値算出手段は、前記所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を前記複数の所定方向毎に加算する加算手段とを備えていることを特徴とする請求項１〜６のいずれか１項に係る欠陥画素補正装置。
【請求項12】  前記方向算出手段は、算出された前記複数の所定方向における指標値の各方向別の割合を求める割合算出手段と、該割合算出手段で求められた前記複数の所定方向における指標値の割合を各方向毎にそれぞれ比較する比較手段と、該比較手段の比較結果から最も相関性の高い方向を出力する出力手段とを備えていることを特徴とする請求項１〜６のいずれか１項に係る欠陥画素補正装置。
【請求項13】  前記補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とする請求項１，２，４，５のいずれか１項に係る欠陥画素補正装置。
【請求項14】  前記第１の補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とする請求項３又は６に係る欠陥画素補正装置。
【請求項15】  前記色比率算出手段は、前記欠陥画素周囲の画素において出現頻度が多い色の画素の平均値及び出現頻度が少ない色の画素の平均値との比を算出する比算出手段を備えていることを特徴とする請求項３又は６に係る欠陥画素補正装置。
【請求項16】  前記第２の補正値算出手段は、前記所定方向に属する周囲画素中の出現頻度が多い色の画素から補間により補間値を算出する補間算出手段と、前記周囲画素中の出現頻度が多い色の画素から平均により補間値を算出する平均算出手段と、相関のある方向を調べ、前記補間算出手段と前記平均算出手段を選択する選択手段と、前記補間値と前記色比率を乗算する乗算手段とを備えていることを特徴とする請求項３又は６に係る欠陥画素補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、固体撮像素子に存在する欠陥画素の補正装置に関し、特に欠陥画素が連続する場合でも高品位な補正を可能とする欠陥画素補正装置に関する。
【０００２】
【従来の技術】
近年、ディジタルカメラなど固体撮像素子を用いた撮像装置が様々な用途に使用されている。使用される固体撮像素子の画素数は、年々増大する傾向にあり、これに伴い欠陥画素の発生も増大することになる。このような問題に対して、従来は製造時の検査により欠陥画素の位置をあらかじめ記録しておき、その記録された画素を隣接する画素と置き換える手法や、周囲画素の中央値や平均値で補間するなどの手法がとられてきた。しかし、これらの手法では、欠陥画素近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合などでは、補正跡が不連続となってしまうことがあった。
【０００３】
この問題を解決するため、従来特許公報第２８０８８１３号に示すような手法が提案されている。この手法は、欠陥画素の１画素前と後ろに隣接する画素と、欠陥画素の１ライン前で隣接する３画素の合計５画素について、それぞれ隣接する２画素間の信号レベルの差分の絶対値を算出して、この差の大小関係を比較して欠陥画素周囲をパターン分類し、分類結果に応じた欠陥画素の補正を行うものである。また、表示画像に悪影響を及ぼさずに高品質の画像を表示するために、特開平８−９３９４号公報に示すように、欠陥画素周囲の各色画素の強度平均値を計算し、注目色画素の強度平均値と他の色画素の強度平均値との比を求め、この比演算値を原画像信号に乗算してメディアンフィルタをかけることで、傷信号が除去された信号を得るという方法がとられてきた。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記特許公報第２８０８８１３号に示される補正回路では、欠陥画素に隣接する前後の画素と１ライン前で隣接する３画素のレベル差のみでパターンを識別しているため、このパターン認識を誤る可能性がある。例えば、図12の（Ａ）に示すように、欠陥画素（？マーク付き画素）に隣接する前の画素，左上の画素，上の画素の輝度レベル差が小さいような場合、パターンは垂直方向であると判定される。このため、欠陥画素の位置は上に隣接する画素の値で補間されるが、実際には図12の（Ｂ）に示すように右上がりのパターンである場合も考えられ、正確なパターン分類を行うことができない。また、欠陥画素が連続して発生しているような場合では、参照する隣接画素に欠陥画素が含まれてしまうため、パターン識別ができないという問題もある。
【０００５】
本発明はこの点に着目し、欠陥画素の周辺に複雑なエッジ構造がある場合や、欠陥画素が連続して発生している場合においても、正確な補正を可能とする欠陥画素補正装置を提供することを目的とする。
【０００６】
また、欠陥画素には、入射光のレベルにかかわりなく、白レベル又は黒レベルの信号を出力する白傷や黒点欠陥などがある。上記特開平８−９３９４号に示される補正方法においては、欠陥画素は入射光のレベルに応じて出力値が増大すると仮定して欠陥補正を行っているため、白傷や黒点欠陥などの欠陥画素は補正することができない。また、Bayer 型などの出現頻度が異なる色フィルタを前面に配置した撮像素子の場合、出現頻度の多い色の画素の欠陥に対しても同色の離れた画素信号の平均値を用いて補正するため、画素に含まれる高周波成分が失われてしまうという問題があった。更に、欠陥画素周囲中に別の欠陥画素が含まれている場合、欠陥画素を含む平均値を求めてしまうため、精度の高い補正を行うことができないという問題があった。
【０００７】
本発明はこの点に着目し、白傷や黒点欠陥の欠陥画素に対しても補正が可能な欠陥画素補正装置を提供することを目的とする。
【０００８】
更に、本発明は、出現頻度が異なる色フィルタの撮像素子において高周波成分を失うことなく高精度な補正を可能とし、欠陥画素周囲に別の欠陥画素が存在する場合においても誤動作することのない欠陥画素補正装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段とを備えていることを特徴とするものである。
【００１０】
この請求項１に係る発明に関する実施の形態には、図１〜図７に示す第１の実施の形態が対応する。そして、請求項１における構成要件の欠陥記憶手段、画素取り込み手段、指標値算出手段、方向算出手段、補正値算出手段には、第１の実施の形態における欠陥位置記録ＲＯＭ205 ，入出力制御部200 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 が、それぞれ対応している。
【００１１】
この発明を適用した図１に示した第１の実施の形態においては、ＣＣＤ102 にて撮影された画像信号をＡ／Ｄ変換器103 にてデジタル化して画像用バッファ104 上に記録し、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき、所定サイズの周囲画素を入出力制御部200 にてラインバッファ201 に取り込み、指標値算出部202 にて所定方向における複数の指標値から統合された指標値を求め、方向算出部203 にて相関が最大となる方向を求め、補正値算出部204 にて前記相関のある方向に属する周囲画素を用いて欠陥画素の補正値が算出される。
【００１２】
このように、欠陥画素の周囲画素から相関性の高い方向を求め、この方向に属する周囲画素を用いて補正値を算出し、その際、所定方向に関して複数の指標値を求め、これを統合することで、この方向の指標値としているので、得られる指標値の精度が高く方向検出が高性能となり、エッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となる。
【００１３】
請求項２に係る発明は、色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき、固体撮像素子の前面に配置された色フィルタの各色のうち欠陥画素と同色の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段とを備えていることを特徴とするものである。
【００１４】
この請求項２に係る発明に関する実施の形態には、図１〜図７に示す第１の実施の形態が対応する。そして、請求項２における構成要件の欠陥記憶手段、画素取り込み手段、指標値算出手段、方向算出手段、補正値算出手段には、第１の実施の形態における欠陥位置記録ＲＯＭ205 ，入出力制御部200 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 が、それぞれ対応している。
【００１５】
この発明を適用した図１に示した第１の実施の形態においては、色フィルタを前面に配置されたＣＣＤ102 にて撮影された画像信号をＡ／Ｄ変換器103 にてデジタル化して画像用バッファ104 上に記録し、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき、所定サイズの欠陥画素と同色の周囲画素を入出力制御部200 にてラインバッファ201 に取り込み、指標値算出部202 にて所定方向における複数の指標値から統合された指標値を求め、方向算出部203 にて相関が最大となる方向を求め、補正値算出部204 にて前記相関のある方向に属する周囲画素を用いて欠陥画素の補正値が算出される。
【００１６】
このように、欠陥画素と同色の周囲画素から相関性の高い方向を求め、この方向に属する周囲画素を用いて補正値を算出し、その際、所定方向に関して複数の指標値を求め、これを統合することで、この方向の指標値としているので、得られる指標値の精度が高く方向検出が高性能となり、エッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となる。
【００１７】
請求項３に係る発明は、出現頻度が不均一な色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において出現頻度が多い色の画素の指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき出現頻度が多い色の画素の相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素中の出現頻度が多い色の画素から前記欠陥画素の補正値を算出する第１の補正値算出手段と、前記欠陥画素周囲の画素中の出現頻度が多い色の画素と出現頻度が少ない色の画素から色比率を算出する色比率算出手段と、前記欠陥画素周囲の画素中の出現頻度が多い色の画素から算出した補間値、及び前記色比率算出手段で算出された色比率に基づき前記欠陥画素の補正値を算出する第２の補正値算出手段と、前記欠陥画素の色に基づき前記第１の補正値算出手段と前記第２の補正値算出手段を切り換える切換手段とを備えていることを特徴とするものである。
【００１８】
この請求項３に係る発明に関する実施の形態には、図８〜図11に示される第２の実施の形態が対応する。そして、請求項３における構成要件の欠陥記憶手段、画素取り込み手段、指標値算出手段、方向算出手段、第１の補正値算出手段、色比率算出手段、第２の補正値算出手段及び切換手段には、第２の実施の形態における欠陥位置記憶ＲＯＭ205 ，入出力制御部200 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 ，色比率算出部207 ，第２補正値算出部208 及び制御部108 が、それぞれ対応している。
【００１９】
この発明を適用した図８に示した第２の実施の形態においては、色フィルタ109 を前面に配置したＣＣＤ102 にて撮影された画像信号をＡ／Ｄ変換器103 にてデジタル化して画像用バッファ104 上に記録し、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき、所定サイズの周囲画素を入出力制御部200 にてラインバッファ201 に取り込み、欠陥画素が出現頻度の多い色の画素の場合は、指標値算出部202 にて所定方向における複数の指標値から統合された指標値を求め、方向算出部203 にて相関が最大となる方向を求め、補正値算出部204 にて前記相関のある方向に属する周囲画素を用いて欠陥画素の補正値を算出し、欠陥画素が出現頻度の少ない色の画素の場合は、色比率算出部207 にて欠陥画素周囲における出現頻度の少ない色の画素と出現頻度の多い色の画素間の色比率を求め、第２補正値算出部208 にて出現頻度の多い色の画素から求めた補間値と上記色比率を乗算することで、欠陥画素の補正値が算出される。
【００２０】
このように、欠陥画素が出現頻度の多い色の画素の場合、その色の画素のみを用いて相関性の高い方向を求め、この方向に属する周囲画素を用いて補正値を算出し、一方、出現頻度の少ない色の画素の場合、欠陥画素の周囲画素を用いて出現頻度の多い色の画素と少ない色の画素間で色比率を求め、更に欠陥画素位置における出現頻度の多い色の画素値を補間により求め、両者を乗算することで補正値を算出するようにしている。
【００２１】
これにより、出現頻度の多い色の画素の場合、その色の画素のみを用いて補正値を算出するため、出現頻度の少ない色の影響を受けずに高周波成分を維持した高精度な補正が可能となり、また出現頻度の少ない色の画素の場合、多い色の画素との色比率に基づき補正値を算出するため、出現頻度の多い色の画素の情報を利用してより精度の高い補正が可能となる。
【００２２】
請求項４に係る発明は、請求項１に係る欠陥画素補正装置において、前記指標値算出手段は、前記画素取り込み手段で取り込まれた前記周囲画素において所定方向に関する複数のエッジ強度指標値から統合された指標値を算出することを特徴とするものであり、この発明に係る実施の形態には、第１の実施の形態が対応する。
【００２３】
請求項５に係る発明は、請求項２に係る欠陥画素補正装置において、前記指標値算出手段は、前記画素取り込み手段で取り込まれた前記周囲画素において所定方向に関する複数のエッジ強度指標値から統合された指標値を算出することを特徴とするものであり、この発明に係る実施の形態には、第１の実施の形態が対応する。
【００２４】
請求項６に係る発明は、請求項３に係る欠陥画素補正装置において、前記指標値算出手段は、前記画素取り込み手段で取り込まれた前記周囲画素において出現頻度が多い色の画素の所定方向に関する複数のエッジ強度指標値から複数の指標値を算出することを特徴とするものであり、この発明に係る実施の形態には、第２の実施の形態が対応する。
【００２５】
請求項７に係る発明は、請求項４に係る欠陥画素補正装置において、前記エッジ強度指標値は、前記欠陥画素の周囲の正常な画素において前記欠陥画素と近接する２画素間の画素値の絶対値差であることを特徴とするものであり、この発明に係る実施の形態には、第１の実施の形態が対応する。
【００２６】
請求項８に係る発明は、請求項５又は６に係る欠陥画素補正装置において、前記エッジ強度指標値は、前記欠陥画素の周囲の正常な画素において前記欠陥画素と同色の近接する２画素間の画素値の絶対値差であることを特徴とするものであり、この発明に係る実施の形態には、第１及び第２の実施の形態が対応する。
【００２７】
請求項９に係る発明は、請求項４又は５に係る欠陥画素補正装置において、前記統合された指標値は、前記エッジ強度指標値を所定の方向毎に加算した値であることを特徴とするものであり、この発明に係る実施の形態には、第１の実施の形態が対応する。
【００２８】
請求項10に係る発明は、請求項１〜６のいずれか１項に係る欠陥画素補正装置において、前記画素取り込み手段は、前記欠陥画素の位置情報に基づき周囲画素中に欠陥画素が含まれている場合に該欠陥画素を除去する除去手段を備えていることを特徴とするものである。この発明に関する実施の形態には、第１及び第２の実施の形態が対応し、そして請求項10における構成要件の除去手段には、第１及び第２の実施の形態における周囲欠陥除去部206 が対応する。
【００２９】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき入出力制御部200 にて所定サイズの周囲画素を取り込み、周囲欠陥除去部206 にてこの周囲画素中から欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき欠陥画素を除去する。そして、欠陥画素の周囲画素に存在する欠陥画素を除去した後に補正値を求める。これにより、欠陥画素が連続する場合でも、その影響を除去し、精度の高い補正が可能となる。
【００３０】
請求項11に係る発明は、請求項１〜６のいずれか１項に係る欠陥画素補正装置において、前記指標値算出手段は、前記所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を前記複数の所定方向毎に加算する加算手段とを備えていることを特徴とするものである。
【００３１】
この発明に関する実施の形態には、第１及び第２の実施の形態が対応し、そして請求項11における構成要件の抽出手段、絶対値差算出手段及び加算手段には、第１及び第２の実施の形態の指標値算出部202 における抽出位置記録ＲＯＭ300 ，絶対値差算出部301 及び加算部302 が、それぞれ対応している。
【００３２】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、指標値算出部202 内で、抽出位置記録ＲＯＭ300 に記録された位置情報に基づき欠陥画素の周囲画素から特定方向に属する２つの画素の組を複数抽出し、絶対値差算出部301 で上記組に関して絶対値差を求め、加算部302 にて絶対値差を加算することで所定方向の指標値とする。このように、一つの方向の指標値を複数の指標値の加算にて算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い補正が可能となる。
【００３３】
請求項12に係る発明は、請求項１〜６のいずれか１項に係る欠陥画素補正装置において、前記方向算出手段は、算出された前記複数の所定方向における指標値の各方向別の割合を求める割合算出手段と、該割合算出手段で求められた前記複数の所定方向における指標値の割合を各方向毎にそれぞれ比較する比較手段と、該比較手段の比較結果から最も相関性の高い方向を出力する出力手段とを備えていることを特徴とするものである。
【００３４】
この発明に関する実施の形態には、第１及び第２の実施の形態が対応し、そして請求項12における構成要件の割合算出手段、比較手段及び出力手段には、第１及び第２の実施の形態の方向算出部203 における割合算出部400 ，比較部401 及び出力部402 が、それぞれ対応している。
【００３５】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、方向算出部203 内で、指標値算出部202 にて算出された各方向の指標値から割合算出部400 にて方向別の割合を求め、比較部401 にて方向別の割合比を比較し、出力部402 にて比較結果に基づき相関性の高い方向もしくは特定の方向には相関性がないという情報を出力する。
【００３６】
以上のように、方向毎の指標値からそれぞれの割合を求め、その比を比較することで相関性のある方向、又は相関性がないという情報を出力する。このように、各方向の指標値の比の値を比較するため、画像の階調幅などに依存せず、閾値設定などの調整が不要で、且つノイズなどに影響されにくく、相関性の高い方向を高精度に検出することが可能となる。
【００３７】
請求項13に係る発明は、請求項１，２，４，５に係る欠陥画素補正装置において、前記補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とするものである。
【００３８】
この発明に関する実施の形態には、第１の実施の形態が対応し、そして請求項13における構成要件の補間算出手段、平均算出手段及び選択手段には、第１の実施の形態の補正値算出部204 における補間算出部501 ，平均算出部502 及び選択部500 が、それぞれ対応する。
【００３９】
この発明を適用した図１に示した第１の実施の形態においては、補正値算出部204 内で、方向算出部203 からの情報に基づきに選択部500 にて補間算出部501 又は平均算出部502 を選択する。このように、相関性の有無に基づき特定方向の周囲画素を用いた補間又は全ての周囲画素を用いた平均を切り換える。そしてエッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いるため、入力画像に対し最適な補正が可能となる。
【００４０】
請求項14に係る発明は、請求項３又は６に係る欠陥画素補正装置において、前記第１の補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とするものであり、この発明に係る実施の形態には、第２の実施の形態が対応し、請求項13に係る欠陥画素補正装置と同等の作用効果が得られる。
【００４１】
請求項15に係る発明は、請求項３又は６に係る欠陥画素補正装置において、前記色比率算出手段は、前記欠陥画素周囲の画素において出現頻度が多い色の画素の平均値及び出現頻度が少ない色の画素の平均値との比を算出する比算出手段を備えていることを特徴とするものである。この発明に関する実施の形態には、第２の実施の形態が対応し、そして請求項15における構成要件の比算出手段には、第２の実施の形態の色比率算出部207 における比算出部 602が対応する。
【００４２】
この発明を適用した図８に示す第２の実施の形態においては、色比率算出部207 内で、方向算出部203 からの情報に基づき第１平均算出部600 にて出現頻度の多い色の画素の平均を算出し、方向算出部 203からの情報に基づき第２平均算出部601 にて出現頻度の少ない色の画素の平均を算出し、比算出部 602にて両者の平均値の比を算出する。このように、相関性の高い方向に属する周囲画素から出現頻度の多い色の画素と少ない色の画素の色比率を算出する。したがって、エッジ領域などの複雑な画像においても高精度な色比率の算出が可能となる。
【００４３】
請求項16に係る発明は、請求項３又は６に係る欠陥画素補正装置において、前記第２の補正値算出手段は、前記所定方向に属する周囲画素中の出現頻度が多い色の画素から補間により補間値を算出する補間算出手段と、前記周囲画素中の出現頻度が多い色の画素から平均により補間値を算出する平均算出手段と、相関のある方向を調べ、前記補間算出手段と前記平均算出手段を選択する選択手段と、前記補間値と前記色比率を乗算する乗算手段とを備えていることを特徴とするものである。この発明に関する実施の形態には、第２の実施の形態が対応し、そして請求項16における構成要件の補間算出手段、平均算出手段、選択手段及び乗算手段には、第２の実施の形態の第２補正値算出部208 における補間算出部701 ，平均算出部702 ，選択部700 及び乗算部703 が、それぞれ対応する。
【００４４】
この発明を適用した図８に示す第２の実施の形態においては、第２補正値算出部208 内で、選択部700 にて補間算出部701 又は平均算出部702 を選択し出現頻度の多い色の画素の補間値を求め、色比率算出部 207からの色比率と乗算する。このように、相関性の高い方向に属する周囲画素から出現頻度の多い色の画素の補間値を求め色比率と乗算する。したがって、エッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いて出現頻度の多い色の画素の補間値を求め、これに基づき出現頻度の少ない色の画素の補正値を求めるため、出現頻度の多い色の画素の情報を最大限利用した最適な補正が可能となる。
【００４５】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る欠陥画素補正装置の第１の実施の形態を示すブロック構成図である。図１において、100 はレンズ系、101 はローパスフィルタ、102 はＣＣＤで、該ＣＣＤ102 を介して撮影された映像は、Ａ／Ｄ変換器103 にてデジタル信号へ変換される。そして、Ａ／Ｄ変換器103 からの映像信号は、画像用バッファ104 を介して欠陥画素補正部105 へ転送され、補正後の信号が再度画像用バッファ104 へ送られるようになっている。画像用バッファ104 からの信号は、信号処理部106 を介してメモリカードやディスクなどの記録部107 へ入力接続されている。
【００４６】
欠陥画素補正部105 は、画像用バッファ104 に接続している入出力制御部200 を介して接続されているラインバッファ201 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 を備えており、補正値算出部204 の出力は入出力制御部200 を介して画像用バッファ104 へ接続されている。また、欠陥位置記録ＲＯＭ205 は入出力制御部200 と周囲欠陥除去部206 へ接続され、周囲欠陥除去部206 はラインバッファ 201へ接続され、更にラインバッファ201 は補正値算出部204 へ接続されている。また、マイクロコンピュータなどからなる制御部108 は、信号処理部106 ，記録部107 ，入出力制御部200 に相互に接続されている。
【００４７】
次に、図１に示した第１の実施の形態の概略動作を信号の流れに基づいて説明する。なお、図１において太線は映像信号、細線は制御信号、点線はその他のデータをそれぞれ示している。また、以下の各ブロック図においても、同様の信号を示している。まず、図示しないシャッターボタンを押すことで撮像モードに入る。レンズ系100 ，ローパスフィルタ101 ，ＣＣＤ102 を介して撮影された映像は、Ａ／Ｄ変換器103 にてデジタル信号へ変換されて画像用バッファ104 へ転送される。本実施の形態では、デジタル化された映像信号の階調幅を、例えば10bit とする。画像用バッファ104 内の映像信号は、制御部108 の制御に基づき、欠陥画素補正部105 へ転送され、欠陥画素の補正が行われ、この補正結果は画像用バッファ104 へ転送される。全欠陥画素の補正が完了すると、制御部108 の制御に基づき、画像用バッファ104 内の映像信号は信号処理部106 へ転送され、エッジ強調処理やγ補正などの公知の信号処理が行われ、記録部107 へ転送され記録される。
【００４８】
次に、本実施の形態における欠陥画素補正について説明する。図２は、本実施の形態で用いられているＣＣＤ102 における欠陥画素の一例を示す図である。なお、この図示例では、色フィルタのない白黒用ＣＣＤを用いている。図２の（Ａ）は、欠陥画素Ｗ0 と隣接する３×３画素サイズの周囲画素Ｗij（ｉ＝１〜３，ｊ＝１〜３）を示す。この図示例では、注目する欠陥画素Ｗ0 に隣接するＷ32も欠陥画素であり、ハッチングを付して示している。欠陥画素補正部105 内の欠陥位置記録ＲＯＭ205 には、事前の検査により入手された欠陥画素の位置情報が記録されている。入出力制御部200 は、制御部108 の制御に基づき、欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を順次読みとり、欠陥画素を中心とする所定サイズの周囲画素、この例では３×３画素をラインバッファ201 へ転送する。また、周囲欠陥除去部206 は欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を読みとり、周囲画素に欠陥画素が存在する場合は、この周囲画素の値を特定の識別値に置き換える。識別値は、Ａ／Ｄ変換器103 が出力する値以外であれば任意であり、本例では例えば−１を用いる。その後、指標値算出部202 は、ラインバッファ201 上の欠陥画素及び周囲画素を読みとり、所定の方向に関する指標値を算出する。
【００４９】
図３は、指標値算出部202 の構成の一例を示すブロック図で、抽出位置記録ＲＯＭ300 ，絶対値差算出部301 ，加算平均部302 ，指標値記録バッファ303 からなる。ラインバッファ201 からの信号は、絶対値差算出部301 ，加算部302 ，指標値記録バッファ303 を介して方向算出部203 へ接続されている。また、抽出位置記録ＲＯＭ300 は絶対値差算出部301 へ接続されている。ラインバッファ201 内の欠陥画素及び周囲画素は、絶対値差算出部301 に取り込まれ、抽出位置記録ＲＯＭ300 に記録される位置情報に基づき特定方向毎に絶対値差に基づく指標値が算出される。
【００５０】
図４は、抽出位置記録ＲＯＭ300 に記録される位置情報の一例を示すもので、水平と垂直方向、及び斜め45度方向の位置情報が記録されている。位置情報は、注目する欠陥画素の座標を原点とした場合の相対座標で記載されている。絶対値差算出部301 は、まず抽出位置記録ＲＯＭ300 から水平方向の位置情報を読み込み、絶対値差を算出する。図２の（Ｂ）は、本例における水平方向の４組の指標値算出画素を示す。上記絶対値差は加算部302 にて加算され、指標値記録バッファ303 上に記録される。水平方向の指標値ｒh は、（１）式で示される。
ｒh ＝ (｜Ｗ11−Ｗ21｜＋｜Ｗ21−Ｗ31｜＋｜Ｗ13−Ｗ23｜
＋｜Ｗ23−Ｗ33｜）／４  ・・・・・・・・・・・・・・・・（１）
【００５１】
次に、絶対値差算出部301 は、抽出位置記録ＲＯＭ300 から垂直方向の位置情報を読み込み、絶対値差を算出する。なお、本例では欠陥画素Ｗ0 に隣接するＷ32も欠陥画素であり、周囲欠陥除去部206 により識別値、−１が代入されている。絶対値差算出部301 は、上記識別値が代入された画素が検出された場合、絶対値差の算出を中止し、別の組へ移行する。図２の（Ｃ）は、本例における垂直方向の２組の指標値算出画素を示す。この後、水平方法と同様に指標値が算出され指標値記録バッファ303 上に記録される。垂直方向の指標値ｒv は、（２）式で示される。
ｒv ＝（｜Ｗ11−Ｗ12｜＋｜Ｗ12−Ｗ13｜）／２  ・・・・・・・・（２）
【００５２】
指標値記録バッファ303 上の方向別の指標値は、方向算出部203 へ転送される。同様に絶対値差算出部301 は、抽出位置記録ＲＯＭ300 から斜め45度方向の位置情報を読み込み、絶対値差を算出する。本例では、欠陥画素Ｗ0 に隣接するＷ32も欠陥画素であるため、絶対値差の算出を中止し、別の組へ移行する。図２の（Ｄ）及び（Ｅ）が、本例における斜め45度方向の２組の指標値算出画素を示す。この後、算出された指標値が記録バッファ303 上に記録される。斜め45度方向の指標値ｒu ，ｒd は、（３），（４）式で示される。
ｒu ＝｜Ｗ21−Ｗ12｜  ・・・・・・・・・・・（３）
ｒd ＝｜Ｗ12−Ｗ23｜  ・・・・・・・・・・・（４）
【００５３】
図５は、方向算出部203 の構成の一例を示すブロック図で、割合算出部400 ，比較部401 ，出力部402 で構成されている。指標値算出部202 からの指標値は、割合算出部400 ，比較部401 ，出力部402 を介して補正値算出部204 へ接続されている。指標値算出部202 からの方向別の指標値は、割合算出部400 にて複数の所定の方向に関する指標値の割合が算出され、比較部401 へ転送される。比較部401 では、所定方向に関する指標値の割合を各方向毎に比較する。この結果は出力部402 へ転送される。出力部402 は、最も相関性の高い方向を出力する。比較の結果、どの方向に関しても相関性があまり高くない場合には、特定の方向に関して相関性がないという情報を補正値算出部204 へ出力する。
【００５４】
図６は、補正値算出部204 の構成の一例を示すブロック図で、選択部500 ，補間算出部501 ，平均算出部502 で構成されている。ラインバッファ201 からの信号は、選択部500 を介して補間算出部501 又は平均算出部502 へ接続されており、補間算出部501 ，平均算出部502 はラインバッファ201 へ接続されている。また、方向算出部203 の方向情報は、選択部500 及び補間算出部501 へ接続されている。選択部500 は、方向算出部203 の方向情報に基づき、特定方向が指定された場合は、その方向の周囲画素を選択し、これを補間算出部501 へ転送する。一方、方向算出部が特定の方向を出力しなかった場合には、全周囲画素を選択し、これを平均算出部502 へ転送する。補間算出部501 は公知の線形補間などを用いて、また平均算出部502 は加算平均、あるいは周囲画素の中央値、最頻値などにより欠陥画素の補正値を算出する。なお、周囲画素に周囲欠陥除去部206 により識別値が代入されていた場合は、この周囲画素は利用されない。
【００５５】
欠陥画素の補正値ｖは、
ｖ＝Ｗ12      水平方向  ・・・・・・・・・・・・・（５）
ｖ＝（Ｗ21＋Ｗ23）／２    垂直方向  ・・・・・・・（６）
ｖ＝（Ｗ31＋Ｗ13）／２    ＋45度方向  ・・・・・・（７）
ｖ＝（Ｗ11＋Ｗ33）／２    −45度方向  ・・・・・・（８）
ｖ＝（Ｗ11＋Ｗ21＋Ｗ31＋Ｗ12＋Ｗ13＋Ｗ23＋Ｗ33）／７
平坦( 平均値)   ・・・・（９）
のいずれかとなる。また(9) 式は(10)式と置き換えられる場合もある。
ｖ＝median〔Ｗ11，Ｗ21，Ｗ31，Ｗ12，Ｗ13，Ｗ23，Ｗ33〕
平坦( 中央値)   ・・・・（10）
【００５６】
補正値は、入出力制御部200 を介して画像用バッファ104 へ転送される。制御部108 は、上記過程を欠陥位置記録ROM205上の全欠陥画素に対して繰り返すよう制御を行う。上記構成により、欠陥画素が連続するような場合でも、指標値に基づく特定方向の周囲画素から補正値を求めることが可能となり、高品位な欠陥画素の補正が可能になる。
【００５７】
また、相関性があまりない場合には、平坦であるとみなして全周囲画素から補正値を求めるため、画像に適用した最適な補正が可能となり、ノイズによる誤動作を低減することもできる。
【００５８】
なお、本実施の形態では白黒ＣＣＤの場合を想定して説明したが、これに限定される必要はない。例えば、図７の（Ａ）に示すように、ＣＣＤ前面にシアン（Ｃ），マゼンタ（Ｍ），イエロー（Ｙ），グリーン（Ｇ）の色フィルタを配置した補色単板ＣＣＤにおいても適用できる。図７の（Ａ）においては、注目する欠陥画素Ｃ0 と、Ｃ51及びＧ42が欠陥画素となっている。この例では、入出力制御部200 は周囲画素として５×５画素サイズを取り込んでいるものとする。図７の（Ｂ），（Ｃ）は、指標値算出部202 における方向別の指標値を算出する際の組の位置情報を示す。各方向の指標値ｒh ，ｒv ，ｒu ，ｒd は、
ｒh ＝（｜Ｃ11−Ｃ31｜＋｜Ｃ15−Ｃ35｜＋｜Ｃ35−Ｃ55｜）／３
水平方向  ・・・・・・・（11）
ｒv ＝（｜Ｃ11−Ｃ13｜＋｜Ｃ13−Ｃ15｜＋｜Ｃ53−Ｃ55｜）／３
垂直方向  ・・・・・・・（12）
ｒu ＝（｜Ｃ31−Ｃ13｜＋｜Ｃ53−Ｃ35｜）／２
＋45度方向  ・・・・・・（13）
ｒd ＝（｜Ｃ31−Ｃ53｜＋｜Ｃ13−Ｃ35｜）／２
−45度方向  ・・・・・・（14）
となる。これらの座標情報は色フィルタの配置に基づき抽出位置記録ＲＯＭ300 に記録しておく。
【００５９】
また、欠陥画素の補正値ｖは、
ｖ＝（Ｃ13＋Ｃ53）／２    水平方向  ・・・・・・・（15）
ｖ＝（Ｃ31＋Ｃ35）／２    垂直方向  ・・・・・・・（16）
ｖ＝Ｃ15                  ＋45度方向  ・・・・・・（17）
ｖ＝（Ｃ11＋Ｃ55）／２    −45度方向  ・・・・・・ (18) 
ｖ＝（Ｃ11＋Ｃ31＋Ｃ13＋Ｃ53＋Ｃ15＋Ｃ35＋Ｃ55）／７
平坦( 平均値) ・・・・・  (19)
のいずれかとなる。また、(19)式は(20)式と置き換えられる場合もある。
ｖ＝median〔Ｃ11，Ｃ31，Ｃ13，Ｃ53，Ｃ15，Ｃ35，Ｃ55〕
平坦( 中央値) ・・・・・  (20)
【００６０】
上記のように、色フィルタが前面に配置された撮像素子に対しても適用可能である。なお、本実施の形態においては、指標値を求めるのに２画素の絶対値差を用いたがこれに限定される必要はない。２画素の比を用いるなどの他の方法も利用できる。また、各指標値を統合するに加算平均を用いたが、これに限定される必要はない。注目する欠陥画素からの距離に応じて重み付けをするなどの他の方法も利用できる。
【００６１】
次に、本発明の第２の実施の形態を図８のブロック構成図に基づいて説明する。本実施の形態は、第１の実施の形態におけるＣＣＤ102 に対して色フィルタ109 を付加し、欠陥画素補正部105 において色比率算出部207 及び第２補正値算出部208 を付加した構成になっている。基本構成は、第１の実施の形態と同等であり、同一の構成要素には同一の符号と名称を付して示している。
【００６２】
以下、第１の実施の形態と異なる部分の構成を主に説明する。ローパスフィルタ101 とＣＣＤ102 間に、色フィルタ109 が配置されている。欠陥画素補正部105 においては、画像用バッファ104 に接続している入出力制御部200 を介してラインバッファ201 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 が接続されており、補正値算出部204 の出力は入出力制御部200 を介して画像用バッファ104 へ接続されている。更にラインバッファ201 から色比率算出部207 ，第2 補正値算出部208 が接続されており、第2 補正値算出部208 の出力は入出力制御部200 を介して画像用バッファ104 へ接続されている。ラインバッファ201 は、補正値算出部204 及び第２補正値算出部208 へも接続している。また、欠陥位置記録ＲＯＭ205 は入出力制御部200 と周囲欠陥除去部206 へ接続しており、周囲欠陥除去部206 はラインバッファ201 へ接続している。
【００６３】
次に、このように構成されている第２の実施の形態の動作について説明する。本実施の形態の動作は、基本的には第１の実施の形態と同等であり、異なる部分を主に説明する。図８において、図示しないシャッターボタンを押すことで撮像モードに入る。レンズ系100,  ローパスフィルタ101,  色フィルタ109 ，ＣＣＤ102 を介して撮影された映像は、Ａ／Ｄ変換器103 にてデジタル信号へ変換されて、画像用バッファ104 へ転送される。画像用バッファ104 内の映像信号は、制御部108 の制御に基づき、欠陥画素補正部105 へ転送され、欠陥画素の補正が行われ、この補正結果は画像用バッファ104 へ転送される。全欠陥画素の補正が完了すると、制御部108 の制御に基づき、画像用バッファ104 内の映像信号は信号処理部106 へ転送され、補間、ホワイトバランス、エッジ色強調処理、γ補正などの公知の信号処置が行われ、記録部107 へ転送され記録される。
【００６４】
図９は、本実施の形態において用いられているＣＣＤ102 における欠陥画素の一例を示す図である。なお本例では、レッド（Ｒ），グリーン（Ｇ），ブルー（Ｂ）からなるＢayer型の原色ＣＣＤを用いている。Ｂayer型のＣＣＤは、Ｇ画素の出現頻度がＲ，Ｂ画素の２倍という不均一な出現頻度を有する。図９の（Ａ）は、欠陥画素Ｒ0 ，Ｇ43，Ｂ42を含むその近傍６×５画素サイズの周囲画素を示す。まず、出現頻度が高い信号が欠陥である場合の補正について説明する。本例では、図９の（Ａ）欠陥画素Ｇ43を補正する場合を考える。欠陥画素補正部105 内の欠陥位置記録ＲＯＭ205 には、事前の検査により入手された欠陥画素の位置情報が、出現頻度の多い色の画素であるＧと少ない色の画素であるＲ，Ｂと区別され記録されている。
【００６５】
入出力制御部200 は、制御部108 の制御に基づき、欠陥位置記録ＲＯＭ205 からＧ画素に関する欠陥画素の位置情報を順次読みとり、欠陥画素を中心とする所定サイズの周囲画素、本例では５×５画素サイズ中のＧ画素のみをラインバッファ201 へ転送する。また、周囲欠陥除去部206 は欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を読みとり、Ｇ画素の周囲画素に欠陥画素が存在する場合は、この周囲画素の値を特定の識別値に置き換える。図９の（Ｂ），（Ｃ）は水平、垂直、＋45度、−45度の４方向で指標値を算出する際の組の画素位置情報を示す。その後、補正値算出部204 にて方向算出部203 の出力する方向の画素を用いて、あるいは方向算出部が特定の方向を出力しなかった場合には、欠陥画素に隣接する全ての画素（本例では、Ｇ32，Ｇ52，Ｇ34，Ｇ54）を用いて欠陥画素の補正値が算出され、入出力制御部200 を介して画像用バッファ104 へ転送される。制御部108 は、上記過程を欠陥位置記録ＲＯＭ205 上のＧ画素の全欠陥画素に対して繰り返すように制御を行う。
【００６６】
次に、出現頻度の少ない色の画素であるＲ，Ｂ画素の欠陥画素の補正について説明する。以下ではＲ画素に関して説明するが、Ｂ画素に関しても同様に適用できる。図９の（Ａ）のＲ0 を補正する場合を例にとる。入出力制御部200 は、制御部108 の制御に基づき、欠陥位置記録ＲＯＭ205 からＲ，及びＧ画素に関する欠陥画素の位置情報を順次読みとり、欠陥画素を中心とする所定サイズの周囲画素、本例では５×５画素中のＲ画素及びＧ画素をラインバッファ201 へ転送する。また、周囲欠陥除去部206 は、欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を読みとり、周囲画素に欠陥画素が存在する場合は、この周囲画素の値を特定の識別値に置き換える。取り込まれたラインバッファ201 上の５×５画素サイズの画素で、色比率算出部207 において、出現頻度の低いＲ画素の加算値と出現頻度の多いＧ画素の加算値から、ＲとＧの色比率を算出する。第２補正値算出部208 では、補正する欠陥に隣接する出現頻度の高い信号から、欠陥画素のある位置における出現頻度の高い信号の補間値を求め、色比率算出部207 が出力する色比率と乗算することで、欠陥画素の補正値を求める。但し、使用する画素に欠陥画素が含まれる場合には、その画素は使用しない。
【００６７】
図10は、色比率算出部207 の構成の一例を示すブロック図で、第１平均算出部600 ，第２平均算出部601 ，比算出部602 で構成されている。ラインバッファ201 からの信号は、第１平均算出部600 ，第２平均算出部601 を介し比算出部602 へ接続しており、比算出部602 は第2 補正値算出部208 へ接続している。ラインバッファ201 内の周囲画素中のＧ画素は第１平均算出部600 へ取り込まれ、欠陥と隣接しないＧ画素から平均値が算出される。同様に、ラインバッファ201 内の周囲画素中のＲ画素は第２平均算出部601 へ取り込まれ、欠陥と隣接しないＲ画素から平均値が算出される。第１平均算出部600 及び第２平均算出部601 からの平均値は、比算出部602 にて除算されて色比率が算出され、第２補正値算出部208 へ転送される。図９の（Ｄ）は、上記色比率を求める際に使用されるＲ，Ｇ画素を示す。本例では色比率ｒC は、
ｒC ＝｛（Ｒ11＋Ｒ31＋Ｒ51＋Ｒ13＋Ｒ53＋Ｒ15＋Ｒ35＋Ｒ55）／８｝
／｛（Ｇ21＋Ｇ41＋Ｇ12＋Ｇ52＋Ｇ14＋Ｇ54＋Ｇ25＋Ｇ45）／８｝
・・・・・・・・・(21)
となる。但し、(21)式で使用する画素に欠陥画素が含まれる場合には、その画素は使用しない。
【００６８】
図11は、第２補正値算出部208 の構成の一例を示すブロック図で、選択部700 ，補間算出部701 ，平均算出部702 ，乗算部703 で構成されている。ラインバッファ201 からの信号は、選択部700 を介して補間算出部701 ，平均算出部702 へ接続されており、補間算出部701 ，平均算出部702 は乗算部703 へ接続している。乗算部703 はラインバッファ201 へ接続されている。また、色比率算出部207 の信号は、乗算部703 へ接続している。ラインバッファ201 内の周囲画素中のＧ画素は、選択部700 を介して補間算出部701 又は平均算出部702 へ取り込まれる。選択部700 では、欠陥を挟む２画素の画素差を比較し、水平方向又は垂直方向に相関性が認められた場合には、その方向に属する欠陥画素に隣接するＧ画素を補間算出部701 へ、特定の方向に相関性がない場合は、欠陥画素に隣接する全Ｇ画素を平均算出部702 へ転送する。補間算出部701 では公知の線形補間などで補間値が算出され、平均算出部702 では平均値が算出され、乗算部703 へ転送される。図９の（Ｅ）は、出現頻度の高いＧ画素の欠陥位置における補間値を求める際に使用する画素を示している。本例ではＧ43が欠陥画素であるため、垂直方向に相関がある場合にはＧ32，Ｇ34を使用し、水平方向に相関がある場合にはＧ23を使用し、特定方向に相関がない場合はＧ32，Ｇ34，Ｇ23を使用する。
【００６９】
乗算部703 では、補間算出部701 又は平均算出部702 からの信号と、色比率算出部207 からの色比率を乗算する事で、欠陥画素の補正値を求める。本例の場合、補正値ｖは
ｖ＝ｒC ×Ｇ23                        水平方向  ・・・（22）
ｖ＝ｒC ×（Ｇ32＋Ｇ34）／２          垂直方向  ・・・ (23) 
ｖ＝ｒC ×（Ｇ32＋Ｇ23＋Ｇ34）／３    平均  ・・・・・ (24) 
のいずれかとなる。なお、(24)式では隣接する画素の平均値を使用したが、隣接する画素の中央値、最頻値などが使用される場合もある。制御部108 は、上記過程を欠陥位置記録ＲＯＭ205 上のＲ，Ｂ画素の全欠陥画素に対して繰り返すように制御を行う。
【００７０】
上記構成により、出現頻度が不均一な色フィルタが前面に配置された撮像素子に対し、出現頻度の高い色の画素は、その画素のみを用いてエッジ強度の指標値に基づく特定方向の周囲画素から補正値を求めることが可能となり、出現頻度の少ない色の画素の影響を受けず高品位な欠陥画素の補正が可能になる。出現頻度の少ない色の画素は、出現頻度の高い色の画素との色比率に基づき、その情報を利用することで、より精度の高い補正値を求めることが可能となる。
【００７１】
なお、上記各実施の形態ではハードウェアにより処理を行うようにしたものを示したが、これに限定される必要はない。例えば、撮像素子からの信号をそのままの形態で出力する rawフォーマットで画像を出力し、計算機上でソフトウェア的に処理を行う形態にも、本発明を適用することが可能である。
【００７２】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１及び４に係る発明によれば、欠陥画素の周囲画素から相関性の高い方向を求め、その方向に属する周囲画素を用いて補正値を算出する際に、所定方向に関して複数の指標値を求め統合してその方向の指標値としているので、方向検出が高性能となり、エッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となる。また請求項２及び５に係る発明によれば、色フィルタを前面に配置した固体撮像素子の欠陥画素の補正に関しても、欠陥画素と同色の周囲画素から相関性の高い方向を求めるようにしているので、同様にエッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となる。また請求項３及び６に係る発明によれば、出現頻度が不均一な色フィルタを前面に配置した固体撮像素子の欠陥画素の補正に関しても、出現頻度の多い画素の場合は、その色の画素のみを用いて補正値を算出するようにしているので出現頻度の少ない色の影響を受けずに高周波成分を維持した高精度の補正が可能となり、また出現頻度の少ない色の画素の場合は、多い色の画素との色比率に基づいて補正値を算出するようにしているので、出現頻度の多い色の画素の情報を利用してより高精度の欠陥補正が可能となる。また請求項７及び８に係る発明によれば、欠陥画素が連続する場合でも、その影響を除去した指標値の算出が可能となり、精度の高い指標値を算出することが可能となる。また請求項９に係る発明によれば、一つの方向の指標値を複数の指標値の加算にて算出するため、ノイズなどの影響を受けにくく、高精度な指標値を安定して得ることが可能となる。
【００７３】
また請求項10に係る発明によれば、欠陥画素の周囲画素に存在する欠陥画素を除去して補正値を求めるようにしているので、欠陥画素が連続する場合でも、その影響を除去し精度の高い欠陥補正が可能となる。また請求項11に係る発明によれば、一つの方向の指標値を複数の指標値の加算で算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い欠陥補正が可能となる。また請求項12に係る発明によれば、各方向の指標値の比の値を比較するようにしているので、画像の階調幅などに依存せず、閾値設定などの調整が不要で、且つノイズなどに影響されにくく、相関性の高い方向を高精度で検出することが可能となる。また請求項13及び14に係る発明によれば、エッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いるようにしているので、入力画像に対して最適な欠陥補正が可能となる。また、請求項15に係る発明によれば、エッジ領域などの複雑な画像においても精度の高い色比率の算出が行われ、高精度の欠陥補正が可能となる。また請求項16に係る発明によれば、エッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いて出現頻度の多い色の画素の補間値を求め、これに基づき出現頻度の少ない色の画素の補正値を求めるようにしているので、出現頻度の多い色の画素の情報を最大限利用した最適な補正が可能となる。
【図面の簡単な説明】
【図１】
本発明に係る欠陥画素補正装置の第１の実施の形態を示すブロック構成図である。
【図２】
図１に示した第１の実施の形態における白黒ＣＣＤの欠陥画素の配置例及び各方向の指標値算出画素を示す図である。
【図３】
図１に示した第１の実施の形態における指標値算出部の構成例を示すブロック図である。
【図４】
図３に示した指標値算出部における抽出位置記録ＲＯＭに記録される位置情報の一例を示す図である。
【図５】
図１に示した第１の実施の形態における方向算出部の構成例を示すブロック図である。    【図６】
図１に示した第１の実施の形態における補正値算出部の構成例を示すブロック図である。
【図７】
補色ＣＣＤにおける欠陥画素の配置例及び各方向の指標値算出画素を示す図である。
【図８】
本発明の第２の実施の形態を示すブロック構成図である。
【図９】
原色ＣＣＤにおける欠陥画素の配置例及び指標値算出画素並びに欠陥位置のＧの補間値を示す図である。
【図10】
図８に示した第２の実施の形態における色比率算出部の構成例を示すブロック図である。
【図11】
図８に示した第２の実施の形態における第２補正値算出部の構成例を示すブロック図である。
【図12】
従来手法によるパターン認識で対応できないパターン例を示す図である。
【符号の説明】
100   レンズ系
101   ローパスフィルタ
102   ＣＣＤ
103   Ａ／Ｄ変換器
104   画像用バッファ
105   欠陥画素補正部
106   信号処理部
107   記録部
108   制御部
109   色フィルタ
200   入出力制御部
201   ラインバッファ
202   指標値算出部
203   方向算出部
204   補正値算出部
205   欠陥位置記録ＲＯＭ
206   周囲欠陥除去部
207   色比率算出部
208   第２補正値算出部
300   抽出位置記録ＲＯＭ
301   絶対値差算出部
302   加算平均部
303   指標値記録バッファ
400   割合算出部
401   比較部
402   出力部
500   選択部
501   補間算出部
502   平均算出部
600   第１平均算出部
601   第２平均算出部
602   比算出部
700   選択部
701   補間算出部
702   平均算出部
703   乗算部