(57)【要約】【課題】画質劣化を招くことなく、欠陥画素の補正を効果的に行なえるようにする。【解決手段】欠陥画素を含む二次元の画像信号において、欠陥画素の検出と補正の対象画素のエッジ方向を検出し、前記エッジ方向に沿った欠陥画素の検出と補正を行なう。【選択図】      図１
2005286824.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像信号を取得する複数の画素を備えた撮像素子の欠陥画素情報を検出する第１の欠陥画素検出手段と、
前記撮像素子から得られる画像信号と、前記第１の欠陥画素検出手段の検出結果とに基づいて、被写体のエッジ方向を検出するエッジ方向検出手段と、
前記撮像素子から得られる画像信号と、前記エッジ方向検出手段により検出されたエッジ方向とを用いて、前記撮像素子の欠陥画素を検出する第２の欠陥画素検出手段と、
前記第２の欠陥画素検出手段の検出結果に基づいて、欠陥画素の出力信号の補正を行なう補正手段と、
を具備することを特徴とする欠陥画素補正装置。
【請求項２】
前記補正手段は、前記エッジ方向検出手段により検出されたエッジ方向に基づいて、前記欠陥画素の出力信号の補正を行なうことを特徴とする請求項１に記載の欠陥画素補正装置。
【請求項３】
前記エッジ方向検出手段は、エッジ方向を検出するための対象画素の出力信号と該対象画素の周囲の所定範囲に存在する周辺画素の出力信号とを用いて、前記エッジ方向を検出すると共に、前記第１の欠陥画素検出手段の検出結果に応じて、前記エッジ方向検出手段を変更することを特徴とする請求項１および請求項２に記載の欠陥画素補正装置。
【請求項４】
前記エッジ方向検出手段は、前記第１の欠陥画素検出手段によって、前記対象画素が欠陥画素であると判断した場合には、前記対象画素の出力信号を前記周辺画素の出力信号を用いて補正した後に、エッジ方向を検出することを特徴とする請求項３に記載の欠陥画素補正装置。
【請求項５】
前記撮像素子の複数の画素は、２次元状に配列されており、前記第１の欠陥画素検出手段は、前記撮像素子から得られる画像信号の一次元方向について、欠陥画素を検出することを特徴とする請求項１乃至４のいずれか１項に記載の欠陥画素補正装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の欠陥画素補正装置を用いた撮像装置であって、
前記撮像素子に被写体像を結像する撮影レンズと、記憶部に前記補正手段から出力された信号を記録するように制御する記憶制御手段とを更に有することを特徴とする撮像装置。
【請求項７】
被写体像を撮像して画像信号を取得する複数の画素を備えた撮像素子の欠陥画素情報を検出する第１の欠陥画素検出工程と、
前記撮像素子から得られる画像信号と、前記第１の欠陥画素検出工程の検出結果とに基づいて、被写体のエッジ方向を検出するエッジ方向検出工程と、
前記撮像素子から得られる画像信号と、前記エッジ方向検出工程により検出されたエッジ方向とを用いて、前記撮像素子の欠陥画素を検出する第２の欠陥画素検出工程と、
前記第２の欠陥画素検出工程の検出結果に基づいて、欠陥画素の出力信号の補正を行なう補正工程と、
を具備することを特徴とする欠陥画素補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の画素欠陥の補正技術に関するものである。
【背景技術】
【０００２】
ＣＣＤ等の撮像素子においては、二次元に配列された画素の内、その製造過程もしくは製造後において半導体の局部的な感度不良が生ずることが知られている。これらの現象が起きると、入射した光量に応じた電荷出力が得られなくなるため、撮像画像上に被写体とは無関係に白点や黒点が見て取れる、いわゆる欠陥画素となって現れる。
【０００３】
こうした欠陥画素の撮像出力に起因する画質劣化を信号処理によって補正するために、従来は、半導体工場で、撮像素子に含まれる欠陥画素についての欠陥信号を検出して、不揮発性メモリに予め記憶させて、撮影時に不揮発性メモリの欠陥画素信号を基に、欠陥画素補正を行なっていた。あるいは、撮像素子を用いた撮像装置側において、撮像装置のシャッターを遮光状態としたとき、所定の出力レベルを超える画素（白点欠陥画素）、並びに、撮像装置への入射光量を所定のレベルとしたとき、所定の出力レベルに達しない画素（黒点欠陥画素）の位置信号を不揮発性メモリに記憶しておいて、通常撮像時に、この不揮発性メモリに記憶されている位置信号に基づいて欠陥画素を特定し、その欠陥画素の撮像出力に代えて、例えば、１画素前の撮像出力を用いることにより、欠陥画素補正を行っていた。
【０００４】
ところで、近年の撮像素子に求められる画素数が、以前の数十万画素程度から数百万画素に増大したこともあり、撮像素子の製造技術の進歩にも関わらず、撮像素子に現れる欠陥画素の発生確率は増大する傾向にある。特に低コストが求められる民生機器に使用される撮像素子では、その製造歩留まりを上げるためには、欠陥画素数を従来に比して桁違いに多く許容せざるを得なくなってきている。
【０００５】
したがって、従来のように、欠陥画素の位置信号を高価な不揮発性メモリに記憶することが困難になってきている。
【０００６】
こうした状況に対して、例えば特開平０６−０３０４２５号公報（特許文献１）では、通常の撮像時において、ある１画素とそれに隣接する同色画素との各画素信号間のレベル差を検出し、所定の閾値判定をすることで欠陥画素補正を行い、欠陥画素の位置情報をあらかじめ記憶しておくための不揮発性メモリを省くようにしている。同様に、例えば特開２００２−０２７３２３号公報（特許文献２）では、撮像素子の所定領域に含まれる欠陥画素については不揮発性メモリに記憶し、所定領域外に含まれる欠陥画素については、不揮発性メモリに記憶した欠陥画素の補正を行った後に、通常撮像時に欠陥画素の検出と補正を同時に行なうことにより、限られた不揮発性メモリであっても、多数の欠陥画素に対応するようにしている。
【０００７】
また、欠陥画素数を多く許容すればするほど、欠陥画素補正を多く行なわなければならないため、当然のことながら撮像装置出力画像に補正による画質劣化が増大してしまうという問題がある。
【０００８】
こうした問題に対して、例えば特開平０７−３３６６０２号公報（特許文献３）では、欠陥画素周辺の画素間の境界の大きさを互いに比較し、境界の大きさを順位付けすることにより、欠陥画素近傍に複雑な境界が存在している場合であっても、識別された境界のパターンごとに最適な補間方法を適用して補正による画質劣化を防止している。
【特許文献１】特開平０６−０３０４２５号公報
【特許文献２】特開２００２−０２７３２３号公報
【特許文献３】特開平０７−３３６６０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特開平０６−０３０４２５号公報においては、通常撮像時に、ある一画素と隣接する同色画素との各画素信号間のレベル差を検出し、所定の閾値判定をすることで欠陥画素補正を行なうのであるから、当然ながら被写体エッジ等の高周波成分をも誤検出して補正してしまう。このことは、正常画素の出力画像の画質を阻害してしまうことになり、この問題について十分検討されているとはいえなかった。特開２００２−０２７３２３号公報においても、所定領域以外では、通常撮像時の状態で欠陥画素を判定して補正しているが、被写体エッジ等の高周波成分の誤検出に関する対応は、全く考慮されていなかった。
【００１０】
また、特開平０７−３３６６０２号公報では、欠陥画素周辺の境界のパターンを識別する際に、欠陥画素位置はすでに特定されていることが前提にあり、今後増えつづける欠陥画素全ての位置情報を不揮発性メモリにあらかじめ記憶しなければならないという問題が残る。さらに、仮に不揮発性メモリを用いずに欠陥画素を判定し、欠陥画素周辺の境界パターンを識別したとしても、境界パターンを識別するための周辺画素に欠陥画素が含まれた場合には、境界パターンの識別自体が正しく行なわれないため、この技術で目指す効果が全く得られなくなるという問題があった。
【００１１】
したがって、本発明は上述した課題に鑑みてなされたものであり、その目的は、画質劣化を招くことなく、欠陥画素の補正を効果的に行なえるようにすることである。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明に係わる欠陥画素補正装置は、被写体像を撮像して画像信号を取得する複数の画素を備えた撮像素子の欠陥画素情報を検出する第１の欠陥画素検出手段と、前記撮像素子から得られる画像信号と、前記第１の欠陥画素検出手段の検出結果とに基づいて、被写体のエッジ方向を検出するエッジ方向検出手段と、前記撮像素子から得られる画像信号と、前記エッジ方向検出手段により検出されたエッジ方向とを用いて、前記撮像素子の欠陥画素を検出する第２の欠陥画素検出手段と、前記第２の欠陥画素検出手段の検出結果に基づいて、欠陥画素の出力信号の補正を行なう補正手段と、を具備することを特徴とする。
【００１３】
また、本発明に係わる欠陥画素補正方法は、被写体像を撮像して画像信号を取得する複数の画素を備えた撮像素子の欠陥画素情報を検出する第１の欠陥画素検出工程と、前記撮像素子から得られる画像信号と、前記第１の欠陥画素検出工程の検出結果とに基づいて、被写体のエッジ方向を検出するエッジ方向検出工程と、前記撮像素子から得られる画像信号と、前記エッジ方向検出工程により検出されたエッジ方向とを用いて、前記撮像素子の欠陥画素を検出する第２の欠陥画素検出工程と、前記第２の欠陥画素検出工程の検出結果に基づいて、欠陥画素の出力信号の補正を行なう補正工程と、を具備することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画質劣化を招くことなく、欠陥画素の補正を効果的に行なうことが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好適な実施形態について説明する。
【００１６】
（第１の実施形態）
図１は、本発明を白黒撮像装置、または、ＲＧＢ３板など各色成分毎に撮像素子を構成したカラー撮像装置の１色に関して、特に白点欠陥画素の補正を行なう欠陥画素補正装置へ適用した第１の実施形態を示す図である。
【００１７】
図１において、１−１は図示しない撮像素子からの画像信号入力端子、１−２１は第１のラインメモリ、１−２２は第２のラインメモリ、１−２３は第３のラインメモリ、１−２４は第４のラインメモリ、１−３１は第１の欠陥画素仮検出部、１−３２は第２の欠陥画素仮検出部、１−３３は第３の欠陥画素仮検出部、１−３４は第４の欠陥画素仮検出部、１−３５は第５の欠陥画素仮検出部、１−４は欠陥画素仮検出用の第１の閾値入力端子、１−５は画像のエッジ方向に直交する輝度勾配方向検出部、１−６は二次元欠陥画素検出・補正部、１−７は二次元欠陥画素検出用の第２の閾値入力端子、１−８は切り替えスイッチ、１−９は補正済み画像出力端子である。
【００１８】
図２は、図１の各欠陥画素仮検出部１−３１〜１−３５の詳細図である。
【００１９】
図２において、２−１は図１の画像信号入力端子１−１もしくは各ラインメモリ出力１−２１〜１−２４につながる画像入力端子、２−２は第１のフリップフロップ回路、２−３は第２のフリップフロップ回路、２−４は加算回路、２−５は減算回路、２−６はリミッタ回路、２−７は図１の第１の閾値入力端子１−４につながる閾値入力端子、２−８は比較回路、２−９は欠陥画素仮検出結果出力端子、２−１０はリミッタ２−６の代わりに使用することが可能な絶対値算出回路である。
【００２０】
図３は図１の輝度勾配方向検出部１−５の詳細図である。
【００２１】
図３において、３−１は図１の画像信号入力端子１−１につながる第１の画像信号入力端子、３−２は図１の第１のラインメモリ出力１−２１につながる第２の画像信号入力端子、３−３は図１の第２のラインメモリ出力１−２２につながる第３の画像信号入力端子、３−４は図１の第３のラインメモリ出力１−２３につながる第４の画像信号入力端子、３−５は図１の第４のラインメモリ出力１−２４につながる第５の画像信号入力端子、３−６は図１の第１の欠陥画素仮検出部１−３１の出力につながる第１の仮検出フラグ入力端子、３−７は図１の第２の欠陥画素仮検出部１−３２の出力につながる第２の仮検出フラグ入力端子、３−８は図１の第３の欠陥画素仮検出部１−３３の出力につながる第３の仮検出フラグ入力端子、３−９は図１の第４の欠陥画素仮検出部１−３４の出力につながる第４の仮検出フラグ入力端子、３−１０は図１の第５の欠陥画素仮検出部１−３５の出力につながる第５の仮検出フラグ入力端子である。
【００２２】
３−１１−１〜３−１１−５は、各画像信号入力端子３−１〜３−５と、各仮検出フラグ入力端子３−６〜３−１０の位相を合わせるフリップフロップ回路、３−１２−１〜３−１２−１２は、輝度勾配方向検出の対象画素を中心として、水平方向に左右２画素ずつ、垂直方向に上下２画素ずつ、計８画素分の周辺画素値を保持するためのフリップフロップ回路、３−１３−１〜３−１３−１２は、輝度勾配方向検出の対象画素を中心として、水平方向に左右２画素ずつ、垂直方向に上下２画素ずつ、計８画素分の仮検出フラグを保持するためのフリップフロップ回路、３−１４−１〜３−１４−４は、輝度勾配方向検出の対象画素を中心として垂直方向に上下２画素の各画素に対して、上下２画素の仮検出フラグ値に応じた論理式を加えるためのＡＮＤ素子、３−１５−１〜３−１５−４は、輝度勾配方向検出の対象画素を中心として水平方向に左右２画素の各画素に対して、左右２画素の仮検出フラグ値に応じた論理式を加えるためのＡＮＤ素子、３−１６−１〜３−１６−３は、輝度勾配方向検出の対象画素を中心として、垂直方向の微分値を算出するための演算回路、３−１７−１〜３−１７−３は、輝度勾配方向検出の対象画素を中心として、水平方向の微分値を算出するための演算回路、３−１８は垂直方向の微分値のゲインを切り替えるための第１の切り替え部、３−１９は水平方向の微分値のゲインを切り替えるための第２の切り替え部、３−２０は各切り替え部３−１８および３−１９によりゲイン調整された、輝度勾配方向検出の対象画素を中心とした垂直微分値と水平微分値の比を演算する割り算回路、３−２１は割り算回路出力３−２０の逆正接関数を算出するテーブル、３−２２は輝度勾配方向信号出力である。
【００２３】
図４は図１の二次元欠陥画素検出・補正部１−６の詳細図である。
【００２４】
図４において、４−１は図１の第１のラインメモリ１−２１の出力につながる第１の画像信号入力端子、４−２は図１の第２のラインメモリ１−２２の出力につながる第２の画像信号入力端子、４−３は図１の第３のラインメモリ１−２３の出力につながる第３の画像信号入力端子、４−４−１〜４−４−６は、欠陥画素の検出と補正の対象となる中心画素と、その垂直、水平、斜め方向に隣接する周辺８画素分の画像信号を保持するフリップフロップ回路である。
【００２５】
４−６−１は欠陥画素の検出と補正の対象となる中心画素の垂直方向に隣接した上下２画素の平均値を算出する第１の加算回路、４−６−２は前記中心画素と前記垂直方向に隣接した上下２画素の平均値との差分値を算出する第１の減算回路、４−６−３は前記差分値が負の場合は０とする第１のリミッタ回路、４−６−４は前記第１のリミッタ回路により処理された前記差分値と閾値入力４−５の閾値とを比較し、前記差分値が前記閾値より大きい場合にHigh論理を出力する第１の比較回路、４−６−５は前記比較回路出力に応じて、前記中心画素値もしくは前記垂直方向に隣接した上下２画素の平均値を切り替える第１のスイッチ、４−６−６は前記第１のスイッチの出力である垂直方向の欠陥画素補正済み画像を出力する第１の出力端子である。
【００２６】
４−７−１は欠陥画素の検出と補正の対象となる中心画素の水平方向に隣接した左右２画素の平均値を算出する第２の加算回路、４−７−２は前記中心画素と前記水平方向に隣接した左右２画素の平均値との差分値を算出する第２の減算回路、４−７−３は前記差分値が負の場合は０とする第２のリミッタ回路、４−７−４は前記第２のリミッタ回路により処理された前記差分値と閾値入力４−５の閾値とを比較し、前記差分値が前記閾値より大きい場合にHigh論理を出力する第２の比較回路、４−７−５は前記比較回路出力に応じて、前記中心画素値もしくは前記水平方向に隣接した左右２画素の平均値を切り替える第２のスイッチ、４−７−６は前記第２のスイッチの出力である水平方向の欠陥画素補正済み画像を出力する第２の出力端子である。
【００２７】
４−８−１は欠陥画素の検出と補正の対象となる中心画素の斜め４５度方向に隣接した斜め２画素の平均値を算出する第３の加算回路、４−８−２は前記中心画素と前記斜め４５度方向に隣接した斜め２画素の平均値との差分値を算出する第２の減算回路、４−８−３は前記差分値が負の場合は０とする第３のリミッタ回路、４−８−４は前記第３のリミッタ回路により処理された前記差分値と閾値入力４−５の閾値とを比較し、前記差分値が前記閾値より大きい場合にHigh論理を出力する第３の比較回路、４−８−５は前記比較回路出力に応じて、前記中心画素値もしくは前記斜め４５度方向に隣接した斜め２画素の平均値を切り替える第３のスイッチ、４−８−６は前記第３のスイッチの出力である斜め４５度方向の欠陥画素補正済み画像を出力する第３の出力端子である。
【００２８】
４−９−１は欠陥画素の検出と補正の対象となる中心画素の斜め１３５度方向に隣接した斜め２画素の平均値を算出する第４の加算回路、４−９−２は前記中心画素と前記斜め１３５度方向に隣接した斜め２画素の平均値との差分値を算出する第４の減算回路、４−９−３は前記差分値が負の場合は０とする第４のリミッタ回路、４−９−４は前記第４のリミッタ回路により処理された前記差分値と閾値入力４−５の閾値とを比較し、前記差分値が前記閾値より大きい場合にHigh論理を出力する第４の比較回路、４−９−５は前記比較回路出力に応じて、前記中心画素値もしくは前記斜め１３５度方向に隣接した斜め２画素の平均値を切り替える第４のスイッチ、４−９−６は前記第４のスイッチの出力である斜め１３５度方向の欠陥画素補正済み画像を出力する第４の出力端子である。
【００２９】
図５は、図１の輝度勾配方向検出部１−５で実施している処理の理論説明図である。
【００３０】
図１〜図５に従い、第１の実施形態の動作について説明する。図１の画像信号入力端子１−１から入力された、欠陥画素を含む撮像素子の出力画像信号は、各ラインメモリ１−２１〜１−２４により、それぞれ１水平期間ずつ遅延され、画像信号入力端子１−１の信号を含め、合計５水平期間分の画像信号が生成される。前記５水平期間分の画像信号は、輝度勾配方向検出部１−５と、各欠陥画素仮検出部１−３１〜１−３５に入力される。
【００３１】
輝度勾配方向検出部１−５では、前記５水平期間分の画像信号の他、前記各欠陥画素仮検出部１−３１〜１−３５において、欠陥画素仮検出用の第１の閾値入力端子１−４で設定される第１の閾値を用いて生成された、５水平期間分の仮検出フラグも入力され、これらに基づき、画素毎に輝度勾配方向信号が算出される。一方、各ラインメモリ１−２１〜１−２３の出力である、合計３水平期間分の画像信号（前記５水平期間分の画像信号の中心部分の３水平期間に当たる）は、二次元欠陥画素検出・補正部１−６に入力される。
【００３２】
二次元欠陥画素検出・補正部１−６では、前記３水平期間分の画像信号それぞれについて、３画素分の画素値を生成し、中心画素と、中心画素に隣接する上下左右斜めの合計８個の周辺画素を保持すると共に、二次元欠陥画素検出用の第２の閾値入力端子１−７から設定された第２の閾値を用いて、中心画素に対し、水平方向での欠陥画素検出による補正出力の生成、垂直方向での欠陥画素検出による補正出力の生成、斜め４５度方向での欠陥画素検出による補正出力の生成、斜め１３５度方向での欠陥画素検出による補正出力の生成、すなわち、計４方向での補正出力の生成を行なう。前記４方向での補正出力は、スイッチ１−８に送られ、前記輝度勾配方向信号に基づき、いずれかひとつの補正出力が選択され、補正済み画像出力端子１−９から出力される。
【００３３】
前記各欠陥画素仮検出部１−３１〜１−３５は、各々まったく同じ構成になっており、各々の詳細な動作については図２により説明する。
【００３４】
画像入力端子２−１からの画像信号は、第１のフリップフロップ回路２−２と第２のフリップフロップ回路２−３により遅延され、合計３画素分の画素が保持される。第１のフリップフロップ回路２−２の値が中心画素であり、画像入力信号２−１と第２のフリップフロップ回路２−３の保持信号の加算平均、すなわち、中心画素の左右隣接画素の平均を、加算回路２−４にて算出し、減算回路２−５にて、前記中心画素と前記左右隣接画素平均との差分値を算出する。
【００３５】
本実施形態では白点欠陥画素の検出と補正を目的としているので、前記差分値が負の場合には補正しないため、前記差分値に対して、リミッタ回路２−６においてリミット処理を行なう。なお、本実施形態ではリミット処理としたが、絶対値算出回路２−１０を、リミッタ回路２−６に代えて用いることも可能であり、この場合には白点欠陥画素だけではなく、黒点欠陥画素の検出が可能となる。リミット処理後の差分値と、閾値入力２−７を比較し、前記リミット処理後の差分値が前記閾値より大きい場合には、欠陥画素仮検出結果出力２−９にHigh論理を、前記リミット処理後の差分値が前記閾値以下の場合にはLow論理を出力する。
【００３６】
輝度勾配方向検出部１−５の詳細な動作と、その処理内容について、図３および図５により説明する。
【００３７】
図５は画像の輝度の変化が最も急激に生じている方向を、二次元平面内で求める手法を説明する図である。図５に示す如く、二次元の画像に対して基準となる軸（基準軸ｘ）を定義しておき、前記二次元画像の任意の画素における輝度の変化が最も激しい方向が、前記基準軸ｘとなす角度θは、二方向の空間微分と三角関数を用いて、数学的に以下のように表すことができる。
【００３８】
θ＝ arctan( diffY / diffX )      …式(１)
diffY ＝ dI(x, y)/dy              …式(２)
diffX ＝ dI(x, y)/dx              …式(３)
ここで、arctanは、正接関数tanの逆関数であり、diffXとは、前記基準軸ｘに沿って得られる画像の空間微分値、diffYとは、前記基準軸ｘに直交する第２の基準軸ｙに沿って得られる画像の空間微分値である。各々の空間微分値は、以下の式で表されるような、ＦＩＲ型ディジタルフィルタにより求めることができる。
【００３９】
diff＝ａ(−ｄ0−ｄ1＋ｄ3＋ｄ4)          …式(４)
ここで、ａはゲインであって、サンプリング周波数に依存して決まる。ただし、本実施形態では直交する２軸の微分値の比をとるため、ａは求めていない。ｄ0、ｄ1、ｄ3、ｄ4は、式(４)には表記していないｄ2を中心画素としたときの、左右、もしくは上下に隣接する計４画素である。また、式(４)よりも計算精度は落ちるが、以下の式であっても、空間微分値を求めることができる。タップ数の違いにより、ゲインを２倍とする必要がある。
【００４０】
diff＝２ａ(−ｄ1＋ｄ3)      …式(５)
diff＝２ａ(−ｄ0＋ｄ4)      …式(６)
このようにして得られる角度θは、基準軸ｘを０度として、９０度から−９０度の範囲で連続した値として算出することが出来る。従って、撮像画像に対して、例えば、水平方向と垂直方向それぞれの偏微分値を算出することにより、水平方向に対する輝度勾配方向θを求めることができる。画像のエッジ方向は、前記輝度勾配方向に直交するはず（輝度変化の最も緩やかな方向）であるから、前記角度θから一律に求めることができる。
【００４１】
図３は、図５により説明した上記輝度勾配方向の算出部の構成例である。
【００４２】
画像信号入力端子１−１及び各ラインメモリ１−２１〜１−２４から入力された５水平期間分の、欠陥画素を含む撮像素子の画像信号は、各入力端子３−１〜３−５から入力され、前記５水平期間分の仮検出フラグは、各入力端子３−６〜３−１０から入力される。
【００４３】
図２の各欠陥画素仮検出部において前記仮検出フラグを生成する際に、１画素分の遅延が生じるため、各画像入力３−１〜３−５について、各フリップフロップ回路３−１１−１〜３−１１−５により１画素分遅延させ、前記仮検出フラグと前記５水平期間分の画像信号の位相を合わせている。その後、前記５水平期間分の画像信号は、各フリップフロップ回路３−１２−１〜３−１２−１２により、中心画素（３−１２−６のフリップフロップ出力）に対し、水平方向に左右２画素ずつ（３−１１−３、３−１２−５、３−１２−７、３−１２−８の各フリップフロップ出力）、垂直方向に上下２画素ずつ（３−１２−２、３−１２−４、３−１２−１０、３−１２−１２の各フリップフロップ出力）、計８画素分の周辺画素値が保持される。同時に、上記８画素分の周辺画素に対応した仮検出フラグも、中心画素（３−１３−６のフリップフロップ出力）に対し、水平方向に左右２画素ずつ（３−８の仮検出フラグ入力、３−１３−５、３−１３−７、３−１３−８の各フリップフロップ出力）、垂直方向に上下２画素ずつ（３−１３−２、３−１３−４、３−１３−１０、３−１３−１２の各フリップフロップ出力）保持される。各加減算回路３−１６−１〜３−１６−３は、前記中心画素の上下２画素、計４画素の隣接画素に対して、式(４)の演算を実現している。また、加減算回路３−１７−１〜３−１７−３では、前記中心画素の左右２画素、計４画素の隣接画素に対して、式(４)の演算を行なうものである。
【００４４】
ここで、各加算回路３−１６−１、３−１６−２では、前記中心画素に対し、上下２画素ずつ計４画素（３−１２−２、３−１２−４、３−１２−１０、３−１２−１２の各フリップフロップ出力）の各値と、上記４画素に各々対応する仮検出フラグ（３−１３−２、３−１３−４、３−１３−１０、３−１３−１２の各フリップフロップ出力）の論理否定との論理積をとった値が入力されて加算される。前記論理積は、ＡＮＤ素子３−１４−１〜３−１４−４により行なわれる。前記仮検出フラグはHigh論理のときは、対応する画素が欠陥画素と判断されることから、論理積の前に論理否定をとっている。上記のように、前記仮検出フラグによる論理積を行なうことで、式(４)のｄ0、ｄ1、ｄ3、ｄ4のいずれの画素にも欠陥画素が含まれない場合には、垂直方向の微分値diffは、式(４)そのものにより算出されるが、もし、ｄ0もしくはｄ4のいずれか一方でも欠陥画素が含まれる場合には、ｄ0とｄ4を強制的に０値として、その結果、式(５)による微分値diffの算出となる。同様に、ｄ1もしくはｄ3のいずれか一方でも欠陥画素が含まれる場合には、ｄ1とｄ3を強制的に０値として、その結果、式(６)による微分値diffの算出となる。
【００４５】
ここでは、ｄ0とｄ1、もしくはｄ3とｄ4いずれも欠陥画素となることはないものとしている。
【００４６】
同様に水平方向に対しても、各加算回路３−１７−１、３−１７−２において、前記中心画素に対し、左右２画素ずつ計４画素（３−１１−３、３−１２−５、３−１２−７、３−１２−８各フリップフロップ出力）の各値と、上記４画素に各々対応する仮検出フラグ（３−８の仮検出フラグ入力、３−１３−５、３−１３−７、３−１３−８の各フリップフロップ出力）の論理否定との論理積をとった値が入力されて加算される（前記論理積は、ＡＮＤ素子３−１５−１〜３−１５−４により行なわれる）。これにより、式(４)〜式(６)のいずれかを、欠陥画素の有無により適応的に選択して微分値diffを算出する。
【００４７】
式(５)および式(６)による微分値diffの算出結果は、式(４)による算出結果に対して、タップ数の関係でゲインが１／２となっている。そのため、各切り替え部３−１８および３−１９において、式(５)もしくは式(６)が用いられてdiffが算出される場合には、ゲイン２倍となるように切り替え制御される。
【００４８】
切り替え部３−１８の出力である、垂直方向の微分値と、切り替え部３−１９の出力である、水平方向の微分値は、割り算回路３−２０において、比をとられ、テーブル３−２１において逆正接関数による関数変換が行なわれて、水平方向を基準とした輝度勾配方向θの値として、輝度勾配方向信号出力端子３−２２から出力される。前記輝度勾配方向信号は、水平方向を０度として、垂直方向９０度乃至−９０度の計１８０度の範囲を表すことができる。
【００４９】
図１の二次元欠陥画素検出・補正部１−６の詳細な動作説明を、図４により行なう。
【００５０】
図４において、各画像信号入力端子４−１〜４−３から入力された、前記３水平期間分の画像信号（画像信号入力端子１−１から入力された画像信号と、各ラインメモリ１−２１〜１−２４から出力された画像信号の合計５水平期間分の画像信号の中心部分の３水平期間に当たる）を受け、各フリップフロップ回路４−４−１〜４−４−６により、中心画素（４−４−３のフリップフロップ出力）と、その垂直、水平、斜め方向に隣接する周辺８画素分の画像信号を保持する。
【００５１】
まず、前記中心画素の上下に隣接する２画素（４−４−１と４−４−５のフリップフロップ出力）が第１の加算回路４−６−１にて加算平均され、垂直方向の周辺画素平均値として算出される。前記垂直方向の周辺画素平均値は、第１の減算回路４−６−２にて前記中心画素から前記垂直方向の周辺画素平均値を差し引く差分演算され、第１のリミッタ回路４−６−３により負の値は０値にリミットされる。これは本実施形態が白点欠陥画素補正のみへ適用されることを示している。
【００５２】
前記第１のリミッタ出力は第１の比較回路４−６−４において、閾値入力端子４−５で設定された閾値と比較され、前記差分値が前記閾値より大きい場合にHigh論理が出力される。これにより、第１のスイッチ４−６−５では、第１の比較回路出力がHigh論理の場合は、中心画素を垂直方向でみた場合に欠陥画素とみられることとなり、第１の加算回路４−６−１の出力である前記垂直方向の周辺画素平均値を補正値として出力する。
【００５３】
第１の比較回路出力がLow論理の場合は、中心画素を垂直方向でみた場合に正常画素とみられることとなり、フリップフロップ回路４−４−３の出力である中心画素がそのまま出力される。このようにして、中心画素を垂直方向でみた欠陥画素補正出力が、第１の出力端子４−６−６から出力される。
【００５４】
以下、同様に、中心画素を水平方向でみた欠陥画素補正処理は、４−７−１〜４−７−５の各演算回路、リミッタ、比較回路、スイッチにより行なわれ、第２の出力端子４−７−６から出力され、中心画素を斜め４５度方向でみた欠陥画素補正処理は、４−８−１〜４−８−５の各演算回路、リミッタ、比較回路、スイッチにより行なわれ、第３の出力端子４−８−６から出力され、中心画素を斜め１３５度方向でみた欠陥画素補正処理は、４−９−１〜４−９−５の各演算回路、リミッタ、比較回路、スイッチにより行なわれ、第４の出力端子４−９−６から出力される。
【００５５】
図１の切り替えスイッチ１−８での切り替え制御について、詳細に説明する。
【００５６】
図４で説明したように、欠陥画素補正対象となる中心画素に対して、垂直、水平、斜め４５度、斜め１３５度の４方向に沿った欠陥画素補正出力は、図１でいえば二次元欠陥画素検出・補正部１−６から出力されて、切り替えスイッチ１−８に各々入力されている。また、図３で説明したように、欠陥画素補正対象となる中心画素における輝度勾配方向信号が、周辺画素に存在する可能性のある欠陥画素の有無に関わらず、安定して算出され、切り替えスイッチ１−８の制御に用いられる。
【００５７】
ここで、例えば前記輝度勾配方向信号が０度を示す場合、前記中心画素の輝度勾配が水平方向に対して最も急激に変化しているのであるから、そのエッジ方向は垂直方向ということとなり、前記垂直方向に沿った欠陥画素補正出力を選択するのが最も望ましい。同様に、前記輝度勾配方向信号が９０度もしくは−９０度を示す場合には、前記水平方向に沿った欠陥画素補正出力の選択が望ましく、前記輝度勾配方向信号が４５度の場合には、前記斜め１３５度方向に沿った欠陥画素補正出力の選択、前記輝度勾配方向信号が−４５度の場合には、前記斜め４５度方向に沿った欠陥画素補正出力の選択が望ましいこととなる。これらの間の角度については、当然それに近い方の方向に沿った補間結果を選択すればよい。本実施例では、欠陥画素を仮に検出し、仮補正を行った後に、エッジ方向を検出しているので、エッジ方向を検出する際の誤差を少なくすることができる。また、相関のある方向で補正を行なうので精度の高い補正を実現できる。
【００５８】
以上の動作により、本実施形態において、被写体のエッジ方向に沿った欠陥画素補正を、安定かつ良好に動作させることができる。
【００５９】
（第２の実施形態）
図６は本発明をＲＧＢ（赤、緑、青）ベイヤ−配列の単板撮像素子を用いたカラー撮像装置に関して、特に、欠陥画素誤検出による画質劣化の目立つＧ画素に、適用した第２の実施形態を示す図である。
【００６０】
図６において、６−１は図示しない撮像素子からの画像信号入力端子、６−２１は第１のラインメモリ、６−２２は第２のラインメモリ、６−２３は第３のラインメモリ、６−２４は第４のラインメモリ、６−３１は第１の欠陥画素仮検出部、６−３２は第２の欠陥画素仮検出部、６−３４は第３の欠陥画素仮検出部、６−３５は第４の欠陥画素仮検出部、６−４は欠陥画素仮検出用の第１の閾値入力端子、６−５はＲとＢ画素用の欠陥画素補正部、６−６は画像のエッジ方向に直交する輝度勾配方向検出部、６−７は二次元欠陥画素検出・補正部、６−８は二次元欠陥画素検出用の第２の閾値入力端子、６−９は信号ミックス部、６−１０はＧ画素とＲＢ画素の切り替えスイッチ、６−１１はＧ画素とＲＢ画素の識別信号入力端子、６−１２は補正済み画像出力端子である。
【００６１】
図７は、図６の画像のエッジ方向に直交する輝度勾配方向検出部６−６の詳細図である。
【００６２】
図７において、７−１は図６の画像信号入力端子６−１につながる第１の画像信号入力端子、７−２は図６の第１のラインメモリ６−２１の出力につながる第２の画像信号入力端子、７−４は図６の第３のラインメモリ６−２３の出力につながる第３の画像信号入力端子、７−５は図６の第４のラインメモリ６−２４の出力につながる第４の画像信号入力端子、７−６は図６の第１の欠陥画素仮検出部６−３１の出力につながる第１の仮検出フラグ入力端子、７−７は図６の第２の欠陥画素仮検出部６−３２の出力につながる第２の仮検出フラグ入力端子、７−９は図６の第３の欠陥画素仮検出部６−３４の出力につながる第３の仮検出フラグ入力端子、７−１０は図６の第４の欠陥画素仮検出部６−３５の出力につながる第４の仮検出フラグ入力端子である。
【００６３】
７−１１−１〜７−１１−４は、各画像信号入力７−１〜７−５と、各仮検出フラグ入力７−６〜７−１０の位相を合わせるフリップフロップ回路、７−１２−１〜７−１２−７は輝度勾配方向検出の対象画素に対して２ライン上のラインの計５画素分のＧ画素値を保持するためのフリップフロップ回路、７−１２−８〜７−１２−１３は輝度勾配方向検出の対象画素に対して１ライン上のラインの計４画素分のＧ画素値を保持するためのフリップフロップ回路、７−１２−１４〜７−１２−１９は輝度勾配方向検出の対象画素に対して１ライン下のラインの計４画素分のＧ画素値を保持するためのフリップフロップ回路、７−１２−２０〜７−１２−２６は輝度勾配方向検出の対象画素に対して２ライン下のラインの計５画素分のＧ画素値を保持するためのフリップフロップ回路、７−１３−１〜７−１３−５は輝度勾配方向検出の対象画素に対して２ライン上のラインの各Ｇ画素に対応する仮検出フラグを保持するフリップフロップ回路、７−１３−８〜７−１３−１１は輝度勾配方向検出の対象画素に対して１ライン上のラインの各Ｇ画素に対応する仮検出フラグを保持するフリップフロップ回路、７−１３−１４〜７−１３−１７は輝度勾配方向検出の対象画素に対して１ライン下のラインの各Ｇ画素に対応する仮検出フラグを保持するフリップフロップ回路、７−１３−２０〜７−１３−２４は輝度勾配方向検出の対象画素に対して２ライン下のラインの各Ｇ画素に対応する仮検出フラグを保持するフリップフロップ回路である。
【００６４】
７−１４−１〜７−１４−４は輝度勾配方向検出の対象画素に対して、斜め１３５度方向に隣接した計４個のＧ画素のいずれかが欠陥画素の場合に、予め補正処理を行なう補正ブロック、７−１４−５〜７−１４−８は輝度勾配方向検出の対象画素に対して斜め４５度方向に隣接した計４個のＧ画素のいずれかが欠陥画素の場合に、予め補正処理を行なう補正ブロックである。
【００６５】
７−１５−１〜７−１５−３は前記斜め１３５度方向に隣接した計４個のＧ画素を用いた微分演算を行なう加減算回路、７−１６−１〜７−１６−３は前記斜め４５度方向に隣接した計４個のＧ画素を用いた微分演算を行なう加減算回路、７−１７は第１の絶対値算出回路、７−１８は第２の絶対値算出回路、７−１９は比較回路、７−２０は第１の切り替えスイッチ、７−２１は第２の切り替えスイッチ、７−２２は割り算回路、７−２３は輝度勾配方向フラグ出力端子、７−２４は輝度勾配方向信号出力端子である。
【００６６】
図８は、図７の各補正ブロック７−１４−１〜７−１４−８の詳細図である。
【００６７】
図８において、８−１と８−２は周辺画素入力端子、８−３は中心画素入力端子、８−４は仮検出フラグ入力端子、８−５は加算平均を演算する加算回路、８−６は切り替えスイッチ、８−７は補正出力である。
【００６８】
図９は、図６の二次元欠陥画素検出・補正部６−７の詳細図である。
【００６９】
図９において９−１は図６の画像信号入力端子６−１につながる第１の画像信号入力端子、９−２は図６の第１のラインメモリ６−２１の出力につながる第２の画像信号入力端子、９−３は図６の第２のラインメモリ６−２２の出力につながる第３の画像信号入力端子、９−４は図６の第３のラインメモリ６−２３の出力につながる第４の画像信号入力端子、９−５は図６の第４のラインメモリ６−２４の出力につながる第５の画像信号入力端子である。
【００７０】
９−６−１〜９−６−１４は、欠陥画素検出と補正の対象画素と、前記対象画素を中心として、垂直方向に隣接する４画素、および、水平方向に隣接する４画素、および、斜め４５度方向に隣接する２画素、および、斜め１３５度方向に隣接する２画素の、計１３個の画素を保持するためのフリップフロップ回路である。
【００７１】
９−７−１は前記対象画素に対して斜め１３５度方向に欠陥画素検出と補正を行なう第１の検出・補正回路、９−７−２は前記対象画素に対して垂直方向に欠陥画素検出と補正を行なう第２の検出・補正回路、９−７−３は前記対象画素に対して水平方向に欠陥画素検出と補正を行なう第３の検出・補正回路、９−７−４は前記対象画素に対して斜め４５度方向に欠陥画素検出と補正を行なう第４の検出・補正回路である。
【００７２】
９−８は図６の二次元欠陥画素検出用の第２の閾値入力端子６−８につながる閾値入力端子、９−９は斜め１３５度方向の補正画像信号出力端子、９−１０は垂直方向の補正画像信号出力端子、９−１１は水平方向の補正画像信号出力端子、９−１２は斜め４５度方向の補正画像信号出力端子である。
【００７３】
図１０は、図９の各検出・補正回路９−７−１〜９−７−４の詳細図である。
【００７４】
図１０において、１０−１および１０−２は欠陥画素検出と補正の対象画素に隣接する周辺画素が入力される画像入力端子、１０−３は欠陥画素検出と補正の対象画素が入力される画像入力端子、１０−４は閾値入力端子、１０−５は前記周辺画素の加算平均を算出する加算回路、１０−６は前記加算平均と前記対象画素値との差分を算出する減算回路、１０−７は絶対値算出回路、１０−８は比較回路、１０−９は切り替えスイッチ、１０−１０は補正画像出力端子である。
【００７５】
図１１は、図６の信号ミックス部６−９において、前記輝度勾配方向信号と前記輝度勾配方向フラグに応じて、前記図９の各補正画像信号９−９〜９−１２のミックス制御の説明図である。
【００７６】
図６〜図１１を用いて、本発明の第２の実施形態の動作について説明する。
【００７７】
図６の画像信号入力端子６−１から入力された、欠陥画素を含む撮像素子の出力画像信号は、各ラインメモリ６−２１〜６−２４により、それぞれ１水平期間ずつ遅延され、画像信号入力端子６−１の信号を含め、合計５水平期間分の画像信号が生成される。前記５水平期間分の画像信号は、二次元欠陥画素検出・補正部６−７に入力され、欠陥画素の検出と補正の対象画素を中心として、垂直、水平、斜め４５度、斜め１３５度の計４方向に沿った欠陥画素の検出と補正が行なわれ、各々の補正画像出力が出力される。その詳細な動作については、図９と図１０により後述する。
【００７８】
次に、前記５水平期間分の画像信号の内、それらの中央ラインである第２のラインメモリ６−２２の出力画像信号は、ＲとＢ画素用の欠陥画素補正部６−５に送られ、従来と同様の処理内容により、欠陥画素の検出と補正が行なわれる。また、前記５水平期間分の画像信号のうち、前記中央ライン以外の計４水平期間分の画像信号は、各欠陥画素仮検出部６−３１〜６−３５と、画像のエッジ方向に直交する輝度勾配方向検出部６−６に送られ、図７と図８を用いて後述するように、前記欠陥画素の検出と補正の対象画素における、輝度勾配方向信号、および、輝度勾配方向フラグが生成される。
【００７９】
前記垂直、水平、斜め４５度、斜め１３５度の計４方向に沿った補正画像出力と、前記輝度勾配方向信号および輝度勾配方向フラグは、信号ミックス部６−９に送られ、図１１により後述するように、前記輝度勾配方向信号および輝度勾配方向フラグに応じて、前記垂直、水平、斜め４５度、斜め１３５度の計４方向に沿った補正画像出力の混合処理が行なわれて二次元欠陥画素補正出力として出力される。前記二次元欠陥画素補正出力は、本実施形態ではＧ画素にのみ有効であるため、切り替えスイッチ６−１０において、Ｇ画素とＲＢ画素の識別信号入力６−１１に従って、前記二次元欠陥画素補正出力と、前記ＲとＢ画素用の欠陥画素補正部出力６−５を切り替えて、補正済み画像出力端子６−１２より出力される。
【００８０】
引き続き、各要素の説明を行なう。図６の二次元欠陥画素検出・補正部６−７は、図９に示すように、前記５水平期間分の画像信号が、各画像信号入力端子９−１〜９−５より与えられ、各フリップフロップ回路９−６−１〜９−６−１４により、各ラインそれぞれ複数画素分が保持されることとなる。すなわち、第３の画像信号入力端子９−２より与えられる２水平期間遅れの画像信号が、欠陥画素検出と補正の対象画素を含む中心のラインであり、ここでは前記対象画素と、その左右２画素分の、計５画素分が保持される（９−３の入力と９−６−６〜９−６−９のフリップフロップ出力）。前記対象画素はフリップフロップ出力９−６−７となる。
【００８１】
前記対象画素を含む中心のラインの、上下のラインについては、前記対象画素と同じ水平位置の画素およびその左右１画素分の、計３画素が保持される（９−６−３〜９−６−５のフリップフロップ出力と、９−６−１０〜９−６−１２のフリップフロップ出力）。さらに、前記上下のラインのさらに上下のラインについては、前記対象画素と同じ水平位置の画素が保持される（９−６−２と９−６−１４の各フリップフロップ出力）。９−６−１と９−６−１３は遅延調整のためのフリップフロップである。
【００８２】
上述したように、本実施形態は、ＲＧＢベイヤ−配列の単板撮像素子を用いたカラー撮像装置の、特に、欠陥画素誤検出による画質劣化の目立つＧ画素にのみに本発明を適用したものであることから、前記対象画素をＧ画素と見た場合に、９−１〜９−５の各画像信号入力、および９−６−１〜９−６−１４の各フリップフロップで保持されているＧ画素は以下のようになる。
【００８３】
前記対象画素の垂直方向に隣接するＧ画素は、９−６−２と９−６−１４の各フリップフロップ出力であり、水平方向に隣接するＧ画素は、９−３の画像信号入力と９−６−９のフリップフロップ出力であり、斜め４５度に隣接するＧ画素は、９−６−１０と９−６−５の各フリップフロップ出力であり、斜め１３５度に隣接するＧ画素は、９−６−３と９−６−１２の各フリップフロップ出力である。
【００８４】
このようにして各フリップフロップに保持された画素値のうち、前記対象画素と斜め１３５度方向に隣接するＧ画素は第１の検出・補正回路９−７−１へ、前記対象画素と垂直方向に隣接するＧ画素は第２の検出・補正回路９−７−２へ、前記対象画素と水平方向に隣接するＧ画素は第３の検出・補正回路９−７−３へ、前記対象画素と斜め４５度方向に隣接するＧ画素は第４の検出・補正回路９−７−４へ送られ、図１０に示すように、４方向各々に対して、隣接画素平均値と対象画素との差分値の閾値処理により、欠陥画素か否かを判定し、欠陥画素と判定された場合には、前記隣接画素平均値を補正値として、対象画素に変えて出力している。以上により、９−９〜９−１２の各出力においては、前記対象画素を、垂直、水平、斜め４５度、斜め１３５度の４方向で欠陥画素検出・補正した画像信号が出力される。
【００８５】
図６の輝度勾配方向検出部６−６の詳細な動作について図７および図２により説明する。
【００８６】
輝度勾配方向検出部においては、前記欠陥画素検出と補正の対象画素を含む中心のライン以外の上下２ラインずつ計４ライン分の画像信号が、各画像信号入力端子７−１〜７−５から入力される。前記４ライン分の画像信号は、まず、フリップフロップ回路７−１１−１〜７−１１−４により、後述する仮検出フラグとの位相合わせの後、それぞれ、各フリップフロップ回路７−１２−１〜７−１２−２６にて各ラインに応じた複数画素分の画像信号が保持される。前記輝度勾配方向検出部においては、前記欠陥画素検出と補正の対象画素は入力されないが、前記対象画素がＧ画素である場合、７−１〜７−５の各画像信号入力と、各フリップフロップ回路７−１２−１〜７−１２−２６で保持された画像信号のうち、同じくＧ画素となるのは、各ライン別に以下のとおりとなる。
【００８７】
前記対象画素ラインより２ライン上のラインでは、７−１の画像信号入力と、７−１２−１、７−１２−３、７−１２−５、７−１２−７の各フリップフロップ出力、前記対象ラインより１ライン上のラインでは、７−１１−２、７−１２−９、７−１２−１１、７−１２−１３の各フリップフロップ出力、前記撮像ラインより１ライン下のラインでは、７−１１−３、７−１２−１５、７−１２−１７、７−１２−１９の各フリップフロップ出力、前記撮像ラインより２ライン下のラインでは、７−５の画像信号入力と、７−１２−２０、７−１２−２２、７−１２−２４、７−１２−２６の各フリップフロップ出力となる。
【００８８】
前記対象画素における輝度勾配方向を検出するために、図５で説明したように、二つの基準軸に沿った微分値を算出する必要があるが、本実施形態においては、ＲＧＢベイヤ−配列のＧ画素の配列の特徴にあわせている。
【００８９】
すなわち、対象画素の斜め４５度方向と、斜め１３５度方向にみた方が、対象画素との相関距離が短く、かつ、各ライン上でＧ画素を得られることから、これらの方向を基準軸にとるものとしている。そのため、微分値の算出に用いるＧ画素としては、斜め４５度方向では、７−１２−５、７−１２−１１、７−１２−１５、７−１２−２０の４個のフリップフロップ出力となり、斜め１３５度方向では、７−１２−１、７−１２−９、７−１２−１７、７−１２−２４の４個のフリップフロップ出力となる。すなわち、前記対象画素を中心として、各方向で隣接４画素を用いた微分値算出を行なうこととなり、前記式(４)に従い、前記７−１２−５、７−１２−１１、７−１２−１５、７−１２−２０、および、７−１２−１、７−１２−９、７−１２−１７、７−１２−２４の各フリップフロップ出力を用いて算出すればよい。ただし、前記７−１２−５、７−１２−１１、７−１２−１５、７−１２−２０、および、７−１２−１、７−１２−９、７−１２−１７、７−１２−２４の各フリップフロップ出力である各画素の中に、欠陥画素が含まれると、正しく微分値を算出できないので、前記７−１２−５、７−１２−１１、７−１２−１５、７−１２−２０、および、７−１２−１、７−１２−９、７−１２−１７、７−１２−２４の各フリップフロップ出力をそのまま微分値算出に用いるのではなく、それらに対して、水平方向に隣接する左右２画素のＧ画素を用いた補正処理を、７−１４−１〜７−１４−８の各補正ブロックにおいて行ってから微分値演算している。
【００９０】
前記各補正ブロックにて補正処理を行なうか否かの判別は、各検出フラグ入力７−６〜７−１０より与えられ、７−１３−１〜７−１３−２４で保持された各画素に対応した仮検出フラグを参照して行なわれる。前記仮検出フラグは、第１の実施形態において図２にて説明した通りに生成され、欠陥画素であると判定された場合にはHigh論理となっている。ただし、本実施形態では、図２において絶対値算出回路２−１０を用いることにより、白点欠陥画素および黒点欠陥画素のいずれであっても仮検出フラグがHighとなるようにするものとする。
【００９１】
前記各補正ブロックにおける入力をまとめると、以下のとおりとなる。補正ブロック７−１４−１では、前記７−１２−１の出力と、前記７−１２−１に水平方向に隣接したＧ画素である７−１の画像信号入力と、７−１２−３の出力と、前記７−１２−１に対応した仮検出フラグである７−１３−１の出力が入力される。補正ブロック７−１４−２では、前記７−１２−９の出力と、前記７−１２−９に水平方向に隣接したＧ画素である７−１１−２の出力と、７−１２−１１の出力と、前記７−１２−９に対応した仮検出フラグである７−１３−９の出力が入力される。補正ブロック７−１４−３では、前記７−１２−１７の出力と、前記７−１２−１７に水平方向に隣接したＧ画素である７−１２−１５の出力と、７−１２−１９の出力と、前記７−１２−１７に対応した仮検出フラグである７−１３−１７の出力が入力される。補正ブロック７−１４−４では、前記７−１２−２４の出力と、前記７−１２−２４に水平方向に隣接したＧ画素である７−１２−２２の出力と、７−１２−２６の出力と、前記７−１２−２４に対応した仮検出フラグである７−１３−２４の出力が入力される。補正ブロック７−１４−５では、前記７−１２−５の出力と、前記７−１２−５に水平方向に隣接したＧ画素である７−１２−３の出力と、７−１２−７の出力と、前記７−１２−５に対応した仮検出フラグである７−１３−５の出力が入力される。補正ブロック７−１４−６では、前記７−１２−１１の出力と、前記７−１２−１１に水平方向に隣接したＧ画素である７−１２−９の出力と、７−１２−１３の出力と、前記７−１２−１１に対応した仮検出フラグである７−１３−１１の出力が入力される。補正ブロック７−１４−７では、前記７−１２−１５の出力と、前記７−１２−１５に水平方向に隣接したＧ画素である７−１１−３の出力と、７−１２−１７の出力と、前記７−１２−１５に対応した仮検出フラグである７−１３−１５の出力が入力される。補正ブロック７−１４−８では、前記７−１２−２０の出力と、前記７−１２−２０に水平方向に隣接したＧ画素である７−５の画像信号入力と、７−１２−２２の出力と、前記７−１２−２０に対応した仮検出フラグである７−１３−２０の出力が入力される。
【００９２】
以上述べた７−１４−１〜７−１４−８の各補正ブロックの内容は、全て共通で、図８のとおりとなっている。すなわち、前記水平方向に隣接したＧ画素は、周辺画素入力端子８−１と８−２から入力され、前記微分値算出の対象となるＧ画素は、中心画素入力端子８−３から入力され、前記仮検出フラグは、仮検出フラグ入力端子８−４から入力され、８−５は加算平均を演算する加算回路、８−６は切り替えスイッチにより、仮検出フラグがHighのとき、すなわち、前記微分値算出の対象となるＧ画素が欠陥画素と判断されるときは、前記隣接したＧ画素からの加算平均値を選択して出力することとなる。
【００９３】
以上説明したように、前記各微分値算出に用いるＧ画素の欠陥画素の影響は抑圧され、各加減算回路７−１５−１〜７−１５−３および７−１６−１〜７−１６−３により、前記式(４)の微分値算出の演算が実行され、前記斜め４５度方向、および斜め１３５度方向の二つの微分値が算出される。前記二つの微分値は、各絶対値算出回路７−１７と７−１８において、その絶対値が求められ、比較回路７−１９において、いずれの方向の微分値が、大きいかが判定される。
【００９４】
前記比較回路の判定結果は輝度勾配方向フラグ出力端子７−２３から出力されるとともに、各切り替えスイッチ７−２０と７−２１の制御に用いられる。各切り替えスイッチ７−２０と７−２１では、その後段の割り算回路７−２２において、分母が分子以上の状態になるように切り替え制御する。すなわち、斜め４５度方向の微分値の大きさが、斜め１３５度方向の微分値の大きさより大きい場合には、割り算回路７−２２では、斜め１３５度／斜め４５度が演算されるように切り替え、逆の場合には、斜め４５度／斜め１３５度が演算されるように切り替える。このように、割り算回路での演算を、常に分母が大きくなるようにすると、前記式(１)の逆正接関数を省略しても、演算結果の誤差が小さくなり、割り算の結果をそのまま輝度勾配方向信号として用いることができる。また、分母は常に分子以上であるから、前記輝度勾配方向信号は、±１の範囲におさまる値となる。こうして得られた前記輝度勾配方向信号は、輝度勾配方向信号出力端子７−２４から出力される。
【００９５】
次に、図６の信号ミックス部６−９の動作の詳細な説明を行なう。
【００９６】
前記輝度勾配方向フラグとして、斜め４５度方向の微分値の大きさ＞斜め１３５度方向の微分値の大きさの場合に、フラグ＝High論理となるものとすると、図６の信号ミックス部６−９における動作は以下のとおりとなる。
【００９７】
図１１はその動作を概念的に説明したもので、まず、前記信号ミックス部に入力される輝度勾配方向フラグと輝度勾配方向との関係は、前記フラグがHigh論理＝斜め４５度方向（図１１ではｄ1と表記）が輝度勾配方向０度となることを意味しており、前記フラグがLow論理＝斜め１３５度方向（図１１ではｄ2と表記）が輝度勾配方向０度となることを意味する。従って、例えば、輝度勾配方向がちょうど４５度である場合には、前記輝度勾配方向信号は０で、前記輝度勾配方向フラグはHigh論理である。同様に１３５度である場合には、前記輝度勾配方向信号は０で、前記輝度勾配方向フラグはLow論理となる。
【００９８】
次に、斜め４５度方向から垂直方向（図１１ではＶと表記）の間では、前記輝度勾配方向フラグはHigh論理で、前記輝度勾配方向信号は０〜１の間の値となる。同様に斜め４５度方向から水平方向（図１１ではＨと表記）の間では前記フラグはHigh論理で、前記輝度勾配方向信号は０〜−１の間の値となる。
【００９９】
同様に斜め１３５度方向から垂直方向の間では、前記フラグがLow、前記輝度勾配方向信号が０〜１の間の値、斜め１３５度と水平方向の間では、前記フラグがLow、前記勾配方向信号が０〜−１の間の値となる。
【０１００】
さて、図６の信号ミックス部６−９には、図６の二次元欠陥画素検出・補正部６−７より、前記欠陥画素の検出と補正の対象画素を中心に、垂直、水平、斜め４５度、斜め１３５度の４方向で欠陥画素補正した補正画像信号が入力されており、それら４個の補正画像信号をミックスして、二次元補正画像信号を生成するが、本実施形態では、以下に従って行なう。
【０１０１】
すなわち、前記フラグがHighで、前記輝度勾配方向信号が正値の場合、前記欠陥画素の検出と補正の対象画素における輝度変化は、斜め４５度と垂直方向の間のいずれかの方向が最も激しいのであるから、二次元補正画像信号としては、水平方向の補正画像信号と、斜め１３５度方向の補正画像信号を、前記輝度勾配方向信号の絶対値をゲインとして、重み付け加算することにより、画像のエッジの劣化を最小限に止めながら欠陥画素補正することができる。
【０１０２】
以下、同様に、前記フラグHighで前記輝度勾配方向信号が負値の場合、垂直方向の補正画像信号と斜め１３５度方向の補正画像信号の重み付け加算、前記フラグLowで前記輝度勾配方向信号が正値の場合、水平方向の補正画像信号と、斜め４５度方向の補正画像信号の重み付け加算、前記フラグLowで前記輝度勾配方向信号が負値の場合、垂直方向の補正画像信号と斜め４５度方向の補正画像信号の重み付け加算を行なうことにより、最も良好な欠陥画素補正を行なうことができる。
【０１０３】
このように、欠陥画素誤検出による画質劣化の目立つＧ画素の欠陥画素補正を本実施形態のように行なえば、より画質のよい画像が得られる。
【０１０４】
以上説明したように、上記の実施形態によれば、エッジ方向を検出する際に用いる所定範囲の画素の中に欠陥画素があったとしても、当該欠陥画素によるエッジ方向検出精度の低下を防止することができ、不揮発性メモリにあらかじめ欠陥画素位置を記憶する必要がない。従って、不揮発性メモリに欠陥画素の位置情報を書き込むための工程そのものを廃止することができ、撮像装置自体の生産性についても飛躍的な向上が見込まれる。
【０１０５】
さらに、不揮発性メモリを使用した欠陥画素補正では、撮像素子の製造後に新たに発生する欠陥画素への対応をする必要があり、従来は、例えば特開２００１−２１８１１５号公報、特開２００１−２５７９３９号公報にあるように、欠陥画素追加のための操作が必要であったが、上記の実施形態によれば、製造後に新たに発生する欠陥画素も問題なく補正することができる。
【０１０６】
さらに、被写体のエッジ方向に沿って欠陥画素を検出して、被写体のエッジ方向に沿って前記欠陥画素を補正するので、被写体エッジ等の高周波成分の誤検出を生ずることなく、極めて良好な欠陥画素補正を実現することができる。
【産業上の利用可能性】
【０１０７】
本発明は、撮像素子を使用した撮像装置、例えば、ディジタルカメラ、ビデオカメラ、カメラ付き携帯電話などに対して、全てに利用可能である。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第１の実施形態の欠陥画素補正装置を示す図である。
【図２】図１の各欠陥画素仮検出部の詳細図である。
【図３】図１の輝度勾配方向検出部の詳細図である。
【図４】図１の二次元欠陥画素検出・補正部の詳細図である。
【図５】図１の輝度勾配方向検出処理の理論説明図である。
【図６】本発明の第２の実施形態の欠陥画素補正装置を示す図である。
【図７】図６の画像のエッジ方向に直交する輝度勾配方向検出部の詳細図である。
【図８】図７の各補正ブロックの詳細図である。
【図９】図６の二次元欠陥画素検出・補正部の詳細図である。
【図１０】図９の各検出・補正回路の詳細図である。
【図１１】図６の信号ミックス部の各補正画像信号のミックス制御の説明図である。
【符号の説明】
【０１０９】
１−１  画像信号入力端子
１−２１  第１のラインメモリ
１−２２  第２のラインメモリ
１−２３  第３のラインメモリ
１−２４  第４のラインメモリ
１−３１  第１の欠陥画素仮検出部
１−３２  第２の欠陥画素仮検出部
１−３３  第３の欠陥画素仮検出部
１−３４  第４の欠陥画素仮検出部
１−３５  第５の欠陥画素仮検出部
１−４  第１の閾値入力端子
１−５  輝度勾配方向検出部
１−６  二次元欠陥画素検出・補正部
１−７  第２の閾値入力端子
１−８  切り替えスイッチ
１−９  補正済み画像出力端子
６−１  画像信号入力端子
６−２１  第１のラインメモリ
６−２２  第２のラインメモリ
６−２３  第３のラインメモリ
６−２４  第４のラインメモリ
６−３１  第１の欠陥画素仮検出部
６−３２  第２の欠陥画素仮検出部
６−３４  第３の欠陥画素仮検出部
６−３５  第４の欠陥画素仮検出部
６−４  第１の閾値入力端子
６−５  ＲとＢ画素用の欠陥画素補正部
６−６  輝度勾配方向検出部
６−７  二次元欠陥画素検出・補正部
６−８  第２の閾値入力端子
６−９  信号ミックス部
６−１０  Ｇ画素とＲＢ画素の切り替えスイッチ
６−１１  Ｇ画素とＲＢ画素の識別信号入力
６−１２  補正済み画像出力端子
【図１】
2005286824.tif 000003
【図２】
2005286824.tif 000004
【図３】
2005286824.tif 000005
【図４】
2005286824.tif 000006
【図５】
2005286824.tif 000007
【図６】
2005286824.tif 000008
【図７】
2005286824.tif 000009
【図８】
2005286824.tif 000010
【図９】
2005286824.tif 000011
【図１０】
2005286824.tif 000012
【図１１】
2005286824.tif 000013