(57)【特許請求の範囲】
【請求項１】
複数色の複数の色フィルタが水平方向及び垂直方向に配列された光学フィルタと、前記複数の色フィルタそれぞれに対応して設けられた複数の画素を有する撮像素子とを備え、
入力された光信号を前記複数色に対応したそれぞれの画素信号に変換して出力する撮像部と、
前記撮像部より順次出力される画素信号の内の１つの画素信号を注目画素から発生した第１の画素信号としたとき、前記注目画素の周囲であり前記注目画素の水平方向両側及び垂直方向両側に位置する複数の同色画素を含む領域から、前記複数の同色画素からの第２の画素信号を前記第１の画素信号と共に発生させる画素信号発生部と、
前記第２の画素信号内で最大レベルの画素信号と２番目のレベルの画素信号とを抽出する第１の抽出部と、
前記第２の画素信号のレベルの平均値を算出する平均値算出部と、
前記最大レベルと前記平均値との差を用いて、前記最大レベルの画素信号を発生させた画素が欠陥画素であるか否かを判定する第１の判定部と、
前記第１の判定部によって前記最大レベルの画素信号を発生させた画素が欠陥画素ではないと判定されたとき前記最大レベルの画素信号を出力し、前記第１の判定部によって前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定されたとき前記２番目のレベルの画素信号を出力する選択部と、
前記第１の画素信号のレベルと前記選択部より出力された画素信号のレベルとを用いて、前記注目画素が欠陥画素であるか否かを判定する第２の判定部と、
前記第２の判定部によって前記注目画素が欠陥画素ではないと判定されたとき前記第１の画素信号をそのまま出力し、前記第２の判定部によって前記注目画素が欠陥画素であると判定されたとき前記第１の画素信号に代えて前記選択部より出力された画素信号を出力する置換部と
を備えることを特徴とする撮像装置。
【請求項２】
前記画素信号発生部は、前記撮像部より順次出力される画素信号を前記撮像素子の１ライン分ずつ順次遅延させる複数のラインメモリと、前記撮像部より順次出力される画素信号または前記複数のラインメモリそれぞれより出力される画素信号を前記撮像素子の１画素ずつ順次遅延させる複数の画素遅延器とを含む
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第１の判定部は、前記最大レベルが前記平均値に第１のしきい値を加算した値より大きいとき、前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第２の判定部は、前記第１の画素信号のレベルが前記選択部より出力された画素信号のレベルに第２のしきい値を加算した値より大きいとき、前記注目画素が欠陥画素であると判定することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
複数色の複数の色フィルタが水平方向及び垂直方向に配列された光学フィルタと、前記複数の色フィルタそれぞれに対応して設けられた複数の画素を有する撮像素子とを備え、
入力された光信号を前記複数色に対応したそれぞれの画素信号に変換して出力する撮像部と、
前記撮像部より順次出力される画素信号の内の１つの画素信号を注目画素から発生した第１の画素信号としたとき、前記注目画素の周囲であり前記注目画素の水平方向両側及び垂直方向両側に位置する複数の同色画素及び複数の異色画素を含む領域から、前記複数の同色画素からの第２の画素信号と前記複数の異色画素からの第３の画素信号とを前記第１の画素信号と共に発生させる画素信号発生部と、
前記第２の画素信号内で最大レベルの画素信号と２番目のレベルの画素信号とを抽出する第１の抽出部と、
前記第２の画素信号のレベルの平均値を算出する平均値算出部と、
前記最大レベルと前記平均値とを用いて、前記最大レベルの画素信号を発生させた画素が欠陥画素であるか否かを判定する第１の判定部と、
前記第１の判定部によって前記最大レベルの画素信号を発生させた画素が欠陥画素ではないと判定されたとき前記最大レベルの画素信号を出力し、前記第１の判定部によって前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定されたとき前記２番目のレベルの画素信号を出力する選択部と、
前記第１の画素信号のレベルと前記選択部より出力された画素信号のレベルとを用いて、前記注目画素が欠陥画素であるか否かを判定する第２の判定部と、
前記第２の判定部によって前記注目画素が欠陥画素ではないと判定されたとき前記第１の画素信号をそのまま出力し、前記第２の判定部によって前記注目画素が欠陥画素であると判定されたとき前記第１の画素信号に代えて前記選択部より出力された画素信号を出力する置換部と、
前記第３の画素信号内で、２番目のレベルの画素信号と、３番目のレベルの画素信号と、前記２番目のレベルの画素信号を発生させた画素と同色の画素からの第１の最小レベルの画素信号と、前記３番目のレベルの画素信号を発生させた画素と同色の画素からの第２の最小レベルの画素信号とを抽出する第２の抽出部と、
前記第１の最小レベルが前記２番目のレベルより大の方向及び小の方向の予め定めた範囲内にあり、かつ、前記第２の最小レベルが前記３番目のレベルより大の方向及び小の方向の予め定めた範囲内にある第１の状態であるか、少なくとも一方が前記予め定めた範囲内にない第２の状態であるかを判定する第３の判定部とを備え、
前記選択部は、前記第３の判定部によって前記第１の状態であると判定されたとき前記２番目のレベルの画素信号を出力し、前記第３の判定部によって前記第２の状態であると判定されたとき前記最大レベルの画素信号を出力する
ことを特徴とする撮像装置。
【請求項６】
前記第３の判定部は、前記予め定めた範囲を前記２番目または３番目のレベルが大きいほど広くし、前記２番目または３番目のレベルが小さいほど狭くすることを特徴とする請求項５記載の撮像装置。
【請求項７】
前記第３の判定部は、前記２番目または３番目のレベルが小さいほど前記２番目または３番目のレベルが変化したときの前記予め定めた範囲の変化量を大きくし、前記２番目または３番目のレベルが大きいほど前記２番目または３番目のレベルが変化したときの前記予め定めた範囲の変化量を小さくすることを特徴とする請求項６記載の撮像装置。
【請求項８】
入力された光信号を、複数色の複数の画素が水平方向及び垂直方向に配列された撮像素子によって前記複数色に対応したそれぞれの画素信号に変換して出力するステップと、
前記撮像素子より順次出力される画素信号の内の１つの画素信号を注目画素から発生した第１の画素信号としたとき、前記注目画素の周囲であり前記注目画素の水平方向両側及び垂直方向両側に位置する複数の同色画素を含む領域から、前記複数の同色画素からの第２の画素信号を前記第１の画素信号と共に発生させるステップと、
前記第２の画素信号内で最大レベルの画素信号と２番目のレベルの画素信号とを抽出する第１の抽出ステップと、
前記第２の画素信号のレベルの平均値を算出するステップと、
前記最大レベルと前記平均値との差を用いて、前記最大レベルの画素信号を発生させた画素が欠陥画素であるか否かを判定する第１の判定ステップと、
前記第１の判定ステップにて前記最大レベルの画素信号を発生させた画素が欠陥画素ではないと判定されたとき前記最大レベルの画素信号を選択し、前記第１の判定ステップにて前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定されたとき前記２番目のレベルの画素信号を選択する選択ステップと、
前記第１の画素信号のレベルと前記選択ステップにて選択された画素信号のレベルとを用いて、前記注目画素が欠陥画素であるか否かを判定する第２の判定ステップと、
前記第２の判定ステップにて前記注目画素が欠陥画素ではないと判定されたとき前記第１の画素信号をそのまま出力し、前記第２の判定ステップにて前記注目画素が欠陥画素であると判定されたとき前記第１の画素信号に代えて前記選択ステップにて選択された画素信号を出力するステップと
を含むことを特徴とする欠陥画素補正方法。
【請求項９】
前記第１の判定ステップは、前記最大レベルが前記平均値に第１のしきい値を加算した値より大きいとき、前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定することを特徴とする請求項８記載の欠陥画素補正方法。
【請求項１０】
前記第２の判定ステップは、前記第１の画素信号のレベルが前記選択ステップにて選択された画素信号のレベルに第２のしきい値を加算した値より大きいとき、前記注目画素が欠陥画素であると判定することを特徴とする請求項８または９に記載の欠陥画素補正方法。
【請求項１１】
入力された光信号を、複数色の複数の画素が水平方向及び垂直方向に配列された撮像素子によって前記複数色に対応したそれぞれの画素信号に変換して出力するステップと、
前記撮像素子より順次出力される画素信号の内の１つの画素信号を注目画素から発生した第１の画素信号としたとき、前記注目画素の周囲であり前記注目画素の水平方向両側及び垂直方向両側に位置する複数の同色画素及び複数の異色画素を含む領域から、前記複数の同色画素からの第２の画素信号と前記複数の異色画素からの第３の画素信号とを前記第１の画素信号と共に発生させるステップと、
前記第２の画素信号内で最大レベルの画素信号と２番目のレベルの画素信号とを抽出する第１の抽出ステップと、
前記第２の画素信号のレベルの平均値を算出するステップと、
前記最大レベルと前記平均値とを用いて、前記最大レベルの画素信号を発生させた画素が欠陥画素であるか否かを判定する第１の判定ステップと、
前記第１の判定ステップにて前記最大レベルの画素信号を発生させた画素が欠陥画素ではないと判定されたとき前記最大レベルの画素信号を選択し、前記第１の判定ステップにて前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定されたとき前記２番目のレベルの画素信号を選択する選択ステップと、
前記第１の画素信号のレベルと前記選択ステップにて選択された画素信号のレベルとを用いて、前記注目画素が欠陥画素であるか否かを判定する第２の判定ステップと、
前記第２の判定ステップにて前記注目画素が欠陥画素ではないと判定されたとき前記第１の画素信号をそのまま出力し、前記第２の判定ステップにて前記注目画素が欠陥画素であると判定されたとき前記第１の画素信号に代えて前記選択ステップにて選択された画素信号を出力するステップと、
前記第３の画素信号内で、２番目のレベルの画素信号と、３番目のレベルの画素信号と、前記２番目のレベルの画素信号を発生させた画素と同色の画素からの第１の最小レベルの画素信号と、前記３番目のレベルの画素信号を発生させた画素と同色の画素からの第２の最小レベルの画素信号とを抽出する第２の抽出ステップと、
前記第１の最小レベルが前記２番目のレベルより大の方向及び小の方向の予め定めた範囲内にあり、かつ、前記第２の最小レベルが前記３番目のレベルより大の方向及び小の方向の予め定めた範囲内にある第１の状態であるか、少なくとも一方が前記予め定めた範囲内にない第２の状態であるかを判定する第３の判定ステップとを含み、
前記選択ステップは、前記第３の判定ステップにて前記第１の状態であると判定されたとき前記２番目のレベルの画素信号を出力し、前記第３の判定ステップにて前記第２の状態であると判定されたとき前記最大レベルの画素信号を出力する
ことを特徴とする欠陥画素補正方法。
【請求項１２】
前記第３の判定ステップは、前記予め定めた範囲を前記２番目または３番目のレベルが大きいほど広くし、前記２番目または３番目のレベルが小さいほど狭くすることを特徴とする請求項１１記載の欠陥画素補正方法。
【請求項１３】
前記第３の判定ステップは、前記２番目または３番目のレベルが小さいほど前記２番目または３番目のレベルが変化したときの前記予め定めた範囲の変化量を大きくし、前記２番目または３番目のレベルが大きいほど前記２番目または３番目のレベルが変化したときの前記予め定めた範囲の変化量を小さくすることを特徴とする請求項１２記載の欠陥画素補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いて被写体を撮像する撮像装置に係り、特に、撮像時に固体撮像素子が有する欠陥画素からの画素信号を補正することができる撮像装置及びこれに用いる欠陥画素補正方法に関する。
【背景技術】
【０００２】
電荷結合素子（ＣＣＤ：Charge Coupled Device）や相補型金属酸化物半導体（ＣＭＯＳ：Complementary Metal Oxide Semiconductor）等の固体撮像素子は、半導体の局部的な結晶欠陥等によって欠陥画素を有していることがある。欠陥画素を有した固体撮像素子を用いて被写体を撮像すると、欠陥画素から得られる画素信号は白と同等の高輝度の信号となるので、一般的に欠陥画素は白傷と称されている。固体撮像素子を備えた撮像装置を用いて被写体を撮像する撮像時に、撮像信号に含まれる欠陥画素からの画素信号を即時（リアルタイム）に検出して補正する発明が種々提案されている。
【０００３】
欠陥画素からの画素信号を即時に検出して補正する発明の従来例としては、例えば、特許第３２２７８１５号公報や特許第３５４４３０４号公報に記載のものがある。欠陥画素からの画素信号を同色の周辺画素の画素信号で置換したり、複数の周辺画素に基づいて生成した画素信号で置換したりすることによって、欠陥画素からの画素信号が補正される。
【特許文献１】特許第３２２７８１５号公報
【特許文献２】特許第３５４４３０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
固体撮像素子における欠陥画素は１つの画素のみで発生しているとは限らず、複数の画素が連続して欠陥画素となっている場合もある。このような場合、欠陥画素からの画素信号を周辺画素の画素信号で置換する際に、その周辺画素も欠陥画素であれば欠陥画素からの画素信号は適切に補正されないこととなる。従って、同色の２個以上の画素が連続的に欠陥画素となっている場合でも欠陥画素からの画素信号を適切に補正することが必要となる。
【０００５】
前述のように、欠陥画素からの画素信号は白と同等の高輝度の信号となるので、連続的な欠陥画素と例えば白文字のような図柄を撮像している場合の正常な画素とを区別することが必要となる。図柄の一部である正常な画素からの画素信号を欠陥画素からの画素信号であると誤検出した場合には誤補正となってしまう。従って、連続的な欠陥画素からの画素信号と図柄の一部である正常な画素からの画素信号とを的確に区別して、連続的な欠陥画素である場合に欠陥画素からの画素信号を補正し、図柄の一部である場合に誤補正を防ぐことが求められる。
【０００６】
本発明はこのような問題点に鑑みなされたものであり、連続的な欠陥画素からの画素信号を補正することができる撮像装置及びこれに用いる欠陥画素補正方法を提供することを目的とする。また、連続的な欠陥画素からの画素信号と図柄の一部である正常な画素からの画素信号とを区別することができ、図柄の一部である場合に誤補正を防ぐことができる撮像装置及びこれに用いる欠陥画素補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、複数色の複数の色フィルタが水平方向及び垂直方向に配列された光学フィルタ（２ａ）と、前記複数の色フィルタそれぞれに対応して設けられた複数の画素を有する撮像素子（２ｂ）とを備え、入力された光信号を前記複数色に対応したそれぞれの画素信号に変換して出力する撮像部（２）と、前記撮像部（２）より順次出力される画素信号の内の１つの画素信号を注目画素から発生した第１の画素信号としたとき、前記注目画素の周囲であり前記注目画素の水平方向両側及び垂直方向両側に位置する複数の同色画素を含む領域から、前記複数の同色画素からの第２の画素信号を前記第１の画素信号と共に発生させる画素信号発生部（５）と、前記第２の画素信号内で最大レベルの画素信号と２番目のレベルの画素信号とを抽出する第１の抽出部（６７１）と、前記第２の画素信号のレベルの平均値を算出する平均値算出部（６７３）と、前記最大レベルと前記平均値との差を用いて、前記最大レベルの画素信号を発生させた画素が欠陥画素であるか否かを判定する第１の判定部（６７５）と、前記第１の判定部（６７５）によって前記最大レベルの画素信号を発生させた画素が欠陥画素ではないと判定されたとき前記最大レベルの画素信号を出力し、前記第１の判定部（６７５）によって前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定されたとき前記２番目のレベルの画素信号を出力する選択部（６７６）と、前記第１の画素信号のレベルと前記選択部（６７６）より出力された画素信号のレベルとを用いて、前記注目画素が欠陥画素であるか否かを判定する第２の判定部（６７７）と、前記第２の判定部（６７７）によって前記注目画素が欠陥画素ではないと判定されたとき前記第１の画素信号をそのまま出力し、前記第２の判定部（６７７）によって前記注目画素が欠陥画素であると判定されたとき前記第１の画素信号に代えて前記選択部（６７６）より出力された画素信号を出力する置換部（６７８）とを備えることを特徴とする撮像装置を提供する。
【０００８】
ここで、前記画素信号発生部（５）は、前記撮像部（２）より順次出力される画素信号を前記撮像素子（２ｂ）の１ライン分ずつ順次遅延させる複数のラインメモリ（５０７，５１４，５２１，５２８）と、前記撮像部（２）より順次出力される画素信号または前記複数のラインメモリ（５０７，５１４，５２１，５２８）それぞれより出力される画素信号を前記撮像素子（２ｂ）の１画素ずつ順次遅延させる複数の画素遅延器（５０１〜５０６，５０８〜５１３，５１５〜５２０，５２２〜５２７，５２９〜５３４）とを含むことが好ましい。
前記第１の判定部（６７５）は、前記最大レベルが前記平均値に第１のしきい値を加算した値より大きいとき、前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定することが好ましい。
前記第２の判定部（６７７）は、前記第１の画素信号のレベルが前記選択部（６７６）より出力された画素信号のレベルに第２のしきい値を加算した値より大きいとき、前記注目画素が欠陥画素であると判定することが好ましい。
【０００９】
さらに、本発明は、複数色の複数の色フィルタが水平方向及び垂直方向に配列された光学フィルタ（２ａ）と、前記複数の色フィルタそれぞれに対応して設けられた複数の画素を有する撮像素子（２ｂ）とを備え、入力された光信号を前記複数色に対応したそれぞれの画素信号に変換して出力する撮像部（２）と、前記撮像部（２）より順次出力される画素信号の内の１つの画素信号を注目画素から発生した第１の画素信号としたとき、前記注目画素の周囲であり前記注目画素の水平方向両側及び垂直方向両側に位置する複数の同色画素及び複数の異色画素を含む領域から、前記複数の同色画素からの第２の画素信号と前記複数の異色画素からの第３の画素信号とを前記第１の画素信号と共に発生させる画素信号発生部（５）と、前記第２の画素信号内で最大レベルの画素信号と２番目のレベルの画素信号とを抽出する第１の抽出部（６７１）と、前記第２の画素信号のレベルの平均値を算出する平均値算出部（６７３）と、前記最大レベルと前記平均値とを用いて、前記最大レベルの画素信号を発生させた画素が欠陥画素であるか否かを判定する第１の判定部（６７５）と、前記第１の判定部（６７５）によって前記最大レベルの画素信号を発生させた画素が欠陥画素ではないと判定されたとき前記最大レベルの画素信号を出力し、前記第１の判定部（６７５）によって前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定されたとき前記２番目のレベルの画素信号を
出力する選択部（６７６）と、前記第１の画素信号のレベルと前記選択部（６７６）より出力された画素信号のレベルとを用いて、前記注目画素が欠陥画素であるか否かを判定する第２の判定部（６７７）と、前記第２の判定部（６７７）によって前記注目画素が欠陥画素ではないと判定されたとき前記第１の画素信号をそのまま出力し、前記第２の判定部（６７７）によって前記注目画素が欠陥画素であると判定されたとき前記第１の画素信号に代えて前記選択部（６７６）より出力された画素信号を出力する置換部（６７８）と、前記第３の画素信号内で、２番目のレベルの画素信号と、３番目のレベルの画素信号と、前記２番目のレベルの画素信号を発生させた画素と同色の画素からの第１の最小レベルの画素信号と、前記３番目のレベルの画素信号を発生させた画素と同色の画素からの第２の最小レベルの画素信号とを抽出する第２の抽出部（６７２）と、前記第１の最小レベルが前記２番目のレベルより大の方向及び小の方向の予め定めた範囲内にあり、かつ、前記第２の最小レベルが前記３番目のレベルより大の方向及び小の方向の予め定めた範囲内にある第１の状態であるか、少なくとも一方が前記予め定めた範囲内にない第２の状態であるかを判定する第３の判定部（６７４）とを備え、前記選択部（６７６）は、前記第３の判定部（６７４）によって前記第１の状態であると判定されたとき前記２番目のレベルの画素信号を出力し、前記第３の判定部（６７４）によって前記第２の状態であると判定されたとき前記最大レベルの画素信号を出力することを特徴とする撮像装置を提供する。
【００１０】
ここで、前記第３の判定部（６７４）は、前記予め定めた範囲を前記２番目または３番目のレベルが大きいほど広くし、前記２番目または３番目のレベルが小さいほど狭くすることが好ましい。
このとき、前記第３の判定部（６７４）は、前記２番目または３番目のレベルが小さいほど前記２番目または３番目のレベルが変化したときの前記予め定めた範囲の変化量を大きくし、前記２番目または３番目のレベルが大きいほど前記２番目または３番目のレベルが変化したときの前記予め定めた範囲の変化量を小さくすることが好ましい。
【００１１】
また、本発明は、上述した従来の技術の課題を解決するため、入力された光信号を、複数色の複数の画素が水平方向及び垂直方向に配列された撮像素子によって前記複数色に対応したそれぞれの画素信号に変換して出力するステップと、前記撮像素子より順次出力される画素信号の内の１つの画素信号を注目画素から発生した第１の画素信号としたとき、前記注目画素の周囲であり前記注目画素の水平方向両側及び垂直方向両側に位置する複数の同色画素を含む領域から、前記複数の同色画素からの第２の画素信号を前記第１の画素信号と同じタイミングで発生させるステップと、前記第２の画素信号内で最大レベルの画素信号と２番目のレベルの画素信号とを抽出する第１の抽出ステップと、前記第２の画素信号のレベルの平均値を算出するステップ（Ｓ１）と、前記最大レベルと前記平均値との差を用いて、前記最大レベルの画素信号を発生させた画素が欠陥画素であるか否かを判定する第１の判定ステップ（Ｓ２）と、前記第１の判定ステップにて前記最大レベルの画素信号を発生させた画素が欠陥画素ではないと判定されたとき前記最大レベルの画素信号を選択し、前記第１の判定ステップにて前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定されたとき前記２番目のレベルの画素信号を選択する選択ステップ（Ｓ５，Ｓ６）と、前記第１の画素信号のレベルと前記選択ステップにて選択された画素信号のレベルとを用いて、前記注目画素が欠陥画素であるか否かを判定する第２の判定ステップ（Ｓ７）と、前記第２の判定ステップにて前記注目画素が欠陥画素ではないと判定されたとき前記第１の画素信号をそのまま出力し、前記第２の判定ステップにて前記注目画素が欠陥画素であると判定されたとき前記第１の画素信号に代えて前記選択ステップにて選択された画素信号を出力するステップ（Ｓ８，Ｓ９）とを含むことを特徴とする欠陥画素補正方法を提供する。
【００１２】
ここで、前記第１の判定ステップ（Ｓ２）は、前記最大レベルが前記平均値に第１のしきい値を加算した値より大きいとき、前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定することが好ましい。
前記第２の判定ステップ（Ｓ７）は、前記第１の画素信号のレベルが前記選択ステップ（Ｓ５，Ｓ６）にて選択された画素信号のレベルに第２のしきい値を加算した値より大きいとき、前記注目画素が欠陥画素であると判定することが好ましい。
【００１３】
さらに、本発明は、入力された光信号を、複数色の複数の画素が水平方向及び垂直方向に配列された撮像素子によって前記複数色に対応したそれぞれの画素信号に変換して出力するステップと、前記撮像素子より順次出力される画素信号の内の１つの画素信号を注目画素から発生した第１の画素信号としたとき、前記注目画素の周囲であり前記注目画素の水平方向両側及び垂直方向両側に位置する複数の同色画素及び複数の異色画素を含む領域から、前記複数の同色画素からの第２の画素信号と前記複数の異色画素からの第３の画素信号とを前記第１の画素信号と同じタイミングで発生させるステップと、前記第２の画素信号内で最大レベルの画素信号と２番目のレベルの画素信号とを抽出する第１の抽出ステップと、前記第２の画素信号のレベルの平均値を算出するステップ（Ｓ１）と、前記最大レベルと前記平均値とを用いて、前記最大レベルの画素信号を発生させた画素が欠陥画素であるか否かを判定する第１の判定ステップ（Ｓ２）と、前記第１の判定ステップにて前記最大レベルの画素信号を発生させた画素が欠陥画素ではないと判定されたとき前記最大レベルの画素信号を選択し、前記第１の判定ステップにて前記最大レベルの画素信号を発生させた画素が欠陥画素であると判定されたとき前記２番目のレベルの画素信号を選択する選択ステップ（Ｓ５，Ｓ６）と、前記第１の画素信号のレベルと前記選択ステップにて選択された画素信号のレベルとを用いて、前記注目画素が欠陥画素であるか否かを判定する第２の判定ステップ（Ｓ７）と、前記第２の判定ステップにて前記注目画素が欠陥画素ではないと判定されたとき前記第１の画素信号をそのまま出力し、前記第２の判定ステップにて前記注目画素が欠陥画素であると判定されたとき前記第１の画素信号に代えて前記選択ステップにて選択された画素信号を出力するステップ（Ｓ８，Ｓ９）と、前記第３の画素信号内で、２番目のレベルの画素信号と、３番目のレベルの画素信号と、前記２番目のレベルの画素信号を発生させた画素と同色の画素からの第１の最小レベルの画素信号と、前記３番目のレベルの画素信号を発生させた画素と同色の画素からの第２の最小レベルの画素信号とを抽出する第２の抽出ステップと、前記第１の最小レベルが前記２番目のレベルより大の方向及び小の方向の予め定めた範囲内にあり、かつ、前記第２の最小レベルが前記３番目のレベルより大の方向及び小の方向の予め定めた範囲内にある第１の状態であるか、少なくとも一方が前記予め定めた範囲内にない第２の状態であるかを判定する第３の判定ステップ（Ｓ３，Ｓ４）とを含み、前記選択ステップ（Ｓ５，Ｓ６）は、前記第３の判定ステップ（Ｓ３，Ｓ４）にて前記第１の状態であると判定されたとき前記２番目のレベルの画素信号を出力し、前記第３の判定ステップ（Ｓ３，Ｓ４）にて前記第２の状態であると判定されたとき前記最大レベルの画素信号を出力することを特徴とする欠陥画素補正方法を提供する。
【００１４】
ここで、前記第３の判定ステップ（Ｓ３，Ｓ４）は、前記予め定めた範囲を前記２番目または３番目のレベルが大きいほど広くし、前記２番目または３番目のレベルが小さいほど狭くすることが好ましい。
このとき、前記第３の判定ステップ（Ｓ３，Ｓ４）は、前記２番目または３番目のレベルが小さいほど前記２番目または３番目のレベルが変化したときの前記予め定めた範囲の変化量を大きくし、前記２番目または３番目のレベルが大きいほど前記２番目または３番目のレベルが変化したときの前記予め定めた範囲の変化量を小さくすることが好ましい。
【発明の効果】
【００１５】
本発明の撮像装置及びこれに用いる欠陥画素補正方法によれば、連続的な欠陥画素からの画素信号を補正することができる。また、連続的な欠陥画素からの画素信号と図柄の一部である正常な画素からの画素信号とを区別することができ、図柄の一部である場合に誤補正を防ぐことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の撮像装置及びこれに用いる欠陥画素補正方法について、添付図面を参照して説明する。図１は本発明の一実施形態に係る撮像装置の全体構成例を示すブロック図である。図１において、図示していない被写体からの入射光は撮像レンズ１によって集光されて撮像部２に照射される。撮像部２は、後述する色配列の光学フィルタ２ａとＣＣＤやＣＭＯＳ等の固体撮像素子２ｂとを有し、固体撮像素子２ｂ上に光学フィルタ２ａを設けて両者を一体化したものである。
【００１７】
図２に示すように、光学フィルタ２ａは一例として、緑（Ｇ）の色フィルタ２agと青（Ｂ）の色フィルタ２abとを水平方向に交互に配置したラインと、赤（Ｒ）の色フィルタ２arとＧの色フィルタ２agとを水平方向に交互に配置したラインとを、垂直方向に交互に配列させたものである。固体撮像素子２ｂは光学フィルタ２ａの各色フィルタ２ar，２ag，２abに対応して水平方向及び垂直方向に配列された複数の画素を有している。なお、光学フィルタ２ａとしては図２に示す色配列に限定されることはなく、他の配列であってもよく、例えばマゼンタ，シアン，黄，緑の補色フィルタであってもよい。光学フィルタ２ａにおける色配列は任意でよい。
【００１８】
図１に戻り、固体撮像素子２ｂは入力された光信号を電気信号としての画素信号に変換する。サンプルホールド（Ｓ／Ｈ）回路３は固体撮像素子２ｂより出力された各色それぞれの画素信号をサンプルホールドして出力する。Ａ／Ｄ変換器４はＳ／Ｈ回路３より出力されたアナログ信号の画素信号をデジタル信号に変換して画素信号発生部５に供給する。画素信号発生部５は、撮像部２より順次出力される画素信号の内の１つの画素信号を注目画素から発生した画素信号としたとき、一例として図２の二点鎖線で囲んだ領域Ａ１で示すように、注目画素の周囲であり注目画素の水平方向両側及び垂直方向両側に位置する複数の同色画素及び複数の異色画素を含む領域から、複数の同色画素の画素信号と複数の異色画素からの画素信号とを、注目画素からの画素信号と同じタイミングで発生させるものである。
【００１９】
画素信号発生部５は一例として図３に示すように構成される。図３において、１画素遅延器５０１〜５０６は、入力端子５００に入力された画素信号を順次１画素ずつ遅延する。ラインメモリ５０７は入力端子５００に入力された画素信号を１ライン遅延し、１画素遅延器５０８〜５１３は、ラインメモリ５０７の出力を順次１画素ずつ遅延する。ラインメモリ５１４はラインメモリ５０７の出力を１ライン遅延し、１画素遅延器５１５〜５２０は、ラインメモリ５１４の出力を順次１画素ずつ遅延する。ラインメモリ５２１はラインメモリ５１４の出力を１ライン遅延し、１画素遅延器５２２〜５２７は、ラインメモリ５２１の出力を順次１画素ずつ遅延する。さらに、ラインメモリ５２８はラインメモリ５２１の出力を１ライン遅延し、１画素遅延器５２９〜５３４は、ラインメモリ５２８の出力を順次１画素ずつ遅延する。
【００２０】
以上により、出力端子５３５〜５６９からは、図２の領域Ａ１に含まれる水平方向７画素、垂直方向５画素の計３５画素の色フィルタ２ar，２ag，２abに対応した各色の画素信号が同じタイミングで出力されることになる。なお、本実施形態では後述のように３５画素の画素信号を用いて欠陥画素の検出及び欠陥画素からの画素信号の置換（補正）を行うように構成しているが、これに限定されるものではない。撮像部２における光学フィルタ２ａの色配列に応じて最適な画素数の画素信号を用いればよい。
【００２１】
図１において、画素信号発生部５より出力された３５画素の画素信号は欠陥画素検出部６及び欠陥画素置換部７に供給される。ここでは欠陥画素検出部６及び欠陥画素置換部７を概念的に図示している。欠陥画素検出部６は、入力された３５画素の画素信号内の注目画素の画素信号が欠陥画素から得られた画素信号であるか否かを検出して、検出結果を欠陥画素置換部７に供給する。欠陥画素置換部７は、欠陥画素検出部６による検出結果に基づいて、注目画素が正常な画素の場合には注目画素からの画素信号をそのまま出力し、注目画素が欠陥画素の場合には注目画素からの画素信号を注目画素と同色の他の正常な画素からの画素信号に置換して出力する。欠陥画素検出部６及び欠陥画素置換部７のさらに具体的な構成及び動作については後に詳述することとする。
【００２２】
欠陥画素置換部７より出力された画素信号は映像信号処理部８に順次入力される。映像信号処理部８は入力された各色の画素信号に基づいて記録再生部９によって記録し、及び／または、映像表示部１１に表示するための映像信号を生成する。また、映像信号処理部８は記録再生部９や映像表示部１１に供給する映像信号に対して各種の信号処理を施して出力する。映像信号処理部８より出力された映像信号は記録再生部９とスイッチ１０の端子ａとに供給される。記録再生部９はハードディスク・ドライブ，光ディスク，磁気テープ，半導体メモリ等の任意の記録媒体を備えている。記録再生部９は、制御部１３によって映像信号を記録するよう指示された場合には、入力された映像信号を記録する。映像表示部１１は、スイッチ１０の端子ａを介して入力された映像信号を表示する。
【００２３】
制御部１３が記録再生部９に対して記録再生部９に記録された映像信号を再生するよう指示した場合は、スイッチ１０は制御部１３による制御によって端子ｂに接続するよう切り換えられる。映像表示部１１は、スイッチ１０の端子ｂを介して入力された記録再生部９による再生映像信号を表示する。
【００２４】
タイミング発生部１２は、タイミング信号を必要とする装置内の各部にタイミング信号を供給する。制御部１３は、上述した記録再生部９とスイッチ１０の他、装置内の各部を制御する。制御部１３は一例としてマイクロコンピュータによって構成することができる。図１に破線で囲んで示すように、画素信号発生部５〜映像信号処理部８の部分は１つの集積回路として構成してもよい。画素信号発生部５〜欠陥画素置換部７の部分を１つの集積回路とし、映像信号処理部８を他の集積回路として構成してもよい。装置内の各部をどのように集積回路化するかは任意である。また、本実施形態の構成の一部をソフトウェア（コンピュータプログラム）によって構成してもよく、ソフトウェアとハードウェアの使い分けも任意である。
【００２５】
次に、図４〜図９を用いて、本実施形態における欠陥画素検出部６による欠陥画素の検出方法と欠陥画素置換部７による欠陥画素の補正方法の原理について説明する。図４は、図２の一点鎖線で囲んだ領域Ａ２に含まれる水平方向５画素、垂直方向５画素の計２５画素の色フィルタ２ar，２ag，２abに対応した画素を示している。この例では中央に位置しているＢの画素を注目画素Ｐｔとする。この注目画素Ｐｔからの画素信号は図３における出力端子５５２から出力される。図４において、注目画素Ｐｔは欠陥画素であるとする。説明の都合上、図４〜図９における画素の配列をそれぞれの画素から得られる画素信号として扱う場合がある。
【００２６】
注目画素Ｐｔが欠陥画素であるか否かの検出は次にように行われる。領域Ａ２内には注目画素Ｐｔと同色の隣接画素Ｐsc1〜Ｐsc8の８画素が存在している。注目画素Ｐｔと隣接画素Ｐsc1〜Ｐsc8との間には他の色の画素が存在しているが、同色画素では隣接しているので、隣接画素と称することとする。この同色隣接画素Ｐsc1〜Ｐsc8からの画素信号の内、最大レベルＬscmaxの画素信号を発生させた画素Ｐscmaxを抽出する。なお、Ｐ，Ｌの添え字scは同色、dcは異色を示すものとする。レベルとはそれぞれの画素信号が有する輝度レベルである。注目画素ＰｔのレベルＬｔが、最大レベルＬscmaxに所定のしきい値（後述する図１３のしきい値Ｔh2）を加算した値よりも大きければ、注目画素Ｐｔは欠陥画素であると判定できる。図４の例では、隣接画素Ｐsc7が画素Ｐscmaxであるとする。注目画素Ｐｔからの画素信号を隣接画素Ｐsc7からの画素信号に置換することにより、欠陥画素である注目画素Ｐｔの画素信号が補正される。
【００２７】
この欠陥画素の補正方法では、注目画素Ｐｔと隣接画素Ｐsc1〜Ｐsc8との相関をとって最も相関の高い隣接画素を置換画素とする方法や、注目画素Ｐｔを挟んで対向する水平方向，垂直方向，２つの斜め方向のいずれが最も相関が高い方向であるかを検出して、最も相関が高い方向の一対の画素を用いて補間値を生成する方法と比較して処理が簡易であり、回路規模は小さく済む。また、補正の精度は実用上全く問題ない。
【００２８】
次に、図５を用いて、注目画素Ｐｔが欠陥画素であり、注目画素Ｐｔを取り囲む同色隣接画素Ｐsc1〜Ｐsc8のいずれかが欠陥画素となっている場合、即ち、同色画素における隣接した２つの画素が欠陥画素となっている場合の検出方法及び補正方法について説明する。図５の例では、同色隣接画素Ｐsc1〜Ｐsc8の内の隣接画素Ｐsc7が欠陥画素である。この場合、図４で説明した検出方法及び補正方法をそのまま適用すると、欠陥画素である隣接画素Ｐsc7からの画素信号が最大レベルＬscmaxとなってしまう。従って、欠陥画素である注目画素Ｐｔからの画素信号を同じく欠陥画素の隣接画素Ｐsc7からの画素信号に置換してしまうことになり、誤補正となる。そこで、以下のようにして誤補正を回避する。
【００２９】
同色隣接画素Ｐsc1〜Ｐsc8の８画素からの画素信号の平均レベルＬscaveを求める。最大レベルＬscmaxが平均レベルＬscaveに所定のしきい値（後述する図１３のしきい値Ｔh1）を加算した値よりも大きければ、最大レベルＬscmaxの画素信号を発生させた画素Ｐscmax（図５では隣接画素Ｐsc7）は正常な画素ではなく、欠陥画素であると判定できる。この場合は、画素Ｐscmaxではなく、同色隣接画素Ｐsc1〜Ｐsc8の内、２番目のレベルＬsc#2の画素信号を発生させた画素Ｐsc#2を抽出する。図５の例では、隣接画素Ｐsc6が画素Ｐsc#2であるとする。注目画素Ｐｔからの画素信号を隣接画素Ｐsc6からの画素信号に置換することにより、誤補正を回避しつつ、欠陥画素である注目画素Ｐｔの画素信号が補正される。この図４，図５で説明した検出方法及び補正方法は本実施形態による基本となる検出方法及び補正方法である。
【００３０】
但し、この図５で説明した検出方法及び補正方法を全ての場合に適用すると誤補正となってしまうことがある。そこで、以下の場合には図５の検出方法及び補正方法を実行させないようにすることが好ましい。図６〜図９で説明する検出方法及び補正方法は、上記の基本となる検出方法及び補正方法をさらに好ましい方法に発展させたものである。例えば白文字のような高輝度の画像を含む被写体を撮像して、白文字の一部が細長い図柄となっている場合を考える。このような場合には、細長い白文字部分の画素信号は欠陥画素が連続している場合の画素信号と類似の状態となる。従って、このような場合には誤補正となってしまうため、高輝度画像の図柄と連続した欠陥画素とを区別して誤補正を回避することが必要となる。
【００３１】
図６は注目画素Ｐｔを含む３画素が連続した欠陥画素となっている場合、図７は注目画素Ｐｔを含む９画素が白文字の一部である図柄である場合を示している。図６，図７はいずれの場合も、図５の場合と同様、注目画素Ｐｔを取り囲む同色隣接画素Ｐsc1〜Ｐsc8のいずれか１つが欠陥画素またはそれと同等の極めて高いレベルを有し、それ以外の隣接画素はレベルが低いという状態である。図６の場合には図５で説明した検出方法及び補正方法を適用することが必要であり、図７の場合にはそれを適用すると誤補正となってしまうので適用を回避ことが必要である。
【００３２】
そこで、図６と図７とを次のように区別する。図６と図７とを区別するため、図２の二点鎖線で囲んだ領域Ａ１に含まれる、注目画素Ｐｔとは異なる色の画素からの画素信号を用いる。上述したように、注目画素Ｐｔからの画素信号を置換するために同色隣接画素Ｐsc1〜Ｐsc8から画素Ｐscmaxまたは画素Ｐsc#2を抽出する場合には、領域Ａ２に含まれる注目画素Ｐｔを取り囲む同色の複数の隣接画素を用いる。高輝度画像の図柄と連続した欠陥画素とを区別するために注目画素Ｐｔとは異なる色の画素からの画素信号を参照する場合には、領域Ａ２よりも範囲の広い領域Ａ１に含まれる異色周辺画素からの画素信号を用いる。
【００３３】
図８，図９は、図２の二点鎖線で囲んだ領域Ａ１に含まれる水平方向７画素、垂直方向５画素の計３５画素の色フィルタ２ar，２ag，２abに対応した画素を示している。領域Ａ１内には注目画素Ｐｔと隣接した異色画素及びこの隣接した異色画素よりも外側の異色画素が存在するので、これらを異色周辺画素と称することとする。図８，図９に示すように、異色周辺画素内の２番目のレベルＬdc#2の画素信号を発生させた画素Ｐdc#2と３番目のレベルＬdc#3の画素信号を発生させた画素Ｐdc#3とを抽出する。図８，図９の例では、画素Ｐdc#2はＲの画素であり、画素Ｐdc#3はＧの画素であるが、同じ色の画素が画素Ｐdc#2，Ｐdc#3となる場合もあり得る。
【００３４】
異色周辺画素内の最大レベルの画素信号を発生させた画素を抽出しないことは本実施形態の１つの特徴である。図柄は異色周辺画素内に２画素以上の高輝度の画素を有するのに対し、連続した欠陥画素の場合は異色周辺画素内の１画素のみが欠陥画素であることが通常であるので、異色周辺画素内の最大レベルの画素信号を発生させた画素を判定に用いないことにより両者を区別することが可能となる。
【００３５】
また、画素Ｐdc#2と同色の画素内で最小レベルＬdcrminを発生させた画素Ｐdcrminと、画素Ｐdc#3と同色の画素内で最小レベルＬdcgminを発生させた画素Ｐdcgminとを抽出する。そして、レベルＬdc#2と最小レベルＬdcrminとがほぼ同じレベルであり、レベルＬdc#3と最小レベルＬdcgminとがほぼ同じレベルであれば、図８のような連続した欠陥画素であると判定できる。一方、いずれか一方でもほぼ同じレベルでない場合には、図９のような図柄であると判定できる。なお、画素Ｐdc#2，Ｐdc#3がいずれもＲの画素であれば、レベルＬdc#2，Ｌdc#3と最小レベルＬdcrminとがそれぞれほぼ同じレベルであるかを検出すればよく、画素Ｐdc#2，Ｐdc#3がいずれもＧの画素であれば、レベルＬdc#2，Ｌdc#3と最小レベルＬdcgminとがそれぞれほぼ同じレベルであるかを検出すればよい。ほぼ同じレベルであるとは、比較する両者の差分が所定の範囲内に収まっているということであり、この所定の範囲の詳細については後に詳述する。
【００３６】
図柄ではなく、連続した欠陥画素であると判定した場合には図５の場合と同様に、注目画素Ｐｔからの画素信号を２番目のレベルＬsc#2の画素信号を発生させた画素Ｐsc#2からの画素信号に置換することにより、欠陥画素である注目画素Ｐｔの画素信号が補正される。図柄であると判定場合には、注目画素Ｐｔの画素信号をそのまま出力させる。
【００３７】
ところで、領域Ａ１は、領域Ａ２に対して水平方向両側に１列ずつ付加することによって領域を拡大したものである。なお、領域Ａ２に対して垂直方向両側に１行ずつ付加して拡大した領域を領域Ａ１としてもよい。領域Ａ２に対して水平方向両側と垂直方向両側の双方に領域を拡大してもよい。領域を拡大しすぎると上記の図柄であるか否かの判定に誤判定が発生しやすくなる。従って、図柄であるか否かを判定するために用いる異色周辺画素の範囲は、同色隣接画素から画素Ｐscmaxまたは画素Ｐsc#2を抽出するための領域Ａ２を水平方向両側に１列ずつまたは垂直方向両側に１行ずつ拡大した領域Ａ１とすることが好ましい。但し、垂直方向両側に拡大する場合には、図３におけるラインメモリの数を増大させなければならないので、領域Ａ２を水平方向両側に１列ずつ拡大する方が好ましい。
【００３８】
ここで、上述したほぼ同じレベルであるか否かを決定する所定の範囲について説明する。図１０（Ａ）は画素Ｐdc#２からの画素信号が高輝度でレベルＬdc#2が高く、図１０（Ｂ）は画素Ｐdc#3からの画素信号が低輝度でレベルＬdc#3が低い状態を概念的に示している。画素Ｐdcrminの最小レベルＬdcrmin、画素Ｐdcgminの最小レベルＬdcgminはそれぞれ図示の状態であるとする。最小レベルＬdcrmin，Ｌdcgminのいずれかであり、色を特定しない最小レベルをＬdcminと表記し、画素Ｐdcrmin，Ｐdcgminのいずれかであり、最小レベルＬdcminの画素信号を発生させた色を特定しない画素を画素Ｐdcminと表記することとする。
【００３９】
図１０（Ａ），（Ｂ）に示すように、最小レベルＬdcminがレベルＬdc#2，Ｌdc#3から負方向のしきい値Ｔh0-内か、または、正方向のしきい値Ｔh0+内である場合にほぼ同じレベルであるとする。即ち、最小レベルＬdcminがレベルＬdc#2，Ｌdc#3を中央値としてレベルが大きくなる方向及び小さくなる方向の所定の範囲Ｔh0内に収まっているか否かによってほぼ同じレベルであるか否かを決定する。このとき、範囲Ｔh0（しきい値Ｔh0-，Ｔh0+）はレベルＬdc#2，Ｌdc#3のレベルの大小に応じて可変することが好ましい。図１０（Ａ）においては、レベルＬdc#2が高いため範囲Ｔh0は広くなっており、図１０（Ｂ）においては、レベルＬdc#3が低いため範囲Ｔh0は狭くなっている。
【００４０】
図１０（Ａ），（Ｂ）の説明より分かるように、レベルＬdc#2，Ｌdc#3が大きいほど最小レベルＬdcminとほぼ同じレベルであると判断する判断基準が緩やかとなり、レベルＬdc#2，Ｌdc#3が小さいほど最小レベルＬdcminとほぼ同じレベルであると判断する判断基準が厳しくなる。このように、画素Ｐdc#2，Ｐdc#3のレベルＬdc#2，Ｌdc#3が大きいほど範囲Ｔh0を広くし、レベルＬdc#2，Ｌdc#3が小さいほど範囲Ｔh0を狭くすることにより、レベルＬdc#2，Ｌdc#3がどのようなレベルであっても、連続した欠陥画素と図柄とを区別するための“ほぼ同じレベル”であるか否かの判定を正確に行うことが可能となる。なお、ここではレベルＬdc#2，Ｌdc#3が大きいほど範囲Ｔh0を広くするとしたが、レベルＬdc#2，Ｌdc#3が所定の高輝度以上で範囲Ｔh0を一定としてもよい。
【００４１】
引き続き、範囲Ｔh0を決める負方向のしきい値Ｔh0-と正方向のしきい値Ｔh0+のさらに好ましい例について説明する。しきい値Ｔh0-，Ｔh0+はレベルＬdc#2，Ｌdc#3の大小に応じて非線形に変化させることが好ましい。しきい値Ｔh0-，Ｔh0+はレベルＬdc#2，Ｌdc#3の大小に無関係の一定部分である固定しきい値部Ｔh0baseとレベルＬdc#2，Ｌdc#3の大小に応じて非線形に変化する非線形しきい値部Ｔh0variとを加算した値としてもよく、レベルＬdc#2，Ｌdc#3の大小に応じて非線形に変化する非線形しきい値部Ｔh0variのみとしてもよい。ここでは固定しきい値部Ｔh0baseと非線形しきい値部Ｔh0variとを加算した値とする場合について説明する。固定しきい値部Ｔh0baseと非線形しきい値部Ｔh0variとを加算した値は、しきい値Ｔh0-，Ｔh0+それぞれの値を決定するためのものである。
【００４２】
図１１は、レベルＬdc#2，Ｌdc#3の大小に応じて非線形に変化する非線形しきい値部Ｔh0variの特性例を示している。図１１の例では、レベルＬdc#2，Ｌdc#3を１２ビットとし、０から４０９５までの値をとる場合を示している。レベルＬdc#2，Ｌdc#3の値が０から２０４７までの範囲においては非線形しきい値部Ｔh0variを値０から１８０まで変化する曲線状とし、２０４８以上では値１８０で固定としている。非線形しきい値部Ｔh0variの値は単なる例である。レベルＬdc#2，Ｌdc#3を１１ビットとした場合には、非線形しきい値部Ｔh0variを値０から１８０まで変化する曲線状のみとしてもよい。非線形しきい値部Ｔh0variは、必ずしもレベルＬdc#2，Ｌdc#3が所定の値を超えた部分を固定とする必要はない。
【００４３】
値０から１８０まで変化する曲線状の非線形しきい値部Ｔh0variにおいては、レベルＬdc#2，Ｌdc#3が小さいほど（低輝度となるほど）、レベルＬdc#2，Ｌdc#3のわずかな変化でも非線形しきい値部Ｔh0variの値が大きく変化するよう変化量を大きくし、レベルＬdc#2，Ｌdc#3が大きいほど（高輝度となるほど）、非線形しきい値部Ｔh0variの変化量を小さくした特性となっている。
【００４４】
図１２（Ａ）は最低輝度時のしきい値Ｔh0-，Ｔh0+を示しており、固定しきい値部Ｔh0baseのみである。図１２（Ｂ）は中間輝度時のしきい値Ｔh0-，Ｔh0+、図１２（Ｃ）はレベル２０４８以上の高輝度時のしきい値Ｔh0-，Ｔh0+を示している。図１２（Ｂ），（Ｃ）の場合はいずれも固定しきい値部Ｔh0baseと非線形しきい値部Ｔh0variとを加算した値がしきい値Ｔh0-，Ｔh0+となる。このように、レベルＬdc#2，Ｌdc#3が小さいほど非線形しきい値部Ｔh0variの変化量を大きくし、大きいほど変化量を小さくすることにより、画素欠陥が比較的目立つ低輝度では注目画素Ｐｔが補正されやすくなり、画素欠陥が比較的目立たない高輝度では注目画素Ｐｔが補正されにくくなる。従って、注目画素Ｐｔが高輝度の場合には過剰な補正を抑制することができ誤補正を効果的に防ぐことが可能となる。
【００４５】
次に、図１３に示すフローチャートを用いて、以上詳述した本実施形態における欠陥画素の検出方法と欠陥画素の補正方法の原理に基づいた欠陥画素検出部６及び欠陥画素置換部７それぞれの動作について説明する。図１３において、欠陥画素検出部６は、ステップＳ１にて、注目画素Ｐｔの同色隣接画素Ｐsc1〜Ｐsc8の画素信号の平均レベルＬscaveを算出する。欠陥画素検出部６は、ステップＳ２にて、同色隣接画素Ｐsc1〜Ｐsc8内の最大レベルＬscmaxを有する画素Ｐscmaxを求め、最大レベルＬscmaxが、平均レベルＬscaveにしきい値Ｔh1を加算した値（Ｌscave＋Ｔh1）を超えるか否かを判定する。最大レベルＬscmaxが値（Ｌscave＋Ｔh1）を超えなければ（No）、最大レベルＬscmaxの画素信号を発生させた画素Ｐscmaxは正常な画素であると判断できるので、ステップＳ５に移る。
【００４６】
ステップＳ２にて最大レベルＬscmaxが値（Ｌscave＋Ｔh1）を超えていれば（Yes）、ステップＳ３，Ｓ４に移る。ステップＳ３，Ｓ４の順は逆であってもよい。欠陥画素検出部６は、ステップＳ３にて、異色周辺画素における２番目のレベルＬdc#2の画素信号を発生させた画素Ｐdc#2と、画素Ｐdc#2と同色の画素内で最小レベルＬdcminを発生させた画素Ｐdcminとを抽出し、レベルＬdc#2と最小レベルＬdcminとがほぼ同じレベルであるか否かを判定する。ほぼ同じレベルであるか否かの判断基準は上述した通りである。ほぼ同じレベルであれば（Yes）ステップＳ４に移り、ほぼ同じレベルでなければ（No）ステップＳ５に移る。
【００４７】
そして、欠陥画素検出部６は、ステップＳ４にて、異色周辺画素における３番目のレベルＬdc#3の画素信号を発生させた画素Ｐdc#3と、画素Ｐdc#3と同色の画素内で最小レベルＬdcminを発生させた画素Ｐdcminとを抽出し、レベルＬdc#3と最小レベルＬdcminとがほぼ同じレベルであるか否かを判定する。ほぼ同じレベルであれば（Yes）ステップＳ６に移り、ほぼ同じレベルでなければ（No）ステップＳ５に移る。
【００４８】
以上の一連の工程において、ステップＳ２にて最大レベルＬscmaxが値（Ｌscave＋Ｔh1）を超えていないと判定された場合は、図４に相当する状態である。また、ステップＳ３，Ｓ４にてレベルＬdc#2，Ｌdc#3の少なくとも一方が最小レベルＬdcminとほぼ同じレベルでないと判定された場合は、図７に相当する状態である。これらの場合、欠陥画素検出部６は、ステップＳ５にて、同色隣接画素Ｐsc1〜Ｐsc8における最大レベルＬscmaxの画素信号を発生させた画素Ｐscmaxを置換画素Ｐｒとする。
【００４９】
一方、ステップＳ２にて最大レベルＬscmaxが値（Ｌscave＋Ｔh1）を超えていると判定され、ステップＳ３，Ｓ４にてレベルＬdc#2，Ｌdc#3の双方が最小レベルＬdcminとほぼ同じレベルであると判定された場合は、図５，図６に相当する状態である。この場合、欠陥画素検出部６は、ステップＳ６にて、同色隣接画素Ｐsc1〜Ｐsc8における２番目のレベルＬsc#2の画素信号を発生させた画素Ｐsc#2を置換画素Ｐｒとする。
【００５０】
ステップＳ５またはＳ６にて置換画素Ｐｒが決定したら、ステップＳ７に移る。欠陥画素検出部６は、ステップＳ７にて、注目画素ＰｔのレベルＬｔが、置換画素ＰｒのレベルＬｒにしきい値Ｔh2を加算した値（Ｌｒ＋Ｔh2）を超えるか否か判定する。レベルＬｔが値（Ｌｒ＋Ｔh2）を超えなければ（No）ステップＳ８に移り、レベルＬｔが値（Ｌｒ＋Ｔh2）を超えれば（Yes）ステップＳ９に移る。レベルＬｔが値（Ｌｒ＋Ｔh2）を超えない状態とは、注目画素Ｐｔが欠陥画素でない場合か、欠陥画素からの画素信号と同等の高輝度信号であるが、図７のように絵柄の一部であると判定された場合である。そこで、欠陥画素置換部７は、ステップＳ８にて、欠陥画素検出部６による指示に基づいて、注目画素Ｐｔからの画素信号をそのまま出力させる。
【００５１】
一方、レベルＬｔが値（Ｌｒ＋Ｔh2）を超える状態とは注目画素Ｐｔが欠陥画素である場合であるので、欠陥画素置換部７は、ステップＳ９にて、欠陥画素検出部６による指示に基づいて、注目画素Ｐｔからの画素信号を置換画素Ｐｒからの画素信号に置換して出力する。この置換画素Ｐｒからの画素信号は、図４のように注目画素Ｐｔのみが欠陥画素となっている場合には同色隣接画素Ｐsc1〜Ｐsc8からの画素信号における最大レベルＬscmaxを示す信号あり、図５，図６のように同色隣接画素内の１つが欠陥画素となっている場合には同色隣接画素Ｐsc1〜Ｐsc8からの画素信号における２番目のレベルＬsc#2を示す信号である。
【００５２】
図１４は、図１３で説明した欠陥画素検出部６及び欠陥画素置換部７における動作をハードウェアによって構成した場合の構成例である。図１４は一構成例であり、本発明はこれに限定されるものではない。図１４において、順位付け部６７１には同色隣接画素Ｐsc1〜Ｐsc8からの画素信号が入力され、順位付け部６７２には異色周辺画素からの画素信号が入力される。順位付け部６７１は、同色隣接画素Ｐsc1〜Ｐsc8からの画素信号を順位付けすることによって最大レベルＬscmaxと２番目のレベルＬsc#２とを抽出して選択部６７６に供給する。また、順位付け部６７１は、同色隣接画素Ｐsc1〜Ｐsc8からの画素信号を同色隣接画素平均値算出部６７３に供給する。なお、順位付け部６７１は例えば複数の比較器によって構成することができる。
【００５３】
順位付け部６７２は、異色周辺画素からの画素信号を順位付けすることによって異色周辺画素内の２番目のレベルＬdc#2と３番目のレベルＬdc#3と最小レベルＬdcminを抽出して判定部６７４に供給する。なお、順位付け部６７２は例えば複数の比較器によって構成することができる。順位付け部６７１は、同色隣接画素Ｐsc1〜Ｐsc8からの画素信号から最大レベルＬscmaxと２番目のレベルＬsc#２とを抽出する抽出部として動作している。順位付け部６７２は、異色周辺画素内からの画素信号から２番目のレベルＬdc#2と３番目のレベルＬdc#3と最小レベルＬdcminを抽出する抽出部として動作している。最小レベルＬdcminは、前述のように、２番目のレベルＬdc#2を示す画素Ｐdc#2と３番目のレベルＬdc#3を示す画素Ｐdc#3とが同じ色の画素であればその色の画素の最小レベルを示す１つの画素信号であり、異なる色の画素であればそれぞれの色の画素の最小レベルを示す２つの画素信号である。
【００５４】
同色隣接画素平均値算出部６７３は、入力された同色隣接画素Ｐsc1〜Ｐsc8の画素信号の平均値Ｌscaveを算出して、判定部６７５内の加算器6751に供給する。加算器6751は、平均値Ｌscaveとしきい値発生部6752から発生されたしきい値Ｔh1とを加算した値（Ｌscave＋Ｔh1）を比較器6753に供給する。比較器6753は、最大レベルＬscmaxと値（Ｌscave＋Ｔh1）とを比較して、最大レベルＬscmaxが値（Ｌscave＋Ｔh1）を超える場合に例えば１の判定信号を、超えない場合に例えば０の判定信号を選択部６７６に供給する。このように、判定部６７５は、最大レベルＬscmaxと平均値Ｌscaveとを用いて画素Ｐscmaxが欠陥画素であるか否かを判定している。
【００５５】
判定部６７４は、レベルＬdc#2，レベルＬdc#3と最小レベルＬdcminとの差がしきい値発生部6741から発生されたしきい値Ｔh0-，Ｔh0+によって決まる範囲Ｔh0に収まっている否かを判定する。次の（１）式，（２）式を満足すれば、レベルＬdc#2，Ｌdc#3と最小レベルＬdcminとはほぼ同じレベルである。
（Ｌdc#2）−（Ｔh0-）＜Ｌdcmin＜（Ｌdc#2）＋（Ｔh0+）  …（１）
（Ｌdc#3）−（Ｔh0-）＜Ｌdcmin＜（Ｌdc#3）＋（Ｔh0+）  …（２）
【００５６】
範囲Ｔh0はレベルＬdc#2，Ｌdc#3に応じて可変される。しきい値発生部6741は、レベルＬdc#2，Ｌdc#3に応じたしきい値Ｔh0-，Ｔh0+を発生するテーブルであってもよく、所定の計算式を用いてレベルＬdc#2，Ｌdc#3に応じたしきい値Ｔh0-，Ｔh0+を発生する計算部であってもよい。判定部６７４は、レベルＬdc#2，Ｌdc#3と最小レベルＬdcminとがほぼ同じレベルとき例えば１の判定信号を、レベルＬdc#2，Ｌdc#3の少なくとも一方が最小レベルＬdcminとほぼ同じレベルでないとき例えば０の判定信号を選択部６７６に供給する。
【００５７】
選択部６７６は、判定部６７５からの判定信号が０のときは判定部６７４からの判定信号の値に関係なく、画素Ｐscmaxからの画素信号である最大レベルＬscmaxを選択する。本実施形態においては好ましい構成として判定部６７４を設けており、選択部６７６は、判定部６７５からの判定信号が１のときには、判定部６７４からの判定信号が０であれば最大レベルＬscmaxを選択し、判定部６７４からの判定信号が１であれば画素Ｐsc#2からの画素信号である２番目のレベルＬsc#2を選択する。
【００５８】
選択部６７６によって選択された最大レベルＬscmaxまたは２番目のレベルＬsc#2は、置換画素Ｐｒの画素信号Ｌｒとして判定部６７７の加算器6771に入力される。加算器6771は、レベルＬｒとしきい値発生部6772から発生されたしきい値Ｔh2とを加算した値（Ｌｒ＋Ｔh2）を比較器6773に供給する。比較器6773には、注目画素Ｐｔからの画素信号であるレベルＬｔが入力される。比較器6773は、レベルＬｔと値（Ｌｒ＋Ｔh2）とを比較して、レベルＬｔが値（Ｌｒ＋Ｔh2）を超える場合に例えば１の判定信号を、超えない場合に例えば０の判定信号を置換部６７８に供給する。このように、判定部６７７は、注目画素ＰｔのレベルＬｔと置換画素ＰｒのレベルＬｒとを用いて注目画素Ｐｔが欠陥画素であるか否かを判定している。
【００５９】
置換部６７８の端子ａには注目画素Ｐｔからの画素信号であるレベルＬｔが入力され、端子ｂには選択部６７６より出力された置換画素Ｐｒからの画素信号であるレベルＬｒが入力される。置換部６７８は、判定部６７７からの判定信号が０のときはレベルＬｔをそのまま出力し、１のときはレベルＬｔに代えてレベルＬｒを出力する。
【００６０】
以上の構成及び動作によって、注目画素Ｐｔが欠陥画素である図４に示すような場合に注目画素Ｐｔからの画素信号が補正される。また、注目画素Ｐｔが欠陥画素であり、同色隣接画素Ｐsc1〜Ｐsc8内の１つも欠陥画素となっていて、連続した２つの同色画素が欠陥画素となっている図５，図６に示すような場合にも、注目画素Ｐｔからの画素信号が適正に補正される。さらには、図６のような連続した欠陥画素と図７のような絵柄とを的確に区別して、連続した欠陥画素の場合の注目画素Ｐｔからの画素信号が適正に補正される。
【００６１】
以上の説明より分かるように、本実施形態においては、同色隣接画素Ｐsc1〜Ｐsc8内の最大レベルＬscmaxの画素Ｐscmaxが欠陥画素であるであると判定した場合には２番目のレベルＬsc#2の画素Ｐsc#2を置換画素Ｐｒとして用いるものの、同色隣接画素Ｐsc1〜Ｐsc8内の３番目のレベル以降の画素を置換画素Ｐｒとして用いていない。これは、３番目のレベル以降の画素を置換画素Ｐｒとして用いると誤補正が発生しやすくなるためである。従って、本実施形態によれば誤補正の少ない撮像装置及び欠陥画素補正方法を提供することが可能である。
【００６２】
図１において、映像信号処理部８に順次供給される画素信号はそれぞれ注目画素の画素信号として上述した本実施形態による処理が施された上で出力されるので、撮像部２からの撮像信号に欠陥画素からの画素信号が含まれていても欠陥画素からの画素信号はリアルタイムで補正されることになる。なお、記録再生部９に記録したり、映像表示部１１に表示したりする映像信号は、撮像部２の全ての画素からの画素信号を用いて生成したものではない。撮像部２の水平方向両端部及び垂直方向両端部の画素からの画素信号は映像信号の生成には使用していない。従って、映像信号の各フレームの水平方向両端部及び垂直方向両端部の画素信号を含め全ての画素信号に対して上述した本実施形態による処理が施される。
【００６３】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態に係る撮像装置の全体構成例を示すブロック図である。
【図２】図１における光学フィルタ２ａの色配列の一例を示す図である。
【図３】図１における画素信号発生部５の構成例を示すブロック図である。
【図４】本発明の一実施形態における欠陥画素の検出方法と補正方法の原理について説明するための図である。
【図５】本発明の一実施形態における欠陥画素の検出方法と補正方法の原理について説明するための図である。
【図６】本発明の一実施形態における欠陥画素の検出方法と補正方法の原理について説明するための図である。
【図７】本発明の一実施形態における欠陥画素の検出方法と補正方法の原理について説明するための図である。
【図８】本発明の一実施形態における欠陥画素の検出方法と補正方法の原理について説明するための図である。
【図９】本発明の一実施形態における欠陥画素の検出方法と補正方法の原理について説明するための図である。
【図１０】本発明の一実施形態で用いるしきい値を説明するための図である。
【図１１】本発明の一実施形態で用いる非線形なしきい値の特性を説明するための図である。
【図１２】本発明の一実施形態で用いる非線形なしきい値の例を示す図である。
【図１３】図１における欠陥画素検出部６及び欠陥画素置換部７の動作を説明するためのフローチャートである。
【図１４】図１における欠陥画素検出部６及び欠陥画素置換部７の具体的な構成例を示すブロック図である。
【符号の説明】
【００６５】
１  撮像レンズ
２  撮像部
２ａ  光学フィルタ
２ｂ  固体撮像素子
５  画素信号発生部
６  欠陥画素検出部
７  欠陥画素置換部
８  映像信号処理部
９  記録再生部
１１  映像表示部
【図１】
0005056501.tif 000002
【図２】
0005056501.tif 000003
【図３】
0005056501.tif 000004
【図４】
0005056501.tif 000005
【図５】
0005056501.tif 000006
【図６】
0005056501.tif 000007
【図７】
0005056501.tif 000008
【図８】
0005056501.tif 000009
【図９】
0005056501.tif 000010
【図１０】
0005056501.tif 000011
【図１１】
0005056501.tif 000012
【図１２】
0005056501.tif 000013
【図１３】
0005056501.tif 000014
【図１４】
0005056501.tif 000015