(57)【要約】【課題】  画素欠陥を精度良く検出・補正することで、画質の劣化が少ない高品質な画像を得ることができる画素欠陥補正装置を提供することを目的とする。【解決手段】  画素欠陥補正装置１０は、映像を入力する画像信号入力部１１と、画像信号入力部１１に入力された映像において、欠陥画素であるか否かの検査対象画素の周囲の同色画素値の変化量を算出する周囲同色画素最大値算出部１２および周囲同色画素最小値算出部１３と、検査対象画素の周囲の画素の輝度値を算出する周囲輝度値算出部１４と、同色画素値の変化量と輝度値とに基づいて欠陥画素を検出するための閾値を算出する閾値算出部１５と、閾値を用いて検査対象画素が欠陥画素であるかを判定する比較器１６と、比較器１６にて検出された欠陥画素の画素値を補正するセレクタ１７とを備える。【選択図】  図１
2006148748.tif 000002
【特許請求の範囲】
【請求項１】
映像を入力する映像入力手段と、
前記映像入力手段に入力された映像において、欠陥画素であるか否かの検査対象画素の周囲の同色画素値の変化量を算出する変化量算出手段と、
前記検査対象画素の周囲の画素の輝度値を算出する輝度値算出手段と、
前記同色画素値の変化量と前記輝度値とに基づいて欠陥画素を検出するための閾値を算出する閾値算出手段と、
前記閾値を用いて前記検査対象画素が欠陥画素であるかを判定する欠陥画素検出手段と、
前記欠陥画素検出手段にて検出された欠陥画素の画素値を補正する補正手段と、
を備えたことを特徴とする画素欠陥補正装置。
【請求項２】
前記映像入力手段に備えられた撮像素子の欠陥画素の座標を記録する記録手段を備え、
前記補正手段は、前記記録手段に記録された座標の欠陥画素の画素値を補正することを特徴とする請求項１に記載の画素欠陥補正装置。
【請求項３】
前記閾値算出手段は、前記同色画素値の変化量が大きい場合に、変化量が小さい場合より大きい閾値を算出することを特徴とする請求項１に記載の画素欠陥補正装置。
【請求項４】
前記閾値算出手段は、前記輝度値が大きい場合に、輝度値が小さい場合より大きい閾値を算出することを特徴とする請求項１に記載の画素欠陥補正装置。
【請求項５】
映像を入力する映像入力手段と、
前記映像入力手段に入力された映像において、欠陥画素であるか否かの検査対象画素の周囲の同色画素値の変化量を算出する変化量算出手段と、
前記検査対象画素の周囲の画素の輝度値を算出する輝度値算出手段と、
前記同色画素値の変化量と前記輝度値とに基づいて前記検査対象画素が欠陥画素であるかを判定する欠陥画素検出手段と、
前記欠陥画素検出手段にて検出された欠陥画素の画素値を補正する補正手段と、
を備えたことを特徴とする画素欠陥補正装置。
【請求項６】
映像を入力する映像入力ステップと、
前記映像入力ステップで入力された映像において、欠陥画素であるか否かの検査対象画素の周囲の同色画素値の変化量を算出する変化量算出ステップと、
前記検査対象画素の周囲の画素の輝度値を算出する輝度値算出ステップと、
前記同色画素値の変化量と前記輝度値とに基づいて欠陥画素を検出するための閾値を算出する閾値算出ステップと、
前記閾値を用いて検査対象画素が欠陥画素であるかを判定する欠陥画素検出ステップと、
前記欠陥画素検出ステップにおいて検出された欠陥画素の画素値を補正する補正ステップと、
を備えたことを特徴とする画素欠陥補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等のディジタル画像処理に関し、特に固体撮像素子の画素欠陥の検出補正を行う装置に関する。
【背景技術】
【０００２】
固体撮像素子には、入射する光量とは無関係な出力をする欠陥画素（キズ）が存在することが知られている。これは画像には黒い点の黒キズ、白い点の白キズとして現れる。またデバイスの温度が高くなると電荷蓄積の異常が発生し、温度キズと呼ばれるキズが画像に発生することがある。
【０００３】
欠陥画素に対しては補正処理を行い画質の劣化を抑えることが求められる。欠陥画素の補正には予め欠陥画素の座標情報を不揮発性メモリに記録しておき、その座標の画素を補正する方式と、周囲の画像情報から欠陥画素を検出して補正する方式がある。
【０００４】
特許文献１は、周囲の画像情報から欠陥画素を検出して補正する方式を開示している。同文献に記載の装置では、検査対象画素が欠陥画素であるか否かを判定する場合、検査対象画素が持つ色とは別の色フィルタを持つ周辺の画素における周波数特性を用いて、検査対象画素が高周波成分を持たないことをチェックする。その後、その検査対象画素が高周波成分を持つことが検出されたときに、その画素がキズであると検出する。
【０００５】
具体的には、第１段階の第１の処理を行う検査対象画素が持つ色と別の色の画素に対して帯域フィルタリングを行う。第２の処理としてこの絶対値を求める。この結果を第３の処理として外部から設定される閾値より小さいかどうか比較する。この場合は、検査対象画素以外の色信号をそれぞれ独立に検査を行うことになる。
【０００６】
この第１段階の検査により検査対象画素周辺に高域周波数成分がないことが確認できたことになる。一般に低域成分においては、他色間においても高い相関性があることが知られており、検査対象画素が高域成分を持たないと仮定できる。
【０００７】
次に行う第２段階の検査は、検査対象画素自体の周波数特性を調べるものである。また、検査対象画素が白キズである場合、この信号レベルは他の画素より大きくなるはずであるので、第１段階のように絶対値を取る必要はない。すなわち、検査対象画素の値からその周辺画素の値を引き、外部設定の閾値と比較した結果、これらの検査項目すべてをクリアした場合、検査対象画素が白キズであるとする。
【特許文献１】特開２００１−８６５１７号公報（３頁）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１のように、検査対象画素周辺の画像情報から画素欠陥を検出するためには、あらかじめ判定の閾値を設定しておく必要がある。しかし、撮像条件の異なる画像では輝度や先鋭度が異なり、また一枚の画像内でも輝度や先鋭度が異なる部分が存在することが通常であり、その全てにおいて正確な判定を行うことの出来る閾値を設定することは困難である。
【０００９】
例えば一面暗い被写体を写した時、少しの信号量の画素欠陥であっても非常に目だってしまう。これを検出するために閾値を下げると、明るい画像では画像のエッジ部分を誤検出してしまい、誤補正による画質劣化の原因となる。
【００１０】
本発明は、上記背景に鑑みてなされたもので、画像の暗い部分から明るい部分まで、また平坦な部分からエッジ部分まで、誤検出なく欠陥画素を検出して補正することができる画素欠陥補正装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画素欠陥補正装置は、映像を入力する映像入力手段と、前記映像入力手段に入力された映像において、欠陥画素であるか否かの検査対象画素の周囲の同色画素値の変化量を算出する変化量算出手段と、前記検査対象画素の周囲の画素の輝度値を算出する輝度値算出手段と、前記同色画素値の変化量と前記輝度値とに基づいて欠陥画素を検出するための閾値を算出する閾値算出手段と、前記閾値を用いて前記検査対象画素が欠陥画素であるかを判定する欠陥画素検出手段と、前記欠陥画素検出手段にて検出された欠陥画素の画素値を補正する補正手段とを備えた構成を有する。
【００１２】
このように検査対象画素が欠陥画素であるか否かを判定するために用いる閾値を、周囲の同色画素値の変化量と輝度値とに基づいて算出することにより、撮影条件等に応じて異なる映像の特性に応じた閾値を求めることができる。従って、映像の暗い部分から明るい部分まで、また平坦な部分からエッジ部分まで、誤検出なく画素欠陥を検出し補正する画素欠陥補正装置を実現することができる。
【００１３】
上記画素欠陥補正装置は、前記映像入力手段に備えられた撮像素子の欠陥画素の座標を記録する記録手段を備え、前記補正手段は、前記記録手段に記録された座標の欠陥画素の画素値を補正してもよい。
【００１４】
この構成により、例えば、映像に大きい影響を与える欠陥画素の座標をあらかじめ記録しておくことにより、閾値算出部にて算出された閾値で検出し損なった欠陥画素を確実に補正できる。
【００１５】
上記画素欠陥補正装置において、前記閾値算出手段は、前記同色画素値の変化量が大きい場合に、変化量が小さい場合より大きい閾値を算出してもよい。
【００１６】
このように変化量の大きい部分にある画素においては大きい閾値を用いることにより、画像のエッジ部分の誤検出を低減できる。
【００１７】
上記画素欠陥補正装置において、前記閾値算出手段は、前記輝度値が大きい場合に、輝度値が小さい場合より大きい閾値を算出してもよい。
【００１８】
この構成により、輝度値が大きい明るい画像の場合に画像のエッジ部分の誤検出を低減できるとともに、輝度値の小さい暗い画像の場合に画素欠陥を精度良く画素欠陥を検出できる。
【００１９】
本発明の別の態様に係る画素欠陥補正装置は、映像を入力する映像入力手段と、前記映像入力手段に入力された映像において、欠陥画素であるか否かの検査対象画素の周囲の同色画素値の変化量を算出する変化量算出手段と、前記検査対象画素の周囲の画素の輝度値を算出する輝度値算出手段と、前記同色画素値の変化量と前記輝度値とに基づいて前記検査対象画素が欠陥画素であるかを判定する欠陥画素検出手段と、前記欠陥画素検出手段にて検出された欠陥画素の画素値を補正する補正手段とを備えた構成を有する。
【００２０】
このように周囲の同色画素値の変化量と輝度値とに基づいて欠陥画素を検出することにより、映像の特性等に応じて適切に欠陥画素を検出可能となる。従って、映像の暗い部分から明るい部分まで、また平坦な部分からエッジ部分まで、誤検出なく画素欠陥を検出し補正する画素欠陥補正装置を実現することができる。
【００２１】
本発明の画素欠陥補正方法は、映像を入力する映像入力ステップと、前記映像入力ステップで入力された映像において、欠陥画素であるか否かの検査対象画素の周囲の同色画素値の変化量を算出する変化量算出ステップと、前記検査対象画素の周囲の画素の輝度値を算出する輝度値算出ステップと、前記同色画素値の変化量と前記輝度値とに基づいて欠陥画素を検出するための閾値を算出する閾値算出ステップと、前記閾値を用いて検査対象画素が欠陥画素であるかを判定する欠陥画素検出ステップと、前記欠陥画素検出ステップにおいて検出された欠陥画素の画素値を補正する補正ステップとを備えた構成を有する。
【００２２】
この構成により、本発明の画素欠陥補正装置と同様に、映像の暗い部分から明るい部分まで、また平坦な部分からエッジ部分まで、誤検出なく画素欠陥を検出し補正する画素欠陥補正方法を実現することができる。また、本発明の画素欠陥補正装置の各種の構成を、本発明の画素欠陥補正方法に適用することも可能である。
【発明の効果】
【００２３】
本発明によれば、検査対象画素が欠陥画素であるか否かの判定に用いる閾値を、周囲の同色画素値の変化量と輝度値とに基づいて算出することにより、撮影条件等に応じて異なる映像の特性に応じた閾値を求めるので、映像の暗い部分から明るい部分まで、また平坦な部分からエッジ部分まで、誤検出なく画素欠陥を検出し補正する画素欠陥補正装置を実現することができるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２５】
図１は、本発明の第１の実施の形態の画素欠陥補正装置１０の構成を示すブロック図である。図１に示すように、画素欠陥補正装置１０は、画像信号入力部１１、周囲同色画素最大値算出部１２、周囲同色画素最小値算出部１３、周囲輝度値算出部１４、閾値算出部１５、比較器１６、セレクタ１７、画像信号出力部１８を備えている。閾値算出部１５は、周囲同色画素最大値算出部１２、周囲同色画素最小値算出部１３、および周囲輝度値算出部１４から出力された信号を演算する加算器、減算器、積算器によって構成される。
【００２６】
画像信号入力部１１は、画素単位の信号を順次入力する。周囲画素の信号を得るには複数ラインの信号が必要なので、ラインメモリ等を使用して複数列の画像信号を並列に入力する。ここでは、５ライン使用する例について説明しているが、ライン数は５本に限定されるものではない。
【００２７】
周囲同色画素最大値算出部１２、周囲同色画素最小値算出部１３では、市松状または格子状に並んだ複数種類の色の信号から、検査対象画素と同色の信号の最大値Ｓ１、最小値Ｓ２を求める。この際、周囲同色画素最大値算出部１２、周囲同色画素最小値算出部１３は、検査対象画素の値を最大値あるいは最小値の比較の対象に含めない。
【００２８】
周囲輝度値算出部１４では、検査対象画素の周囲の画素の輝度値Ｓ４を算出する。補色信号処理では、隣接する画素の信号の和によって簡易に輝度値を求めることができる。この際、周囲輝度値算出部１４は、検査対象画素の値を計算対象に含めない。
【００２９】
上記で求めた同色信号の最大値Ｓ１と最小値Ｓ２との差分を周囲の同色画素値の変化量Ｓ５とする。周囲の同色画素値の変化量に対して変化量オフセット値Ｓ６を減算し、続いて変化量ゲイン値Ｓ７を積算する。また、検査対象画素の周囲の輝度Ｓ４から輝度値オフセット値Ｓ８を減算し、続いて輝度値ゲイン値Ｓ９を積算する。これらを加算したものに、ベースオフセット値Ｓ１０を加算して判定閾値Ｓ１１を求める。つまり、判定閾値Ｓ１１は、次の式（１）にて算出される。
判定閾値Ｓ１１＝｛（同色信号の最大値Ｓ１−最小値Ｓ２）−変化量オフセット値Ｓ６｝×変化量ゲイン値Ｓ７＋（検査対象画素の周囲の輝度値Ｓ４−輝度値オフセット値Ｓ８）×輝度値ゲイン値Ｓ９＋ベースオフセット値Ｓ１０・・・（１）
【００３０】
このように周囲の同色画素値の変化量から変化量オフセット値Ｓ６を減算した後で変化量ゲイン値Ｓ７を積算することにより、画像の変化に対する判定閾値Ｓ１１の変化量を調整することできる。また、周囲の輝度値Ｓ４から輝度値オフセット値Ｓ８を減算した後で輝度値ゲイン値Ｓ９を積算することにより、画像の明るさに対する判定閾値Ｓ１１の変化量を調整することができる。
【００３１】
次に、同色信号の最大値Ｓ１に判定閾値Ｓ１１を加算した値、最小値Ｓ２から判定閾値Ｓ１１を減算した値のそれぞれと、検査対象画素の信号値Ｓ３とを比較器１６に入力する。比較器１６は、入力された値を用いて欠陥画素を検出する。具体的には、検査対象の画素の値Ｓ３が、同色信号の最大値Ｓ１と判定閾値Ｓ１１とを加算した値より大きい場合には、検査対象の画素が欠陥画素であると判定する。また、検査対象の画素の値Ｓ３が、同色信号の最小値Ｓ２から判定閾値Ｓ１１を減算した値より小さい場合にも、検査対象の画素が欠陥画素であると判定する。比較器１６は、判定結果をセレクタ１７に入力する。
【００３２】
セレクタ１７は、比較器１６から出力される結果を用いて、検査対象画素が欠陥画素であるか否かを判定し、判定結果に基づいて出力信号を選択する。検査対象の画素が欠陥画素である場合には、検査対象の画素の値を同色信号の最大値Ｓ１または最小値Ｓ２で置き換える。具体的には、セレクタ１７は、以下の式（２）に基づいて選択された画素値を画像信号出力部１８に渡す。
検査対象画素の値＞同色信号の最大値＋判定閾値の時：同色画素の最大値
検査対象画素の値＜同色信号の最小値−判定閾値の時：同色画素の最小値
それ以外の時                                    ：検査対象画素の値・・・（２）
【００３３】
すなわち、検査対象画素の値が同色信号の最大値と判定閾値との和より大きい場合、または検査対象画素の値が同色信号の最小値と判定閾値との差より小さい場合には、検査対象画素は欠陥画素であるので、セレクタ１７は補正した画素値を画像信号出力部１８に渡す。上記以外の場合には、検査対象画素は欠陥画素ではなく、セレクタ１７は検査対象画素の値を画像信号出力部１８に渡す。
【００３４】
画像信号出力部１８は、セレクタ１７から渡された信号を、検査対象の画素値として出力する。
【００３５】
本実施の形態の画素欠陥補正装置１０は、欠陥画素を算出するために、予め設定された閾値を用いるのではなく、補正対象の映像に基づいて算出された閾値を用いるので、映像の特性に応じて適切に欠陥画素を検出できる。
【００３６】
すなわち、画素欠陥を検出するための閾値を式（１）によって求めるので、画面が暗い部分では周囲の画素の輝度値が小さくなるため判定閾値Ｓ１１が小さくなる。これにより、暗い被写体を写してゲインをかけたような画像で正常画素と画素欠陥の信号レベル差の小さい場合も画素欠陥の検出が可能である。また、明るい画像では判定閾値が大きくなり、画像のエッジ部分では判定閾値Ｓ１１が大きくなるので、画像のエッジを誤検出しにくくなっている。また、変化の多い画像では、判定閾値Ｓ１１を求める式（１）の変化量が大きくなるので、判定閾値Ｓ１１が大きくなり、画像のエッジを誤検出しにくくなる。以上のように、映像の特性に応じて適切な閾値が算出されるので、欠陥画素を精度良く検出して補正を行うことができる。
【００３７】
次に、本発明の第２の実施の形態の画素欠陥補正装置１０について説明する。第２の実施の形態の画素欠陥補正装置１０は、第１の実施の形態の画素欠陥補正装置１０と基本的に同じ構成を有するが、第２の実施の形態の画素欠陥補正装置１０は、影響の大きい画素欠陥をあらかじめ求めて、その位置情報を記録している点が異なる。以下の説明では、第１の実施の形態と異なる部分について説明する。
【００３８】
図２は、第２の実施の形態の画素欠陥補正装置１０の構成を示すブロック図である。図２に示すように、第２の実施の形態の画素欠陥補正装置１０は、第１の実施の形態の画素欠陥補正装置１０の構成に加えて、周囲同色画素平均値算出処理部１９、画素欠陥数カウンタ２０、アドレステーブル２１、アドレスカウンタ２２、比較器２３、セレクタ２４を備えている。
【００３９】
これらの構成により、アドレステーブル２１に欠陥画素の座標を記録し、記録した座標情報により画素欠陥の補正を行うことができる。動作を以下に説明する。
【００４０】
最初に、アドレステーブル２１に欠陥画素の座標を記録する計測モードの動作について説明する。まず、欠陥画素数とその座標を計測するモードに設定し、レンズをクローズもしくは全画面均一な被写体を撮像する。画素欠陥数カウンタ２０とアドレステーブル２１の値をクリアし、アドレスカウンタ２２は画素の座標を示すよう画像の先頭でクリアして画素に合わせてカウントアップさせる。
【００４１】
比較器２２で画素欠陥が検出されたら、画素欠陥数カウンタ２０をアップし、アドレステーブル２１にアドレスカウンタ２２の値をセットする。これを１フィールドまたは１フレーム分行うことで、固体撮像素子の画素欠陥の個数と位置情報を得ることができる。そして、画素欠陥補正装置１０は、得られた位置情報をアドレステーブル２１に記録する。ここで、得られた欠陥画素の個数が所定数より多い場合には、欠陥画素を検出するための条件を変えて画素欠陥の検出を再度行ってもよい。これにより、アドレステーブル２１に記録する情報量を抑えることができる。
【００４２】
次に、画素欠陥補正装置１０の通常動作について説明する。通常動作の場合にはアドレステーブル２１、アドレスカウンタ２２の値を比較器２３にて比較し、両者の値が一致した場合は欠陥画素位置と判断し、セレクタ２４の出力を周囲同色画素平均値算出処理１９にて算出した平均値に切り替えることで画素欠陥の補正を行う。
【００４３】
画素欠陥補正装置１０を欠陥画素数とその位置を計測するモード／通常動作の切り替えはマイコン（図示せず）にて行い、アドレステーブル２１の内容を不揮発性メモリ（図示せず）に書き込んでおいて、再起動時に戻すことで、毎回欠陥画素位置を検出する必要はない。なお、通常動作においては、第１の実施の形態と同様に、入力された映像から検出された欠陥画素の補正も行う。
【００４４】
第２の実施の形態の画素欠陥補正装置１０は、欠陥画素の位置をあらかじめ記録し、記録された欠陥画素の位置情報に基づいて補正を行うので、映像に基づく画素欠陥検出において検出し切れなかった（例えば、エッジ付近における）画素欠陥をも精度良く検出して補正できる。
【００４５】
また、アドレステーブル２１からの補正と、閾値を用いた欠陥画素の判定による補正の両方を用いることにより、アドレステーブル２１にすべての欠陥画素の情報を記録しておく必要がなく、アドレステーブル２１のサイズを抑えることができる。また、通常動作のときの欠陥画素検出と、欠陥画素を計測する動作での欠陥画素検出とで同じ回路を用いることにより、回路規模の削減を図ることができる。
【産業上の利用可能性】
【００４６】
本発明によれば、映像の暗い部分から明るい部分まで、また平坦な部分からエッジ部分まで、誤検出なく画素欠陥を検出し補正する画素欠陥補正装置を実現することができるというすぐれた効果を有し、画素欠陥を検出して補正する画素欠陥補正装置等として有用である。
【図面の簡単な説明】
【００４７】
【図１】第１の実施の形態の画素欠陥補正装置のブロック図
【図２】第２の実施の形態の画素欠陥補正装置のブロック図
【符号の説明】
【００４８】
１０  画素欠陥補正装置
１１  画像信号入力部
１２  周囲同色画素最大値算出部
１３  周囲同色画素最小値算出部
１４  周囲輝度値算出部
１５  閾値算出部
１６  比較器
１７  セレクタ
１８  画像信号出力部
１９  周囲同色画素平均値算出部
２０  画素欠陥数カウンタ
２１  アドレステーブル
２２  アドレスカウンタ
２３  比較器
２４  セレクタ
【図１】
2006148748.tif 000003
【図２】
2006148748.tif 000004