(57)【要約】【課題】  例えば欠陥画素近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合でも、効果的な白傷補正が可能となるようにする。【解決手段】  撮像素子１００の上部オプティカルブラック領域における各垂直ラインでのオプティカルブラック値の平均値を算出するＯＢ値算出部１０１と、ＯＢ算出部１０１により算出されたＯＢ値の平均値に基づいて、各垂直ラインに白傷があるか否かを判定する白傷判定部１０２と、白傷判定部１０２により白傷があると判定された垂直ラインについて、ＯＢ値を用いた白傷補正を行う白傷補正部１０３とを備えている。【選択図】  図１
2005136834.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の上部オプティカルブラック領域及び下部オプティカルブラック領域の少なくともいずれかにおける各垂直ラインでのオプティカルブラック値の平均値を算出する算出手段と、
上記算出手段により算出されたオプティカルブラック値の平均値に基づいて、各垂直ラインに白傷があるか否かを判定する白傷判定手段と、
上記白傷判定手段により白傷があると判定された垂直ラインについて、オプティカルブラック値を用いた白傷補正を行う白傷補正手段とを備えたことを特徴とする撮像装置。
【請求項２】
上記白傷判定手段は、上記算出手段により算出されたオプティカルブラック値の平均値が第１の閾値を超える場合に、その垂直ラインに白傷があると判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記第１の閾値は、上記算出手段により算出されたオプティカルブラック値の平均値について正規分布を取り、その標準偏差に基づいて定められることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記白傷補正手段は、上記白傷検出手段により検出された白傷のある垂直ラインでのオプティカルブラック値の平均値と、その白傷近傍で白傷がないと判定された垂直ラインでのオプティカルブラック値の平均値との差分値を白傷により発生した信号値とし、該垂直ラインに含まれる画素の信号値から上記白傷により発生した信号値を減算することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
上記算出手段は、上記撮像素子の上部オプティカルブラック領域及び下部オプティカルブラック領域それぞれにおける各垂直ラインでのオプティカルブラック値の平均値を算出し、
上記白傷補正手段は、所定の垂直方向アドレスを境に上下で上記白傷により発生した信号値をそれぞれ求めることを特徴とする請求項４に記載の撮像装置。
【請求項６】
上記白傷判定手段により白傷があると判定された垂直ラインでの白傷が飽和しているか否かを判定する白傷飽和判定手段を備え、
上記白傷補正手段は、上記白傷飽和判定の判定結果に応じて白傷補正を変えることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
上記白傷飽和判定手段は、上記白傷判定手段により白傷があると判定された垂直ラインでのオプティカルブラック値の平均値が第２の閾値を超える場合に、白傷が飽和していると判定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
上記白傷補正手段は、上記白傷判定手段により白傷があると判定された垂直ラインについて、上記白傷飽和判定手段により白傷が飽和していると判定された場合は、該垂直ラインの両側画素の信号値を用いた補間処理を行うことを特徴とする請求項７に記載の撮像装置。
【請求項９】
撮像素子と、
上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行うとともに、上記撮像素子内の白傷のある画素からの信号のレベルが所定値よりも大きい場合に、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行わずに、上記白傷のある画素以外の画素からの信号により補間処理を行う白傷補正手段とを備えたことを特徴とする撮像装置。
【請求項１０】
撮像素子を備えた撮像装置において白傷を補正するための白傷補正方法であって、
上記撮像装置が、
上記撮像素子の上部オプティカルブラック領域及び下部オプティカルブラック領域の少なくともいずれかにおける各垂直ラインでのオプティカルブラック値の平均値を算出する手順と、
上記算出手順により算出されたオプティカルブラック値の平均値に基づいて、各垂直ラインに白傷があるか否かを判定する白傷判定手順と、
上記白傷判定手順により白傷があると判定された垂直ラインについて、オプティカルブラック値を用いた白傷補正を行う白傷補正手順とを行うことを特徴とする白傷補正方法。
【請求項１１】
撮像素子を備えた撮像装置において白傷を補正するための白傷補正方法であって、
上記撮像装置が、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行うとともに、上記撮像素子内の白傷のある画素からの信号のレベルが所定値よりも大きい場合に、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行わずに、上記白傷のある画素以外の画素からの信号により補間処理を行う白傷補正手順を行うことを特徴とする白傷補正方法。
【請求項１２】
撮像素子を備えた撮像装置において白傷を補正するためのコンピュータプログラムであって、
上記撮像素子の上部オプティカルブラック領域及び下部オプティカルブラック領域の少なくともいずれかにおける各垂直ラインでのオプティカルブラック値の平均値を算出する処理と、
上記算出処理により算出されたオプティカルブラック値の平均値に基づいて、各垂直ラインに白傷があるか否かを判定する白傷判定処理と、
上記白傷判定処理により白傷があると判定された垂直ラインについて、オプティカルブラック値を用いた白傷補正を行う白傷補正処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１３】
撮像素子を備えた撮像装置において白傷を補正するためのコンピュータプログラムであって、
上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行うとともに、上記撮像素子内の白傷のある画素からの信号のレベルが所定値よりも大きい場合に、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行わずに、上記白傷のある画素以外の画素からの信号により補間処理を行う白傷補正処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１４】
請求項１２又は１３に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルビデオカメラ等の撮像装置、及び、かかる撮像装置において白傷を補正するための白傷補正方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の固体撮像素子を用いた撮像装置が様々な用途に使用されている。ところで、撮像素子には、製造過程やその後に画素毎に欠陥が生じ、異常なレベルの信号を出力する画素が現れることがある。使用される固体撮像素子の画素数は年々増大する傾向にあり、これに伴い欠陥画素の発生も増大することになる。
【０００３】
撮像素子の画素欠陥には、ホトダイオードの光感度がない黒傷の画素欠陥と、過度の暗電流が重畳される白傷の画素欠陥がある。特に白傷の画素欠陥は、撮像素子の垂直ライン全体に白傷が乗るため、その欠陥による表示画面の表示誤りが人の目に付きやすい上、温度や経時変化により傷のレベルが変わる厄介さから、以前から各種の補正方式が考案され、それら補正により表示誤りが目立たないようにされた。その補正方式として、例えば、白傷のある画素値を隣接する画素値と置き換える手法や周囲画素の中央値や平均値で補間する手法等がとられてきた。
【０００４】
【特許文献１】特開平１０―４２２０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の補正方式では、例えば欠陥画素近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合では、補正跡が不連続となってしまうことがあった。
【０００６】
本発明は上記のような点に鑑みてなされたものであり、例えば欠陥画素近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合でも、効果的な白傷補正が可能となるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像素子の上部オプティカルブラック領域及び下部オプティカルブラック領域の少なくともいずれかにおける各垂直ラインでのオプティカルブラック値の平均値を算出する算出手段と、上記算出手段により算出されたオプティカルブラック値の平均値に基づいて、各垂直ラインに白傷があるか否かを判定する白傷判定手段と、上記白傷判定手段により白傷があると判定された垂直ラインについて、オプティカルブラック値を用いた白傷補正を行う白傷補正手段とを備えた点に特徴を有する。
また、本発明の撮像装置の他の特徴とするところは、上記白傷判定手段は、上記算出手段により算出されたオプティカルブラック値の平均値が第１の閾値を超える場合に、その垂直ラインに白傷があると判定する点にある。この場合に、上記第１の閾値は、上記算出手段により算出されたオプティカルブラック値の平均値について正規分布を取り、その標準偏差に基づいて定められるようにしてもよい。
また、本発明の撮像装置の他の特徴とするところは、上記白傷補正手段は、上記白傷検出手段により検出された白傷のある垂直ラインでのオプティカルブラック値の平均値と、その白傷近傍で白傷がないと判定された垂直ラインでのオプティカルブラック値の平均値との差分値を白傷により発生した信号値とし、該垂直ラインに含まれる画素の信号値から上記白傷により発生した信号値を減算する点にある。この場合に、上記算出手段は、上記撮像素子の上部オプティカルブラック領域及び下部オプティカルブラック領域それぞれにおける各垂直ラインでのオプティカルブラック値の平均値を算出し、上記白傷補正手段は、所定の垂直方向アドレスを境に上下で上記白傷により発生した信号値をそれぞれ求めるようにしてもよい。
また、本発明の撮像装置の他の特徴とするところは、上記白傷判定手段により白傷があると判定された垂直ラインでの白傷が飽和しているか否かを判定する白傷飽和判定手段を備え、上記白傷補正手段は、上記白傷飽和判定の判定結果に応じて白傷補正を変える点にある。この場合に、上記白傷飽和判定手段は、上記白傷判定手段により白傷があると判定された垂直ラインでのオプティカルブラック値の平均値が第２の閾値を超える場合に、白傷が飽和していると判定するようにしてもよい。さらに、上記白傷補正手段は、上記白傷判定手段により白傷があると判定された垂直ラインについて、上記白傷飽和判定手段により白傷が飽和していると判定された場合は、該垂直ラインの両側画素の信号値を用いた補間処理を行うようにしてもよい。
本発明の別の撮像装置は、撮像素子と、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行うとともに、上記撮像素子内の白傷のある画素からの信号のレベルが所定値よりも大きい場合に、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行わずに、上記白傷のある画素以外の画素からの信号により補間処理を行う白傷補正手段とを備えた点に特徴を有する。
【０００８】
本発明の白傷補正方法は、撮像素子を備えた撮像装置において白傷を補正するための白傷補正方法であって、上記撮像装置が、上記撮像素子の上部オプティカルブラック領域及び下部オプティカルブラック領域の少なくともいずれかにおける各垂直ラインでのオプティカルブラック値の平均値を算出する手順と、上記算出手順により算出されたオプティカルブラック値の平均値に基づいて、各垂直ラインに白傷があるか否かを判定する白傷判定手順と、上記白傷判定手順により白傷があると判定された垂直ラインについて、オプティカルブラック値を用いた白傷補正を行う白傷補正手順とを行う点に特徴を有する。
本発明の別の白傷補正方法は、撮像素子を備えた撮像装置において白傷を補正するための白傷補正方法であって、上記撮像装置が、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行うとともに、上記撮像素子内の白傷のある画素からの信号のレベルが所定値よりも大きい場合に、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行わずに、上記白傷のある画素以外の画素からの信号により補間処理を行う白傷補正手順を行う点に特徴を有する。
【０００９】
本発明のコンピュータプログラムは、撮像素子を備えた撮像装置において白傷を補正するためのコンピュータプログラムであって、上記撮像素子の上部オプティカルブラック領域及び下部オプティカルブラック領域の少なくともいずれかにおける各垂直ラインでのオプティカルブラック値の平均値を算出する処理と、上記算出処理により算出されたオプティカルブラック値の平均値に基づいて、各垂直ラインに白傷があるか否かを判定する白傷判定処理と、上記白傷判定処理により白傷があると判定された垂直ラインについて、オプティカルブラック値を用いた白傷補正を行う白傷補正処理とをコンピュータに実行させる点に特徴を有する。
本発明の別のコンピュ―タプログラムは、撮像素子を備えた撮像装置において白傷を補正するためのコンピュータプログラムであって、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行うとともに、上記撮像素子内の白傷のある画素からの信号のレベルが所定値よりも大きい場合に、上記撮像素子のオプティカルブラック領域からの信号に基づき、白傷補正を行わずに、上記白傷のある画素以外の画素からの信号により補間処理を行う白傷補正処理をコンピュータに実行させる点に特徴を有する。
【００１０】
本発明のコンピュータ読み取り可能な記録媒体は、上記本発明のコンピュータプログラムを格納した点に特徴を有する。
【発明の効果】
【００１１】
本発明によれば、例えば欠陥画素近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合でも、オプティカルブラック値を用いた白傷補正を行うことにより効果的な白傷補正が可能となる。
【００１２】
また、白傷が飽和しているか否かを判定し、その判定結果に応じて白傷補正を変えるようにすれば、白傷が飽和している場合でも白傷補正を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は本実施形態の撮像装置の構成を示す図、図２は撮像素子を説明するための図である。撮像素子１００では、図２に示すように、行及び列方向に二次元的に画素が配置されて、光に感知する有効領域（画像領域）と、光に感知しない上部及び下部の無効領域（以下、「ＯＢ（：Optical Black）領域」と称する）とが形成される。
【００１４】
図１に示すように、撮像装置は、撮像素子１００の上部ＯＢ領域における各垂直ライン（垂直画素群）でのＯＢ値の平均値を算出するＯＢ値算出部１０１と、ＯＢ算出部１０１により算出されたＯＢ値の平均値に基づいて、各垂直ラインに白傷があるか否かを判定する白傷判定部１０２と、白傷判定部１０２により白傷があると判定された垂直ラインについて、ＯＢ値を用いた白傷補正を行う白傷補正部１０３とを備えている。
【００１５】
以下、図３のフローチャートを参照して、白傷補正処理について説明する。まず、ステップＳ１０１で水平方向アドレスXを初期化し（X＝０）、ステップＳ１０２で水平方向アドレスXが領域内にあるか否かを判定する（ステップＳ１０２）。水平方向アドレスXが領域内から外れた場合、本フローチャートによる処理は終了する。
【００１６】
ステップＳ１０３では水平方向アドレスXの垂直ラインに白傷があるかを判定する。なお、水平方向アドレスXの垂直ラインに白傷がなければステップＳ１０５に移行し、ｘを進めてステップＳ１０２に戻る。このように白傷のある垂直ラインを検出するため、まず、下式に示すように、上部ＯＢ領域における各垂直ラインでのＯＢ値の平均値を算出する。
R,G2のライン
OBAverage =       (SumR + SumG2)/n
G1,Bのライン
OBAverage =       (SumG1 + SumB)/n
ただし、
SumG1、SumR、SumB、SumG2：ＯＢ設定領域の垂直方向に積分した結果
n：ＯＢ設定領域の垂直画素個数
【００１７】
続いて、図４に示すように、ステップＳ１０３にて算出された各垂直ラインでのＯＢ値の平均値について正規分布を取り、標準偏差×α以上の値を持つ垂直ラインに白傷があると判定する。なお、αはパラメータ設定が可能である。
【００１８】
ステップＳ１０４では白傷の補正処理を行う。まず、白傷がある垂直ライン及びその両隣の垂直ラインの上部ＯＢ領域におけるＯＢ値を算出する。図５に示す例では、算出式は以下の通りとなる。なお、図５では、白傷がR,G2の組み合わせであるが、G1,Bの組み合わせの場合も同様である。
白傷ライン            ：      OBAveR_cent     =       SumR/n
OBAveG2_cent    =       SumG2/n
白傷なしライン左      ：      OBAveR_left     =       SumR/n
OBAveG2_left    =       SumG2/n
白傷なしライン右      ：      OBAveR_right    =       SumR/n
OBAveG2_right   =       SumG2/n
【００１９】
続いて、白傷により発生した信号値を算出する。この算出式は以下の通りである。
Rの上乗せ分   =       OBAveR_cent  -  (OBAveR_left + OBAveR_right)/2
G2の上乗せ分  =       OBAveG2_cent -  (OBAveG2_left + OBAveG2_right)/2
【００２０】
さらに、この白傷により発生した信号値（上乗せ分）を、該白傷のある垂直ラインに含まれるの各画素の信号値から減算することで白傷補正を行う。
【００２１】
（第２の実施形態）
本実施形態では、図６に示すように、白傷判定部１０２により白傷があると判定された垂直ラインでの白傷が飽和しているか否かを判定する白傷飽和判定部２０１を備えている。なお、上記第１の実施形態と同様の構成要素については同一の符号を付し、その説明は省略する。
【００２２】
上記第１の実施形態で説明した白傷補正では、白傷が飽和している場合に補正することができない。これは飽和値に達するとこの値でクリップされるため、撮像素子１００からの正しい信号値を特定することができないからである。そこで、本実施形態では白傷飽和判定を行い、白傷が飽和している場合でも補正することができるようにしたものである。
【００２３】
以下、図７のフローチャートを参照して、白傷補正処理について説明する。なお、図３のフローチャートと同様の処理については、その詳細な説明は省略する。ステップＳ１０３で白傷判定した後、ある垂直ラインに白傷があった場合、ステップＳ７０１で白傷が飽和しているか否かの判定を行う。この白傷飽和判定方法は、上記第１の実施形態でも述べたように各垂直ラインでのＯＢ値の平均値について正規分布を取り、白傷のある垂直ラインでのＯＢ値の平均値が予め設定した閾値以上の値をとる場合、飽和した白傷と判定する。この白傷飽和判定に用いられる閾値は、白傷判定に用いられる閾値（標準偏差×α）以上の値を設定する。
【００２４】
ステップＳ７０１での白傷飽和判定により白傷が飽和していると判定された場合は、ステップＳ７０２にて白傷近傍の画素の信号値から水平補間を行う（図８参照）。この水平補間方法は、単純に両画素の信号値の平均を取る方法や、白傷との相関を考慮し、両側の画素の信号値に重みをつける方法等がある。
【００２５】
一方、ステップＳ７０１での白傷飽和判定により白傷が飽和していないと判定された場合は、ステップＳ７０３にて上記第１の実施形態で説明した手法により白傷補正を行う。
【００２６】
（第３の実施形態）
上記第１、２の実施形態では、白傷により発生した信号値が垂直ラインに一律に加算された場合の補正について説明した。しかし、メカシャッターにより露光した場合、白傷により発生した信号値が一律の値で無く、そのため垂直ラインのあるところから白傷が発生し始める。
【００２７】
そこで、本実施形態では、白傷により発生した信号値が一律の値で無い場合の補正について説明する。ただし、白傷のアドレス(X,Y)が判っているものとする。図９に示すように、ステップＳ９０１では白傷のアドレス(X,Y)を入力する。
【００２８】
ステップＳ９０２では、上記第１の実施形態で説明した手法により、上部ＯＢ領域における水平方向アドレスXの垂直ラインでのＯＢ値の平均値を算出する。同様に、ステップＳ９０３では、下部ＯＢ領域における水平方向アドレスXの垂直ラインでのＯＢ値の平均値を算出する。
【００２９】
ステップＳ９０４では、上記第１の実施形態で説明した手法により、上部ＯＢ領域及び下部ＯＢ領域それぞれから白傷により発生した信号値を算出する。ステップＳ９０５では、白傷の垂直方向アドレスYの値より垂直方向上の画素に対しては上部ＯＢ領域から算出した白傷信号値を減算し、Yの値より垂直方向下の画素に対しては下部ＯＢ領域から算出した白傷信号値を減算する。
【００３０】
この場合にも、上記第２の実施形態で説明したように、白傷が飽和しているか否かを判定するようにし、飽和していない場合は図９のフローチャートに示す処理を実行し、飽和している場合は水平補間（図８参照）を実行するようにすればよい。以上の手法により白傷により発生した信号値が一律の値で無く、垂直ラインのあるところから白傷が発生し始める場合でも、正しく白傷補正を行うことができる。
【００３１】
なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００３２】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００３３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００３４】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００３６】
【図１】第１の実施形態の撮像装置の構成を示す図である。
【図２】撮像素子を説明するための図である。
【図３】第１の実施形態での白傷補正処理について説明するためのフローチャートである。
【図４】各垂直ラインでのＯＢ値の平均値についての正規分布の例を示す図である。
【図５】白傷により発生した信号値を算出する例を説明するための図である。
【図６】第２の実施形態の撮像装置の構成を示す図である。
【図７】第２の実施形態での白傷補正処理について説明するためのフローチャートである。
【図８】水平補間について説明するための図である。
【図９】第３の実施形態での白傷補正処理について説明するためのフローチャートである。
【符号の説明】
【００３７】
１００    撮像素子
１０１    ＯＢ値算出部
１０２    白傷判定部
１０３    白傷補正部
２０１    白傷飽和判定部
【図１】
2005136834.tif 000003
【図２】
2005136834.tif 000004
【図３】
2005136834.tif 000005
【図４】
2005136834.tif 000006
【図５】
2005136834.tif 000007
【図６】
2005136834.tif 000008
【図７】
2005136834.tif 000009
【図８】
2005136834.tif 000010
【図９】
2005136834.tif 000011