(57)【要約】  【課題】  動き検出の結果によらず、特定のＯＢラインのノイズの影響を受け難いスミア補正装置を提供すること。  【解決手段】  初期巡回係数算出手段１３はＯＢライン取得手段が取得したＯＢラインの値とラインメモリ１２の値から初期巡回係数を算出し、巡回係数算出手段１４は、前ＯＢラインの巡回係数から、各ＯＢラインの重み付けが等しくなるように、現ＯＢラインの巡回係数を算出し、巡回処理手段１５は、算出された巡回係数に従い、取得されたＯＢラインの値とラインメモリ１２の値との合成を行い、ラインメモリ１２を更新する。全てのＯＢラインに対しての処理が終了すると、スミア領域検出手段１６が、ラインメモリ１２の値からスミア発生領域を検出し、スミア補正手段１７が検出されたスミア領域のスミアの補正を行う。【選択図】  図１
2006166368.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の複数のＯＢラインから順次１ライン分のデータを取得するＯＢライン取得手段と、１ライン分のデータを保持するラインメモリと、前記ＯＢライン取得手段が取得したデータと前記ラインメモリに保持されているデータとに基づいて巡回係数を算出する初期巡回係数算出手段と、１ライン前の前記巡回係数に基づいて既に取得された前記ＯＢラインそれぞれの重み付けが等しくなるように巡回係数を算出する巡回係数算出手段と、前記ＯＢライン取得手段が取得したデータと前記ラインメモリに保持されているデータとを前記巡回係数に基づいて合成したデータで前記ラインメモリを更新する巡回処理手段と、前記ラインメモリのデータに基づいてスミア発生領域を検出するスミア領域検出手段と、前記スミア発生領域のスミアを補正するスミア補正手段とを備えることを特徴とするスミア補正装置。
【請求項２】
前記初期巡回係数算出手段は、前記１ライン分のデータと前記ラインメモリに保持されているデータを比較して動きを検出することを特徴とする請求項１に記載のスミア補正装置。
【請求項３】
前記巡回係数算出手段は、前記初期巡回係数の値ごとに前記複数のＯＢラインそれぞれに対する前記巡回係数が設定された巡回係数テーブルにより前記巡回係数を求めることを特徴とする請求項１に記載のスミア補正装置。
【請求項４】
前記巡回係数算出手段は、前記巡回係数から次のラインの前記巡回係数への遷移が設定された巡回係数遷移表により前記巡回係数を求めることを特徴とする請求項１に記載のスミア補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子のスミア現象による画質劣化を補正するスミア補正装置に関するものである。
【背景技術】
【０００２】
従来、固体撮像素子のスミア現象による画質劣化を補正（スミア補正）する方法としては、固体撮像素子の垂直方向の光学的黒の画素部分の出力信号を１画素単位で積分する積分手段と、この積分手段の出力信号を１ライン分の信号として記憶する記憶手段と、固体撮像素子の有効画素部分の出力信号より記憶手段に記憶した信号を減算する減算手段とを備え、固体撮像素子の垂直方向の光学的黒の画素部分の出力信号を画素単位で積分（加算平均）して、ランダムなノイズ成分を平均化して０とし、固定パターンノイズ信号を検出するようにし、検出した固定パターンノイズ信号をライン情報として記憶し、固体撮像素子の有効画素部分の出力信号からこの固定パターンノイズ信号を減算することにより、固定パターンノイズである白線等及びスミアを改善している（例えば特許文献１参照）。
【０００３】
しかし、実際にはランダムノイズ成分は平均化されても０にならないこともあり、有効画素部分の出力信号からこの信号を減算すると縦筋となって現れて画質を大きく劣化させてしまう。そこで、コアリングレベルを設けてノイズ成分から一定値を減算したものでスミア補正を行うこともできるが、コアリングレベルが大きいとそれだけスミアの補正性能が下がってしまう。つまり、ノイズの影響をいかに小さくするかがスミアの補正性能を上げるためのポイントとなる。
【０００４】
また、連続した画像に対して巡回型のフィルタ処理を行う場合、画像の動きを考慮して巡回係数の制御を行うことが一般的である。スミア補正の場合、画像に動きが無かった場合は、巡回係数を大きくして、前フレームのＯｐｔｉｃａｌ  Ｂｌａｃｋライン（以下、ＯＢライン）の情報も利用することで、ＯＢラインのノイズの影響を低減して効果的なスミア補正を行うことができる（図１１（ａ））。動きが検出された場合は、スミアの位置も移動しており、前フレームのＯＢラインの情報は利用できないので、巡回係数を低く設定する(図１１(ｂ))。
【特許文献１】特開平７−６７０３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のスミア補正においては、複数のＯＢラインを固定された巡回係数で処理するため、動き検出の結果によって特定のＯＢラインの重み付けが大きくなり、ノイズの影響が大きくなってしまうという問題があった。
【０００６】
図１２は、固定の巡回係数を用いた場合に、動きが検出されなかった場合（図１２（ａ））と、動きが検出された場合（図１２（ｂ））の巡回処理の結果を示している。
【０００７】
巡回係数Ｂ、Ｃは、動きが検出されず巡回係数Ａが大きい場合に、各ラインの重みが等量になるように決定してあるが、動きが検出され巡回係数Ａ’が小さい場合には、先頭ＯＢラインの重みが大きくなり、先頭ＯＢラインのノイズの影響を強く受けてしまう。
【０００８】
本発明は、従来の問題を解決するためになされたもので、動き検出の結果によらず、特定のＯＢラインのノイズの影響を受け難いスミア補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明のスミア補正装置は、撮像素子の複数のＯＢラインから順次１ライン分のデータを取得するＯＢライン取得手段と、１ライン分のデータを保持するラインメモリと、前記ＯＢライン取得手段が取得したデータと前記ラインメモリに保持されているデータとに基づいて巡回係数を算出する初期巡回係数算出手段と、１ライン前の前記巡回係数に基づいて既に取得された前記ＯＢラインそれぞれの重み付けが等しくなるように巡回係数を算出する巡回係数算出手段と、前記ＯＢライン取得手段が取得したデータと前記ラインメモリに保持されているデータとを前記巡回係数に基づいて合成したデータで前記ラインメモリを更新する巡回処理手段と、前記ラインメモリのデータに基づいてスミア発生領域を検出するスミア領域検出手段と、前記スミア発生領域のスミアを補正するスミア補正手段とを備える構成を有している。
【００１０】
この構成により、撮像素子の複数のＯＢラインそれぞれに対する重み付けが等しくなるように巡回係数が算出される。したがって、特定のＯＢラインの影響を受け難くすることができる。
【００１１】
ここで、前記初期巡回係数算出手段は、前記１ライン分のデータと前記ラインメモリに保持されているデータを比較して動きを検出する構成とした。
【００１２】
この構成により、動きの検出結果に応じて最適な巡回係数を算出することができる。
【００１３】
また、前記巡回係数算出手段は、前記初期巡回係数の値ごとに前記複数のＯＢラインそれぞれに対する前記巡回係数が設定された巡回係数テーブルにより前記巡回係数を求める構成とした。
【００１４】
この構成により、巡回係数を求めるために必要な計算量を削減することができる。
【００１５】
また、前記巡回係数算出手段は、前記巡回係数から次のラインの前記巡回係数への遷移が設定された巡回係数遷移表により前記巡回係数を求める構成とした。
【００１６】
この構成により、巡回係数を求めるために必要な計算量を削減することができるとともに、メモリ量を削減することができる。
【発明の効果】
【００１７】
本発明によれば、撮像素子の複数のＯＢラインそれぞれに対する重み付けが等しくなるように巡回係数を算出しているので、動き検出の結果によらず、特定のＯＢラインのノイズの影響を受け難くすることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１９】
（第１の実施の形態）
図１は本発明の第１の実施の形態のスミア補正装置を示す図である。
【００２０】
図１において、本実施の形態のスミア補正装置は、複数のＯＢラインを有する撮像素子５０からＯＢラインを取得するＯＢライン取得手段１１と、１ライン分の値を保持するラインメモリ１２と、ＯＢライン取得手段１１が取得したＯＢラインの値とラインメモリ１２が保持する値を比較して動きの検出を行い初期巡回係数を算出する初期巡回係数算出手段１３と、各ＯＢラインに対する巡回係数を算出する巡回係数算出手段１４と、ＯＢライン取得手段１１が取得した値とラインメモリ１２が保持する値を巡回係数算出手段１４で算出された巡回係数で合成を行いラインメモリ１２を更新する巡回処理手段１５と、ラインメモリ１２の値をコアリングレベルでゼロクリップすることでスミア発生領域を検出するスミア領域検出手段１６と、検出されたスミア領域のスミアを補正するスミア補正手段１７とを備えている。
【００２１】
このようなスミア補正装置について、図２を用いてその動作を説明する。
【００２２】
図２のフローチャートに示すように、まず、ＯＢライン取得手段１１が撮像素子５０から最初のＯＢラインを取得する（Ｓ１１）。
【００２３】
次に、初期巡回係数算出手段１３がＯＢライン取得手段が取得したＯＢラインの値とラインメモリ１２の値からフレーム間の動きを検出し（Ｓ１２）、動きを検出した場合は大きな値の初期巡回係数を算出し、動きを検出しなかった場合は小さな値の初期巡回係数を算出し（Ｓ１３）、算出した初期巡回係数を巡回係数算出手段１４に出力する。
【００２４】
巡回係数算出手段１４は、入力された初期巡回係数を記憶するとともに、巡回処理手段１５に出力する。
【００２５】
巡回処理手段１５は、入力された巡回係数に従い、ＯＢライン取得手段１１から入力されるＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１４）。
【００２６】
続いて、残りのＯＢラインについて以下のステップを実行する。
【００２７】
まず、ＯＢライン取得手段１１が撮像素子５０から次のＯＢラインを取得する（Ｓ１５）。
【００２８】
巡回係数算出手段１４は、前ＯＢラインの巡回係数から、各ＯＢラインの重み付けが等しくなるように、現ＯＢラインに対する巡回係数を算出し巡回処理手段１５に出力する（Ｓ１６）。
【００２９】
巡回処理手段１５は、入力された巡回係数に従い、ＯＢライン取得手段１１から入力されるＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１７）。
【００３０】
そして、全ＯＢラインに対して処理を行ったかを判定し（Ｓ１８）、未処理のＯＢラインが有ればＳ１５に戻って次のＯＢラインを取得する。
【００３１】
全てのＯＢラインに対しての処理が終了すると、スミア領域検出手段１６が、ラインメモリ１２の値をコアリングレベルでゼロクリップすることでスミア発生領域を検出し（Ｓ１９）、スミア補正手段１７が、検出されたスミア領域のスミアの補正を行う（Ｓ２０）。
【００３２】
次に、巡回係数算出手段１４の処理について図３を用いて詳しく説明する。
【００３３】
初期巡回係数算出手段１３が算出した初期巡回係数をＡとすると、巡回処理手段１５は、図３（ａ）に示すように、前フレームのデータを保持しているラインメモリ１２のデータに対する重みをＡとし、現フレームの先頭のＯＢラインのデータに対する重みを（１−Ａ）として、それぞれの値を加算し、ラインメモリ１２に格納する。
【００３４】
２ライン目の巡回係数をＢとすると、図３（ｂ）に示すように、ラインメモリ１２のデータに対する重みをＢとし、２ライン目のデータに対する重みを（１−Ｂ）とするので、先頭のＯＢライン（１ライン目）の重み付けは（１−Ａ）Ｂとなり、２ライン目の重み付けは（１−Ｂ）となる。
【００３５】
ここで、１ライン目と２ライン目の重み付けが等量のとき最もノイズの影響を低下させられるので、巡回係数算出手段１４は、２ライン目の巡回係数Ｂを（式１）から算出する。
（１−Ａ）・Ｂ＝１−Ｂ
Ｂ＝１／（２−Ａ）  ‥‥‥（式１）
３ライン目の巡回係数をＣとすると、図３（ｃ）に示すように、１ライン目及び２ライン目のデータの重みをＣとし、３ライン目のデータの重みを（１−Ｃ）とするので、１ライン目の重み付けは（１−Ａ）Ｂ・Ｃとなり、２ライン目の重み付けは（１−Ｂ）・Ｃとなり、３ライン目の重み付けは（１−Ｃ）となる。
【００３６】
２ライン目のときと同様に、３本のＯＢラインの重み付けが等量になればよいから、巡回係数算出手段１４は、３ライン目の巡回係数Ｃを（式２）から算出する。
（１−Ｂ）・Ｃ＝１−Ｃ
Ｃ＝１／（２−Ｂ）
＝１／（２−（１／（２−Ａ）））  ‥‥‥（式２）
以下同様にして、巡回係数算出手段１４は、ｎライン目の巡回係数Ｙnを（式３）から算出する。
Ｙn＝１／（２−Ｙn-1）  ‥‥‥（式３）
このように本実施の形態においては、巡回係数算出手段１４が、複数のＯＢラインの重み付けが等しくなるように各ＯＢライン毎の巡回係数を算出しているので、初期巡回係数が異なる場合でも、特定のＯＢラインのノイズの影響を受けることのない効果的なスミア補正を行うことができる。
【００３７】
（第２の実施の形態）
次に、図４は本発明の第２の実施の形態のスミア補正装置を示す図である。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
【００３８】
本実施の形態のスミア補正装置は、巡回係数算出手段２１が、予め複数のＯＢラインの重み付けが等しくなるように算出された初期巡回係数毎の巡回係数を設定された巡回係数テーブル２２から巡回係数を選択することを特徴としている。
【００３９】
具体的には、図５のフローチャートに示すように、上述の実施の形態と同様に、最初のＯＢラインを取得し、取得したＯＢラインの値とラインメモリ１２の値からフレーム間の動きを検出し、検出結果により初期巡回係数を算出し、算出した初期巡回係数に従い、ＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１１〜Ｓ１４）。
【００４０】
続いて、残りのＯＢラインについて以下のステップを実行する。
【００４１】
まず、ＯＢライン取得手段１１が撮像素子５０から次のＯＢラインを取得する（Ｓ１５）。
【００４２】
巡回係数算出手段２１は、初期巡回係数から、巡回係数テーブル２２を検索して現ＯＢラインに対する巡回係数を算出し巡回処理手段１５に出力する（Ｓ３１）。
【００４３】
図６は、巡回係数テーブル２２の例である。初期巡回係数Ａは０／１６〜１５／１６の１６通りとし、８ライン目までの巡回係数を示している。
【００４４】
巡回処理手段１５は、入力された巡回係数に従い、ＯＢライン取得手段１１から入力されるＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１７）。
【００４５】
そして、全ＯＢラインに対して処理を行ったかを判定し（Ｓ１８）、未処理のＯＢラインが有ればＳ１５に戻って次のＯＢラインを取得する。
【００４６】
全てのＯＢラインに対しての処理が終了すると、スミア領域検出手段１６が、ラインメモリ１２の値をコアリングレベルでゼロクリップすることでスミア発生領域を検出し（Ｓ１９）、スミア補正手段１７が検出されたスミア領域のスミアの補正を行う（Ｓ２０）。
【００４７】
このように本実施の形態においては、巡回係数を巡回係数テーブル２２から検索しているので、巡回係数の算出に必要となる計算量を削減することができる。
【００４８】
なお、巡回係数テーブル２２は、図７に示すような近似値によるテーブルを用いてもよい。このように構成することによって、テーブルに必要なメモリ量を削減することができる。
【００４９】
なお、テーブルに設定されている値は、巡回係数ｉ／１６のｉの値である。
【００５０】
（第３の実施の形態）
次に、図８は本発明の第３の実施の形態のスミア補正装置を示す図である。なお、本実施の形態は、上述の第２の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
【００５１】
本実施形態のスミア補正装置は、巡回係数算出手段３１が、予め複数のＯＢラインの重み付けが等しくなるようにｎライン目の巡回係数と（ｎ＋１）ライン目の巡回係数との遷移関係を設定された巡回係数遷移表３２から巡回係数を選択することを特徴としている。
【００５２】
具体的には、図９のフローチャートに示すように、上述の実施の形態と同様に、最初のＯＢラインを取得し、取得したＯＢラインの値とラインメモリ１２の値からフレーム間の動きを検出し、検出結果により初期巡回係数を算出し、算出した初期巡回係数に従い、ＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１１〜Ｓ１４）。
【００５３】
続いて、残りのＯＢラインについて以下のステップを実行する。
【００５４】
まず、ＯＢライン取得手段１１が撮像素子５０から次のＯＢラインを取得する（Ｓ１５）。
【００５５】
巡回係数算出手段３１は、前ＯＢラインの巡回係数から、巡回係数遷移表３２を検索して現ＯＢラインに対する巡回係数を算出し巡回処理手段１５に出力する（Ｓ４１）。
【００５６】
図１０は、巡回係数遷移表３２の例である。例えば、ｎライン目の巡回係数が５／１６だとすると、（ｎ＋１）ライン目の巡回係数は９／１６とする、というように巡回係数を遷移させてゆく。なお、テーブルに設定されている値は、巡回係数ｉ／１６のｉの値である。
【００５７】
巡回処理手段１５は、入力された巡回係数に従い、ＯＢライン取得手段１１から入力されるＯＢラインの値とラインメモリ１２が保持している値との合成を行い、合成した結果でラインメモリ１２を更新する（Ｓ１７）。
【００５８】
そして、全ＯＢラインに対して処理を行ったかを判定し（Ｓ１８）、未処理のＯＢラインが有ればＳ１５に戻って次のＯＢラインを取得する。
【００５９】
全てのＯＢラインに対しての処理が終了すると、スミア領域検出手段１６が、ラインメモリ１２の値をコアリングレベルでゼロクリップすることでスミア発生領域を検出し（Ｓ１９）、スミア補正手段１７が検出されたスミア領域のスミアの補正を行う（Ｓ２０）。
【００６０】
このように本実施の形態においては、巡回係数を巡回係数遷移表３２に基づいて更新するので、巡回係数の算出に必要となる計算量を削減することができるとともに、メモリ容量を削減することができる。
【産業上の利用可能性】
【００６１】
以上のように、本発明にかかるスミア補正装置は、動き検出の結果によらず、特定のＯＢラインのノイズの影響を受け難いという効果を有し、撮像素子のスミア現象による画質劣化を補正するスミア補正装置等として有用である。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１の実施の形態におけるスミア補正装置のブロック図
【図２】本発明の第１の実施の形態におけるスミア補正装置の動作説明のためのフローチャート
【図３】（ａ）本発明の第１の実施の形態におけるスミア補正装置の先頭ＯＢライン取得時の巡回処理結果を示す図  （ｂ）本発明の第１の実施の形態におけるスミア補正装置の先頭ＯＢライン取得時と２ライン目取得時の巡回処理結果の関係を示す図  （ｃ）本発明の第１の実施の形態におけるスミア補正装置の先頭ＯＢライン取得時から３ライン目取得時までの巡回処理結果の関係を示す図
【図４】本発明の第２の実施の形態におけるスミア補正装置のブロック図
【図５】本発明の第２の実施の形態におけるスミア補正装置の動作説明のためのフローチャート
【図６】本発明の第２の実施の形態におけるスミア補正装置の巡回係数テーブルの例を示す図
【図７】本発明の第２の実施の形態におけるスミア補正装置の巡回係数テーブルの他の例を示す図
【図８】本発明の第３の実施の形態におけるスミア補正装置のブロック図
【図９】本発明の第３の実施の形態におけるスミア補正装置の動作説明のためのフローチャート
【図１０】本発明の第３の実施の形態におけるスミア補正装置の巡回係数遷移表の例を示す図
【図１１】（ａ）従来のスミア補正方法の画像に動きがない場合のノイズ低減効果を示す図  （ｂ）従来のスミア補正方法の画像に動きがあった場合のノイズ低減効果を示す図
【図１２】（ａ）従来のスミア補正方法において固定の巡回係数を用いて画像に動きがない場合の３ライン目までの巡回処理結果の関係を示す図  （ｂ）従来のスミア補正方法において固定の巡回係数を用いて画像に動きがあった場合の３ライン目までの巡回処理結果の関係を示す図
【符号の説明】
【００６３】
１１  ＯＢライン取得手段
１２  ラインメモリ
１３  初期巡回係数算出手段
１４  巡回係数算出手段
１５  巡回処理手段
１６  スミア領域検出手段
１７  スミア補正手段
２１  巡回係数算出手段
２２  巡回係数テーブル
３１  巡回係数算出手段
３２  巡回係数遷移表
５０  撮像素子
【図１】
2006166368.tif 000003
【図２】
2006166368.tif 000004
【図３】
2006166368.tif 000005
【図４】
2006166368.tif 000006
【図５】
2006166368.tif 000007
【図６】
2006166368.tif 000008
【図７】
2006166368.tif 000009
【図８】
2006166368.tif 000010
【図９】
2006166368.tif 000011
【図１０】
2006166368.tif 000012
【図１１】
2006166368.tif 000013
【図１２】
2006166368.tif 000014