(57)【要約】【課題】ビデオカメラ等の映像出力に縦すじとして現れ、画面上で位置が固定されており目立ちやすい固定撮像素子の固定パターンノイズに対して、動画撮影においてもノイズ除去が可能となるノイズ除去装置を構成することを目的とする。【解決手段】撮像信号のノイズ発生位置に乱数信号を加算し攪乱することで、固定パターンノイズをランダムノイズ化し、隣接画素相関やフレーム相関を利用したノイズ除去方法で除去する。【選択図】  図１
2004289241.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子の撮像出力に画面上の縦すじとなって現れる固定パターンノイズの出現位置を検出する検出手段と、前記検出手段によって検出した縦すじ出現位置に基づき前記固体撮像素子の出力信号に乱数信号を演算し固定パターンノイズをランダムノイズにして出力する乱数演算手段と、前記乱数演算手段の出力信号に対してランダムノイズ除去を行うノイズ除去手段とを備えたことを特徴とするノイズ除去装置。
【請求項２】
固体撮像素子の撮像出力に画面上の縦すじとなって現れる固定パターンノイズに対して縦すじ出現位置を検出する検出手段と、前記検出手段によって検出した縦すじ出現位置に基づき前記固体撮像素子の出力信号に乱数信号を加算する乱数加算手段と、前記乱数加算手段の出力信号に隣接画素相関を用いた２次元ノイズ除去を行う第１のノイズ除去手段と、前記第１のノイズ除去手段の出力信号にフレーム相関を用いた３次元ノイズ除去を行う第２のノイズ除去手段とを備え、固定パターンノイズを含んだ前記固体撮像素子の出力信号に、前記乱数加算手段で乱数信号を加算することによって固定パターンノイズを攪乱してランダムノイズ化し、前記第１及び第２のノイズ除去手段でランダムノイズの除去を行うことを特徴とするノイズ除去装置。
【請求項３】
乱数加算手段は、固定パターンノイズの出現位置に対して加算する位置を前後に調整可能であることを特徴とする請求項１及び２に記載のノイズ除去装置。
【請求項４】
乱数加算手段は、第１及び第２のノイズ除去回路のノイズ除去状態に応じて、加算する乱数の調整を行うことが可能であることを特徴とする請求項１及び２に記載のノイズ除去装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子の映像出力において画面上に縦すじとなって現れる固定パターンノイズを除去するノイズ除去装置に関するものである。
【０００２】
【従来の技術】
ビデオカメラ等の映像出力に縦すじとして現れる、ＣＣＤイメージセンサ等の固体撮像素子の固定パターンノイズは、画面上で位置が固定されており目立ちやすいが、現状では主に固体撮像素子の製造プロセスによる改善で対処するしかないのが実状で、その他の有効な改善策が望まれている。
【０００３】
改善策の従来例として、特開平６−１３３１８５号公報に記載された固定パターンノイズ抑制技術について、図７及び図８を用いて説明する。
【０００４】
図７において、撮像素子２の前面には遮光フィルタ１が配置されている。撮像素子２の出力信号は、プリアンプ３で増幅され、Ａ／Ｄ変換器４によってデジタルデータに変換される。
【０００５】
Ａ／Ｄ変換器４から出力されるデジタルデータは、スイッチ５によって、フレームメモリ６、加算器９のどちらか一方に入力される。スイッチ５は遮光フィルタ１と連動しており、遮光フィルタ１により光が遮断されている場合には、スイッチ５はａ側接続となって、データはＡ／Ｄ変換器４からフレームメモリ６に接続される。遮光フィルタ１による光の遮断がされていない場合には、スイッチ５はｂ側接続となって、データはＡ／Ｄ変換器４から加算器９に接続される。
【０００６】
フレームメモリ６の出力は、減算器７の−側に入力されている。また、オフセット数値発生回路１０から発生されたオフセットレベルとＡ／Ｄ変換器４の出力が、加算器９で加算されたのち、減算器７の＋側に入力されている。Ｄ／Ａ変換器８は、減算器７のデジタルデータ出力を変換し、アナログのビデオ信号として出力する。
【０００７】
以上のように構成された従来の固定パターンノイズ抑制技術を用いたノイズ除去装置について、次にその動作を説明する。
【０００８】
まず、遮光フィルタ１によって光を遮断した状態にすると、撮像素子２からは固定パターンノイズにランダムノイズが重畳した暗時信号が出力される。この暗時信号に対し積分等によってランダムノイズ成分を消去したのち、固定パターンノイズのみが残ったものをａ側接続となっているスイッチ５を介して、フレームメモリ６に記憶する。
【０００９】
次に、遮光フィルタ１による光の遮断を解除した状態では、撮像素子２からは固定パターンノイズを含んだ撮像信号が出力される。この撮像信号は、ｂ側接続となっているスイッチ５を介して加算器９に入力される。加算器９は、入力された撮像信号にオフセット数値発生回路１０が発生するオフセットレベルαを加算する。そして、この加算値からフレームメモリ６に記憶されている固定パターンノイズが減算器７において減算される。
【００１０】
オフセットレベルαは、減算処理時のクリップ動作により、黒レベルの暗レベルからの浮き、あるいは小信号入力時の黒つぶれが発生することを防ぐために、入力撮像信号に加算されるものである。
【００１１】
以上の動作によって、図８に示したように、撮像信号から固定パターンノイズが除去される。
【００１２】
【特許文献１】
特開平６−１３３１８５号公報
【００１３】
【発明が解決しようとする課題】
しかしながら上記の従来構成では、以下のような問題を有していた。
【００１４】
第１は、撮像開始時において、固定パターンノイズの位置検出および値の記憶という動作のために毎回遮光を行う必要性があることから、撮影における時間的中断を生ずる。
【００１５】
第２は、固定撮像素子の固定パターンノイズの値は温度によって変化するため、撮像中に温度変化が生じた場合は、フレームメモリに記憶している固定パターンノイズの値と撮像信号に含まれる固定パターンノイズの値との間に差が生じ、高精度のノイズ除去が困難である。
【００１６】
第３は、撮像中に被写体の明るさ変化に対応してプリアンプによるゲインコントロールを行った場合、フレームメモリに記憶している固定パターンノイズの値と撮像信号に含まれる固定パターンノイズの値との間に差が生じ、高精度のノイズ除去が困難である。
【００１７】
以上述べた第１、第２、第３の問題点の結果として、動画のような時々刻々変化する連続映像を撮影するビデオカメラなどへの用途には適用が困難であるという問題点を有していた。
【００１８】
本発明は上記従来の問題点を解決するもので、ビデオカメラ等の動画撮影においても固体撮像素子の固定パターンノイズを除去することが可能なノイズ除去装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
この目的を達成するため、本発明のノイズ除去装置では、固体撮像素子の撮像出力において画面上の縦すじとなって現れる固定パターンノイズに対して、縦すじ出現位置を検出する手段と、固体撮像素子の出力信号に乱数信号を加算する手段と、隣接画素相関を利用した２次元ノイズ除去手段と、フレーム相関を利用した３次元ノイズ除去手段とを備え、固定パターンノイズを含んだ固体撮像素子の出力信号に乱数信号を加算することによって固定パターンノイズを攪乱してランダムノイズ化し、その後で２次元ノイズ除去手段と３次元ノイズ除去手段によって、ノイズ除去するという構成を有している。
【００２０】
このような構成により、ビデオカメラ等の動画撮影においても固体撮像素子の固定パターンノイズを除去することが可能なノイズ除去装置が得られる。
【００２１】
【発明の実施の形態】
本発明の請求項１〜４に記載の発明は、固体撮像素子の撮像出力に画面上の縦すじとなって現れる固定パターンノイズの出現位置を検出する検出手段と、前記検出手段によって検出した縦すじ出現位置に基づき前記固体撮像素子の出力信号に乱数信号を演算し固定パターンノイズをランダムノイズにして出力する乱数演算手段と、前記乱数演算手段の出力信号に対してランダムノイズ除去を行うノイズ除去手段とを備えたものであり、これにより、ビデオカメラ等の動画撮影においても固体撮像素子の固定パターンノイズを除去することが可能になるものである。
【００２２】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２３】
（実施の形態１）
図１は本発明の実施の形態のノイズ除去装置の構成を示すブロック図である。図１において、１１は固体撮像素子で、例としてはＣＣＤイメージセンサーが挙げられる。１２はＡ／Ｄ変換器で、固体撮像素子１１からの撮像信号（アナログ信号）をデジタルデータに変換する。１３は検出手段である縦すじ位置検出回路で、Ａ／Ｄ変換器１２からの撮像信号に含まれる固定パターンノイズの縦すじ出現位置を検出して、その検出結果をマイクロコンピュータ１８に出力する。１４は乱数加算手段である乱数信号加算回路で、固定パターンノイズを含む撮像信号に乱数信号を加算する。１５は第１のノイズ除去手段である２次元ノイズ除去回路で、画像の隣接画素相関を用いてノイズを除去する。１６は第２のノイズ除去手段である３次元ノイズ除去回路で、画像のフレーム相関を用いてノイズを除去する。なお、請求項１に記載のノイズ除去手段は、２次元ノイズ除去回路１５と３次元ノイズ除去回路１６の両方または一方を指すものである。１７はフレームメモリで、３次元ノイズ除去回路１６における３次元ノイズ除去のために撮像信号を格納する。１８はマイクロコンピュータで、縦すじ位置検出回路１３、２次元ノイズ除去回路１５および３次元ノイズ除去回路１６からの情報をもとにして乱数信号加算回路１４の制御を行う。
【００２４】
以上のように構成された本実施の形態のノイズ除去装置について、図面を用いてその動作を説明する。
【００２５】
まず、機器本体（例えば、ビデオカメラ）の電源を投入し撮影モードにすると、固体撮像素子１１の前段に配置された絞り（図示せず）を遮光状態にして、暗時信号をＡ／Ｄ変換器１２に出力する。この時、固体撮像素子１１から出力される暗時信号は一面黒色の画像で、欠陥画素や固定パターンノイズが白色になって現れる。Ａ／Ｄ変換器１２では固体撮像素子１１からの撮像信号をデジタル信号に変換し、縦すじ位置検出回路１３に出力する。
【００２６】
縦すじ位置検出回路１３において、固定パターンノイズとランダムノイズによって構成されている暗時信号の走査線を順次積分することにより、ランダムノイズ成分は平準化され、位置が一定している固定パターンノイズ部分だけレベルが突出することにより縦すじの位置を検出することができる。
【００２７】
ここで、縦すじ位置検出回路１３における動作について図６を用いて説明する。
【００２８】
図６（ａ）は１水平ラインの信号レベルを示す特性図、同図（ｂ）は同図（ａ）に示す１水平ラインの信号を１フレーム（例えば４８０ライン）分、積算した信号レベルの特性図を示すものである。図において、６１は固体撮像素子１１の欠陥によって発生する固定パターンノイズで、具体的には垂直転送レジスタから水平転送レジスタへの転送部分において欠陥が生じている時に発生するノイズで、フォトダイオードや垂直転送レジスタ自身には欠陥はないのが前提である。６２は固体撮像素子１１上にランダムに発生するランダムノイズであり、これは固体撮像素子１１の画素欠陥が原因のものではない。
【００２９】
縦すじ位置検出回路１３において、図６（ａ）に示すような１水平ライン分の信号を４８０ライン分積算して、図６（ｂ）に示すような１フレーム分の信号を生成する。図６（ｂ）に示すように、図６（ａ）に示す信号を積算すると、固定パターンノイズ６１は積算されて、同位置での信号レベルが高くなるが、ランダムノイズ６２は信号レベルがそれほど大きくならず、ほとんど平坦化される。そして、スレッシュレベルＴＨを超えるものを「固定パターンノイズ」と判定するようにすれば、固定パターンノイズの位置を検出することができる。このようにして検出した固定パターンノイズの位置情報を、マイクロコンピュータ１８に出力する。その後、遮光状態を解除する。なお、本実施の形態では１フレーム期間、遮光状態にしたが、２フレームなどのようにフレーム数を多くすることで、固定パターンノイズの積算レベルが高くなるため、より検出精度が高くなる。しかし、１フレームの方が機器本体電源ＯＮから撮影状態に移行するまでの時間が短く応答性が良い。
【００３０】
なお本実施の形態においては、この固定パターンノイズによる縦すじの位置検出を行うための遮光は、最初に一度だけ実施すれば良いため、動画のような連続撮影において障害とはならない。また、固定パターンノイズの値そのものは記憶しないため、温度変化やアンプのゲインによるノイズレベル変動に対する配慮は不要となる。
【００３１】
次に、遮光状態から撮像状態へ移行した時の動作について説明する。
【００３２】
前述のような遮光状態から絞り（図示せず）を開き、撮像状態に移行すると、固体撮像素子１１は入射する光信号を電気信号に変換して、撮像信号としてＡ／Ｄ変換器１２に出力する。この時出力される撮像信号には固定パターンノイズが含まれている。Ａ／Ｄ変換器１２では入力される撮像信号（アナログ信号）を電気信号に変換して、縦すじ位置検出回路１３を介して乱数信号加算回路１４に入力する。
【００３３】
図２は、図１の乱数信号加算回路１４の構成を示したものである。２１は乱数信号の発生回路、２２は水平方向カウンタ、２３は加算器である。水平方向カウンタ２２に対しては縦すじ位置の設定が行われる。この設定値は、図１の縦すじ位置検出回路１３によって検出されるものであるが、マイクロコンピュータ１８を介して設定する構成にすることにより、縦すじ検出位置の補正が可能な構成を採ることが出来る。水平方向カウンタ２２は入力される撮像信号に同期して動作する。撮像信号の各走査線の始まりとともにカウントアップが行われ、そのカウント値が固定パターンノイズによる縦すじの発生位置を示す設定値と一致するとトリガを出力する。乱数信号発生回路２１ではトリガ入力があった時のみ、その値が乱数である信号を発生する。トリガ入力がない時の信号値は０レベルである。加算器２３は、固体撮像素子からの撮像信号と乱数信号発生回路２１の乱数信号を加算処理する。
【００３４】
図３は、加算器２３における加算処理を撮像信号の走査線ごとに表した図である。入力撮像信号３１には一定の値の固定パターンノイズを含まれているが、乱数信号３２の加算で攪乱されることにより、出力信号３３においては、図３（ｂ）〜（ｄ）に示すように固定パターンノイズ部分が走査線およびフレームごとにレベル変動するノイズに変わる。
【００３５】
図４は、加算器２３における加算処理を固定パターンノイズによる縦すじ方向で見た時の図である。信号レベルがほぼ一定である固定パターンノイズ４１は、乱数信号４２を加算されることによりレベルが攪乱され、明暗パターン状のランダムノイズ４３に変わる。撮像信号に含まれるランダムノイズは、映像信号処理における隣接画素相関やフレーム相関を用いることで、信号レベルの突出した部分を周辺画素データによる補間や置換処理によって除去が可能となる。
【００３６】
図２の加算器２３の出力は、図１の２次元ノイズ除去回路１５および３次元ノイズ除去回路１６の働きによって、含まれているランダムノイズ成分を除去される。この時、２次元ノイズ除去回路１５および３次元ノイズ除去回路１６のノイズ除去状態に応じた信号を出す構成にしておくことにより、マイクロコンピュータ１８を介して乱数信号発生回路２１に働きかけて乱数を調整することが可能な構成を採ることが出来る。
【００３７】
図５は、本実施の形態のノイズ除去装置における信号処理の流れを示す模式図である。入力画像５１では固定パターンノイズ５１ａが縦すじとして現れるが、乱数信号加算回路１４では乱数信号が加算された画像５２では縦すじが明暗状のランダムノイズ５２ａに変えられ、そのノイズは２次元ノイズ除去回路１５と３次元ノイズ除去回路１６でランダムノイズ５２ａが除去処理されることによって、出力画像５３は入力画像５１と比較して、固定パターンノイズが除去された状態となることを示している。
【００３８】
以上に説明したように本実施の形態によれば、予め測定した固定パターンノイズの値を信号値から直接差し引いて除去する従来方法の適用が困難な動画撮影時においても、撮像信号の固定パターンノイズ発生位置に乱数信号を加算してノイズを攪乱しランダムノイズ化することにより、隣接画素相関やフレーム相関を利用したノイズ除去方法で除去することが可能となる。
【００３９】
なお、上記の説明では乱数加算回路１４の制御はマイクロコンピュータ１８から設定値を与えて行う例を説明したが、縦すじ位置検出回路１３、２次元ノイズ除去回路１５および３次元ノイズ除去回路１６から乱数加算回路１４に制御信号を直接つなぐ構成とすることも考えられ、この場合マイクロコンピュータ１８は不要となり、コストダウンを図ることができる。
【００４０】
【発明の効果】
以上のように本発明は、ビデオカメラ等の映像出力に縦すじとして現れ、画面上で位置が固定されており目立ちやすい固定撮像素子の固定パターンノイズに対して、動画撮影においてもノイズ除去が可能となるノイズ除去装置を構成できるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるノイズ除去装置の構成を示すブロック図
【図２】同実施の形態１におけるノイズ除去装置の乱数加算回路の構成を示すブロック図
【図３】同実施の形態１におけるノイズ除去装置の動作を説明する特性図
【図４】同実施の形態１におけるノイズ除去装置の動作を説明する特性図
【図５】同実施の形態１におけるノイズ除去装置の動作を説明する特性図
【図６】同実施の形態における縦すじ位置検出回路１３における信号を示す特性図
【図７】従来のノイズ除去装置の構成を示すブロック図
【図８】従来のノイズ除去装置の動作を説明する特性図
【符号の説明】
１１  固体撮像素子
１３  縦すじ位置検出回路
１４  乱数信号加算回路
１５  ２次元ノイズ除去回路
１６  ３次元ノイズ除去回路
【図１】
2004289241.tif 000003
【図２】
2004289241.tif 000004
【図３】
2004289241.tif 000005
【図４】
2004289241.tif 000006
【図５】
2004289241.tif 000007
【図６】
2004289241.tif 000008
【図７】
2004289241.tif 000009
【図８】
2004289241.tif 000010