(57)【要約】【課題】カラムごとに並列で処理している撮像素子を用いた場合であっても、不自然な縦筋状のノイズの発生を抑制することのできる撮像装置を提供することを目的とする。【解決手段】ライン順に透過状態と遮蔽状態とを切り替える遮光素子と、前記遮光素子を透過する光を受光して信号を出力する撮像素子と、前記遮光素子および前記撮像素子を基準フレーム周波数より高速で駆動する高速駆動タイミング発生器と、前記撮像素子から出力される黒画像フレームの信号の縦筋をラインメモリに加算平均して格納し、前記撮像素子から出力される実画像フレームの信号からライン毎に減算することによって補正する縦筋補正回路と、前記縦筋補正回路から出力される信号を基準フレーム周波数に変換するフレームレート変換器と、前記フレームレート変換器から出力される信号に様々な演算処理をする信号処理回路と、を備えた。【選択図】図１
2010283417.tif 000002
【特許請求の範囲】
【請求項１】
ライン順に透過状態と遮蔽状態とを切り替える遮光素子と、
前記遮光素子を透過する光を受光して信号を出力する撮像素子と、
前記遮光素子および前記撮像素子を基準フレーム周波数より高速で駆動する高速駆動タイミング発生器と、
前記撮像素子から出力される黒画像フレームの信号の縦筋をラインメモリに加算平均して格納し、前記撮像素子から出力される実画像フレームの信号からライン毎に減算することによって補正する縦筋補正回路と、
前記縦筋補正回路から出力される信号を基準フレーム周波数に変換するフレームレート変換器と、
前記フレームレート変換器から出力される信号に様々な演算処理をする信号処理回路と、を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の生成する画像信号から縦筋状のノイズを除去する撮像装置に関する。
【背景技術】
【０００２】
従来、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型等の撮像素子を使用した撮像装置においては、そのシステムに起因する周期性クロックノイズや垂直転送レジスタの欠陥に起因するノイズによる画質劣化が問題となっていた。これは、発生しているノイズのレベルが非常に小さいにもかかわらず、カラム（列）全体に固定した縦筋状のノイズとなることから非常に目立ち易い。また、高輝度な被写体を撮像した時に発生するスミア現象による画質劣化も問題となっている。これは本来の電荷蓄積領域に捕捉しきれなかった電荷が、ポテンシャル領域を乗り越えて垂直転送路に漏れ込むことによるものであり、高輝度な被写体が存在するカラム全体に渡る縦筋状のノイズになる。これらの縦筋状のノイズを適応的に除去する方法として、その発生原理から垂直方向にほぼ同レベルで生じることに着目して、縦筋検出領域として垂直ＯＢ（オプティカルブラック）領域を使用する方法が知られている（特許文献１参照）。露光中であっても常に遮光される垂直ＯＢ領域および遮光されない有効画素領域の２つで構成される撮像素子の全画素領域のうち、有効画素領域の黒（遮光）信号レベルは垂直ＯＢ領域の信号レベルと一致するため、垂直ＯＢ領域の信号レベルを黒基準として取得し、これを有効画素領域の信号レベルから減算する。図５に示すように、まず撮像素子５１０から出力される信号は、縦筋補正回路５２０に入力される。縦筋補正回路５２０は、ＯＢライン選択回路５２１とライン積分器５２２とラインメモリ５２３とライン減算器５２４とを含む。まず、ＯＢライン選択回路５２１は、有効画素領域の信号と垂直ＯＢ領域の信号のうち、垂直ＯＢ領域の信号のみを出力する。ライン積分器５２２は、ラインメモリ５２３を利用して、垂直ＯＢ領域の信号を画素毎にライン積分（加算平均）する。これによりランダムノイズが除去されて、１ライン分の補正値が得られるので、これをラインメモリ５２３に格納する。ライン積分器５２２は、ラインメモリ５２３に格納された補正値を逐次読み出し、ライン減算器５２４に出力する。ライン減算器５２４は撮像素子５１０から入力する各ライン信号から補正値を画素毎に減算することによって、縦筋補正を行う。信号処理回路５３０は、ライン減算器５２４の出力する信号に対し、一般的な撮像装置に必要な様々な処理を施す。タイミング発生器５４０は、信号処理回路５３０によって制御され、撮像素子５１０を基準フレーム周波数で駆動する。
【０００３】
遮光素子を用いている事例は特許文献２や特許文献３等があるが、特許文献２は撮像素子の蓄積タイミングが出力信号のタイミングとずれているため、違和感のある出力映像となるという問題がある。また、特許文献３では、ライン毎に蓄積期間の異なるローリングシャッタの撮像素子には対応できないばかりでなく、黒信号のライン加算を行わないためにランダムノイズが多い場合はノイズに埋もれてしまい、精度よく縦筋状のノイズを除去することができないという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−６７０３８号公報
【特許文献２】特開平０２−１２１４８０号公報
【特許文献３】特開２００４−２０７８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来の構成の撮像装置では、ＭＯＳ（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型等カラム毎に並列で処理している撮像素子を用いると、縦筋補正されているにも関わらず不自然な縦筋状のノイズが発生するという問題を有していた。これは、製造プロセスや温度等に起因する物性的特性の勾配により画素領域部分毎の黒信号レベルに差があるため、垂直ＯＢ領域の黒信号レベルが有効画素領域のカラム平均黒信号レベルとは異なることに起因する。すなわち、有効画素領域の黒信号レベルＶEBとそれに対応する垂直ＯＢ領域の信号レベルＶOBに差があるため、縦筋補正後の信号レベルＶCB（＝ＶEB−ＶOB）はゼロにならない。従って、カラム毎の縦筋補正後の信号レベルＶCBがずれて分布するために縦筋状のノイズが発生する。
【０００６】
本発明は、上記従来の問題点を解決するもので、カラム毎に並列で処理している撮像素子を用いた場合であっても、不自然な縦筋状のノイズの発生を抑制することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は、ライン順に透過状態と遮蔽状態とを切り替える遮光素子と、前記遮光素子を透過する光を受光して信号を出力する撮像素子と、前記遮光素子および前記撮像素子を基準フレーム周波数より高速で駆動する高速駆動タイミング発生器と、前記撮像素子から出力される黒画像フレームの信号の縦筋状のノイズをラインメモリに加算平均して格納し、前記撮像素子から出力される実画像フレームの信号からライン毎に減算することによって補正する縦筋補正回路と、前記縦筋補正回路から出力される信号を基準フレーム周波数に変換するフレームレート変換器と、前記フレームレート変換器から出力される信号に様々な演算処理をする信号処理回路と、を備えた撮像装置であり、基準フレーム周波数より高速に前記遮光素子と前記撮像素子を駆動し、前記遮光素子を用いて前記撮像素子を間欠的に遮蔽し、得られた画像を適正に処理することで、縦筋状のノイズを補正する作用を有する。
【発明の効果】
【０００８】
以上のように本発明は、カラム毎に並列で処理している撮像素子を用いた場合であっても、不自然な縦筋状のノイズの発生を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態による撮像装置の構成図
【図２】本発明の実施形態による撮像装置の縦筋補正方法の概略図
【図３】本発明の実施形態による撮像装置の駆動パルスと出力信号の概略図
【図４】本発明の実施形態による撮像装置の撮像素子のラインと経過時間を示した図
【図５】従来発明の撮像装置の構成図
【発明を実施するための形態】
【００１０】
以下、実施の形態について、図面を参照しながら説明する。
【００１１】
縦筋検出領域として、有効画素領域の外側にある垂直ＯＢ領域ではなく、有効画素領域の黒画像フレームの信号を使用する。ここで補正する縦筋状のノイズは、ＭＯＳの製造プロセスや温度等に起因する物性的特性の勾配であるため、数秒〜数十秒の短い間に急激に変化することはない。この方法であれば、補正される画像と同一の有効画素領域で撮像された信号を挿入して補正値を求めているため、製造プロセスや温度等に起因する物性的特性の勾配があったとしても、縦筋状のノイズを補正できる。
【００１２】
ＭＯＳ型等の、画素毎のメモリを持たない撮像素子を用いた場合、ライン毎に画素電荷の読出時間に差がある（ローリングシャッタ）ため、動きが激しい被写体や撮像装置を激しく動かした場合等に、画像が歪む現象（スキュー現象）が発生する。これは撮像素子の駆動フレーム周波数が速いほど軽減されるため、撮像素子を撮像装置の基準フレーム周波数よりも高速に駆動することが望まれる。例えば、撮像装置の基準フレーム周波数が映画撮影等でよく用いられる２４Ｈｚ（１秒間に２４枚撮像）であっても、撮像素子の駆動フレーム周波数は２４Ｈｚより高い周波数で駆動する。本発明では、撮像素子の駆動フレーム周波数を１２０Ｈｚとした場合を例として説明する。駆動フレーム周波数が１２０Ｈｚというのは、一番上のラインと一番下のラインの画素電荷の読出時間の差が約１／１２０秒であるということである。また、１２０Ｈｚのパルス４回分で実画像フレーム１枚を撮像し、１２０Ｈｚのパルス１回分で黒画像フレーム１枚を撮像する。これらを交互に行うことにより、１秒間に撮像する画像枚数は、実画像フレームの信号２４枚、黒画像フレームの信号２４枚となる。
【００１３】
図１の本発明の構成図が示すように、遮光素子１１０によって撮像素子１２０の有効画素領域を間欠的に遮光する。遮光素子１１０と撮像素子１２０は基準フレーム周波数より高速で動作する高速駆動タイミング発生器１６０によって基準フレーム周波数より高速で駆動される。ここで用いる遮光素子１１０は、電気的に光透過率が変化する透過型液晶等を用いた遮光フィルタや、撮像素子１２０の各画素の開口部を機械的に覆うことができるマイクロアクチュエータ等を用いた遮光マスク等、撮像素子１２０の各ラインの蓄積期間に同期して透過状態と遮蔽状態とを切り替えられる素子であればどんなものでも良い。撮像素子１２０は、遮光素子１１０が光を透過した場合はＮ（Ｎは整数）ラインの長さだけ蓄積して実画像フレームの信号を取得し、遮光素子１１０で遮蔽された場合は１ラインの長さだけ蓄積して黒画像フレームの信号を取得する。遮光素子１１０の遮蔽状態に完全な遮蔽は求められず、透過状態に対して１／１０〜１／１００程度に減光できればよい。
【００１４】
撮像素子１２０から出力される信号は、縦筋補正回路１３０に入力される。縦筋補正回路１３０は、黒画像フレーム選択回路１３１とライン積分器１３２とラインメモリ１３３とライン減算器１３４とを含む。黒画像フレーム選択回路１３１は、実画像フレームの信号と黒画像フレームの信号のうち、黒画像フレームの信号のみを出力する。ライン積分器１３２は、ラインメモリ１３３を利用して、黒画像フレームの信号を画素毎にライン積分（加算平均）する。これによりランダムノイズが除去されて、１ライン分の補正値が得られるので、これをラインメモリ１３３に格納する。ライン積分器１３２は、ラインメモリ１３３に格納された補正値を逐次読み出し、ライン減算器１３４に出力する。ライン減算器１３４は撮像素子１２０から入力する各ライン信号から補正値を画素毎に減算することによって、縦筋補正を行う。フレームレート変換器１４０はライン減算器１３４の出力する信号を基準フレーム周波数の信号に変換する。信号処理回路１５０は、フレームレート変換器１４０の出力する信号に一般的な撮像装置に必要な様々な処理を施す。高速駆動タイミング発生器１６０は、信号処理回路１５０によって制御され、基準フレーム周波数よりも高速に遮光素子１１０と撮像素子１２０を駆動する。
【００１５】
図２は、本発明の撮像装置の縦筋補正方法の概略図である。図２（Ａ）は縦筋状のノイズのみが現れた黒画像フレームの信号である。図２（Ｂ）は図２（Ａ）の黒画像フレームの信号の各ラインを積分（加算平均）してラインメモリに格納されたライン信号である。図２（Ｃ）は被写体と縦筋状のノイズが足された実画像フレームの信号で、図２（Ｃ）の各ライン信号から図２（Ｂ）のライン信号を減算すると、図２（Ｄ）のような縦筋状のノイズの取り除かれた補正画像が得られる。
【００１６】
図３は本発明の撮像装置の駆動パルスと出力信号のタイミングチャートである。図３（Ａ）、図３（Ｂ）は２４ＨｚのＶＤパルスと１２０ＨｚのＶＤパルスを示す。図３（Ｃ）は遮光素子のＶＤパルス、図３（Ｄ）、図３（Ｅ）、図３（Ｆ）はそれぞれ撮像素子のＶＤパルス、シャッタパルス、読出パルスを示す。図３（Ｃ），図３（Ｄ）のＶＤパルスは、図に示すように１／２４秒の期間に２回出力される。図３（Ｆ）の読出パルスは図３（Ｃ），図３（Ｄ）のＶＤパルスと同じタイミングとなる。図３（Ｅ）のシャッタパルスは図３（Ｆ）の読出パルスに対してそれぞれＮラインの長さ、１ラインの長さだけ先行して出力され、この差が図３（Ｇ）蓄積時間となる。Ｂ１〜Ｂ４はＮラインの長さの蓄積時間、Ｄ０〜Ｄ４は１ラインの長さの蓄積時間を示す。Ｂ１〜Ｂ４は遮光素子が透過状態であるため、図２（Ｃ）のような被写体と縦筋状のノイズの合わされた画像が取得できる。一方、Ｄ１〜Ｄ４は遮光素子が遮蔽状態であるため、図２（Ａ）のような縦筋状のノイズのみの画像が得られる。図３（Ｈ）は撮像素子から出力される１２０Ｈｚの信号で、フレーム信号ＦB0〜ＦB4、ＦD0〜ＦD4が出力される。図３（Ｉ）はフレームレート変換器から出力される２４Ｈｚの信号である。フレーム信号ＦB0〜ＦB4からＦD0〜ＦD4を減算したフレーム信号Ｆ0〜Ｆ4が出力される。
【００１７】
この場合、黒画像フレームの信号を取得のために実画像フレームの信号の蓄積時間が１／２４秒より２０％以上短くなるが、フレーム周波数が低い場合は残像を減らすために蓄積時間を短めにして撮影することが多いため、実使用上は問題とならない。
【００１８】
図４は、本発明の撮像装置の遮光素子と撮像素子のラインと経過時間を示した図である。前述したように、撮像素子のライン毎に画素電荷の読出時間に差があるため分かりづらいため、縦軸に遮光素子や撮像素子のライン、横軸に経過時間を示す。図４（Ａ）に遮光素子の透過状態と遮蔽状態を示す。これは、図３（Ｃ）に対応する。また、図４（Ｂ）に撮像素子の駆動を示す。これは、図３（Ｇ）の蓄積時間に対応する。図４（Ｃ）に撮像素子から出力される１２０Ｈｚの出力信号を示す。これは図３（Ｈ）に対応しており、フレーム信号ＦB0〜ＦB4、ＦD0〜ＦD4が出力される。図４（Ｄ）にフレームレート変換器から出力される２４Ｈｚの出力信号を示す。これは図３（Ｉ）に対応しており、フレーム信号Ｆ0〜Ｆ4が出力される。
【００１９】
以上に述べたように、本発明によれば、１フレーム期間内で２種類の蓄積時間の信号を取得して、得られた画像を適正に処理することで、縦筋状のノイズの発生を抑制することが出来る。
【００２０】
尚、本発明の撮像装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【産業上の利用可能性】
【００２１】
本発明にかかるＭＯＳ型のようなカラム毎に並列で処理している撮像素子を有する撮像装置は、ビデオカメラ等の撮像装置を用いた動画撮像の用途にも適用できる。
【符号の説明】
【００２２】
１１０  遮光素子
１２０  撮像素子
１３０  縦筋補正回路
１３１  黒画像フレーム選択回路
１３２  ライン積分器
１３３  ラインメモリ
１３４  ライン減算器
１４０  フレームレート変換器
１５０  信号処理回路
１６０  高速駆動タイミング発生器
５１０  撮像素子
５２０  縦筋補正回路
５２１  ＯＢライン選択回路
５２２  ライン積分器
５２３  ラインメモリ
５２４  ライン減算器
５３０  信号処理回路
５４０  タイミング発生器
【図１】
2010283417.tif 000003
【図２】
2010283417.tif 000004
【図３】
2010283417.tif 000005
【図４】
2010283417.tif 000006
【図５】
2010283417.tif 000007