(57)【要約】【課題】遮光素子を用いることなく、不自然な固定パターンノイズを抑制することのできる撮像装置を提供することを目的とする。【解決手段】撮像装置１は、被写体像を撮像し、第１の露光時間で撮像した映像と、第１の露光時間より短い第２の露光時間で撮像した映像とを出力する撮像部１１と、撮像部１１が出力する、第１の露光時間で撮像した映像と第２の露光時間で撮像した映像とを基に、補正画像を生成する減算部１４と、減算部１４が出力する補正画像のフレームレートを変換するフレームレート変換部１５と、フレームレート変換部１５の出力に対して信号処理を行う信号処理回路１６と、を備える。【選択図】図１
2011228771.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像し、第１の露光時間で撮像した映像と、前記第１の露光時間より短い第２の露光時間で撮像した映像とを出力する撮像部と、
前記撮像部が出力する、前記第１の露光時間で撮像した映像と前記第２の露光時間で撮像した映像とを基に、補正画像を生成する補正画像生成部と、
前記補正画像生成部が出力する補正画像のフレームレートを変換するフレームレート変換部と、
前記フレームレート変換部の出力に対して信号処理を行う信号処理部と、
を備える撮像装置。
【請求項２】
前記補正画像生成部は、
前記第１の露光時間で撮像した映像から前記第２の露光時間で撮像した映像を減算することで、前記撮像部の固定パターンノイズを低減した前記補正画像を生成する
請求項１に記載の撮像装置。
【請求項３】
前記撮像部が出力する前記第１の露光時間で撮像した映像の輝度レベルを検出する輝度検出部と、
前記撮像部における固定パターンノイズを保持する記憶部と、をさらに備え、
前記補正画像生成部は、
前記輝度検出部で検出した輝度レベルに応じて、前記撮像部が出力する前記第１の露光時間で撮像した映像及び前記第２の露光時間で撮像した映像、若しくは前記撮像部が出力する前記第１の露光時間で撮像した映像及び前記記憶部に保持する前記固定パターンノイズを基に、前記補正画像を生成する
請求項１又は２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の生成する画像信号から固定パターンノイズを除去する撮像装置に関する。
【背景技術】
【０００２】
従来、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型やＭＯＳ（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型などの撮像素子を使用した撮像装置において、アナログ処理回路の欠陥に起因する点や線や、そのシステムに起因する周期性ノイズなどにより、画素領域内における固定パターンノイズによる画質劣化が問題となっていた。発生するレベルが非常に小さい場合でも、画素領域に常に固定して点や線として現れるため、固定パターンノイズは非常に目立ち易い。特にＭＯＳ型などの場合、アナログ処理回路が細分化されて並列処理されていることから、各々の画素信号の通過経路が異なるため、固定パターンノイズが非常に多くなる。固定パターンノイズは入射する光量に影響されず常に一定量発生するという特徴があるため、撮像素子を遮光した場合には固定パターンノイズのみが取得できる。撮像素子を一時的に遮光して固定パターンノイズを取得し、通常撮影画像からこれを減算することによって、固定パターンを除去した通常撮影画像が得られる。撮像素子を一時的に遮光する手段として、撮像素子の前段に遮光素子を設けて、固定パターンノイズを取得する際には遮光素子を駆動して入射光を遮蔽する方法が考案されている（特許文献１参照）。
【０００３】
遮光素子は、偏光板や透過型液晶などを用いて、透過または遮蔽の制御を高速に行うことの出来るものが用いられる。偏光板を用いる場合には、偏光板を２枚使用し、２枚の相対角度を入射光軸上に回転させて、偏光板を２枚の相対角度が０度のときには入射光を透過し、相対角度が９０度のときには入射光を遮蔽するように回転駆動部が制御される。また、透過型液晶を用いる場合には、液晶パネルに対して電圧を供給出来るように構成し、電圧供給時には入射光を透過し、電圧遮断時には入射光を遮蔽出来るように電源が制御される。これらによって、比較的短い時間で入射光を透過、遮蔽することができる。
【０００４】
図５に示すように、被写体から遮光素子５１に入力される入射光は透過または遮蔽されて撮像素子５２に入力される。入射光は撮像素子５２で光電変換されて、変換された信号が選択部５３に出力される。選択部５３は遮光素子５１で遮蔽された信号をフレームメモリ５４に出力する。フレームメモリ５４は入力された遮光素子５１で遮蔽された信号を格納する。選択部５３は遮光素子５１で透過された信号を減算部５５に出力する。減算部５５は選択部５３から入力されたフレーム画像からフレームメモリ５４に格納されたフレーム画像を減算して信号処理回路に５６に出力する。信号処理回路５６は撮像装置に必要な様々な処理を施して映像信号を出力する。信号処理回路５６は、一方でタイミング発生器５７を制御する。タイミング発生器５７は遮光素子５１に対して最初のフレームは入射光を遮蔽して、次のフレームからは入射光を透過するように制御する。その後は、時間の経過に合わせて任意のタイミングで１フレームだけ遮光素子５１が入射光を遮蔽するように制御する。また、タイミング発生器５７は撮像素子５２に対して遮光素子５１の動作に関わらず一定な制御をする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２０７８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来の構成の撮像装置は、ＭＯＳ型などで画素ごとのメモリを持たない撮像素子を用いた場合、ラインごとに画素電荷の読出時間に差がある（ローリングシャッタ）ため、遮光素子も撮像素子に同期してラインごとに時間差を設けて駆動しなければならない。上述した従来の方法ではこのような撮像素子には対応できないという課題がある。また、上述した従来の方法では遮光素子の透過時には入射光の透過率を著しく低下させてしまい、一方で遮光素子の遮蔽時には入射光の透過率を完全にゼロにすることが非常に困難であるという課題がある。また、遮光素子を追加する必要があるため、撮像装置のコスト、電力、重量、体積などが増加するという課題がある。
【０００７】
本発明は、上記従来の課題を解決するもので、遮光素子を用いることなく、不自然な固定パターンノイズを抑制することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、撮像装置は、被写体像を撮像し、第１の露光時間で撮像した映像と、前記第１の露光時間より短い第２の露光時間で撮像した映像とを出力する撮像部と、前記撮像部が出力する、前記第１の露光時間で撮像した映像と前記第２の露光時間で撮像した映像とを基に、補正画像を生成する補正画像生成部と、前記補正画像生成部が出力する補正画像のフレームレートを変換するフレームレート変換部と、前記フレームレート変換部の出力に対して信号処理を行う信号処理部と、を備える。
【発明の効果】
【０００９】
上記の構成により、撮像装置は、遮光素子を用いなくても、不自然な固定パターンノイズの発生を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における撮像装置の構成を示すブロック図
【図２】実施の形態１における撮像装置の固定パターンノイズ補正の概略図
【図３】実施の形態１における撮像装置の駆動パルスと出力信号の概略図
【図４】実施の形態１における撮像装置の撮像素子のラインと経過時間を示した図
【図５】従来の撮像装置の構成を示すブロック図
【発明を実施するための形態】
【００１１】
以下、実施するための一形態について、図面を参照しながら説明する。
【００１２】
（実施の形態１）
（１．撮像装置の構成）
図１は、実施の形態１における撮像装置の構成を示すブロック図である。撮像装置１は、撮像部１１と、選択部１２と、フレームメモリ１３と、減算部１４と、フレームレート変換部１５と、信号処理回路１６と、高速駆動タイミング発生部１７と、を含む。
【００１３】
撮像部１１は、光学系と撮像素子とを含む。光学系は、対物レンズ、ズームレンズ、絞り、ＯＩＳ（Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ）ユニット、フォーカスレンズ等を含む。光学系は、被写体からの光を集光し、被写体像を形成する。撮像素子は、光学系で形成された被写体像を撮像して、画像信号を生成する。撮像素子は、ＭＯＳ型イメージセンサーである。撮像部１１は、撮像装置１の基準フレーム周波数より高速で（Ｎ＋１）ライン（Ｎは整数）、１ラインの２種類の長さの露光時間で高速駆動タイミング発生部１７により駆動される。
【００１４】
選択部１２は、撮像部１１が出力する画像信号について、その露光時間に応じて、出力先としてフレームメモリ１３又は減算部１４を選択する。選択部１２は（Ｎ＋１）ラインの長さの露光時間で撮像された明画像信号をフレームメモリ１３に出力する。一方、選択部１２は１ラインの長さの露光時間で撮像された暗画像信号を減算部１４に出力する。
【００１５】
フレームメモリ１３は選択部１２が出力する明画像信号を格納する。
【００１６】
減算部１４はフレームメモリ１３に格納された明画像信号から選択部１２から入力された暗画像信号を画素毎に減算し、生成した補正画像信号をフレームレート変換部１５に出力する。
【００１７】
フレームレート変換部１５は、減算部１４から出力された補正画像信号におけるサブフレーム周波数を、撮像装置の基準フレーム周波数に変換して、信号処理回路１６に出力する。
【００１８】
信号処理回路１６は撮像装置１に必要な様々な信号処理を施し、映像信号を出力する。また、高速駆動タイミング発生部１７は、信号処理回路１６によって制御され、撮像部１１をサブフレーム周波数で駆動する。
【００１９】
（２．撮像装置の動作）
ＭＯＳ型などで画素ごとのメモリを持たない撮像素子を用いた場合、ラインごとに画素電荷の読出時間に差がある（ローリングシャッタ）ため、動きが激しい被写体や撮像装置１を激しく動かした場合など、画像が歪む現象（スキュー現象）が発生する。これは撮像素子の駆動周波数が速いほど軽減されるため、撮像素子を撮像装置１の基本周波数よりも高速に駆動することが望まれる。例えば、撮像装置１の基準フレーム周波数が映画撮影などでよく用いられる２４Ｈｚ（１秒間に２４枚撮像）であっても、撮像素子の駆動フレーム周波数は２４Ｈｚより高いサブフレーム周波数で駆動される。本実施の形態では、撮像部１１の撮像素子を１２０Ｈｚのサブフレーム周波数で、信号処理回路１６を２４Ｈｚの基準フレーム周波数で駆動する場合を例として説明する。撮像素子を１２０Ｈｚのサブフレーム周波数で駆動すれば、一番上のラインと一番下のラインの画素電荷の読出時間の差が１／１２０秒となり、最大で１秒間に１２０回の撮像が可能となる。本実施の形態では、撮像素子は明画像と暗画像を後段の信号処理回路１６の基準フレーム周波数に相当する１秒間に２４回ずつを撮像する。ここで、明画像とは露光時間が（Ｎ＋１）ラインの長さの画像で、暗画像とは露光時間が１ラインの長さの画像である。
【００２０】
図２は本実施の形態における撮像装置１の固定パターンノイズ補正の概略図である。
【００２１】
図２（Ａ）は固定パターンノイズとして画面全体に縦線が現れた場合を示す。図２（Ｂ）は固定パターンノイズとして画面全体に点が現れた場合を示す。（Ｎ＋１）ラインの長さの露光時間の明画像は、明るい被写体と固定パターンノイズの足された信号となる。１ラインの長さの露光時間の暗画像は、暗い被写体と固定パターンノイズを合わせた信号となる。図２（Ａ）及び図２（Ｂ）のいずれの場合においても、（Ｎ＋１）ラインの長さの露光時間の明画像から１ラインの長さの露光時間の暗画像を減算することで、Ｎラインの長さの露光時間の固定パターンノイズの取り除かれた補正画像が得られる。
【００２２】
図３は本実施の形態における撮像装置１の駆動パルスと出力信号のタイミングチャートである。図３（Ａ）は基準フレーム周波数の垂直同期パルスを示す。図３（Ｂ）はサブフレーム周波数の垂直同期パルスを示す。図３（Ｃ）、図３（Ｄ）、図３（Ｅ）は撮像素子の垂直同期パルス、シャッタパルス、読出パルスをそれぞれ示す。図３（Ｃ）の撮像素子の垂直同期パルスは、１基準フレーム期間にサブフレーム周波数の垂直同期パルスが２回出力される。図３（Ｅ）の撮像素子の読出パルスは図３（Ｃ）の撮像素子の垂直同期パルスと同じタイミングとなる。図３（Ｄ）の撮像素子のシャッタパルスは図３（Ｅ）の撮像素子の読出パルスに対して１回目はＮ＋１ライン、２回目は１ラインの長さだけ早く、シャッタパルスと撮像素子の差が露光時間となる。図３（Ｆ）は撮像素子の出力信号で、明画像ＦＢ０〜ＦＢ３、暗画像ＦＤ０〜ＦＤ３が出力される。図３（Ｇ）は減算部１４の出力信号で、明画像から暗画像を減算したＦＣ０〜ＦＣ３が出力される。図３（Ｈ）はフレームレート変換部１５の出力信号であり、ＦＣ’０〜ＦＣ’３は、ＦＣ０〜ＦＣ３のフレームレートをサブフレーム周波数から基準フレーム周波数に変換したものである。
【００２３】
図４は本実施の形態における撮像素子のラインと経過時間を示した図である。縦軸に撮像素子のライン、横軸に経過時間を示す。図４（Ａ）に撮像素子の露光時間を示す。Ｂ１〜Ｂ４は（Ｎ＋１）ラインの長さの露光時間、Ｄ１〜Ｄ４は１ラインの長さの露光時間を示す。図４（Ｂ）に撮像素子から出力されるサブフレーム周波数の出力信号を示す。これは図３（Ｆ）に対応しており、フレーム信号ＦＢ１〜ＦＢ４、ＦＤ０〜ＦＤ４が出力される。図４（Ｃ）に減算部１４から出力されるサブフレーム周波数の出力信号を示す。これは図３（Ｇ）に対応しており、フレーム信号ＦＣ０〜ＦＣ４が出力される。図４（Ｄ）にフレームレート変換部１５から出力される基準フレーム周波数の出力信号を示す。これは図３（Ｈ）に対応しており、フレーム信号ＦＣ’０〜ＦＣ’３が出力される。
【００２４】
本実施の形態では、暗画像取得のために明画像の露光時間を１基準フレーム期間より１サブフレーム期間だけ短く設定しなければならないという制約がある。しかし、露光時間は長いほど残像が目立つ（ブレる）ため、フレーム周波数が低い場合は、一般的な撮影では露光時間を短く設定して撮影する。従って、この制約は問題とならない。
【００２５】
また、被写体に動きがあれば明画像と暗画像の被写体信号の位置に差があり、原理的に補正画像に暗画像が残像として現れる。ただし、暗画像の露光時間が１ラインの時間と短いために非常に暗く、通常は問題とならない。しかし、太陽や照明など撮像素子の飽和の１０倍以上も高輝度な被写体がある場合は、残像が残る。これを回避する手段として、図１の減算部１４の演算方法として、明画像の輝度レベルが閾値以上であれば、その領域は暗画像の代わりにデフォルトの黒レベルを減算する方法も考えられる。ここで、デフォルトの黒レベルとは、撮像素子の出力する黒レベルのクランプターゲット値である。また、閾値は飽和レベル付近に設定することが望ましい。この場合、閾値以上の高輝度な領域の固定パターンノイズは抑制出来ないが、高輝度な領域では固定パターンノイズは目立ちにくいため、問題とならない。
【００２６】
以上に述べたように、本実施の形態によれば、１基準フレーム期間内で２種類の露光時間の信号を取得してこれらを減算し、得られた画像を適正に処理することで、固定パターンノイズを抑制することが出来る。
【００２７】
尚、本実施の形態の撮像装置１を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【産業上の利用可能性】
【００２８】
本実施の形態にかかる撮像装置は、遮光素子を用いなくても、不自然な固定パターンノイズの発生を抑制することができ、ビデオカメラや、デジタルスチルカメラに適用することができ、有用である。
【符号の説明】
【００２９】
１  撮像装置
１１  撮像部
１２  選択部
１３  フレームメモリ
１４  減算部
１５  フレームレート変換部
１６  信号処理回路
１７  高速駆動タイミング発生部
５１  遮光素子
５２  撮像素子
５３  選択部
５４  フレームメモリ
５５  減算部
５６  信号処理回路
５７  タイミング発生器
【図１】
2011228771.tif 000003
【図３】
2011228771.tif 000004
【図５】
2011228771.tif 000005
【図２】
2011228771.tif 000006
【図４】
2011228771.tif 000007