(57)【要約】【課題】フリッカ補正後の画像信号に残存する画質劣化成分を低減する撮像装置を提供する。【解決手段】イメージセンサ１は蓄積時間に応じた画像信号を出力し、フリッカ補正部２は画像信号に対してフリッカ補正を施す。静止画検出部６は画像信号が静止画状態であることを検出すると、蓄積時間制御部５はイメージセンサ１の蓄積時間を変更する。特徴検出部３は、フリッカ補正部２の出力信号の特徴を検出する。補正演算部６は、特徴検出部３の出力信号と蓄積時間設定情報とを用いて、フリッカ補正後の画像信号に対して補正演算を施す。【選択図】図１
2007336329.tif 000002
【特許請求の範囲】
【請求項１】
蓄積時間に応じた画像信号を出力するイメージセンサと、
前記イメージセンサから出力される画像信号に対してフリッカ補正を施すフリッカ補正部と、
フリッカ補正後の前記画像信号が静止画状態かどうかを検出する静止画検出部と、
前記静止画検出部の検出結果に応じて、前記蓄積時間を制御する蓄積時間制御部と、
フリッカ補正後の前記画像信号の特徴を検出する特徴検出部と、
前記特徴検出部が検出した前記画像信号の特徴と、前記蓄積時間制御部が設定した前記蓄積時間とに基づいて、フリッカ補正後の前記画像信号に対して補正演算を施す補正演算部と、
を有することを特徴とする撮像装置。
【請求項２】
前記フリッカ補正部は、点滅照明の点灯周期に応じてフリッカ補正を施すことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記特徴検出部は、フリッカ補正後の前記画像信号に対して所定の水平期間内の平均値をライン単位で算出し、前記画像信号の特徴として出力することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記蓄積時間制御部は、前記静止画検出部の検出結果に応じて、前記イメージセンサに対する前記蓄積時間を設定すると共に、前記蓄積時間に関する情報を前記補正演算部に出力することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記静止画検出部がフリッカ補正後の前記画像信号が静止画状態であると判断したとき、前記蓄積時間制御部は現在の蓄積時間と異なる蓄積時間を新たに設定することを特徴とする請求項１記載の撮像装置。
【請求項６】
前記補正演算部は、蓄積時間の異なるそれぞれの前記特徴検出部の出力信号の差異を検出し、前記差異に基づいて、フリッカ補正後の前記画像信号に含まれる画質劣化起因となる周波数成分を除去することを特徴とする請求項５記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサを有し、画像信号を出力する撮像装置に関する。
【背景技術】
【０００２】
従来のＣＭＯＳイメージセンサを有する撮像装置は、画素の信号の蓄積時間帯を画素毎にシフトさせるローリングシャッター方式を採用している。そのため、蛍光灯等の点滅照明による照明光の影響を受けた場合、撮像装置が出力する画像に縞模様が発生する。この縞模様を抑制する撮像装置が特許文献１に開示されている。
【０００３】
図８に示す特許文献１に記載の従来の撮像装置は、ＣＭＯＳイメージセンサを搭載し、画像信号を出力するカメラ２０と、１フィールド分の画像信号を記憶するＦＩＦＯ２１と、カメラ２０からの現在の画像信号とＦＩＦＯ２１からの１フィールド遅れた画像信号とに基づいて、画素毎の画像信号の平均値を演算する演算部２２とを有する。
【０００４】
カメラ２０が５０Ｈｚ電源による蛍光灯等による照明光の影響を受けた状態で画像を入力した場合、蛍光灯周期の整数倍の期間を画素の蓄積時間として設定すれば、蓄積される光強度は各画素で等しくなり、カメラ２０が出力する画像信号は点滅照明光の影響を受けない。しかし、整数倍の関係が崩れると、カメラ２０が出力する画像信号は点滅照明光の影響を受ける。
【０００５】
図９に、点滅照明光の影響を受けた画像信号９１及び９２と、演算部２２により平均化された画像信号９３とを示す。画面上に表示される信号が第１フィールドの画像信号９１から第２フィールドの画像信号９２に変化すると、画面上を縞模様が流れる。そのため、演算部２２は、位相が１８０度異なる、ＦＩＦＯ２１に記憶された第１フィールドの画像信号９１と、現在入力した第２フィールドの画像信号９２とを画素毎に平均化することにより、フリッカ補正を施す。これにより、演算部２２から出力される画像信号は均一の信号９３となり、画面上の縞模様はキャンセルされる。
【特許文献１】特開２００４−８８７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
また、図９と異なり、位相が１２０度ずつ異なる３つのフィールドを用いて画像信号を構成する場合、演算部２２は３フィールド分の画像信号を平均化することによりフリッカ補正を行う。３フィールド分の画像信号と、フリッカ補正後の画像信号の波形を図１０に示す。従来の撮像装置において、蛍光灯等の点滅照明の発光波形に歪みがある場合、カメラ２０が出力する画像信号１０１、１０２、１０３に図１０の斜線部分１０５に示すような歪みの影響が表れる。その結果、３フィールドの画像信号１０１、１０２、１０３を平均化した後の画像信号１０４に歪みの影響が残ってしまう。画像信号１０４に残存する歪み成分は、画面上で固定の薄い横縞となり、画質劣化要因となる。
【０００７】
本発明は、上記従来の課題を解決するもので、フリッカ補正後の画像信号に残存する歪み成分を低減し、画質劣化抑制を図る撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、蓄積時間に応じた画像信号を出力するイメージセンサと、イメージセンサから出力される画像信号に対してフリッカ補正を施すフリッカ補正部と、フリッカ補正後の画像信号が静止画状態かどうかを検出する静止画検出部と、静止画検出部の検出結果に応じて、蓄積時間を制御する蓄積時間制御部と、フリッカ補正後の画像信号の特徴を検出する特徴検出部と、特徴検出部が検出した画像信号の特徴と、蓄積時間制御部が設定した蓄積時間とに基づいて、フリッカ補正後の画像信号に対して補正演算を施す補正演算部と、を有する。この構成により、本発明はフリッカ補正後の画像信号に残存する歪み成分を除去し、画質劣化抑制を実現できる。
【０００９】
フリッカ補正部は、点滅照明の点灯周期に応じてフリッカ補正を施しても良い。
【００１０】
特徴検出部は、フリッカ補正後の画像信号に対して所定の水平期間内の平均値をライン単位で算出し、画像信号の特徴として出力しても良い。
【００１１】
蓄積時間制御部は、静止画検出部の検出結果に応じて、イメージセンサの蓄積時間を設定すると共に、蓄積時間に関する情報を補正演算部に出力しても良い。
【００１２】
静止画検出部がフリッカ補正後の画像信号が静止画状態であると判断したとき、蓄積時間制御部は現在の蓄積時間と異なる蓄積時間を新たに設定しても良い。
【００１３】
補正演算部は、蓄積時間の異なるそれぞれの特徴検出部の出力信号の差異を検出し、その差異に基づいて、フリッカ補正後の画像信号に含まれる画質劣化起因となる周波数成分を除去しても良い。
【発明の効果】
【００１４】
本発明の撮像装置によれば、フリッカ補正後の画像信号に残存する歪み成分を除去し、画質劣化を抑制できるという格別な効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下本発明を実施するための最良の形態について、図を参照して説明する。
【００１６】
［撮像装置の構成］
図１に、本発明の実施形態の撮像装置の構成を示す。本実施形態の撮像装置は、ＭＯＳによって構成され、蓄積時間に応じた動画又は静止画の画像信号を出力するイメージセンサ１、イメージセンサ１から出力される画像信号に対してフリッカ補正を施すフリッカ補正部２、フリッカ補正部２から出力される画像信号を入力し、イメージセンサ１により生成された画像信号が静止画状態かどうかを検出する静止画検出部６、静止画検出部６の検出結果に応じてイメージセンサ１の蓄積時間を制御する蓄積時間制御部５、フリッカ補正部２から出力される画像信号の特徴を検出する特徴検出部３、及び特徴検出部３と蓄積時間制御部５からの情報に基づいて、フリッカ補正部２から出力されるフリッカ補正後の画像信号に対して補正演算を施す補正演算部４を有する。
【００１７】
［イメージセンサが受ける点滅照明光の影響］
イメージセンサ１は、ローリングシャッター方式を採用し、蓄積時間制御部５により設定された蓄積時間に従って、入力する光量に応じた電荷を画素に蓄積する。イメージセンサ１が入力する光量は、光強度が周期的に変動する蛍光灯等の点滅照明からの照明光の影響を受けて、変動する。
【００１８】
図２に、５０Ｈｚ蛍光灯の光強度の波形を示す。５０Ｈｚ電源による蛍光灯は、１００Ｈｚ周期の光強度で発光する。イメージセンサ１が５０Ｈｚ蛍光灯の影響を受けた画像を入力した場合、蛍光灯の発光周期１００Ｈｚの整数倍の期間を画素の蓄積時間として設定しておけば、蓄積される光強度は各画素で等しくなり、点滅照明光の影響を受けなくなる。しかし、整数倍の関係が崩れると各画素に蓄積される光強度が異なってしまうため、イメージセンサ１が出力する画像信号は、フリッカの要因となる縞模様を含む画像信号になる。
【００１９】
図３（ａ）（ｂ）（ｃ）に、５０Ｈｚ蛍光灯の発光周期の１／２の時間で、イメージセンサ１が電荷を蓄積した場合の画像全体で均一な輝度を有する画像の画像信号を例示する。図３（ａ）（ｂ）（ｃ）における垂直期間は、３３ｍｓｅｃである。第１フィールドから第３フィールドの画像信号を画面上に表示すると横縞模様が流れる。
【００２０】
［フリッカ補正］
図４に、位相が１２０度ずつずれるように垂直期間が設定されている場合の第１、第２、第３フィールドの画像信号４１、４２、４３の波形と、本実施形態の撮像装置が補正演算部４から出力する出力信号４４の波形を示す。本実施形態において、イメージセンサ１は、第１、第２、第３フィールドの画像信号４１、４２、４３の位相が１２０度ずつずれるように垂直期間を設定して、画像信号４１、４２、４３を出力する。フリッカ補正部２は、先に入力した第１フィールドとその次に入力した第２フィールドの画像信号を記憶して、イメージセンサ１から新たに入力した第３フィールドの画像信号と、記憶している第１フィールドと第２フィールドの画像信号とに基づいて画素毎の平均値を演算することにより、フリッカ補正を施す。しかし、蛍光灯等の点滅照明の発光波形に歪みがあると、フリッカ補正部２から出力される画像信号は、図１０の画像信号１０４に示すように、画質劣化起因となる周波数成分、すなわち歪み成分が残った、薄い縞模様を含む画像信号となる。そのため、本実施形態の撮像装置は、以下のように残存する歪み成分を除去して、均一な画像信号４４を補正演算部４から出力する。
【００２１】
［残存する歪み成分の除去］
静止画検出部６は、フィールドの画像信号を記憶して、フィールド間における画面上の数ヶ所の画像データが変化したかどうかを検出することにより、フリッカ補正部２から出力されるフリッカ補正後の画像信号が静止画状態かどうかを検出する。静止画検出部６が、静止画状態であると判断すると、静止画状態であることを示す静止画判断情報を蓄積時間制御部５に出力する。
【００２２】
蓄積時間制御部５は、静止画検出部６から静止画判断情報を受け取ると、現在設定されている所定の蓄積時間よりも短い蓄積時間を歪み成分検出用の値としてイメージセンサ１に対して設定すると共に、新たに設定した歪み成分検出用の蓄積時間の情報を含む蓄積時間設定情報を補正演算部４に出力する。その後、所定時間が経過すると、蓄積時間制御部５は蓄積時間の設定値を元の所定値に戻して、イメージセンサ１に蓄積時間を設定すると共に、元の蓄積時間に関する情報を蓄積時間設定情報として補正演算部４に出力する。蓄積時間制御部５は、蓄積時間の設定値を歪み成分検出用の値に変更した時の画像変化の影響を考慮して、現在設定されている所定の蓄積時間よりも短い蓄積時間の長さを決定する。
【００２３】
図５に、本実施形態の蓄積時間の設定に関する動作フローを示す。フリッカ補正部２は、イメージセンサ１から出力される画像信号が点滅照明光の影響を受けているかどうかを判断する（Ｓ５０１）。点滅照明光の影響を受けていれば、フリッカ補正部２はフリッカ補正を施す。静止画検出部６は、フリッカ補正部２から出力される画像信号が静止画状態かどうかを判断する（Ｓ５０２）。静止画検出部６が静止画状態であると判断すれば、蓄積時間制御部５は蓄積時間の設定値を所定値から歪み成分検出用の値に変更し（Ｓ５０３）、イメージセンサ１に変更した値の蓄積時間を設定する。蓄積時間制御部５は、蓄積時間を変更してから所定時間が経過したかどうかを判断する（Ｓ５０４）。所定時間が経過していれば、蓄積時間制御部５は蓄積時間を元の値、すなわち変更前の所定値に戻す（Ｓ５０５）。点滅照明光の影響を受けていない場合（Ｓ５０１でＮｏ）や静止画状態でない場合（Ｓ５０２でＮｏ）は、蓄積時間の設定値は変更しない。
【００２４】
図６に、特徴検出部３における画像信号の特徴の検出範囲と検出結果の波形３１とを示す。特徴検出部３は、フリッカ補正部２から出力される画像信号の所定の水平期間内に平均値検出範囲を設け、平均値検出範囲の垂直期間方向における画像信号の平均値を水平ライン単位で計算し、その平均値を画像信号の特徴として補正演算部４に出力する。このように、所定の水平期間内に平均値検出範囲を設けることにより、特徴検出部３は画面全体の画像信号のデータを記憶して処理しなくても良くなる。よって、特徴検出部３を簡易な回路で実現できる。
【００２５】
図７に、補正演算部４の内部構成の一例を示す。補正演算部４は、蓄積時間制御部５から転送された蓄積時間設定情報を入力し、所定値の蓄積時間に応じたゲインＡと歪み成分検出用の値の蓄積時間に応じたゲインＢとを出力するゲイン演算部１０、特徴検出部３の出力信号を記憶するＦＩＦＯ１１、ＦＩＦＯ１１の出力とゲインＢとを乗算する乗算器１２、特徴検出部３の出力信号とゲインＡとを乗算する乗算器１３、乗算器１３の出力値から乗算器１２の出力値を減算する減算器１４、及びフリッカ補正部２の出力信号から減算器１４の出力値を減算する減算器１５を有する。
【００２６】
ゲインＡとゲインＢは、蓄積時間の設定値の違いから蓄積される光量が異なることを踏まえて決定される。つまり、蓄積時間の設定値が元の所定値の時における特徴検出部３の出力信号にゲインＡを乗算して得られる信号と、ＦＩＦＯ１１に記憶された蓄積時間の設定値が歪み成分検出用の値の時の特徴検出部３の出力信号とゲインＢとを乗算して得られる信号の各々において、点滅照明の発光の歪みによる影響を受けている以外の信号レベルが同一となるようにゲインＡとゲインＢが算出される。蓄積時間は短い方が、点滅照明の発光歪み成分が多く残留する。これは、ローリングシャッター方式が光量の移動平均を算出する方式に近いため、蓄積時間が長いとローパルフィルタ効果が大きくなり、歪み成分をより抑制することになるからである。
【００２７】
蓄積時間制御部５が蓄積時間の設定値を歪み成分検出用の値から所定値に戻したときに、減算器１４は、蓄積時間の設定値が元の所定値のときにおける乗算器１３の出力値と、蓄積時間の設定値が歪み成分検出用の値のときにおける乗算器１２の出力値との差分を算出して、点滅照明の発光歪みに伴う画像信号の歪み部分を抜き出す。減算器１５はこの差分をフリッカ補正部２の出力信号から差し引く。これにより、補正演算部４から出力される画像信号は、画質劣化起因となる歪み成分を含まない又は歪み成分を低減した信号となる。
【００２８】
このように、画像信号が静止画状態のときは、蓄積時間の設定値を短くして照明の発光歪み成分が多く含まれる信号を生成し、元の画像信号から歪み成分を差し引くことにより、フリッカ補正後の残存する歪み成分を除去することができる。これにより、画面上に縞模様が流れなくなる。
【００２９】
なお、フリッカ補正部２の出力信号から差し引く、乗算器１４の出力値の大きさを考慮する場合、ゲインＡとゲインＢを算出するときに相関をとっても良い。また、相関をとらない場合は、減算器１４と減算器１５の間に、減算器１４の出力結果に所定のゲインを乗算する乗算器を設けて、その乗算器の出力値をフリッカ補正部２の出力信号から差し引いても良い。
【００３０】
なお、本実施形態においては、変更する蓄積時間は元の蓄積時間よりも短くしたが、本発明は蓄積時間の設定値を変更することにより得られる画像信号と元の画像信号との差分から歪み成分を抽出する方式であるため、変更する蓄積時間の設定値は元の蓄積時間より長くしても良い。変更する蓄積時間の設定値を元の蓄積時間より長くした場合でも、本実施形態と同様の効果が得られる。
【００３１】
なお、本実施形態においては、位相が１２０度ずつ異なる３フィールドの画像信号に対してフリッカ補正を施す場合について説明したが、画像を構成するフィールドの数は３つに限らず、例えば位相が１８０度異なる２フィールド分の画像信号を用いる場合であっても本発明を適用できる。例えば、イメージセンサ１は位相が１８０度異なるように垂直期間を設定して画像信号を出力し、フリッカ補正部２は２フィールド分の画像信号を用いてフリッカ補正を施しても良い。このようなフリッカ補正後の画像信号に対しても、残存する歪み成分を除去することができる。
【００３２】
また、フリッカ補正部２は、イメージセンサ１から出力される画像信号が点滅照明の影響を受けているかどうかを判断して、画像信号が点滅照明の影響を受けていると判断した場合に、フリッカ補正を施しても良い。例えば、フリッカ補正部２は、イメージセンサ１から出力される画像信号に対して、所望の水平ラインの輝度の平均値をフィールド毎に算出する。前フィールドにおける水平ラインの輝度の平均値は記憶しておく。画像信号の位相が１８０度異なる場合、フリッカ補正部２は、現フィールドの所望の水平ラインの輝度の平均値を算出した後、前フィールドと現フィールドの各平均値を用いて、２フィールド分の平均値を算出する。フリッカ補正部２は、現フィールドの所望の水平ラインの平均値と２フィールド分の平均値との差を比較し、その比較結果の正負がフィールド毎に反転する場合に、イメージセンサ１から出力される画像信号が点滅照明の影響を受けていると判断して、フリッカ補正を施しても良い。
【産業上の利用可能性】
【００３３】
本発明は、フリッカ補正後の画像信号に残存する画質劣化の要因となる周波数成分を低減できるという効果を有し、撮像装置等として有用である。
【図面の簡単な説明】
【００３４】
【図１】本発明の撮像装置の概略の構成を示すブロック図
【図２】５０Ｈｚ蛍光灯の発光の波形図
【図３】発光周期の１／２の時間で蓄積した場合の画像信号を示す図であって、（ａ）は第１フィールドの画像信号、（ｂ）は第２フィールドの画像信号、（ｃ）は第３フィールドの画像信号を示す波形図
【図４】３フィールド分の信号と平均化した画像信号の波形図
【図５】本発明の蓄積時間の設定方法を示すフローチャート
【図６】本発明の特徴検出部における画像信号の特徴の検出状態を示す図
【図７】本発明の補正演算部の内部構成の一例を示す図
【図８】従来の撮像装置の概略の構成を示すブロック図
【図９】２フィールド分の信号と平均化した画像信号の波形図
【図１０】照明の発光波形に歪みがある場合の画像信号の波形図
【符号の説明】
【００３５】
１    イメージセンサ
２    フリッカ補正部
３    特徴検出部
４    補正演算部
５    蓄積時間制御部
６    静止画検出部
１０  ゲイン演算部
１１  ＦＩＦＯ
２０  カメラ
２１  ＦＩＦＯ
２２  演算部
【図１】
2007336329.tif 000003
【図２】
2007336329.tif 000004
【図３】
2007336329.tif 000005
【図４】
2007336329.tif 000006
【図５】
2007336329.tif 000007
【図６】
2007336329.tif 000008
【図７】
2007336329.tif 000009
【図８】
2007336329.tif 000010
【図９】
2007336329.tif 000011
【図１０】
2007336329.tif 000012