(57)【特許請求の範囲】
【請求項１】
光源の周波数に応じたフリッカ成分を含む撮像信号を補正するフリッカ補正方法であって、
フレームレートに応じて所定の撮像素子が電荷を蓄積することにより撮像信号を生成し、
フリッカ補正された現フレームの撮像信号に位相の異なるフリッカを加算した２種類のフリッカ位相撮像信号を生成し、生成した２種類のフリッカ位相撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正位相誤差を検出し、
上記フリッカ補正された現フレームの撮像信号に振幅の異なるフリッカを加算した２種類のフリッカ振幅撮像信号を生成し、生成した２種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正振幅誤差を検出し、
上記検出される補正振幅誤差が小さくなる方向にフリッカ補正信号の振幅を制御する振幅信号を生成し、
フリッカ成分を近似した補正波形データが記憶されている記憶手段から、上記補正位相誤差をもとに上記補正波形データを読み出し、読み出した上記補正波形データから、上記光源の周波数と上記撮像素子の電荷蓄積時間と上記撮像素子の電荷蓄積タイミングとの関係に基づいて決定される特定期間分を積分し、積分したデータと上記振幅信号とを乗算することにより上記フリッカ補正信号を生成し、
次フレームの撮像信号に上記フリッカ補正信号を１フレーム毎に加算することでフリッカ補正を行うことを特徴とするフリッカ補正方法。
【請求項２】
フレームレートに応じて撮像素子に電荷を蓄積することにより撮像信号を生成する撮像手段を有し、光源の周波数に応じたフリッカ成分を含む撮像信号を補正する撮像装置であって、
上記撮像手段により生成された撮像信号にフリッカ補正信号を１フレーム毎に加算することによりフリッカ補正を行うフリッカ補正手段と、
上記フリッカ補正手段によりフリッカ補正された現フレームの撮像信号に位相の異なるフリッカを加算した２種類のフリッカ位相撮像信号を生成し、生成した２種類のフリッカ位相撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正位相誤差を検出する補正位相誤差検出手段と、
上記フリッカ補正手段によりフリッカ補正された現フレームの撮像信号に振幅の異なるフリッカを加算した２種類のフリッカ振幅撮像信号を生成し、生成した２種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正振幅誤差を検出する補正振幅誤差検出手段と、
上記補正振幅誤差検出手段により検出される補正振幅誤差が小さくなる方向にフリッカ補正信号の振幅を制御する振幅信号を生成するフリッカ振幅調整手段と、
上記補正位相誤差検出手段により生成される補正位相誤差信号と上記フリッカ振幅調整手段により生成される振幅信号に基づいて、上記フリッカ補正信号を生成するフリッカ補正信号生成手段とを備え、
上記フリッカ補正信号生成手段は、フリッカ成分を近似した補正波形データが記憶されている記憶手段と、上記補正位相誤差をもとに上記記憶手段から読み出した上記補正波形データから、上記光源の周波数と上記撮像素子の電荷蓄積時間と上記撮像信号のフレームレートとの関係に基づいて決定される特定期間分を積分し、積分したデータと上記振幅信号とを乗算することにより上記フリッカ補正信号を生成するフリッカ補正信号生成手段とを備えることを特徴とする撮像装置。
【請求項３】
上記補正位相誤差検出手段は、上記フリッカ補正信号生成手段を備え、上記フリッカ補正信号生成手段が次フレームの撮像信号を補正する直前の補正位相誤差信号をもとに２種類のフリッカ補正信号を生成し、位相の異なる上記フリッカ補正信号を加算した２種類のフリッカ位相撮像信号を生成することを特徴とする請求項２記載の撮像装置。
【請求項４】
上記補正振幅誤差検出手段は、上記フリッカ補正信号生成手段を備え、上記フリッカ補正信号生成手段が次フレームの撮像信号を補正する直前の上記補正位相誤差信号をもとに２種類のフリッカ補正信号を生成して、振幅の異なる上記フリッカ補正信号を加算した２種類のフリッカ位相撮像信号を生成することを特徴とする請求項２記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正方法及び撮像装置に関する。
【背景技術】
【０００２】
従来、イメージセンサは面単位、若しくはライン単位で電荷の蓄積タイミングが異なる。一般的に、面単位で電荷の蓄積タイミングを合わせる方式をグローバルシャッタ方式と呼び、ライン単位で電荷の蓄積タイミングを合わせる方式をローリングシャッタ方式と呼ぶ。これまでイメージセンサではグローバルシャッタ方式を採用したＣＣＤイメージセンサが主流であったが、近年、ＣＣＤイメージセンサより消費電力が小さく、部品点数も少なく安価に生産できるＣＭＯＳイメージセンサが注目されている。このＣＭＯＳイメージセンサは構造的な問題によりローリングシャッタ方式を採用している場合が多い。どちらの方式でも、点滅を繰り返す光源の下で撮影した場合は、センサでの電荷蓄積タイミングの違いにより、面全体に明暗の違い（面フリッカ）やライン毎による明暗の違い（面内フリッカ）が現れる。
【０００３】
図１３にグローバルシャッタ方式を採用したセンサでの電荷蓄積量の違いを示し、従来図１４にはグローバルシャッタ方式によって現れる面フリッカの画像の例を示す。図１５にはローリングシャッタ方式による電荷蓄積量の違いを示し、図１６には面内フリッカの画像の例を示す。
【０００４】
例えば、ＣＭＯＳカメラを使用して撮像を行うにあたり、被写体に対する照明を行う光源が、例えば、交流電源周期の１／２の周期をもって点滅を繰り返すものとされる場合には、固体撮像素子からの映像出力信号に基づいて形成される映像信号が、周期的な輝度レベルの増減として現れるフリッカ成分を含むことになる。
【０００５】
ここで、図１５において被写体に対する照明を行う光源の輝度Ｘが周期的に変動する下において、映像信号のある１ライン期間分に対応する信号電荷を蓄積する固体撮像素子部の受光部分Ｌｎに、期間ａから期間ｂまでの期間（期間ａ＋ｂ）において信号電荷が蓄積され、映像信号の次の１ライン期間分に対応する信号電荷を蓄積する受光部分Ｌｎ＋１に、期間ｂから期間ｃ（ｃ＝ａ）までの期間（期間ｂ＋ｃ）において信号電荷が蓄積される場合、受光部分Ｌｎに期間ａ＋ｂにおいて蓄積される信号電荷の量は、面積Ａａ面積Ａｂとの和（面積Ａａ＋Ａｂ）に比例したものとなり、また、受光部分ＬＮ＋１に期間ｂ＋ｃにおいて蓄積される信号電荷の量は、面積Ａｂと面積Ａｃとの和（面積Ａｂ＋Ａｃ）に比例したものとなる。ここで、期間ａ及び期間ｃの夫々は、例えば、映像信号の１ライン期間に対応し、また、期間ａ＋ｂ及び期間ｂ＋ｃの夫々は、例えば、映像信号の１フレーム期間に対応するものとされる。
【０００６】
即ち、受光部分Ｌｎ及び受光部分Ｌｎ＋１の夫々の電荷蓄積時間（露光時間）は、その長さが、例えば、映像信号の１フレーム期間に対応するものとされて等しく、そのタイミングが、例えば、映像信号の１ライン期間に対応する期間だけずれるものとされる。そして、図１５に示される場合には、被写体に対する照明を行う光源の輝度変動周期（交流電源周期の１／２）と映像信号のフレーム周期とは、一方が他方の整数倍という関係にはない。
【０００７】
図１５から明らかなように、面積Ａａ＋Ａｂと面積Ａｂ＋Ａｃとは、面積Ａｂを共通に含み、それぞれ面積Ａａと面積Ａｃを有している。従って、受光部分Ｌｎに期間ａ＋ｂにおいて蓄積される信号電荷の量と、受光部分Ｌｎ＋１に期間ｂ＋ｃにおいて蓄積される信号電荷の量とは、面積Ａａ及び面積Ａｃに応じて異なる。
【０００８】
このように、固定撮像素子部において、映像信号の各ライン期間分に対応する信号電荷の蓄積と送出とが行われる受光部分に蓄積される、映像信号の１ライン期間分に対応する信号電荷の量が、光源の輝度の周期的変動に応じて周期的に変化することとなる。そして、このような受光部分に蓄積される映像信号の１ライン期間分に対応する信号電荷の量の周期的変化が、映像信号の輝度レベルの周期的変化となって現れ、映像信号にフリッカ成分が含まれることになる。
【０００９】
上述のようなフリッカ成分が含まれた映像信号に基づいて再生される１フレーム期間分の画像は、例えば、図１６に示されるように、ライン方向（水平方向）の明暗の縞模様が生じるものとされる。
【００１０】
特許文献１には、フリッカ成分を補正するために、入力画像からフリッカ成分を検出し、検出されたフリッカ成分をもとにゲインを調整する方法が記載されている。
【００１１】
【特許文献１】特開２００４−２２２２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
このような周期的に点灯する光源下で撮像された撮像信号に含まれるフリッカ成分は、正弦波によって近似することができる。よって、従来からフリッカを除去する方法として、フリッカ成分を正弦波によって近似する方法が広く用いられている。
【００１３】
また、本件出願人は、予めフリッカ成分を近似した正弦波のデータを記憶しておき、このデータに基づいて撮像画像から補正値を算出し、撮像画像から補正値を加えることによりフリッカ成分を除去した撮像信号を生成するフリッカ補正方法を特願２００４−３３０２９９号として、先に提案している。
【００１４】
ところで、映像信号に含まれるフリッカ成分は、撮像装置のシャッタスピードに応じて変化するため、正弦波によって近似することができない場合がある。
【００１５】
具体例として、図１７（Ａ）にフレームレートが３０ｆｐｓでシャッタを入れていない場合のフリッカ成分を示し、図１７（Ｂ）にフレームレートが３０ｆｐｓでシャッタスピードが１／１０００［ｓ］である場合のフリッカ成分を示し、図１７（Ｃ）にフレームレートが３０ｆｐｓでシャッタスピードが１／２０００［s］である場合のフリッカ成分を示す。図１７に示されるフリッカ成分は、全てフレームレートが３０ｆｐｓに固定した条件下のものである。また、図１８Ａ及び図１８Ｂは、露光時間及び電荷蓄積タイミングに応じたフリッカ成分を示した図である。図１８Ａは、図１８Ｂと比べてシャッタスピードが速い場合のフリッカ成分を示した図である。このように、シャッタスピードに応じて露光時間が異なり、この露光時間の違いに応じて電荷蓄積容量も異なることを示している。
【００１６】
このように、蛍光灯等の光を正弦波の絶対値で近似した場合、フレームレートとシャッタスピードが遅ければフリッカ成分は、十分正確に近似することができるが、シャッタスピードが速くなると近似精度が低下するため、シャッタスピードが速くなるのにともなってフリッカ成分を十分に低減することができなかった。
【００１７】
本発明は、このような実情に鑑みて提案されたものであり、シャッタスピード及び／又はフレームレートが変化しても高精度にフリッカ補正を行うフリッカ補正方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上述の課題を解決するために、本発明に係るフリッカ補正方法は、光源の周波数に応じたフリッカ成分を含む撮像信号を補正するフリッカ補正方法であって、フレームレートに応じて所定の撮像素子が電荷を蓄積することにより撮像信号を生成し、フリッカ補正された現フレームの撮像信号に位相の異なるフリッカを加算した２種類のフリッカ位相撮像信号を生成し、生成した２種類のフリッカ位相撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正位相誤差を検出し、上記フリッカ補正された現フレームの撮像信号に振幅の異なるフリッカを加算した２種類のフリッカ振幅撮像信号を生成し、生成した２種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正振幅誤差を検出し、上記検出される補正振幅誤差が小さくなる方向にフリッカ補正信号の振幅を制御する振幅信号を生成し、フリッカ成分を近似した補正波形データが記憶されている記憶手段から、上記補正位相誤差信号をもとに上記補正波形データを読み出し、読み出した上記補正波形データから、上記光源の周波数と上記撮像素子の電荷蓄積時間と上記撮像素子の電荷蓄積タイミングとの関係に基づいて決定される特定期間分を積分して上記振幅信号を乗算することにより上記フリッカ補正信号を生成し、次フレームの撮像信号に上記フリッカ補正信号を加算することでフリッカ補正を行うことを特徴とする。
【００１９】
また、本発明に係る撮像装置は、フレームレートに応じて撮像素子に電荷を蓄積することにより撮像信号を生成する撮像手段を有し、光源の周波数に応じたフリッカ成分を含む撮像信号を補正する撮像装置であって、上記撮像手段により生成された画像信号にフリッカ補正信号を１フレーム毎に加算することによりフリッカ補正を行うフリッカ補正手段と、上記フリッカ補正手段によりフリッカ補正された現フレームの撮像信号に位相の異なるフリッカを加算した２種類のフリッカ振幅撮像信号を生成し、生成した２種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正位相誤差を検出する補正位相誤差検出手段と、上記フリッカ補正手段によりフリッカ補正された現フレームの撮像信号に振幅の異なるフリッカを加算した２種類のフリッカ画像信号を生成し、生成した２種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正振幅誤差を検出する補正振幅誤差検出手段と、上記補正振幅誤差検出手段により検出される補正振幅誤差が小さくなる方向にフリッカ補正信号の振幅を制御する振幅信号を生成するフリッカ振幅調整手段と、上記補正位相誤差検出手段により生成される補正位相誤差信号と上記フリッカ振幅調整手段により生成される振幅信号に基づいて、上記フリッカ補正信号を生成するフリッカ補正信号生成手段とを備え、上記フリッカ補正手段は、フリッカ成分を近似した補正波形データが記憶されている記憶手段と、上記補正位相誤差信号をもとに上記記憶手段から読み出した上記補正波形データから、上記光源の周波数と上記撮像素子の電荷蓄積時間と上記撮像信号のフレームレートとの関係に基づいて決定される特定期間分を積分して上記振幅信号を乗算することにより上記フリッカ補正信号を生成するフリッカ補正信号生成手段とを備えることを特徴とする。
【発明の効果】
【００２０】
本発明は、光源の周波数と撮像素子の電荷蓄積時間と撮像信号のフレームレートとの関係に基づいて決定される特定期間分を積分した補正波形データに、振幅信号を乗算したフリッカ補正信号を生成するので、撮像信号のシャッタスピード及びフレームレートが変化しても、高精度にフリッカ成分を補正することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００２２】
本発明は、例えば図１に示すような構成の撮像装置１００に適用される。
【００２３】
この撮像装置１００は、赤色画像撮像用の撮像素子１０Ｒ、緑色画像撮像用の撮像素子１０Ｇ、青色画像撮像用の撮像素子１０Ｂ、各撮像素子１０Ｒ，１０Ｇ，１０Ｂから出力されるアナログの撮像信号をデジタル化するＡ／Ｄ変換器２０Ｒ，２０Ｇ，２０Ｂ、各Ａ／Ｄ変換器２０Ｒ，２０Ｇ，２０Ｂによりデジタル化された撮像信号ＤＶ＿Ｒ，ＤＶ＿Ｇ，ＤＶ＿Ｂが供給されるフリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂ、補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂ及び補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂにより検出された補正振幅誤差信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂが供給されるカメラ用信号処理回路７０などからなる。
【００２４】
各補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂは、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂによりフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂ及びフリッカ振幅調整器６０Ｒ，６０Ｇ，６０Ｂにより調整されたフリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂが供給されており、上記デジタル化された撮像信号ＤＶ＿Ｒ，ＤＶ＿Ｇ，ＤＶ＿Ｂとフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂ、フリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂから各撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂの補正位相誤差を検出して補正位相誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂを生成し、生成した補正位相誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂを各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂ及び各補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂに供給する。
【００２５】
また、各補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂは、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂによりフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂ及びフリッカ振幅調整器６０Ｒ，６０Ｇ，６０Ｂにより調整されたフリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂが供給されており、上記デジタル化された撮像信号ＤＶ＿Ｒ，ＤＶ＿Ｇ，ＤＶ＿Ｂとフリッカ補正された撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂ、フリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂ、補正位相誤差信号Ｅ＿Ｒ，Ｅ＿Ｇ，Ｅ＿Ｂから各撮像信号ＣＶ＿Ｒ，ＣＶ＿Ｇ，ＣＶ＿Ｂの補正振幅誤差を検出して補正振幅誤差信号Ｃ＿Ｒ，Ｃ＿Ｇ，Ｃ＿Ｂを生成し、生成した補正振幅誤差信号Ｃ＿Ｒ，Ｃ＿Ｇ，Ｃ＿Ｂをフリッカ振幅調整器６０Ｒ，６０Ｇ，６０Ｂに供給する。
【００２６】
フリッカ振幅調整器６０Ｒ，６０Ｇ，６０Ｂは、補正振幅誤差信号Ｃ＿Ｒ，Ｃ＿Ｇ，Ｃ＿Ｂからフリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂを生成し、生成したフリッカ振幅信号Ａ＿Ｒ，Ａ＿Ｇ，Ａ＿Ｂをフリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂ、補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂ及び補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂに供給する。
【００２７】
この撮像装置１００において、各フリッカ補正回路３０Ｒ，３０Ｇ，３０Ｂには、図２に示すような構成のフリッカ補正回路３０＊が用いられている。以下、＊はＲ，Ｇ，Ｂを代表して表記したものである。
【００２８】
フリッカ補正回路３０＊は、補正位相誤差検出器４０＊から補正位相誤差信号Ｅ＿＊が供給されるアドレス算出器３１＊、このアドレス算出器３１＊により算出されたアドレスＡＤが供給される補正値算出器３２＊、この補正値算出器３２＊により算出されたフリッカ補正データＦＤと上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給される乗算器３３＊、この乗算器３３＊によりフリッカ振幅信号Ａ＿＊が乗算されたフリッカ補正データＦＤＡが供給されるレベル調整器３４＊、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給されるローパスフィルタ（ＬＰＦ）３５＊及び演算器３６＊を備え、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が上記ローパスフィルタ（ＬＰＦ）３５＊を介して上記レベル調整器３４＊に供給され、このレベル調整器３４＊により生成されるフリッカ補正値ＣＦＤが上記演算器３６＊に供給されるようになっている。そして、演算器３６＊は、映像信号ＤＶ＿＊及びフリッカ補正値ＣＦＤに応じて、フリッカ補正された映像信号ＣＶ＿＊を出力する。
【００２９】
このような構成のフリッカ補正回路３０＊において、アドレス算出部３１＊では、補正誤差検出器４０＊から供給される補正誤差信号Ｅ＿＊をもとに、補正値算出器３２＊に備えられたＲＯＭのアドレスＡＤを計算する。
【００３０】
このアドレス算出器３１＊では、注目するフレームの先頭ラインのアドレスを電源周波数とフレームレートから計算し、そのアドレスに１ライン進む毎のアドレス増加量を加算することで現在のラインでのアドレスを算出する。具体的には電源周波数が５０Ｈｚ、フレームレートが３０Ｈｚ、撮像素子１０＊の垂直方向のクロック数が１１２５ｃｌｋである場合（以後、具体例では電源周波数、フレームレート、撮像素子１０＊のクロック数は同じ）に、フリッカの１回の明暗の周期Ｔは、３３７．５ライン（Ｔ＝３０［Ｈｚ］×１１２５［ｃＬｋ］／（５０［Ｈｚ］×２）＝３３７．５［ｃＬｋ］）となる。また、システム内部のＲＯＭには１周期を５１２分割したフリッカデータが保持されており、１ライン進む毎にＲＯＭのアドレスは、約１．５１７０３（５１２／３３７．５≒１．５１７０３）だけ増えることになる。つまり、先頭ラインでの補正はアドレスが０のとき、１００ライン進むとそのラインでのアドレスは、１５２（０＋１．５１７０３×１００≒１５２）となる。
【００３１】
補正値算出器３２＊は、図３に示すように、アドレス算出部３１＊により算出されたアドレスＡＤをもとにフリッカ成分を正弦波近似した補正波形データを記憶している補正波形データ記憶部３２１＊と、補正波形データ記憶部３２１＊から読み出された補正波形データから特定期間分を積分する積分器３２２＊とを備え、上記積分器３２２＊によって積分された補正波形データをフリッカ補正データＦＤとして出力する。
【００３２】
ここで、補正値算出器３２＊の補正波形データ記憶部３２１＊で記憶されている補正波形データは、周期性を利用するため波形の一部を積分器３２２＊へ供給することとなっている。また、このフリッカ補正データＦＤは、ライン単位で決まる値で、１ラインにつき１回更新される。
【００３３】
補正値算出器３２＊では、図４に示す光源の電源周波数Ｌ［Ｈｚ］と各撮像素子１０＊の電荷蓄積時間であるシャッタスピードＳ［ｓ］と電荷蓄積タイミングとの関係をモデル化し、正弦波近似された補正波形データに加えて、このモデルを用いて、従来に対してより精度の高いフリッカ補正を可能とするフリッカ補正データＦＤを算出するものとする。
【００３４】
図４は、光源の電源周波数Ｌ［Ｈｚ］と各撮像素子１０＊の電荷蓄積時間であるシャッタスピードＳ［ｓ］と電荷蓄積タイミングとの関係をモデル化したものである。具体的に、補正波形データの積分区間は、電荷蓄積時間、すなわちシャッタスピードＳ［ｓ］である。また、補正波形データを積分するタイミング、すなわち電荷を蓄積するタイミングのずれは、フレームレートの逆数１／Ｆ［ｓ］を映像信号の垂直方向のライン数Ｖで割った値１／（Ｆ×Ｖ）となる。
【００３５】
ここで、光源の電源周期１／Ｌ［ｓ］分の補正波形データのアドレス数をＷとすると、積分区間毎に対応する補正波形データのアドレス数が２×Ｌ×Ｓ×Ｗとなり、補正波形データの積分タイミングが２×Ｌ×Ｗ／（Ｆ×Ｖ）となる。
【００３６】
そして、補正値検出部３２＊では、積分区間毎に対応する補正波形データのアドレス数（２×Ｌ×Ｓ×Ｗ）、及び、その積分タイミング（２×Ｌ×Ｗ／（Ｆ×Ｖ））に基づいて積分器３２２＊がフリッカ補正データＦＤを算出する。
【００３７】
このように、補正値算出部３２＊では、正弦波近似された補正波形データに加えて、上述したモデルに基づいて適切なフリッカ補正データＦＤを算出するので、より高精度のフリッカ補正を可能とする。よって、補正値検出部３２＊は、任意のフレームレート及びシャッタスピードに応じて適切なフリッカ補正データＦＤを算出することができる。特に、高速なフレームレート及び高速なシャッタスピードで撮像する条件下において、従来では、正弦波による近似精度が低下してしまうため、高精度のフリッカ補正データＦＤを算出できなかったが、本実施例に係る補正値算出部３２＊では、このような条件下でも精度良くフリッカ補正を行うことができる。
【００３８】
ここで、フレームレート、シャッタスピード、及び、電源周波数は、いずれも撮像装置１００が備える図示しない記憶部に保持されている。この記憶部への入力は、撮像装置１００に備えられているスイッチ等を用いた手動による設定、及び、外部装置からの伝送による設定などで行われる。フレームレート、シャッタスピード、及び、電源周波数は、この記憶部から撮像装置１００全体の動作を制御する図示しない制御部により読み取られ、補正値算出部３２＊に与えられる。
【００３９】
また、フリッカのレベルは各画素値の輝度値に応じて変化するので入力される撮像信号ＤＶ＿＊を用いて画素毎にレベル調整を行うが、撮像信号ＤＶ＿＊にはノイズ成分も含まれており、このレベル調整にノイズの影響が出てしまう。
【００４０】
そこで、この撮像装置１００におけるフリッカ補正回路３０＊では、ローパスフィルタ（ＬＰＦ）３５＊を通すことで撮像信号ＤＶ＿＊からノイズを除去し、ノイズを除去した撮像信号ＤＶ＿＊’とフリッカ振幅信号Ａ＿＊が乗算されたフリッカ補正データＦＤＡから、ノイズの影響を受けていない各画素の補正値ＣＦＤを算出する。
【００４１】
なお、この実施の形態では画素値に応じて補正値も短調増加するものとなっている。これは、画素値に応じてフリッカのレベルも線形に増加する傾向が観測されたためである。また、画素値が非常に小さい場合と非常に大きい場合ではフリッカが測定されないので、その特徴も備えた計算を実行しているが、この特性に限定するものではない。
【００４２】
そして、このフリッカ補正回路３０＊では、演算器３５＊において撮像信号ＤＶ＿＊に各画素の補正値ＣＦＤを加算することでフリッカ成分が補正された撮像信号ＣＶ＿＊を得る。
【００４３】
次に、この撮像装置１００における補正誤差の検出アルゴリズムについて、図５を参照して説明する。具体的には、まず、図５Ａを参照して位相の補正誤差の検出アルゴリズムを説明することにする。
【００４４】
まず、あるフレーム画像（ここではｎフレーム目の画像）のフリッカが正しいレベルで補正できたとする。「ｎフレーム目の補正画像」を出力した後、その「ｎフレーム目の補正画像」に対してｎ＋１フレーム目の画像のフリッカの状態を予測してフリッカ成分を付加する。このようにしてできたフリッカ画像を画像Ａとする。同時に、ｎ＋１フレーム目のフリッカ状態を予測し、さらにアドレスをずらしたフリッカ成分を付加する。このようにしてできたフリッカ画像を画像Ｂとする。
【００４５】
ここで、これら２つの画像に対して、フリッカ成分を含んだ補正前の「ｎ＋１フレーム目の画像」との差分をそれぞれ取ると、画像Ａに対する差分値は被写体の動き成分のみが差分画像として出力されるが、画像Ｂに対する差分値は被写体の動き成分とフリッカ成分の両方が差分画像として出力される。このため、画像Ａから求めた差分値が、画像Ｂから求めた差分値よりも小さくなると考えられる。これに対して、画像Ｂから求めた差分値が、画像Ａから求めた差分値よりも小さくなった場合には、アドレスをずらしたほうが正しくフリッカの位相を予測していると考えられる。つまり、差分値が小さい方が正しくフリッカの位相を予測しているので、差分値が小さくなる方向へアドレスをずらしていくことで最終的に適当な範囲内で位相の補正誤差を収束させることができる。
【００４６】
続いて、図５Ｂを参照して、振幅の補正誤差の検出アルゴリズムについて説明する。
【００４７】
まず、あるフレーム画像（ここではｎフレーム目の画像）のフリッカを正しいレベルで補正する。続いて、次フレーム（ここではｎ＋１目の画像）を予測し、この予測した次フレームのフリッカのレベルをｎフレーム目と同じレベルで、補正画像にｎ＋１フレーム目のフリッカを付加する。このようにしてできたフリッカ画像を画像Ａとする。同時にレベルをｎフレーム目より強くして、補正画像にｎ＋１フレーム目のフリッカを付加する。このようにしてできたフリッカ画像を画像Ｂとする。
【００４８】
ここで、これら２つの画像に対して、フリッカ成分を含んだ補正前の「ｎ＋１フレーム目の画像」との差分をそれぞれ取ると、画像Ａに対する差分値は被写体の動き成分のみが出力されるが、画像Ｂに対する差分値は被写体の動き成分とフリッカ成分の２つの成分が出力される。このため、画像Ａから求めた差分値が、画像Ｂから求めた差分値よりも小さくなると考えられる。これに対して、画像Ｂから求めた差分値が、画像Ａから求めた差分値よりも小さくなった場合には、画像Ａより強いレベルを付加したほうが正しくフリッカの振幅を予測していると考えられる。つまり、差分値が小さい方が正しくフリッカの振幅を予測しているので、差分値が小さくなる方向へレベルを付加することで最終的に適当な範囲内で振幅の補正誤差を収束させることができる。
【００４９】
補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂ及び補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂは、上記アルゴリズムに従って構成されている。
【００５０】
この撮像装置１００において、補正位相誤差検出器４０Ｒ，４０Ｇ，４０Ｂには、上記アルゴリズムに従って構成された図６に示すような補正位相誤差検出器４０＊が用いられている。
【００５１】
一方、補正位相誤差検出器４０＊は、上記フリッカ補正回路３０＊によりフリッカ補正された撮像信号ＣＶ＿＊及び上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給されるフリッカ付加信号生成部４１Ａ＊，４１Ｂ＊、各フリッカ信号生成部４１Ａ＊，４１Ｂ＊により生成されたフリッカ付加信号ＦＤＶ１，ＦＤＶ２が供給されるライン積分器４２Ａ＊，４２Ｂ＊、各ライン積分器４２Ａ＊，４２Ｂ＊により積分されたラインデータＬＤ１１，ＬＤ２１が供給されるメモリ４３Ａ＊，４３Ｂ＊、各メモリ４３Ａ＊，４３Ｂ＊から読み出されたラインデータＬＤ１２，ＬＤ２２が供給される差分検出器４４Ａ＊，４４Ｂ＊、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給されるライン積分器４５＊、各差分検出器４４Ａ＊，４４Ｂ＊による検出された差分データＤＤ１，ＤＤ２が供給される積分器４６Ａ＊，４６Ｂ＊、各積分器４６Ａ＊，４６Ｂ＊により得られた積分データＩＤ１，ＩＤ２が供給される比較器４７＊などを備え、ライン積分器４５＊により得られるラインデータＬＤ３が各差分検出器４４Ａ＊，４４Ｂ＊に供給され、比較器４７＊による比較出力として得られる補正位相誤差信号Ｅ＿＊が各フリッカ付加信号生成部４１Ａ＊，４１Ｂ＊に供給されるようになっている。
【００５２】
各フリッカ付加信号生成部４１Ａ＊，４１Ｂ＊は、比較器４７＊による比較出力として得られる補正位相誤差信号Ｅ＿＊が供給されるアドレス算出部４１１Ａ＊，４１１Ｂ＊、各アドレス算出部４１１Ａ＊，４１１Ｂ＊により算出されたアドレスＡＤ１１，ＡＤ２１が供給されるアドレス変換器４１２Ａ＊，４１２Ｂ＊、各アドレス変換器４１２Ａ＊，４１２Ｂ＊により算出されたアドレスＡＤ１２，ＡＤ２２が供給される補正値算出器４１３Ａ＊，４１３Ｂ＊、上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給される乗算器４１４Ａ＊，４１４Ｂ＊、この乗算器４１４Ａ＊，４１４Ｂ＊によりフリッカ振幅信号Ａ＿＊が乗算されたフリッカデータＦＤＡ１，ＦＤＡ２が供給されるレベル調整器４１５Ａ＊，４１５Ｂ＊、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が上記ローパスフィルタ（ＬＰＦ）４１６Ａ＊，４１６Ｂ＊を介して上記レベル調整器４１５Ａ＊，４１５Ｂ＊に供給され、このレベル調整器４１５Ａ＊，４１５Ｂ＊により生成される補正値ＣＦＤ１，ＣＦＤ２が上記演算器４１７Ａ＊，４１７Ｂ＊に供給されるようになっている。
【００５３】
このような構成の補正位相誤差検出器４０＊では、補正誤差信号Ｅ＿＊をもとにアドレス算出部４１１Ａ＊，４１１Ｂ＊で補正位相誤差検出器４０＊内部に備えられたＲＯＭのアドレスＡＤ１１，ＡＤ２１を計算する。ここで、計算するアドレスは次フレームのフリッカの先頭のアドレスをプラス方向とマイナス方向とへずらしたアドレスである。これらのアドレスは、フリッカ補正器３０＊でのアドレス算出器３１＊と同様の計算によって算出する。また、補正誤差検出器４０＊に備えられるＲＯＭは、フリッカ補正回路３０＊に備えられたＲＯＭと同じものである。
【００５４】
アドレス変換器４１２Ａ＊，４１２Ｂ＊では、アドレス算出器４１１Ａ＊，４１１Ｂ＊で算出されたアドレスＡＤ１１，ＡＤ２１から次フレームのフリッカを再現できるアドレスＡＤ１２，ＡＤ２２へ変換する。つまり、位相が逆転するアドレスへと変換する。このアドレス変換器４１２Ａ＊，４１２Ｂ＊で変換されるアドレスＡＤ１２，ＡＤ２２は、次フレームのフリッカを予測したものでフリッカを補正するためのものではない。
【００５５】
補正値算出器４１３Ａ＊，４１３Ｂ＊では、アドレス変換器４１２Ａ＊，４１２Ｂ＊により変換されたアドレスＡＤ１２，ＡＤ２２をもとにフリッカ補正データＦＤ１，ＦＤ２を算出する。このフリッカデータＦＤ１，ＦＤ２もフリッカ補正回路３０＊と同様にライン単位で決まる値である。この補正値算出器４１３Ａ＊，４１３Ｂ＊もフリッカ補正回路３０＊に備えられ補正値算出器３２＊と同様の構成のものが用いられる。
【００５６】
補正位相誤差検出器４０＊は、フリッカ付加信号生成部４１Ａ＊，４１Ｂ＊において、ローパスフィルタ（ＬＰＦ）４１６Ａ＊，４１６Ｂ＊を通すことでフリッカ補正された撮像信号ＣＶ＿＊からノイズを除去し、ノイズを除去した撮像信号ＣＶ＿＊をレベル調整器４１５Ａ＊，４１５Ｂ＊に供給する。レベル調整器４１５Ａ＊，４１５Ｂ＊では、ノイズのない撮像信号ＣＶ＿＊と乗算器４１４Ａ＊，４１４Ｂ＊で算出したフリッカデータＦＤＡ１，ＦＤＡ２から、ノイズの影響を受けていない各画素の補正値ＣＦＤ１，ＣＦＤ２を算出する。
【００５７】
このレベル調整器４１５Ａ＊，４１５Ｂ＊もフリッカ補正回路３０＊に備えられたレベル調整器３４＊と同様の構成のものが用いられる。
【００５８】
演算器４１７Ａ＊，４１７Ｂ＊では、フリッカ補正された撮像信号ＣＶ＿＊に各画素の補正値ＣＦＤ１，ＣＦＤ２を加算して、次フレームのフリッカ付加信号ＦＤＶ１，ＦＤＶ２を生成する。この演算器４１７Ａ＊，４１７Ｂ＊もフリッカ補正回路３０＊に備えられた演算器３６＊と同様の構成のものが用いられる。
【００５９】
そして、ライン積分器４２Ａ＊，４２Ｂ＊では、次フレームのフリッカ付加信号ＦＤＶ１，ＦＤＶ２のある領域をそれぞれ積分しラインデータＬＤ１１，ＬＤ２１を算出する。ここでの領域とは水平方向に取得される画像の範囲であれば任意の値を取ることが可能であり、広くとることで補正誤差の検出の精度を上げることができる。垂直方向には１画面内に入るフリッカの明暗の周期の整数倍とすればよい。具体的には水平方向に１０００画素分、垂直方向に６７５画素分（３３７．５×２．０）などとすることができる。ここで、３３７．５ラインとは、電源周波数が５０［Ｈｚ］、フレームレートが３０［Ｈｚ］、センサの垂直方向のライン数が１１２５［ライン］の場合のフリッカの１回の明暗の周期（３０［Ｈｚ］×１１２５［ライン］／（５０［Ｈｚ］×２）＝３３７．５［ライン］）である。
【００６０】
ライン積分器４２Ａ＊，４２Ｂ＊により算出されたラインデータＬＤ１２，ＬＤ２１を、次フレームの撮像信号ＤＶ＿＊が入力されるまでメモリ４３Ａ＊，４３Ｂ＊に蓄えておき、次フレームの撮像信号ＤＶ＿＊が入力されたら、フリッカ付加信号ＦＤＶ１，ＦＤＶ２を積分した領域と同じ領域をライン積分器４５＊でライン積分してラインデータＬＤ３を算出する。
【００６１】
メモリ４３Ａ＊，４３Ｂ＊に蓄えてあるラインデータＬＤ１２，ＬＤ２２とそのラインに対応する次フレームの撮像信号ＤＶ＿＊のラインデータＬＤ３をそれぞれ差分検出器４４Ａ＊，４４Ｂ＊に入力し差分データＤＤ１，ＤＤ２を得る。
【００６２】
積分器４６Ａ＊，４６Ｂ＊では、２つの差分データＤＤ１，ＤＤ２をそれぞれ積分することにより積分データＩＤ１，ＩＤ２を得る。
【００６３】
そして、比較器４７＊において、これらの積分データＩＤ１，ＩＤ２の大小を比べることでアドレスをプラスとマイナスのどちらにずらしたほうがより正しいフリッカを予測しているか判断する。例えば、アドレスをプラスにしたほうの積分データＩＤ＊がアドレスをマイナスした積分データＩＤ＊より小さいならばアドレスをプラスにするように補正位相誤差信号Ｅ＿＊を出力する。
【００６４】
この補正位相誤差信号Ｅ＿＊を上記フリッカ補正回路３０＊及び補正振幅誤差検出器５０＊に入力し、正しい方向へアドレスをずらしていくことで補正誤差を最小にする。
【００６５】
また、この撮像装置１００において、補正振幅誤差検出器５０Ｒ，５０Ｇ，５０Ｂには、上記アルゴリズムに従って構成された図７に示すような構成の補正振幅誤差検出器６０＊が用いられている。
【００６６】
補正振幅誤差検出器５０＊は、上記フリッカ補正回路３０＊によりフリッカ成分が補正された撮像信号ＣＶ＿＊及び上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給されるフリッカ付加信号生成部５１Ａ＊，５１Ｂ＊、各フリッカ付加信号生成部５１Ａ＊，５１Ｂ＊により生成されたフリッカ付加信号ＦＤＶ３１，ＦＤＶ３２が供給されるライン積分器５２Ａ＊，５２Ｂ＊、各ライン積分器５２Ａ＊，５２Ｂ＊により積分されたラインデータＬＤ３１，ＬＤ３２が供給されるメモリ５３Ａ＊，５３Ｂ＊、各メモリ５３Ａ＊，５３Ｂ＊から読み出されたラインデータＬＤ３１，ＬＤ３２が供給される差分検出器５４Ａ＊，５４Ｂ＊、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が供給されるライン積分器５５＊、各差分検出器５４Ａ＊，５４Ｂ＊による検出された差分データＤＤ３１，ＤＤ３２が供給される積分器５６Ａ＊，５６Ｂ＊により得られた積分データＩＤ３１，ＩＤ３２が供給される比較器５７＊などを備え、ライン積分器５５＊により得られるラインデータＬＤ３が各差分検出器５４Ａ＊，５４Ｂ＊に供給されるようになっている。
【００６７】
フリッカ付加信号生成部５１Ａ＊，５１Ｂ＊は、上記補正位相誤差検出器４０＊における比較器４７＊による比較出力として得られる補正位相誤差信号Ｅ＿＊が供給されるアドレス算出器５１１Ａ＊，５１１Ｂ＊、各アドレス算出器５１１Ａ＊，５１１Ｂ＊により算出されたアドレスＡＤ３１が供給されるアドレス変換器５１２Ａ＊，５１２Ｂ＊、各アドレス変換器５１２Ａ＊，５１２Ｂ＊により算出されたアドレスＡＤ３２が供給される補正値算出器５１３Ａ＊，５１３Ｂ＊、上記フリッカ振幅調整器６０＊により生成されたフリッカ振幅信号Ａ＿＊が供給される振幅増幅器５１４Ａ＊及び振幅減衰器５１４Ｂ＊、補正値算出器５１３Ａ＊，５１３Ｂ＊により算出されたフリッカデータＦＤ３１が供給される乗算器５１５Ａ＊，５１５Ｂ＊、この乗算器５１５Ａ＊，５１５Ｂ＊によりフリッカ振幅信号Ａ＿＊が乗算されたフリッカデータＦＤＡ３１，ＦＤＡ３２が供給されるレベル調節器５１６Ａ＊，５１６Ｂ＊、上記Ａ／Ｄ変換器２０＊によりデジタル化された撮像信号ＤＶ＿＊が上記ローパスフィルタ（ＬＰＦ）５１７Ａ＊，５１７Ｂ＊を介して上記レベル調整器５１６Ａ＊，５１６Ｂ＊に供給され、このレベル調整器５１６Ａ＊，５１６Ｂ＊により生成される補正値ＣＦＤ３１，ＣＦＤ３２が上記演算器５１８Ａ＊，５１８Ｂ＊に供給されるようになっている。
【００６８】
このような構成の補正振幅誤差検出器５０＊では、フリッカ付加信号生成部５１Ａ＊，５１Ｂ＊において、補正位相誤差信号Ｅ＿＊をもとにアドレス算出器５１１Ａ＊，５１１Ｂ＊で補正振幅誤差検出器５０＊内部に備えられたＲＯＭのアドレスＡＤ３１を計算する。ここで計算するアドレスは次フレームのフリッカ成分の先頭のアドレスである。このアドレスはフリッカ補正回路３０＊でのアドレス算出器３１＊と同様の計算によって算出する。また、この補正振幅誤差検出器５０＊に備えられるＲＯＭは、フリッカ補正回路３０＊に備えられたＲＯＭと同じものである。
【００６９】
アドレス変換器５１２Ａ＊，５１２Ｂ＊では、アドレス算出器５１１Ａ＊，５１１Ｂ＊で算出されたアドレスＡＤ３１から次フレームのフリッカを再現できるアドレスへと変換する。具体的には入力されるアドレスＡＤ３１の位相を反転させたアドレスＡＤ３２に変換する。このアドレス変換器５１２Ａ＊，５１２Ｂ＊で変換されたアドレスＡＤ３２は次フレームのフリッカを予測したものでフリッカを補正するためのものではない。
【００７０】
補正値算出器５１３Ａ＊，５１３Ｂ＊では、アドレス変換器５１２Ａ＊，５１２Ｂ＊により変換されたアドレスＡＤ３２をもとにフリッカデータＦＤ３１を算出する。このフリッカデータＦＤ３１もフリッカ補正回路３０＊と同様にライン単位で決まる値である。この補正値算出器５１３Ａ＊，５１３Ｂ＊もフリッカ補正回路３０＊に備えられた補正値算出器３２＊と同様の構成のものが用いられる。
【００７１】
次に振幅増幅器５１４Ａ＊によってフリッカ振幅信号Ａ＿＊を増幅させた振幅信号ＡＭ３１を算出し、同時に、振幅減衰器５１４Ｂ＊によって入力されるフリッカ振幅信号Ａ＿＊を減衰させた減衰信号ＡＭ３２を算出し、算出した振幅信号ＡＭ３１，減衰信号ＡＭ３２のそれぞれとフリッカデータＦＤ３１を乗算器５１５Ａ＊，５１５Ｂ＊で乗算することでフリッカ成分を増幅させたフリッカ補正データＦＤＡ３１及び減衰させたフリッカ補正データＦＤＡ３２を得る。
【００７２】
補正振幅誤差検出器５０＊は、フリッカ付加信号生成部５１Ａ＊，５１Ｂ＊において、ローパスフィルタ（ＬＰＦ）５１７Ａ＊，５１７Ｂ＊を通すことで撮像信号ＣＶ＿＊からノイズを除去し、ノイズを除去した撮像信号ＣＶ＿＊をレベル調整器５１６Ａ＊，５１６Ｂ＊に供給する。レベル調整器５１６Ａ＊，５１６Ｂ＊では、ノイズが除去された撮像信号ＣＶ＿＊と乗算器５１５Ａ＊，５１５Ｂ＊で算出したフリッカデータＦＤＡ３１，ＦＤＡ３２から、ノイズの影響を受けていない各画素の補正値ＣＦＤ３１，ＣＦＤ３２を算出する。
【００７３】
このレベル調整器５１６Ａ＊，５１６Ｂ＊もフリッカ補正回路３０＊に備えられたレベル調整器３４＊と同様の構成のものが用いられる。
【００７４】
演算器５１８Ａ＊，５１８Ｂ＊では、フリッカ補正された撮像信号ＣＶ＿＊に各画素の補正値ＣＦＤ３１，ＣＦＤ３２を加算して、次フレームのフリッカ付加信号ＦＤＶ３１，ＦＤＶ３２を生成する。この演算器５１８Ａ＊，５１８Ｂ＊はフリッカ補正回路３０＊に備えられた演算器３６＊と同様の構成のものが用いられる。
【００７５】
そして、補正振幅誤差検出器５０＊では、上記演算器５１８Ａ＊，５１８＊により得られた次フレームのフリッカ付加信号ＦＤＶ３１、ＦＤＶ３２に対して、上記補正位相誤差検出器４０＊と同様の処理を行う。すなわち、ライン積分器５２Ａ＊，５２Ｂ＊では、次フレームのフリッカ付加信号ＦＤＶ３１，ＦＤＶ３２のある領域をそれぞれ積分しラインデータＬＤ３１，ＬＤ３２を算出する。
【００７６】
ライン積分器５２Ａ＊，５２Ｂ＊により算出されたラインデータＬＤ３１，ＬＤ３２を、次フレームの撮像信号ＤＶ＿＊が入力されるまでメモリ５３Ａ＊，５３Ｂ＊に蓄えておき、次フレームの撮像信号ＤＶ＿＊が入力されたら、フリッカ付加信号ＦＤＶ３１，ＦＤＶ３２を積分した領域と同じ領域をライン積分器５５＊でライン積分しラインデータＬＤ３を算出する。
【００７７】
メモリ５３Ａ＊，５３Ｂ＊に蓄えられてあるラインデータＬＤ３１，ＬＤ３２とそのラインに対応する次フレームの撮像信号ＤＶ＿＊のラインデータＬＤ３をそれぞれ差分検出器５４Ａ＊，５４Ｂ＊に入力し差分データＤＤ３１，ＤＤ３２を得る。
【００７８】
積分器５６Ａ＊，５６Ｂ＊では、２つの差分データＤＤ３１，ＤＤ３２をそれぞれ積分することにより積分データＩＤ３１，ＩＤ３２を得る。
【００７９】
そして、比較器５７＊において、これらの積分データＩＤ３１，ＩＤ３２の大小を比較することで次フレームでのフリッカの振幅を増幅させるべきか、減衰させるべきかを示す補正振幅信号Ｃ＿＊を出力する。
【００８０】
この補正振幅誤差検出器５０＊により得られた補正振幅誤差信号Ｃ＿＊が供給されるフリッカ振幅調整器６０＊は、図８に示すように、比較器６１＊と振幅増幅器６２＊とから構成され、補正振幅誤差信号Ｃ＿＊により常に振幅を変動させている。このフリッカ振幅調整器６０＊は、補正振幅誤差検出器５０＊により得られた補正振幅誤差信号Ｃ＿＊が小さくなる向きにフリッカの振幅を変化させる機能を持つ。補正振幅誤差信号Ｃ＿＊が小さくなることによって、予測して作られたフリッカ画像が撮像素子１０＊より得られる実際の画像に近づいていることが分かるからである。すなわち、比較器５１＊によりフレーム間の補正振幅誤差信号Ｃ＿＊の大小関係を調べることでフリッカのレベル予測が正しく行われているかを判定できる。そして、例えば、フリッカの振幅を増やしたときに、補正振幅誤差信号Ｃ＿＊が前フレームの補正振幅誤差信号Ｃ＿＊と比べて大きくなっている場合は、そのときのフリッカの振幅の予測が間違っていると判定できるので振幅増幅器５２Ａ＊，振幅減衰期５２Ｂ＊によりフリッカの振幅を減らし、逆に補正振幅誤差信号Ｃ＿＊が前フレームでの補正振幅誤差信号Ｃ＿＊と比べて小さくなっている場合は、そのときのフリッカの振幅の予測があっていると判定できるので振幅増幅器５２＊によりフリッカの振幅を増加させる。以上の処理によってフリッカ振幅信号Ａ＿＊を出力する。
【００８１】
また、この撮像装置１００におけるフリッカ補正は、図９、図１０、及び図１１に示すフローチャートに示す一連の手順に従って行われる。
【００８２】
まず、フリッカ補正回路３０＊では、アドレス算出器３１＊が補正位相誤差検出器４０＊から入力される補正位相誤差信号Ｅ＿＊をもとにアドレスＡＤを計算し（ステップＳ１Ａ）、補正値算出器３２＊がアドレス算出器３１＊で計算されたアドレスＡＤをもとにフリッカ補正データＦＤを算出する（ステップＳ２）。
【００８３】
一方、フリッカ振幅調整器６０＊では、ステップＳ１Ｂにおいて、補正振幅誤差検出器５０＊により得られた補正振幅誤差信号Ｃ＿＊をもとにフリッカのレベル予測が正しく行われているかを判定し、この判定結果に応じてフリッカ振幅信号Ａ＿＊を出力する。
【００８４】
ステップＳ２Ａ及びステップＳ１Ｂに処理が完了すると、フリッカ補正回路３０＊では、レベル調整器３４＊がノイズを除去された撮像信号ＤＶ＿＊’及びフリッカ補正データＦＤＡから各画素の補正値ＣＦＤを算出し（ステップＳ３）、演算器３６＊がノイズ除去されていない撮像信号ＤＶ＿＊に各画素の補正値ＣＦＤを減算してフリッカ成分を補正した撮像信号ＣＶ＿＊を得る（ステップＳ４）。
【００８５】
ここで、フリッカ補正回路３０＊によって得られたフリッカ成分が補正された撮像信号ＣＶ＿＊は、補正位相誤差検出器４０＊及び補正振幅誤差検出器５０＊に供給される。以下では、まず補正位相誤差検出器４０による補正位相誤差信号Ｅ＿＊の算出処理を示し、続いて補正振幅誤差検出部５０＊による補正振幅誤差信号Ｃ＿＊の算出処理工程を示す。なお、補正位相誤差検出器４０＊及び補正振幅誤差検出器５０＊のそれぞれの処理は、どちらか一方を先に行わなければならないものではなく、互いに並列して行うようにしても良い。
【００８６】
補正位相誤差検出部４０＊では、アドレス算出部４１１Ａ＊，４１１Ｂ＊が次フレームのフリッカの先頭アドレスを計算するとともに（ステップＳ１０）、アドレス算出部４１１Ａ＊，４１１Ｂ＊がこの先頭アドレスをそれぞれプラス方向及びマイナス方向へずらしたアドレスＡＤ１２，ＡＤ２２を算出する（ステップＳ１１Ａ，Ｓ１１Ｂ）。続いて、補正位相誤差検出部４０＊では、アドレス変換器４１２Ａ＊，４１２Ｂ＊により変換されたアドレスＡＤ１２，ＡＤ２２をもとにフリッカ補正データＦＤ１，ＦＤ２をそれぞれ算出し（ステップＳ１２Ａ、Ｓ１２Ｂ）、レベル調整器４１５Ａ＊，４１５Ｂ＊が補正済みの撮像信号ＣＶ＿＊とフリッカ補正データＦＤＡ１，ＦＤＡ２から、各画素の補正値ＣＦＤ１，ＣＦＤ２を算出し（ステップＳ１３Ａ，Ｓ１３Ｂ）、演算器４１７Ａ＊，４１７Ｂ＊がノイズ除去されていない補正済みの撮像信号ＣＶ＿＊に各画素の補正値ＣＦＤ１，ＣＦＤ２を加算して次フレームのフリッカ付加信号ＦＤＶ１，ＦＤＶ２を生成する（ステップＳ１４Ａ，Ｓ１４Ｂ）。
【００８７】
続いて、補正位相誤差検出器４０＊では、ライン積分器４２Ａ＊，４２Ｂ＊が次フレームのフリッカ付加信号ＦＤＶ１，ＦＤＶ２のある領域をそれぞれ積分してラインデータＬＤ１１，ＬＤ２１を算出し、メモリ４３Ａ＊，４３Ｂ＊がこのラインデータＬＤ１１，ＬＤ２１を次フレームの撮像信号ＤＶ＿＊が入力されるまで蓄える（ステップＳ１５Ａ，Ｓ１５Ｂ）。続いて、補正位相誤差検出器４０＊では、差分検出器４４Ａ＊，４４Ｂ＊がメモリ４３Ａ＊，４３Ｂ＊に蓄えられてあるラインデータＬＤ１２，ＬＤ２２及びそのラインに対応する次フレームの撮像信号ＤＶ＿＊のラインデータＬＤ３をもとにして差分データＤＤ１，ＤＤ２を生成して（ステップＳ１６Ａ，１６Ｂ）、積分器４６Ａ＊，４６Ｂ＊が差分データＤＤ１，ＤＤ２を積分して積分データＩＤ１，ＩＤ２を生成する（ステップＳ１７Ａ，１７Ｂ）。
【００８８】
そして、補正値位相誤差検出器４０＊では、比較器４７＊がこれらの積分データＩＤ１，ＩＤ２の大小を比較して（ステップＳ１８）、アドレスをプラスにしたほうが正しいフリッカを予測しているかどうかを判断し（ステップＳ１９）、正しいフリッカを予測していると判断するとアドレスをプラス方向に、又は、正しいフリッカを予測していないと判断するとアドレスをマイナス方向に、それぞれずらすように補正位相誤差信号Ｅ＿＊を出力する（ステップＳ２０Ａ，２０Ｂ）。その後、本処理はステップＳ１Ａに戻る。
【００８９】
次に、補正振幅誤差検出部５０＊による補正振幅誤差信号Ｃ＿＊の算出処理工程を示す。
【００９０】
補正振幅誤差検出部５０＊では、アドレス算出部５１１Ａ＊，５１１Ｂ＊が次フレームのフリッカの先頭アドレスを計算する（ステップＳ３０）。
【００９１】
補正振幅誤差検出器５０＊では、振幅増幅器５１４Ａ＊がフリッカ振幅信号Ａ＿＊を増幅させた振幅信号ＡＭ３１を算出し（ステップＳ３１Ａ）、同時に、振幅減衰器５１４Ｂ＊がフリッカ振幅信号Ａ＿＊を減衰させて振幅信号ＡＭ３２を算出して（ステップＳ３１Ｂ）、その後それぞれステップＳ３３Ａ、Ｓ３３Ｂへ進む。また、補正振幅誤差検出部５０＊では、補正値算出器５１３Ａ＊，５１３Ｂ＊がアドレス変換器５１２Ａ＊，５１２Ｂ＊により変換されたアドレスＡＤ３２をもとにフリッカデータＦＤ３１を算出する（ステップＳ３２）。
【００９２】
続いて、補正振幅誤差検出器５０＊では、レベル調整器５１６Ａ＊，５１６Ｂ＊がフリッカ補正された映像信号ＣＶ＿＊とフリッカ補正データＦＤＡ１，ＦＤＡ２から各画素の補正値ＣＦＤ３１，ＣＦＤ３２を算出し（ステップＳ３３Ａ，Ｓ３３Ｂ）、演算器５１８Ａ＊，５１８Ｂ＊がノイズ除去されていない映像信号ＣＶ＿＊に各画素の補正値ＣＦＤ３１，ＣＦＤ３２を加算して次フレームのフリッカ付加信号ＦＤＶ３１，ＦＤＶ３２を生成する（ステップＳ３４Ａ，Ｓ３４Ｂ）。
【００９３】
補正振幅誤差検出器５０＊では、ライン積分器５２Ａ＊，５２Ｂ＊が次フレームのフリッカ付加信号ＦＤＶ３１，ＦＤＶ３２のある領域をそれぞれ積分してラインデータＬＤ３１，ＬＤ３２を算出し、メモリ５３Ａ＊，５３Ｂ＊がこのラインデータＬＤ３１，ＬＤ３２を次フレームの撮像信号ＤＶ＿＊が入力されるまで蓄える（ステップＳ３５Ａ，Ｓ３５Ｂ）。続いて、補正振幅誤差検出器５０＊では、差分検出器５４Ａ＊，５４Ｂ＊がメモリ５３Ａ＊，５３Ｂ＊に蓄えられてあるラインデータＬＤ３１，ＬＤ３２及びそのラインに対応する次フレームの撮像信号ＤＶ＿＊のラインデータＬＤ３をもとにして差分データＤＤ３１，ＤＤ３２を生成して（ステップＳ３６Ａ，Ｓ３６Ｂ）、積分器４６Ａ＊，４６Ｂ＊が差分データＤＤ３１，ＤＤ３２を積分して積分データＩＤ３１，ＩＤ３２を生成する（ステップＳ３７Ａ，Ｓ３７Ｂ）。
【００９４】
そして、補正値振幅誤差検出器５０＊では、比較器５７＊がこれらの積分データＩＤ３１，ＩＤ３２の大小を比較して（ステップＳ３８）、フリッカの振幅を増幅したほうが正しいフリッカを予測しているかどうかを判断し（ステップＳ３９）、正しいフリッカを予測していると判断するとフリッカの振幅を増幅させる、又は、正しいフリッカを予測していないと判断するとフリッカの振幅を減衰させるべきかを示す補正振幅誤差信号Ｃ＿＊を出力する（ステップＳ４０Ａ，Ｓ４０Ｂ）。その後、処理工程は、ステップＳ１Ｂに戻る。
【００９５】
そして、この撮像装置１００では、図９〜図１１に示すフローチャートに従ってフレーム毎にフリッカ補正を行うことにより、図１２のタイムチャートに示すように、ｎフレーム目のフリッカ補正の情報がｎ＋１フレーム目の画像と比較され、ｎ＋２フレーム目のフリッカ補正に反映され、以下同様にしてｎ＋３フレーム目以降のフリッカ補正が行われる。
【００９６】
このように、この撮像装置１００は、各フレーム期間毎にフリッカ補正信号ＣＦＤがフリッカ成分についての補正誤差を低減させるので、撮像信号ＤＶ＿＊が異なるフレーム期間からなる複数の撮像信号である場合、又は、撮像信号ＤＶ＿＊に含まれるフリッカ成分が撮像信号ＤＶ＿＊に含まれるフリッカ成分に周期性がない場合も、フリッカ成分が効果的に低減された撮像信号ＣＶ＿＊を得ることができる。
【００９７】
なお、本発明は、上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００９８】
【図１】本発明を適用した撮像装置の構成を示すブロック図である。
【図２】撮像装置に備えられたフリッカ補正回路の構成を示すブロック図である。
【図３】フリッカ補正回路における補正値算出器の構成を示すブロック図である。
【図４】光源の電源周波数と各撮像素子の電荷蓄積時間であるシャッタスピードと電荷蓄積タイミングとの関係をモデル化した模式図である。
【図５Ａ】撮像装置における補正位相誤差検出アルゴリズムを模式的に示す図である。
【図５Ｂ】撮像装置における補正振幅誤差検出アルゴリズムを模式的に示す図である。
【図６】撮像装置に備えられた補正位相誤差検出器の構成を示すブロック図である。
【図７】撮像装置に備えられた補正振幅誤差検出器の構成を示すブロック図である。
【図８】撮像装置に備えられたフリッカ振幅調整器の構成を示すブロック図である。
【図９】撮像装置に備えられたフリッカ補正回路の動作を示すフローチャートである。
【図１０】撮像装置に備えられたフリッカ補正回路の動作を示すフローチャートである。
【図１１】撮像装置に備えられたフリッカ補正回路の動作を示すフローチャートである。
【図１２】撮像装置に備えられたフリッカ補正回路の動作を示すタイムチャートである。
【図１３】グローバルシャッタ方式を採用したセンサでの電荷蓄積量の違いを模式的に示す図である。
【図１４】グローバルシャッタ方式によって現れる面フリッカの画像の例を模式的に示す図である。
【図１５】ローリングシャッタ方式による電荷蓄積量の違いを模式的に示す図である。
【図１６】面内フリッカの画像の例を模式的に示す図である。
【図１７】フレームレート及びシャッタスピードに応じたフリッカ成分の違いを示す図である。
【図１８Ａ】露光時間に応じたフリッカ成分の違いを示す図である。
【図１８Ｂ】露光時間に応じたフリッカ成分の違いを示す図である。
【符号の説明】
【００９９】
１０Ｒ，１０Ｇ，１０Ｂ  撮像素子、２０Ｒ，２０Ｇ，２０Ｂ，２０＊  Ａ／Ｄ変換器、３０Ｒ，３０Ｇ，３０Ｂ，３０＊  フリッカ補正回路、３１＊  アドレス算出器、３２＊  補正値算出器、３３＊  乗算器、３４＊  レベル調整器、３５＊  ローパスフィルタ（ＬＰＦ）、３６＊  演算器、４０Ｒ，４０Ｇ，４０Ｂ，４０＊  補正位相誤差検出器、４１Ａ＊，４１Ｂ＊  フリッカ付加信号生成部、  ４２Ａ＊，４２Ｂ＊，４５＊  ライン積分器、４３Ａ＊，４３Ｂ＊  メモリ、４４Ａ＊，４４Ｂ＊  差分検出器、４６Ａ＊，４６Ｂ＊  積分器、４７＊  比較器、５０Ｒ，５０Ｇ，５０Ｂ，５０＊  補正振幅誤差検出器、６０Ｒ，６０Ｇ，６０Ｂ，６０＊  フリッカ振幅調整器、６１＊  比較器、６２＊  振幅増減器、７０  カメラ用信号処理回路、１００  撮像装置
【図１】
0004645517.tif 000002
【図２】
0004645517.tif 000003
【図３】
0004645517.tif 000004
【図４】
0004645517.tif 000005
【図５Ａ】
0004645517.tif 000006
【図５Ｂ】
0004645517.tif 000007
【図６】
0004645517.tif 000008
【図７】
0004645517.tif 000009
【図８】
0004645517.tif 000010
【図９】
0004645517.tif 000011
【図１０】
0004645517.tif 000012
【図１１】
0004645517.tif 000013
【図１２】
0004645517.tif 000014
【図１３】
0004645517.tif 000015
【図１４】
0004645517.tif 000016
【図１５】
0004645517.tif 000017
【図１６】
0004645517.tif 000018
【図１７】
0004645517.tif 000019
【図１８Ａ】
0004645517.tif 000020
【図１８Ｂ】
0004645517.tif 000021