(57)【要約】【課題】  ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置で、蛍光灯を駆動する電源の周波数を検出することなく、電源周波数と撮像装置の垂直同期周波数との組み合わせの如何にかかわらず、蛍光灯フリッカ成分を低減できるとともに、電子式の手ぶれ補正に不可欠な高速シャッタを実現できるようにする。【解決手段】  垂直同期周波数をｆｖ（Ｈｚ）とし、Ｎを正の整数とするとき、１２０／ｆｖが整数の場合には、シャッタ速度をＮ／１２０（秒）とし、１００／ｆｖが整数の場合には、シャッタ速度をＮ／１００（秒）とする。ＮＴＳＣ方式の場合には、手ぶれ補正ＯＮ時にはシャッタ速度を１／１２０秒とし、手ぶれ補正ＯＦＦ時にはシャッタ速度を１／６０秒とする。ＰＡＬ方式の場合には、手ぶれ補正ＯＮ時にはシャッタ速度を１／１００秒とし、手ぶれ補正ＯＦＦ時にはシャッタ速度を１／５０秒とする。プログレッシブ方式の場合も、同様とする。【選択図】  図９
2005033616.tif 000002
【特許請求の範囲】
【請求項１】
ＸＹアドレス走査型の撮像素子を備える撮像装置であって、
当該の撮像装置の設定された垂直同期周波数をｆｖ（Ｈｚ）とし、Ｎを正の整数とするとき、１２０／ｆｖが整数の場合には、露光時間がＮ／１２０（秒）となる電子シャッタ速度に設定され、１００／ｆｖが整数の場合には、露光時間がＮ／１００（秒）となる電子シャッタ速度に設定される撮像装置。
【請求項２】
請求項１の撮像装置において、
電子式の手ぶれ補正の実行時、Ｎは露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定される撮像装置。
【請求項３】
請求項１の撮像装置において、
電子式の手ぶれ補正の実行時、被写体の輝度が閾値以上であるときには、Ｎは露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定され、被写体の輝度が閾値より低いときには、Ｎは露光時間が１／ｆｖ（秒）となる値に設定される撮像装置。
【請求項４】
蛍光灯照明下でＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られる映像信号に含まれる蛍光灯フリッカ成分を低減する方法であって、
前記撮像素子を備える撮像装置の設定された垂直同期周波数をｆｖ（Ｈｚ）とし、Ｎを正の整数とするとき、１２０／ｆｖが整数の場合には、露光時間がＮ／１２０（秒）となる電子シャッタ速度に設定し、１００／ｆｖが整数の場合には、露光時間がＮ／１００（秒）となる電子シャッタ速度に設定するシャッタ制御工程と、
このシャッタ制御工程で電子シャッタ速度が設定された状態で、前記映像信号からフリッカ成分を推定し、その推定結果に応じて前記映像信号を補正して、フリッカ成分を低減するフリッカ低減処理工程と、
を備えるフリッカ低減方法。
【請求項５】
請求項４のフリッカ低減方法において、
前記シャッタ制御工程では、電子式の手ぶれ補正の実行時、Ｎを露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定するフリッカ低減方法。
【請求項６】
請求項４のフリッカ低減方法において、
前記シャッタ制御工程では、電子式の手ぶれ補正の実行時、被写体の輝度が閾値以上であるときには、Ｎを露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定し、被写体の輝度が閾値より低いときには、Ｎを露光時間が１／ｆｖ（秒）となる値に設定するフリッカ低減方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ＣＭＯＳ（相補型金属酸化物半導体）撮像素子などのＸＹアドレス走査型の撮像素子（イメージャ、イメージセンサ）を用いたビデオカメラやデジタルスチルカメラなどの撮像装置、および、その撮像装置によって蛍光灯の照明下で被写体を撮影した場合に撮像素子から得られる映像信号に生じる蛍光灯フリッカを低減する方法に関する。
【背景技術】
【０００２】
商用交流電源によって点灯される蛍光灯の照明下で、ビデオカメラによって被写体を撮影すると、蛍光灯の輝度変化（光量変化）の周波数（商用交流電源周波数の２倍）とカメラの垂直同期周波数（撮像周波数）との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカを生じる。
【０００３】
例えば、商用交流電源周波数が５０Ｈｚの地域において、非インバータ方式の蛍光灯の照明下で（インバータ方式の蛍光灯の場合にも、整流が十分でない場合にはフリッカを生じるので、非インバータ方式の蛍光灯の場合に限らないが）、ＮＴＳＣ方式（垂直同期周波数（この場合はフィールド周波数）は６０Ｈｚ）のＣＣＤカメラによって被写体を撮影する場合、図１６に示すように、１フィールドが１／６０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに変化する。
【０００４】
そのため、例えば、露光時間が１／６０秒であるときには、期間ａ１，ａ２，ａ３では、同じ露光時間でも露光量が異なり、露光時間が１／６０秒より短いとき（ただし、後述のように１／１００秒ではないとき）には、期間ｂ１，ｂ２，ｂ３では、同じ露光時間でも露光量が異なる。
【０００５】
蛍光灯の輝度変化に対する露光タイミングは、３フィールドごとに元のタイミングに戻るため、フリッカによる明暗変化は、３フィールドごとの繰り返しとなる。すなわち、各フィールドの輝度比（フリッカの見え方）は、露光期間によって変わるが、フリッカの周期は変わらない。
【０００６】
ただし、デジタルスチルカメラなど、プログレッシブ方式のカメラで、垂直同期周波数（この場合はフレーム周波数）が３０Ｈｚの場合には、３フレームごとに明暗変化が繰り返される。
【０００７】
さらに、蛍光灯は、白色光を発光するために、通常、複数の蛍光体、例えば、赤、緑、青の蛍光体が用いられている。しかし、これら蛍光体は、それぞれが固有の残光特性を有し、輝度変化の周期中に存在する放電停止から次の放電開始までの期間は、それぞれの残光特性で減衰発光する。そのため、この期間では、始めは白色であった光が、次第に色相を変えながら減衰することになるので、上記のように露光タイミングがずれると、明暗変化だけでなく、色相変化を生じる。また、蛍光灯は、特定の波長に強いピークが存在するという特有の分光特性を持っているため、色によって信号の変動成分が異なる。
【０００８】
そして、このような色相変化、および色ごとの変動成分の差によって、いわゆる色フリッカが発生する。
【０００９】
これに対して、図１６のように電源周波数が５０Ｈｚ、撮像装置の垂直同期周波数が６０Ｈｚの場合、同図の最下段に示すように、露光時間を蛍光灯の輝度変化の周期である１／１００秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、フリッカを生じない。
【００１０】
また、このようにシャッタ速度を規定することなく、蛍光灯フリッカを低減する方法も考えられている。ＣＣＤ撮像装置のように１画面内の全ての画素が同一の露光タイミングで露光される撮像装置の場合には、フリッカによる明暗変化および色変化がフィールド間でのみ現れるため、フリッカを低減することは比較的容易に実現することができる。
【００１１】
例えば、図１６の場合、露光時間が１／１００秒でなければ、フリッカは３フィールドの繰り返し周期となるので、各フィールドの映像信号の平均値が一定となるように３フィールド前の映像信号から現在の輝度および色の変化を予測し、その予測結果に応じて各フィールドの映像信号のゲインを調整することによって、フリッカを実用上問題のないレベルまで抑圧することができる。
【００１２】
しかしながら、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子では、画素ごとの露光タイミングが画面水平方向において読み出しクロック（画素クロック）の１周期分ずつ順次ずれ、全ての画素で露光タイミングが異なるため、上記の方法ではフリッカを十分抑圧することはできない。
【００１３】
図１７に、その様子を示す。上記のように画面水平方向でも各画素の露光タイミングが順次ずれるが、蛍光灯の輝度変化の周期に比べて１水平周期は十分短いので、同一ライン上の画素は露光タイミングが同時であると仮定し、画面垂直方向における各ラインの露光タイミングを示す。実際上、このように仮定しても問題はない。
【００１４】
図１７に示すように、ＸＹアドレス走査型の撮像装置、例えばＣＭＯＳ撮像装置では、ラインごとに露光タイミングが異なり（Ｆ０は、あるフィールドでの、その様子を示す）、各ラインで露光量に差を生じるため、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では縞模様（縞自体の方向は水平方向、縞の変化の方向は垂直方向）として現れる。
【００１５】
図１８に、被写体が均一なパターンの場合の、この面内（画面内）フリッカの様子を示す。縞模様の１周期（１波長）が１／１００秒であるので、１画面中には１．６６６周期分の縞模様が発生することになり、１フィールド当たりの読み出しライン数をＭとすると、縞模様の１周期は読み出しライン数ではＬ＝Ｍ＊６０／１００に相当する。なお、明細書および図面では、アスタリスク（＊）を乗算の記号として用いる。
【００１６】
図１９に示すように、この縞模様は、３フィールド（３画面）で５周期（５波長）分となり、連続的に見ると垂直方向に流れるように見える。
【００１７】
図１８および図１９には、フリッカによる明暗変化のみを示すが、実際には上述した色変化も加わり、画質が著しく劣化する。特に色フリッカは、シャッタ速度が速くなる（露光時間が短くなる）と顕著になるとともに、ＸＹアドレス走査型の撮像装置では、その影響が画面内に現れるため、画質劣化がより目立つようになる。
【００１８】
このようなＸＹアドレス走査型の撮像装置の場合にも、図１７のように電源周波数が５０Ｈｚ、撮像装置の垂直同期周波数が６０Ｈｚの場合、露光時間を蛍光灯の輝度変化の周期である１／１００秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含む蛍光灯フリッカを生じない。
【００１９】
また、このようにシャッタ速度を規定することなく、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置に固有の蛍光灯フリッカを低減する方法が提案されている。
【００２０】
具体的に、特許文献１（特開２０００−３５０１０２号公報）または特許文献２（特開２０００−２３０４０号公報）には、受光素子や測光素子により蛍光灯の光量を測定することによってフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号の利得を制御する方法が示されている。
【特許文献１】特開２０００−３５０１０２号公報。
【特許文献２】特開２０００−２３０４０号公報。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置によって蛍光灯照明下で被写体を撮影した場合に、撮像素子からの映像信号に生じるフリッカの態様は、撮像装置の映像方式（具体的には垂直同期周波数）、蛍光灯を駆動する商用交流電源の周波数、および電子シャッタのシャッタ速度（露光時間）の組み合わせによって、大きく変化する。
【００２２】
具体的に、撮像装置の映像方式としては、放送方式に対応して、ＮＴＳＣ方式（垂直同期周波数は６０Ｈｚ）とＰＡＬ方式（垂直同期周波数は５０Ｈｚ）とがある。さらに、最近のビデオカメラは、ＮＴＳＣ方式とＰＡＬ方式の両方に対応したものがほとんどであり、工場から出荷する際に、出荷仕向けによって電気的にＮＴＳＣ方式とＰＡＬ方式のいずれかに設定されるのが一般的である。
【００２３】
また、商用交流電源周波数は、日本の一部地域および世界の一部の国または地域では５０Ｈｚとされ、日本のその他の地域および世界のその他の国または地域では６０Ｈｚとされている。
【００２４】
図２０（Ａ）のケース１は、ＮＴＳＣ方式のＣＭＯＳ撮像装置によって、電源周波数が５０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合である。
【００２５】
この場合には、１フィールドが１／６０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、図１７〜図１９に示したように、露光時間が１／６０秒の通常シャッタ時にも、露光時間が１／６０秒より短い高速シャッタ時にも、３フィールド（３画面）を繰り返し周期とする時間軸上で連続性を持った（連続的に見ると垂直方向に流れるように見える）フリッカを生じる。
【００２６】
ただし、図２２にケース１として示すように、露光時間が１／１００秒の高速シャッタとするときには、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
【００２７】
図２０（Ｂ）のケース２は、ＰＡＬ方式のＣＭＯＳ撮像装置によって、電源周波数が６０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合である。
【００２８】
この場合には、１フィールドが１／５０秒であるのに対して、蛍光灯の輝度変化の周期が１／１２０秒となるので、露光時間が１／５０秒の通常シャッタ時にも、露光時間が１／５０秒より短い高速シャッタ時にも、５フィールド（５画面）を繰り返し周期とする時間軸上で連続性を持った（連続的に見ると垂直方向に流れるように見える）フリッカを生じる。
【００２９】
ただし、図２２にケース２として示すように、露光時間が１／１２０秒または１／６０秒の高速シャッタとするときには、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
【００３０】
そして、以上のケース１またはケース２のように、複数垂直周期（複数画面）を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じる場合には、上述したような従来の、または後述する先願（特願２００３−１７３６４２）の発明の、フリッカの連続性を利用してフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号を補正して、フリッカ成分を低減する方法によって、フリッカ成分を低減することができる。
【００３１】
これに対して、図２１（Ａ）のケース３は、ＮＴＳＣ方式のＣＭＯＳ撮像装置によって、電源周波数が６０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合である。
【００３２】
この場合には、１フィールドが１／６０秒であるのに対して、蛍光灯の輝度変化の周期が１／１２０秒となるので、露光時間が１／６０秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が１／６０秒より短い高速シャッタ時には、図２１（Ａ）の右側に示すように、各フィールド（各画面）でフリッカの縞模様が同一となる１フィールド（１画面）で完結するフリッカを生じる。
【００３３】
ただし、図２２にケース３として示すように、露光時間が１／１２０秒の高速シャッタとするときには、露光時間が１／６０秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
【００３４】
また、図２１（Ｂ）のケース４は、ＰＡＬ方式のＣＭＯＳ撮像装置によって、電源周波数が５０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合である。
【００３５】
この場合には、１フィールドが１／５０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、露光時間が１／５０秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が１／５０秒より短い高速シャッタ時には、図２１（Ｂ）の右側に示すように、各フィールド（各画面）でフリッカの縞模様が同一となる１フィールド（１画面）で完結するフリッカを生じる。
【００３６】
ただし、図２２にケース４として示すように、露光時間が１／１００秒の高速シャッタとするときには、露光時間が１／５０秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
【００３７】
そして、ケース３またはケース４で、かつ高速シャッタとする場合のように、１フィールド（１画面）で完結する時間軸上で不連続なフリッカを生じる場合には、そもそも、撮像素子からの映像信号中の、被写体による絵柄成分と蛍光灯フリッカ成分とを区別することができないため、上述したフリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することはできない。
【００３８】
図２２に、以上をまとめて示す。ケース１の、垂直同期周波数が６０Ｈｚ、電源周波数が５０Ｈｚの場合、ケース２の、垂直同期周波数が５０Ｈｚ、電源周波数が６０Ｈｚの場合、ケース３の、垂直同期周波数が６０Ｈｚ、電源周波数が６０Ｈｚの場合、および、ケース４の、垂直同期周波数が５０Ｈｚ、電源周波数が５０Ｈｚの場合については、上述したとおりである。
【００３９】
さらに、図２２には、デジタルスチルカメラなど、プログレッシブ方式のＣＭＯＳ撮像装置で、垂直同期周波数（この場合はフレーム周波数）が３０Ｈｚの場合も示す。
【００４０】
図２２にケース５として示すように、この垂直同期周波数が３０ＨｚのＣＭＯＳ撮像装置によって、電源周波数が５０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合には、１垂直周期が１／３０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、露光時間が１／３０秒の通常シャッタ時にも、露光時間が１／３０秒より短い高速シャッタ時にも、３垂直周期（３画面）を繰り返し周期とする時間軸上で連続性を持った（連続的に見ると垂直方向に流れるように見える）フリッカを生じる。
【００４１】
ただし、露光時間が蛍光灯の輝度変化の周期の整数倍の１／１００秒、１／５０秒または３／１００秒の高速シャッタとするときには、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
【００４２】
また、図２２にケース６として示すように、この垂直同期周波数が３０ＨｚのＣＭＯＳ撮像装置によって、電源周波数が６０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合には、１垂直周期が１／３０秒であるのに対して、蛍光灯の輝度変化の周期が１／１２０秒となるので、露光時間が１／３０秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が１／３０秒より短い高速シャッタ時には、ケース３またはケース４の高速シャッタ時と同様に、各垂直周期（この場合は各フレーム）でフリッカの縞模様が同一となる１垂直周期（この場合は１フレーム）で完結するフリッカを生じる。
【００４３】
ただし、露光時間が蛍光灯の輝度変化の周期の整数倍の１／１２０秒、１／６０秒または１／４０秒の高速シャッタとするときには、露光時間が１／３０秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
【００４４】
以上のように、ケース３、ケース４またはケース６で、かつ高速シャッタとする場合には、シャッタ速度を特定の速度にする場合を除いて、各垂直周期（各画面）でフリッカの縞模様が同一となる１垂直周期（１画面）で完結するフリッカを生じ、撮像素子からの映像信号中の絵柄成分とフリッカ成分とを区別することができないので、上述したフリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することはできない。
【００４５】
そのため、これらの場合には、高速シャッタのシャッタ速度（露光時間）を、フリッカを生じない速度、すなわち、ケース３では１／１２０秒、ケース４では１／１００秒、ケース６では１／１２０秒、１／６０秒または１／４０秒にし、または、高速シャッタにしないで、フリッカを生じない通常シャッタにし、すなわちシャッタ速度（露光時間）を、ケース３では１／６０秒、ケース４では１／５０秒、ケース６では１／３０秒にすればよい。
【００４６】
しかしながら、このようにするには、別途、何らかの方法によって電源周波数を検出する必要がある。
【００４７】
例えば、フリッカの縞模様の周期（波長）と撮像装置の垂直周期（垂直同期周波数の逆数）との関係から、電源周波数を検出する方法が考えられている。しかし、上記のように１垂直周期（１画面）で完結する時間軸上で不連続なフリッカを生じる場合には、そもそも、撮像素子からの映像信号中の絵柄成分とフリッカ成分とを区別することができないため、電源周波数を検出することができない。
【００４８】
また、外部センサによって電源周波数を検出する方法もあるが、この方法では撮像装置システムのサイズやコストが増大する。
【００４９】
さらに、高速シャッタにしないで、通常シャッタにする場合には、以下のように電子式の手ぶれ補正の点で問題がある。
【００５０】
最近の撮像装置は、電子的な画枠切り出し型の手ぶれ補正機能を有するものが多い。この手ぶれ補正方式は、カメラに取り付けた手ぶれセンサ、または画像中に生じる動きベクトルなどによって、手ぶれを検出し、その検出された手ぶれ量に基づいて、入力画像から適当な位置およびサイズの領域を切り出して出力することによって、常に出力画像が静止して見えるように画像信号を補正するものである。
【００５１】
しかし、このような電子式の手ぶれ補正では、画面間（フィールド間またはフレーム間）の手ぶれは、補正することができるが、露光期間中に生じた手ぶれによる、いわゆる残像ボケは、原理的に補正することができない。すなわち、手ぶれ補正によって、画面間の手ぶれは軽減することができるが、残像ボケはそのまま残るため、そのアンバランスによって画質が劣化する。
【００５２】
そして、この残像ボケを軽減するには、高速シャッタにして、露光時間を短くするとよい。ただし、あまりシャッタ速度を速くすると、動画像のパラパラ感が目立つようになるため、通常は、これらの関係がちょうど良くなるような１／１００秒程度のシャッタ速度に設定される。
【００５３】
以上のように、電子式の手ぶれ補正機能を有する撮像装置は、手ぶれ補正ＯＮ時には自動的に高速シャッタとなるように設定される。すなわち、電子式の手ぶれ補正としては高速シャッタが不可欠であり、蛍光灯フリッカの問題を解決するために高速シャッタを放棄することはできない。
【００５４】
そこで、この発明は、蛍光灯を駆動する電源の周波数を検出することなく、電源周波数と撮像装置の垂直同期周波数との組み合わせの如何にかかわらず、蛍光灯フリッカ成分を低減することができるとともに、電子式の手ぶれ補正に不可欠な高速シャッタを実現することができるようにしたものである。
【課題を解決するための手段】
【００５５】
この発明の撮像装置は、
ＸＹアドレス走査型の撮像素子を備える撮像装置であって、
当該の撮像装置の設定された垂直同期周波数をｆｖ（Ｈｚ）とし、Ｎを正の整数とするとき、１２０／ｆｖが整数の場合には、露光時間がＮ／１２０（秒）となる電子シャッタ速度に設定され、１００／ｆｖが整数の場合には、露光時間がＮ／１００（秒）となる電子シャッタ速度に設定されるものである。
【００５６】
図２２に示した各ケースで、垂直同期周波数をｆｖ、電源周波数をｆｐとすると、ケース１（ｆｖ＝６０Ｈｚ，ｆｐ＝５０Ｈｚ）、ケース２（ｆｖ＝５０Ｈｚ，ｆｐ＝６０Ｈｚ）またはケース５（ｆｖ＝３０Ｈｚ，ｆｐ＝５０Ｈｚ）のように、垂直周期１／ｆｖ（秒）が蛍光灯の輝度変化の周期１／２ｆｐ（秒）の整数倍でなければ、すなわち２ｆｐがｆｖの整数倍でなければ、シャッタ速度の如何にかかわらず、複数垂直周期（複数画面）を繰り返し周期とする時間軸上で連続性を持った（連続的に見ると垂直方向に流れるように見える）フリッカを生じ、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することができる。
【００５７】
しかし、ケース３（ｆｖ＝６０Ｈｚ，ｆｐ＝６０Ｈｚ）、ケース４（ｆｖ＝５０Ｈｚ，ｆｐ＝５０Ｈｚ）またはケース６（ｆｖ＝３０Ｈｚ，ｆｐ＝６０Ｈｚ）のように、垂直周期１／ｆｖ（秒）が蛍光灯の輝度変化の周期１／２ｆｐ（秒）の整数倍である場合、すなわち２ｆｐがｆｖの整数倍である場合には、通常シャッタ時には、そもそもフリッカを生じないが、高速シャッタ時には、各垂直周期（各画面）でフリッカの縞模様が同一となる１垂直周期（１画面）で完結するフリッカを生じ、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することはできない。
【００５８】
これに対して、上記の構成の、この発明の撮像装置では、上記のケース１、ケース３、ケース５またはケース６のように１２０／ｆｖが整数となる場合には、露光時間が垂直周期１／ｆｖ（秒）を超えない範囲内でＮ／１２０（秒）のシャッタ速度に設定され、上記のケース２またはケース４のように１００／ｆｖが整数となる場合には、露光時間が垂直周期１／ｆｖ（秒）を超えない範囲内でＮ／１００（秒）のシャッタ速度に設定される。
【００５９】
すなわち、ケース1またはケース３のようにｆｖ＝６０Ｈｚの場合には、シャッタ速度が１／１２０秒または１／６０秒に設定され、ケース２またはケース４のようにｆｖ＝５０Ｈｚの場合には、シャッタ速度が１／１００秒または１／５０秒に設定され、ケース５またはケース６のようにｆｖ＝３０Ｈｚの場合には、シャッタ速度が１／１２０秒、１／６０秒、１／４０秒または１／３０秒に設定される。
【００６０】
したがって、ケース１、ケース２またはケース５の場合には、それぞれ３フィールド、５フィールドまたは３フレームを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じ、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することができるようになるとともに、ケース３、ケース４またはケース６の場合には、そもそもフリッカが発生せず、フリッカ低減処理が不要となる。
【００６１】
しかも、そのために、電源周波数ｆｐを検出する必要がなく、撮像装置のシャッタ制御手段は、撮像装置の設定された垂直同期周波数ｆｖ（映像方式）を判断するだけでよいとともに、電子式の手ぶれ補正の実行時には、Ｎ＝１にするなど、露光時間が垂直周期１／ｆｖ（秒）より短い高速シャッタを実現することができ、高速シャッタによる画質向上を図ることができる。
【発明の効果】
【００６２】
以上のように、この発明によれば、蛍光灯を駆動する電源の周波数を検出することなく、電源周波数と撮像装置の垂直同期周波数との組み合わせの如何にかかわらず、蛍光灯フリッカ成分を低減することができるとともに、電子式の手ぶれ補正に不可欠な高速シャッタを実現することができる。
【発明を実施するための最良の形態】
【００６３】
〔撮像装置の実施形態：図１および図２〕
（システム構成：図１）
図１は、この発明の撮像装置の一実施形態のシステム構成を示し、ＸＹアドレス走査型の撮像素子としてＣＭＯＳ撮像素子を用いた、ＮＴＳＣ方式（ｆｖ＝６０Ｈｚ）とＰＡＬ方式（ｆｖ＝５０Ｈｚ）のいずれかに選択的に設定されるビデオカメラの場合である。
【００６４】
この実施形態の撮像装置、すなわちビデオカメラでは、被写体からの光が、撮像光学系１１を介してＣＭＯＳ撮像素子１２に入射して、ＣＭＯＳ撮像素子１２で光電変換され、ＣＭＯＳ撮像素子１２からアナログ映像信号が得られる。
【００６５】
ＣＭＯＳ撮像素子１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。
【００６６】
ＣＭＯＳ撮像素子１２は、後述のように原色系と補色系のいずれでもよく、ＣＭＯＳ撮像素子１２から得られるアナログ映像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。
【００６７】
そのＣＭＯＳ撮像素子１２からのアナログ映像信号は、ＩＣ（集積回路）として構成されたアナログ信号処理部１３において、色信号ごとに、サンプルホールドされ、ＡＧＣ（自動利得制御）によってゲインが制御され、Ａ／Ｄ変換によってデジタル信号に変換される。
【００６８】
そのアナログ信号処理部１３からのデジタル映像信号は、ＩＣとして構成されたデジタル信号処理部２０において、後述のように処理され、デジタル信号処理部２０内のフリッカ低減部２５において、後述のように信号成分ごとにフリッカ成分が低減された上で、最終的に輝度信号Ｙと赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙに変換されて、デジタル信号処理部２０から出力される。
【００６９】
システムコントローラ１４は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。
【００７０】
具体的に、システムコントローラ１４から、ＩＣによって構成されたレンズ駆動用ドライバ１５に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ１５によって、撮像光学系１１のレンズやアイリスが駆動される。
【００７１】
また、システムコントローラ１４からタイミングジェネレータ１６に、タイミング制御信号が供給され、タイミングジェネレータ１６からＣＭＯＳ撮像素子１２に、各種タイミング信号が供給されて、ＣＭＯＳ撮像素子１２が駆動される。
【００７２】
このとき、ＣＭＯＳ撮像素子１２のシャッタ速度も、システムコントローラ１４からのタイミング制御信号によって制御される。具体的に、システムコントローラ１４内のシャッタ制御部１４ｃによって、後述のようにシャッタ速度が設定される。
【００７３】
さらに、デジタル信号処理部２０からシステムコントローラ１４に、各信号成分の検波信号が取り込まれ、システムコントローラ１４からのＡＧＣ信号によって、アナログ信号処理部１３において、上記のように各色信号のゲインが制御されるとともに、システムコントローラ１４によって、デジタル信号処理部２０における信号処理が制御される。
【００７４】
また、システムコントローラ１４には、手ぶれセンサ１７が接続され、これから得られる手ぶれ情報が、手ぶれ補正に利用される。
【００７５】
また、システムコントローラ１４には、マイクロコンピュータなどによって構成されたインタフェース１９を介して、ユーザインタフェース１８を構成する操作部１８ａおよび表示部１８ｂが接続され、操作部１８ａでの設定操作や選択操作などが、システムコントローラ１４によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ１４によって表示部１８ｂに表示される。
【００７６】
上述したＮＴＳＣ方式とＰＡＬ方式のいずれかの設定状態は、設定フラグとしてシステムコントローラ１４内に保持され、シャッタ制御部１４ｃによる後述のシャッタ制御に供される。
【００７７】
（デジタル信号処理部の構成例：図２）
図２に、原色系システムの場合のデジタル信号処理部２０の一例を示す。
【００７８】
原色系システムは、図１の撮像光学系１１が被写体からの光をＲＧＢ各色の色光に分離する分解光学系を有し、ＣＭＯＳ撮像素子１２としてＲＧＢ各色用のＣＭＯＳ撮像素子を有する３板システム、または、ＣＭＯＳ撮像素子１２として、光入射面にＲＧＢ各色の色フィルタが画面水平方向に１画素ごとに順次、繰り返し配列された一つのＣＭＯＳ撮像素子を有する１板システムである。この場合、ＣＭＯＳ撮像素子１２からは、ＲＧＢ各色の原色信号がパラレルに読み出される。
【００７９】
図２のデジタル信号処理部２０では、クランプ回路２１で、入力のＲＧＢ原色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路２２で、露出量に応じてクランプ後のＲＧＢ原色信号のゲインが調整され、フリッカ低減部２５Ｒ，２５Ｇ，２５Ｂで、後述の方法によって、ゲイン調整後のＲＧＢ原色信号中のフリッカ成分が低減される。
【００８０】
さらに、図２のデジタル信号処理部２０では、ホワイトバランス調整回路２７で、フリッカ低減後のＲＧＢ原色信号のホワイトバランスが調整され、ガンマ補正回路２８で、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、合成マトリクス回路２９で、ガンマ補正後のＲＧＢ原色信号から、出力の輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。
【００８１】
原色系システムでは、一般に図２のようにＲＧＢ原色信号の処理が全て終了した後に輝度信号Ｙが生成されるので、図２のようにＲＧＢ原色信号の処理過程でＲＧＢ原色信号中のフリッカ成分を低減することによって、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。
【００８２】
ただし、図２のようにフリッカ低減部２５Ｒ，２５Ｇ，２５ＢによってＲＧＢ各色の原色信号ごとにフリッカ成分を検出し、低減する代わりに、例えば、合成マトリクス回路２９の輝度信号Ｙの出力側にフリッカ低減部２５を設けて、輝度信号Ｙ中のフリッカ成分を検出し、低減するように構成してもよい。
【００８３】
一方、補色系システムは、図１のＣＭＯＳ撮像素子１２として、光入射面に補色系の色フィルタが形成された一つのＣＭＯＳ撮像素子を有する１板システムである。
【００８４】
補色系システムでは、ＣＭＯＳ撮像素子１２からは、隣接する２水平ライン位置の映像信号が合成されて読み出され、デジタル信号処理部２０では、その補色信号（合成信号）の黒レベルが所定レベルにクランプされ、クランプ後の補色信号のゲインが露出量に応じて調整され、さらにゲイン調整後の補色信号から輝度信号およびＲＧＢ原色信号が生成される。
【００８５】
そして、フリッカ低減部２５で、その輝度信号中のフリッカ成分およびＲＧＢ原色信号中のフリッカ成分が低減され、さらに、フリッカ低減後の輝度信号の階調が補正されて、出力の輝度信号Ｙが得られるとともに、フリッカ低減後のＲＧＢ原色信号のホワイトバランスが調整され、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、そのガンマ補正後のＲＧＢ原色信号から色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。
【００８６】
〔シャッタ制御（シャッタ速度の設定）の実施形態：図３〜図９〕
この発明では、以下のような方法によって、シャッタ制御され、シャッタ速度が設定される。
【００８７】
（ＮＴＳＣ方式またはＰＡＬ方式の場合：図３〜図７および図９）
上記のようにＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定されるビデオカメラの場合には、システムコントローラ１４のシャッタ制御部１４ｃは、フィールドごとに以下のようなシャッタ制御処理を実行し、シャッタ速度を設定する。
【００８８】
図３〜図５に、そのシャッタ制御部１４ｃが実行するシャッタ制御処理ルーチンの一例を示す。この例のシャッタ制御処理ルーチン１００では、まずステップ１０１で、撮影環境が屋内であるか否かを判断する。
【００８９】
屋内であるか否かの判断には、通常のカメラ制御に用いられるＡＥ（自動露出）制御の明るさ情報やホワイトバランス制御の色温度情報などを利用することができる。
【００９０】
そして、屋外での撮影である場合には、そもそもフリッカ低減処理は必要ないので、ステップ１０１からステップ１０２に進んで、通常のシャッタ制御を実行して、すなわち通常の露光制御モードで電子シャッタを設定して、シャッタ制御処理を終了する。
【００９１】
一方、屋内での撮影である場合には、蛍光灯照明下の可能性があるので、ステップ１０１からステップ１０３に進んで、蛍光灯照明下検出モードがＯＮであるか否かを判断する。
【００９２】
蛍光灯照明下検出モードは、システムコントローラ１４自身によってＯＮ／ＯＦＦが設定され、撮像装置の電源ＯＮ時、または被写体情報（被写体の明るさや色温度）が大きく変化したときには、検出モードがＯＮとなり、定常状態では、検出モードがＯＦＦとなるように制御される。
【００９３】
そして、蛍光灯照明下検出モードがＯＮであるときには、ステップ１０３からステップ１０４に進んで、その検出モードの処理を実行した上で、ステップ１０５に進んで、その処理結果から、蛍光灯照明下であるか否かを判断する。
【００９４】
蛍光灯照明下であるか否かを検出する方法としては、ホワイトバランス制御の色温度情報を用いる方法などがあるが、図６および図７に示す方法によれば、より高精度に検出することができる。
【００９５】
図６の方法では、図６（Ａ）に示すように、デジタル信号処理部２０で得られる映像信号（各色信号または輝度信号）を画面水平方向に積分して、各フィールドごとに積分値を取得し（ただし、図６（Ｂ）の波形はフリッカ成分を示す）、図６（Ｃ）に示すように、隣接するフィールド間の積分値の差分（Ｆｎ−Ｆｎ＿１）を算出する。
【００９６】
このとき、図２０（Ａ）に示したケース１（ｆｖ＝６０Ｈｚ，ｆｐ＝５０Ｈｚ）または図２０（Ｂ）に示したケース２（ｆｖ＝５０Ｈｚ，ｆｐ＝６０Ｈｚ）のように、複数フィールド（複数画面）を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じる場合には、差分（Ｆｎ−Ｆｎ＿１）中で、絵柄成分が除去されて、フリッカ成分だけが残るので、そのフリッカ成分の存在から、蛍光灯照明下であることを検出することができる。
【００９７】
ただし、このとき、図２１（Ａ）に示したケース３（ｆｖ＝６０Ｈｚ，ｆｐ＝６０Ｈｚ）または図２１（Ｂ）に示したケース４（ｆｖ＝５０Ｈｚ，ｆｐ＝５０Ｈｚ）のように、高速シャッタ時、各フィールド（各画面）でフリッカの縞模様が同一となる１フィールド（１画面）で完結するフリッカを生じる場合には、差分（Ｆｎ−Ｆｎ＿１）中で、絵柄成分だけでなく、フリッカ成分まで除去されてしまい、蛍光灯照明下であることを検出することができない。
【００９８】
そこで、この例の方法では、システムコントローラ１４は、検出モードのときだけ、垂直周期の一定性をわずかに崩して撮像装置を駆動する。
【００９９】
すなわち、図７（Ａ）は、ケース３（ｆｖ＝６０Ｈｚ，ｆｐ＝６０Ｈｚ）の場合であり、図７（Ｂ）は、ケース４（ｆｖ＝５０Ｈｚ，ｆｐ＝５０Ｈｚ）の場合であるが、検出モード時には、それぞれ、右側（矢印の方向）に示すように、垂直周期（ある垂直同期信号ＶＤから次の垂直同期信号ＶＤまでの時間）を、α（秒）だけ１垂直周期ごとに交互に増減させる。
【０１００】
ケース１またはケース２の場合も同じで、すなわち、撮像装置の設定された垂直同期周波数ｆｖが６０Ｈｚであるか５０Ｈｚであるかを問わず、かつ電源周波数ｆｐが５０Ｈｚであるか６０Ｈｚであるかを検出することなく、検出モード時には、このように垂直周期の一定性をわずかに崩す。
【０１０１】
これによって、ケース３またはケース４の場合にも、蛍光灯照明下であるときには差分（Ｆｎ−Ｆｎ＿１）中にフリッカ成分が現れ、蛍光灯照明下であることを検出することができる。
【０１０２】
なお、フリッカ低減方法として、後述の実施形態のように先願（特願２００３−１７３６４２）の発明の方法を用いる場合には、そのフリッカ低減方法で用いる回路ブロックを、図６に示した積分および差分演算に流用することができる。
【０１０３】
ステップ１０３で、蛍光灯照明下検出モードがＯＦＦの定常状態であると判断したときには、ステップ１０６に進んで、直前または過去の検出モードでの処理結果（判断結果）を取り込んで、ステップ１０５に進む。
【０１０４】
そして、ステップ１０５で蛍光灯照明下ではないと判断したときには、そもそもフリッカ低減処理は必要ないので、屋外での撮影の場合と同様に、ステップ１０２に進んで、通常のシャッタ制御を実行して、シャッタ制御処理を終了する。
【０１０５】
一方、ステップ１０５で蛍光灯照明下であると判断したときには、ステップ１０７に進んで、手ぶれ補正がＯＮか否かを判断する。
【０１０６】
そして、手ぶれ補正がＯＮのとき、すなわち手ぶれ補正の実行時には、ステップ１０７からステップ１１１に進んで、上述した設定フラグから、設定された垂直同期周波数ｆｖが６０Ｈｚか５０Ｈｚかを判断し、その判断結果に応じたシャッタ速度の高速シャッタに設定する。
【０１０７】
この場合、手ぶれ補正ＯＮ時には、常に高速シャッタにしてもよいが、被写体の輝度（明るさ）が非常に低く（暗く）、手ぶれ補正実行時の高速シャッタによる画質向上より、最適露光の方が優先されるべき場合には、例外的に通常シャッタとしてもよい。以下の例は、このように手ぶれ補正ＯＮ時、原則的には高速シャッタとし、例外的に通常シャッタとする場合である。
【０１０８】
すなわち、ステップ１１１で、ｆｖ＝６０Ｈｚ（ＮＴＳＣ方式）であると判断した場合には、ステップ１１２に進んで、被写体の輝度が閾値より低いか否かを判断し、被写体の輝度が閾値以上であると判断したときには、ステップ１１３に進んで、上記のＮ／１２０（秒）においてＮ＝１として、シャッタ速度（露光時間）１／１２０秒の高速シャッタに設定する。
【０１０９】
また、ステップ１１２で、被写体の輝度が閾値より低いと判断したときには、ステップ１１４に進んで、上記のＮ／１２０（秒）においてＮ＝２として、シャッタ速度１／６０秒の通常シャッタに設定する。
【０１１０】
一方、ステップ１１１で、ｆｖ＝５０Ｈｚ（ＰＡＬ方式）であると判断した場合には、ステップ１１５に進んで、被写体の輝度が閾値より低いか否かを判断し、被写体の輝度が閾値以上であると判断したときには、ステップ１１６に進んで、上記のＮ／１００（秒）においてＮ＝１として、シャッタ速度１／１００秒の高速シャッタに設定する。
【０１１１】
また、ステップ１１５で、被写体の輝度が閾値より低いと判断したときには、ステップ１１７に進んで、上記のＮ／１００（秒）においてＮ＝２として、シャッタ速度１／５０秒の通常シャッタに設定する。
【０１１２】
すなわち、ケース１またはケース３のようにｆｖ＝６０Ｈｚの場合には、手ぶれ補正ＯＮ時、原則として、シャッタ速度１／１２０秒の高速シャッタに設定され、ケース２またはケース４のようにｆｖ＝５０Ｈｚの場合には、手ぶれ補正ＯＮ時、原則として、シャッタ速度１／１００秒の高速シャッタに設定される。
【０１１３】
したがって、ケース１またはケース２の場合には、それぞれ３フィールドまたは５フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じて、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することができるようになるとともに、ケース３またはケース４の場合には、そもそもフリッカが発生せず、フリッカ低減処理が不要となる。
【０１１４】
しかも、そのために電源周波数ｆｐを検出する必要がなく、シャッタ制御部１４ｃは、設定された映像方式がＮＴＳＣ方式とＰＡＬ方式のいずれであるか（垂直同期周波数ｆｖが６０Ｈｚと５０Ｈｚのいずれであるか）を判断するだけでよいとともに、手ぶれ補正ＯＮ時には、原則として高速シャッタを実現することができ、高速シャッタによる画質向上を図ることができる。
【０１１５】
ステップ１１３，１１４，１１６または１１７でシャッタ速度を設定したら、ステップ１０８に進んで、シャッタ速度の設定と合わせて最適な露光となるように、設定したシャッタ速度に応じてアイリス調整およびＡＧＣを実行して、シャッタ制御処理を終了する。
【０１１６】
高速シャッタとしては、一般には、上述したように１／１００秒程度のシャッタ速度に設定されるのに対して、ｆｖ＝６０Ｈｚの場合のステップ１１３では、１／１００秒より若干高速（短時間）の１／１２０秒に設定され、シャッタ速度１／１００秒の場合と比べて露光量が若干少なくなる。
【０１１７】
しかし、その差は０．８ｄＢ程度で、ステップ１０８でのアイリス調整およびＡＧＣによって十分補償できる範囲であり、露光量の低下によって画質が劣化することはない。しかも、１／１２０秒のシャッタ速度であれば、動画像のパラパラ感が目立つようになることもない。
【０１１８】
一方、手ぶれ補正がＯＦＦのとき、すなわち手ぶれ補正の非実行時には、ステップ１０７からステップ１２１に進んで、上述した設定フラグから、設定された垂直同期周波数ｆｖが６０Ｈｚか５０Ｈｚかを判断し、その判断結果に応じたシャッタ速度の通常シャッタに設定する。
【０１１９】
この場合、手ぶれ補正ＯＦＦ時には、最適露光のために常に通常シャッタにしてもよいが、被写体の輝度（明るさ）が非常に高い（明るい）場合には、例外的に高速シャッタとしてもよい。以下の例は、このように手ぶれ補正ＯＦＦ時、原則的には通常シャッタとし、例外的に高速シャッタとする場合である。
【０１２０】
すなわち、ステップ１２１で、ｆｖ＝６０Ｈｚ（ＮＴＳＣ方式）であると判断した場合には、ステップ１２２に進んで、被写体の輝度が閾値より高いか否かを判断し、被写体の輝度が閾値以下であると判断したときには、ステップ１２３に進んで、上記のＮ／１２０（秒）においてＮ＝２として、シャッタ速度（露光時間）１／６０秒の通常シャッタに設定する。
【０１２１】
また、ステップ１２２で、被写体の輝度が閾値より高いと判断したときには、ステップ１２４に進んで、上記のＮ／１２０（秒）においてＮ＝１として、シャッタ速度１／１２０秒の高速シャッタに設定する。
【０１２２】
一方、ステップ１２１で、ｆｖ＝５０Ｈｚ（ＰＡＬ方式）であると判断した場合には、ステップ１２５に進んで、被写体の輝度が閾値より高いか否かを判断し、被写体の輝度が閾値以下であると判断したときには、ステップ１２６に進んで、上記のＮ／１００（秒）においてＮ＝２として、シャッタ速度１／５０秒の通常シャッタに設定する。
【０１２３】
また、ステップ１２５で、被写体の輝度が閾値より高いと判断したときには、ステップ１２７に進んで、上記のＮ／１００（秒）においてＮ＝１として、シャッタ速度１／１００秒の高速シャッタに設定する。
【０１２４】
ステップ１２３，１２４，１２６または１２７でシャッタ速度を設定したら、ステップ１０８に進んで、シャッタ速度の設定と合わせて最適な露光となるように、設定したシャッタ速度に応じてアイリス調整およびＡＧＣを実行して、シャッタ制御処理を終了する。
【０１２５】
以上のシャッタ制御処理を、図９の垂直同期周波数が６０Ｈｚまたは５０Ｈｚの欄に示す。手ぶれ補正ＯＮ時および手ぶれ補正ＯＦＦ時の、括弧内に示したシャッタ速度が、ステップ１１４，１１７，１２４，１２７で設定される例外的なシャッタ速度であり、その上の括弧外に示したシャッタ速度が、ステップ１１３，１１６，１２３，１２６で設定される原則的なシャッタ速度である。
【０１２６】
（プログレッシブ方式の場合：図８および図９）
この発明のシャッタ制御は、デジタルスチルカメラなど、プログレッシブ方式のＣＭＯＳ撮像装置で、垂直同期周波数（この場合はフレーム周波数）ｆｖが、例えば３０Ｈｚの場合にも、適用することができる。
【０１２７】
この場合の撮像装置も、基本的に図１のように構成され、システムコントローラ１４のシャッタ制御部１４ｃは、フレームごとに以下のようなシャッタ制御処理を実行し、シャッタ速度を設定する。
【０１２８】
図８に、そのシャッタ制御部１４ｃが実行するシャッタ制御処理ルーチンの一例を示す。この例のシャッタ制御処理ルーチン１３０は、シャッタ制御処理開始からステップ１０７までは、上述したシャッタ制御処理ルーチン１００のシャッタ制御処理開始からステップ１０７までと同じである。
【０１２９】
そして、この例のシャッタ制御処理ルーチン１３０では、蛍光灯照明下であるときには、ステップ１０７で、手ぶれ補正がＯＮか否かを判断し、手ぶれ補正がＯＮのとき、すなわち手ぶれ補正の実行時には、高速シャッタに設定し、手ぶれ補正がＯＦＦのとき、すなわち手ぶれ補正の非実行時には、通常シャッタに設定する。
【０１３０】
この場合も、手ぶれ補正ＯＮ時には常に高速シャッタにし、手ぶれ補正ＯＦＦ時には常に通常シャッタにしてもよいが、以下の例は、手ぶれ補正ＯＮ時には、原則的に高速シャッタ、例外的に通常シャッタとし、手ぶれ補正ＯＦＦ時には、原則的に通常シャッタ、例外的に高速シャッタとする場合である。
【０１３１】
すなわち、ステップ１０７で、手ぶれ補正がＯＮと判断した場合には、ステップ１３２に進んで、被写体の輝度が閾値Ｖ２より低いか否かを判断し、被写体の輝度が閾値Ｖ２以上であると判断したときには、ステップ１３３に進んで、上記のＮ／１２０（秒）においてＮ＝１またはＮ＝２として、シャッタ速度（露光時間）を１／１２０秒または１／６０秒に設定する。
【０１３２】
具体的に、手ぶれ補正用に、より高速のシャッタ速度とする場合には、シャッタ速度を１／１２０秒に設定する。また、被写体の輝度に応じてシャッタ速度を細分する場合には、被写体の輝度が閾値Ｖ２以上の範囲内で所定値Ｖ１（＞Ｖ２）以上であるときには、シャッタ速度を１／１２０秒に設定し、被写体の輝度が閾値Ｖ２以上の範囲内で所定値Ｖ１より低いときには、シャッタ速度を１／６０秒に設定する。
【０１３３】
また、ステップ１３２で、被写体の輝度が閾値Ｖ２より低いと判断したときには、ステップ１３４に進んで、上記のＮ／１２０（秒）においてＮ＝３またはＮ＝４として、シャッタ速度（露光時間）を１／４０秒または１／３０秒に設定する。
【０１３４】
具体的に、最適露光用に、より低速のシャッタ速度とする場合には、シャッタ速度を１／３０秒に設定する。また、被写体の輝度に応じてシャッタ速度を細分する場合には、被写体の輝度が閾値Ｖ２より低い範囲内で所定値Ｖ３（＜Ｖ２）より低いときには、シャッタ速度を１／３０秒に設定し、被写体の輝度が閾値Ｖ２より低い範囲内で所定値Ｖ３以上であるときには、シャッタ速度を１／４０秒に設定する。
【０１３５】
一方、ステップ１０７で、手ぶれ補正がＯＦＦと判断した場合には、ステップ１３５に進んで、被写体の輝度が閾値Ｖ４より高いか否かを判断し、被写体の輝度が閾値Ｖ４以下であると判断したときには、ステップ１３６に進んで、上記のＮ／１２０（秒）においてＮ＝４またはＮ＝３として、シャッタ速度（露光時間）を１／３０秒または１／４０秒に設定する。
【０１３６】
また、ステップ１３５で、被写体の輝度が閾値Ｖ４より高いと判断したときには、ステップ１３７に進んで、上記のＮ／１２０（秒）においてＮ＝２またはＮ＝１として、シャッタ速度（露光時間）を１／６０秒または１／１２０秒に設定する。
【０１３７】
ステップ１３３，１３４，１３６または１３７でシャッタ速度を設定したら、ステップ１０８に進んで、アイリス調整およびＡＧＣを実行して、シャッタ制御処理を終了する。
【０１３８】
以上のシャッタ制御処理を、図９の垂直同期周波数が３０Ｈｚの欄に示す。以上のように、上記のケース５またはケース６の場合には、シャッタ速度が１／１２０秒、１／６０秒、１／４０秒または１／３０秒に設定されるので、ケース５のｆｐ＝５０Ｈｚの場合には、３フレームを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じて、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することができるようになるとともに、ケース６のｆｐ＝６０Ｈｚの場合には、そもそもフリッカが発生せず、フリッカ低減処理が不要となる。
【０１３９】
しかも、そのために電源周波数ｆｐを検出する必要がないとともに、手ぶれ補正ＯＮ時には、原則として高速シャッタを実現することができ、高速シャッタによる画質向上を図ることができる。
【０１４０】
〔フリッカ低減方法の実施形態：図１０〜図１５〕
蛍光灯照明下である場合には、上述したようにシャッタ制御部１４ｃによってシャッタ制御された後、さらに、システムコントローラ１４の制御によって、デジタル信号処理部２０内のフリッカ低減部２５でフリッカ低減処理が実行される。
【０１４１】
図９に示したように、ケース３（ｆｖ＝６０Ｈｚ，ｆｐ＝６０Ｈｚ）、ケース４（ｆｖ＝５０Ｈｚ，ｆｐ＝５０Ｈｚ）、またはケース６（ｆｖ＝３０Ｈｚ，ｆｐ＝６０Ｈｚ）では、上述したようにシャッタ速度が設定されることによって、フリッカが発生せず、フリッカ低減処理は不要となるが、そもそも電源周波数ｆｐは検出されないので、これらの場合にも、ケース１（ｆｖ＝６０Ｈｚ，ｆｐ＝５０Ｈｚ）、ケース２（ｆｖ＝５０Ｈｚ，ｆｐ＝６０Ｈｚ）、またはケース５（ｆｖ＝３０Ｈｚ，ｆｐ＝５０Ｈｚ）の場合と同様に、以下のようなフリッカ低減処理が実行される。
【０１４２】
この場合のフリッカ低減方法としては、上述したように、撮像素子からの映像信号から、フリッカの連続性を利用してフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号を補正して、フリッカ成分を低減する方法であれば、いかなる方法でもよいが、特に先願（特願２００３−１７３６４２）の発明のフリッカ低減方法によれば、簡単な信号処理によって、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有のフリッカ成分を、被写体や映像信号レベルおよび蛍光灯の種類などにかかわらず、高精度で検出し、確実かつ十分に低減することができる。
【０１４３】
この先願の発明のフリッカ低減方法は、（ａ）撮像素子からの映像信号（各色の色信号または輝度信号）を入力画像信号として、その入力画像信号を１水平周期以上の時間に渡って積分する工程と、（ｂ）その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、正規化する工程と、（ｃ）その正規化後の積分値または差分値のスペクトルを抽出する工程と、（ｄ）その抽出したスペクトルからフリッカ成分を推定する工程と、（ｅ）その推定したフリッカ成分を打ち消すように、推定したフリッカ成分と上記の入力画像信号を演算する工程とを備えるものである。
【０１４４】
この場合、（ｂ）の正規化工程では、後述のように、（ｂ１）差分値を連続する複数フィールドまたは複数フレームにおける積分値の平均値で除算し、または（ｂ２）積分値を連続する複数フィールドまたは複数フレームにおける積分値の平均値で除算し、その除算結果から所定値を減算し、または（ｂ３）差分値を積分値で除算する。また、（ｃ）のスペクトル抽出工程では、正規化後の積分値または差分値をフーリエ変換するなどの方法を用いる。
【０１４５】
（フリッカ低減方法の一例：図１０〜図１５）
先願の発明のフリッカ低減方法を用いる場合には、図２に示した原色系システムのＲＧＢ原色信号についてのフリッカ低減部２５Ｒ，２５Ｇ，２５Ｂや、図では省略した補色系システムの上述したＲＧＢ原色信号および輝度信号についてのフリッカ低減部２５は、それぞれ、例えば、図１０にフリッカ低減部２５として示すように構成する。
【０１４６】
ただし、以下の例は、ＮＴＳＣ方式（ｆｖ＝６０Ｈｚ）のＣＭＯＳビデオカメラの場合（上述したように、蛍光灯照明下では、ｆｐ＝５０Ｈｚのときには、３フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じ、ｆｐ＝６０Ｈｚのときには、そもそもフリッカが発生しない）であり、ＰＡＬ方式（ｆｖ＝５０Ｈｚ）のＣＭＯＳビデオカメラの場合、ＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定されるＣＭＯＳビデオカメラの場合、またはｆｖ＝３０Ｈｚのプログレッシブ方式のＣＭＯＳカメラの場合については、後述する。
【０１４７】
なお、以下において、入力画像信号とは、それぞれ、フリッカ低減部２５に入力されるフリッカ低減処理前のＲＧＢ原色信号または輝度信号であり、出力画像信号とは、それぞれ、フリッカ低減部２５から出力されるフリッカ低減処理後のＲＧＢ原色信号または輝度信号である。
【０１４８】
図１８および図１９は、被写体が一様な場合であるが、一般にフリッカ成分は被写体の信号強度に比例する。
【０１４９】
そこで、一般の被写体についての任意のフィールドｎおよび任意の画素（ｘ，ｙ）における入力画像信号（フリッカ低減処理前のＲＧＢ原色信号または輝度信号）をＩｎ’（ｘ，ｙ）とすると、Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、図１１の式（１）で表される。
【０１５０】
Ｉｎ（ｘ，ｙ）は、信号成分であり、Γｎ（ｙ）＊Ｉｎ（ｘ，ｙ）は、フリッカ成分であり、Γｎ（ｙ）は、フリッカ係数である。蛍光灯の発光周期（ｆｐ＝５０Ｈｚのときには１／１００秒、ｆｐ＝６０Ｈｚのときには１／１２０秒）に比べて１水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓｎ（ｙ）で表す。
【０１５１】
Γｎ（ｙ）を一般化するために、図１１の式（２）に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。
【０１５２】
式（２）中のλｏは、図１８に示したような面内フリッカの波長であり、１フィールド当たりの読み出しライン数をＭとすると、ｆｐ＝５０Ｈｚの場合には、Ｌ（＝Ｍ＊６０／１００）ラインに相当する。ωｏは、λｏで正規化された規格化角周波数である。
【０１５３】
γｍは、各次（ｍ＝１，２，３‥）のフリッカ成分の振幅である。Φｍｎは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期と露光タイミングによって決まる。ただし、ｆｖ＝６０Ｈｚの場合には、Φｍｎは３フィールドごとに同じ値になるので、直前のフィールドとの間のΦｍｎの差は、図１１の式（３）で表される。
【０１５４】
図１０の例では、まず、入力画像信号Ｉｎ’（ｘ，ｙ）が、フリッカ検出用に絵柄の影響を少なくするために、積分ブロック３１で、図１１の式（４）に示すように、画面水平方向に１ライン分に渡って積分され、積分値Ｆｎ（ｙ）が算出される。式（４）中のαｎ（ｙ）は、図１１の式（５）で表されるように、信号成分Ｉｎ（ｘ，ｙ）の１ライン分に渡る積分値である。
【０１５５】
算出された積分値Ｆｎ（ｙ）は、以後のフィールドでのフリッカ検出用に、積分値保持ブロック３２に記憶保持される。ｆｖ＝６０Ｈｚの場合には、積分値保持ブロック３２は、少なくとも２フィールド分の積分値を保持できる構成とされる。
【０１５６】
被写体が一様であれば、信号成分Ｉｎ（ｘ，ｙ）の積分値αｎ（ｙ）が一定値となるので、入力画像信号Ｉｎ’（ｘ，ｙ）の積分値Ｆｎ（ｙ）からフリッカ成分αｎ（ｙ）＊Γｎ（ｙ）を抽出することは容易である。
【０１５７】
しかし、一般的な被写体では、αｎ（ｙ）にもｍ＊ωｏ成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式（４）の第１項の信号成分に対して第２項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまい、積分値Ｆｎ（ｙ）から直接、フリッカ成分を抽出するのは不可能と言える。
【０１５８】
そこで、図１０の例では、積分値Ｆｎ（ｙ）からαｎ（ｙ）の影響を取り除くために、連続する３フィールドにおける積分値を用いる。
【０１５９】
すなわち、この例では、積分値Ｆｎ（ｙ）の算出時、積分値保持ブロック３２から、１フィールド前の同じラインの積分値Ｆｎ＿１（ｙ）、および２フィールド前の同じラインの積分値Ｆｎ＿２（ｙ）が読み出され、平均値計算ブロック３３で、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］が算出される。
【０１６０】
連続する３フィールドの期間中の被写体をほぼ同一と見なすことができれば、αｎ（ｙ）は同じ値と見なすことができる。被写体の動きが３フィールドの間で十分小さければ、実用上、この仮定は問題ない。さらに、連続する３フィールドにおける積分値の平均値を演算することは、式（３）の関係から、フリッカ成分の位相が（−２π／３）＊ｍずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。したがって、平均値ＡＶＥ［Ｆｎ（ｙ）］は、図１２の式（６）で表される。
【０１６１】
ただし、以上は、図１２の式（７）の近似が成り立つものとして、連続する３フィールドにおける積分値の平均値を算出する場合であるが、被写体の動きが大きい場合には、式（７）の近似が成り立たなくなる。
【０１６２】
そのため、被写体の動きが大きい場合を想定したフリッカ低減部２５としては、積分値保持ブロック３２に３フィールド以上に渡る積分値を保持し、当該のフィールドの積分値Ｆｎ（ｙ）を合わせて４フィールド以上に渡る積分値の平均値を算出すればよい。これによって、時間軸方向のローパスフィルタ作用により、被写体が動いたことによる影響が小さくなる。
【０１６３】
ただし、フリッカは３フィールドごとの繰り返しとなるので、フリッカ成分を打ち消すには、連続するｊ（３の、２倍以上の整数倍、すなわち、６，９‥）フィールドにおける積分値の平均値を算出する必要があり、積分値保持ブロック３２は、少なくとも（ｊ−１）フィールド分の積分値を保持できる構成とする。
【０１６４】
図１０の例は、図１２の式（７）の近似が成り立つものとした場合である。この例では、さらに、差分計算ブロック３４で、積分ブロック３１からの当該フィールドの積分値Ｆｎ（ｙ）と、積分値保持ブロック３２からの１フィールド前の積分値Ｆｎ＿１（ｙ）との差分が計算され、図１２の式（８）で表される差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が算出される。式（８）も、式（７）の近似が成り立つことを前提としている。
【０１６５】
差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）では、被写体の影響が十分除去されるため、積分値Ｆｎ（ｙ）に比べてフリッカ成分（フリッカ係数）の様子が明確に現れる。
【０１６６】
図１０の例では、さらに、正規化ブロック３５で、差分計算ブロック３４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が、平均値計算ブロック３３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによって正規化され、正規化後の差分値ｇｎ（ｙ）が算出される。
【０１６７】
正規化後の差分値ｇｎ（ｙ）は、図１２の式（６）（８）および三角関数の和積公式によって、図１３の式（９）のように展開され、さらに図１１の式（３）の関係から、図１３の式（１０）で表される。式（１０）中の｜Ａｍ｜，θｍは、式（１１ａ）（１１ｂ）で表される。
【０１６８】
差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）は、被写体の信号強度の影響が残るため、領域によってフリッカによる輝度変化および色変化のレベルが異なってしまうが、上記のように正規化することによって、全領域に渡ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。
【０１６９】
図１３の式（１１ａ）（１１ｂ）で表される｜Ａｍ｜，θｍは、正規化後の差分値ｇｎ（ｙ）の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値ｇｎ（ｙ）をフーリエ変換して、各次のスペクトルの振幅｜Ａｍ｜および初期位相θｍを検出すれば、図１４の式（１２ａ）（１２ｂ）によって、図１１の式（２）に示した各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。
【０１７０】
そこで、図１０の例では、ＤＦＴブロック５１において、正規化ブロック３５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。
【０１７１】
ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は、図１４の式（１３）で表される。式（１３）中のＷは、式（１４）で表される。また、ＤＦＴの定義によって、式（１１ａ）（１１ｂ）と式（１３）との関係は、図１４の式（１５ａ）（１５ｂ）で表される。
【０１７２】
したがって、式（１２ａ）（１２ｂ）（１５ａ）（１５ｂ）から、図１４の式（１６ａ）（１６ｂ）によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを求めることができる。
【０１７３】
ＤＦＴ演算のデータ長を、フリッカの１波長分（Ｌライン分）とするのは、これによって、ちょうどωｏの整数倍の離散スペクトル群を直接、得ることができるからである。
【０１７４】
一般に、デジタル信号処理のフーリエ変換としては、ＦＦＴ（高速フーリエ変換）が用いられるが、この例では、あえてＤＦＴを用いる。その理由は、フーリエ変換のデータ長が２のべき乗になっていないので、ＦＦＴよりＤＦＴの方が都合よいためである。ただし、入出力データを加工してＦＦＴを用いることもできる。
【０１７５】
実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、ＤＦＴ演算もデータを全て出力する必要はなく、ＦＦＴに比べて演算効率の点でデメリットはない。
【０１７６】
ＤＦＴブロック５１では、まず、式（１３）で定義されるＤＦＴ演算によって、スペクトルが抽出され、その後、式（１６ａ）（１６ｂ）の演算によって、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが推定される。
【０１７７】
図１０の例では、さらに、フリッカ生成ブロック５３で、ＤＦＴブロック５１からのγｍ，Φｍｎの推定値から、図１１の式（２）で表されるフリッカ係数Γｎ（ｙ）が算出される。
【０１７８】
ただし、上述したように、実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、式（２）によるフリッカ係数Γｎ（ｙ）の算出に当たっては、総和次数を無限大ではなく、あらかじめ定められた次数、例えば２次までに限定することができる。
【０１７９】
上述した方法によれば、積分値Ｆｎ（ｙ）ではフリッカ成分が信号成分中に完全に埋もれてしまう、フリッカ成分が微小な黒の背景部分や低照度の部分などの領域でも、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を算出し、これを平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することによって、フリッカ成分を高精度で検出することができる。
【０１８０】
また、適当な次数までのスペクトルからフリッカ成分を推定することは、正規化後の差分値ｇｎ（ｙ）を完全に再現しないで近似することになるが、これによって、かえって、被写体の状態によって正規化後の差分値ｇｎ（ｙ）に不連続な部分を生じても、その部分のフリッカ成分を精度良く推定できることになる。
【０１８１】
図１１の式（１）から、フリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）は、図１４の式（１７）で表される。
【０１８２】
そこで、図１０の例では、演算ブロック４０で、フリッカ生成ブロック５３からのフリッカ係数Γｎ（ｙ）に１が加えられ、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ’（ｘ，ｙ）が除算される。
【０１８３】
これによって、入力画像信号Ｉｎ’（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック４０からは、出力画像信号（フリッカ低減処理後のＲＧＢ原色信号または輝度信号）として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。
【０１８４】
なお、システムが有する演算能力の制約から、上記の全ての処理を１フィールドの時間内で完結できない場合には、フリッカが３フィールドごとの繰り返しとなることを利用して、演算ブロック４０内にフリッカ係数Γｎ（ｙ）を３フィールドに渡って保持する機能を設け、３フィールド後の入力画像信号Ｉｎ’（ｘ，ｙ）に対して、その保持したフリッカ係数Γｎ（ｙ）を演算する構成とすればよい。
【０１８５】
なお、図１０の例は、後述する他の構成例のように積分値Ｆｎ（ｙ）ではなく、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化する場合であるが、便宜上、フリッカ低減部２５中のＤＦＴブロック５１の前段部分を正規化積分値算出ブロック３０と称する。
【０１８６】
（フリッカ低減部の他の構成例）
図１０の例のように、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化すれば、有限の計算精度を効果的に確保することができる。しかし、要求される計算精度を満足できる場合には、積分ブロック３１からの積分値Ｆｎ（ｙ）を直接、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化してもよい。
【０１８７】
ただし、この場合の正規化後の差分値ｇｎ（ｙ）は、図１５の式（１８）で表されるものとなるので、後段の処理を図１０の例と同様にするため、図１５の式（１９）に示すように、式（１８）で表される正規化後の差分値ｇｎ（ｙ）から１を減算し、その結果をＤＦＴブロック５１に送出する。
【０１８８】
この場合、｜Ａｍ｜＝γｍ，θｍ＝Φｍｎであるので、図１４の式（１５ａ）（１５ｂ）から、γｍ，Φｍｎは、図１５の式（２０ａ）（２０ｂ）によって求めることができる。
【０１８９】
したがって、ＤＦＴブロック５１では、図１０の例では、式（１３）で定義されるＤＦＴ演算によってスペクトルを抽出した後、式（１６ａ）（１６ｂ）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定するのに対して、この場合には、式（１３）で定義されるＤＦＴ演算によってスペクトルを抽出した後、式（２０ａ）（２０ｂ）の演算によって各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎを推定する。以後の処理は、図１０の例と同じである。
【０１９０】
この場合には、差分計算ブロック３４が不要となるので、その分、フリッカ低減部２５を簡略化することができる。
【０１９１】
図１０の例で、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）の正規化に用いる平均値ＡＶＥ［Ｆｎ（ｙ）］は、図１２の式（７）の近似が成り立つ場合には、式（６）で表されるようにαｎ（ｙ）に等しいとともに、図１１の式（４）の第２項［αｎ（ｙ）＊Γｎ（ｙ）］は、第１項のαｎ（ｙ）に比べて十分小さいので、正規化に及ぼす第２項の影響は非常に小さい。
【０１９２】
したがって、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）の正規化については、平均値ＡＶＥ［Ｆｎ（ｙ）］の代わりに積分ブロック３１からの積分値Ｆｎ（ｙ）を用いても、ほとんど問題がなく、平均値ＡＶＥ［Ｆｎ（ｙ）］を用いる場合と同様に、効果的にフリッカ成分を検出することができる。
【０１９３】
この場合には、積分値保持ブロック３２は１フィールド分の積分値を保持できればよいとともに、平均値計算ブロック３３を必要としないので、フリッカ低減部２５を簡略化することができる。
【０１９４】
上述した各例は、入力画像信号Ｉｎ’（ｘ，ｙ）を１ライン分に渡って積分する場合であるが、入力画像信号Ｉｎ’（ｘ，ｙ）の積分は、絵柄の影響を少なくしてフリッカ成分のサンプリング値を得るためであるので、１ラインに限らず、複数ラインの時間に渡って行ってもよい。
【０１９５】
ｆｖ＝６０Ｈｚ，ｆｐ＝５０Ｈｚの場合、上述したように画面上では縞模様として現れる蛍光灯フリッカの１周期はＬ（＝Ｍ＊６０／１００）ラインに相当するので、その１周期、すなわちＬラインで、少なくとも２つのサンプリング値を得るようにすれば、いわゆるサンプリングの定理から、フリッカ成分を検出することができる。
【０１９６】
実際上は、フリッカの１周期で数個以上ないし１０個以上のサンプリング値を得ることが望ましいが、その場合でも、入力画像信号Ｉｎ’（ｘ，ｙ）を水平周期の数倍以上ないし１０倍以上の時間に渡って積分することができる。また、積分時間は、２．５水平周期などというように、水平周期のちょうど整数倍でなくてもよい。
【０１９７】
そして、このように積分時間を長くし、単位時間当たりのサンプリング数を減らす場合には、ＤＦＴブロック５１におけるＤＦＴ演算の負担を軽くすることができるとともに、被写体が画面垂直方向に動いた場合に、その影響を少なくすることができる。
【０１９８】
上述した各例で、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域にある場合、演算ブロック４０で式（１７）の演算を行うと、逆に信号成分（色成分または輝度成分）が変化してしまう。
【０１９９】
そこで、演算ブロック４０は、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベル以上であるか否かを画素ごとに判断し、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベルに満たない画素では、上述したように式（１７）の演算結果を出力画像信号Ｉｎ（ｘ，ｙ）として出力し、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域の閾値レベル以上である画素では、入力画像信号Ｉｎ’（ｘ，ｙ）をそのまま出力画像信号Ｉｎ（ｘ，ｙ）として出力するように構成することが望ましい。
【０２００】
これによれば、入力画像信号Ｉｎ’（ｘ，ｙ）のレベルが飽和領域にある場合に、信号成分（色成分または輝度成分）が変化してしまうことがなく、高画質の出力画像信号が得られる。
【０２０１】
（屋外や非蛍光灯照明下などでの撮影の場合）
屋外での撮影や、非蛍光灯照明下での撮影では、そもそもフリッカ低減処理は不要である。
【０２０２】
また、動画と静止画の両方を撮影できるビデオカメラで静止画を撮影する場合には、ＣＭＯＳ撮像装置でも、１画面内の全ての画素の露光タイミング（露光開始および露光終了のタイミング）を同一にすることができ、蛍光灯フリッカの発生を回避することができるので、フリッカ低減処理は不要となる。この場合、ＣＭＯＳ撮像素子からの映像信号の読み出しは、動画を撮影する場合のような電子シャッタ速度の制約がないので、機械的なシャッタを閉じて遮光した状態で、ゆっくり行うことができる。
【０２０３】
これらの場合のようにフリッカ低減処理が不要な場合には、フリッカ低減部２５ではフリッカ低減処理が実行されず、入力画像信号Ｉｎ’（ｘ，ｙ）がそのまま出力画像信号Ｉｎ（ｘ，ｙ）として出力されるように、システムコントローラ１４によってフリッカ低減部２５を制御する。
【０２０４】
（ＰＡＬ方式やプログレッシブ方式の場合）
以上の例は、ＮＴＳＣ方式（ｆｖ＝６０Ｈｚ）のＣＭＯＳビデオカメラの場合であるが、ＰＡＬ方式（ｆｖ＝５０Ｈｚ）のＣＭＯＳビデオカメラの場合には、図９に示したように、蛍光灯照明下で、ｆｐ＝６０Ｈｚのとき、５フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、フリッカ低減部２５としては、それに対応した構成（ＮＴＳＣ方式の場合の「３フィールド」を「５フィールド」に置き換えた構成）とすればよい。
【０２０５】
また、図１の実施形態のようにＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定されるＣＭＯＳビデオカメラの場合には、カメラがＮＴＳＣ方式に設定されたときには、フリッカ低減部２５もＮＴＳＣ方式用に切り替えられ、カメラがＰＡＬ方式に設定されたときには、フリッカ低減部２５もＰＡＬ方式用に切り替えられるように、フリッカ低減部２５を構成すればよい。
【０２０６】
さらに、ｆｖ＝３０Ｈｚのプログレッシブ方式のＣＭＯＳカメラの場合には、図９に示したように、蛍光灯照明下で、ｆｐ＝５０Ｈｚのとき、３フレームを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、フリッカ低減部２５としては、それに対応した構成（ＮＴＳＣ方式の場合の「フィールド」を「フレーム」に置き換え、「３フィールド」を「３フレーム」に置き換えた構成）とすればよい。
【０２０７】
〔他の実施形態〕
プログレッシブ方式のＣＭＯＳ撮像装置の場合、垂直同期周波数ｆｖが３０Ｈｚではなく、例えば４０Ｈｚや２５Ｈｚである場合にも、この発明を適用することができる。この場合、ｆｖ＝４０Ｈｚの場合には、１２０／ｆｖが整数であるので、蛍光灯照明下では露光時間がＮ／１２０（秒）となるシャッタ速度とし、ｆｖ＝２５Ｈｚの場合には、１００／ｆｖが整数であるので、蛍光灯照明下では露光時間がＮ／１００（秒）となるシャッタ速度とすればよい。
【０２０８】
また、上述した実施形態は、フリッカ低減部２５を含むデジタル信号処理部２０をハードウェアによって構成する場合であるが、フリッカ低減部２５またはデジタル信号処理部２０の一部または全部をソフトウェアによって構成してもよい。
【０２０９】
さらに、この発明は、ＣＭＯＳ撮像素子以外のＸＹアドレス走査型の撮像素子を用いた撮像装置にも適用することができる。
【図面の簡単な説明】
【０２１０】
【図１】この発明の撮像装置の一実施形態のシステム構成を示す図である。
【図２】原色系システムのデジタル信号処理部の一例を示す図である。
【図３】シャッタ制御部が実行するシャッタ制御処理の一例の一部を示す図である。
【図４】シャッタ制御部が実行するシャッタ制御処理の一例の一部を示す図である。
【図５】シャッタ制御部が実行するシャッタ制御処理の一例の一部を示す図である。
【図６】蛍光灯照明下であるか否かを検出する方法の一例の説明に供する図である。
【図７】蛍光灯照明下であるか否かを検出する方法の一例の説明に供する図である。
【図８】シャッタ制御部が実行するシャッタ制御処理の他の例の一部を示す図である。
【図９】この発明の方法におけるシャッタ速度設定態様を示す図である。
【図１０】フリッカ低減部の一例を示す図である。
【図１１】具体例のフリッカ低減方法の説明に供する式を示す図である。
【図１２】具体例のフリッカ低減方法の説明に供する式を示す図である。
【図１３】具体例のフリッカ低減方法の説明に供する式を示す図である。
【図１４】具体例のフリッカ低減方法の説明に供する式を示す図である。
【図１５】具体例のフリッカ低減方法の説明に供する式を示す図である。
【図１６】ＣＣＤ撮像装置における蛍光灯フリッカの説明に供する図である。
【図１７】ＣＭＯＳ撮像装置における蛍光灯フリッカの説明に供する図である。
【図１８】ＣＭＯＳ撮像装置における蛍光灯フリッカの１画面内の縞模様を示す図である。
【図１９】ＣＭＯＳ撮像装置における蛍光灯フリッカの連続する３画面に渡る縞模様を示す図である。
【図２０】時間軸上で連続性を持ったフリッカを生じる場合の説明に供する図である。
【図２１】高速シャッタ時に１画面で完結するフリッカを生じる場合の説明に供する図である。
【図２２】垂直同期周波数と電源周波数の組み合わせの各場合についての従来の方法によるフリッカ発生態様を示す図である。
【符号の説明】
【０２１１】
主要部については図中に全て記述したので、ここでは省略する。
【図１】
2005033616.tif 000003
【図２】
2005033616.tif 000004
【図３】
2005033616.tif 000005
【図４】
2005033616.tif 000006
【図５】
2005033616.tif 000007
【図６】
2005033616.tif 000008
【図７】
2005033616.tif 000009
【図８】
2005033616.tif 000010
【図９】
2005033616.tif 000011
【図１０】
2005033616.tif 000012
【図１１】
2005033616.tif 000013
【図１２】
2005033616.tif 000014
【図１３】
2005033616.tif 000015
【図１４】
2005033616.tif 000016
【図１５】
2005033616.tif 000017
【図１６】
2005033616.tif 000018
【図１７】
2005033616.tif 000019
【図１８】
2005033616.tif 000020
【図１９】
2005033616.tif 000021
【図２０】
2005033616.tif 000022
【図２１】
2005033616.tif 000023
【図２２】
2005033616.tif 000024
【手続補正書】
【提出日】平成16年9月29日(2004.9.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＸＹアドレス走査型の撮像素子を備える撮像装置であって、
当該の撮像装置の設定された垂直同期周波数をｆｖ（Ｈｚ）とし、Ｎを正の整数とするとき、１２０／ｆｖが整数の場合には、露光時間がＮ／１２０（秒）となる電子シャッタ速度に設定され、１００／ｆｖが整数の場合には、露光時間がＮ／１００（秒）となる電子シャッタ速度に設定される撮像装置。
【請求項２】
請求項１の撮像装置において、
電子式の手ぶれ補正の実行時、Ｎは露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定される撮像装置。
【請求項３】
請求項１の撮像装置において、
電子式の手ぶれ補正の実行時、被写体の輝度が閾値以上であるときには、Ｎは露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定され、被写体の輝度が閾値より低いときには、Ｎは露光時間が１／ｆｖ（秒）となる値に設定される撮像装置。
【請求項４】
請求項１の撮像装置において、
電子式の手ぶれ補正の非実行時、Ｎは露光時間が１／ｆｖ（秒）となる値に設定される撮像装置。
【請求項５】
請求項１の撮像装置において、
電子式の手ぶれ補正の非実行時、被写体の輝度が閾値以下であるときには、Ｎは露光時間が１／ｆｖ（秒）となる値に設定され、被写体の輝度が閾値より高いときには、Ｎは露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定される撮像装置。
【請求項６】
請求項１の撮像装置において、
さらに、垂直周期をずらして前記撮像素子を駆動することにより、蛍光灯照明下であるか否かを検出する撮像装置。
【請求項７】
請求項１の撮像装置において、
前記撮像素子により被写体を撮影することによって得られた映像信号を１水平周期以上の時間に渡って積分する積分手段と、
この積分手段により得られた積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、正規化する正規化手段と、
この正規化手段により得られた正規化された積分値または差分値のスペクトルを抽出する抽出手段と、
この抽出手段により抽出されたスペクトルからフリッカ成分を推定する推定手段と、
この推定手段により推定されたフリッカ成分を打ち消すように、当該の推定されたフリッカ成分と前記映像信号を演算する演算手段と、
を備える撮像装置。
【請求項８】
蛍光灯照明下でＸＹアドレス走査型の撮像素子により被写体を撮影することによって得られる映像信号に含まれる蛍光灯フリッカ成分を低減する方法であって、
前記撮像素子を備える撮像装置の設定された垂直同期周波数をｆｖ（Ｈｚ）とし、Ｎを正の整数とするとき、１２０／ｆｖが整数の場合には、露光時間がＮ／１２０（秒）となる電子シャッタ速度に設定し、１００／ｆｖが整数の場合には、露光時間がＮ／１００（秒）となる電子シャッタ速度に設定するシャッタ制御工程と、
このシャッタ制御工程で電子シャッタ速度が設定された状態で、前記映像信号からフリッカ成分を推定し、その推定結果に応じて前記映像信号を補正して、フリッカ成分を低減するフリッカ低減処理工程と、
を備えるフリッカ低減方法。
【請求項９】
請求項８のフリッカ低減方法において、
前記シャッタ制御工程では、電子式の手ぶれ補正の実行時、Ｎを露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定するフリッカ低減方法。
【請求項１０】
請求項８のフリッカ低減方法において、
前記シャッタ制御工程では、電子式の手ぶれ補正の実行時、被写体の輝度が閾値以上であるときには、Ｎを露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定し、被写体の輝度が閾値より低いときには、Ｎを露光時間が１／ｆｖ（秒）となる値に設定するフリッカ低減方法。
【請求項１１】
請求項８のフリッカ低減方法において、
前記シャッタ制御工程では、電子式の手ぶれ補正の非実行時、Ｎを露光時間が１／ｆｖ（秒）となる値に設定するフリッカ低減方法。
【請求項１２】
請求項８のフリッカ低減方法において、
前記シャッタ制御工程では、電子式の手ぶれ補正の非実行時、被写体の輝度が閾値以下であるときには、Ｎを露光時間が１／ｆｖ（秒）となる値に設定し、被写体の輝度が閾値より高いときには、Ｎを露光時間が１／ｆｖ（秒）より短くなる範囲内の値に設定するフリッカ低減方法。
【請求項１３】
請求項８のフリッカ低減方法において、
さらに、垂直周期をずらして前記撮像素子を駆動することにより、蛍光灯照明下であるか否かを検出する工程を備えるフリッカ低減方法。
【請求項１４】
請求項８のフリッカ低減方法において、
前記フリッカ低減処理工程は、
前記撮像素子により被写体を撮影することによって得られた映像信号を１水平周期以上の時間に渡って積分する積分工程と、
この積分工程で得られた積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、正規化する正規化工程と、
この正規化工程で得られた正規化された積分値または差分値のスペクトルを抽出する抽出工程と、
この抽出工程で抽出されたスペクトルからフリッカ成分を推定する推定工程と、
この推定工程で推定されたフリッカ成分を打ち消すように、当該の推定されたフリッカ成分と前記映像信号を演算する演算工程と、
を備えるフリッカ低減方法。