(57)【特許請求の範囲】
【請求項１】
所定の条件を満たす電子シャッタ値により、直交する２方向に画面をアドレス走査して対象を撮像する固体撮像素子と、
前記固体撮像素子の前記電子シャッタ値を所定の値に設定する電子シャッタ値設定手段と、
前記固体撮像素子の出力信号をアナログ信号からデジタル信号へと変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力信号を所定の単位で記憶する記憶手段と、
前記記憶手段に記憶された所定の単位の信号に対し、外光条件に適した第１の電子シャッタ値と蛍光灯明滅周期と所定関係となる蛍光灯条件下での第２の電子シャッタ値の２条件による画像の信号波形をそれぞれ求め、２つの信号を比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すような補正信号値を演算する補正演算手段と、
前記補正演算手段により演算された前記補正信号値を用いて蛍光灯照明下における画像の波形を打ち消すことにより横縞状蛍光灯フリッカを補正する補正手段と、
を備えることを特徴とする固体撮像装置。
【請求項２】
Ｘ−Ｙアドレス走査型固体撮像素子と、
前記固体撮像素子の電子シャッタ値を設定する電子シャッタ設定部と、
前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換手段の出力信号を記憶保持する複数のフレームメモリと、
前記電子シャッタ設定部の電子シャッタ値を外光条件に適した第１の電子シャッタ値から蛍光灯条件下での第２の電子シャッタ値へと変更すると共に、変更されたシャッタ値に基づいて前記フレームメモリヘの記録出力を設定するモード設定部と、
前記複数のフレームメモリより入力される映像信号と前記モード設定部で設定されたそれぞれのフレームにおける電子シャッタ値とを用いて前記映像信号のフリッカを抑圧するための演算処理を行ない、フリッカ補正値としての補正テーブルを算出する補正テーブル算出部と、
前記補正テーブル算出部の出力としての補正テーブルを記憶保持する補正テーブル記憶部と、
前記補正テーブルを用いて前記Ａ／Ｄ変換手段の出力信号の利得を制御することによりフリッカを抑圧する補正演算部と、
を備えることを特徴とする固体撮像装置。
【請求項３】
前記フレームメモリは、電子シャッタ設定部によって設定された複数の電子シャッタ値毎にそれぞれ複数のフレームメモリを備え、電子シャッタそれぞれの値毎に割り当てられている前記複数個のフレームメモリの平均値を算出する平均値算出部とをさらに備えることを特徴とする請求項２に記載の固体撮像装置。
【請求項４】
前記補正テーブル記憶部は、複数個の補正テーブル記憶部からなり、この複数個の補正テーブルから任意の補正テーブルを１つあるいは複数個選択する補正テーブル選択部をさらに備えることを特徴とする請求項２および３の何れかに記載の固体撮像装置。
【請求項５】
Ｘ−Ｙアドレス走査型固体撮像素子と、
前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力信号を記憶保持するフレームメモリと、
各スキャンライン毎にそのラインの周辺の領域を選択する領域選択部と、
前記領域選択部によって選択された領域を読み出しこのデータの平均値を算出する領域平均値算出部と、
前記領域平均値算出部の出力を保持するラインメモリと、
複数の前記ラインメモリの１つを選択し、そのラインメモリとの間でデータを入出力するラインメモリ管理部と、
前記ラインメモリに保持されている領域平均値を複数のラインメモリから選択し平均演算を行なうライン間平均値算出部と、
前記領域平均値を保存するラインメモリの１つと前記ライン間平均値を保存するラインメモリそれぞれから前記領域平均値と前記ライン間平均値とを選択しこれらの領域平均値とライン間平均値を比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すフリッカ抑圧係数を算出する補正係数算出部と、
前記フレームメモリより出力されるフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すと共に、前記補正係数算出部の前記フリッカ抑圧係数の係数値に比例して前記フレームメモリから出力される前記Ａ／Ｄ変換手段の出力信号のゲインをライン毎に制御する補正演算部と、
を備えることを特徴とする固体撮像装置。
【請求項６】
前記領域平均値算出部は、前記領域平均値を保存するラインメモリの何れかより任意のデータを呼び出すデータ呼び出し部と、この呼び出したデータと現在の選択領域での平均値との間で平均を算出する時間平均算出部と、を備えることを特徴とする請求項５に記載の固体撮像装置。
【請求項７】
Ｘ−Ｙアドレス走査型固体撮像素子と、
前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力信号を記憶保持するフレームメモリと、
各スキャンライン毎にこのスキャンライン内において必要とするデータの範囲を選択する範囲選択部と、
前記範囲選択部によって選択された領域を読み出し、このデータの平均値を算出するライン内平均値算出部と、
前記領域平均値算出部の出力を保持するラインメモリと、
複数の前記ラインメモリの１つを選択し、そのラインメモリからデータを入出力するラインメモリ管理部と、
前記ラインメモリに保持されているライン内平均値を複数のラインメモリから選択し平均演算を行なってライン間平均値を算出するライン間平均値算出部と、
前記ラインメモリに保存されているライン内平均値から複数個を選択し、かつこれらの読み出しを前記ラインメモリ管理部に命令する窓幅選択部と、
前記窓幅選択部の命令により読み出されたライン内平均値のうちの選択された複数個の平均を演算して窓内平均値を算出する窓内平均値算出部と、
前記ライン間平均値と前記窓内平均値算とのそれぞれの間で比較演算を行なって蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すフリッカ抑圧係数を算出する補正係数算出部と、
前記フレームメモリより出力されるフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すと共に、前記補正係数算出部の前記フリッカ抑圧係数の係数値に比例して前記フレームメモリから出力される前記Ａ／Ｄ変換手段の出力信号のゲインをライン毎に制御する補正演算部と、
を備えることを特徴とする固体撮像装置。
【請求項８】
前記補正係数算出部の出力を保持するラインメモリを備えることを特徴とする請求項５ないし７の何れかに記載の固体撮像装置。
【請求項９】
光電変換を行なって光量波形を出力する測光素子と、
前記撮像素子の露光期間と、前記測光素子から出力された光量波形とに基づいて、撮像装置周辺の光量の変動を検出する光量変動算出部と、
前記補正テーブル記憶部に保持されているフリッカ補正値と前記光量変動算出部から出力された光量変動波形とに基づいて、フリッカ補正値を算出する動的補正テーブル算出部と、
をさらに備えることを特徴とする請求項１ないし８の何れかに記載の固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、Ｘ−Ｙアドレス方式の固体撮像素子、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子を用いた固体撮像装置に係り、特に電源周期と同期して点滅する蛍光灯等のように交流点滅する電灯の下で撮像画面の輝度や色相が変化するいわゆるフリッカを改善した固体撮像装置に関する。
【０００２】
【従来の技術】
従来より蛍光灯照明の下でテレビジョンカメラによる撮影を行なうと、テレビジョンカメラの垂直同期周波数と蛍光灯の明滅周波数の間のずれにより干渉が生じ、蛍光灯フリッカと呼ばれる現象が発生している。ＣＣＤ（Charge Coupled Device）型撮像装置を用いたカメラにおいては、１フレームあるいは１フィールド単位にて電荷の蓄積を行なうためにフリッカの影響はフレームあるいはフィールド間において生じている。したがって、ＣＣＤ型撮像装置においては、蛍光灯フリッカの補正を比較的簡単に行なうことができ、既に実用化されている。
【０００３】
ＩＴ型ＣＣＤイメージセンサを例にとって説明すると、フォトダイオードで同一期間に露光された信号の全画面分を一旦、素子上の垂直転送ＣＣＤに転送し、１水平ライン分ずつを読み出している。つまり、ＩＴ型ＣＣＤイメージセンサは素子上にアナログのフレームまたはフィールドメモリを有している。このため、ＩＴ型ＣＣＤイメージセンサを用いたＮＴＳＣ（National Television System Committee）方式のカメラを用いて、５０Ｈｚで交流点灯する照明の下で撮影を行なった場合、略々３フィールド周期の画面全体の輝度および色相変化となる。
【０００４】
ＩＴ型ＣＣＤイメージセンサにおいてこのフリッカを補正する手段としては、電子シャッタのモードで露光時間を１／１００秒に設定してフィールド毎の露光時間を等しくする方法と、フリッカが略々３フィールド周期で発生することを利用して、各フィールドの映像信号の平均値が一定になるように、３フィールド前の映像信号から現在の輝度および色相の変動を予測して補正値を生成し、フリッカを抑圧する方法が用いられている。
【０００５】
これに対し、例えばＣＭＯＳ型撮像装置はＸ−Ｙアドレス走査型で、画素毎に露光期間が読み出しクロック周期ずつ順次移動していくため、すべての画素で露光しているタイミングが異なっている。このため、各画素が蓄積期間に積分する蛍光灯照明の光量に違いが生じることになり、これが１画面内においてフリッカとして表れることになる。このことを式を用いて表わすと、１周期がＴの蛍光灯明滅する波形ｆ（ｔ）を時間ｘから期間Ｘだけ積分することになるので、
【数１】
0003749038.tif 000002
と書ける。
【０００６】
図４２（ａ）にはフリッカ発生モデルの一例を示してある。ここでは説明を簡略化するため蛍光灯明滅波形およびその周期、蓄積期間をそれぞれ
【数２】
0003749038.tif 000003
とし、また同一水平ライン上の画素が同じ露光タイミングを持っているＣＭＯＳ型撮像素子を使用した場合のフリッカ生成モデルである。ここで撮像素子出力である
【数３】
0003749038.tif 000004
を、蛍光灯明滅波形の２つの山に跨らない▲１▼のような蓄積期間の場合と２つの山に跨る▲２▼のような蓄積期間の場合とのそれぞれについて考えると、▲１▼となる最初の区間「０＜ｘ＜５ｍｓ（０＜ｘ＜π／２）」では、
【数４】
0003749038.tif 000005
となり、▲２▼となる最初の区間「５ｍｓ＜ｘ＜１０ｍｓ（π／２＜ｘ＜π）」では
【数５】
0003749038.tif 000006
となる。１０ｍｓ以降は▲１▼と▲２▼の繰り返しなので、図４２（ａ）に示すように、イメージセンサ出力波形Ｓ（ｉ）は正弦波に類似すると共に周期がＴの波形となる。
【０００７】
因みに、図４２におけるｉとｘの間にはｘ＝Ｔｓ×ｉ（Ｔｓは１水平ライン読み出し時間）の関係が成り立っている。このフリッカは蛍光灯の明滅周期と露光タイミングのずれを原因として生じるため、ＣＣＤ型撮像装置とは違って電灯線のサイクルが５０Ｈｚ，６０Ｈｚいずれの場合でも生じる。前述したように、ここでは１水平ライン分ずつを纏めて読み出す撮像装置に限定して考えると、この場合は同一水平ライン上の画素の露光期間が同じなので横縞状の蛍光灯フリッカ波形が垂直方向に表れる。
【０００８】
蛍光灯フリッカを補正する１つの手段としては、図４２（ｂ）に示すように、露光時間を蛍光灯の明滅周期の１周期あるいはその整数倍に設定する方式が考えられる。このようにして蓄積時間を設定すると、たとえ蛍光灯が明滅していてもすべての画素における蛍光灯波形の積分量が同じになるため蛍光灯フリッカを抑圧できる。これを上述の式を用いて説明する。一例として、「Ｘ＝１０ｍｓ」の場合について考えると、この時
【数６】
0003749038.tif 000007
はｘ＝ｎ×１０ｍｓ（ｎは任意の自然数）を除いて常に▲２▼の状態になるので、まず▲２▼式について考える。この時X＝１０ｍｓが蛍光灯の明滅周期Ｔ（＝π）であることから、ｃｏｓ（Ｘ／２）＝ｃｏｓ（π／２）＝０となり、▲２▼式は常に一定値となることがわかる。「ｘ＝ｎ×１０ｍｓ」においては、
【数７】
0003749038.tif 000008
となる。以上より積分値は常に２となりｘによらず一定であるので、蛍光灯明滅の影響を受けていないということができる。しかしながら、この方式の問題点は任意の蓄積時間に設定することができないことにある。
【０００９】
露光時間を任意に設定できる別の補正方法として、撮像素子の出力あるいはこの出力を信号処理した映像信号からフリッカ成分を抽出し、このフリッカ変動パターンを抑えるように輝度信号や色信号の利得を画像フレーム内の場所毎に制御してフリッカを補正する方式や、フリッカ波形をメモリにテンプレートとして記憶し、外部センサにより検出した蛍光灯の明滅タイミングによって、このテンプレートとイメージセンサ出力との同期を得て補正する方式も考案されている。
【００１０】
しかしながら、映像信号からフレーム内のフリッカ波形を検出するのは白い壁のような無彩色かつ絵柄のない画像を撮影する場合を除いて一般的に非常に困難である。映像信号からフレーム内のフリッカ成分を抽出するにはフレーム内およびフレーム間での積分によるローパス効果あるいはアナログあるいはデジタルのローパスフィルタを用いてフリッカ成分以外を取り除く方法が取られている。
【００１１】
しかし、撮影被写体中にもフリッカ成分と略々同じ周波数帯域のパターンが混在していることは往々にしてあり、これにより正確なフリッカ波形の抽出が妨害されることになる。特に、撮像装置の画角を固定した場合、５０Ｈｚの周波数により点灯されている蛍光灯下においてフレーム間でのフリッカの周期が３フレームなので、時定数を長く取ってフレーム間で平均を求めても３フレーム周期でフリッカ波形が同じ場所に来るため、絵柄の影響を取り除くことはできない。
【００１２】
一方のフリッカ波形をテンプレートとしてメモリに記憶させておく方式については、蛍光灯の明滅波形は蛍光灯の点灯器毎に特有であることが良く知られている。このためフリッカ補正システムを構築するために、非常に多くのフリッカ波形を調査しこれをデータベースとして用意しなければならず、実際に多数のフリッカは径パターンをデータベース化できたとしても、将来開発される蛍光灯用の点灯器に対しては対応することができない。このように、Ｘ−Ｙアドレス方式による固体撮像装置においては、フリッカ波形の抽出がＣＣＤ固体撮像装置のように簡単には予測できないため、これまで有効な補正手段がなく、蛍光灯フリッカが画像内に残留して画質を劣化させているという問題があった。
【００１３】
【発明が解決しようとする課題】
上述したように、従来は画素単位あるいはライン単位で蓄積期間の異なる読み出しを行なうＸ−Ｙアドレス方式による固体撮像装置を用いて蛍光灯照明下において撮像した場合、撮像面の場所毎に露光量が異なることになり、いわゆる蛍光灯フリッカが発生するという問題があった。本発明は上記事情に鑑み、蛍光灯の照明下において任意の蓄積時間で撮像した場合、垂直方向において輝度および色相が変化するような横縞状蛍光灯フリッカを十分に抑圧して画質を向上させることが可能なＸ−Ｙアドレス方式の固体撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の第１の構成に係る固体撮像装置は、所定の条件を満たす電子シャッタ値により、直交する２方向に画面をアドレス走査して対象を撮像する固体撮像素子と、前記固体撮像素子の前記電子シャッタ値を所定の値に設定する電子シャッタ値設定手段と、前記固体撮像素子の出力信号をアナログ信号からデジタル信号へと変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力信号を所定の単位で記憶する記憶手段と、前記記憶手段に記憶された所定の単位の信号に対し、外光条件に適した第１の電子シャッタ値と蛍光灯明滅周期と所定関係となる蛍光灯条件下での第２の電子シャッタ値の２条件による画像の信号波形をそれぞれ求め、２つの信号を比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すような補正信号値を演算する補正演算手段と、前記補正演算手段により演算された前記補正信号値を用いて蛍光灯照明下における画像の波形を打ち消すことにより横縞状蛍光灯フリッカを補正する補正手段と、を備えることを特徴としている。
【００１５】
本発明の第２の構成に係る固体撮像装置は、Ｘ−Ｙアドレス方式の撮像素子と、前記固体撮像素子の電子シャッタ値を設定する電子シャッタ設定部と、前記固体撮像素子が出力するアナログ映像信号をデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換器によりデジタル信号に変換された映像信号を記録する複数個のフレームメモリと、前記電子シャッタ設定部の電子シャッタ値を外光条件に適した第１の電子シャッタ値から蛍光灯条件下での第２の電子シャッタ値へと変更すると共に、変更されたシャッタ値に基づいて前記フレームメモリヘの記録出力を設定するモード設定部と、前記複数のフレームメモリより入力される映像信号と前記モード設定部で設定されたそれぞれのフレームにおける電子シャッタ値とを用いて前記映像信号のフリッカを抑圧するための演算処理を行ない、フリッカ補正値を算出する補正テーブル算出部と、前記補正テーブル算出部にて作成された補正テーブルを記録保存する補正テーブル記録部と、前記補正テーブル記録部に保存されている補正テーブルを用いて前記撮像素子からの映像信号である前記Ａ／Ｄ変換手段の出力信号の利得を制御することによりフリッカを抑圧する補正演算部と、を備えることを特徴とする。
【００１６】
前記固体撮像装置は、前記補正テーブル算出部から出力された補正テーブルを画像フレ一ムの水平方向において平均する処理を行なう水平ライン平均値算出部をさらに備え、水平方向において平均化された値を前記補正テーブル記録部に保存するものであってよい。前記固体撮像装置は、前記補正演算部の出力を入力とし補正された映像信号にフリッカ成分が含まれているかの検出を行なうフリッカ検出器をさらに備え、フリッカが検出されたときには、前記モード設定部に補正テーブルの再生成を促すものであってよい。
【００１７】
前記フレームメモリは複数個備えており、この複数のフレームメモリに記録された画像を平均化するフレーム平均算出部をさらに備えるものであってもよい。前記補正テーブル記録部は、複数個備えられて、複数個の補正テーブルを記録保存すると共に、これら複数個の補正テーブルから必要とされる補正テーブルを選び出す補正テーブル選択部をさらに備えるものであっても良い。前記補正テーブル記録部はフリッカ波形の１周期のみを保存し、また現在の画像フレームに含まれるフリッカの位相を計測する位相計測部をさらに備え、この１周期分のフリッカ波形と位相情報から補正テーブルを生成する補正テーブル生成部をさらに備えるものであってもよい。
【００１８】
また、本発明の第３の構成に係る固体撮像装置は、Ｘ−Ｙアドレス走査型固体撮像素子と、前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力信号を記憶保持するフレームメモリと、各スキャンライン毎にそのラインの周辺の領域を選択する領域選択部と、前記領域選択部によって選択された領域を読み出しこのデータの平均値を算出する領域平均値算出部と、前記領域平均値算出部の出力を保持するラインメモリと、複数の前記ラインメモリの１つを選択し、そのラインメモリとの間でデータを入出力するラインメモリ管理部と、前記ラインメモリに保持されている領域平均値を複数のラインメモリから選択し平均演算を行なうライン間平均値算出部と、前記領域平均値を保存するラインメモリの１つと前記ライン間平均値を保存するラインメモリそれぞれから前記領域平均値と前記ライン間平均値とを選択しこれらの領域平均値とライン間平均値を比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すフリッカ抑圧係数を算出する補正係数算出部と、前記フレームメモリより出力されるフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すと共に、前記補正係数算出部の前記フリッカ抑圧係数の係数値に比例して前記フレームメモリから出力される前記Ａ／Ｄ変換手段の出力信号のゲインをライン毎に制御する補正演算部と、を備えることを特徴とする。
【００１９】
また、上記構成において、前記領域平均値算出部は、前記領域平均値を保存するラインメモリの何れかより任意のデータを呼び出すデータ呼び出し部と、この呼び出したデータと現在の選択領域での平均値との間で平均を算出する時間平均算出部と、を備えるようにしても良い。
【００２０】
また、本発明の第４の構成に係る固体撮像装置は、Ｘ−Ｙアドレス走査型固体撮像素子と、前記固体撮像素子の出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力信号を記憶保持するフレームメモリと、各スキャンライン毎にこのスキャンライン内において必要とするデータの範囲を選択する範囲選択部と、前記範囲選択部によって選択された領域を読み出し、このデータの平均値を算出するライン内平均値算出部と、前記領域平均値算出部の出力を保持するラインメモリと、複数の前記ラインメモリの１つを選択し、そのラインメモリからデータを入出力するラインメモリ管理部と、前記ラインメモリに保持されているライン内平均値を複数のラインメモリから選択し平均演算を行なってライン間平均値を算出するライン間平均値算出部と、前記ラインメモリに保存されているライン内平均値から複数個を選択し、かつこれらの読み出しを前記ラインメモリ管理部に命令する窓幅選択部と、前記窓幅選択部の命令により読み出されたライン内平均値のうちの選択された複数個の平均を演算して窓内平均値を算出する窓内平均値算出部と、前記ライン間平均値と前記窓内平均値算とのそれぞれの間で比較演算を行なって蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すフリッカ抑圧係数を算出する補正係数算出部と、前記フレームメモリより出力されるフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すと共に、前記補正係数算出部の前記フリッカ抑圧係数の係数値に比例して前記フレームメモリから出力される前記Ａ／Ｄ変換手段の出力信号のゲインをライン毎に制御する補正演算部と、を備えることを特徴とする。
【００２１】
また、上記構成において、前記補正係数算出部の出力を保持するラインメモリを備えるようにしても良い。
【００２２】
また、上記ように構成された固体撮像装置は、撮像装置周辺の光量の変化を計測する外部測光素子と、前記外部測光素子の出力を現在の電子シャッタ設定値によって決定される蓄積時間にて積分する積分器と、前記積分器出力の振幅を前記補正テーブル記憶部に保存された補正テーブルの振幅と比較して補正するゲイン補正部とをさらに備え、前記ゲイン補正部出力によりフリッカ抑圧処理を行なうものであっても良い。前記外部測光素子は、撮像素子により確保されている画角による領域と同じ領域の光量の変化を検出するために、その上部に撮像レンズおよびレンズ駆動部をさらに備えるものであっても良い。
【００２３】
【発明の実施の形態】
以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。まず、本発明の基本概念を示す第１実施形態について図１を参照して説明する。
【００２４】
図１において、第１実施形態に係る固体撮像装置は、所定の条件を満たす電子シャッタ値により、直交する２方向に画面をアドレス走査して対象を撮像する固体撮像素子１と、前記固体撮像素子１の前記電子シャッタ値を所定の値に設定する電子シャッタ値設定手段２と、固体撮像素子１の出力信号をアナログ信号からデジタル信号へと変換するＡ／Ｄ変換手段３と、Ａ／Ｄ変換手段３の出力信号を所定の単位で記憶する記憶手段４と、記憶手段４に記憶された所定の単位の信号に対し、外光条件に適した第１の電子シャッタ値と蛍光灯明滅周期と所定関係となる第２の電子シャッタ値の２条件による画像の信号波形をそれぞれ求め、２つの信号を比較することにより蛍光灯フリッカを補正した補正信号値を演算する補正演算手段１０と、を備えている。
【００２５】
通常、固体撮像装置において、フリッカ補正を行なおうとする場合、電子シャッタ設定値を電灯線用明滅周期の整数倍に設定するとフリッカが発生しないことを利用している。任意の電子シャッタ設定値において撮影する場合、まず電子シャッタ設定値をこの任意の値より短い電灯線明滅周期の整数倍に電子シャッタを設定して撮影する。この場合に露光時間が所定の時間よりも短いためゲインが不足するので、この不足分を増幅して出力することによりフリッカを抑えている。これに対して、本発明においては、撮影時にリアルタイム或いは準リアルタイムにてフリッカ波形を推定し、この波形に応じてそれぞれのライン毎にゲインを調節することによりフリッカ補正を実現しようとしており、本発明の基本概念としては、外光条件下の第１の電子シャッタ値による画像の信号波形と、蛍光灯条件下での第２の電子シャッタ値による画像の信号波形とを比較して蛍光灯フリッカの影響を受けた信号波形を求めてこれを打ち消すような補正信号値を演算してフリッカを補正するようにしている。以下、上記基本概念をより具体的に示す実施形態について説明する。
【００２６】
本発明の第２実施形態による固体撮像装置は、図２に示されるように、ＭＯＳ型固体撮像素子１０１、電子シャッタ設定部１０２、Ａ／Ｄ変換器１０３、フレームメモリ１０４１，１０４２、補正テーブル算出部１０５、モード設定部１０６、補正テーブル記録部１０７、補正演算部１０８、同期信号発生部１０９を備えている。図１に示す基本概念図からも明らかなように、フレームメモリ１０４１および１０４２が図１における記憶手段４に相当しており、補正テーブル算出部１０５，補正テーブル記録部１０７，補正演算部１０８により第１実施形態における補正演算手段１０が構成されている。
【００２７】
ＭＯＳ型固体撮像素子１０１は、この上にマトリクス状に配置された画素により入射光を信号電荷に変換する。この電荷は、順次走査されて画素から読み出された後、撮像素子１０１内においてアナログ信号処理され、映像信号として固体撮像素子１０１より出力されるものである。
【００２８】
電子シャッタ設定部１０２は、固体撮像素子１０１から出力された信号量に基づいて電子シャッタ値を設定する。またモード設定部１０６から入力されるコマンドにより、任意の電子シャッタ値に設定することも可能である。この電子シャッタ設定値は、固体撮像素子１０１とモード設定部１０６とに出力されている。Ａ／Ｄ変換器１０３は、固体撮像素子１０１から出力される映像信号をデジタル信号に変換した後、フレームメモリ１０４１，１０４２、補正演算部１０８に出力している。
【００２９】
記憶手段４としてのフレームメモリ１０４１，１０４２は、Ａ／Ｄ変換器１０３によってデジタル信号に変換された映像信号を１フレーム分保存する。このフレームメモリ１０４１，１０４２への書き込み、読み出しはモード設定部１０６からのコマンドにより制御されている。補正テーブル算出部１０５は、フレームメモリ１０４１，１０４２より入力される映像信号と、モード設定部内のレジスタに保存されているそれぞれのフレームにおける電子シャッタ設定値とを用いて後述する処理を行なうことにより、フリッカを抑圧する補正テーブルを算出し、補正テーブル記録部１０７に出力するものである。
【００３０】
モード設定部１０６は、電子シャッタ設定部１０２の設定値の変更、Ａ／Ｄ変換器１０３出力のフレームメモリ１０４１，１０４２への書き込みおよび読み出しを制御すると共に、内部レジスタヘ変更前後の電子シャッタ設定値を保存し、必要なタイミングで補正テーブル算出部１０５へこれらの電子シャッタ値の出力を行なうものである。
【００３１】
補正テーブル記録部１０７は、補正テーブル算出部１０５により算出され、補正演算部１０８において使用されるフリッカ抑圧テーブルを記録保持すると共にこの補正テーブルを同期信号発生部１０９から与えられるタイミング信号に合わせて補正演算部１０８に出力するものである。
【００３２】
補正演算部１０８は、補正テーブル記録部１０７から必要なタイミングにより入力される補正テーブルを用いて、Ａ／Ｄ変換器１０３からのデジタル映像信号のゲインを画素単位あるいはライン単位で変動させることにより、フレーム内に見られるフリッカを抑圧するものである。
【００３３】
このような構成を備えた本実施形態によるフリッカ抑制機能を有する固体撮像装置は、次のように動作する。固体撮像素子１０１によって取り込まれた映像信号は、Ａ／Ｄ変換器１０３に入力されると同時に、電子シャッタ設定を行なうために電子シャッタ設定部１０２に渡される。電子シャッタ設定部ではこの入力を受けて、適正な電子シャッタ値（第１の電子シャッタ値）を決める。
【００３４】
ここでモード設定部１０６の現在のモードがフリッカ補正準備モードであるとき、電子シャッタ値はモード設定部１０６にも入力される。モード設定部１０６では、この第１の電子シャッタ値を内部レジスタに保存すると共に、現在の電子シャッタ設定値が蛍光灯明滅周期の整数倍であるかどうかのチェックを行なう。整数倍である場合には蛍光灯フリッカは生じないのでフリッカ補正準備モードをフリッカ補正非適用モードとしてフリッカ補正準備の処理を終了する。
【００３５】
整数倍でない場合には、まず現在の電子シャッタ設定値をこの値に最も近い蛍光灯明滅周期の整数倍値（第２の電子シャッタ値）あるいは現在の電子シャッタ設定値より短くかつ最も近い蛍光灯明滅周期の整数倍値の何れかに変更すると同時に、この値をモード設定部１０６内のレジスタに記録される。
【００３６】
この後、フレームメモリ１０４２（第２のフレームメモリ)が書き込み可能状態にされる。ここで、第２の電子シャッタ値に設定された固体撮像素子１０１は映像の取り込みを行ない、Ａ／Ｄ変換後フレームメモリ２に保存し、モード設定部はこのフレームメモリを書き込み禁止、読み出し可能状態にされる。
【００３７】
次に、モード設定部１０６は、電子シャッタ値を元の第１の電子シャッタ値に戻すため、内部レジスタに保存してある第１の電子シャッタ値を電子シャッタ設定部１０２に送ると同時に、フレームメモリ１０４１（第１のフレームメモリ）のステータスを書き込み可能状態に変更される。第１の電子シャッタ値に設定された固体撮像素子１０１は１フレーム取り込みを行ない、Ａ／Ｄ変換後フレームメモリ２に保存する。保存が完了した時点で第１のフレームメモリ１０４１はモード設定部１０９により書き込み禁止で、読み出し可能状態にされる。
【００３８】
第１のフレームメモリ１０４１と第２のフレームメモリ１４０２それぞれが読み出し可能状態になった時点で、モード設定部１０６は補正テーブル算出部１０５に補正テーブルの作成を開始させるコマンドと内部レジスタに保存してある第１の電子シャッタ値と第２の電子シャッタ値を補正テーブル算出部１０５に送る。第１のフレームメモリ１０４１と第２のフレームメモリ１０４２の画像はそれぞれ第１の電子シャッタ値と第２の電子シャッタ値にて撮影されており平均輝度レベルに違いがあるので、第２のフレームメモリ１０４２の平均輝度レベルを第１のフレームメモリ１０４１のレベルに合わせる。
【００３９】
次に、第１のフレームメモリ１０４１と第２のフレームメモリ１０４２のそれぞれの画素位置毎に割り算を行ない、フリッカ成分あるいはフリッカ成分を補正する係数を算出する。ただし、２つのフレーム間で割り算をすることでフリッカ成分を推定するには、２つのフレームの絵柄成分が同じである必要がある。その必要性について式を用いて説明する。フリッカ成分を含まないフレーム２の信号をＳ２（ｘ、ｙ）、フリッカ成分を含むフレーム１の信号をＳ１’（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）×Ｆ（ｘ，ｙ）と表す。ここでｘは画像フレームの水平方向の座標、ｙは垂直方向の座標、Ｓｎ（ｘ，ｙ）はフリッカのない映像信号、Ｆ（ｘ，ｙ）はフリッカ信号である。ここで撮像装置を固定した状態で、動きのないものを撮影すれば、
Ｓ１（ｘ，ｙ）≒Ｓ２（ｘ，ｙ）×Ｃ  （ただしＣは比例定数）
という関係が成り立つはずで、この条件下でＳ１’（ｘ，ｙ）をＳ２（ｘ，ｙ）により除すると、
｛Ｓ１（ｘ，ｙ）×Ｆ（ｘ，ｙ）｝／｛Ｓ２（ｘ，ｙ）×Ｃ｝≒Ｆ（ｘ，ｙ）
となりフリッカ波形を推定することが出来る。因みにＳ２（ｘ，ｙ）をＳ１’（ｘ、ｙ）で割ると１／Ｆ（ｘ，ｙ）となるが、これはフリッカ補正係数であり、つまりフリッカ波形とフリッカ補正係数は逆数の関係にある。
【００４０】
もしこの時カメラを固定しないで撮影を行なったとすると、手ぶれなどによりＳ１’（ｘ，ｙ）とＳ２（ｘ，ｙ）の間に微小な画角の移動が起こりうる。この場合には、Ｓ１’（ｘ，ｙ）とＳ２（ｘ，ｙ）の間で空間的に相互相関関数を取ることでその移動量を求め、フリッカを持たないＳ２をこの移動量だけ平行移動してこのずれを補正した上で、上記の補正テーブル算出を行なえばよい。あるいは、第１のフレームメモリ１０４１と第２のフレームメモリ１０４２への書き込みの間が短ければ、この平行移動を行なわなくても補正テーブルの算出を充分に行なうことができる。
【００４１】
補正テーブル算出部１０５にて作成した補正テーブルは補正テーブル記録部１０７に保存される。補正テーブルのメモリヘの保存が終了した時点で、補正テーブル記録部１０７はモード設定部１０６へ通知を行ない、内部モードをフリッカ補正準備モードからフリッカ補正モードに切り替え、フレームメモリ１０４１，１０４２、補正テーブル算出部１０５の機能を停止させる。以後、補正演算部１０８は補正テーブル算出部１０５から適正なタイミングにて送られてくる補正テーブルに基づいてフリッカを打ち消す処理を実行する。
【００４２】
上記の処理においては、第２の電子シャッタ値にて１フレーム分の画像を取り込んだ後、第１の電子シャッタ値に戻しているが、この順序については第１の電子シャッタ値の後に第２の電子シャッタ値にて撮影を行なっても何ら問題はない。上記の処理により生成された補正テーブルは、電子シャッタ設定値が変更されるまで有効である。もし電子シャッタ値が変更された際には、電子シャッタ設定部１０２がモード設定部１０６に変更があったことを通知し、これを受けてモード設定部１０６は、補正テーブルの生成を再び行なえば良い。
【００４３】
ここまでの説明において補正テーブル記録部はフレーム構造を持ち、各画素毎に補正値を有していたが、ＭＯＳ型固体撮像素子１０１が水平ライン単位読み出し構造ならば、同一水平ライン上のすべての画素が同じ蓄積タイミングを持つことから、各行に１つのフリッカ補正値を持てば十分であり、抽正テーブル記録部を１次元のカラム型メモリとすることが可能である。例えば図３に示すように、補正テーブル算出部１０５の出力を水平ライン平均値算出部１１１において画像フレームの水平方向において平均化処理を行ない１行に対して１つの補正係数を割り当ててこれを補正テーブル記録部１０７に保存すれば良い。
【００４４】
さらに、図４に示すように、Ａ／Ｄ変換器１０３の出力を水平方向において平均化すれば、第１の電子シャッタ値と第２のシャッタ値のそれぞれの設定における参照画像を一時的に保存するメモリを２次元のフレーム型メモリから１次元のカラム型メモリ１１８１，１１８２に置き換えることが可能となり、必要とされるメモリ容量を減らすことが可能である。
【００４５】
この撮像装置に必要とされるメモリの量を減らす別の方法として、図５に示すような構成とすることにより、補正テーブル算出のために一時的にフレーム画像を保存するフレームメモリを１つに減らすことが可能である。ここでは、まず第２の電子シャッタ値にて取り込んだ画像は補正テーブル算出部１０５に入力され、補正テーブル算出部１０５が管理するフレームメモリ１０４に一時保存される。
【００４６】
次に、電子シャッタ設定部１０２により設定値を第１の電子シャッタ値に戻して次のフレーム画像を撮影する。このフレーム画像は固体撮像素子１０１からは順次走査によりシーケンシャルに読み出され、Ａ／Ｄ変換した後、補正テーブル算出部１０５に入力される。補正テーブル算出部１０５ではこのシーケンシャルに入力される画像の画素位置と対応する画素情報をフレームメモリ１０４から読み出して、順次補正値算出を行ない、その結果を補正テーブル記録部１０７に保存している。
【００４７】
さらに、図６に示すように、Ａ／Ｄ変換されたデジタル信号を水平ライン平均値算出部１１１を解して補正テーブル算出部１０５に供給すると共にフレームメモリ１０４をカラム型平均値記憶部１１８により構成すると、水平ライン平均値算出部１１１によって１行に対して１個のデータとすることができるので、一時保存のためのメモリを１次元のカラム型メモリによる簡易な構成で実現することが可能である。
【００４８】
また、必要とされるメモリの量を減らす別の手段として、図７に示すように、補正テーブル算出のために画像フレームを一時保存するメモリと補正テーブルを記録するためのメモリを共通化したフレーム型データ記憶部１１９を用いることでも可能である。この場合フリッカ補正テーブルは以下のような手順にて算出される。まず第２の電子シャッタ値において取り込んだ画像は補正テーブル算出部１０５経由でフレーム型データ記憶部１１９に保存される。
【００４９】
次に、モード設定部１０６が固体撮像素子１０１の電子シャッタ設定を第１の電子シャッタ値に変更後画像の撮影を行なう。このフレーム画像は固体撮像素子１０１から順次走査によりシーケンシャルに読み出され、Ａ／Ｄ変換後補正テーブル算出部１０５内のレジスタに一時保存される。補正テーブル算出部１０５はレジスタにあるデータの画素位置（ｘｎ，ｙｎ）と同じ位置にある画素データをフレーム型データ記憶部１１９から読み出し補正値算出の演算を行なう。こうして算出された補正値はフレーム型データ記憶部１１９の（ｘｎ，ｙｎ）に上書き保存される。
【００５０】
フリッカ補正テーブルの精度を確認するために、図８のように補正演算部１０８の出力にフリッカ成分が含まれてないかを検出するフリッカ検出器１１２を置くことも考えられる。Ｘ−Ｙアドレス走査型固体撮像装置におけるフリッカは、時間領域、空間領域いずれにおいてもある一定の周波数を持つ。フリッカ検出器１１２では、画像フレーム中の１点あるいは数点の時間的変化を周波数領域にて調べると共に、垂直方向に走るある任意の１ライン分のデータあるいは水平方向において平均された１ライン分のデータを同様に周波数領域にて解析し、もしフリッカ特有の周波数成分が検出されたときには、モード設定部１０６に通知し補正テーブルの再生成を行なう。
【００５１】
本発明の第３実施形態は図９に示されたような構成を備え、補正テーブルの算出に使用する参照画像として複数のフレームの平均を使用する点に特徴がある。平均化した参照画像を使用することによりノイズレベルが抑えられ、補正テーブルの精度を向上させることが可能である。必要とするフレームの数については特に制限はないが、この例においては３フレームの平均としている。
【００５２】
撮像装置が起動され撮影が開始されると、まず電子シャッタ設定部１０２が固体撮像素子１０１からの信号を受けて第１の電子シャッタ値に設定する。この設定値が蛍光灯明滅周波数の整数倍でない場合、モード設定部１０６はそのモードをフリッカ補正準備モードとし、電子シャッタ設定値を第２の電子シャッタ値へ変更すると共に、複数用意されているフレームメモリ２（フレームメモリ２群）の１つ（フレームメモリ２−１）のステータスを書き込み可能状態へと変更する。
【００５３】
この第２の電子シャッタ値にて撮影した映像はフレームメモリ２−１に保存される。モード設定部はこのフレームメモリ２−１を書き込み禁止にした後、第１の電子シャッタ値への変更と第１のフレームメモリ群の１つ（フレームメモリ１−１）のステータスを書き込み可能状態ヘと変更し、第１の電子シャッタ値での映像をフレームメモリ１−１に保存する。そして再び、電子シャッタ設定の第２の電子シャッタ値への変更と、第２のフレームメモリ群の１つ（フレームメモリ２−２）のステータスの書き込み可能状態ヘの変更、そして映像の取り込みと保存を行なう。以後この処理をフレームメモリ群に属するフレームメモリの数だけ繰り返す。
【００５４】
３フレーム画像が準備できた時点で、これらのフレーム画像はそれぞれの群毎に平均値算出部１１３へと渡されて第１のフレームメモリ群、第２のフレームメモリ群のそれぞれの平均が算出される。そして、この平均化されたそれぞれの電子シャッタ値設定でのフレーム画像は補正テーブル算出部１０５へと入力されて、補正テーブルが算出される。
【００５５】
この例では、フレーム画像の取り込みを電子シャッタ値を交互に変えて行なったが、始めに第１の電子シャッタ値にて連続して３フレーム分の取り込みを行ない、その後第２の電子シャッタ値に変えて同様に３フレームの取り込みを行なうことも可能である。これとは別に、図１０にあるような構造にすることにより、必要とされるフレームメモリの数を減らすことも可能である。
【００５６】
ここでは一例として第１の電子シャッタ値、第２の電子シャッタ値それぞれにおいて４つのフレームを加算して平均を求める場合について説明する。ここで、まずこれら４つのフレームを、取り込んだ順にＤ１，Ｄ２，Ｄ３，Ｄ４とする。まず最初に、Ｄ１を取り込みフレームメモリ１０４に保存する。次に、Ｄ２を取り込んだとき、フレーム平均順次算出部１１４では、フレームメモリ１０４の座標（ｘ，ｙ）にある画素値Ｄ１（ｘ，ｙ）を読み出し、
Ｄ２（ｘ，ｙ）／２＋Ｄ１（ｘ，ｙ）／２＝Ａｖｅ１（ｘ，ｙ）
を実行し、フレームメモリのそれぞれの所定位置に上書きしていく。
【００５７】
これ以降は順番に、Ｄ３を取り込んだときは、
Ｄ３（ｘ，ｙ）／３＋Ａｖｅ１（ｘ，ｙ）×（２／３）＝Ａｖｅ２（ｘ，ｙ）
の演算を行ない、フレームメモリのそれぞれの画素位置に上書きし、Ｄ４の場合は、
Ｄ４（ｘ，ｙ）／４＋Ａｖｅ２（ｘ，ｙ）×（３／４）＝Ａｖｅ３（ｘ，ｙ）
の演算を行ない、フレームメモリのそれぞれの画素位置に上書きする。この方式により必要とするメモリの量を減らすことが可能である。
【００５８】
本発明の第４実施形態は、図１１に示されたような構成を備え、複数の補正テーブル記録部と、これらの補正テーブル記憶部のうちの１つを選択する補正テーブル選択部を持つことに特徴がある。これまで述べてきた第１、２の実施の形態においては補正テーブルが１つしか用意されてなかったが、補正テーブルが１つで済むのは、白黒カメラでかつ撮像フレームレートと電灯線のサイクルとの比が整数倍である時のみで、これ以外の場合には複数の補正テーブルを用意する必要がある。
【００５９】
複数の補正テーブル記録部が必要なケースとしてまず挙げられるのが、その上にカラーフィルタが配置された撮像素子を使用する場合である。蛍光灯から放射される光の振幅および波形の特性はその色毎によって異なるため、それぞれの色毎にフリッカ補正テーブルを用意するのが、正確でかつ簡便な補正となる。３板式カラーカメラのようにそれぞれの撮像素子毎に別のカラーフィルタが配置されている場合ならば、それぞれの撮像素子出力毎に補正テーブルを算出し、フレーム構造を持つ補正テーブル記録部に画素配列そのままを保存するかあるいは水平ライン毎にテーブルを平均化してコラム型の補正テーブル記録部に保存すればよい。
【００６０】
単板カラーカメラにおいては補正テーブルをその画素配列そのままにフレーム構造の補正テーブル記録部に保存するか、あるいは図１２に示すようにフレーム構造の補正テーブルをそれぞれの色毎に分離してから水平方向において平均化処理を行ない、ライン別色別に用意した補正テーブル記憶部１０７６に保存すればよい。上述したように、水平方向において平均化できるのは撮像素子が水平ライン単位読み出し構造を持っているときのみである。
【００６１】
次のケースとして挙げられるのが撮像フレームレートと電灯線のサイクルとの比が整数倍でない場合である。この場合フリッカ波形はある一定の位相速度を持って画面内を移動する。図１３には、撮像フレームレートが毎秒３０フレーム（３０ｆｐｓ）の撮像装置を５０Ｈｚの電灯線のもとで使用した場合のフレーム間でのフリッカ周期について示している。５０Ｈｚの電灯線のもとでの蛍光灯の明滅周期は１００Ｈｚであり、１周期は１０ｍｓとなる。一方の３０ｆｐｓの撮像装置は１フレーム期間は３３．３ｍｓ（＝１００／３ｍｓ）なので、画像フレームに表れるフリッカの周期は３フレームとなる。したがってこの場合、連続する３フレーム分の補正テーブルを用意しておけば良いことが分かる。
【００６２】
ここで図１１の動作について説明する。まず第２の電子シャッタ値にてフリッカを含まないリファレンス画像を取り込み、第２のフレームメモリ１０４２に保存する。次に電子シャッタ設定値を電子シャッタ１に戻し、フリッカを含む参照画像を取り込み第１のフレームメモリ１０４１に保存する。
【００６３】
次に、これらの参照画像を用いて補正テーブルを算出し、順次補正テーブル記録部１（１０７１）に保存する。補正テーブル選択部１１５はテーブルの保存が終わった時点で保存の終了をモード設定部１０６に知らせる。モード設定部１０６では取り込む画像のｐｈａｓｅを、補正テーブルの算出が垂直ブランキング期間に終わっていればｐｈａｓｅ２とし、次のフレーム期間まで掛かってしまった場合にはｐｈａｓｅ３と決め、このｐｈａｓｅ値を補正テーブル選択部１１５に知らせると同時に第１のフレームメモリ１０４１を書き込み可能状態にされる。
【００６４】
補正テーブル算出部１０５は、ここで新たに取り込んだ第１のフレームメモリ１０４１の画像と既に取り込んである第２のフレームメモリ１０４２の画像から補正テーブルを算出し、補正テーブル選択部１１５によって現在のｐｈａｓｅが、２ならば補正テーブル記録部２（１０７２）へ、３ならば補正テーブル記録部３（１０７３）へと保存する。この後、残りのｐｈａｓｅでの補正テーブルの生成を同様の手順で行なう。このようにして、連続する３フレームのそれぞれに補正テーブルを用意する。
【００６５】
フリッカ補正処理においては、モード設定部１０６から現在のｐｈａｓｅを入力として受けた補正テーブル選択部１１５が、そのｐｈａｓｅにおける補正テーブルのデータを補正演算部１０８へと送り、フリッカ補正処理が実行される。このように補正テーブル記憶部１から３を順に算出するのとは別の構成例として、図１４のように第１のフレームメモリ１０４１を３つ用意しておき、第１の電子シャッタ値において連続する３フレームを順に１−１，１−２，１−３に保存した後、補正テーブル算出を行なうことも可能である。
【００６６】
また、ここではそれぞれの補正テーブル記録部はフレーム構造を有しているが、図１１の手法により３フレーム分の補正テーブルそれぞれをライン別色別に４つのテーブルに置き換えることも可能である。補正テーブル選択部１１５は同期信号にてタイミングを取りつつ、必要とされる色と位相のテーブルから補正を行なう位置のデータを選択し補正演算部１０８に送るか、あるいは図１５に示すように、補正演算部１０８が補正テーブル選択部１１５に必要な色・位相・位置のデータを要求し、補正テーブル選択部１１５が補正テーブルからこのデータを読み出し、補正演算部１０８に送ることも可能である。
【００６７】
また、図１６に示すように、第１の電子シャッタ値と第２の電子シャッタ値で撮影したリファレンス画像それぞれを水平方向において平均化することにより第１のフレームメモリ１０４１，２をカラム型平均値記憶部１１５に置き換えることも可能である。次に撮像フレームレートと電灯線のサイクルとの比が整数倍でない撮影条件において、図９と同様に参照画像を平均化する構成を図１７に示す。ここにおいても必要とするフレームの数については特に制限はないが、この例においては３フレームの平均としている。
【００６８】
ここで、第１のフレームメモリ１０４１群には１から３までのグループが用意されている。第１のフレームメモリ１０４１群の第１グループ（フレームメモリ１−１）が図１２におけるｐｈａｓｅ１における画像を、第２グループ（フレームメモリ１−２）がｐｈａｓｅ２、第３グループ（フレームメモリ１−３）がｐｈａｓｅ３をそれぞれ保存する。撮像装置はまず電子シャッタ設定値を第２の電子シャッタ値へ変更し連続する３フレームを取り込み、それぞれをフレームメモリ２−１から２−３へ順に保存する。次に第１の電子シャッタ値へと変更後、連続する９フレームを１−１−１，１−２−１，１−３−１，１−１−２，１−２−２，１−３−２，１−１−３，１−２−３，１−３−３の順に保存する。
【００６９】
これらすべてが取り終えたら、フレーム平均算出部１１３２はフリッカを含まないフレームの平均を算出し、フレームメモリ２−１に上書き保存する。このデータは補正テーブル算出部によって必要な時に呼び出される。次にフレーム平均算出部１１３１はフレームメモリ１−１の平均を算出する。補正テーブル算出部ではフレームメモリ２の平均とフレームメモリ１−１の平均からｐｈａｓｅ１でのフリッカ補正テーブルを算出し、補正テーブル記録部１に保存する。以下同様の処理をフレームメモリ１−２と１−３において行ない、それぞれｐｈａｓｅ２とｐｈａｓｅ３における補正テーブルを求め、補正テーブル記録部に保存すればよい。
【００７０】
また、本構成のフレームメモリの部分を図１０に示したフレームメモリ構成に置き換えれば、補正テーブル算出に使用するフレームメモリ１０４の量を半分に減らすことも可能である。フレーム内に表れるフリッカの位相毎にテーブルを用意する方法とは別に、基本的にフリッカ波形が同じ形状の波の繰り返しであることを利用してフリッカ波形１周期分のみのフリッカ補正テーブルからそれぞれの位相条件におけるテーブルを算出することも可能である。１００Ｈｚで点滅する蛍光灯下で３０ｆｐｓにて撮影する場合、図１３からわかるように電灯線の１周期を２πとすると、その位相速度はπ／３となっているので、フリッカ波形１周期分の波形をフレーム毎にπ／３づつ進めて補正テーブルを算出すればよい。位相速度が一定でない場合には図１８に示すように位相計測部１１６がそれぞれのフレームにおけるフリッカの位相を同期信号を使って算出し、補正テーブル生成部１１７にてこの位相値と基本フリッカ波形から補正テーブルを生成すればよい。
【００７１】
次に、本発明の第５実施形態に係る固体撮像装置について説明する。本発明の第５実施形態による蛍光灯フリッカ抑圧機能を有する固体撮像装置は、図１９に示されるように、ＭＯＳ型撮像素子１０１、Ａ／Ｄ変換器１０３、フレームメモリ１０４、領域選択部１３０、領域平均値算出部１０５、ラインメモリ管理部１０７、ラインメモリ１０６、ライン平均値算出部１０８、補正係数算出部１０９、補正演算部１１０、を備えている。
【００７２】
ＭＯＳ型固体撮像素子１０１は、この上にマトリクス状に配置された画素により入射光を信号電荷に変換する。この電荷は順次走査されて画素から読み出された後、撮像素子内にてアナログ信号処理され映像信号として撮像素子外に出力するものである。
【００７３】
Ａ／Ｄ変換器１０３は、固体撮像素子１０１から出力される映像信号をデジタル信号に変換した後、フレームメモリ１０４に出力するものである。フレームメモリ１０４は、Ａ／Ｄ変換器１０３によってデジタル信号に変換された映像信号を１フレーム分保存するものである。領域選択部１３０は、フリッカ補正を行なうフレーム内のある領域内に属する１ラインにおいてその周辺の領域を選択するものである。
【００７４】
領域平均値算出部１３１は、領域選択部１３０によって指定された領域をフレームメモリ１０４より読み出し、この領域内のデータの平均値を算出するものである。ラインメモリ１３６は、領域平均値算出部にて求めた値を一時的に保存するものである。ラインメモリ管理部１３２は、領域平均値算出部１３１にて求められた値をいずれのラインメモリ１３６に保存するか選択し、さらにそのラインメモリ１３６のどの位置に保存するかを決めその場所にこの平均値を保存するようラインメモリ１３６に命令するものであると同時に他の機能ブロックからの要求に応じて必要とされる領域平均値をラインメモリ１３６から取り出すものでもある。
【００７５】
ライン間平均値算出部１３３はラインメモリ１３６に保存されている領域平均値を複数のラインメモリの任意の位置から呼び出し、これら複数の領域平均値の平均を求めるものである。補正係数算出部１３４はフリッカ補正対象のフレームと同じフリッカ位相を有するラインメモリ１０６からターゲットラインにおける領域平均値を呼び出すとともに、ライン間平均値算出部１３３にて算出されたターゲットラインでのライン間平均値との間で演算を行い補正係数を算出するものである。
【００７６】
補正演算部１１０はフレームメモリ１０４よりフリッカ補正を行なう領域内の現在補正しようとしているラインのデータを読み出すとともに、補正係数によってこのラインのゲインを制御して出力するものである。
【００７７】
ここはまずこのような構成を備えた本実施形態によるフリッカ抑制機能を有する固体撮像装置の原理を簡単に説明する。任意のフレームにおけるフリッカを含まない信号をＳ（ｘ，ｙ）、フリッカをＦ（ｘ，ｙ）とすると、フリッカを含む映像信号はＳ（ｘ，ｙ）・Ｆ（ｘ，ｙ）と書ける。ここでｘは画像フレームにおける水平方向の座標を、ｙは垂直方向の座標をあらわす。ＭＯＳ型固体撮像装置の場合、フリッカはｙ方向において周期性を有する波形として表れるのでＦ（ｙ）と簡略化する。もしｘ方向での変動を考慮する必要がある場合には、処理領域を別に設定して処理する。フリッカ補正を実現するにはＦ（ｙ）を推定すれば良い。ここでは５０Ｈｚの照明下にて毎秒３０フレーム取り込む固体撮像装置について考えると、この時、フリッカは図２０に示すようにフレーム間周期が３フレームで、位相速度が１０／３ｍｓの波形として表れる。ここでフレーム内のある点（ｘ１，ｙ１）においてその信号Ｓ（ｘ１，ｙ１）がフレーム間において一定であり、かつ１周期分のフリッカ値の合計が常に一定であると仮定する。これを式で表わすならばＳ１（ｘ１，ｙ１）＝Ｓ２（ｘ１，ｙ１）＝Ｓ３（ｘ１，ｙ１）＝Ｓ（ｘ１，ｙ１）であり、かつ、Ｆ１（ｙ１）＋Ｆ２（ｙ１）＋Ｆ３（ｙ１）＝Ｃとなる。ここでＣは定数を意味する。この仮定において最初のフレームにおける任意の座標（ｘ１，ｙ１）での値を連続する３フレームでの平均で割る次式の計算を行なう。
【００７８】
Ｓ（ｘ１，ｙ１）・Ｆ１（ｙ１）／｛Ｓ（ｘ１，ｙ１）Ｆ１（ｙ１）＋Ｓ（ｘ１，ｙ１）・Ｆ２（ｙ１）＋Ｓ（ｘ１，ｙ１）・Ｆ３（ｙl）｝＝Ｓ（ｘ１，ｙ１）・Ｆ１（ｙ１）／Ｓ（ｘ１，ｙ１）・Ｃ＝Ｆ１（ｙ１）・Ｃ’となりｙ１でのフリッカ値が推定できる。この方式を実際の撮像装置に用いる場合、最も問題となるのが「フレーム内のある点（ｘ１，ｙ１）における信号Ｓ（ｘ１，ｙ１）がフレーム間においては一定である」という仮定である。撮影対象は常に動いているため、Ｓ（ｘ１，ｙ１）はフレーム間において一定とならない。
【００７９】
この問題を解消するために、ここでは（ｘ１，ｙ１）の周辺の領域を選定し、この領域の平均値をこの座標の最尤値とする方法を用いている。「１周期分のフリッカ値の合計が常に一定」という仮定に関しては、蛍光灯波形がサイン波形の絶対値に近似できることから略々問題ないとみなすことができる。
【００８０】
このような構成を備えた第５実施例形態によるフリッカ抑制機能を有する固体撮像装置は、次のように動作する。固体撮像素子１０１によって取り込まれた映像信号は、Ａ／Ｄ変換器１０３にてディジタル信号に変換され、フレームメモリ１０４に保存される。領域選択部１３０ではユーザあるいはシステムによって指定されたフリッカ補正指定領域内のある１ラインの周辺を選択する。この選択領域は例えば図２１のように指定ラインを中心としてその前後ｎラインの領域やその領域から動きのある領域を削除したものなど任意の形状が考えられる。この領域指定は領域平均値算出部１０５に渡され、ここではフレームメモリからこの指定領域内のデータを読み出すとともにこれらのデータの平均値を算出する。この値は先ほど選択されたあるラインの最尤値として用いられる。
【００８１】
この算出値はラインメモリ管理部１３２によってラインメモリ１０６に保存される。このラインメモリ管理部１３２では、複数用意されているラインメモリ１３６のうちの１つを選択し、このラインメモリ１３６の任意の位置にこの平均値を保存する。この処理はフリッカ補正を行なう領域内のラインの数だけ繰り返し行なわれる。ここで使用するラインメモリ１３６の数だが、システムの構成に依存する。例えば毎秒３０フレームにて取り込みを行なう撮像システムならば、５０Ｈｚの蛍光灯下において図２のようにフレーム間におけるフリッカの周期は３フレームとなるので図１９のように３つのラインメモリ１３６１〜１３６３を有する構成とすればよい。１５ｆｐｓ，６０ｆｐｓの場合も同様にフレーム間フリッカの周期は３フレームなので３つのラインメモリが必要である。
【００８２】
また、この撮像素子上にカラーフィルタが設けられている場合には、フリッカ補正を信号処理の前に行なうならば、色フィルタの種類毎にフレーム間フリッカ周期分のラインメモリが必要となる。また、フリッカ補正を信号処理の後に行なうならば、図２２に示すように、信号処理部にてＹＣ分離した後にフリッカ補正をＹ信号のみにおいて行なえば良いので、必要とされるラインメモリは白黒センサの場合と同じくフレーム間フリッカ周期分、この場合ならば３本だけ用意すれば良いことになる。
【００８３】
これら複数本のラインメモリ１３６の内容はラインメモリ管理部１３２により管理される。ラインメモリ１０６１，１０６２，１０６３には連続するフレームにおける領域平均値が保存されているが、この内容の更新は１０６２を１０６３に、１０６１をl０６２に順次移動して１０６１を常に最新のフレームにおいて使用するか、あるいは最も古い内容を持つラインメモリを最新のフレーム用に割り当てこれに上書きすれば良い。
【００８４】
現在のフレームにおいて補正領域内のすべてのラインにおいて領域平均が求められたら、ラインメモリ１０６２に１つ前のフレームでの領域平均値、ラインメモリ１０６３に２つ前のフレームでの領域平均値が記録されているか確認する。もしされてない場合には、これらがすべて用意できるまで領域平均算出のみを繰り返す。既に用意されている場合には、補正係数算出処理を行なう。
【００８５】
補正係数算出処理部１３９はまずこれから補正係数を求めようとしているターゲットラインにおけるラインメモリ１０６１，１０６２，１０６３の平均をライン間平均値算出部１０８にて求める。この値は補正係数算出部１３４へと渡される。次にラインメモリ管理部１３２はラインメモリ１０６１からターゲットラインにおける領域平均値を呼び出しこれを補正係数算出部１３４へと渡す。補正係数算出部１３４ではライン間平均値算出部１３３からの値を領域平均値にて割りフリッカ補正係数を算出する。この補正係数は補正演算部１１０に渡され、フレームメモリ１０４から読み出されるターゲットライン上のデータのゲインを変えてフリッカを抑圧する。
【００８６】
補正係数算出部１３４では補正係数を算出するとともに補正係数の良否の判定も同時に行なう。まずこの判断基準としてフリッカ補正係数の振幅を検査する。フリッカの振幅は撮像素子の蓄積時間設定によってどの程度であるか原理的かつ実験的にある程度決まってくる。図１９の場合ならば、蛍光灯が５０Ｈｚにて点灯しているので、その１周期は１０ｍｓとなる。蓄積時間がこれよりも長い場合には、図４２（ａ）における積分区間が蛍光灯波形の１周期以上となるためその振幅が小さくなり、フリッカ振幅対ダイナミックレンジ幅が数パーセント程度となる。これに対して１０ｍｓ以下の場合、積分波形
【数８】
0003749038.tif 000009
はその積分区間が蛍光灯波形のどの部分を積分しているかにより大きく変動し、１０数パーセント程度となる。
【００８７】
ここでの補正係数推定では平均する領域を調節し絵柄の影響を減らして、Ｓ１（ｘ，ｙ）=Ｓ２（ｘ，ｙ）=Ｓ３（ｘ，ｙ）が成り立つようにしているが、撮像装置が大きく動いた場合あるいは撮影対象が移動した場合にはこの仮定が成り立たなくなり、補正係数に誤差が生じることになる。これを検出するために補正係数算出部では蓄積時間によって決定される上記のフリッカ振幅を閾値とし、これよりも大きい値になってしまった場合には、領域選択部１３０に設定領域が適正でないことを知らせる。また別の判定方法としては、推定されたフリッカ補正係数のラインメモリ上での波形をチェックすることでも可能である。このフリッカ補正係数波形はフリッカ波形の逆数であるので、基本的にはその基となる蛍光灯波形の周期性をそのまま持っているはずなので、図２３（ａ）の右側のようにその周期性が損なわれている部分がないかを調べることによりその適性度を検査できる。
【００８８】
この通知を受けて領域選択部１３０はその平均領域を変更したり、あるいは動きのある部分を検出しその部分を除くように変更し、領域平均値を計算し直す。ここでの構成例では選択された領域において平均値を算出し、その値を任意の行の代表値としていたが、このターゲットライン周辺の値を重視するように重み付けしたりするなどして最尤値算出の精度を向上させることも可能である。
【００８９】
本発明の第６実施形態は、図２４に示されたような構成を備え、時間平均値算出部１３５を持つことに特徴がある。前述の第５実施形態においては絵柄の影響あるいはノイズの影響を減らすために、フレーム内においてあるターゲットライン周辺にて平均化していた。しかしながらフレーム内を移動するものがあった時などはこれの影響がラインメモリ１３６１，１３６２，１３６２にそれぞれ独立に乗るため補正係数の推定値にこの物体の影響を及ぼしてしまう。この問題については時間的に平滑化する手法が有効である。
【００９０】
図２４において、平均値算出部１３５は、領域平均値算出部１３１の他に、ラインメモリに保存されているデータを呼び出すデータ呼び出し部１３５１と、このデータと現在のフレームにおいて得られた平均値との間で平均を求める時間平均値算出部１３５２とを備えている。あるフリッカ補正領域内のあるターゲットラインにおいて、その周辺領域から求められた領域平均値Ａｍ（ｔ）とラインメモリのいずれかに保存されているフリッカ周期１周期前での領域平均値Ａ’ｍ（ｔ−１）の間で平均を算出した後、Ａ’ｍ（ｔ−１）が保存されていた位置に保存する。この処理は次のように表される。
【００９１】
【数９】
0003749038.tif 000010
つまり、フレーム間において回帰的に平均を求めていることになるので、ある任意のフレームに表れた移動する対象からの影響を小さくすることができる。この時間方向での平均化を加えることにより補正係数推定の推定誤りを減らすことが可能となる。
【００９２】
本発明の第７実施形態は図２５に示されたような構成を備え、画像フレーム内に設定したフリッカ補正領域内の任意の水平ラインにおいて、一定範囲を選択する範囲選択部１４０と、その選択された範囲内の平均を算出するライン内平均算出部１３９と、ラインメモリに保存されているある任意のライン内平均データにおけるそのデータ周辺のデータを取り出す窓の幅を決める窓幅選択部１３８と、窓幅選択部によって設定された窓領域内のデータを読み出し平均値を算出する窓内平均値算出部１３７とを有することに特徴がある。
【００９３】
これまで述べてきた第５，第６実施形態においては、図２０に示すように、任意の範囲を有する選択領域における平均を求めて、これをあるターゲットラインにおける最尤値としていたが、領域の設定の自由度が高いためその設定に手間がかかる場合があり得る。
【００９４】
ここでは、まずフリッカ補正を行なう領域を図２６の補正領域＃１あるいは＃２のように、縦方向において区切り、その領域内においてまず各行の平均を求め、これを一旦ラインメモリに保存しておき、次に窓幅選択部１３８によって設定された窓領域内のデータを読み出して平均化する構成となっている。これはあるターゲットラインの周辺に長方形の領域を割り当てこの領域内において平均化しているのと同じことである。補正領域は＃１のように画像フレーム全体に渡るものであっても良いし、＃２のように１部分であってもよい。このようにあらかじめ区切っておくことで平均化に用いる領域の選択の自由度を減らし処理を簡略化するものである。区切り方は画像フレームを等分割したり、照明条件の分かれ目を検出し分割するなどの方法で行なう。
【００９５】
範囲選択部１４０では補正領域内のターゲットラインが画像フレームのどの行のどの範囲に相当するかライン内平均値算出部１３９に指定し、ライン内平均値算出部１３９はフレームメモリ１０４からデータを読み出した後平均を求める。このデータはラインメモリ１３６に一旦保存される。補正領域内すべての行において平均値を求め終えると、窓幅選択部１３８は図２７のように現在必要としている位置の前後のデータを選択し、このデータの読み出しをラインメモリ管理部１３２に指示し、読み出されたデータは窓内平均値算出部１３７に渡される。
【００９６】
またラインメモリ管理部１３２はラインメモリ１３６１，１３６２，１３６３から現在のターゲットライン位置ｍでのデータをそれぞれから読み出し、ライン間平均値算出部１３３にてこれらの平均を求める。フリッカ補正係数の算出および補正は前述の第１実施形態での処理と同じで良い。補正係数算出部１３４では前述の例と同様に補正係数の良否を判定し、良くなければ窓幅選択部１３８にこれをフィードバックし再度係数を算出する。平均窓幅選択部が設定する範囲の幅は、はじめ１あるいは実験的に求めた適当な値に設定し以降は補正係数算出部１３４でのフリッカ係数の判定によって動的に変更させるか、あるいは処理を簡略化する意味でこれを固定にすることも可能である。
【００９７】
図２５においては平均値算出部を２つ持っているが、図２８のようにこれを共有化しライン間平均値と窓内平均値を交互に計算する構成とすれば、回路規模を小さくすることが可能である。また図２９のようにフレーム間において平均を取る処理を持たせることによりフレーム内を移動する物体などによる影響を減らすことが可能である。
【００９８】
本発明の第８実施形態は、図３０に示されたような構成を備え、補正係数算出部１３４が推定した補正係数を一時保持するラインメモリ１３６４を持つことに特徴がある、画像フレームの１部分において被写体が動いていたりした場合は、その部分においてのみ補正係数の推定に失敗することがある。この場合は、図３０のように補正係数を一旦ラインメモリに保存しておき、係数の推定がうまくいかなかった範囲を良好な係数推定ができた範囲のもので置き換えることにより、補正の効果を上げることができる。例えば、図２３のようにある範囲において係数の推定に失敗した時には、フリッカ波形の前あるいは後の周期のデータにて置きかえることで良好なフリッカ補正が可能となる。
【００９９】
画像フレーム全体に渡って動きがあった場合などは、図３０の方式でも十分でない。この場合に対処するには図３１のような構成が有効である。この構成では品質の良いフリッカ推定係数が得られたときには、これをラインメモリ１３６５に保存しておく。係数推定が略々全域に渡って失敗したときあるいはその品質が悪いときには、ラインメモリからフリッカ係数を読み出しこれと置き換えている。フリッカ推定波形の品質の良否は、図１９の補正係数算出部における補正係数の良否判定に使用したアルゴリズムを用いれば良い。フリッカ補正係数波形の振れ幅が基準値以下であり、かつ、その波形にフリッカ波形と同じ波長を有する周期性が見られるならば、推定波形の品質が高いと考えるのが適当である。
【０１００】
これまでの例においてはＭＯＳ型固体撮像素子の出力は一旦フレームメモリに保存されていたが、フレームメモリを使用することは本撮像装置を実現する際にコスト上問題となる。これを解消する構成として図３２が挙げられる。この構成は前述のいづれの構成例とも異なり、フリッカ補正係数はこれを算出したそのフレームにおいて使用されるのではなく、フレーム間フリッカ周期の１周期後に、この構成例ならば３フレーム後に使用する方式を用いている。
【０１０１】
この処理手順は以下の通りである。まず撮像素子出力はそのライン毎に順次読み出され、ラインメモリに一旦保存される。このラインメモリにおいて必要な範囲のみを読み出しライン内平均を算出し、一旦ラインメモリ１３６に保存する。その後、ターゲットライン位置における３つのラインメモリ間での平均値とターゲットのフレームと同じ位相のラインメモリにおいて算出した平均値との比から補正係数を求める。この係数はラインメモリ管理部１３２によって係数保存用ラインメモリ１３６１から１３６２のいずれかの適切な位置に保存される。このデータはフレーム間フリッカ周期において１周期後に補正演算部１１０にロードされフリッカ補正に使用される。
【０１０２】
図３２の構成においては、フレーム間フリッカ周期分だけラインメモリを備えているが、フリッカ波形はフレーム内のいずれの場所でも略々同様の形状を有しているものと仮定して、この波形のうち１波長分だけを記録しておき、補正演算部１１０はこの１波長分の波形から各フレーム毎のフリッカ補正波形を算出するように構成しても良い。ここまでの構成例では画像フレームのある領域を選択し、その部分においてのみフリッカ補正を行なっているが、図３３あるいは図３４のような構成とすることで、複数の領域を選択し、それぞれの領域毎に最適なパラメータを設定することで補正効率を上げることが可能である。特に、この方式は蛍光灯照明の照明条件が非均一的であるとき有効である。例えば画像フレームのある一部分のみ蛍光灯照明が使用されているときに、すべての領域が蛍光灯にて照明されているとの仮定で補正を行なうと、蛍光灯が当たっている領域は問題ないが、それ以外の蛍光灯フリッカがない部分に逆にフリッカを作ってしまうことにもなる。これを防ぐ方法としては画像フレームを図３５のように分割し、それぞれの領域毎にフリッカ補正係数の算出とその係数波形の振幅の検査を行なってフリッカがあるかを検出し、もしなければその領域は補正対象から外せば良い。  図３３においては、係数推定およびフリッカ補正をそれぞれ別個のモジュールにより行なっている。それぞれの領域において補正された画像データは画像マッピング処理部１４１により１つに合成される。また、図３４に示すように、それぞれの領域を順番に１つのフリッカ補正処理モジュールにて処理し、画像マッピング処理部１４１にて順次合成する構成も可能である。
【０１０３】
ここまでの構成例においてはいずれも画像フレーム全体ではなく一部分のみを補正しているため、補正領域とそれ以外の領域との境界で不連続が生じ見苦しくなる可能性がある。この問題を解消するする手段としてその境界において補正係数を抑圧する図３６のような方法が考えられる。例えば、図３５（ａ）において、＃１と＃３は補正処理を必要とせず、＃２のみを補正するような場合、その境界を目立たなくするためは補正係数をその境界付近において抑圧すればよい。その抑圧方法はいろいろ考えられるが、例えばある任意のラインｙ１における補正係数Ｃ（ｙ１）を図３６（ａ）のように、「く」の字型に折り曲げたり、あるいは図３６（ｂ）のように階段状したりすれば良い。図３５（ａ）において、＃１、＃２において補正処理が必要な場合、補正領域が隣接しているので、２つの補正領域をオーバーラップさせ、それぞれの境界において図３６（ｃ）のようにそれぞれの領域の補正係数Ｃ１（ｙ１）とＣ２（ｙ２）を抑圧すれば良い。
【０１０４】
また、複数の領域を補正する方法として、図３７のような構成も可能である。この構成では補正係数算出部１３４は１つだけで、それぞれのフリッカ領域は同じ係数テーブルを参照し補正を行なう。この構成では、フリッカ係数を算出するのに使用した領域以外でフリッカ補正が十分でない可能性はあるが、いずれの蛍光灯も同じ電灯周期にて動作しているのでフリッカ位相がずれる可能性はないことから極端な補正誤差が生じることはなく、撮像装置の簡略化に適した構成となる。
【０１０５】
またこの構成のもう１つの特徴は、一旦フリッカ補正テーブルを作成したらこのフリッカ推定および補正部の機能を止めてフリッカ補正部のみを駆動させるようにし、後は数秒に一回フリッカ推定および補正部を動作させてフリッカテーブルを更新するようにすれば、撮像装置の低消費電力化が図れる。
【０１０６】
本発明の第９実施形態は、図３８に示されたような構成を備え、ＭＯＳ型固体撮像素子１０１の周辺に測光素子２０１を配置させている点に特徴がある。上記第１、２および３実施形態では予め補正テーブルを算出してフリッカ抑圧を行なっているため、照明条件が変わった場合には、画像の取り込みを中断して再度このテーブルを作り直す必要がある。
【０１０７】
これに対し、この第９実施形態においては、固体撮像素子１０１による画像の取り込みと平行して、撮像素子１０１の周辺に配置された測光素子２０１が常にフリッカの状態を観測し、この観測データに基づいてフリッカ抑圧を実現する方式である。
【０１０８】
外部に設けた測光素子を用いてフリッカ補正を行なう場合、一番の問題点は撮像素子１０１との感度の違いの補正にある。測光素子の感度特性が撮像素子の画素の感度特性と異なるばかりでなく、撮像素子はその前面にあるレンズ系の特性や設定により撮像素子面が受ける光量の条件が一定ではない。
【０１０９】
この問題点を解決するためにここでは第２ないし第４実施形態に使われている補正テーブルを用いる。前記実施形態における補正テーブルは画像フレーム内に表れるフリッカＦ（ｙ）の逆数であるので、外部測光系２０４の出力波形の振幅を補正テーブルを利用して合わせれば良い。この処理は以下の順序により行なわれる。まず外部測光素子２０１により撮像装置周辺の光量の変動を計測する。この計測波形Ｌ（ｔ）から映像の垂直方向に表れるフリッカＦ（ｙ）を得るには、それぞれの画素において、それぞれの画素の電荷蓄積期間分だけ計測波形Ｌ（ｔ）を積分する必要がある。
【０１１０】
ここでは説明を簡略化するために、水平方向での電荷蓄積のタイミングが同じ、すべての行で電荷蓄積時間が同じであるとする。この条件のもとで撮像素子１０１のｙ行目の画素が電荷蓄積を開始した時刻Ｔｓから蓄積を終了する時刻Ｔｅまで計測波形を積分すると、この積分値Ｉ（ｙ）
【数１０】
0003749038.tif 000011
と書くことができ、また、
Ｆ（ｙ）＝Ｉ（ｙ）×Ｃ
（Ｃは撮像素子の画素と測光素子の感度の違いによって決定される比例定数）の関係が成り立っている。
【０１１１】
次にこの比例定数Ｃを求める必要がある。ここではＦ（ｙ）が補正テーブルという形で分かっているので、補正テーブルの逆数をＩ（ｙ）で割ることによりこの比例係数Ｃが求められる。この計算はゲイン補正部２０３にて行われ、この結果はゲイン補正部２０３内のレジスタに保存される。これ以降の動作は外部測光系２０４から得られるフリッカ波形Ｉ（ｙ）と比例係数Ｃから補正テーブルを作りフリッカ抑圧を行なえばよいので、比例係数Ｃが求められた時点でモード設定部１０６はフリッカ補正準備モードをフリッカ補正モードに変更すると共に、フレームメモリ１０４や補正テーブル算出部１０５を停止できる。
【０１１２】
また、図３９に示すように外部測光素子２０１の上にレンズとレンズ設定部２０７を設置することにより、撮像素子が取り込んでいる画角における光量の変化を測定することが可能である。レンズ設定部２０７は、撮像素子１０１のレンズ設定部２０７１からレンズ設定値あるいは設定コマンドを受け、測光素子用のレンズの設定を変更すればよい。これにより例えば、蛍光灯照明と太陽光が混在するような環境において、太陽光を受けている領域を撮影している場合、外部測光素子が蛍光灯フリッカを誤って測定してしまうことを防ぐことができる。
【０１１３】
図３９の場合、撮像素子用撮像レンズと外部測光素子用撮像レンズの２つの光学系を必要とするためコストが高くなる。これを低減し構成を簡略化するために、図４０にあるように撮像素子用レンズと撮像素子の間にハーフミラー等の光路を２つのパスに分ける分光器２０８を置いたり、図４１のように測光素子を撮像素子の近傍に設置することで、レンズを共用させることも可能である。図４１においては、測光素子が撮像素子と同じレンズの下に設置されているため絵柄成分の影響を受けやすいので、測光素子上部にすりガラスのような光を散乱させる構造物を設置したり、測光素子それ自体が広い領域から集光するような構造にしたり、あるいはその設置位置を撮像素子面より前後にずらして非焦点位置になるようにしたりすることで絵柄成分の影響を排除することが可能である。
【０１１４】
なお、図示詳細説明は省略するが、この第８実施形態に係る固体撮像装置は、第２ないし第４実施形態に係るフリッカ補正演算手段を備えたもののみに適用を限定されることなく、第１および第５ないし第８実施形態に係るフリッカ補正演算手段を備えたものにも適用可能である。したがって、図１９ないし図３７を用いて説明した固体撮像装置に外部光量測定計２０４を組み合わせて適用することにより本発明のより好適な実施形態とすることもできる。
【０１１５】
また、第８実施形態に係る固体撮像装置においては、光学系を通して得られる光量データのみを制御要素として取り込んでいるが、本発明はこれにも限定されず、外部測光のみに依存するのではなく電子シャッタ設定手段により得られた電子シャッタ値により外部光量を推定して用いるようにしても良い。
【０１１６】
【発明の効果】
上述したように本発明によれば、推定したフリッカ波形に基づいて撮像素子から出力される映像信号の利得を制御することにより、蛍光灯照明下における蛍光灯フリッカを抑圧し高画質を実現することが可能である。
【図面の簡単な説明】
【図１】本発明の第１実施形態による固体撮像装置の構成を示すブロック図。
【図２】本発明の第２実施形態による固体撮像装置の構成を示すブロック図。
【図３】同固体撮像装置のフレーム構造を持った補正テーブルをライン構造に変換する水平ライン平均値算出部を備える構成を示すブロック図。
【図４】同固体撮像装置のＡ／Ｄ変換出力を水平ラインにおいて平均化する水平ライン平均値算出部を備える構成を示すブロック図。
【図５】同固体撮像装置の２つのフレームメモリを１つにし、簡略化された構成であることを示すブロック図。
【図６】第２実施形態におけるＡ／Ｄ変換出力を水平ラインにおいて平均化する水平ライン平均値算出部を備える構成を示すブロック図。
【図７】第２実施形態においてフレームメモリと補正テーブル記憶部の機能をフレーム型データ記録部に置き換えた構成を示すブロック図。
【図８】同固体撮像装置のフリッカ補正出力の補正度を検査するフリッカ検出器を備える構成を示すブロック図。
【図９】本発明の第３実施形態による平均化されたフレームメモリにより補正テーブルを算出する構成を示すフロック図。
【図１０】第３実施形態において１つのフレームメモリにより画像フレームの平均を算出する構成を示すブロック図。
【図１１】本発明の第４実施形態による複数の補正テーブル記憶部とこれらの１つを選択する補正テーブル選択部を備える構成を示すフロック図。
【図１２】第４実施形態において水平ライン平均値算出部を備える構成を示すブロック図。
【図１３】固体撮像装置において蛍光灯フリッカのフレーム間での周期性を示す説明図。
【図１４】上記第４実施形態のフレームテーブルにおいて、フリッカの周期分だけフレームメモリを備える構成を示すブロック図。
【図１５】第４の実施の形態の補正テーブル選択部において、補正演算部からの要求によって補正テーブルを選択する構成を示すブロック図。
【図１６】第４実施形態においてＡ／Ｄ変換出力を水平ラインにおいて平均化する水平ライン平均値算出部を備える構成を示すブロック図。
【図１７】第４実施形態において平均化されたフレームメモリにより補正テーブルを算出する構成を示すブロック図。
【図１８】上記第４実施形態において、位相計測部と補正テーブル生成部とを備える構成を示すブロック図。
【図１９】本発明の第５実施形態による固体撮像装置の構成を示すブロック図。
【図２０】ＭＯＳ型撮像素子におけるフリッカ発生の原理を示す説明図。
【図２１】任意のターゲットラインにおける最尤値推定に使用する領域を示す説明図。
【図２２】同固体撮像装置において、フリッカ補正処理を行なう前に、映像信号処理を行なう構成を示すブロック図。
【図２３】フリッカ補正係数波形に関する説明図。
【図２４】本発明の第６実施形態による平均値算出部に時間平均算出部を具備づる構成を示すブロック図。
【図２５】本発明の第７実施形態によるライン平均値算出部、窓幅選択部と窓内平均値算出部を備える構成を示すブロック図。
【図２６】第７実施形態のフリッカ補正を行なう領域とその領域内の任意のターゲットラインにおけるライン平均値算出の構成を示す説明図。
【図２７】上記第７実施形態において、窓内平均値とライン間平均値それぞれの算出方法を示す説明図。
【図２８】上記第７実施形態において、窓内平均値とライン間平均値両方を算出する平均値算出部を備える構成を示すブロック図。
【図２９】上記第７実施形態における時間平均算出部を備える構成を示すブロック図。
【図３０】本発明の第８実施形態による補正係数を保持するラインメモリを備える構成を示すブロック図。
【図３１】上記第８実施形態における補正係数を保持するラインメモリを備える別の構成を示すブロック図。
【図３２】同固体撮像装置において、ＭＯＳ型撮像素子出力を保持するラインメモリを備える構成を示すブロック図。
【図３３】同固体撮像装置において、複数のフリッカ補正処理部を備える構成を示すブロック図。
【図３４】同固体撮像装置における１つのフリッカ補正処理部が複数の領域のフリッカを補正する構成を示すブロック図。
【図３５】フリッカ検出検査における検査領域の設定方法に関する説明図。
【図３６】同固体撮像装置において、フリッカ補正領域と非フリッカ補正領域との境界における処理に関する説明図。
【図３７】同固体撮像装置におけるフリッカ補正部を備える構成を示すブロック図。
【図３８】本発明の第９実施形態による外部測光系を備える構成を示すブロック図。
【図３９】上記第９実施形態における外部測光系に撮像レンズを備える構成を  示すブロック図
【図４０】上記第９実施形態における外部測光系に備える撮像レンズを固体撮像素子に使用するものと共有する構成を示すブロック図。
【図４１】上記第９の実施の形態における外部測光系を固体撮像素子の近傍に設置する構成を示すブロック図。
【図４２】ＭＯＳ型撮像素子における電荷蓄積時間とフリッカの関係を示す説明図。
【符号の説明】
１  固体撮像素子
２  電子シャッタ値設定手段
３  Ａ／Ｄ変換手段
４  記憶手段
１０  補正演算手段
１０１  ＭＯＳ型固体撮像素子
１０２  電子シャッタ設定部
１０３  Ａ／Ｄ変換器
１０４，１０４１，１０４２  フレームメモリ
１０５  補正テーブル算出部
１０６  モード設定部
１０７，１０７１，１０７２，１０７３  補正テーブル記録部
１０７５  カラム型補正テーブル記憶部
１０７６  ライン別色別補正テーブル記憶部
１０８  補正演算部
１０９  同期信号発生部
１１１  水平ライン平均値算出部
１１２  フリッカ検出器
１１３，１１３１，１１３２  フレーム平均算出部
１１４  フレーム平均順次算出部
１１５  補正テーブル選択部
１１６  位相計測部
１１７  補正テーブル生成部
１１８，１１８１，１１８２  カラム型平均値記憶部
１１９  フレーム型データ記憶部
１３０  領域選択部
２０１  外部測光素子
２０２  積分器
２０３  ゲイン補正部
２０４  外部測光系
２０５  補正値生成部
【図１】
0003749038.tif 000012
【図２】
0003749038.tif 000013
【図３】
0003749038.tif 000014
【図４】
0003749038.tif 000015
【図５】
0003749038.tif 000016
【図６】
0003749038.tif 000017
【図７】
0003749038.tif 000018
【図８】
0003749038.tif 000019
【図９】
0003749038.tif 000020
【図１０】
0003749038.tif 000021
【図１１】
0003749038.tif 000022
【図１２】
0003749038.tif 000023
【図１３】
0003749038.tif 000024
【図１４】
0003749038.tif 000025
【図１５】
0003749038.tif 000026
【図１６】
0003749038.tif 000027
【図１７】
0003749038.tif 000028
【図１８】
0003749038.tif 000029
【図１９】
0003749038.tif 000030
【図２０】
0003749038.tif 000031
【図２１】
0003749038.tif 000032
【図２２】
0003749038.tif 000033
【図２３】
0003749038.tif 000034
【図２４】
0003749038.tif 000035
【図２５】
0003749038.tif 000036
【図２６】
0003749038.tif 000037
【図２７】
0003749038.tif 000038
【図２８】
0003749038.tif 000039
【図２９】
0003749038.tif 000040
【図３０】
0003749038.tif 000041
【図３１】
0003749038.tif 000042
【図３２】
0003749038.tif 000043
【図３３】
0003749038.tif 000044
【図３４】
0003749038.tif 000045
【図３５】
0003749038.tif 000046
【図３６】
0003749038.tif 000047
【図３７】
0003749038.tif 000048
【図３８】
0003749038.tif 000049
【図３９】
0003749038.tif 000050
【図４０】
0003749038.tif 000051
【図４１】
0003749038.tif 000052
【図４２】
0003749038.tif 000053