(57)【特許請求の範囲】
【請求項１】
露光時間の異なる複数の出力信号を出力する撮像手段と、
前記露光時間の異なる複数の出力信号のうち、露光時間の短い出力信号のフリッカを検出するフリッカ検出手段と、
前記フリッカ検出手段で検出されたフリッカゲインに基づき露光時間の短い出力信号のフリッカを抑圧するフリッカ抑圧手段と、
前記露光時間の異なる信号を入力し、低輝度部は露光時間の長い信号で再現し、高輝度部は露光時間の短い信号で再現するように合成して階調再現範囲の拡大された画像を得る画像合成手段と、
前記画像合成手段で合成した合成画像のフリッカを検出する合成画像フリッカ検出手段と、
前記合成画像フリッカ検出手段で検出されたフリッカゲインに基づき合成画像のフリッカを抑圧するように露光時間の長い出力信号のフリッカを抑圧するフリッカ抑圧手段とを備え、
前記合成画像フリッカ検出手段は、連続して入力した複数画面分の合成画像信号のうち、1画面ごとに低輝度成分の積分値を求める積分手段と、複数画面分の前記積分値から露光時間の長い信号のフリッカゲインを算出し、露光時間の長い信号にフリッカが存在するかどうかのフリッカの判定を行うフリッカ判定手段とを有する固体撮像装置。
【請求項２】
露光時間の異なる複数の出力信号を出力する撮像手段と、
前記露光時間の異なる複数の出力信号のうち、露光時間の短い出力信号のフリッカを検出するフリッカ検出手段と、
前記フリッカ検出手段で検出されたフリッカゲインに基づき露光時間の短い出力信号のフリッカを抑圧するフリッカ抑圧手段と、
前記露光時間の異なる信号を入力し、低輝度部は露光時間の長い信号で再現し、高輝度部は露光時間の短い信号で再現するように合成して階調再現範囲の拡大された画像を得る画像合成手段と、
前記画像合成手段で合成した合成画像のフリッカを検出する合成画像フリッカ検出手段と、
前記合成画像フリッカ検出手段で検出されたフリッカゲインに基づき合成画像のフリッカを抑圧するように露光時間の長い出力信号のフリッカを抑圧するフリッカ抑圧手段とを備え、
前記合成画像フリッカ検出手段は、連続して入力した複数画面分の合成画像信号のうち、1画面ごとに画面を複数のブロックに分割し、分割したブロックごとに積分値を算出するブロック積分手段と、
前記複数画面分の分割したブロックのうち積分値のレベルが露光時間の長い信号の飽和レベルに相当するような一定レベル以下であるブロックの積分値から露光時間の長い信号のフリッカゲインを算出し、露光時間の長い信号にフリッカが存在するかどうかのフリッカの判定を行うフリッカ判定手段とを有する固体撮像装置。
【請求項３】
露光時間の異なる複数の出力信号を出力する撮像手段と、
前記露光時間の異なる複数の出力信号のうち、露光時間の短い出力信号のフリッカを検出するフリッカ検出手段と、
前記フリッカ検出手段で検出されたフリッカゲインに基づき露光時間の短い出力信号のフリッカを抑圧するフリッカ抑圧手段と、
前記露光時間の異なる信号を入力し、低輝度部は露光時間の長い信号で再現し、高輝度部は露光時間の短い信号で再現するように合成して階調再現範囲の拡大された画像を得る画像合成手段と、
前記画像合成手段で合成した合成画像のフリッカを検出する合成画像フリッカ検出手段と、
前記合成画像フリッカ検出手段で検出されたフリッカゲインに基づき合成画像のフリッカを抑圧するように露光時間の長い出力信号のフリッカを抑圧するフリッカ抑圧手段とを備え、
前記合成画像フリッカ検出手段は、一定レベル以下か否かを判定するレベル判定手段と、連続して入力した複数画面分の合成画像信号のうち、1画面ごとに前記レベル判定手段によりレベルが露光時間の長い信号の飽和レベルに相当するような一定レベル以下と判定された信号のみを積分する積分手段と、前記一定レベル以下と判定された信号の画素数を計数する計数手段と、前記積分手段の複数画面分の積分値と前記計数手段の複数画面分の計数値から露光時間の長い信号のフリッカゲインを算出し、露光時間の長い信号にフリッカが存在するかどうかのフリッカの判定を行うフリッカ判定手段とを有する固体撮像装置。
【請求項４】
撮像手段は分光特性の異なる色分離フィルタあるいは色分離プリズムによるカラー化手段を有し、複数のフリッカ検出手段のうち少なくとも１つは異なる色ごとにフリッカを検出する色フリッカ検出手段を有し、フリッカ抑圧手段のうち少なくとも１つは異なる色ごとにゲインの補正を行う色ゲイン補正手段を有することを特徴とする請求項１ないし３のいずれかに記載の固体撮像装置。
【請求項５】
露光時間の異なる複数の出力信号を出力する撮像手段と、
前記露光時間の異なる複数の出力信号のうち、露光時間の短い出力信号のフリッカを検出するフリッカ検出手段と、
前記フリッカ検出手段で検出されたフリッカゲインに基づき露光時間の短い出力信号のフリッカを抑圧するフリッカ抑圧手段と、
前記露光時間の異なる信号を入力し、低輝度部は露光時間の長い信号で再現し、高輝度部は露光時間の短い信号で再現するように合成して階調再現範囲の拡大された画像を得る画像合成手段と、
前記画像合成手段で合成した合成画像のフリッカを検出する合成画像フリッカ検出手段と、
前記合成画像フリッカ検出手段で検出されたフリッカゲインに基づき合成画像のフリッカを抑圧するように露光時間の長い出力信号のフリッカを抑圧するフリッカ抑圧手段とを備え、
前記フリッカ検出手段は、1画面ごとに画面を複数のブロックに分割する画面分割手段と、
ブロックごとのフリッカを検出し、ブロックごとのフリッカゲインを算出する分割画面フリッカ検出手段とを有し、
露光時間の短い信号のフリッカを抑圧するフリッカ抑圧手段は、前記フリッカ検出手段で算出されたブロックごとのフリッカゲインに基づきブロックごとにフリッカ補正する分割画面フリッカ抑圧手段とを有する固体撮像装置。
【請求項６】
露光時間の異なる複数の出力信号を出力する撮像手段と、
前記露光時間の異なる複数の出力信号のうち、露光時間の短い出力信号のフリッカを検出するフリッカ検出手段と、
前記フリッカ検出手段で検出されたフリッカゲインに基づき露光時間の短い出力信号のフリッカを抑圧するフリッカ抑圧手段と、
前記露光時間の異なる信号を入力し、低輝度部は露光時間の長い信号で再現し、高輝度部は露光時間の短い信号で再現するように合成して階調再現範囲の拡大された画像を得る画像合成手段と、
前記画像合成手段で合成した合成画像のフリッカを検出する合成画像フリッカ検出手段と、
前記合成画像フリッカ検出手段で検出されたフリッカゲインに基づき合成画像のフリッカを抑圧するように露光時間の長い出力信号のフリッカを抑圧するフリッカ抑圧手段とを備え、
前記画像合成手段で合成された信号に対して階調補正を施す階調補正手段と、前記階調補正回路の階調特性を順次変更する階調特性変更手段とを有し、露光時間の短い出力信号のフリッカを検出するフリッカ検出手段は、画像合成手段で合成された信号からフリッカ成分を検出し、露光時間の短い出力信号のフリッカを抑圧するフリッカ抑圧手段は、前記フリッカ検出手段で検出されたフリッカゲインに基づき前記階調補正手段の階調特性を調整することによってフリッカを抑圧することを特徴とする固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラなどに用いられる固体撮像装置に関するものである。
【０００２】
【従来の技術】
露光量の異なる画像を合成してダイナミックレンジの高い映像信号を得るための固体撮像装置として、従来、特開平７−３２２１４７号公報に記載されたものが知られている。
【０００３】
以下、従来の固体撮像装置について図面を参照しながら説明する。図２４は従来の固体撮像装置の構成を示す構成図である。図２４において、１は撮像手段、２００は画像合成手段である。撮像手段１としては例えば、通常の固体撮像素子に対して２倍の走査線数の信号が出力できるような全画素読み出し型の固体撮像素子を用いて、片側の走査線に対応する画素の露光量を電子シャッタ動作により通常より小さくすることにより通常信号Slongおよび電子シャッタ信号Sshortを得るというものであり、画像合成手段２００としては、撮像手段１から出力される露光量の異なる出力信号SlongおよびSshortを単純に加算して合成画像信号Smixを得ている。図２５に横軸に入射光量Ｌ、縦軸に信号レベルＳをとった場合の、Slong、Sshort、Smixの関係を示す。
【０００４】
【発明が解決しようとする課題】
この固体撮像装置においては、露光量の異なる信号を得るために電子シャッタ動作を用いているが、蛍光灯のように５０Ｈｚ程度の周期で明るさが変動する光源下においては、異なる露光量の信号ごとにフリッカ成分が異なるため、画像合成した際に通常信号Slongによる低輝度部と電子シャッタ信号Sshortによる高輝度部で異なるフリッカが発生する。
【０００５】
本発明は、高輝度部でも低輝度部でもフリッカが抑圧された固体撮像装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この課題を解決するために本発明は、明るさが変動する光源下において、複数のフリッカ検出手段および複数のフリッカ抑圧手段により露光量の異なる信号ごとにフリッカ成分を検出および抑圧し、画像合成手段で合成処理するように構成したものである。
【０００７】
これにより、高輝度部でも低輝度部でもフリッカが抑圧された固体撮像装置が得られる。
【０００８】
【発明の実施の形態】
本発明の第１の発明は、撮像手段と複数のフリッカ検出手段と複数のフリッカ抑圧手段と画像合成手段で構成され、撮像手段は露光量の異なる複数の出力信号を出力し、複数のフリッカ検出手段は露光量の異なる複数の出力信号のフリッカを検出し、複数のフリッカ抑圧手段は複数の出力信号のフリッカを抑圧し、画像合成手段は露光量の異なる信号を合成するという作用を有する。
【０００９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本発明の目的は、高輝度部でも低輝度部でもフリッカを抑圧することである。
【００１０】
図１は本発明の実施の形態１の固体撮像装置の構成を表す構成図である。図１において、１は撮像手段としての固体撮像素子、２は第１のフリッカ検出手段、３は第１のフリッカ抑圧手段としての固体撮像素子の駆動回路、４は第２のフリッカ検出手段、５は第２のフリッカ抑圧手段、６は画像合成手段、７ａ，７ｂは積分回路、８ａ，８ｂはマイクロコンピュータ、９は増幅回路、１０は加算回路である。
【００１１】
固体撮像素子１は通常の固体撮像素子に対して２倍の走査線数の信号が出力できるような全画素読み出し型の固体撮像素子を用いる。図２に全画素読み出し型の固体撮像素子の一例の構成図を示す。図２において、１１は光電変換部、１２は垂直転送部、１３ａ，１３ｂは水平転送部、１４ａ，１４ｂは出力アンプ、１５ａ，１５ｂは出力端子である。図２で示した例は、画素数として横４画素、縦６画素で構成しているが、実際には例えばＶＧＡ（Video Graphics Array）で表されるような画素数では横６４０画素、縦４８０画素という構成がとられる。
【００１２】
光電変換部１１でテレビ方式における１フィールド期間のうち、垂直の有効期間約１／６０秒光電変換されて得られる長時間露光信号Slong（図２中、●印で示す）は、垂直ブランキング期間に垂直転送部１２に読み出される。また、垂直ブランキング期間約１／１０００秒光電変換されて得られる短時間露光信号Sshort（図２中、○印で示す）は、同じ垂直ブランキング期間に、Slongとは独立に垂直転送部１２に読み出される。この様にして得られた信号SlongおよびSshortは、それぞれ独立に垂直転送部１２から、水平転送部１３ａおよび１３ｂに順次転送され、次のフィールドの有効期間に出力アンプ１４ａおよび１４ｂ、出力端子１５ａおよび１５ｂを通して出力される。
【００１３】
図２５に横軸に入射光量Ｌ、縦軸に信号レベル（信号量）Ｓを取ったときのSlong、Sshortの関係を表すグラフを示す。撮像素子の信号量とＳ／Ｎには相関があり、信号量が小さい場合にノイズが目立つ。図２５において、Slongは入射光量Ａで飽和するが、それ以下の入射光量ではＳ／Ｎの良い信号が得られる。SshortはＡ以下では信号量が小さくＳ／Ｎは悪いが、Ａ以上の光量での信号を再現できる。この２つの信号を合成することにより、Ｓ／Ｎが良くダイナミックレンジの高い信号が得られる。
【００１４】
固体撮像素子１から出力された長時間露光信号Slongは、第１のフリッカ検出手段２に入力される。第１のフリッカ検出手段２では、長時間露光信号Slongが積分回路７ａに入力され、Slongが１フィールド期間積分され積分結果がSL1としてマイクロコンピュータ（μ−ｃｏｍ）８ａに入力される。フリッカ成分は蛍光灯の周期５０Ｈｚとテレビ方式のフィールド周期６０Ｈｚの関係から２０Ｈｚの周期で発生する。そこで、マイクロコンピュータ８ａでは、入力したSL1と過去６フィールド分のSlongの積分値SL2、SL3、SL4、SL5、SL6、SL7を用いて、バンドパスフィルタ処理により２０Ｈｚ成分の検出を行う。
【００１６】
フリッカは上記のようにバンドパスフィルタによって検出を行うため、急激な輝度変化の場合に一時的に誤検出が発生する。この様な誤検出に対応するため、マイクロコンピュータ８ａでは、検出された２０Ｈｚ成分の絶対値が６フィールド連続してあらかじめ定めた値を上回る場合にフリッカ有りと判断し、フリッカ有りという信号を出力する。
【００１７】
第１のフリッカ抑圧手段としての固体撮像素子１の駆動回路３では、第１のフリッカ検出手段２よりフリッカ有りという信号を入力すると、固体撮像素子１における長時間露光信号の露光時間を１／１００秒に設定し固体撮像素子１を駆動する。
【００１８】
１／１００秒は、蛍光灯の周期５０Ｈｚの１／２にあたるため、これにより長時間露光信号Slongのフリッカが抑圧される。
【００１９】
次に、固体撮像素子１から出力された短時間露光信号Sshortは、第２のフリッカ検出手段４に入力される。第２のフリッカ検出手段４では、第１のフリッカ検出回路２と同様に積分回路７ｂでSshortが１フィールド期間積分されて得られるSS1がマイクロコンピュータ８ｂに入力され、SS1と過去５フィールド分のSshortの積分値SS2、SS3、SS4、SS5、SS6を用いて、フリッカを検出する。
【００２０】
さらに、マイクロコンピュータ８ｂでは、Sshortの積分値SS1、SS2、SS3を用いて、蛍光灯フリッカの周期のうち、SS2と同じ位相の信号がSS1からSS3の積分値の平均値となるようなゲインＡを算出し出力する。
【００２２】
第２のフリッカ抑圧手段５では第２のフリッカ検出手段４でフリッカが検出された際に、第２のフリッカ検出手段４から出力されたゲインＡを入力し、SS1を積分したフィールドから２フィールド後のタイミングで、増幅回路９でSshortに対しゲイン補正を行い、フリッカの抑圧されたSshort'として出力する。
【００２３】
画像合成手段６では、フリッカ抑圧された長時間露光信号Slongとフリッカ抑圧された短時間露光信号Sshortを入力し加算回路１０において加算することによって合成画像信号Smixを出力する。
【００２４】
ここで、フリッカ抑圧手段の解除について説明する。第１のフリッカ抑圧手段３により固体撮像素子１からはフリッカの抑圧された長時間露光信号がSlongとして出力され、第１のフリッカ検出手段２において、フリッカが検出されなくなる。しかしながら、この時点でフリッカ抑圧を解除すると再びフリッカが発生する。マイクロコンピュータ８ａでは、このような場合には長時間露光信号の露光時間を１／１００秒に保持し、積分回路７ａから出力される積分値SL1が過去のフィールドの積分値から大幅に変動した場合を検出し、その際撮影シーンが変化したと判断し、フリッカ抑圧動作を解除し、長時間露光信号の露光時間を１／６０秒に変更する。
【００２５】
また、第２のフリッカ検出手段４ではフリッカのない被写体の場合には、積分値から算出されるバンドパスフィルタの出力が小さくなるので、その条件からフリッカ抑圧動作の解除が行われる。
【００２６】
以上のような構成により、本実施の形態の固体撮像装置によって、ダイナミックレンジを拡大しつつ高輝度部でも低輝度部でもフリッカを抑圧することができる。
【００２７】
なお、本実施の形態で、第１のフリッカ検出手段２と第２のフリッカ検出手段４においてマイクロコンピュータ８ａおよび、マイクロコンピュータ８ｂを用いているが、同一のマイクロコンピュータを時分割で用いても同様の効果を得ることができる。
【００２８】
また、第１のフリッカ検出手段２の検出結果を元に、第２のフリッカ検出手段４におけるフリッカ検出の判断を行っても同様の結果を得ることができる。この場合は、第２のフリッカ検出手段４のフリッカ検出処理を省略することができる。ただし、第２のフリッカ抑圧手段５における、ゲイン補正のための補正ゲインの算出は省略することはできない。
【００２９】
さらに、第１のフリッカ抑圧手段３として、固体撮像素子１の駆動により露光時間を調整してフリッカの抑圧を行ったが、第２のフリッカ抑圧手段５と同様に、信号に対するゲイン調整によりフリッカ抑圧の処理を施しても同様の効果を得ることができる。
【００３０】
さらに、本実施の形態では、フリッカ抑圧の解除を第１のフリッカ抑圧手段３と第２のフリッカ抑圧手段５で独立に行っているが、どちらか一方の動作により両方のフリッカ抑圧の解除を行っても良い。
【００３１】
（実施の形態２）
ダイナミックレンジ拡大を行わないような通常の固体撮像装置では、撮像手段の出力信号を入力し、γ補正、アパーチャ補正などのカメラ信号処理を施して出力信号として出力している。
【００３２】
本発明の目的は、フリッカ検出手段およびフリッカ抑圧手段に合成画像信号Smixを入力とすることによって通常のカメラ信号処理との回路の共用化が可能となるような構成にしようというものである。
【００３３】
図３は本発明の実施の形態２の固体撮像装置の構成を表す構成図である。図３において、１は撮像手段としての固体撮像素子、２は第１のフリッカ検出手段、３は第１のフリッカ抑圧手段としての固体撮像素子の駆動回路、４は第２のフリッカ検出手段、５は第２のフリッカ抑圧手段、６は画像合成手段、７ａ，７ｂは積分回路、８ａ，８ｂはマイクロコンピュータ、９は増幅回路、１０は加算回路である。
【００３４】
撮像手段としての固体撮像素子１の動作は、実施の形態１に準じるので、ここでは説明を省略する。また、第２のフリッカ検出手段４及び第２のフリッカ抑圧手段５の動作も、実施の形態１に準じるので、ここでは説明を省略する。
【００３５】
これらにより、固体撮像素子１から出力される長時間露光信号Slongおよび、フリッカ抑圧された短時間露光信号Sshort'が画像合成手段６に入力され、加算回路１０において両信号が加算され合成画像信号Smixとして出力される。このようにして得られた合成画像信号Smixは、長時間露光信号Slongがフリッカ抑圧されていないために、画面内における長時間露光信号Slongが飽和していない部分ではフリッカが発生する。
【００３６】
次に第１のフリッカ検出手段２は画像合成手段６から出力される合成画像信号Smixを入力し、実施の形態１と同様にフリッカを検出し、フリッカが発生している場合にはフリッカ有りという信号を出力する。また、第１のフリッカ抑圧手段としての固体撮像素子の駆動回路３は、フリッカ有りという信号を検出した場合には、固体撮像素子１の長時間露光信号Slongの露光時間を１／１００秒に設定する。
【００３７】
ただし、フリッカ抑圧の解除については実施の形態１に準じ、ここでは省略する。
【００３８】
以上のような動作により、長時間露光信号Slongと短時間露光信号Sshortがそれぞれフリッカ抑圧され、ダイナミックレンジが拡大されてしかも高輝度部でも低輝度部でもフリッカが抑圧された合成画像信号Smixを得ることができる。
【００３９】
なお、本実施の形態で、第１のフリッカ検出手段２と第２のフリッカ検出手段４においてマイクロコンピュータ８ａおよび、マイクロコンピュータ８ｂを用いているが、同一のマイクロコンピュータを時分割で用いても同様の効果を得ることができる。
【００４０】
また、第１のフリッカ検出手段２の検出結果を元に、第２のフリッカ検出手段４におけるフリッカ検出の判断を行っても同様の結果を得ることができる。この場合は、第２のフリッカ検出手段４のフリッカ検出処理を省略することができる。ただし、第２のフリッカ抑圧手段５における、ゲイン補正のための補正ゲインの算出は省略することはできない。
【００４１】
さらに、第１のフリッカ抑圧手段３として、固体撮像素子１の駆動により露光時間を調整してフリッカの抑圧を行ったが、第２のフリッカ抑圧手段９と同様に、信号に対するゲイン調整によりフリッカ抑圧の処理を施しても同様の効果を得ることができる。ただし、フリッカの検出は合成画像信号Smixから行っているが、フリッカの抑圧は、長時間露光信号Slongに施すのが望ましい。
【００４２】
さらに、本実施の形態では、フリッカ抑圧の解除を第１のフリッカ抑圧手段３と第２のフリッカ抑圧手段４で独立に行っているが、どちらか一方の動作により両方のフリッカ抑圧の解除を行っても良い。
【００４３】
（実施の形態３）
実施の形態２では、合成画像信号Smixから、第１のフリッカ検出手段２により長時間露光信号に対するフリッカ検出を行ったが、合成画像信号Smixからでは高輝度部ではフリッカの抑圧されたSshort'による影響が大きく、正確なフリッカの検出が困難である。本発明の目的は、合成画像信号Smixからでもより正確なフリッカの検出を行うことである。
【００４４】
本実施の形態の固体撮像装置の構成および動作は実施の形態２と第１のフリッカ検出手段２以外は同様なのでここでは省略する。
【００４５】
図４は、本発明の実施の形態３による固体撮像装置の第１のフリッカ検出手段２の構成を示す構成図である。図４において、７ｃ〜７ｊは積分回路、１６はブロック積分手段、１７はマルチプレクサ、１８はセレクタ、８ｃはフリッカ判定手段としてのマイクロコンピュータ（μ−ｃｏｍ）である。また、図５はブロック積分手段１６における画面分割の様子を示す模式図である。
【００４６】
第１のフリッカ検出手段２は実施の形態２と同様に合成画像信号Smixを入力する。入力した合成画像信号Smixは第１のフリッカ検出手段２のブロック積分手段１６に入力される。ブロック積分手段１６ではマルチプレクサ１７が図５のように画面を横８縦６の計４８ブロックに分けた分割のタイミングに従って、画面の左端にあたる１番目のブロックから８番目のブロックまでの信号を積分回路７ｃから７ｊに切り替えて積分することにより、第１列目の積分値を積分する。つぎに合成画像信号Smixが８番目のブロックから９番目のブロックに移動するタイミングで、セレクタ１８により積分回路１７ｃから１７ｊが選択され、８つのブロック積分値SB1からSB8が出力され、マイクロコンピュータ８ｃに入力される。同様の動作により、１フィールド期間後には４８ブロックのブロック積分値SB1からSB48がマイクロコンピュータ８ｃに入力される。
【００４７】
マイクロコンピュータ８ｃでは、入力した４８ブロックのブロック積分値のうち一定値以下のブロックの積分値を抽出し、その平均値からフィールドを代表する積分値SM1とする。次にマイクロコンピュータ８ｃではSM1と過去５フィールド分のSmixの代表の積分値SM2、SM3、SM4、SM5、SM6を用いて、実施の形態２と同様にフリッカを検出する。
【００４８】
第１のフリッカ抑圧手段３以降の動作は実施の形態２に準じるので省略する。
本発明によれば、第１のフリッカ検出手段２をブロック積分手段とフリッカ判定手段としてのマイクロコンピュータで構成し、ブロック積分値のうちレベルの小さいもののみを用いてフリッカ検出を行うことにより、合成画像信号Smixのうちフリッカ抑圧のなされた高輝度側の信号Sshortを極力使わず、フリッカのあるSlongの信号からフリッカの検出を行っているので、より正確なフリッカ抑圧が可能となる。
【００４９】
なお、本実施の形態ではブロック分割の分割数を４８ブロックとしているが、分割数としてはかならずしも４８ブロックである必要はない。最大の分割数としては、撮像素子１の画素数分と考えることができるが、画素数分のデータをマイクロコンピュータ８ｃに転送することは困難なので、このような場合には、第１のフリッカ検出手段を回路によって構成することが考えられる。しかしながら、このような構成によっても本実施の形態と同様の効果を得ることができる。
【００５０】
（実施の形態４）
実施の形態１から３では、基本的な動作説明のために、撮像手段として白黒の固体撮像素子を想定している。固体撮像素子を用いた撮像手段としては、色分解プリズムにより色分離する３板方式や画素ごとに分光特性の異なる色フィルタを配置する単板方式によるカラー化方式がある。
【００５１】
実施の形態１から３の様な構成でも撮像手段のフリッカをおおむね抑圧することができるが、蛍光灯の明るさの変動は色成分ごとにその位相が異なる。そのため、輝度成分のみの抑圧では、色成分の変動すなわち色フリッカの抑圧は困難である。
【００５２】
本発明の目的は、輝度成分のみならず色成分のフリッカも抑圧する固体撮像装置を実現することである。
【００５３】
図６は本発明の実施の形態４の固体撮像装置の構成を表す構成図である。図６において、１は撮像手段としての固体撮像素子、２は第１のフリッカ検出手段、３は第１のフリッカ抑圧手段、４は第２のフリッカ検出手段、５は第２のフリッカ抑圧手段、６は画像合成手段、７ｋ〜７ｎは積分回路、８ｂはマイクロコンピュータ、９ａ，９ｂは増幅回路、１７ｂはマルチプレクサ、１８ｂ〜１８ｄはセレクタ、１９ａ〜１９ｄはレジスタ、２０は比較器である。
【００５４】
図７は本発明の実施の形態４の固体撮像装置の撮像手段としての固体撮像素子１の構成を表す構成図である。図７の固体撮像素子の構成は実施の形態１における固体撮像素子の光電変換部１１上にマゼンタ（Mg）、グリーン（Gr）、イェロー（Ye）、シアン（Cy）の４つの異なる分光特性を持つ色フィルタが画素ごとに配置されているものであり、動作としては、実施の形態１と全く同じ動作をする。ただし、出力信号としては、固体撮像素子１の画素混合動作により、マゼンタ＋イェロー（ＭＹ）、マゼンタ＋シアン（ＭＣ）、グリーン＋イェロー（ＧＹ）、グリーン＋シアン（ＧＣ）の４種類の信号が長時間露光信号Slong、短時間露光信号Sshortそれぞれで出力される。
【００５５】
色フィルタの配列により、ＭＹとＧＣを１つの組とし、ＭＣとＧＹを１つの組とした信号が、ラインごとに交互に出力され、さらにＭＹとＧＣ、ＭＣとＧＹが画素ごとに交互に出力される。また、各色フィルタの分光特性は、ＭＹとＧＣの和およびＭＣとＧＹの和が輝度信号Ｙの分光特性になるように設計されている。そのため、ＭＹとＧＣ、ＭＣとＧＹの信号列は、輝度信号成分Ｙに色信号成分Ｃｒ、Ｃｂが変調され重畳された信号として出力される。
【００５６】
図８に横軸に入射光量Ｌ、縦軸に信号レベルＳをとったときのSlongとSshortの光電特性を示す。図８の特性は、図２５の特性に変調成分が重畳された形となっている。
【００５７】
図９（ａ）に横軸に時間ｔ、縦軸に各色の明るさをとった場合の波形を示す。また、図９（ｂ）に図９（ａ）におけるＡ、Ｂ、Ｃ、Ｄの各タイミングで短時間露光を行った場合のMY、MC、GY、GCの各画素の平均の出力値を示す。図９（ｂ）でＡやＤのタイミングでは各画素の出力値はほぼ一定であるが、ＢやＣのタイミングでは、色ごとの明るさの変化の位相ズレのために出力レベルに差が発生している。実施の形態１から３では、これに対して画素ごとに一定のゲインを与えていたために、このばらつきの比が残り、色信号成分に対してフリッカが発生する。
【００５８】
固体撮像素子１から出力された長時間露光信号Slongは第１のフリッカ検出手段２に入力される。ここで、第１のフリッカ検出手段２および第１のフリッカ抑圧手段３の動作は、実施の形態１に準じるのでここでは省略する。第１のフリッカ抑圧動作は、長時間露光信号の露光時間を蛍光灯の周期の１／２である１／１００秒にすることにより実現されるので、蛍光灯の色成分の変動の影響はほとんど受けない。
【００５９】
次に固体撮像素子１から出力された短時間露光信号Sshortは第２のフリッカ検出手段４に入力される。フリッカ検出手段４に入力された短時間露光信号Sshortは、マルチプレクサ１７ｂにより４種類の色出力信号MY、MC、GY、GCごとに振り分けられて積分回路７ｋ、７ｌ、７ｍ、７ｎに入力され、１フィールド期間積分された後、SMY1、SMC1、SGY1、SGC1としてセレクタ１８ｂを通して順次マイクロコンピュータ８ｂに入力される。マイクロコンピュータ８ｂでは、入力したSMY1、SMC1、SGY1、SGC1の和をSS1として、実施の形態１と同様にフリッカの検出を行う。
【００６０】
さらに、マイクロコンピュータ８ｂでは、検出した色信号ごとのSshortの積分値SMY1、SMC1、SGY1、SGC1と過去２フィールド間に検出した積分値SMY2、SMC2、SGY2、SGC2、SMY3、SMC3、SGY3、SGC3を用いて、蛍光灯フリッカの周期のうちSMY2と同じ位相の信号がSMY1,SMY2,SMY3の積分値の平均値となるようなゲインＡMY、SMC2と同じ位相の信号がSMC1,SMC2,SMC3の積分値の平均値となるようなゲインＡMC、SGY2と同じ位相の信号がSGY1,SGY2,SGY3の積分値の平均値となるようなゲインＡGY、SGC2と同じ位相の信号がSGC1,SGC2,SGC3の積分値の平均値となるようなゲインＡGCを算出し出力する。
【００６２】
第２のフリッカ抑圧手段５では第２のフリッカ検出手段４から出力された４種類のゲインＡMY、ＡMC、ＡGY、ＡGCを入力し、それぞれレジスタ１９ａ、１９ｂ、１９ｃ、１９ｄに格納する。そして、SS1を積分したフィールドから２フィールド後のタイミングで、Sshortに対しセレクタ１８ｃによりMY、MC、GY、GCそれぞれの色信号に対応したゲインＡMY、ＡMC、ＡGY、ＡGCを選択し増幅回路９ａでゲイン補正を行い、フリッカの抑圧されたSshort'として出力する。
【００６３】
画像合成手段６ではフリッカ抑圧された長時間露光信号Slongとフリッカ抑圧された短時間露光信号Sshort'を入力する。短時間露光信号Sshort'は色信号の階調保存のために長時間露光信号と短時間露光信号の光量比にあたるゲインで増幅回路９ｂによって増幅される。ここでは、長時間露光信号の露光時間が１／１００秒、短時間露光信号の露光時間が１／１０００秒なので、ゲインは１０倍となる。
【００６４】
次に画像合成手段６では入力した長時間露光信号Slongを比較器２０において撮像素子１の飽和信号レベルSsatと比較し、セレクタ１８ｄにおいてSlongが飽和している場合にはゲインアップされたSshort'を、飽和していない場合にはSlongを合成画像信号Smixとして出力する。
【００６５】
図８に画像合成手段６の各部における信号の入射光量Ｌと信号レベルＳの関係を示す。図８において、色変調成分を持つ長時間露光信号Slongの包絡線は、三角形O,L1,L2で表される。また、短時間露光信号Sshortの包絡線は三角形O,S1,S2で表される。さらに、合成画像信号Smixの包絡線は三角形O,M1,M2で表される。
【００６６】
なお、本実施の形態における画像合成手段６の構成が実施の形態１から３までと異なるのは、固体撮像素子１の出力信号が色信号による変調成分を持っているためで、本発明の目的であるフリッカの抑圧動作とは直接的な関係はない。
【００６７】
本実施の形態では、各色信号ごとにフリッカ補正の処理を施しているために、これらのばらつきは抑圧され、輝度信号と共に色信号のフリッカも抑圧された出力信号を得ることができる。
【００６８】
（実施の形態５）
ダイナミックレンジを拡大して撮影を行うような固体撮像装置では、被写体として、屋内と屋外を同時に撮影する場合がある。この場合屋内と屋外では、光源の色温度が異なるため、屋内の被写体と屋外の被写体で別々にホワイトバランス補正を施すことが望ましい。一般に屋内の被写体は暗く、屋外の被写体は明るいために、本発明のようなダイナミックレンジの拡大を行うような固体撮像装置では、高輝度部と低輝度部で別々にホワイトバランスの補正処理を施せば、画面全体にホワイトバランスのとれた画像が得られる。
【００６９】
本発明の目的は、フリッカ抑圧手段における増幅回路を利用して、高輝度部のホワイトバランス補正を行うことにより、高輝度部も低輝度部もホワイトバランスのとれた画像を得るというものである。
【００７０】
図１０に本発明の実施の形態５の固体撮像装置の構成図を示す。図１０において、１は撮像手段としての固体撮像素子、２は第１のフリッカ検出手段、３は第１のフリッカ抑圧手段、４は第２のフリッカ検出手段、５は第２のフリッカ抑圧手段、６は画像合成手段、７ｋ〜７ｎ，７ｐは積分回路、８ｂ，８ｄはマイクロコンピュータ、９ａ，９ｂは増幅回路、１７ｂはマルチプレクサ、１８ｂ〜１８ｄはセレクタ、１９ａ〜１９ｄはレジスタ、２０は比較器、２１はカメラ信号処理回路、２２は輝度色分離回路、２３はアパーチャ補正回路、２４ａ，２４ｂはγ補正回路、２５はホワイトバランス補正回路、２６はマトリクス回路である。
【００７１】
固体撮像素子１、第１のフリッカ検出手段２、第１のフリッカ抑圧手段３、第２のフリッカ検出手段４、第２のフリッカ抑圧手段５、画像合成手段６の動作は、実施の形態４に対して、第２のフリッカ検出手段４におけるマイクロコンピュータ８ｂ以外は同様であるため、ここでは省略し、マイクロコンピュータ８ｂの動作については後ほど説明する。
【００７２】
カメラ信号処理回路２１の動作は通常のカメラの動作と同様である。まず画像合成手段６から合成画像信号Smixを入力する。輝度色分離回路２２ではMY、MC、GY、GCで構成される合成画像信号Smixから、以下に示す（数４）により、輝度信号Ｙと色信号Ｒ、Ｇ、Ｂに分離する。
【００７３】
【数４】
0003989615.tif 000002
【００７４】
ここで、Ｃｒ、Ｃｂはそれぞれ赤方向、青方向の色の変調成分を表す。また、ｋ１、ｋ２は、任意の定数で、色分離フィルタの分光特性によって決まるが、例えば、ｋ１、ｋ２ともに０．２という値が用いられる。
【００７５】
このようにして得られた輝度信号Ｙはアパーチャ補正回路２３でフィルタ処理により輪郭補正され、γ補正回路２４ａでγ補正処理されてＹoutとして出力される。同時に色信号Ｒ、Ｇ、Ｂは、積分回路７ｐに入力され、それぞれ１フィールド期間積分されて、積分値ＳＲ、ＳＧ、ＳＢがマイクロコンピュータ８ｄに入力される。
【００７６】
マイクロコンピュータ８ｄでは、入力した積分値ＳＲ、ＳＧ、ＳＢからホワイトバランスのゲインＡＲ、ＡＢをＡＲ＝ＳＧ／ＳＲ、ＡＢ＝ＳＧ／ＳＢによって求め、ホワイトバランス補正回路２５において、Ｒ信号に対してはゲインＡＲで増幅し、Ｂ信号に対してはゲインＡＢで増幅する事によってホワイトバランス補正を施す。次にγ補正回路２４ｂではホワイトバランス回路２５から出力された各原色信号に対してγ補正処理し、マトリクス回路２６において所定のマトリクス処理を施し、色差信号Ｒ−Ｙ、Ｂ−Ｙとして出力する。
【００７７】
また、マイクロコンピュータ８ｄは、積分値ΣＲ、ΣＧ、ΣＢをマイクロコンピュータ８ｂに転送する。
【００７８】
マイクロコンピュータ８ｂは積分回路７ｋ、７ｌ、７ｍ、７ｎの積分値SMY1、SMC1、SGY1、SGC1とマイクロコンピュータ８ｄから出力されるＳＲ、ＳＧ、ＳＢを入力し、以下に示す（数５）によってホワイトバランスの検出のためのデータを抽出する。
【００７９】
【数５】
0003989615.tif 000003
【００８０】
ここで、ＳＣｒ、ＳＣｂは、赤方向、青方向の色差変調成分を輝度信号成分で規格化したものと同等となり、明るさの変化の影響を受けない色座標を与える。また、ＳＲＧ、ＳＢＧは、赤、青の原色信号成分を緑信号で規格化したものであり、やはり、明るさの変化の影響を受けない色座標を与える。
【００８１】
図１１にホワイトバランスのための色座標空間を示す。図１１（ａ）は縦軸にＳＣｒ、横軸にＳＣｂをとったものであり、図１１（ｂ）は縦軸にＳＲＧ、横軸にＳＢＧをとったものであり、いずれの色座標空間においても、各種光源の色座標は、例えば、色温度の低い光源の場合はＴ１に、色温度が高い光源の場合はＴ５にという具合に図の中央部Ｔ３を通る曲線の付近の長方形で表した領域に分布する。
【００８２】
ここで、図１１（ａ）に示す色温度座標空間は、短時間露光信号Sshortから得られた、いわば高輝度領域の色温度を表し、図１１（ｂ）に示す色温度座標空間は、画像合成後の信号Smixから得られた合成後の色温度を表す。この２つの座標に（数５）で得られる各信号に対する光源の色温度座標を配置した場合に、同じ光源を表す領域に分布する場合はよいが、異なる光源を表す領域に分布する場合は、高輝度領域と低輝度領域で光源が異なると考えられる。そこで、マイクロコンピュータ８ｂでは、２つの色温度座標における光源の分布がおおむね同一の位置に分布するようなゲインを算出する。
【００８３】
例えば、Sshortから検出した光源の座標が屋外を表すＴ５であり、Smixから検出した光源の座標が屋内を表すＴ３である場合について説明する。
【００８４】
（表１）に図１１における５つの光源の色温度座標と各色フィルタの出力信号レベル比を示す。なお、この値は固体撮像素子の色フィルタ等の分光特性によって変化する。
【００８５】
【表１】
0003989615.tif 000004
【００８６】
検出した色温度Ｔ５をＴ３になる様に補正するために、マイクロコンピュータ８ｂでは、Ｔ３の各色フィルタのレベル比( MY , MC , GY , GC )_T3 = ( 1.0 , 1.0 , 1.0 , 1.0 )をＴ５の各色フィルタのレベル比( MY , MC , GY , GC )_T5 = ( 1.0 , 1.3 , 0.9 , 1.2 )で割ることで得られるゲイン( AwMY , AwMC , AwGY , AwGC ) = ( 1.0 , 0.77 , 1.11 , 0.83 ) = ( MY , MC , GY , GC )_T3／( MY , MC , GY , GC )_T5を得る。Sshortの各色フィルタごとの信号にこのゲインをかければ、ホワイトバランスをほぼ一致させることができる。
【００８７】
マイクロコンピュータ８ｂでは実施の形態４と同様に検出したフリッカ補正ゲイン( AMY , AMC , AGY , AGC )と以上のようにして求めたホワイトバランスゲイン( AwMY , AwMC , AwGY , AwGC )をそれぞれ掛け合わせて新たに( AMY , AMC , AGY , AGC )として出力する。
【００８８】
第２のフリッカ抑圧手段５ではマイクロコンピュータ８ｂから出力された４種類のゲインＡMY、ＡMC、ＡGY、ＡGCを入力し、それぞれレジスタ１９ａ、１９ｂ、１９ｃ、１９ｄに格納する。そして、SS1を積分したフィールドから２フィールド後のタイミングで、Sshortに対しセレクタ１８ｃによりMY、MC、GY、GCそれぞれの色信号に対応したゲインＡMY、ＡMC、ＡGY、ＡGCを選択し増幅回路９ａでゲイン補正を行い、フリッカの抑圧されたSshort'として出力する。
【００８９】
画像合成手段６では実施の形態４と同様に合成処理し、ダイナミックレンジが拡大されると共にフリッカ抑圧され、しかも高輝度部と低輝度部のホワイトバランスが一致した合成画像信号Smixとして出力する。
【００９０】
なお、本実施の形態では、光源の座標と各色フィルタごとのゲインを表で与え、マイクロコンピュータ８ｂ内に記憶した状態で処理を行っているが、光源の座標と各色フィルタごとのゲインは（数４）、（数５）の関係を用いて演算によって求めることもできる。この場合はマイクロコンピュータ８ｂの演算量は増えるが、メモリ容量を減らすことができる。
【００９１】
また、本実施の形態ではマイクロコンピュータを８ｂと８ｄの２種類用いたが、１つのマイクロコンピュータを時分割で用いても同様の効果が実現できる。
【００９２】
（実施の形態６）
本発明の固体撮像装置は、ダイナミックレンジの拡大された信号を出力することができるために、屋外と屋内という様な光源の異なる被写体を撮像する場合がある。このような場合に、屋内は蛍光灯のためにフリッカが発生し、屋外は太陽光のためにフリッカが発生しないために、画面に対して均一なフリッカ抑圧処理を施すと画面の一部においてフリッカが抑圧できない場合が発生する。
【００９３】
本発明の目的は、画面を複数のブロックに分割し、各ブロックごとにフリッカ補正を施すことにより、複数の光源が存在するような場合でも、画面全体にわたってフリッカの抑圧された信号が得られるようにするというものである。
【００９４】
図１２は本発明の実施の形態６の固体撮像装置の構成を示す構成図である。図１２において、１は撮像手段としての固体撮像素子、２は第１のフリッカ検出手段、３は第１のフリッカ抑圧手段、４は第２のフリッカ検出手段、５は第２のフリッカ抑圧手段、６は画像合成手段である。また、図１３および図１４に第１のフリッカ検出手段２および第２のフリッカ検出手段４の構成を示す。
【００９５】
固体撮像素子１から出力された長時間露光信号Slongと短時間露光信号Sshortは画像合成手段６における加算器１０で加算処理されて、合成画像信号Smixとして出力される。
【００９６】
第１のフリッカ検出手段２では、実施の形態３と同様に合成画像信号Smixを入力し、ブロック積分手段１６により、１フィールド期間後に４８ブロックのブロック積分値SB1からSB48がマイクロコンピュータ８ｃに入力される。
【００９７】
マイクロコンピュータ８ｃでは、実施の形態３と同様にフリッカを検出し、第１のフリッカ抑圧手段３により長時間露光信号Slongのフリッカを抑圧する。
【００９８】
また、第２のフリッカ検出手段４は実施の形態２と同様に短時間露光信号Sshortを入力する。入力した短時間露光信号Sshortは、第２のフリッカ検出手段４のブロック積分手段１６ｂに入力される。ブロック積分手段１６ｂではマルチプレクサ１７ｂが実施の形態３における第１のフリッカ検出手段２と同様に図５のように画面を横８縦６の４８ブロックに分けた４８ブロックのブロック積分値SB1(1)からSB1(48)がマイクロコンピュータ８ｄに入力される。
【００９９】
マイクロコンピュータ８ｄでは、各ブロックごとの積分値SB1(1)からSB1(48)と過去５フィールド分のブロックごとの積分値を用いて、フリッカを検出する。
【０１００】
さらに、マイクロコンピュータ８ｄでは、Sshortのブロックごとの積分値SB1(n)、SB2(n)、SB3(n)を用いて、蛍光灯フリッカの周期のうちSB2(n)と同じ位相の信号がSB1(n),SB2(n),SB(3)の積分値の平均値となるようなゲインＡMYブロックごとのフリッカ補正ゲインＡ(n)を算出し出力する。
【０１０２】
このブロックごとのフリッカ補正ゲインによって第２のフリッカ抑圧手段５においてフリッカ抑圧すれば、画面各部でフリッカが抑圧された信号が得られるが、フリッカ補正のゲインが隣のブロックのゲインと異なる場合には、ブロックの変わり目で補正量の不連続が発生する。
【０１０３】
第２のフリッカ抑圧手段５では第２のフリッカ検出手段４から出力されたゲインＡを入力し、各ブロックのゲインＡ（ｎ）を補間回路２７に入力し、画素ごとのゲインＡpixelを求める。Ａpixelは、ゲイン補正を行う画素のブロックおよびそのブロックの周囲のブロックのゲインの画素位置による重み付け処理で求められる。
【０１０４】
増幅回路９では、補間回路２７から入力した画素ごとのゲインＡpixelを用いてSB1を積分したフィールドから２フィールド後のタイミングで、Sshortに対しゲイン補正を行い、フリッカの抑圧されたSshort'として出力する。
【０１０５】
第２のフリッカ検出手段４において、画面を複数のブロックに分割し、第２のフリッカ抑圧手段５において各ブロックごとにフリッカ補正を施すことにより、複数の光源が存在するような場合でも、画面全体にわたってフリッカの抑圧された信号が得ることができる。
【０１０６】
なお、本実施の形態ではマイクロコンピュータを８ｃと８ｄの２種類用いているが、１つのマイクロコンピュータを時分割で用いても同様の効果を得ることができる。
【０１０７】
また、本実施の形態では、第１のフリッカ抑圧手段３を撮像素子のシャッタスピードの調整で得たが、第２のフリッカ抑圧手段５と同様にブロックごとのゲイン補正によって得ても良い。
【０１０８】
（実施の形態７）
本発明の固体撮像装置は、露光量の異なる信号を合成してダイナミックレンジの拡大された信号を得るものであるが、ダイナミックレンジの拡大された信号の階調性を自然なものにするには、階調補正回路が必要となる。
【０１０９】
本発明の目的は、階調補正回路でフリッカ抑圧を施すことにより、回路の簡略化を行うというものである。
【０１１０】
図１５は本発明の実施の形態７の固体撮像装置の構成を表す構成図である。図１５において、１は撮像手段としての固体撮像素子、２は第１のフリッカ検出手段、３は第１のフリッカ抑圧手段、４は第２のフリッカ検出手段、５は第２のフリッカ抑圧手段、６は画像合成手段、７ａ，７ｂは積分回路、８ａ，８ｂはマイクロコンピュータ、１０は加算回路、２８は階調補正回路、２９は階調特性変更手段である。
【０１１１】
固体撮像素子１、第１のフリッカ検出手段２、第１のフリッカ抑圧手段３および画像合成手段６の動作は、実施の形態３に準じるのでここでは省略する。
【０１１２】
つぎに、第２のフリッカ検出手段４は画像合成手段６の出力信号Smixを入力し、図４に示す実施の形態３と同様な構成により画面を複数の領域に分割したブロック積分値がマイクロコンピュータ８ｃに入力される。
【０１１３】
マイクロコンピュータ８ｃでは、入力した４８ブロックのブロック積分値のうち一定値以上のブロックの積分値を抽出し、その平均値からフィールドを代表する高輝度部の積分値SM1を得る。次にマイクロコンピュータ８ｃではSM1と過去５フィールド分のSmixの代表の積分値SM2、SM3、SM4、SM5、SM6を用いて、実施の形態２と同様にフリッカを検出する。
【０１１４】
階調特性変更手段２９では第２のフリッカ検出手段４で検出したフリッカ補正ゲインに応じて、フィールド毎に高輝度部のみの階調特性を変更する。階調補正回路２８は、階調特性変更手段２９から与えられた階調特性に応じて、合成信号Smixの階調補正を行う。
【０１１５】
図１６にフリッカ補正を施した場合の階調特性変更手段から出力される階調特性を示す。図１６に示すように、第２のフリッカ抑圧手段５で抑圧すべき高輝度部の信号のみにフリッカ補正のゲインAH0,AH1,AH2をかけることができる。
【０１１６】
ここで、図１６に示したように階調特性でフリッカ補正をかける場合には、高輝度部ほどフリッカゲインを大きくとる必要があるので、階調特性変更手段２９に与える階調特性は、高輝度部ほどフィールド間の変化が大きくなるように調整する。
【０１１７】
ここで、階調補正回路２８としては、ランダムアクセスメモリに階調補正カーブを記憶させるものや、折れ線近似により実現するものがあるが、前者の場合は、メモリに書き込むカーブの情報、後者の場合は折れ線の傾きやオフセットの値を変更することで、階調特性を変更することができる。
【０１１８】
これにより、実施の形態３で用いていた増幅回路９を省略することができる。
以上のように本実施の形態によれば、画像合成手段６で合成された信号に対して階調補正を施す階調補正回路５と、階調補正回路５の階調特性を順次変更する階調特性変更手段２９を有し、複数のフリッカ検出手段の内少なくとも一つは、画像合成手段６で合成された信号からフリッカ成分を検出し、複数のフリッカ抑圧手段の内少なくとも一つは、階調補正回路５の階調特性を調整することによって得ることにより、回路の簡略化を行うことができるというものである。
【０１１９】
（実施の形態８）
実施の形態７では、第２のフリッカ補正手段として、高輝度部のみに階調補正によるフリッカ補正を施したが、同様の構成で、低輝度部に対しても、フリッカ補正を施すことができる。
【０１２０】
本発明の目的は、階調補正回路の高輝度部と低輝度部にそれぞれ別々のゲインを与えることによって、第１のフリッカ抑圧手段と第２のフリッカ抑圧手段を共用しようというものである。
【０１２１】
図１７は、本発明の実施の形態８の固体撮像装置の構成図である。図１７に示した構成は、図１５の構成から第１のフリッカ検出手段２と第１のフリッカ抑圧手段３を取り除いたものである。図１７において、固体撮像素子１、画像合成手段６の動作は実施の形態７に準じるので省略する。
【０１２２】
第２のフリッカ検出手段４は、画像合成手段６の出力信号Smixを入力し、図４に示す実施の形態３と同様な画面を複数の領域に分割したブロック積分値がマイクロコンピュータ８ｃに入力される。
【０１２３】
マイクロコンピュータ８ｃでは、入力した４８ブロックのブロック積分値のうち一定値以上のブロックの積分値を抽出し、その平均値からフィールドを代表する高輝度部の積分値SH1を得る。次にマイクロコンピュータ８ｃではSH1と過去５フィールド分のSmixの代表の積分値SH2、SH3、SH4、SH5、SH6を用いて、実施の形態７と同様に高輝度部のフリッカを検出する。
【０１２４】
また、マイクロコンピュータ８ｃでは、入力した４８ブロックのブロック積分値のうち一定値以下のブロックの積分値を抽出し、その平均値からフィールドを代表する低輝度部の積分値SL1を得る。次にマイクロコンピュータ８ｃではSL1と過去５フィールド分のSmixの代表の積分値SL2、SL3、SL4、SL5、SL6を用いて、今度は低輝度部のフリッカを検出する。
【０１２５】
階調特性変更手段２９では、第２のフリッカ検出手段４で検出したフリッカ補正ゲインに応じて、フィールド毎に高輝度部および低輝度部の階調特性を変更する。階調補正回路２８は、階調特性変更手段２９から与えられた階調特性に応じて、合成信号Smixの階調補正を行う。
【０１２６】
図１８にフリッカ補正を施した場合の階調特性変更手段２９から出力される階調特性を示す。図１８に示すように、第１、第２のフリッカ抑圧手段で抑圧すべき低輝度部及び高輝度部の信号に独立にフリッカ補正のゲインAL0,AL1,AL2および、AH0,AH1,AH2,をかけることができる。
【０１２７】
これにより、実施の形態７で用いていた第１のフリッカ検出手段２及び第１のフリッカ抑圧手段３を省略することができる。
【０１２８】
本実施の形態によれば、画像合成手段６で合成された信号に対して階調補正を施す階調補正回路２８と、階調補正回路２８の階調特性を順次変更する階調特性変更手段２９を有し、複数のフリッカ検出手段の内少なくとも一つは、画像合成手段６で合成された信号からフリッカ成分を検出し、複数のフリッカ抑圧手段の内少なくとも一つは、階調補正回路２８の階調特性を調整することによって得ることにより、回路の簡略化を行うことができるというものである。
【０１２９】
（実施の形態９）
実施の形態１から８では第２のフリッカ抑圧手段において、短時間露光信号Sshortの３フィールドの信号レベルの平均値が一定となるように補正していた。この場合、長時間露光信号Slongと短時間露光信号Sshortは独立に補正が施されているために、フリッカ補正後のSlongとSshortの比が変動する場合がある。このような場合、特に画像合成手段でSshortの増幅率を調整して画像合成処理を行う場合に、信号がうまくつながらなくなり階調特性が不連続となる。
【０１３０】
図２１に露光量の比が想定した値からずれた場合のSlong',Sshort',Smixの関係を示す。図２１において、Slong',Sshort'は実線で、Sshort'に想定したゲインAoをかけたものを破線で、Smixは太線で示した。図２１でSmixは光量L1の付近で階調特性が不連続になっている。
【０１３１】
本発明の目的は、露光量の異なる複数の出力信号の平均信号レベルを検出する複数の信号レベル検出回路と前記複数の信号レベル検出回路の出力信号からフリッカ補正後の露光量の比を算出する演算手段とフリッカ補正のゲインを算出するゲイン算出手段を有し、演算手段では、フリッカ補正後の露光量の比が所定の値になるようなゲインを算出することにより、安定した階調特性を得ようというものである。
【０１３２】
図１９は実施の形態９の固体撮像装置の構成を示す構成図である。図１９において、１は撮像手段としての固体撮像素子、２は第１のフリッカ検出手段、３は第１のフリッカ抑圧手段、４は第２のフリッカ検出手段、５は第２のフリッカ抑圧手段、６は画像合成手段、７ａ，７ｂは積分回路、８ａ，８ｂはマイクロコンピュータ、９ａ，９ｂは増幅回路、１８ｄはセレクタ、２０は比較器、３０ａ，３０ｂは信号レベル検出回路、３１は演算手段である。
【０１３３】
第１のフリッカ検出手段３は、長時間露光信号Slongから低輝度部のフリッカ補正ゲインを算出し、第１のフリッカ抑圧手段３は増幅器９ａによりSlongのフリッカ成分を抑圧した信号Slong'を出力する。
【０１３４】
第２のフリッカ検出手段４は、短時間露光信号Sshortから高輝度部のフリッカ補正ゲインを算出し、第２のフリッカ抑圧手段５は増幅器９ｂによりSshortのフリッカ成分を抑圧した信号Sshort'を出力する。
【０１３５】
信号レベル検出回路３０ａはフリッカ補正された長時間露光信号信号Slong'を入力し、１フィールド期間の平均の信号レベルSlm1を演算手段３１としてのマイクロコンピュータに出力する。また、信号レベル検出回路３０ｂはフリッカ補正された短時間露光信号信号Sshort'を入力し、１フィールド期間の平均の信号レベルSsm1を演算手段３１としてのマイクロコンピュータに出力する。
【０１３６】
演算手段３１では、信号レベル検出回路３０ａ，３０ｂから得た長時間露光信号Slong'と短時間露光信号Sshort'の平均値の３フィールド分の平均値Slm3、Ssm3から補正ゲインAcを求める。この時補正ゲインは当初設定した露光量の比をAoとすると、Ac＝Ao・Ssm3/Slm3で表される。
【０１３７】
第２のフリッカ検出手段４におけるマイクロコンピュータ８ｂは短時間露光信号Sshortに対するフリッカゲインAsに対して、補正ゲインAcをかけたものを新たなフリッカゲインAs'として第２のフリッカ抑圧手段５に転送し、フリッカの抑圧を施す。
【０１３８】
これによって、長時間露光信号Slong及び短時間露光信号Sshortに対してフリッカ補正を施してもフリッカ補正後のSlong'とSshort'の比が所定の値となり、画像合成手段６において連続した階調特性の出力信号を得ることができる。
【０１３９】
図２１にゲインを補正した場合のSmixの特性を細線で示す。ゲイン補正により、光量Ｌ１における階調特性の不連続は改善される。
【０１４０】
本実施の形態によれば、露光量の異なる複数の出力信号の平均信号レベルを検出する複数の信号レベル検出回路３０ａ，３０ｂと前記複数の信号レベル検出回路の出力信号からフリッカ補正後の露光量の比を算出する演算手段３１とフリッカ補正のゲインを算出するゲイン算出手段を有し、ゲイン算出手段では、フリッカ補正後の露光量の比が所定の値になるようにすることにより、安定した階調特性を得ることができるというものである。
【０１４１】
なお、本実施の形態では、演算手段３１で算出した補正ゲインAcを第２のフリッカ抑圧手段５の増幅器９ｂで与えているが、図２０に示すように補正ゲインAcを画像合成手段６の増幅回路９ｃで与えても同様の効果を得ることができる。
【０１４２】
（実施の形態１０）
実施の形態１０は、短時間露光信号のホワイトバランスに関して、実施の形態５に対して別の形態をとったものである。
【０１４３】
本発明の目的は、露光量の異なる複数の出力信号の色温度を検出する複数の色温度検出手段と、色温度補正のためのゲインとフリッカ補正のためのゲインと前記２つのゲインを合成したゲインを算出するゲイン算出手段を有し、前記ゲイン算出手段で算出されたゲインを用いてフリッカ抑圧手段におけるフリッカ補正のゲインおよびホワイトバランスを調整することである。
【０１４４】
図２２は実施の形態１０の固体撮像装置の構成を示す構成図である。図２２において、１は撮像手段としての固体撮像素子、２は第１のフリッカ検出手段、３は第１のフリッカ抑圧手段、４は第２のフリッカ検出手段、５は第２のフリッカ抑圧手段、６は画像合成手段、７ａ，７ｂは積分回路、８ａ，８ｂはマイクロコンピュータ、９ａ，９ｂ，９ｃは増幅回路、１８ｃ，１８ｄはセレクタ、１９ａ〜１９ｄはレジスタ、２０は比較器、３１は演算手段、３２ａ，３２ｂはホワイトバランス検出手段である。
【０１４５】
図２２において、第１のフリッカ検出手段２は長時間露光信号Slongから低輝度部の輝度信号成分のフリッカ補正ゲインを算出し、第１のフリッカ抑圧手段３は増幅器９ａによりSlongのフリッカ成分を抑圧した信号Slong'を出力する。
【０１４６】
第２のフリッカ検出手段４は短時間露光信号Sshortから高輝度部の輝度信号成分のフリッカ補正ゲインを算出し、第２のフリッカ抑圧手段５は増幅器９ｂによりSshortのフリッカ成分を抑圧した信号Sshort'を出力する。
【０１４７】
フリッカ補正が施された長時間露光信号Slong'はホワイトバランス検出回路３２ａに入力される。このホワイトバランス検出回路の構成は実施の形態５における第２のフリッカ検出手段４と同様の構成で実現できる。ホワイトバランス検出回路３２ａからは、図１１（ａ）に示されるような色温度情報（ＳＣｒｌ，ＳＣｂｌ）が得られる。同様にフリッカ補正が施された短時間露光信号Sshort'がホワイトバランス検出回路３２ｂに入力され、長時間露光信号と同様に図１１（ａ）に示されるような色温度情報（ＳＣｒｓ，ＳＣｂｓ）が得られる。演算手段３０としてのマイクロコンピュータはホワイトバランス検出回路３２ａ、３２ｂで検出された２つの色温度情報を入力し、短時間露光信号の色温度情報（ＳＣｒｓ，ＳＣｂｓ）が長時間露光信号の色温度情報（ＳＣｒｌ，ＳＣｂｌ）に近づくように固体撮像素子１の色フィルタ毎のゲインを算出する。具体的には、ＳＣｒｓを大きくしたい場合は、ＡＭＹを大きくし、ＡＧＣを小さくする。小さくしたい場合はその逆に制御する。また、ＳＣｂｓを大きくしたい場合はＡＭＣを大きくし、ＡＧＹを小さくする。
【０１４８】
このような動作により、第２のフリッカ抑圧手段５から出力される短時間露光信号Sshort'の色温度情報を長時間露光信号Slong'の色温度情報と一致させることができる。
【０１４９】
この後、図示していないが画像合成手段６の出力信号であるSmixをカメラ信号処理において通常のホワイトバランス処理することによって、高輝度部から低輝度部まで最適なホワイトバランス調整を行うことができる。
【０１５０】
本実施の形態によれば、露光量の異なる複数の出力信号の色温度を検出する複数の色温度検出手段と、色温度補正のためのゲインとフリッカ補正のためのゲインと前記２つのゲインを合成したゲインを算出するゲイン算出手段を有し、前記ゲイン算出手段で算出されたゲインを用いてフリッカ抑圧手段におけるフリッカ補正のゲインおよびホワイトバランスを調整することができるというものである。
【０１５１】
（実施の形態１１）
実施の形態１０では、第１のフリッカ検出手段２で低輝度部の輝度フリッカを検出し、第１のフリッカ抑圧手段３で低輝度部のフリッカを抑圧し、第２のフリッカ検出手段４で高輝度部の輝度フリッカ成分を検出し、第２のフリッカ抑圧手段５では、第２のフリッカ検出手段４で検出されるフリッカゲインとホワイトバランス検出手段３２ａ，３２ｂおよび演算手段３１で算出されたを合成してフリッカ補正と同時に高輝度部のホワイトバランス補正を実現している。しかしながら、実施の形態１０の構成では、高輝度部の色フリッカに対応していないので、フリッカのある被写体では色成分のみがフリッカを起こすという現象が生じる。
【０１５２】
本発明の目的は、複数の色温度検出手段のうち少なくとも一つは、フリッカ周期に対応した複数の色温度情報を検出し、フリッカ抑圧手段のうち少なくとも一つは、フリッカ周期に対応した色温度の変化を抑圧することにより、色フリッカ成分を抑圧するというものである。
【０１５３】
図２３は本発明の実施の形態１１の固体撮像装置の構成を示す構成図である。図２３において、１は撮像手段としての固体撮像素子、２は第１のフリッカ検出手段、３は第１のフリッカ抑圧手段、４は第２のフリッカ検出手段、５は第２のフリッカ抑圧手段、６は画像合成手段、７ａ，７ｂは積分回路、８ａ，８ｂはマイクロコンピュータ、９ａ〜９ｃは増幅回路、１８ｃ〜１８ｄはセレクタ、１９ａ〜１９ｄはレジスタ、２０は比較器、３１は演算手段、３２ａ〜３２ｄはホワイトバランス検出手段である。
【０１５４】
実施の形態１１の固体撮像装置の構成は実施の形態１０の固体撮像装置の構成に対し、短時間露光信号Sshortに対するホワイトバランス検出回路３２ｂ，３２ｃ，３２ｄの構成が異なっている。
【０１５５】
図２３で、第１のフリッカ検出手段２は、長時間露光信号Slongから低輝度部の輝度信号成分のフリッカ補正ゲインを算出し、第１のフリッカ抑圧手段３は増幅器９ａによりSlongのフリッカ成分を抑圧した信号Slong'を出力する。
【０１５６】
第２のフリッカ検出手段４は、短時間露光信号Sshortから高輝度部の輝度信号成分のフリッカ補正ゲインを算出し、第２のフリッカ抑圧手段５は増幅器９ｂによりSshortのフリッカ成分を抑圧した信号Sshort'を出力する。
【０１５７】
短時間露光信号Sshort'はセレクタ１８ｅに入力され、フィールド毎にホワイトバランス検出手段３２ｂ，３２ｃ，３２ｄに入力される。すなわち各ホワイトバランス検出手段３２ｂ〜３２ｄは、３フィールド毎に色温度情報を得ることになる。このようにして得られた３フィールド毎の色温度情報と長時間露光信号Slong'から得られる色温度情報との関係から演算手段３１としてのマイクロコンピュータで３フィールド毎のホワイトバランスゲインが算出される。
【０１５８】
第２のフリッカ検出手段４では短時間露光信号の輝度フリッカ補正ゲインと、３フィールド毎のホワイトバランス補正ゲインが合成されて、第２のフリッカ抑圧手段５によりゲイン調整され、輝度フリッカと共に色フリッカも抑圧された出力信号を得ることができる。
【０１５９】
本実施の形態によれば、複数の色温度検出手段のうち少なくとも一つは、フリッカ周期に対応した複数の色温度情報を検出し、フリッカ抑圧手段のうち少なくとも一つは、フリッカ周期に対応した色温度の変化を抑圧することにより、色フリッカ成分を抑圧することができるというものである。
【０１６０】
なお、実施の形態１〜１１において、マイクロコンピュータが複数使用されている場合があるが、実際には全て１つのマイクロコンピュータで実現できることは、言うまでもない。
【０１６１】
【発明の効果】
以上のように本発明によれば、ダイナミックレンジを拡大しつつ高輝度部でも低輝度部でもフリッカを抑圧することができるというものである。
【０１６２】
また、本発明の別の効果は、各色信号ごとにフリッカ補正の処理を施しているために、これらのばらつきは抑圧され、輝度信号と共に色信号のフリッカも抑圧された出力信号を得ることができるというものである。
【０１６３】
本発明のさらに別の効果は、フリッカ抑圧手段における増幅回路を利用して、高輝度部のホワイトバランス補正を行うことにより、高輝度部も低輝度部もホワイトバランスのとれた画像を得ることができるというものである。
【０１６４】
本発明のさらに別の効果は、画面を複数のブロックに分割し、各ブロックごとにフリッカ補正を施すことにより、複数の光源が存在するような場合でも、画面全体にわたってフリッカの抑圧された信号を得ることができるというものである。
【０１６５】
本発明のさらに別の効果は、複数のフリッカ検出手段の内少なくとも一つは、画像合成手段で合成された信号からフリッカ成分を検出し、複数のフリッカ抑圧手段の内少なくとも一つは、前記階調補正回路の階調特性を調整することによって得ることにより、回路の簡略化を行うことができるというものである。
【０１６６】
本発明のさらに別の効果は、露光量の異なる複数の出力信号の平均信号レベルを検出する複数の信号レベル検出回路と前記複数の信号レベル検出回路の出力信号からフリッカ補正後の露光量の比を算出する演算手段とフリッカ補正のゲインを算出するゲイン算出手段を有し、ゲイン算出手段では、フリッカ補正後の露光量の比が所定の値になるようにすることにより、安定した階調特性を得ることができるというものである。
【０１６７】
本発明のさらに別の効果は、露光量の異なる複数の出力信号の色温度を検出する複数の色温度検出手段と、色温度補正のためのゲインとフリッカ補正のためのゲインと前記２つのゲインを合成したゲインを算出するゲイン算出手段を有し、前記ゲイン算出手段で算出されたゲインを用いてフリッカ抑圧手段におけるフリッカ補正のゲインおよびホワイトバランスを調整することができるというものである。
【０１６８】
本発明のさらに別の効果は、複数の色温度検出手段のうち少なくとも一つは、フリッカ周期に対応した複数の色温度情報を検出し、フリッカ抑圧手段のうち少なくとも一つは、フリッカ周期に対応した色温度の変化を抑圧することにより、色フリッカ成分を抑圧することができるというものである。
【図面の簡単な説明】
【図１】本発明の実施の形態１による固体撮像装置の構成を表す構成図
【図２】同固体撮像装置の全画素読み出し型の固体撮像素子の構成図
【図３】本発明の実施の形態２による固体撮像装置の構成を表す構成図
【図４】同実施の形態３の固体撮像装置の第１のフリッカ検出手段の構成を示す構成図
【図５】同固体撮像装置のブロック積分手段における画面分割の様子を示す模式図
【図６】本発明の実施の形態４による固体撮像装置の構成を表す構成図
【図７】同固体撮像装置の撮像手段としての固体撮像素子の構成を表す構成図
【図８】同固体撮像装置の画像合成手段の各部における信号の入射光量と信号レベルの関係を示す波形図
【図９】（ａ）同固体撮像装置の各色の明るさの波形を示す波形図
（ｂ）同固体撮像装置のＡ、Ｂ、Ｃ、Ｄのタイミングで短時間露光を行った場合のMY、MC、GY、GCの各画素の平均の出力値を示す波形図
【図１０】本発明の実施の形態５による固体撮像装置の構成図
【図１１】同実施の形態５の固体撮像装置のホワイトバランスのための色座標空間図
【図１２】同実施の形態６の固体撮像装置の構成を示す構成図
【図１３】同実施の形態６の固体撮像装置の第１のフリッカ検出手段の構成図
【図１４】同実施の形態６の固体撮像装置の第２のフリッカ検出手段の構成図
【図１５】同実施の形態７の固体撮像装置の構成を示す構成図
【図１６】同実施の形態７の階調補正回路の階調特性図
【図１７】同実施の形態８の固体撮像装置の構成図
【図１８】同実施の形態８の階調補正回路の階調特性図
【図１９】同実施の形態９の固体撮像装置の構成図
【図２０】同実施の形態９の固体撮像装置の構成図
【図２１】同実施の形態９の固体撮像装置のSlong,Sshort,Smixの関係を示す光電変換図
【図２２】同実施の形態１０の固体撮像装置の構成図
【図２３】同実施の形態１１の固体撮像装置の構成図
【図２４】従来の固体撮像装置の構成を示す構成図
【図２５】従来の固体撮像装置のSlong、Sshort、Smixの関係を示す光電変換図
【符号の説明】
１  固体撮像素子
２  第１のフリッカ検出手段
３  第１のフリッカ抑圧手段
４  第２のフリッカ検出手段
５  第２のフリッカ抑圧手段
６  画像合成手段
７ａ，７ｂ  積分回路
８ａ，８ｂ  マイクロコンピュータ
９  増幅回路
１０  加算回路
【図１】
0003989615.tif 000005
【図２】
0003989615.tif 000006
【図３】
0003989615.tif 000007
【図４】
0003989615.tif 000008
【図５】
0003989615.tif 000009
【図６】
0003989615.tif 000010
【図７】
0003989615.tif 000011
【図８】
0003989615.tif 000012
【図９】
0003989615.tif 000013
【図１０】
0003989615.tif 000014
【図１１】
0003989615.tif 000015
【図１２】
0003989615.tif 000016
【図１３】
0003989615.tif 000017
【図１４】
0003989615.tif 000018
【図１５】
0003989615.tif 000019
【図１６】
0003989615.tif 000020
【図１７】
0003989615.tif 000021
【図１８】
0003989615.tif 000022
【図１９】
0003989615.tif 000023
【図２０】
0003989615.tif 000024
【図２１】
0003989615.tif 000025
【図２２】
0003989615.tif 000026
【図２３】
0003989615.tif 000027
【図２４】
0003989615.tif 000028
【図２５】
0003989615.tif 000029