(57)【要約】【課題】  高速な読み出しを行う場合に発生する画面内のフリッカの低減を可能にする撮像装置を提供すること。【解決手段】  光を電気に変換するための画素を行方向及び列方向に複数配置される画素アレイを有する撮像素子と、前記撮像素子から読み出された画像データにおいて明滅の発生を検出する検出手段と、を備え、前記撮像素子は、前記画素から信号を読み出すため列ごとに設けられた複数の出力線と、前記複数の出力線の数に対応する複数の行ごとに前記画素を順次駆動するための駆動手段とをさらに有し、前記検出手段は、前記複数の行ごとに画像データにおける明滅の発生を検出することを特徴とする。【選択図】  図４
2020092374.tif 000002
【特許請求の範囲】
【請求項１】
光を電気に変換するための画素を行方向及び列方向に複数配置される画素アレイを有する撮像素子と、
前記撮像素子から読み出された画像データにおいて明滅の発生を検出する検出手段と、
を備え、
前記撮像素子は、前記画素から信号を読み出すため列ごとに設けられた複数の出力線と、
前記複数の出力線の数に対応する複数の行ごとに前記画素を順次駆動するための駆動手段とをさらに有し、
前記検出手段は、前記複数の行ごとに画像データにおける明滅の発生を検出することを特徴とする撮像装置。
【請求項２】
前記検出手段は、時間的または位置的に近接して読み出された画像データに基づいて、前記複数の行ごとに画像データにおける明滅の発生を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段の検出結果に基づいて前記画像データを補正する補正手段を更に備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記補正手段は、少なくとも画像データにゲイン処理をする第１の補正手段を含み、
前記第１の補正手段におけるゲイン処理の係数は補正を行う画像データを取得した画素が含まれる領域の周辺領域の画像データから決定されることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記補正手段は、少なくとも画像データにオフセット処理または補間処理をする第２の補正手段を含むことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記補正手段は前記第１の補正手段の補正の結果及び前記第２の補正手段の補正の結果を判定する判定手段を含み、
前記判定手段は、各補正手段の補正の結果の判定結果に基づいて、いずれの補正の結果を出力するかを切り替えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記検出手段は前記複数の行を行方向に分割した複数の領域ごとに画像データにおける明滅の発生を検出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記検出手段は画像データに含まれる被写体の存在によって前記複数の行を行方向に分割することを特徴とする請求項７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に画像補正処理手段を備える撮像装置に関するものである。
【背景技術】
【０００２】
撮像装置における高解像度動画や高フレームレート動画の需要が高まっていることや、静止画の撮像コマ速の向上が求められていることを背景として、撮像素子からの読み出しの高速化を目指した技術開発が進められている。その中で、複数行を同時に読み出す方法がある。これは複数行の画素情報を同時に転送して読み出すことで、１行ずつ読み出す場合と比較して読み出しの高速化を図るものである。
【０００３】
複数行を同時に転送して画面の走査を行う構成において、画面上部から順次露光と読み出しを行うスリットローリング読み出しを行う場合を考える。この時、画素情報の転送タイミングが異なる行では、露光するタイミングが異なることになる。このような場合において、被写体を照らす光源や被写体自身が明滅していると、画面内の露光タイミングのずれに起因して画面に光量の違いに起因する輝度段差（以下、フリッカと称することがある）が発生することがある。
【０００４】
特許文献１では画像信号を複数の領域に分割し、各々の領域でフリッカを検出し、補正を行う方法が開示されている。また、当該文献においてその補正の方法は、各々の検出枠に対してフリッカのモデルを定め、ある領域のフリッカを、同じモデルに属する領域のフリッカから算出した補正値で補正する方法が採られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許４７９５３１４公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献に開示された従来技術では、フリッカの検出と補正は領域単位で行うため、同時に読み出される行の単位より当該領域が大きい場合には、領域単位でフリッカの検出と補正を行ったのでは、発生したフリッカを適切に補正することができない。また、領域を小さくして補正を行う場合も、同時に読み出される行が画面内で離散的に存在する場合、それぞれの行が別の領域に収まるようになってしまい、適切な補正を行うことができなかった。
【０００７】
そこで、本発明の目的は、高速な読み出しを行う場合に発生する画面内のフリッカの低減を可能にする撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、光を電気に変換するための画素を行方向及び列方向に複数配置される画素アレイを有する撮像素子と、前記撮像素子から読み出された画像データにおいて明滅の発生を検出する検出手段と、を備え、前記撮像素子は、前記画素から信号を読み出すため列ごとに設けられた複数の出力線と、前記複数の出力線の数に対応する複数の行ごとに前記画素を順次駆動するための駆動手段とをさらに有し、前記検出手段は、前記複数の行ごとに画像データにおける明滅の発生を検出することを特徴とする構成とした。
【発明の効果】
【０００９】
本発明によれば、高速な読み出しを行う場合に発生する画面内のフリッカの低減を可能にする撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置全体のブロック図である。
【図２】本発明に係る撮像素子の構成図である。
【図３】本発明に係る撮像素子における読み出し領域を表す図である。
【図４】第１の実施形態に係るフリッカ補正回路の構成図である。
【図５】第２の実施形態に係るフリッカ補正回路の構成図である。
【図６】第３の実施形態に係るフリッカ検出領域の分割図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。図１において、第１レンズ１００は撮像光学系１２０の先端に配置されている。絞り１０１は、その開口径を調節することで撮像時の光量調節を行う。第２レンズ１０２、第３レンズ１０３は、後述のフォーカスアクチュエータ１１６によって駆動され、光軸方向に進退することにより、撮像光学系１２０の焦点を調節する。
【００１３】
フォーカルプレーンシャッタ１０４は、静止画撮像時に露光秒時を調節する。光学的ローパスフィルタ１０５は撮像画像の偽色やモアレを低減するために用いられる。撮像素子１０６は、撮像光学系１２０で形成された被写体の光学像を電気信号に光電変換する。撮像素子１０６は、後述するＣＰＵ１０９によって制御される。
【００１４】
ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１０７は撮像素子１０６で撮像された画像データの、補正・圧縮等の処理を行う。また、後述する画面内のフリッカの検出や補正を行う。ＲＡＭ１０８は、撮像素子１０６からの出力データを保持する信号保持手段の機能と、ＤＳＰ１０７で処理された画像データを記憶する画像データ記憶手段の機能と、後述のＣＰＵ１０９が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能はＲＡＭ１０８を用いて実現する構成であるが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０８は、ＤＳＰ１０７、ＣＰＵ１０９の外部に配置されているが、その一部または全部の機能をＤＳＰ１０７やＣＰＵ１０９に内蔵する構成であってもよいし、撮像素子１０６に内蔵する構成であってもよい。
【００１５】
ＣＰＵ１０９は、撮像装置の動作を統括的に制御する。ＣＰＵ１０９は撮像装置の各部を制御するためのプログラムを実行する。また、ＤＳＰ１０７から出力される相関演算の結果を用いて、後述のフォーカス駆動回路１１５を制御し、撮像光学系１２０の焦点を調節する機能も有する。表示部１１０は、撮像した静止画像や動画像およびメニュー等の表示を行う。操作部１１１は、撮像命令や撮像条件等の設定をＣＰＵ１０９に対して行う。記録媒体１１２は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ＲＯＭ１１３は、ＣＰＵ１０９が各部の動作を制御するためにロードして実行するプログラムを格納する。
【００１６】
シャッター駆動回路１１４は、フォーカルプレーンシャッタ１０４を駆動制御する。フォーカス駆動回路１１５は、撮像光学系１２０の焦点位置を変更する焦点位置変更手段であり、ＣＰＵ１０９の出力に基づいてフォーカスアクチュエータ１１６を制御し、第２レンズ１０２及び第３レンズ１０３を光軸方向に進退駆動して焦点調節を行なう。絞り駆動回路１１７は、絞りアクチュエータ１１８を制御して絞り１０１の開口を制御する。
【００１７】
次に、撮像素子１０６の構成について、図２を参照しながら説明する。撮像素子１０６の単位画素が行列状に配列された画素アレイ（画素領域）を図２（ａ）に示す。図２（ａ）において、画素アレイ２００には、単位画素２０１（以下、画素と称する場合もある）が行列方向に複数配置されている。本実施形態における撮像素子１０６は少なくとも行方向に６０００個以上の単位画素を備え、撮像光学系１２０からの光を受光する受光面は１６：９または３：２のアスペクト比を有している。また、それぞれの単位画素２０１は、マイクロレンズ２０２を有する。それぞれの単位画素２０１は、単一のマイクロレンズ２０２下に、光電変換手段としてのフォトダイオード（ＰＤ）２０３を有する。なお、各単位画素２０１において一つのＰＤ２０３を有する構成を説明したが、これに限られず撮像光学系１２０の焦点検出を行うために複数のＰＤ２０３を備える構成としてもよい。
【００１８】
図２（ｂ）は、単位画素２０１の詳細な回路構成を説明する図である。図２（ｂ）において、ＰＤ２０３は前述したマイクロレンズ２０２下で単位画素２０１を構成するＰＤである。転送スイッチＴｘ（２０４）は信号φｔｘによって制御される。この信号φｔｘをＨｉｇｈ（以下ＨｉｇｈをＨと記す）にすることによって、光電変換部に蓄積された電荷をフローティングディフュージョン部（ＦＤ）２０５に転送することができる。この転送スイッチのＯＮ／ＯＦＦは行毎に独立に制御することができるため、複数行の画素回路のφｔｘを同時にＨにすることによって、複数行の単位画素２０１からなる画素群に含まれるＰＤ２０３に蓄積された電荷を、同時に転送することができる。リセットスイッチ２０６はＦＤ２０５を初期化するためのスイッチであり、信号φｐｒｅｓによって制御される。画素アンプ用トランジスタ２０７は、セレクトスイッチ２０８、及び後述する垂直出力線を介して、読み出し回路２１５に含まれる定電流源に接続されている。セレクトスイッチ２０８の入力信号φｓｅｌがＨになると、画素アンプ用トランジスタ２０７は定電流源と接続され、画素アンプを形成する。ＦＤ２０５はこの画素アンプに接続されているため、ＰＤ２０３からＦＤ２０５に転送された電荷は、この画素アンプによって電荷量に応じた電圧値に変換され、垂直出力線２１１に画素信号として出力されることになる。
【００１９】
図２（ｃ）は、撮像素子１０６の回路構成である。画素アレイ２００には、水平方向に（ｍ＋１）個、垂直方向に（ｎ＋１）個の複数の単位画素２０１が配置されている。タイミングジェネレータ（ＴＧ）２１０は、ＣＰＵ１０９によってプログラムされた設定に従って、各回路ブロックに読み出しに必要な制御パルスを供給する。垂直走査回路２０９は、単位画素２０１にパルスを送ることで画素信号を垂直出力線へ転送する。また、特定の単位画素を選択し、選択画素と非選択画素で駆動を切り替えることもできる。なお、本実施形態では、ＴＧ２１０は撮像素子１０６に内蔵されているが、撮像素子１０６の外部に配置される構成でも構わない。また、画素アレイ２００以外の各構成要素について別基板に配置し、当該別基板を画素アレイ２００を備える画素基板に積層する構成としてもよい。
【００２０】
各単位画素２０１で光電変換された画素信号は、前述のように垂直走査回路２０９から供給される駆動信号によって、各列の垂直出力線へと行毎に出力される。本実施例では垂直出力線として第１垂直出力線２１１、第２垂直出力線２１２、第３垂直出力線２１３、第４垂直出力線２１４が存在する。この４垂直出力線を用いて、４行の画素群の読み出しを同時に行うことができる。例えば整数ｋに対し、第１垂直出力線２１１には４ｋ行目、第２垂直出力線２１２には（４ｋ＋１）行目、第３垂直出力線２１３には（４ｋ＋２）行目、第４垂直出力線２１４には（４ｋ＋３）行目を接続することを考える。こうすることによって、４ｋ行目から（４ｋ＋３）行目までの４行の画素群を同時に処理することができる。この構成において垂直走査回路２０９は、読み出される画素アレイ２００を４行単位に分割し、異なる垂直出力線に接続される４行の画素群に含まれるＰＤ２０３の電荷の転送を同時に開始することができる。なお、同時に転送する画素群に含まれる単位画素２０１の数を増やすために垂直出力線の本数を増やすように構成してもよい。
【００２１】
読み出し回路２１５は、各列の４垂直出力線のそれぞれに対する定電流源と、アンプを備える。定電流源は画素アンプ用トランジスタ２０７と組み合わされて画素アンプを形成し、画素出力を各垂直出力線に出力できるようにする。アンプは、この画素アンプからの出力を増幅しＡＤ変換回路（ＡＤＣ）２１６に伝達する機能を有する。ＡＤＣ２１６は、読み出し回路２１５の出力をデジタル信号へ変換する。ＡＤＣ２１６によって変換された画像データは、水平走査回路２１７によって順に選択されて、１行毎に順次出力部２１８から撮像素子１０６の外部へデジタル信号として出力される。ここでは水平走査が垂直走査と比べて十分早いと仮定し、出力部２１８を１つしか設けない構成を取っているが、出力部２１８を複数配置し、複数行を同時に出力できるようにしても構わない。
【００２２】
以上、図２を使用して本発明における撮像素子の構成を詳述したが、本発明はこれに限定されるものではない。例えば、複数のフォトダイオードが単一のフローティングディフュージョン部を共有する構成も可能である。その場合は、１行毎に接続する垂直出力線を切り替える構成ではなく、フローティングディフュージョン部の単位で接続する垂直出力線を替えることになる。また、本実施例では整数ｋに対し、第１垂直出力線２１１には４ｋ行目、第２垂直出力線２１２には（４ｋ＋１）行目、第３垂直出力線２１３には（４ｋ＋２）行目、第４垂直出力線２１４には（４ｋ＋３）行目を接続する構成とした。しかし、この接続も本実施例の形態に限定されるものではなく、実施する形態に好適な方法で自由に接続することが可能である。例えば、連続しないとびとびや不連続の間隔で接続するようにしてもよい。
【００２３】
続いて、複数の行を同時に読み出して１フレーム全体を取得する方法を、図３を用いて説明する。全画面３００は、例えば例えば画素アレイ２００の全体から読み出した画素情報であるが、そのほかにも画素アレイ２００の一部の画素群をクロップして読み出した画像などでもよいし、ＯＢ画素や焦点検出用画素等の画像に用いない機能的画素を含めてもよい。第１の領域３０１は、第１のタイミングでＰＤから電荷の転送が行われる画素全体を示している。例えば全画面３００が全画素を示している場合、４行の画素群を示すことになる。第１の領域３０１に属する４行の画素群は、第１の水平期間に取得される画素群の全てである。第２の領域３０２は、第２のタイミングで読み出されるＰＤから電荷の転送が行われる画素全体を示している。また、第２の領域３０２に属する４行の画素群は、第２の水平期間に取得される画素の全てである。つまり、本実施形態の撮像素子１０６はスリットローリング読出しを行い、垂直出力線の本数に対応した領域を順次駆動させながら読み出すことを行う。この場合に各領域は隣接することが好ましい。
【００２４】
このように、水平期間で読み出される単位毎に領域を分割すると、第１の領域３０１に属する画素群と、第２の領域に属する画素群で、ＰＤ２０３から電荷が転送されるタイミングが異なり、露光タイミングがずれることになる。高周波のフリッカ光源の下では、このような露光タイミングのずれに起因して、画面内にフリッカが発生することがある。
【００２５】
図４（ａ）は、フリッカの補正ブロック全体を示す図である。フリッカ補正ブロック４００は、その内部にフリッカ検出回路４０１、フリッカ補正回路４０２、セレクタ４０３を具備し、補正対象領域の対象画素と周辺領域の周辺画素の情報から処理を行い、補正処理済画素を出力する。フリッカ検出回路４０１は、補正対象領域の画素情報から補正対象画素の平均値を算出し、周辺領域の画素情報から周辺画素の平均値を算出する。そして、２つの平均値の差がＣＰＵ１０９などによって設定された閾値よりも大きい場合に、補正対象領域にフリッカが発生していると判定する。そして、判定結果を検出結果として出力する。なお、フリッカの誤検出を防ぐために、周辺領域の画素にはフリッカがないと判定された画素、もしくはフリッカがすでに補正されている画素を使用するのが望ましい。
【００２６】
本実施例において、第２の領域３０２に属する画素のフリッカを検出する場合、補正対象領域の対象画素は第２の領域３０２に属する画素となり、周辺領域の周辺画素は読み出された時間が近接する第１の領域３０１に属する画素である。この時、時間的に先に読み出された第１の領域３０１に属する画素は既にフリッカの検出・補正が行われており、フリッカの低減が行われているものとする。また、周辺領域の画素は位置的にも近接していることが好ましいため、第１の領域３０１および第２の領域３０２の一部が重なるように設定するようにしてもよい。
【００２７】
このように、水平期間で読み出される単位毎にフリッカの検知を行うことによって、異なる水平期間で読み出される領域の画素の露光タイミングが異なることに起因するフリッカを検出することができる。なお、周辺領域の画素は本実施形態で示された領域の画素に限定されるものではなく、例えば、第１の領域３０１および第２の領域３０２を行方向に複数の領域に分割し、分割した領域ごとにフリッカを検出するようにしてもよい。
【００２８】
補正対象領域にフリッカが存在しない場合、フリッカ補正処理を行う必要がなくなるので、フリッカ検出回路４０１はセレクタ４０３を、補正対象領域の画素値をそのまま出力するように制御する。反対に、補正対象領域にフリッカが存在する場合はフリッカ補正回路４０２からのデータを出力するように制御する。セレクタ４０３は画像データをそのまま出力するかフリッカ補正回路４０２からの画像データを出力するかを切り替える構成とした。しかし、フリッカ検出回路４０１の結果に基づいて、それぞれの画像データを重みをつけて合成して合成した画像データを出力してもよい。
【００２９】
図４（ｂ）は、フリッカ補正回路４０２の内部ブロック図の例を示す図である。フリッカ補正回路４０２は、補正対象領域の対象画素と周辺領域の周辺画素から、補正対象領域の対象画素の補正を行う。フリッカ光源の明滅が原因となるフリッカが発生している場合、フリッカが発生している箇所にゲイン処理を施すことによって画素の輝度差を補正することが考えられる。そこで、本実施例のフリッカ補正回路４０２もゲイン処理を行うものとする。
【００３０】
まず、ダークレベル減算回路４０４にて、第２の領域３０２に属する画素の画素値からダークレベルを減算する。これは、ゲイン処理をした時にダークレベルのオフセット成分を変化させないようにするための処理である。次に、ゲイン算出回路４０５が第２の領域３０２の画素と第１の領域３０１の画素から、第２の領域３０２の画素に乗ずる係数であるゲインの量を算出し決定する。ゲインの算出では、第１の領域３０１に属する画素の平均値を第２の領域３０２に属する画素の平均値で割る。この商が、第２の領域３０２に属する画素を第１の領域３０１に属する画素と近い輝度値にするために必要なゲインとなる。乗算回路４０６では、ゲイン算出回路４０５で計算されたゲインを第２の領域３０２に属する画素に乗ずることで、第２の領域３０２に属する画素の補正を行い、第１の領域３０１に属する画素の輝度値に近づけることができる。その後、ダークレベル加算回路４０７で第２の領域３０２に属する画素の画素値に最初に差し引いたダークレベルを画素に加算することによって、画素の補正を完了する。
【００３１】
このように補正を行うことによって、第２の領域３０２に属する画素の画素値を補正し、第１の領域３０１に属する画素の画素値へと近づけることができる。すでに述べたように第１の領域３０１に属する画素は既にフリッカの検出・補正が行われた後の画素であるから、以上詳述したような動作によって第２の領域３０２に属する画素のフリッカを低減することができる。このような動作を、全画面３００の上部から下部に渡って行うことによって、全画面３００のフリッカを低減することができる。
【００３２】
以上説明したように第１の実施形態によれば、複数行の画素に蓄積されている電荷を同時に転送しＡＤ変換を行うことによって、高速な読み出しを実現しつつも、そのことによって発生するフリッカを低減することができる。
【００３３】
＜第２の実施形態＞
第１の実施形態では、ゲイン処理によって補正対象画素を補正する方法を開示した。前述の通り、光源の輝度が一定周期でゆらぐ場合にゲイン処理による画像補正が効果的である。しかし、被写体自体が明滅を繰り返す場合や、あるいは被写体の明滅と光源の輝度のゆらぎが共存する被写体においては、第１の実施形態に開示した方法では十分に補正できない場合がある。
【００３４】
そこで、いくつかの補正方法をもち、それを切り替える方法を開示する。図５は本実施形態におけるフリッカ補正回路４０２の内部構成である。第１の補正回路５００はゲイン処理を行う補正回路であり、第１の実施形態で開示した補正回路と同等のものである。
【００３５】
第２の補正回路５０１は、ゲイン処理に加え、オフセット処理を加えた補正回路である。加算する値は、フリッカの検出・補正が完了した周辺領域の複数の画素の平均値と補正対象領域の複数の画素の平均値の差を使う。このオフセット処理を追加することによって、被写体を照らす光源の輝度変化の他に、被写体自体の輝度変化に起因するフリッカを低減することができる。
【００３６】
第３の補正回路５０２は、ゲイン処理とオフセット処理に加え、補間処理を加えた補正回路である。フリッカの検出・補正が完了した周辺領域の複数の画素を使用して、補正対象領域に含まれる画素の補間を行う。この補間処理は、被写体自体に輝度変化があり、露光から読み出しまでの間に被写体が全く発行されなかった場合に効果的である。このような場合、本来の被写体のパターンはゲイン処理とオフセット処理では、像を復元することができない。そのため、周辺画素から補正対象領域の画素を補間することによって、違和感の少ない像を生成することができる。
【００３７】
これらの補正回路のどの処理が画像の補正に最適かということは、実際の撮像が行われるまで知ることができない。そこで、補正効果判定回路５０３を設け、３補正回路の中でどの補正が最も効果的かを判定し、セレクタ５０４を制御してもっとも補正効果が高い補正を適用する。補正効果判定回路５０３の具体的な構成としては、それぞれの補正回路によって補正された画素と周辺画素の差を誤差として積分し、その誤差積分値を比較する。この誤差積分値が大きい場合、周辺領域と補正対象領域の差が大きいということになり、補正効果が認められないということになる。また、補正効果判定回路５０３には補正前の画素も判定に用いる。それぞれの補正回路による誤差積分値が、補正前の補正対象領域と周辺領域の誤差積分値よりも大きくなっていた場合は、補正処理によって誤差を増大させてしまったということになる。この時、セレクタ５０４からは補正を行わない画素を出力するように制御する。なお、セレクタ５０４においては、画像データをそのまま出力するかいずれかの補正回路からの画像データを出力するかを切り替える構成とした。しかし、フリッカ検出回路４０１の結果に基づいて、それぞれの画像データを合成して合成した画像データを出力してもよい。
【００３８】
以上説明したように第２の実施形態によれば、複数の原因が理由で発生するフリッカに対しても、それぞれの原因に適した補正を選択し、画像に応じて最適な補正を選択することができるようになる。
【００３９】
＜第３の実施形態＞
フリッカは高周波で明滅を行う光源に照らされた被写体や、自身が明滅を繰り返す被写体でのみ発生し、画面内では局所的に発生する。つまり、同一のタイミングで読み出された行であっても、被写体によってフリッカの状態が異なることが考えられる。そこで、フリッカの検出及び補正も、被写体の情報に基づいて行う方法を開示する。
【００４０】
図６（ａ）は、画面内に主被写体６０１を映した場合のイメージ図である。全画面３００の中央付近に主被写体６０１が存在する。
【００４１】
図６（ｂ）は、主被写体６０１の情報に基づいてフリッカの検出領域を分割した例である。主被写体６０１の検出・分離は例えばＤＳＰ１０７内で行われ、その分離を行うための情報には、様々な種類のものを使うことが考えられる。主なものとして、色情報、輝度情報、被写界深度情報、動きベクトル情報、追尾演算情報などがある。なお、被写体検出に用いる情報は、ここに列挙したものに限定されない。
【００４２】
フリッカの検出領域は被写体情報に基づいてＤＳＰ１０７内で分割され、その分割された領域で、フリッカの検出と補正が行われる。本実施例では領域Ａ６０２、領域Ｂ６０３、領域Ｃ６０４、領域Ｄ６０５に分けられる。それぞれの領域でのフリッカ補正の方法は、第１の実施形態及び第２の実施形態で開示した通りである。例えば領域Ｂ６０３においては、領域Ｂ６０３の中で第１の領域３０１に属する画素の平均値と、領域Ｂ６０３の中で第２の領域３０２に属する画素の平均値の差をとり、その差をＣＰＵ１０９によって設定された閾値と比較する。その結果、平均値の差が閾値より大きければ、領域Ｂの中の第２の領域３０２に属する画素にはフリッカがあると検出することができる。
【００４３】
これは、被写体情報によって分割された領域で、水平期間で読み出される単位毎にフリッカの検知を行う動作になっている。このように検出を行うことによって、異なる水平期間で読み出される領域の画素の露光タイミングが異なることに起因するフリッカを、被写体ごとに検出することができる。
【００４４】
本実施例では、被写体の存在する領域Ｂ６０３、領域Ｃ６０４にフリッカが存在し、領域６０２Ａ、領域Ｄ６０５にはフリッカが存在しないとする。この時、本実施形態のように被写体情報に基づいて領域を分割してフリッカ検出を行うと、フリッカが存在する領域Ｂ６０３、領域Ｃ６０４のみでフリッカが検出され、補正が行われる。また、それぞれの領域で別々に補正が行われるため、領域Ｂ６０３のフリッカと領域Ｃ６０４のフリッカのそれぞれに対して、第２の実施形態で詳述した補正方法の中の別の補正方法が適用されてもよい。
【００４５】
以上説明したように第３の実施形態によれば、画面内の特定の被写体にのみフリッカが発生した場合においても、フリッカが発生している被写体に対してのみフリッカ補正を適用することができる。また、フリッカが発生している同一の読み出し領域に属する複数の被写体にも、それぞれの状態に応じた適切な補正を選択することができるようになる。
【００４６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４７】
２００  画素アレイ
２０１  単位画素
２０３  フォトダイオード
２０９  垂直走査回路
４０１  フリッカ検出回路
４０２  フリッカ補正回路
【図１】
2020092374.tif 000003
【図２】
2020092374.tif 000004
【図３】
2020092374.tif 000005
【図４】
2020092374.tif 000006
【図５】
2020092374.tif 000007
【図６】
2020092374.tif 000008