(57)【要約】      （修正有）【課題】撮像素子から読み出した画像信号と視差信号に対してフリッカ成分を補正する画像処理装置を提供する。【解決手段】第一のフリッカ補正値算出部１０６は、第一のフリッカ検出部１０５で検出された画像信号のフリッカ成分の逆数を第一のフリッカ補正値とする。第一のフリッカ補正部１０７は、第一のフリッカ補正値を減算して画像信号のフリッカ成分を除去する。第二のフリッカ補正値算出部１０９は、第二のフリッカ検出部１０８で検出された視差信号のフリッカ成分の逆数を第二のフリッカ補正値とする。領域判定部１１１は、視差信号のフリッカ検出が可能かを、第一のフリッカの周波数情報から判定する。フリッカ補正値選択部１１２は、検出可能であれば第二のフリッカ補正値を選択し、不可能であれば第一のフリッカ補正値を選択する。第二のフリッカ補正部１１３は、選択されたフリッカ補正値を減算してフリッカ成分を除去した視差信号を出力する。【選択図】図１
2020068391.tif 000002
【特許請求の範囲】
【請求項１】
第一の撮像信号を入力する第一の入力手段と、
前記第一の撮像信号で撮像された被写体と同一の被写体を、部分的かつ同時に撮影した第二の撮像信号を入力する第二の入力手段と、
前記第一の撮像信号のフリッカ成分を検出可能な第一のフリッカ検出手段と、
前記第二の撮像信号のフリッカ成分を検出可能な第二のフリッカ検出手段と、
前記第一の撮像信号のフリッカ成分から算出される第一のフリッカ補正値を算出可能な第一のフリッカ補正値算出手段と、
前記第二の撮像信号のフリッカ成分から算出される第二のフリッカ補正値を算出可能な第二のフリッカ補正値算出手段と、
前記第二の撮像信号を入力範囲によって、前記第二の撮像信号がフリッカ検出可能かを判定する領域判定手段と、
前記判定に基づいて、前記第一のフリッカ補正値か、前記第二のフリッカ補正値かを選択するフリッカ補正値選択手段と、
前記フリッカ補正値選択手段で選択されたフリッカ補正値で、前記第二の撮像信号に対してフリッカ補正するフリッカ補正手段と、
を備えることを特徴とする。
前記判定に基づいて、前記第一のフリッカ補正値か、前記第二のフリッカ補正値かを選択するフリッカ補正値選択手段と、
前記フリッカ補正値選択手段で選択されたフリッカ補正値で、前記第二の撮像信号に対してフリッカ補正する、フリッカ補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域判定手段は、前記第一の撮像信号から検出されたフリッカ成分に基づいて、前記第二の撮像信号のフリッカ成分を補正可能かを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フリッカ補正値選択手段は、前記第一の撮像信号を入力と前記第二の撮像信号を入力とで、入力時間に差ある場合、前記第一の撮像信号で算出したフリッカ補正値を前記入力時間の差に応じた位相で前記第二の撮像信号に対してフリッカ補正可能なことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置に関し、特に、撮像素子から読みだされた複数の撮像信号に対してフリッカ成分を補正するフリッカ補正装置に関する。
【背景技術】
【０００２】
近年、撮像素子を用いた装置の多機能化が進み、交流電源の周波数に依存して輝度が変動する蛍光灯下で撮影画像内に発生する周期的な信号レベルの変動（以下、フリッカ）を補正する技術や、瞳分割方式で読みだした視差信号を用いて画像処理する技術が存在する。
【０００３】
特許文献１には、画像中の垂直方向のフリッカ成分を検出し、その逆ゲインを乗算することでフリッカ成分の検出と補正を行う技術が開示されている。これにより、撮影画像内に発生するフリッカ成分を除去することができる。
【０００４】
また、近年では、撮像素子で得た被写体情報に基づいて、焦点調整を行う撮像装置がある。特許文献２では、撮像素子の画素毎に１つのマイクロレンズと２つのフォトダイオードを備えることにより、それぞれのフォトダイオードは撮像レンズの異なる瞳を通過した光を受光する。この２つのフォトダイオードからの視差信号を比較することで焦点検出が可能となると共に、２つのフォトダイオードからの視差信号を加算することで画像信号を生成することも可能となる。ただし、全領域に対して、２つのフォトダイオードからの視差信号を読み出すと、読み出し時間が大幅に増大してしまう。読み出し時間の増大を抑制するため、焦点検出を行う領域を限定して、それ以外の領域からは、加算した画像信号のみを読み出すことも可能である。
【０００５】
焦点調整以外の視差信号を用いた他の技術としては、画素単位の信号（以下、画素信号）の再構成処理を行なうことで、撮影後のフォーカス位置の変更、撮影視点の変更、被写界深度の調節等のリフォーカスと呼ばれる画像処理が代表的である。特許文献２における視差信号の読み出す領域を限定することで、その領域内でのリフォーカスを可能とする。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４７９５３１４号公報
【特許文献２】特開２０１６−０２１０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献１に開示された従来技術では、垂直方向に発生するフリッカ成分が連続している場合に、一定領域以上をサンプリングすることでフリッカ検出を行っているが、フリッカの周期に対して領域の割合が閾値以下の場合には検出できない。その為、特許文献２で開示された従来技術のように、１つのマイクロレンズ内で２つのフォトダイオードに発生するフリッカ成分に偏りがある場合には視差信号に対してもフリッカ検出が必要になるが、視差信号の取得領域が閾値以下の場合には検出できない。視差信号にフリッカ成分が残ったままリフォーカスしてしまうと、生成後の画像にフリッカ成分が含まれてしまう。
【０００８】
そこで、本発明は、撮像素子から読みだされた複数の撮像信号に対して、適切にフリッカ補正することが可能な装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達するために、本発明に係る画像処理装置は、
第一の撮像信号を入力する第一の入力手段と、
前記第一の撮像信号で撮像された被写体と同一の被写体を、部分的かつ同時に撮影した第二の撮像信号を入力する第二の入力手段と、
前記第一の撮像信号のフリッカ成分を検出可能な第一のフリッカ検出手段と、
前記第二の撮像信号のフリッカ成分を検出可能な第二のフリッカ検出手段と、
前記第一の撮像信号のフリッカ成分から算出される第一のフリッカ補正値を算出可能な第一のフリッカ補正値算出手段と、
前記第二の撮像信号のフリッカ成分から算出される第二のフリッカ補正値を算出可能な第二のフリッカ補正値算出手段と、
前記第二の撮像信号を入力範囲によって、前記第二の撮像信号がフリッカ検出可能かを判定する領域判定手段と、
前記判定に基づいて、前記第一のフリッカ補正値か、前記第二のフリッカ補正値かを選択するフリッカ補正値選択手段と、
前記フリッカ補正値選択手段で選択されたフリッカ補正値で、前記第二の撮像信号に対してフリッカ補正するフリッカ補正手段と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明に係る画像処理装置によれば、撮像素子から読みだされた複数の撮像信号に対して、適切にフリッカ補正できる。
【図面の簡単な説明】
【００１１】
【図１】本発明を適用した実施例の撮像装置１００の概略構成を示すブロック図
【図２】実施例による撮像素子１０２の単位画素の回路構成を示す図
【図３】実施例による第一のフリッカ検出部１０５及び、第二のフリッカ検出部１０８の構成例を示すブロック図
【図４】視差信号の取得領域が領域Ｓａ≧閾値Ｔにおいてフリッカを第二のフリッカ検出部１０８で検出できる場合の出力信号を示す図
【図５】視差信号の取得領域が領域Ｓｂ＜閾値Ｔにおいてフリッカを第二のフリッカ検出部１０８で検出できない場合の出力信号を示す図
【図６】実施例によるフリッカ補正値決定部１１０の入出力について表したタイミングチャート
【図７】実施例による視差信号のフリッカ補正処理のフローを示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の好ましい実施の形態を、添付の図面を参照して詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置のブロック図である。
【実施例】
【００１３】
以下、図１を参照して、本発明の実施例による、撮像装置１００の構成について説明する。
【００１４】
撮像装置１００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、キャプチャ部１０４、第一のフリッカ検出部１０５、第一のフリッカ補正値算出部１０６、第一のフリッカ補正部１０７、第二のフリッカ検出部１０８、第二のフリッカ補正値算出部１０９、フリッカ補正値決定部１１０、第二のフリッカ補正部１１３、外部記録部１１４、制御部１１５から構成される。
【００１５】
本実施例における撮像装置１００の構成について詳細に説明する。
【００１６】
実空間の像がフォーカシングレンズを含む撮像光学系１０１から光学像を電気信号に変換する撮像素子１０２上に結像される。
【００１７】
撮像素子１０２は、その前面に瞳分割手段としてのマイクロレンズアレイが配置され、各マイクロレンズに対応する単位画素セルの二次元配列を有する撮像素子である。撮像光学系１０１に含まれるシャッターによって露光量の制御が行われる。撮像光学系１０１によって結像された光学像を光電変換して撮像し、読み出し制御時において、単位画素中に構成される分割画素ＰＤに蓄積された電荷を順次電圧に変換し、Ａ／Ｄ変換部１０３に出力する。単体画素セル内は、２つに瞳分割された画素（以下、分割画素ａ、ｂ）で構成されており、分割画素ａとｂの位相差を見ることにより焦点検出、ａとｂを加算することにより撮影画像として用いられる。
【００１８】
Ａ／Ｄ変換部１０３は、不図示のＣＤＳ回路や、ＩＳＯ感度の増幅に代表されるアナログ信号処理部を介して撮像素子１０２から出力されたアナログ信号を入力し、デジタル信号に変換してキャプチャ部１０４へ出力する。
【００１９】
キャプチャ部１０４は、Ａ／Ｄ変換部１０３から入力された画素データの有効走査期間および種別を判定し、分割画素ａとｂを加算したデータを画像信号として第一のフリッカ検出部１０５及び、第一のフリッカ補正部１０７へ出力する。また、分割画素ａを視差信号として第二のフリッカ検出部１０８及び、第二のフリッカ補正部１１３へ出力する。
【００２０】
第一のフリッカ検出部１０５は、キャプチャ部１０４から入力された画像信号のフリッカ成分（周波数の振幅・位相）を検出し、第一のフリッカ補正値算出部１０６及び、領域判定部１１１へ出力する。
【００２１】
第一のフリッカ補正値算出部１０６は、第一のフリッカ検出部１０５で検出されたフリッカ成分の逆数を第一のフリッカ補正値として生成し、第一のフリッカ補正部１０７及び、フリッカ補正値選択部１１２へ出力する。
【００２２】
第一のフリッカ補正部１０７は、キャプチャ部１０４から入力された画像信号と第一のフリッカ補正値算出部１０６からの第一のフリッカ補正値との減算処理により、フリッカ成分を除去した画像信号を外部記録部１１４へ出力する。
【００２３】
第二のフリッカ検出部１０８は、キャプチャ部１０４から入力された視差信号のフリッカ成分（周波数の振幅・位相）を検出し、第二のフリッカ補正値算出部１０９へ出力する。
【００２４】
第二のフリッカ補正値算出部１０９は、第二のフリッカ検出部１０８で検出されたフリッカ成分の逆数を第二のフリッカ補正値として生成し、フリッカ補正値選択部１１２へ出力する。
【００２５】
フリッカ補正値決定部１１０は、領域判定部１１１及び、フリッカ補正値選択部１１２から構成されている。本発明の特徴的な構成であるので、詳細な説明は後述する。
【００２６】
領域判定部１１１は、撮像素子１０２からの視差信号の読み出し領域が、第一のフリッカ検出部１０５からのフリッカの周波数情報から、視差信号のフリッカ検出可能な領域かどうかを判定し、判定結果をフリッカ補正値選択部１１２へ出力する。
【００２７】
フリッカ補正値選択部１１２は、領域判定部１１１の判定結果に基づいて、第一のフリッカ補正値又は、第二のフリッカ補正値を選択し、第二のフリッカ補正部１１３へ出力する。判定結果が、視差信号のフリッカ検出可能であれば、第二のフリッカ補正値算出部１０９からの第二のフリッカ補正値が選択され、不可能であれば、第一のフリッカ補正値算出部１０６からの第一のフリッカ補正値が選択される。
【００２８】
第二のフリッカ補正部１１３は、キャプチャ部１０４から入力された視差信号とフリッカ補正値選択部１１２で選択されたフリッカ補正値との減算処理により、フリッカ成分を除去した視差信号を外部記録部１１４へ出力する。
【００２９】
外部記録部１１４は、第一のフリッカ補正部１０７でフリッカ補正された画像信号および、第二のフリッカ補正部１１３でフリッカ補正された視差信号を外部メモリへ記録する。
【００３０】
記録した画像信号及び、視差信号をＰＣ等で画像処理することで、撮影後のフォーカス位置の変更、撮影視点の変更、被写界深度の調節等のリフォーカス処理をおこなうこと想定している。
【００３１】
制御部１１５は、撮像装置１００の全体の制御を行う。
【００３２】
以上、本発明における撮像装置１００の構成について説明した。
【００３３】
ここから図２を用いて、撮像素子１０２の単位画素の構成と、出力信号の読み出し方法について説明する。単位画素に１つのマイクロレンズと２つのＰＤを備えた、本実施例と同様な構成である撮像素子の視差信号の読み出し方法については、特許文献２で詳しく説明されているので、ここでは簡単に述べる。
【００３４】
前述した分割画素ａ、ｂのＰＤ２０１ａ、２０１ｂに入射した光信号が光電変換され、露光量に応じた電荷が蓄積される。転送ゲート２０２ａ、２０２ｂのゲートに印加する信号ｔｘａ、ｔｘｂをそれぞれＨｉｇｈレベルにすると、ＰＤ２０１ａ、２０１ｂに蓄積されている電荷がフローティングディフュージョン（以下、ＦＤ）部２０３に転送される。ＦＤ部２０３は、ＦＤアンプ２０４のゲートに接続されており、ＰＤ２０１ａ、ＰＤ２０１ｂから転送されてきた電荷量がＦＤアンプ２０４によって電圧量に変換される。画素選択スイッチ２０６のゲートに印加する信号ｓｅｌをＨｉｇｈレベルとすることで、ＦＤアンプ２０４によって電圧に変換された画素信号が単位画素の出力ｖｏｕｔに出力される。
【００３５】
画素信号の読み出し前には、ＦＤ部２０３をリセットするため、ＦＤリセットスイッチ２０５のゲートに印加する信号ｒｅｓをＨｉｇｈレベルとする。また、電荷の蓄積を開始する際には、ＰＤ２０１ａ、２０１ｂの電荷をリセットするため、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルとする。これにより、転送ゲート２０２ａ、２０２ｂ及びＦＤリセットスイッチ２０５の両方がＯＮ状態となり、ＦＤ部２０３経由でＰＤ２０１ａ、ＰＤ２０１ｂがリセットされる。
【００３６】
視差信号を不要とする領域を読み出す際は、信号ｔｘａ、ｔｘｂを同時にＨｉｇｈレベルとすることで、ＰＤ２０１ａとＰＤ２０１ｂに蓄積されていた電荷が合成されてＦＤ部２０３に転送され、分割画素ａ、ｂの合成信号が出力される。
【００３７】
一方、視差信号を必要とする領域を読み出す際は、まず信号ｔｘａをＨｉｇｈレベル、信号ｔｘｂをＬｏｗレベルのままにすることで、ＰＤ２０１ａに蓄積されていた電荷のみＦＤ部２０３に転送され、分割画素ａの画素信号が出力される。次に信号ｔｘｂもＨｉｇｈレベルにすることで、ＰＤ２０２ｂに蓄積されていた電荷がＦＤ部２０３でＰＤ２０１ａに蓄積されていた電荷と合成され、分割画素ａ、ｂの合成信号が出力される。
【００３８】
本実施例では、視差信号の取得領域を限定することで、リフォーカス可能な領域に限定したリフォーカス手段を想定している。特許文献２のように、撮像素子から読み出した視差信号を用いて焦点検出の対象に指定された領域に対して、オートフォーカスを代表とする焦点検出技術に関して適応してもよい。
【００３９】
次に、図３を用いて第一のフリッカ検出部１０５及び、第二のフリッカ検出部１０８の構成例からフリッカ検出方法について説明をする。フリッカ検出における詳細な構成については、特許文献１で詳しく説明されているので、ここでは簡単に述べる。
【００４０】
図３において、ブロック分割部３０１は、フリッカ成分の検出を行う領域（以下、フリッカ検出枠）を、１画面分の画像信号に対して水平方向および垂直方向に設定する。ここでは、水平方向にＭブロック、垂直方向にＮブロックのフリッカ検出枠を設定するものとする。加算平均部３０２は、ブロック分割部３０１が設定したフリッカ検出枠の各々について、画素の輝度レベルの平均値を算出する。また、引算器３０３、乗算器３０４、加算器３０５及び、メモリ３０６は、以下に示す演算を行うことで、いわゆる巡回型ローパスフィルタ３０７を形成している。
【００４１】
【数１】
2020068391.tif 000003
【００４２】
ここで、ａｖｅは加算平均部３０２の出力を示し、ｍｏｕｔはメモリ３０６からの出力を示す。ｍｅｍは加算器３０５からの出力を示し、メモリ３０６に新しく記憶される値を示す。また、ｋは巡回型ローパスフィルタ３０７のフィルタ係数である。
【００４３】
除算器３０８は、加算平均部３０２の出力と、メモリ３０６からの出力を除算することによって、フリッカ検出枠ごとのフリッカ成分を算出して出力する。フリッカ成分の周波数領域への変換方法としては、本実施例では、フリッカ検出枠ごとにサンプリングしたデータを離散フーリエ変換を用いて周波数領域に変換している。
【００４４】
ここで、本発明において、第二のフリッカ検出部１０８で、フリッカ検出可能な場合について、図４を示して説明をする。図４は、説明を単純化するために撮像素子１０２から視差信号のみを読み出している領域とそれ以外のところで、１ラインの読み出し時間を同じにしている。
【００４５】
図４（ａ）は、撮影画像に主被写体４０１及び、被写体４０２について示している。
【００４６】
図４（ｂ）は、撮像素子１０２をある蓄積時間で読み出した場合の画像信号の様子を示したものである。交流電源の周波数に依存して輝度が変動する蛍光灯下で発生するフリッカが、垂直方向に明暗の形であらわれていることを示している。
【００４７】
図４（ｃ）は、図４（ｂ）と同様に撮像素子１０２をある蓄積時間で読み出した場合の視差信号の様子を示したものである。撮影画像に対する視差信号の読み出し領域Ｓａとしている。この領域Ｓａでは、画像内でのリフォーカス可能な領域としており、被写体４０２に対してリフォーカスできる。
【００４８】
図４（ｄ）は、各垂直ラインにおけるフリッカについて示している。水平座標は、視差信号に対するフリッカの信号レベルについて示している。また、垂直座標は、撮影画像に対する視差信号の読み出し垂直ラインを示している。画像信号及び、視差信号は、それぞれ対応する垂直ラインに同レベルのフリッカが分布している。
【００４９】
図４（ｅ）は、視差信号が第二のフリッカ検出部１０８において、フリッカ検出可能な領域の閾値Ｔ及び、フリッカ検出結果について示している。閾値Ｔは、第一のフリッカ検出部１０５からの画像信号のフリッカの周波数によって決められる。例えば、画像信号のフリッカ周波数が正弦波かつ５０Ｈｚである場合には、フリッカ検出可能なサンプル数は最低でも正弦波の第一象限分の垂直ライン数が必要になる。
【００５０】
垂直１ラインの読み出し時間をＹｓとすると、
【００５１】
【数２】
2020068391.tif 000004
【００５２】
が閾値Ｔが第二のフリッカ検出部１０８でフリッカ補正可能な領域となる。本実施例では、一例として上記の計算式を挙げたが、これに限らず、制御部１１５に基づいてフリッカ成分の閾値Ｔを決めてもよい。この場合は、領域判定部１１１内に不図示のレジスタに固定値として閾値Ｔを制御部１１５に基づいて設定してもよい。図４（ｅ）では、領域Ｓａ≧閾値Ｔになっている為、第二のフリッカ検出部１０８で必要な垂直ライン数を満たしておりフリッカ検出を行うことができる。
【００５３】
次に、図５を用いて第二のフリッカ検出部１０８で、フリッカ検出不可能な場合について説明する。
【００５４】
図５（ａ）、図５（ｂ）、図５（ｄ）は、それぞれ図４（ａ）、図４（ｂ）、図４（ｄ）と同様である。
【００５５】
図５（ｃ）は、図５（ｂ）と同様に撮像素子１０２をある蓄積時間で読み出した場合の視差信号の様子を示したものである。撮影画像に対する視差信号の読み出し領域を領域Ｓｂとしている。この領域Ｓｂでは、画像内でのリフォーカス可能な領域外としており、被写体４０２に対してリフォーカスできない。
【００５６】
図５（ｅ）は、図４（ｅ）と同様に、視差信号が第二のフリッカ検出部１０８において、フリッカ検出可能な領域の閾値Ｔ及び、フリッカ検出結果について示している。領域Ｓｂ＜閾値Ｔになっている為、第二のフリッカ検出部１０８で必要な垂直ライン数を満たせず、フリッカの周波数とは異なる周波数が誤検出されてしまいフリッカ検出を行うことができない。
【００５７】
ここで、フリッカ補正値決定部１１０の動作について、図６のタイミングチャートを用いて説明する。
【００５８】
図６は、垂直同期信号、フリッカ補正値選択部１１２の入力信号１及び２、領域判定部１１１の制御部１１５からの入力、領域判定部１１１の出力信号、フリッカ補正値選択部１１２の出力信号について示している。横方向は、時間について示しており、垂直同期信号の２Ｖ分のタイミングチャートを示している。
【００５９】
フリッカ補正値選択部１１２の入力信号１として、第一のフリッカ補正値算出部１０６からの第一のフリッカ補正値を示している。また、入力信号２として、第二のフリッカ補正値算出部１０９からの第二のフリッカ補正値を示している。
【００６０】
領域判定部１１１の制御部１１５からの入力信号として、撮像素子１０２から読み出される視差信号の垂直ライン数が入力されていることを示している。１Ｖ目は領域Ｓａ、２Ｖ目は領域Ｓｂの視差信号の垂直ライン数が入力されていることを示している。
【００６１】
領域判定部１１１の出力信号として、撮像素子１０２から読み出される視差信号の垂直ライン数が閾値Ｔ以上か否かによる判定結果を出力していることを示している。判定結果が閾値Ｔ以上なら信号レベルをＨｉｇｈ、閾値Ｔ未満なら信号レベルをＬｏｗとして出力していることを示している。
【００６２】
フリッカ補正値選択部１１２の出力信号として、フリッカ補正値選択部１１２は、領域判定部１１１からの信号に基づいて、入力される信号レベルがＨｉｇｈなら第二のフリッカ補正値が選択されていることを示している。また、信号レベルがＬｏｗなら第一のフリッカ補正値が選択されていることを示している。
【００６３】
図６は、撮像素子１０２から視差信号が読み出されない期間を無効期間、読み出される期間を有効期間を示しており、１Ｖ目は、領域Ｓａが閾値Ｔ以上であるため、有効期間内で視差信号が第二のフリッカ補正値でフリッカ補正される。また、２Ｖ目では、領域Ｓｂが閾値Ｔ未満であるため、有効期間内で視差信号が第一のフリッカ補正値でフリッカ補正される。これにより、第二のフリッカ補正部１１３に入力される適切なフリッカ補正値を撮像素子１０２から読み出される視差信号の垂直ライン数に応じてフリッカ補正値決定部１１０で決定することができる。
【００６４】
図７は、制御部１１５の制御に基づき、撮像装置１００の視差信号のフリッカ補正の処理フローを示すフローチャートである。
【００６５】
Ｓ７００で、キャプチャ部１０４からの画像信号及び、視差信号を基に、第一のフリッカ検出部１０５及び、第二のフリッカ検出部１０８でフリッカ検出がおこなわれる。
【００６６】
Ｓ７０１で、検出したフリッカ成分から第一のフリッカ補正値算出部１０６及び、第二のフリッカ補正値算出部１０９でフリッカ補正値が算出される。それぞれ検出されたフリッカ成分の逆数がフリッカ補正値として算出される。
【００６７】
Ｓ７０２で、視差信号の読み出される垂直ライン数を視差信号の領域として、領域が画像信号から検出されたフリッカの周波数に応じた閾値Ｔ以上か否かを領域判定部１１１で領域判定される。
【００６８】
Ｓ７０３で、領域が閾値Ｔ以上である場合（Ｓ７０３ＹＥＳ）は、Ｓ７０４へ遷移する。領域が閾値Ｔ未満である場合（Ｓ７０３ＮＯ）は、Ｓ７０５へ遷移する。      
【００６９】
Ｓ７０４に遷移された場合は、Ｓ７０４で、フリッカ補正値選択部１１２の入力信号として第二のフリッカ補正値が選択され、Ｓ７０６へ遷移する。
【００７０】
また、Ｓ７０５に遷移された場合は、Ｓ７０５で、フリッカ補正値選択部１１２の入力信号として第一のフリッカ補正値が選択され、Ｓ７０６へ遷移する。
Ｓ７０６で、フリッカ補正値選択部１１２で選択されたフリッカ補正値で、視差信号のフリッカ補正処理がおこなわれ、処理フローを終える。
【００７１】
以上の述べた実施例によれば、フリッカ補正値決定部１１０の構成をとることで撮像素子から読みだされた複数の撮像信号に対して、適切にフリッカ補正できる。
【００７２】
尚、実施例では、画像信号、視差信号の２種類の撮像信号について説明しているが、これに限らず、更に複数種類存在する撮像信号のフリッカ補正に適応してもよい。例えば、単位画素に１つのマイクロレンズと田の字状に配置された４つのフォトダイオードを備え、４種類の視差信号を用いた画像処理技術において、それぞれの視差信号に対して本発明のフリッカ補正を適応してもよい。
【００７３】
尚、実施例では、画像信号と視差信号で指定されたラインとで読み出しにかかる時間を同タイミングにしているがこれに限らず、異なるタイミングでもよい。この場合においては、第一のフリッカ補正値に対して読み出し時間にかかる位相差分だけフリッカ補正値決定部１１０ずらしたフリッカ補正値で、視差信号をフリッカ補正してもよい。
【００７４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７５】
１００  撮像装置、１０１  撮像光学系、１０２  撮像素子、１０３  Ａ／Ｄ変換部、
１０４  キャプチャ部、１０５  第一のフリッカ検出部、
１０６  第一のフリッカ補正値算出部、１０７  第一のフリッカ補正部、
１０８  第二のフリッカ検出部、１０９  第二のフリッカ補正値算出部、
１１０  フリッカ補正値決定部、１１１  領域判定部、
１１２  フリッカ補正値選択部、１１３  第二のフリッカ補正部、
１１４  外部記録部、１１５  制御部
【図１】
2020068391.tif 000005
【図２】
2020068391.tif 000006
【図３】
2020068391.tif 000007
【図４】
2020068391.tif 000008
【図５】
2020068391.tif 000009
【図６】
2020068391.tif 000010
【図７】
2020068391.tif 000011