(57)【要約】【課題】高品質なフリッカ補正画像を生成する装置、方法を提供する。【解決手段】メイン画像を撮影する第１撮像部と、サブ画像を撮影する第２撮像部と、各撮像部のシャッタースピードを制御する制御部と、メイン画像に含まれるフリッカ成分を除去するフリッカ補正を実行する信号処理部を有する。制御部は、第２撮像部のシャッタースピードをフリッカによる縞模様の発生しないスピードに設定する。信号処理部は、メイン画像とサブ画像の差分算出により、メイン画像に含まれるフリッカ成分を算出し、算出したフリッカ成分をメイン画像から減算して、メイン画像からフリッカを除去した補正画像を生成する。連続撮影画像の重ね合わせや差分抽出を行なう必要がないため、高精度なフリッカ補正が実現される。【選択図】図４
2013251668.tif 000002
【特許請求の範囲】
【請求項１】
メイン画像を撮影する第１撮像部と、
サブ画像を撮影する第２撮像部と、
前記第１撮像部と、第２撮像部のシャッタースピードを制御する制御部と、
前記メイン画像とサブ画像を入力し、前記メイン画像に含まれるフリッカ成分を除去するフリッカ補正を実行する信号処理部を有し、
前記制御部は、前記サブ画像を撮影する第２撮像部のシャッタースピードを、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードに設定する撮影制御を実行し、
前記信号処理部は、
前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出し、算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する撮像装置。
【請求項２】
前記制御部は、
前記発光源の電源周波数をＤとしたとき、前記第２撮像部のシャッタースピードＳＳを、以下の式、
ＳＳ＝ｎ／（２×Ｄ）
ただし、ｎ＝１以上の整数、
上記式に従って算出するシャッタースピードＳＳに設定する撮影制御を実行する請求項１に記載の撮像装置。
【請求項３】
前記信号処理部は、
前記メイン画像と前記サブ画像に対して、同一被写体の画素位置を整合させる位置合わせ処理を実行し、
位置合わせ後のメイン画像とサブ画像の対応画素間の画素値差分を前記フリッカ成分として算出する請求項１に記載の撮像装置。
【請求項４】
前記第１撮像部と、前記第２撮像部は、同一フレームレートで異なるシャッタースピードに設定された画像を連続撮影し、
前記信号処理部は、前記第１撮像部と、前記第２撮像部においてほぼ同一タイミングで撮影されたメイン画像とサブ画像を選択して、選択した２つの画像を適用して、メイン画像に対するフリッカ成分除去処理を実行する請求項１に記載の撮像装置。
【請求項５】
メイン画像と、前記メイン画像とほぼ同一タイミングで撮影され、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードで撮影したサブ画像を入力し、前記メイン画像に含まれるフリッカ成分を除去するフリッカ補正を実行する信号処理部を有し、
前記信号処理部は、
前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出し、算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する画像処理装置。
【請求項６】
前記信号処理部は、
前記メイン画像と前記サブ画像に対して、同一被写体の画素位置を整合させる位置合わせ処理を実行し、
位置合わせ後のメイン画像とサブ画像の対応画素間の画素値差分を前記フリッカ成分として算出する請求項５に記載の画像処理装置。
【請求項７】
撮像装置において実行する画像処理方法であり、
前記撮像装置は、メイン画像を撮影する第１撮像部と、サブ画像を撮影する第２撮像部を有し、
前記撮像装置の制御部が、
前記サブ画像を撮影する第２撮像部のシャッタースピードを、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードに設定する撮影制御を実行する撮影制御ステップを実行し、
前記撮像装置の信号処理部が、
前記メイン画像とサブ画像を入力し、前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出するフリッカ成分算出ステップと、
算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する補正画像生成ステップを実行する画像処理方法。
【請求項８】
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、メイン画像を撮影する第１撮像部と、サブ画像を撮影する第２撮像部を有し、
前記プログラムは、前記撮像装置の制御部に、
前記サブ画像を撮影する第２撮像部のシャッタースピードを、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードに設定する撮影制御を実行する撮影制御ステップを実行させ、
前記撮像装置の信号処理部に、
前記メイン画像とサブ画像を入力し、前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出するフリッカ成分算出ステップと、
算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する補正画像生成ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像に発生する明暗縞（フリッカ）の補正を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
蛍光灯の照明の下で、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅｓ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などＸＹアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、画像信号に縞状の輝度ムラや色ムラが発生する。特に、映像を撮影して表示装置に表示した場合、輝度の高い部分と低い部分の縞パターンが画面上を流れるような現象が確認される。これはフリッカと呼ばれる。
フリッカは、商用電源（交流）に接続された蛍光灯が基本的に電源周波数の２倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。
【０００３】
図１を参照してＣＭＯＳイメージセンサによる撮影画像におけるフリッカ発生原理について説明する。図１には、以下のデータを示している。
（ａ）蛍光灯の輝度変化
（ｂ）ＣＭＯＳイメージセンサの撮像（露光）シーケンスの模式図
（ｃ）ＣＭＯＳイメージの読み出しタイミング
（ｄ）出力画像のイメージ
図１において時間（ｔ）は左から右に経過している。
【０００４】
蛍光灯は、５０Ｈｚの商用電源地域で動作していることを想定している。この場合蛍光灯は電源周波数（５０Ｈｚ）の２倍の周波数１００Ｈｚで点滅を繰り返している。（ａ）に示す円弧状のカーブは蛍光灯の輝度変化を示している。１００ＨＺ、すなわち１／１００秒単位の周期で輝度変化を発生させている。
【０００５】
このような照明環境下で毎秒６０フレームのフレームレートでローリングシャッタを有するＣＭＯＳイメージセンサで画像撮影を行う。露光処理は時間経過に伴い、各撮影フレームの上端行（Ｒｏｗ）から下端行（Ｒｏｗ）に向かって順次、行われる。
【０００６】
（ｂ）に示すＣＭＯＳイメージセンサの撮像模式図において、斜め点線がイメージセンサのリセットのタイミングを示すラインであり、斜めの実線が読み出しのタイミングを示すラインである。点線で示すリセット後に露光が開始され、実線で示す読み出しタイミングまでの期間が露光時間となる。ローリングシャッタによりフレームの上部のスキャンラインから下部のスキャンラインに向かって露光が行われている。
【０００７】
隣り合う２本の斜めの実線に囲まれた領域がイメージセンサの１フレームを示している。点線と実線とではさまれた露光時間には、照明の輝度変化に対応する輝度変化が発生している。すなわち、画像フレームを構成する各行ごとに露光タイミングが異なるため、輝度変化のある光源の影響により、図１の（ｄ）出力画像に示すように横縞状のムラ、いわゆるフリッカが発生する。
【０００８】
図１の（ｄ）出力画像にはフレーム＃１〜フレーム＃４の４枚の連続撮影画像を示している。毎秒６０フレームのフレームレート（６０ｆｐｓ）で撮影された動画を構成する画像フレーム＃１〜＃４である。
フレーム＃３には上端部Ｐ，中間部Ｑ，下端部Ｒをそれぞれ示している。これらは、（ｂ）に示すＣＭＯＳイメージセンサの撮像模式図における露光時間Ｐ，Ｑ，Ｒとの対応位置を明示するために示している。
フレーム＃３の上端部Ｐは、蛍光灯の輝度が明るい期間に露光された行部分である。
フレーム＃３の中間部Ｑは、蛍光灯の輝度が暗い期間から明るい期間に変化する期間に露光された行部分である。
フレーム＃３の下端部Ｒは、蛍光灯の輝度が暗い期間に露光された行部分に対応する。
このように各行（Ｒｏｗ）の露光期間の蛍光灯輝度が一致しないため輝度ムラや色ムラに基づく縞模様が発生する。
【０００９】
なお、一般的な撮像素子は、撮像素子の構成画素単位で例えばＲＧＢ各波長光のいずれかを選択的に入力する構成を有している。このＲＧＢ配列としては例えばベイヤ（Ｂａｙｅｒ）配列が知られている。例えばベイヤ（Ｂａｙｅｒ）配列等を有するカラーのイメージセンサで撮像を行った場合、蛍光灯の蛍光体の残光特性の波長依存性により、色信号（カラーチャンネル）ごとにフリッカの影響度が異なり、振幅や位相の相違により色ムラが発生することになる。
【００１０】
このようなフリッカを補正するためには、フリッカ光源によって生じる明暗縞（フリッカ成分）を除去し、被写体だけの画を抽出する必要がある。
図２を参照して、従来の一般的なフリッカ成分の除去処理について説明する。
図２に示す処理は、フリッカの明暗縞が周期的に生じる特性を利用して、連続して撮影された複数枚の画像を重ね合わせた重ね合わせ画像を生成し、この重ね合わせ画像を用いてフリッカを除去する処理について説明する図である。なお、このようなフリッカ補正処理については、例えば、特許文献１（特開平１１−１２２５１３号公報）に記載されている。
【００１１】
図２には、３枚の連続撮影画像フレームＦ（ｔ−２）１１〜Ｆ（ｔ）１３を示している。
これらの３枚の連続撮影画像フレームＦ（ｔ−２）１１〜Ｆ（ｔ）１３は、各々の明暗縞の発生パターンが、縦方向（ｙ方向）に一定長ずつ、ずれて発生している画像であり、３枚の画像の対応位置の画素の画素値を各々、加算平均することで、フリッカ成分の影響のない画像を生成することが可能となる。
図２に示す３枚の連続撮影画像フレームＦ（ｔ−２）１１〜Ｆ（ｔ）１３の対応画素値を加算平均した画像が、図２に示す重ね合わせ画像２０である。
【００１２】
特定のフレーム、例えば画像フレームＦ（ｔ）に対するフリッカに補正画像を生成する処理は以下のようになる。
まず、ステップＳ１において、画像フレームＦ（ｔ）１３と、画像フレームＦ（ｔ−１）１２の差分を取って残った縞をフリッカの波形成分を算出する。ただし、この差分抽出のみでは現フレーム（Ｆ（ｔ））の明暗縞と一致しない。また、連続した２フレームの差分を取った波形はまだ背景成分の影響が含まれている。すなわち、明るい背景部分では波の振幅は大きく、暗い背景部分では波の振幅は小さく検出されることになる。
この影響を排除するため、ステップＳ２において、この波を正規化するための処理を行なう。すなわち、重ね合わせ画像２０を利用して、ステップＳ１で得られたフリッカ波形成分の正規化処理を実行する。
次に、ステップＳ３において、ステップＳ２で得られた波形を離散フーリエ変換して、フリッカ対応の振幅と位相を取得する。
さらに、ステップＳ４において、得られた振幅と位相に対して、２フレームの差分処理によってずれた分を逆算し、逆算した振幅と位相から、それを打ち消すような補正ゲインを画面の横ラインごとに生成する。
【００１３】
次に、ステップＳ５において、補正対象画像である画像フレームＦ（ｔ）１３から、ステップＳ４で取得した横ライン単位の補正ゲインを適用した画像補正を実行する。これらの処理によって、画像フレームＦ（ｔ）１３から、フリッカ成分を除去したフリッカ補正画像３０を生成する。
従来の一般的なフリッカ補正処理は、このように実行される。
【００１４】
しかし、このような複数の連続撮影画像の重ね合わせ処理によって生成した重ね合わせ画像を用いたフリッカ補正処理には、以下の問題点がある。
【００１５】
（問題点１）電源周波数と、撮像素子の読み出し周波数との対応に起因する問題点
図２に示す３枚の画像は、それぞれ異なるパターンを持つ画像であるが、例えば、フリッカ光源の電源周波数が撮像素子の読み出し周波数の整数倍であるような場合、毎フレーム同じ明暗縞の画像が撮影されてしまう。このような同一パターンのフリッカを持つ画像は重ね合わせ処理を行なっても、フリッカの影響を排除した重ね合わせ画像を生成することができない。結果として図２に示す処理に従ったフリッカ補正が不可能となる。
【００１６】
（問題点２）手ブレや動被写体に起因する問題点
連続撮影画像は、時間の異なるタイミングで撮影された画像であり、例えば手ブレがある場合には、正確な対応画素の加算処理を行うことが困難であり、図２に示す重ね合わせ画像に示すように、被写体のずれた画像を重ね合わせてしまう可能性が高く、画素ずれのない高精度な重ね合わせ画像を生成することが困難である。
また、被写体中に動く被写体が含まれる場合、重ね合わせ画像には、動く被写体の移動軌跡に応じた画素値が反映されてしまい、このような重ね合わせ画像を利用すると正確なフリッカ補正を行うことができない。
また、上下方向に移動する物体を撮影した場合や、上下方向に手ブレを起してしまうと、フリッカ成分算出時に、動被写体や手ブレの影響が反映されたフリッカ成分が算出されてしまい、このようなフリッカ成分に基づく補正を実行しても正しいフリッカ成分補正を行うことができない。
さらに、図２に示すステップＳ１の差分抽出における波形抽出においても、やはり手ブレや動被写体等に起因する影響が発生し、この差分処理に影響が出ると歪んだ波形が抽出され、また、ステップＳ３の正規化処理においても、手ブレや動被写体等に起因する影響が発生した重ね合わせ画像を利用すると誤った正規化処理をしてしまい、正確なフリッカ補正の妨げとなるという問題が発生する。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開平１１−１２２５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本開示は、例えば上記の問題に鑑みてなされたものであり、高精度なフリッカ補正を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
本開示の第１の側面は、
メイン画像を撮影する第１撮像部と、
サブ画像を撮影する第２撮像部と、
前記第１撮像部と、第２撮像部のシャッタースピードを制御する制御部と、
前記メイン画像とサブ画像を入力し、前記メイン画像に含まれるフリッカ成分を除去するフリッカ補正を実行する信号処理部を有し、
前記制御部は、前記サブ画像を撮影する第２撮像部のシャッタースピードを、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードに設定する撮影制御を実行し、
前記信号処理部は、
前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出し、算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する撮像装置にある。
【００２０】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、前記発光源の電源周波数をＤとしたとき、前記第２撮像部のシャッタースピードＳＳを、以下の式、
ＳＳ＝ｎ／（２×Ｄ）
ただし、ｎ＝１以上の整数、
上記式に従って算出するシャッタースピードＳＳに設定する撮影制御を実行する。
【００２１】
さらに、本開示の撮像装置の一実施態様において、前記信号処理部は、前記メイン画像と前記サブ画像に対して、同一被写体の画素位置を整合させる位置合わせ処理を実行し、位置合わせ後のメイン画像とサブ画像の対応画素間の画素値差分を前記フリッカ成分として算出する。
【００２２】
さらに、本開示の撮像装置の一実施態様において、前記第１撮像部と、前記第２撮像部は、同一フレームレートで異なるシャッタースピードに設定された画像を連続撮影し、前記信号処理部は、前記第１撮像部と、前記第２撮像部においてほぼ同一タイミングで撮影されたメイン画像とサブ画像を選択して、選択した２つの画像を適用して、メイン画像に対するフリッカ成分除去処理を実行する。
【００２３】
さらに、本開示の第２の側面は、
メイン画像と、前記メイン画像とほぼ同一タイミングで撮影され、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードで撮影したサブ画像を入力し、前記メイン画像に含まれるフリッカ成分を除去するフリッカ補正を実行する信号処理部を有し、
前記信号処理部は、
前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出し、算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する画像処理装置にある。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記メイン画像と前記サブ画像に対して、同一被写体の画素位置を整合させる位置合わせ処理を実行し、位置合わせ後のメイン画像とサブ画像の対応画素間の画素値差分を前記フリッカ成分として算出する。
【００２５】
さらに、本開示の第３の側面は、
撮像装置において実行する画像処理方法であり、
前記撮像装置は、メイン画像を撮影する第１撮像部と、サブ画像を撮影する第２撮像部を有し、
前記撮像装置の制御部が、
前記サブ画像を撮影する第２撮像部のシャッタースピードを、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードに設定する撮影制御を実行する撮影制御ステップを実行し、
前記撮像装置の信号処理部が、
前記メイン画像とサブ画像を入力し、前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出するフリッカ成分算出ステップと、
算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する補正画像生成ステップを実行する画像処理方法にある。
【００２６】
さらに、本開示の第４の側面は、
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、メイン画像を撮影する第１撮像部と、サブ画像を撮影する第２撮像部を有し、
前記プログラムは、前記撮像装置の制御部に、
前記サブ画像を撮影する第２撮像部のシャッタースピードを、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードに設定する撮影制御を実行する撮影制御ステップを実行させ、
前記撮像装置の信号処理部に、
前記メイン画像とサブ画像を入力し、前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出するフリッカ成分算出ステップと、
算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する補正画像生成ステップを実行させるプログラムにある。
【００２７】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００２８】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本開示の一実施例の構成によれば、高品質なフリッカ補正画像を生成する装置、方法が実現される。
具体的には、メイン画像を撮影する第１撮像部と、サブ画像を撮影する第２撮像部と、各撮像部のシャッタースピードを制御する制御部と、メイン画像に含まれるフリッカ成分を除去するフリッカ補正を実行する信号処理部を有する。制御部は、第２撮像部のシャッタースピードをフリッカによる縞模様の発生しないスピードに設定する。信号処理部は、メイン画像とサブ画像の差分算出により、メイン画像に含まれるフリッカ成分を算出し、算出したフリッカ成分をメイン画像から減算して、メイン画像からフリッカを除去した補正画像を生成する。
本構成によれば、フリッカ成分除去画像を生成するために連続撮影画像を利用した重ね合わせ処理や差分抽出を行なう必要がないため、画像撮影時の手ブレや動く被写体が存在する場合にも、これらの影響のない高精度なフリッカ補正画像を生成可能となる。
【図面の簡単な説明】
【００３０】
【図１】フリッカによる画像に対する影響について説明する図である。
【図２】従来の一般的なフリッカ補正処理について説明する図である。
【図３】撮像装置の構成例について説明する図である。
【図４】撮像装置のハードウェア構成例について説明する図である。
【図５】第２撮像部のシャッタースピード制御と撮影画像であるサブ画像について説明する図である。
【図６】信号処理部の実行するフリッカ補正処理について説明する図である。
【図７】信号処理部の実行するフリッカ補正処理について説明する図である。
【図８】信号処理部の実行する動画像を構成する各画像フレームに対するフリッカ補正処理について説明する図である。
【図９】信号処理部の実行するフリッカ補正処理のシーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら本発明の画像処理装置、撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像装置の構成例について
２．本開示の撮像装置における信号処理部の処理について
３，信号処理部の実行するフリッカ補正処理シーケンスについて
４．本開示の構成のまとめ
【００３２】
［１．撮像装置の構成例について］
以下、図面を参照しながら本開示の構成について説明する。
まず、図３以下を参照して、本開示の画像処理装置および撮像装置の構成例について説明する。
なお、以下の実施例においては、本開示の画像処理装置および撮像装置の代表例として、複数の撮像部を備えた撮像装置について説明する。
本開示の撮像装置は、２以上の複数の撮像部を有する撮像装置であり、具体的には、図３に示すような撮像装置である。
図３に示す撮像装置（３Ｄカメラ）８０は、離間した位置に第１撮像部８１、第２撮像部８２を有する。
第１撮像部８１、第２撮像部８２とも、例えばＣＣＤ、ＣＭＯＳ等によって構成される撮像素子を備え、撮影画像に応じて各画素単位の画像信号を生成して出力する。
第１撮像部８１、第２撮像部８２の出力画像は、所定の信号処理が施された後、それぞれ表示部８３に表示される。
【００３３】
なお、本開示の構成では、第１撮像部８１と、第２撮像部８２は、それぞれ露光期間（シャッタースピード）の異なる画像の撮影を行う。
具体的には、
第１撮像部８１は、記録あるいは表示するためのメイン画像を、自動設定あるいはユーザ設定に従った任意のシャッタースピードで撮影する。
第２撮像部８２は、メイン画像のフリッカ補正に適用するため、シャッタースピードを制御して、光源のちらつきに基づく縞模様（フリッカ）のないサブ画像を撮影する。
【００３４】
第１撮像部８１において撮影されたメイン画像は、第２撮像部８２を介して撮影されたサブ画像を適用してフリッカ除去処理が実行され、フリッカ除去補正後の画像を記憶部に記録し、また表示部８３に表示する画像として利用する。
これらの処理の詳細については後述する。
【００３５】
次に、図４を参照して、本開示の撮像装置のハードウェア構成例について説明する。
図４に示すように撮像装置１００は、メイン画像を撮影する第１撮像部１０１と、サブ画像を撮影する第２撮像部１０２を有する。
【００３６】
制御部１１０は、第１撮像部１０１、および第２撮像部１０２のシャッター制御など撮影制御を行う。
制御部１１０は、第１撮像部１０１のシャッタースピードを自動制御あるいはユーザ制御などにより、任意の様々なタイミングに設定する制御を実行し、メイン画像２０１を撮影する。
【００３７】
また、制御部１１０は、第２撮像部１０２のシャッタースピードを、光源のちらつきに基づく縞模様（フリッカ）が発生しない設定とし、フリッカのないサブ画像２０２を撮影する。
具体的には、撮影環境に設定された光源に入力する電源の電源周波数をＤ（Ｈｚ）としたとき、制御部１１０は、第２撮像部１０２のシャッタースピードＳＳを、以下の（式１）によって算出される値とする。
【００３８】
シャッタースピード：ＳＳ＝ｎ／（２×Ｄ）  ・・・・（式１）
ただし、ｎ＝１以上の整数であり、ｎ＝１，２，３・・・とする。
【００３９】
例えば電源周波数＝５０Ｈｚの場合、
制御部１１０は、第２撮像部１０２のシャッタースピードを、上記（式１）に従って、
シャッタースピード：ＳＳ＝１／１００，１／５０、１／２５・・・などのいずれかの値に設定する。
【００４０】
シャッタースピード：ＳＳ＝１／１００とした場合の、第２撮像部１０２の撮影画像の例を図５に示す。
図５は、先に図１を参照して説明したと同様の図であり、以下の各図を示している。
（ａ）蛍光灯の輝度変化
（ｂ）ＣＭＯＳイメージセンサの撮像（露光）シーケンスの模式図
（ｃ）ＣＭＯＳイメージの読み出しタイミング
（ｄ）出力画像のイメージ
図５において時間（ｔ）は左から右に経過している。
【００４１】
蛍光灯は、５０Ｈｚの商用電源地域で動作していることを想定している。この場合蛍光灯は電源周波数（５０Ｈｚ）の２倍の周波数１００Ｈｚで点滅を繰り返している。（ａ）に示す円弧状のカーブは蛍光灯の輝度変化を示している。１００ＨＺ、すなわち１／１００秒単位の周期で輝度変化を発生させている。
【００４２】
このような照明環境下で、図１と同様、毎秒６０フレームのフレームレートでローリングシャッタを有するＣＭＯＳイメージセンサで画像撮影を行う。露光処理は時間経過に伴い、各撮影フレームの上端行（Ｒｏｗ）から下端行（Ｒｏｗ）に向かって順次、行われる。
【００４３】
（ｂ）に示すＣＭＯＳイメージセンサの撮像模式図において、斜め点線がイメージセンサのリセットのタイミングを示すラインであり、斜めの実線が読み出しのタイミングを示すラインである。点線で示すリセット後に露光が開始され、実線で示す読み出しタイミングまでの期間が露光時間となる。ローリングシャッタによりフレームの上部のスキャンラインから下部のスキャンラインに向かって露光が行われている。
【００４４】
隣り合う２本の斜めの実線に囲まれた領域がイメージセンサの１フレームを示している。
図５に示す例では、点線と実線とではさまれた露光時間を、（ａ）に示す円弧状のカーブの周期と同様、１／１００秒に設定している。
すなわち、上記（式１）を満たすシャッタースピードの設定である。
この１／１００の露光期間において、照明の輝度変化が発生するが、ＣＭＯＳイメージセンサの上位行〜下位行のすべてにおいて、１／１００の露光期間におけるトータルの受光量は同じである。
【００４５】
すなわち、画像フレームを構成する各行のすべてにおいて、蛍光灯の輝度変化周期と同じ１／１００秒の露光を受けており、図５の（ｄ）出力画像に示すように横縞状のムラであるフリッカの発生しない画像が得られる。
【００４６】
図５の（ｄ）出力画像にはフレーム＃１〜フレーム＃４の４枚の連続撮影画像を示している。毎秒６０フレームのフレームレート（６０ｆｐｓ）で撮影された動画を構成する画像フレーム＃１〜＃４である。
フレーム＃３には上端部Ｐ，中間部Ｑ，下端部Ｒをそれぞれ示している。これらは、（ｂ）に示すＣＭＯＳイメージセンサの撮像模式図における露光時間Ｐ，Ｑ，Ｒとの対応位置を明示するために示している。
フレーム＃３の上端部Ｐ，Ｑ，Ｒのいずれも、蛍光灯の輝度変化周期と同じ１／１００秒の露光を受けており、トータルの受光量が等しくなり、輝度ムラのないすなわちフリッカのない画像が得られる。
【００４７】
このように、第２撮像部１０２は、制御部１１０の制御の下、上記（式１）に従ったシャッタースピードに制御され、フリッカのないサブ画像２０２を撮影する。
【００４８】
なお、第１撮像部１０１と、第２撮像部１０２は、撮像素子（イメージャ）やノイズ除去部，Ａ／Ｄ変換部等によって構成される。撮像素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）固体撮像素子やＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）固体撮像素子が用いられる。撮像素子は、光電変換を行い、撮像面に結像された光学像に応じた画像信号を生成する。ノイズ除去部は、撮像素子で生成された画像信号に対して例えば相関二重サンプリング処理等を行い、画像信号からノイズを除去する。また、ノイズ除去後の画像信号を所望の信号レベルに増幅する。Ａ／Ｄ変換器は、ノイズ除去部で処理された画像信号をデジタル信号に変換して信号処理部１０３に出力する。
【００４９】
第１撮像部１０１の撮影画像であるメイン画像２０１、および、第２撮像部１０２の撮影画像であるサブ画像２０２は信号処理部１０３に入力される。
信号処理部１０３は、第１撮像部１０１の撮影画像であるメイン画像２０１に対して、第２撮像部１０２の撮影画像であるサブ画像２０２を適用してフリッカ除去のための画像補正処理を実行する。
このフリッカ補正処理の詳細については後述する。
【００５０】
信号処理部１０３は、さらに、フリッカ補正されたメイン画像２０１に対して、さらにホワイトバランス調整、ガンマ補正、各画素に対するＲＧＢ信号あるいは、輝度・色差信号の生成処理など一般的なカメラ信号処理を実行する。
信号処理部１０３における信号処理によって、表示部への表示画像、記憶部への記憶画像のベースとなる画像が生成される。
【００５１】
信号処理部１０３の生成画像データは、表示部１０４に表示される。
さらに、信号処理部１０３の生成画像データは、コーデック１０５に出力され、例えばＭＰＥＧ符号化処理などのデータ符号化処理が実行される。さらに、メディアインタフェース１０６を介して記憶部１０７に格納される。
【００５２】
なお、第１撮像部１０１〜記憶部１０７の各処理部において実行する処理は、制御部１１０の制御の下で実行される。制御部１１０は、例えばメモリ１１２に格納されたプログラムに従って画像の撮影制御、信号処理制御、表示制御、記憶制御など、撮像装置１００において実行する様々なデータ処理に対する制御を実行する。また、制御部１１０は、操作部１１１を介したユーザ操作情報に応じて処理の制御を行う。
【００５３】
［２．本開示の撮像装置における信号処理部の処理について］
次に、図６以下を参照して、本開示の撮像装置１００の信号処理部１０３が実行するフリッカ補正処理の詳細について説明する。
前述したように、信号処理部１０３は、第１撮像部１０１の撮影したメイン画像に対するフリッカ補正処理を行なう。このフリッカ補正においては、第２撮像部１０２の撮影したサブ画像を適用した処理を実行する。
【００５４】
なお、前述したように、
第１撮像部１０１の撮影画像であるメイン画像は、自動制御、あるいはユーザ制御によって設定された様々なシャッタースピードに従って撮影された画像である。
第２撮像部１０２の撮影画像であるサブ画像は、フリッカによる縞模様のない画像である。すなわち、上述した（式１）、すなわち、
シャッタースピード＝ｎ／（２×Ｄ）
ただし、
Ｄ：電源周波数、
ｎ＝１，２，３・・・の整数、
上記式に従ったシャッタースピードで撮影された画像である。
【００５５】
図６に示すように、信号処理部１０３は、
フリッカの発生したメイン画像２０１、
フリッカの発生していないサブ画像２０２、
これらの２つの画像を入力し、メイン画像２０１に含まれるフリッカ成分を除去するフリッカ補正を実行して補正画像２２０を生成して出力する。
【００５６】
補正画像２２０は、メイン画像２０１からフリッカ成分を除去した画像である。この補正画像２２０が、表示部１０４に表示される。また、コーデック１０５に出力され、符号化処理が施されてメディアインタフェース１０６を介して記憶部１０７に格納される。
【００５７】
なお、第１撮像部１０１と、第２撮像部１０２は、例えば、同一フレームレートで異なるシャッタースピードに設定された連続画像、すなわち、動画像を撮影する場合には、信号処理部１０３は、第１撮像部１０１と、第２撮像部１０２においてほぼ同一タイミングで撮影されたメイン画像とサブ画像を、順次入力して、入力した２つの画像を適用して、メイン画像に対するフリッカ成分除去処理を実行する。
この処理により、連続撮影されるメイン画像の各フレームについてフリッカ補正された補正画像を順次、生成する。すなわち、フリッカ補正された動画像を生成して出力することができる。
【００５８】
図７を参照して、信号処理部１０３の実行するフリッカ補正処理の詳細について説明する。
信号処理部１０３は、
第１撮像部１０１の撮影画像であるメイン画像２０１と。
第２撮像部１０２の撮影画像であるサブ画像２０２、
これら２つの画像を入力する。
なお、これらの２つの画像は、ほぼ同時の撮影タイミングにおいて撮影された画像である。
ただし、シャッタースピードが異なり、サブ画像２０２は、前述の（式１）によって算出されるシャッタースピードで撮影され、フリッカに起因する縞パターンを有していない画像である。
【００５９】
図７に示すように、信号処理部１０３は、まず、ステップＳ１１において、メイン画像２０１と、サブ画像２０２の位置合わせ処理を実行し、さらに、位置合わせ後の対応画素同士の差分を算出し、この差分値をフリッカ成分として算出する。
図７に示すフリッカ成分２１０である。
【００６０】
なお、第１撮像部１０１と、第２撮像部１０２は、例えば図３に示すように、左右方向にずれた位置に設定されている。
従って、第１撮像部１０１の撮影画像であるメイン画像２０１と。第２撮像部１０２の撮影画像であるサブ画像２０２とでは、同じ被写体位置の撮影画素である対応画素の位置が視差に応じてずれた位置になる。
【００６１】
ステップＳ１１では、まず、この視差に起因する位置ずれを修正する。なお、処理としては、メイン画像２０１は移動せず、サブ画像２０２を視差に応じて修正する処理を行なえばよい。
なお、メイン画像２０１と、サブ画像との対応画素の検出は、例えばブロックマッチング処理など既存処理が適用可能である。
【００６２】
この位置合わせ後のメイン画像とサブ画像との対応画素間の差分値を、図７に示すフリッカ成分２１０として算出する。
フリッカ成分２１０は、メイン画像２０１の垂直方向（Ｙ方向）の各ラインに含まれるフリッカ成分値を示す。
【００６３】
次に、ステップＳ１２において、補正対象画像であるメイン画像２０１から、フリッカ成分２１０を減算する画像補正を実行する。
この処理により、メイン画像２０１に含まれるフリッカ成分を除去した補正画像２２０を生成する。
【００６４】
この補正画像２２０を表示部１０４に出力する。また、コーデック１０５に出力し所定の符号化処理の後、メディアインタフェース１０６を介して記憶部１０７に格納する。
【００６５】
この補正処理では、先に図２を参照して説明した従来の一般的なフリッカ補正処理と異なり、連続撮影画像の重ね合わせ処理や差分抽出処理が不要となる。
従って、先に従来技術の問題点として説明した複数の問題が発生することがなく、より品質の高い補正画像を生成することが可能となる。
【００６６】
先に図２を参照して説明した問題点は、以下の問題点である。
（問題点１）電源周波数と、撮像素子の読み出し周波数との対応に起因する問題点
（問題点２）手ブレや動被写体に起因する問題点
【００６７】
（問題点１）は、例えば、フリッカ光源の電源周波数が撮像素子の読み出し周波数の整数倍であるような場合、毎フレーム同じ明暗縞の画像が撮影されてしまい、重ね合わせ処理を行なっても、フリッカの影響を排除した重ね合わせ画像を生成することができないという問題である。
【００６８】
図７を参照して説明した処理では、サブ画像のシャッタースピードを制御し、フリッカによる縞模様の発生しない画像を確実に取得することができる。
従って、上記の（問題点１）は解決される。
【００６９】
（問題点２）は、連続撮影画像の重ね合わせにより、画素ずれのない高精度な重ね合わせ画像を生成することが困難であり、また、重ね合わせ画像に基づくフリッカ成分抽出を行うと、動く被写体や手ブレなどの影響がフリッカ成分に含まれてしまうという問題である。
【００７０】
これに対して、図７を参照して説明した処理では、連続撮影画像の重ね合わせ処理を実行せず、フリッカによる縞模様の発生しない１枚のサブ画像と、１枚のメイン画像との差分からフリッカ成分を算出している構成である。従って、上記の（問題点２）に示す問題は発生しない。
【００７１】
このように、本開示の処理によれば、従来の連続撮影画像の重ね合わせ画像を利用した処理において発生する問題をすべて解決することが可能となり、より品質の高いフリッカ補正画像を生成することが可能となる。
【００７２】
なお、前述したように、第１撮像部１０１と、第２撮像部１０２が動画像を撮影する場合には、信号処理部１０３は、第１撮像部１０１と、第２撮像部１０２においてほぼ同一タイミングで撮影されたメイン画像とサブ画像を、順次入力して、入力した２つの画像を適用して、メイン画像に対するフリッカ成分除去処理を実行する。
【００７３】
図８に動画撮影時のフリッカ補正処理例を示す。図８には、以下の各画像を左から右に時系列に従って示している。
最上段＝（Ａ）第１撮像部１０１で撮影されるメイン画像の画像フレーム：Ｍ−Ｆ（ｔ１）〜Ｍ−Ｆ（ｔ６）
最下段＝（Ｂ）第２撮像部１０２で撮影されるサブ画像の画像フレーム：Ｓ−Ｆ（ｔ１）〜Ｓ−Ｆ（ｔ６）
中段：（Ｃ）メイン画像とサブ画像を適用したフリッカ補正によって生成され、出力される補正画像：Ｆ（ｔ１）〜Ｆ（ｔ６）
【００７４】
（Ａ）メイン画像は、任意のシャッタースピードで撮影されたメイン画像としての動画像であり、例えば先に図１を参照して説明した図１（ｄ）に示すフレーム＃１，＃２，＃３・・・に相当する画像である。各画像には、フリッカによる輝度ムラとしての縞パターンが発生している。
【００７５】
一方、（Ｂ）サブ画像は、先に説明した（式１）、すなわち、
シャッタースピード：ＳＳ＝ｎ／（２×Ｄ）
上記式に従ったシャッタースピードに設定して撮影されたサブ画像としての動画像であり、例えば先に図５を参照して説明した図５（ｄ）に示すフレーム＃１，＃２，＃３・・・に相当する画像である。各画像には、フリッカによる輝度ムラとしての縞パターンは発生していない。
【００７６】
例えば、中段（Ｃ）に示す補正画像：Ｆ（ｔ１）を生成する場合は、信号処理部１０３は、第１撮像部１０１と第２撮像部１０２から、ほぼ同一タイミングで撮影された以下の画像を入力する。
メイン画像：Ｍ−Ｆ（ｔ１）と、
サブ画像：Ｓ−Ｆ（ｔ１）を入力して、
これらの画像を適用して、図７に示す処理を行ない、補正画像：Ｆ（ｔ１）を生成して出力する。
【００７７】
同様に、補正画像：Ｆ（ｔ２）を生成する場合は、信号処理部１０３は、第１撮像部１０１と第２撮像部１０２から、ほぼ同一タイミングで撮影された以下の画像を入力する。
メイン画像：Ｍ−Ｆ（ｔ２）と、
サブ画像：Ｓ−Ｆ（ｔ２）を入力して、
これらの画像を適用して、図７に示す処理を行ない、補正画像：Ｆ（ｔ２）を生成して出力する。
【００７８】
以下、信号処理部１０３は、各画像フレーム単位で同様の処理を実行する。すなわち、信号処理部１０３は、第１撮像部１０１と、第２撮像部１０２においてほぼ同一タイミングで撮影されたメイン画像とサブ画像を順次入力して、入力した２つの画像を適用して、メイン画像に対するフリッカ成分除去処理を実行して補正画像としての動画像を構成する各画像フレームを生成する。
【００７９】
［３，信号処理部の実行するフリッカ補正処理シーケンスについて］
次に、図９に示すフローチャートを参照して、信号処理部１０３の実行するフリッカ補正シーケンスについて説明する。
なお、図９に示すフローは、例えばメモリ１１２に格納されたプログラムに従って制御部１１０の制御の下で信号処理部１０３において実行される。
【００８０】
まず、ステップＳ１０１において、信号処理部は、メイン画像とサブ画像を入力する。すなわち、
第１撮像部１０１の撮影画像であるメイン画像と。
第２撮像部１０２の撮影画像であるサブ画像、
これら２つの画像を入力する。
なお、これらの２つの画像は、ほぼ同時の撮影タイミングにおいて撮影された画像である。ただし、シャッタースピードが異なる。サブ画像は、前述の（式１）によって算出されるシャッタースピードで撮影され、フリッカに起因する縞パターンを有していない画像である。
【００８１】
次に、信号処理部は、ステップＳ１０２において、メイン画像と、サブ画像の位置合わせ処理を実行する。
すなわち、各撮像部の配置に基づく視差に起因する位置ずれを修正する。なお、フリッカ補正対象となるメイン画像は、そのままとして、サブ画像を視差に応じて修正する。
【００８２】
次に、信号処理部は、ステップＳ１０３において、位置合わせ後のメイン画像とサブ画像の対応画素同士の差分を算出し、この差分値をフリッカ成分として算出する。
図７に示すフリッカ成分２１０である。図７に示すように、フリッカ成分２１０は、メイン画像２０１の垂直方向（Ｙ方向）の各ラインにおいて異なる値となる。
【００８３】
次に、信号処理部は、ステップＳ１０４において、補正対象画像であるメイン画像から、ステップＳ１０３で算出したフリッカ成分を減算する画像補正を実行する。
最後に、ステップＳ１０５において、ステップＳ１０４の処理において生成したフリッカ成分を除去した補正画像を出力し、表示部に表示あるいは記憶部に格納する。
【００８４】
なお、信号処理部１０３は、第１撮像部１０１と、第２撮像部１０２から、順次入力するメイン画像サブ画像のペアに対して、図９に示すフローに従った処理を順次、繰り返して実行する。
例えば、第１撮像部１０１と、第２撮像部１０２が動画像を撮影する場合、信号処理部１０３は、第１撮像部１０１と、第２撮像部１０２においてほぼ同一タイミングで撮影されたメイン画像とサブ画像を、順次入力して、入力した２つの画像を適用して、図９に示すフローに従って、メイン画像に対するフリッカ成分除去処理を実行する。
この処理により、連続撮影されるメイン画像の各フレームについてフリッカ補正された補正画像を順次、生成する。すなわち、フリッカ補正された動画像を生成して出力することができる。
【００８５】
［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８６】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  メイン画像を撮影する第１撮像部と、
サブ画像を撮影する第２撮像部と、
前記第１撮像部と、第２撮像部のシャッタースピードを制御する制御部と、
前記メイン画像とサブ画像を入力し、前記メイン画像に含まれるフリッカ成分を除去するフリッカ補正を実行する信号処理部を有し、
前記制御部は、前記サブ画像を撮影する第２撮像部のシャッタースピードを、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードに設定する撮影制御を実行し、
前記信号処理部は、
前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出し、算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する撮像装置。
【００８７】
（２）前記制御部は、前記発光源の電源周波数をＤとしたとき、前記第２撮像部のシャッタースピードＳＳを、以下の式、
ＳＳ＝ｎ／（２×Ｄ）
ただし、ｎ＝１以上の整数、
上記式に従って算出するシャッタースピードＳＳに設定する撮影制御を実行する前記（１）に記載の撮像装置。
【００８８】
（３）前記信号処理部は、前記メイン画像と前記サブ画像に対して、同一被写体の画素位置を整合させる位置合わせ処理を実行し、位置合わせ後のメイン画像とサブ画像の対応画素間の画素値差分を前記フリッカ成分として算出する前記（１）または（２）に記載の撮像装置。
【００８９】
（４）前記第１撮像部と、前記第２撮像部は、同一フレームレートで異なるシャッタースピードに設定された画像を連続撮影し、前記信号処理部は、前記第１撮像部と、前記第２撮像部においてほぼ同一タイミングで撮影されたメイン画像とサブ画像を選択して、選択した２つの画像を適用して、メイン画像に対するフリッカ成分除去処理を実行する前記（１）〜（３）いずれかに記載の撮像装置。
【００９０】
（５）メイン画像と、前記メイン画像とほぼ同一タイミングで撮影され、画像撮影環境における発光源のフリッカによる縞模様の発生しないシャッタースピードで撮影したサブ画像を入力し、前記メイン画像に含まれるフリッカ成分を除去するフリッカ補正を実行する信号処理部を有し、
前記信号処理部は、
前記メイン画像とサブ画像の差分算出により、前記メイン画像に含まれるフリッカ成分を算出し、算出したフリッカ成分を前記メイン画像から減算して、前記メイン画像からフリッカを除去した補正画像を生成する画像処理装置。
【００９１】
（６）前記信号処理部は、前記メイン画像と前記サブ画像に対して、同一被写体の画素位置を整合させる位置合わせ処理を実行し、位置合わせ後のメイン画像とサブ画像の対応画素間の画素値差分を前記フリッカ成分として算出する前記（５）に記載の画像処理装置。
【００９２】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【００９３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００９５】
以上、説明したように、本開示の一実施例の構成によれば、高品質なフリッカ補正画像を生成する装置、方法が実現される。
具体的には、メイン画像を撮影する第１撮像部と、サブ画像を撮影する第２撮像部と、各撮像部のシャッタースピードを制御する制御部と、メイン画像に含まれるフリッカ成分を除去するフリッカ補正を実行する信号処理部を有する。制御部は、第２撮像部のシャッタースピードをフリッカによる縞模様の発生しないスピードに設定する。信号処理部は、メイン画像とサブ画像の差分算出により、メイン画像に含まれるフリッカ成分を算出し、算出したフリッカ成分をメイン画像から減算して、メイン画像からフリッカを除去した補正画像を生成する。
本構成によれば、フリッカ成分除去画像を生成するために連続撮影画像を利用した重ね合わせ処理や差分抽出を行なう必要がないため、画像撮影時の手ブレや動く被写体が存在する場合にも、これらの影響のない高精度なフリッカ補正画像を生成可能となる。
【符号の説明】
【００９６】
８０  撮像装置（３Ｄカメラ）
８１  第１撮像部
８２  第２撮像部
８３  表示部
１００  撮像装置
１０１  第１撮像部
１０２  第２撮像部
１０３  信号処理部
１０４  表示部
１０５  コーデック
１０６  メディアインタフェース
１０７  記憶部
１１０  制御部
１１１  メモリ
１１２  操作部（ＵＩ）
２０１  メイン画像
２０２  サブ画像
【図３】
2013251668.tif 000003
【図４】
2013251668.tif 000004
【図９】
2013251668.tif 000005
【図１】
2013251668.tif 000006
【図２】
2013251668.tif 000007
【図５】
2013251668.tif 000008
【図６】
2013251668.tif 000009
【図７】
2013251668.tif 000010
【図８】
2013251668.tif 000011