(57)【要約】【課題】画像のフリッカ補正を実行する装置、方法を提供する。【解決手段】第１露光画像のフリッカ成分を算出する第１フリッカ成分算出部と、第２露光画像のフリッカ成分を算出する第２フリッカ成分算出部と、第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行し、第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行し、フリッカ補正第１露光画像と、フリッカ補正第２露光画像の合成処理により例えば広ダイナミックレンジ画像のような画像を生成する。第２フリッカ成分算出部は、第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出する。【選択図】図１２
2013219708.tif 000002
【特許請求の範囲】
【請求項１】
第１の露光時間の撮影画像である第１露光画像のフリッカ成分を算出する第１フリッカ成分算出部と、
前記第１の露光時間と異なる第２の露光時間の撮影画像である第２露光画像のフリッカ成分を算出する第２フリッカ成分算出部と、
前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行してフリッカ補正第１露光画像を生成する第１露光画像フリッカ補正部と、
前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行してフリッカ補正第２露光画像を生成する第２露光画像フリッカ補正部を有し、
前記第２フリッカ成分算出部は、
前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出する画像処理装置。
【請求項２】
前記第１フリッカ成分算出部は、
前記第１露光画像の露光時間Ｅ１と、前記第１露光画像の各画素の露光終了時間ｔとの関数として、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、
前記第２フリッカ成分算出部は、
前記第１フリッカ成分算出部の算出した前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として、露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する請求項１に記載の画像処理装置。
【請求項３】
前記第１フリッカ成分算出部は、
前記第１露光画像の露光時間Ｅ１と、前記第１露光画像の各画素の露光終了時間ｔとの関数として、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、
前記第２フリッカ成分算出部は、
前記第２露光画像の露光時間Ｅ２が、前記第１露光画像の露光時間Ｅ１の整数倍である場合、
前記第１露光画像の異なる露光終了時間ｔに対応する複数の第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する請求項１に記載の画像処理装置。
【請求項４】
前記第１フリッカ成分算出部は、
前記第１露光画像の露光時間Ｅ１と、前記第１露光画像の各画素の露光終了時間ｔとの関数として、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、
前記第２フリッカ成分算出部は、
前記第２露光画像の露光時間Ｅ２が、前記第１露光画像の露光時間Ｅ１の整数倍でない場合、
前記第１露光画像の露光時間Ｅ１未満の露光期間ｋＥ１、ただしｋ＜１、におけるフリッカ発生要因となる環境光の総量を、露光時間Ｅ１内の前記環境光の総量のｋ倍であると近似し、
前記近似に基づいて、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する請求項１に記載の画像処理装置。
【請求項５】
前記第１露光画像フリッカ補正部は、
前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分の逆数を、前記第１露光画像の画素値に乗算して、フリッカ補正第１露光画像を生成し、
前記第２露光画像フリッカ補正部は、
前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分の逆数を、前記第２露光画像の画素値に乗算して、フリッカ補正第２露光画像を生成する請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、さらに、
前記第１の露光時間の画素と前記第２の露光時間の画素からなる画像を入力し、画素補間処理により、前記第１の露光時間の撮影画像である第１露光画像と、前記第２の露光時間の撮影画像である第２露光画像を生成する感度別補間部を有し、
前記第１フリッカ成分算出部は、
前記感度別補間部の生成した第１露光画像を入力して、該第１露光画像のフリッカ成分を算出し、
前記第２フリッカ成分算出部は、
前記感度別補間部の生成した第２露光画像を入力して、該第２露光画像のフリッカ成分を算出する請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の合成処理により、出力画像を生成する画像合成部を有する請求項１に記載の画像処理装置。
【請求項８】
前記画像合成部は、
前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の対応画素の明るさを一致させる露出補正を行う露出補正部と、
前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の画素値に応じて、前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の対応画素値のブレンド比率を決定するブレンド係数算出部と、
前記ブレンド係数算出部の決定した前記ブレンド比率に応じて前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の対応画素値のブレンド処理を実行するブレンド処理部を有する請求項７に記載の画像処理装置。
【請求項９】
画像処理装置において実行する画像処理方法であり、
第１フリッカ成分算出部が、第１の露光時間の撮影画像である第１露光画像のフリッカ成分を算出する第１フリッカ成分算出ステップと、
第２フリッカ成分算出部が、前記第１の露光時間と異なる第２の露光時間の撮影画像である第２露光画像のフリッカ成分を算出する第２フリッカ成分算出ステップと、
第１露光画像フリッカ補正部が、前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行してフリッカ補正第１露光画像を生成する第１露光画像フリッカ補正ステップと、
第２露光画像フリッカ補正部が、前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行してフリッカ補正第２露光画像を生成する第２露光画像フリッカ補正ステップを実行し、
前記第２フリッカ成分算出ステップは、
前記第１フリッカ成分算出ステップにおいて算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出するステップである画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
第１フリッカ成分算出部に、第１の露光時間の撮影画像である第１露光画像のフリッカ成分を算出させる第１フリッカ成分算出ステップと、
第２フリッカ成分算出部に、前記第１の露光時間と異なる第２の露光時間の撮影画像である第２露光画像のフリッカ成分を算出させる第２フリッカ成分算出ステップと、
第１露光画像フリッカ補正部に、前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行してフリッカ補正第１露光画像を生成させる第１露光画像フリッカ補正ステップと、
第２露光画像フリッカ補正部に、前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行してフリッカ補正第２露光画像を生成させる第２露光画像フリッカ補正ステップを実行し、
前記第２フリッカ成分算出ステップは、
前記第１フリッカ成分算出ステップにおいて算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出させるステップであるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像に発生するフリッカの補正を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
蛍光灯の照明の下で、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅｓ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などＸＹアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、映像信号に縞状の輝度ムラや色ムラが発生する。この現象はフリッカと呼ばれる。これは、商用電源（交流）に接続された蛍光灯が基本的に電源周波数の２倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。
【０００３】
フリッカの発生した画像には水平方向に延びる縞模様の輝度変化パターンが出現する。例えば動画を観察した場合、上下に流れる縞模様が観察されてしまうという問題がある。
【０００４】
このようなフリッカを抑制する技術を開示した従来技術として、例えば特許文献１（特開２０１１−１６００９０号公報）がある。
特許文献１は、画像からフリッカ成分を抽出し、その逆相パターンからなるフリッカ補正係数を算出して、画像の画素値に乗じて補正することで画像に含まれるフリッカ成分を除去する手法を開示している。
【０００５】
一方、昨今、例えば広ダイナミックレンジ画像を生成するために、異なる露光時間に設定した複数の画像を撮影し、これらの異なる露光時間の画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成する撮像装置が提案されている。
【０００６】
このように、複数の異なる露光時間の画像を撮影する撮像装置に、上記の特許文献１に記載の処理を適用しようとすると、異なる露光時間に設定した複数の画像の各々に対して、
フリッカ成分の抽出処理、
フリッカ成分の逆相パターンの補正係数の算出処理、
補正係数に基づく補正処理、
これらの処理を個別に実行することが必要となる。
このように、異なる露光時間の画像各々に対して上記の処理を実行させるためには、ハードウェア構成の増加や、処理時間の増大が発生することになり、好ましくない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１６００９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本開示は、例えば上記問題点に鑑みてなされたものであり、複数の異なる露光時間の画像を利用して出力画像を生成する構成において、フリッカ成分の低減処理を簡易な構成で効率的に実行可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本開示の第１の側面は、
第１の露光時間の撮影画像である第１露光画像のフリッカ成分を算出する第１フリッカ成分算出部と、
前記第１の露光時間と異なる第２の露光時間の撮影画像である第２露光画像のフリッカ成分を算出する第２フリッカ成分算出部と、
前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行してフリッカ補正第１露光画像を生成する第１露光画像フリッカ補正部と、
前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行してフリッカ補正第２露光画像を生成する第２露光画像フリッカ補正部を有し、
前記第２フリッカ成分算出部は、
前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出する画像処理装置にある。
【００１０】
さらに、本開示の画像処理装置の一実施態様において、前記第１フリッカ成分算出部は、前記第１露光画像の露光時間Ｅ１と、前記第１露光画像の各画素の露光終了時間ｔとの関数として、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、前記第２フリッカ成分算出部は、前記第１フリッカ成分算出部の算出した前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として、露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する。
【００１１】
さらに、本開示の画像処理装置の一実施態様において、前記第１フリッカ成分算出部は、前記第１露光画像の露光時間Ｅ１と、前記第１露光画像の各画素の露光終了時間ｔとの関数として、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、前記第２フリッカ成分算出部は、前記第２露光画像の露光時間Ｅ２が、前記第１露光画像の露光時間Ｅ１の整数倍である場合、前記第１露光画像の異なる露光終了時間ｔに対応する複数の第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する。
【００１２】
さらに、本開示の画像処理装置の一実施態様において、前記第１フリッカ成分算出部は、前記第１露光画像の露光時間Ｅ１と、前記第１露光画像の各画素の露光終了時間ｔとの関数として、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、前記第２フリッカ成分算出部は、前記第２露光画像の露光時間Ｅ２が、前記第１露光画像の露光時間Ｅ１の整数倍でない場合、前記第１露光画像の露光時間Ｅ１未満の露光期間ｋＥ１、ただしｋ＜１、におけるフリッカ発生要因となる環境光の総量を、露光時間Ｅ１内の前記環境光の総量のｋ倍であると近似し、前記近似に基づいて、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記第１露光画像フリッカ補正部は、前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分の逆数を、前記第１露光画像の画素値に乗算して、フリッカ補正第１露光画像を生成し、前記第２露光画像フリッカ補正部は、前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分の逆数を、前記第２露光画像の画素値に乗算して、フリッカ補正第２露光画像を生成する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記第１の露光時間の画素と前記第２の露光時間の画素からなる画像を入力し、画素補間処理により、前記第１の露光時間の撮影画像である第１露光画像と、前記第２の露光時間の撮影画像である第２露光画像を生成する感度別補間部を有し、前記第１フリッカ成分算出部は、前記感度別補間部の生成した第１露光画像を入力して、該第１露光画像のフリッカ成分を算出し、前記第２フリッカ成分算出部は、前記感度別補間部の生成した第２露光画像を入力して、該第２露光画像のフリッカ成分を算出する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の合成処理により、出力画像を生成する画像合成部を有する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記画像合成部は、前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の対応画素の明るさを一致させる露出補正を行う露出補正部と、前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の画素値に応じて、前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の対応画素値のブレンド比率を決定するブレンド係数算出部と、前記ブレンド係数算出部の決定した前記ブレンド比率に応じて前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の対応画素値のブレンド処理を実行するブレンド処理部を有する。
【００１７】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
第１フリッカ成分算出部が、第１の露光時間の撮影画像である第１露光画像のフリッカ成分を算出する第１フリッカ成分算出ステップと、
第２フリッカ成分算出部が、前記第１の露光時間と異なる第２の露光時間の撮影画像である第２露光画像のフリッカ成分を算出する第２フリッカ成分算出ステップと、
第１露光画像フリッカ補正部が、前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行してフリッカ補正第１露光画像を生成する第１露光画像フリッカ補正ステップと、
第２露光画像フリッカ補正部が、前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行してフリッカ補正第２露光画像を生成する第２露光画像フリッカ補正ステップを実行し、
前記第２フリッカ成分算出ステップは、
前記第１フリッカ成分算出ステップにおいて算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出するステップである画像処理方法にある。
【００１８】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
第１フリッカ成分算出部に、第１の露光時間の撮影画像である第１露光画像のフリッカ成分を算出させる第１フリッカ成分算出ステップと、
第２フリッカ成分算出部に、前記第１の露光時間と異なる第２の露光時間の撮影画像である第２露光画像のフリッカ成分を算出させる第２フリッカ成分算出ステップと、
第１露光画像フリッカ補正部に、前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行してフリッカ補正第１露光画像を生成させる第１露光画像フリッカ補正ステップと、
第２露光画像フリッカ補正部に、前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行してフリッカ補正第２露光画像を生成させる第２露光画像フリッカ補正ステップを実行し、
前記第２フリッカ成分算出ステップは、
前記第１フリッカ成分算出ステップにおいて算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出させるステップであるプログラムにある。
【００１９】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２０】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２１】
本開示の一実施例の構成によれば、画像のフリッカ補正を実行する装置、方法が実現される。
具体的には、第１露光画像のフリッカ成分を算出する第１フリッカ成分算出部と、第２露光画像のフリッカ成分を算出する第２フリッカ成分算出部と、第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行し、第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行し、フリッカ補正第１露光画像と、フリッカ補正第２露光画像の合成処理により例えば広ダイナミックレンジ画像のような画像を生成する。第２フリッカ成分算出部は、第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出する。
これらの処理により、フリッカ成分の算出処理が簡略化され、ハードウェア構成、処理の効率化が実現される。
【図面の簡単な説明】
【００２２】
【図１】フリッカの発生原理と補正について説明する図である。
【図２】フリッカの発生原理と補正について説明する図である。
【図３】フリッカの発生原理と補正について説明する図である。
【図４】本開示の画像処理装置の実行するフリッカの補正について説明する図である。
【図５】本開示の画像処理装置の実行するフリッカの補正について説明する図である。
【図６】本開示の画像処理装置の実行するフリッカの補正について説明する図である。
【図７】本開示の画像処理装置の一構成例について説明する図である。
【図８】撮像素子の露光制御処理について説明する図である。
【図９】撮像素子の露光制御処理について説明する図である。
【図１０】本開示の画像処理装置の画像処理部の構成と処理について説明する図である。
【図１１】感度別補間部の構成と処理について説明する図である。
【図１２】フリッカ補正部の構成と処理について説明する図である。
【図１３】ＨＤＲ合成部（広ダイナミックレンジ画像合成部）の構成と処理について説明する図である。
【図１４】撮像素子の露光制御処理について説明する図である。
【図１５】本開示の画像処理装置の画像処理部の構成と処理について説明する図である。
【図１６】フリッカ補正部の構成と処理について説明する図である。
【図１７】ＨＤＲ合成部（広ダイナミックレンジ画像合成部）の構成と処理について説明する図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．フリッカ発生原理と補正原理について
２．本開示の画像処理装置の実行する処理の概要について
３．本開示の第１実施例の画像処理装置の構成と処理について
４．第１実施例の画像処理装置における撮像素子の露光制御構成例について
５．第１実施例の画像処理装置における画像処理部の処理の詳細について
６．本開示の第２実施例の画像処理装置の構成と処理について
７．本開示の構成のまとめ
【００２４】
［１．フリッカ発生原理と補正原理について］
まず、図１以下を参照してフリッカ発生原理と補正原理について説明する。
図１（Ａ）は、カメラで画像撮影を行う環境下の照明輝度の時間変化を表す。一般に商用電源は５０Ｈｚ、あるいは６０Ｈｚの交流電源であるため、蛍光灯の光などの照明光は、１００Ｈｚ、あるいは１２０Ｈｚの周波数で揺らぎやすい。
【００２５】
横軸が時間ｔ、縦軸が、各時間ｔにおける照明の輝度ｆ（ｔ）である。
時間ｔの照明光輝度ｆ（ｔ）は、照明光輝度の平均値ｆＤと、照明光輝度平均値からの変動ｆＡ（ｔ）に分解すると、以下のように表記できる。
ｆ（ｔ）＝ｆＤ＋ｆＡ（ｔ）
【００２６】
照明光輝度の平均値ｆＤは時間ｔによらず一定の値であり、
平均値からの変動ｆＡ（ｔ）は照明の周波数に応じて、周期に変動する値となる。
さらに、照明光の輝度をｆ（ｔ）の周期をＴとおくと以下の関係が成り立つ。
【００２７】
【数１】
2013219708.tif 000003
【００２８】
フリッカ補正処理は、観測画像、すなわちカメラによって撮影された画像から、照明光輝度平均値からの変動ｆＡ（ｔ）の影響を取り除く処理である。
【００２９】
図１（Ｂ）は、ＣＭＯＳイメージセンサのように行ごとに撮像タイミングが異なる撮像素子の露光タイミングの模式図を表す。
横軸が時間ｔ、
縦軸が撮像素子の行ｙ、
である。
図に示す例は、一定間隔Ｓで、連続する画像フレームを撮影する場合の例であり、フレーム０と、フレーム１の２つの画像撮影時の露光タイミングを示している。
各フレーム画像の撮影は、撮像素子の上位行から下位行に順次、露光が実行される。
【００３０】
各フレーム画像の撮影時の露光タイミングは、撮像素子の行ごとに異なるため、蓄積する照明光の影響も行ごとに異なる。
例えば、露光時間Ｅの撮像素子のある画素の露光終了時間をｔとする。フリッカの影響がある条件下での、その画素が露光する間の照明光の総和を、
ＦＡ（ｔ，Ｅ）、
と置くと、
ＦＡ（ｔ，Ｅ）は以下のように記述できる。
【００３１】
【数２】
2013219708.tif 000004
【００３２】
フリッカのない理想的な条件下での、照明光の総和を、
ＦＤ（ｔ，Ｅ）
とする。
ＦＤ（ｔ，Ｅ）は、フリッカの影響がないので、照明光輝度平均値からの変動ｆＡ（ｔ）＝０となり、以下のように記述できる。
ＦＤ（ｔ，Ｅ）＝ｆＤ×Ｅ
【００３３】
ここで「フリッカ成分」を、フリッカのない理想的な画像と、フリッカの影響を受けた画像との比と定義する。フリッカ成分は、画素が蓄積する間の照明光の総量の比に等しい。
従って、露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）は以下の（式１）に示すように定式化できる。
【００３４】
【数３】
2013219708.tif 000005
・・・・・（式１）
【００３５】
図１（Ｃ）は、
横軸が、画像の各画素の露光終了タイミングｔ、
縦軸が、フリッカ成分ｇ（ｔ，Ｅ）、
これらの関係を模式的に表した図である。
なお前述のとおり照明光は周期的に揺らぐためフリッカ成分も周期性をもっている。そのため一度、フリッカ成分ｇ（ｔ，Ｅ）を求めることが出来れば、基本的にはあらゆる露光終了タイミングｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を推定することが出来る。
なお、図１（Ｂ）に示すように露光終了タイミングは、撮像素子の行単位で変化する。従って、図１（Ｃ）に示すように、フリッカ成分ｇ（ｔ，Ｅ）は、各行の露光終了タイミングＴに応じて異なる値となる。
【００３６】
図２（Ｄ）は、フリッカの影響を受けた撮像素子の出力画像に発生するフリッカの影響の模式図である。行ごとに露光終了タイミングが異なるため、出力画像には行単位の明暗の縞模様が表れる。
【００３７】
図２（Ｅ）は、出力画像の各行ｙのフリッカ成分のグラフｇ（ｙ）を表している。
なお、行ｙと、各行ｙの露光終了タイミングｔとの関係は、撮像装置（カメラ）のデータ処理部が把握している。例えば図１（Ｂ）に示すように、各行ｙの露光終了タイミング時間ｔは、線形関係にある。
具体的には、例えば第Ｎフレーム目の撮影画像の第ｙ行の露光終了時間ｔは、
ｔ＝ａ１×ｙ＋Ｎ×Ｓ＋ａ０
上記式で表現できる。
ただし、
ａ１：撮像素子固有の値、
ａ０：定数、
Ｓ：各フレームの撮影間隔（図１（Ｂ）参照）、
である。
【００３８】
撮像装置（カメラ）のデータ処理部は、画像撮影時の露光時間Ｅと、各行ｙの露光終了タイミングｔに基づいて、図１（Ｃ）のグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。例えば図２に示す第ａ行目の露光終了時間をｔとすると、図１（Ｃ）のグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。
露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）がわかれば、撮像素子の各行のフリッカ成分ｇ（ｙ）を推定することが出来る。
【００３９】
図３は、フリッカの補正の原理を表している。図３には以下の各図を示している。
（Ｆ）フリッカ成分の含まれる画像（＝図２（Ｄ））
（Ｇ）フリッカ補正係数（＝図２（Ｅ）の逆数）
（Ｈ）フリッカ補正画像（＝（Ｆ）×（Ｇ））
例えば前述した方法で、各行のフリッカ成分ｇ（ｙ）を計測し、図３（Ｆ）に示す観測画像、すなわちカメラの撮影画像の各画素値に、図３（Ｇ）に示すフリッカ成分ｇ（ｙ）の逆数を乗算することで、図３（Ｈ）に示すフリッカの影響のない理想的な画像を求めることが出来る。なお、前述の特許文献１（特開２０１１−１６００９０号公報）にはフリッカ成分の実測手法について詳細に開示しており、本開示の画像処理装置においても、特許文献１に記載の処理と同様の処理により画像に含まれるフリッカ成分の抽出処理を実行可能である。
【００４０】
［２．本開示の画像処理装置の実行する処理の概要について］
本開示の画像処理装置は、例えば広ダイナミックレンジ画像を生成するために、異なる露光時間に設定した複数の撮影画像を入力して、フリッカ成分を除去または低減した補正画像を生成して出力する。
本開示の画像処理装置は、例えば、異なる露光時間に設定した複数の撮影画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成して出力する。
【００４１】
本開示の画像処理装置では、異なる露光時間に設定された複数の画像個別にフリッカ成分を算出する処理を実行しない。１つの露光時間の撮影画像に対してのみ、フリッカ成分算出処理を実行し、この１つの露光時間の撮影画像に基づいて算出したフリッカ成分を利用して、その他の異なる露光時間に設定された撮影画像に含まれるフリッカ成分を推定する処理を実行する。
【００４２】
本発明のポイントとなる処理の一例を、図４以下を参照して説明する。
図４以下を参照して説明する処理例は、露光時間Ｅの撮影画像から算出したフリッカ成分を利用して、露光時間２Ｅの撮影画像に含まれるフリッカ成分を推定する処理例である。
【００４３】
図４には以下の各図を示している。
（Ａ）照明の輝度変化の時間推移［時間（ｔ）と照明輝度ｆ（ｔ）との関係図］、
（Ｂ）露光時間Ｅの撮像素子（第１撮像素子）の露光タイミング［時間（ｔ）と撮像素子各行の露光タイミングとの関係図］、
（Ｃ）露光時間２Ｅの撮像素子（第２撮像素子）の露光タイミング［時間（ｔ）と撮像素子各行の露光タイミングとの関係図］、
これらの各図を示している。
【００４４】
図４（Ｃ）に示す露光時間２Ｅの第２撮像素子の長時間露光フレームＬ２における、
ｄ行目の画素の露光終了時間（読み出し開始時間）をｔとする。
また、図４（Ｂ）に示す露光時間Ｅの第１撮像素子の短時間露光フレームＳ２における、
ｃ行目の画素の露光終了時間も同時間ｔであるとし、
ｂ行目の画素の露光終了時間が、時間（ｔ−Ｅ）であるとする。
【００４５】
図４（Ｃ）に示す露光時間２Ｅの第２撮像素子の長時間露光フレームＬ２における、
ｄ行目が露光する間の照明光の総和、すなわち露光量総和は、図４（Ａ）の斜線部に示す露光量総和１１となる。
この露光量総和１１は、第１の撮像素子のｂ行目の露光量総和と、ｃ行目の露光量総和の加算値に等しい。
【００４６】
このように、露光時間２Ｅの第２撮像素子のある行の露光量総和は、露光時間Ｅの第１撮像素子の複数行の露光量総和の線形和として記述できる。例えば、この関係を利用して、第１の露光時間Ｅの第１画像のフリッカ成分から、第２の露光時間２Ｅの第２の画像のフリッカ成分を推定する。
【００４７】
以下、上記理論に基づいて、１つの露光時間の画像（基準画像）のフリッカ成分から、異なる露光時間の画像に発生するフリッカ成分を求める定式化した手法を説明する。
前述のように、露光終了時間がｔ、露光時間Ｅの画素のフリッカ成分ｇ（ｔ，Ｅ）は以下の（式２）に示すように記述できる。
【００４８】
【数４】
2013219708.tif 000006
・・・・・（式２）
【００４９】
この時、露光終了時間がｔ、露光時間２Ｅの画素のフリッカ成分ｇ（ｔ，２Ｅ）は以下の（式３）に示すように記述できる。
【００５０】
【数５】
2013219708.tif 000007
・・・・・（式３）
【００５１】
上記（式３）から理解されるように、露光時間２Ｅのｄ行目のフリッカ成分は、露光時間Ｅのｃ行目とｂ行目のフリッカ成分の線形和で計算することが出来る。なお各行の対応関係は、各撮像素子の露光時間や駆動タイミング、フリッカの周期がわかっていれば、予め求めることが出来る。
【００５２】
このように、まず、第１露光画像の露光時間Ｅ１と、第１露光画像の各画素の露光終了時間ｔとの関数として、第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、
次に、第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として、露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する。
【００５３】
なお、上記（式２）、（式３）で算出可能な露光時間Ｅの画素のフリッカ成分ｇ（ｔ，Ｅ）と、露光時間２Ｅの画素のフリッカ成分ｇ（ｔ，２Ｅ）の各露光タイミングとの対応を示した図を図５に示す。
【００５４】
このように、第２露光画像の露光時間Ｅ２が、第１露光画像の露光時間Ｅ１の２倍である場合、図５に示すように、第１露光画像の異なる露光終了時間ｔに対応する複数の第１露光画像のフリッカ成分ｇ（ｔ，Ｅ）、ｇ（ｔ−Ｅ，Ｅ）の線形和として露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，２Ｅ）を算出することができる。
同様に、第２露光画像の露光時間Ｅ２が、第１露光画像の露光時間Ｅ１の整数倍（Ｍ倍とする）である場合、第１露光画像の異なる露光終了時間ｔに対応する複数の第１露光画像のフリッカ成分ｇ（ｔ，Ｅ）、ｇ（ｔ−Ｅ，Ｅ）、…、ｇ（ｔ−（Ｍ−１）Ｅ，Ｅ）の線形和として露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｍ×Ｅ）を算出することができる。ただしＭは正の整数とする。
【００５５】
なお、上記（式２）、（式３）は、
第１撮像素子が露光時間Ｅ、
第２撮像素子が露光時間２Ｅ、
このような露光時間が１：２の関係に対応する例として説明した。
しかし、例えば露光比が１：１．６となる場合のように、露光比が、一方の露光比の整数倍にならない場合は、一方の露光量の線形和で、他方の露光量を表現することはできない。
【００５６】
具体的には、図６に示すような設定である。露光時間１．６Ｅのｄ行目の露光量は、露光時間Ｅのｃ行目の露光量と、ｂ行目の露光量の一部に対応する。
このように、基準画像対応の基準露光時間Ｅに対して、整数倍とならない露光比の設定がなされた第２の画像がある場合には、第２の画像の露光量を基準画像の露光量の線形和で表現することができない。
【００５７】
このような場合、すなわち、
フリッカ成分算出済みの基準画像対応の基準露光時間Ｅの整数倍未満のｋＥの露光期間、ただしｋ＜１．０、
このような露光期間ｋＥの露光量を算出する必要がある場合は、照明光の平均値ｆＤからの変動量ｆＡ（ｔ）が、微小時間においてなめらかに変化すると仮定した近似処理を行う。
【００５８】
具体的には、フリッカ成分算出済みの基準画像に対応する基準露光時間をＥとし、
基準露光時間Ｅ未満の露光時間ｋＥ、ただしｋ＜１、
この露光時間ｋＥ（＝（ｔ−ｋＥ）〜（ｔ））における照明光平均値ｆＤからの変動量ｆＡ（ｔ）の積分値を以下の（式４）に示すように近似する。
【００５９】
【数６】
2013219708.tif 000008
・・・・・（式４）
【００６０】
なお、上記（式４）において、
ｋは１以下の値とする。
【００６１】
上記（式４）に示す近似は、基準露光時間Ｅ未満の露光時間ｋＥの微小期間、ただしｋ＜１、の照明光平均値ｆＤからの変動量ｆＡ（ｔ）の積分値の比は、積分期間の比にほぼ等しいとする仮定に基づく近似処理である。
【００６２】
例えば、１Ｅ：１．６Ｅの露光比の設定例において、露光時間０．６Ｅ分の微小期間の照明光平均値ｆＤからの変動量ｆＡ（ｔ）の積分値は、本近似を用いることで、以下の（式５）として示すことができる。
【００６３】
【数７】
2013219708.tif 000009
・・・・・（式５）
【００６４】
この近似処理を用いることで、１Ｅ：１．６Ｅの露光比の設定例における露光時間１．６Ｅのフリッカ成分ｇ（ｔ，１．６Ｅ）は、基準露光時間Ｅのフリッカ成分ｇ（ｔ，Ｅ），ｇ（ｔ−Ｅ，Ｅ）に基づいて算出可能な以下の（式６）として示すことができる。
【００６５】
【数８】
2013219708.tif 000010
・・・・・（式６）
【００６６】
このように、フリッカ成分を推定する画像の第２の露光時間が、フリッカ成分算出した基準露光時間Ｅの整数倍でない露光時間であっても、基準となる第１の露光時間Ｅの画素のフリッカ成分ｇ（ｔ，Ｅ）を利用して、第２の露光時間のフリッカ成分を算出することが可能となる。
【００６７】
すなわち、第２露光画像の露光時間Ｅ２が、第１露光画像の露光時間Ｅ１の整数倍でない場合、第１露光画像の露光時間Ｅ１未満の露光期間ｋＥ１、ただしｋ＜１、におけるフリッカ発生要因となる環境光の総量を、露光時間Ｅ１内の前記環境光の総量のｋ倍であると近似し、この近似に基づいて、第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出することができる。
【００６８】
［３．本開示の第１実施例の画像処理装置の構成と処理について］
図７に、本開示の第１実施例の画像処理装置の一構成例である撮像装置１００の構成例を示す。
図７は、撮像装置の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部１０３に入力される。
【００６９】
撮像素子１０２の出力画像は、各画素にＲＧＢのいずれかの画素値が設定されたいわゆるモザイク画像である。
画像処理部１０３は、上述したフリッカ補正処理、さらに、長時間露光画像と短時間露光画像との合成処理に基づく広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像の生成処理などを行う。
【００７０】
この画像処理部１０３の出力は信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００７１】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【００７２】
［４．第１実施例の画像処理装置における撮像素子の露光制御構成例について］
次に、撮像素子１０２の露光制御構成例について図８を参照して説明する。
本開示の画像処理装置では、１枚の撮影画像に含まれる画素単位で、長時間露光画素と短時間露光画素を設定して、これらの画素間の合成処理（αブレンド）により、広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像を生成する。この露光時間制御は制御部１０５の制御によって行われる。
【００７３】
図８は、本開示の一実施例の撮像素子１０２の露光時間設定例を示す図である。
図８に示すように、撮像素子の構成画素は、
第１の露光条件（短時間露光）の設定された画素、
第２の露光条件（長時間露光）の設定された画素、
これらの２つの種類の画素に区分される。
図８のように一つの撮像素子内に短時間露光画素と長時間露光画素のように異なる露光時間の画素を有する画素配列をＳＶＥ（Ｓｐａｔｉａｌｌｙ  Ｖａｒｙｉｎｇ  Ｅｘｐｏｓｕｒｅ）配列と呼ぶ。
【００７４】
図９に各画素の露光時間の設定例を示す。
第１の露光条件（短時間露光）の設定された画素は短時間の露光処理がなされる。
第２の露光条件（長時間露光）の設定された画素は長時間の露光処理がなされる。
なお、この画素単位の露光制御は、例えば図７に示す撮像装置１００の制御部１０５が制御信号を撮像素子１０２に出力することで行われる。
【００７５】
［５．第１実施例の画像処理装置における画像処理部の処理の詳細について］
次に、図７に示す撮像装置１００の画像処理部１０３の詳細について説明する。
まず、図１０を参照して画像処理部１０３の実行する処理について説明する。
画像処理部１０３は、図１０に示すように、
感度別補間部２０１、
フリッカ補正部２０２、
ＨＤＲ合成部（広ダイナミックレンジ画像合成部）２０３、
を有する。
【００７６】
感度別補間部２０１では、図８に示すように一つの撮像素子内に短時間露光画素と長時間露光画素を有するＳＶＥ（Ｓｐａｔｉａｌｌｙ  Ｖａｒｙｉｎｇ  Ｅｘｐｏｓｕｒｅ）配列の画像を入力し、画面全体が短時間露光の第１露光画像２１１と、画面全体が長時間露光の第２露光画像２１２を生成して出力する。
出力する画像の色配列は入力する画像の色配列と同等（本例ではベイヤ配列）でもよいし、１画素位置にＲＧＢそろったデモザイク後の画像でもよい。
ここでは、出力画像の色配列は入力画像の色配列と同等（本例ではベイヤ配列）とした例を説明する。
【００７７】
図１１に、感度別補間部２０１の詳細構成例を示す。
感度別補間部２０１は、図１１に示すように、短時間露光画素または長時間露光画素、いずれかの感度の画素のみを抽出する抽出部２５１，２５２、各感度の画素を利用して、他感度の画素部分の画素値を設定して、低感度画素（短時間露光画素）のみからなる第１露光画像２１１と、高感度画素（長時間露光画素）のみからなる第２露光画像２１２を生成する補間処理部２５３，２５４を有する。
【００７８】
なお、この感度対応の補間処理構成としては、例えば特開２００８−１２５１１７に記載の図８４の手法が適用可能である。
抽出部２５１，２５２で周辺画素から、補間したい感度・色の画素を抽出し、補間処理部２５３，２５４で補間処理を行う。
なお、補間は、生成する画像に応じた感度の画素値に対して単純なＬＰＦを用いる手法や、周囲の画素から画像のエッジ方向を推定しエッジに沿った方向の画素値を参照画素値として補間する手法等が利用可能である。
【００７９】
感度別補間部２０１では、図１１の構成を適用して、図８に示すような撮像素子内に長時間露光画素と短時間露光画素を有するＳＶＥ（Ｓｐａｔｉａｌｌｙ  Ｖａｒｙｉｎｇ  Ｅｘｐｏｓｕｒｅ）配列の画像を入力し、画面全体が短時間露光の第１露光画像２１１と、画面全体が長時間露光の第２露光画像２１２を生成して出力する。
【００８０】
次に、フリッカ補正部２０２の構成と処理について、図１２を参照して説明する。
フリッカ補正部２０２は、図１２に示すように、
第１フリッカ成分算出部３０１、
第２フリッカ成分算出部３０２、
第１露光画像フリッカ補正部３０３、
第２露光画像フリッカ補正部３０４、
これらの構成を有する。
【００８１】
フリッカ補正部２０２に対する入力は、感度別補正部２０１の生成した以下の２つの画像である。
（ａ）画面全体が短時間露光の第１露光画像２１１、
（ｂ）画面全体が長時間露光の第２露光画像２１２、
これらの２画像である。
例えば、第１露光画像２１１は露光時間Ｅ１の画像であり、第２露光画像２１２は露光時間Ｅ２の画像であり、露光時間Ｅ１とＥ２は、
Ｅ１＜Ｅ２
上記関係にある。
【００８２】
本実施例では、短時間露光の第１露光画像２１１を、この画像からフリッカ成分を算出する基準画像とし、長時間露光の第２露光画像２１２のフリッカ成分は、基準画像のフリッカ成分から推定する処理を行う。
【００８３】
まず、第１フリッカ成分算出部３０１は、基準画像として画面全体が短時間露光の第１露光画像２１１を入力して、この短時間露光画像に含まれる第１フリッカ成分３２１を算出する。
このフリッカ成分算出処理は、例えば特許文献１（特開２０１１−１６００９０号公報）に記載の方法で実行される。
【００８４】
第１フリッカ成分算出部３０１の算出する第１露光画像２１１の「フリッカ成分」は、先に（式１）、（式２）を参照して説明した「フリッカ成分」であり、フリッカのない理想的な画像と、フリッカの影響を受けた画像との比であり、画素が蓄積する間の照明光の総量の比に等しい。
露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）は先に説明した（式１）、（式２）に示す値となる。
【００８５】
第１露光画像２１１を露光時間Ｅ１の画像としたとき、第１フリッカ成分算出部３０１は、第１露光画像２１１の第１フリッカ成分３２１として、例えば特許文献１（特開２０１１−１６００９０号公報）に記載の方法を用いてフリッカ成分ｇ（ｔ，Ｅ１）を算出する。
なお、このフリッカ成分は、露光終了時間ｔの異なる画像の行ごとに異なる値となる。
【００８６】
第２フリッカ成分算出部３０２は、第１フリッカ成分算出部３０１の算出した基準画像、すなわち、短時間露光画像である第１露光画像２１１の第１フリッカ成分３２１を入力し、第１露光画像２１１と第２露光画像２１２との露光比、例えばＥ１：Ｅ２を用いて、第２露光画像２１２のフリッカ成分である第２フリッカ成分３２２を算出する。
【００８７】
この第２フリッカ成分算出部３０２における第２フリッカ成分３２２の算出処理は、先に、図４、図５を参照して説明した処理に従った処理である。
すなわち、先に説明した（式３）〜（式６）のように、第２フリッカ成分ｇ（ｔ，Ｅ２）を、第１フリッカ成分ｇ（ｔ，Ｅ１）の線形和として算出する。
【００８８】
第２露光画像２１２を露光時間Ｅ２の画像としたとき、第２フリッカ成分算出部３０２は、先に説明した（式３）〜（式６）に従って第２露光画像２１１の第２フリッカ成分３２２［ｇ（ｔ，Ｅ２）］を算出する。
なお、このフリッカ成分は、露光終了時間ｔの異なる画像の行ごとに異なる値となる。
【００８９】
第１露光画像フリッカ補正部３０３は、第１露光画像２１１と、第１フリッカ成分算出部３０１の算出した第１フリッカ成分３２１を入力する。
第１露光画像フリッカ補正部３０３は、第１露光画像２１１の構成画素値に対して、第１フリッカ成分算出部３０１の算出した第１フリッカ成分３２１の逆数を乗算することで、第１露光画像２１１のフリッカ成分を除去したフリッカ補正第１露光画像２２１を生成して出力する。
【００９０】
このフリッカ補正処理は、先に図３等を参照して説明した処理であり、第１露光画像フリッカ補正部３０３は、各行単位で算出したフリッカ成分の逆数を、対応する各行の画素値に乗算して補正画素値を算出し、補正画素値からなる画像をフリッカ補正第１露光画像２２１として出力する。
【００９１】
同様に、第２露光画像フリッカ補正部３０４は、第２露光画像２１２と、第２フリッカ成分算出部３０２の算出した第２フリッカ成分３２２を入力する。
第２露光画像フリッカ補正部３０４は、第２露光画像２１２の構成画素値に対して、第２フリッカ成分算出部３０２の算出した第２フリッカ成分３２２の逆数を乗算することで、第２露光画像２１２のフリッカ成分を除去したフリッカ補正第２露光画像２２２を生成して出力する。
【００９２】
このフリッカ補正処理は、先に図３等を参照して説明した処理であり、第２露光画像フリッカ補正部３０４は、各行単位で算出したフリッカ成分の逆数を、対応する各行の画素値に乗算して補正画素値を算出し、補正画素値からなる画像をフリッカ補正第２露光画像２２２として出力する。
【００９３】
このように、本実施例の画像処理装置では、複数の異なる画像のフリッカ成分について、個別に算出する処理を実行せず、１つ露光時間の画像に対応する第１フリッカ成分を算出し、その他の露光時間の画像に発生すると推定されるフリッカ成分を第１フリッカ成分に基づいて算出する。
この処理によって必要な処理が大幅に削減され、ハードウェアコストや処理時間のコスト削減が実現される。
【００９４】
次に、ＨＤＲ合成部（広ダイナミックレンジ画像合成部）２０３の構成と処理について図１３を参照して説明する。
図１３に示すように、ＨＤＲ合成部（広ダイナミックレンジ画像合成部）２０３は、
露出補正部３５１，３５２
ブレンド係数算出部３５３、
ブレンド処理部３５４、
を有する。
【００９５】
露出補正部３５１，３５２は、露光時間に応じた定数を乗じることでフリッカ補正第１露光画像２２１と、フリッカ補正第２露光画像２２２の対応画素の明るさを合わせる。例えば、露光比が１：２の場合、短時間露光画像であるフリッカ補正第１露光画像２２１の画素値に２を乗じ、長時間露光画像であるフリッカ補正第２露光画像２２２の画素値に１を乗じる。
【００９６】
ブレンド係数算出部３５３は、短時間露光画像であるフリッカ補正第１露光画像２２１の露出補正後の画素値と長時間露光画像であるフリッカ補正第２露光画像２２２の露出補正後の画素値を、各対応画素単位でどの程度の割合でブレンドすればよいかを示すブレンド係数を算出する。
【００９７】
このブレンド係数算出においては、例えば高輝度領域においては短時間露光画像の画素値の重みを大きく設定し、低輝度領域においては長時間露光画像の画素値の重みを大きく設定するブレンド係数を設定する。
このような係数設定処理により、低輝度領域から高輝度領域に至る画素値をより高精度に表現することが可能となる。
【００９８】
ブレンド部処理部３５４は、ブレンド係数算出部３５３の算出したブレンド係数に応じて、露出補正されたフリッカ補正第１露光画像２２１と、露出補正されたフリッカ補正第２露光画像２２２の対応画素値とのブレンド処理を実行してフリッカ補正ＨＤＲ画像２３１の各画素値を設定する。
【００９９】
なお、
露出補正されたフリッカ補正第１露光画像２２１の画素値をＳ、
露出補正されたフリッカ補正第２露光画像２２２の画素値をＬ、
ブレンド係数をα、ただし、０≦α≦１、
としたとき、
フリッカ補正ＨＤＲ画像２３１の画素値Ｈは以下の式によって算出される。
Ｈ＝（１−α）×Ｓ＋α×Ｌ
【０１００】
ＨＤＲ合成部（広ダイナミックレンジ画像合成部）２０３は、これらの処理によって、低輝度領域から高輝度領域に至る画素値をより高精度に表現したフリッカ補正ＨＤＲ画像２３１を生成して出力する。
【０１０１】
このＨＤＲ合成部（広ダイナミックレンジ画像合成部）２０３における異なる露光時間の画像の合成処理によるＨＤＲ画像が生成される。すなわち、例えば高輝度領域においては短時間露光画像の画素値の重みを大きく設定し、低輝度領域においては長時間露光画像の画素値の重みを大きく設定したブレンド処理が実行され、低輝度領域から高輝度領域に至る画素値をより高精度に表現したＨＤＲ（広ダイナミックレンジ）画像が生成されて出力される。
【０１０２】
上述したように、本開示の画像処理装置においては、複数の異なる露光時間の画像を入力して広ダイナミックレンジ（ＨＤＲ）画像を生成する構成において、１つの基準露光画像に対応するフリッカ成分のみを算出して、その基準露光画像のフリッカ成分に応じて他の露光時間の画像のフリッカ成分を推定算出する構成としたので、各露光時間に応じた各画像個別にフリッカ成分の算出処理を行う必要がなくなり、効率的な処理が実現される。
【０１０３】
［６．本開示の第２実施例の画像処理装置の構成と処理について］
次に、本開示の第２実施例の画像処理装置の構成と処理について説明する。
上述した実施例は、露光時間の設定を短時間露光と長時間露光の２つの露光時間の設定とした例を説明したが、本開示の処理は３以上の異なる露光時間の画像を入力した処理にも適用可能である。
【０１０４】
以下に説明する第２実施例の画像処理装置は、先に説明した実施例と同様、図７に示す構成を持つ撮像装置１００として構成可能である。
ただし、撮像素子１０２は、図１４に示す３つの異なる露光時間の設定された画素によって構成される。
図１４は、本実施例の撮像素子１０２の露光時間設定例を示す図である。
図１４に示すように、撮像素子の構成画素は、
第１の露光条件（短時間露光）の設定された画素、
第２の露光条件（中時間露光）の設定された画素、
第３の露光条件（長時間露光）の設定された画素、
これらの３つの種類の画素に区分される。
なお、各露光時間の長さは以下の関係にある。
短時間露光＜中時間露光＜長時間露光、
【０１０５】
なお、この画素単位の露光制御は、例えば図７に示す撮像装置１００の制御部１０５が制御信号を撮像素子１０２に出力することで行われる。
【０１０６】
本実施例における画像処理部１０３の構成例を図１５に示す。
画像処理部１０３は、図１５に示すように、
感度別補間部４０１、
フリッカ補正部４０２、
ＨＤＲ合成部（広ダイナミックレンジ画像合成部）４０３、
を有する。
【０１０７】
感度別補間部４０１は、図１４に示す短時間露光画素と中時間露光画素と長時間露光画素を有するＳＶＥ（Ｓｐａｔｉａｌｌｙ  Ｖａｒｙｉｎｇ  Ｅｘｐｏｓｕｒｅ）配列の画像を入力し、画面全体が短時間露光の第１露光画像４１１と、画面全体が中時間露光の第２露光画像４１２と、画面全体が長時間露光の第３露光画像４１３を生成して出力する。
感度別補間部４０１は、先に第１実施例において図１１を参照して説明した処理と、同様の処理を実行して、各感度別の画像を生成する。ただし、本処理例では３つの感度別画像、すなわち、第１〜第３露光画像４１１〜４１３を生成する。
【０１０８】
次に、フリッカ補正部４０２の構成と処理について、図１６を参照して説明する。
フリッカ補正部４０２は、図１６に示すように、
第１フリッカ成分算出部５０１、
第２フリッカ成分算出部５０２、
第３フリッカ成分算出部５０３、
第１露光画像フリッカ補正部５０４、
第２露光画像フリッカ補正部５０５、
第３露光画像フリッカ補正部５０６、
これらの構成を有する。
【０１０９】
フリッカ補正部４０２に対する入力は、感度別補正部４０１の生成した以下の３つの画像である。
（ａ）画面全体が短時間露光の第１露光画像４１１、
（ｂ）画面全体が中時間露光の第２露光画像４１２、
（ｃ）画面全体が長時間露光の第３露光画像４１３、
これらの３画像である。
例えば、第１露光画像４１１は露光時間Ｅ１の画像であり、第２露光画像４１２は露光時間Ｅ２、第３露光画像４１３は露光時間Ｅ３の画像であり、露光時間Ｅ１とＥ２とＥ３は、
Ｅ１＜Ｅ２＜Ｅ３
上記関係にある。
【０１１０】
本実施例では、短時間露光の第１露光画像４１１を、この画像からフリッカ成分を算出する基準画像とし、中時間露光の第２露光画像４１２のフリッカ成分と、長時間露光の第３露光画像４１３のフリッカ成分は、基準画像のフリッカ成分から推定する処理を行う。
【０１１１】
まず、第１フリッカ成分算出部５０１は、基準画像として画面全体が短時間露光の第１露光画像２１１を入力して、この短時間露光画像に含まれる第１フリッカ成分３２１を算出する。
このフリッカ成分算出処理は、例えば特許文献１（特開２０１１−１６００９０号公報）に記載の方法で実行される。
【０１１２】
第１フリッカ成分算出部５０１の算出する第１露光画像４１１の「フリッカ成分」は、先に（式１）、（式２）を参照して説明した「フリッカ成分」であり、フリッカのない理想的な画像と、フリッカの影響を受けた画像との比であり、画素が蓄積する間の照明光の総量の比に等しい。
露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）は先に説明した（式１）、（式２）に示す値となる。
【０１１３】
第１露光画像４１１を露光時間Ｅ１の画像としたとき、第１フリッカ成分算出部５０１は、例えば特許文献１（特開２０１１−１６００９０号公報）に記載の方法に従って第１露光画像４１１の第１フリッカ成分５２１［ｇ（ｔ，Ｅ１）］を算出する。
なお、このフリッカ成分は、露光終了時間ｔの異なる画像の行ごとに異なる値となる。
【０１１４】
第２フリッカ成分算出部５０２は、第１フリッカ成分算出部５０１の算出した基準画像、すなわち、短時間露光画像である第１露光画像４１１の第１フリッカ成分５２１を入力し、第１露光画像４１１と第２露光画像４１２との露光比、例えばＥ１：Ｅ２を用いて、第２露光画像４１２のフリッカ成分である第２フリッカ成分５２２を算出する。
【０１１５】
この第２フリッカ成分算出部５０２における第２フリッカ成分５２２の算出処理は、先に、図４、図５を参照して説明した処理に従った処理である。
すなわち、先に説明した（式３）〜（式６）のように、第２フリッカ成分ｇ（ｔ，Ｅ２）を、第１フリッカ成分ｇ（ｔ，Ｅ１）の線形和として算出する。
【０１１６】
第２露光画像４１２を露光時間Ｅ２の画像としたとき、第２フリッカ成分算出部５０２は、先に説明した（式３）〜（式６）に従って第２露光画像４１２の第２フリッカ成分［ｇ（ｔ，Ｅ２）］を算出する。
なお、このフリッカ成分は、露光終了時間ｔの異なる画像の行ごとに異なる値となる。
【０１１７】
また、第３フリッカ成分算出部５０３は、第１フリッカ成分算出部５０１の算出した基準画像、すなわち、短時間露光画像である第１露光画像４１１の第１フリッカ成分５２１を入力し、第１露光画像４１１と第３露光画像４１３との露光比、例えばＥ１：Ｅ３を用いて、第３露光画像４１３のフリッカ成分である第３フリッカ成分５２３を算出する。
【０１１８】
この第３フリッカ成分算出部５０３における第３フリッカ成分５２３の算出処理は、先に、図４、図５を参照して説明した処理に従った処理である。
すなわち、先に説明した（式３）〜（式６）のように、第３フリッカ成分ｇ（ｔ，Ｅ３）を、第１フリッカ成分ｇ（ｔ，Ｅ１）の線形和として算出する。
【０１１９】
第３露光画像４１３を露光時間Ｅ３の画像としたとき、第３フリッカ成分算出部５０３は、先に説明した（式３）〜（式６）に従って第３露光画像４１３の第３フリッカ成分［ｇ（ｔ，Ｅ３）］を算出する。
なお、このフリッカ成分は、露光終了時間ｔの異なる画像の行ごとに異なる値となる。
【０１２０】
第１露光画像フリッカ補正部５０４は、第１露光画像４１１と、第１フリッカ成分算出部５０１の算出した第１フリッカ成分５２１を入力する。
第１露光画像フリッカ補正部５０４は、第１露光画像４１１の構成画素値に対して、第１フリッカ成分算出部５０１の算出した第１フリッカ成分５２１の逆数を乗算することで、第１露光画像４１１のフリッカ成分を除去したフリッカ補正第１露光画像４２１を生成して出力する。
【０１２１】
このフリッカ補正処理は、先に図３等を参照して説明した処理であり、第１露光画像フリッカ補正部５０４は、各行単位で算出したフリッカ成分の逆数を、対応する各行の画素値に乗算して補正画素値を算出し、補正画素値からなる画像をフリッカ補正第１露光画像４２１として出力する。
【０１２２】
同様に、第２露光画像フリッカ補正部５０５は、第２露光画像４１２と、第２フリッカ成分算出部５０２の算出した第２フリッカ成分５２２を入力する。
第２露光画像フリッカ補正部５０５は、第２露光画像４１２の構成画素値に対して、第２フリッカ成分算出部５０２の算出した第２フリッカ成分５２２の逆数を乗算することで、第２露光画像４１２のフリッカ成分を除去したフリッカ補正第２露光画像４２２を生成して出力する。
【０１２３】
このフリッカ補正処理は、先に図３等を参照して説明した処理であり、第２露光画像フリッカ補正部５０５は、各行単位で算出したフリッカ成分の逆数を、対応する各行の画素値に乗算して補正画素値を算出し、補正画素値からなる画像をフリッカ補正第２露光画像４２２として出力する。
【０１２４】
同様に、第３露光画像フリッカ補正部５０６は、第３露光画像４１３と、第３フリッカ成分算出部５０３の算出した第３フリッカ成分５２３を入力する。
第３露光画像フリッカ補正部５０６は、第３露光画像４１３の構成画素値に対して、第３フリッカ成分算出部５０３の算出した第３フリッカ成分５２３の逆数を乗算することで、第３露光画像４１３のフリッカ成分を除去したフリッカ補正第３露光画像４２３を生成して出力する。
【０１２５】
このフリッカ補正処理は、先に図３等を参照して説明した処理であり、第３露光画像フリッカ補正部５０６は、各行単位で算出したフリッカ成分の逆数を、対応する各行の画素値に乗算して補正画素値を算出し、補正画素値からなる画像をフリッカ補正第３露光画像４２３として出力する。
【０１２６】
このように、本実施例の画像処理装置では、複数の異なる画像のフリッカ成分について、個別に算出する処理を実行せず、１つ露光時間の画像に対応する第１フリッカ成分を算出し、その他の露光時間の画像に発生すると推定されるフリッカ成分を第１フリッカ成分に基づいて算出する。
この処理によって必要な処理が大幅に削減され、ハードウェアコスト処理時間コストの削減が実現される。
【０１２７】
次に、ＨＤＲ合成部（広ダイナミックレンジ画像合成部）４０３の構成と処理について図１７を参照して説明する。
図１７に示すように、ＨＤＲ合成部（広ダイナミックレンジ画像合成部）４０３は、
露出補正部５５１，５５２，５５３、
ブレンド係数算出部５５４、
ブレンド処理部５５５、
を有する。
【０１２８】
露出補正部５５１，５５２，５５３は、露光時間に応じた定数を乗じることでフリッカ補正第１露光画像４２１、フリッカ補正第２露光画像４２２、フリッカ補正第３露光画像４２３の明るさを合わせる。例えば、露光比が１：２：４の場合、短時間露光画像であるフリッカ補正第１露光画像４２１の画素値に４を乗じ、中時間露光画像であるフリッカ補正第２露光画像４２２の画素値に２を乗じ、長時間露光画像であるフリッカ補正第３露光画像４２３の画素値に１を乗じる。
【０１２９】
ブレンド係数算出部５５４は、短時間露光画像であるフリッカ補正第１露光画像４２１の露出補正後の画素値と、中時間露光画像であるフリッカ補正第２露光画像４２２の露出補正後の画素値と、長時間露光画像であるフリッカ補正第３露光画像４２３の露出補正後の画素値をどの程度の割合でブレンドすればよいかを示すブレンド係数を算出する。
【０１３０】
このブレンド係数算出においては、例えば高輝度領域においては短時間露光画像の画素値の重みを大きく設定し、低輝度領域においては長時間露光画像の画素値の重みを大きくし、中間程度の輝度領域については、中時間露光画像と長時間露光画像の重みを大きく設定するといったブレンド係数を設定する。
このような係数設定処理により、低輝度領域から高輝度領域に至る画素値をより高精度に表現することが可能となる。
【０１３１】
ブレンド部処理部５５５は、ブレンド係数算出部５５４の算出したブレンド係数に応じて、露出補正されたフリッカ補正第１露光画像４２１と、露出補正されたフリッカ補正第２露光画像４２２と、露出補正されたフリッカ補正第３露光画像４２３の対応画素値とのブレンド処理を実行してフリッカ補正ＨＤＲ画像４３１の各画素値を設定する。
【０１３２】
なお、
露出補正されたフリッカ補正第１露光画像４２１の画素値をＳ、
露出補正されたフリッカ補正第２露光画像４２２の画素値をＭ、
露出補正されたフリッカ補正第３露光画像４２３の画素値をＬ、
ブレンド係数をα１，α２、α３、ただし、α１＋α２＋α３＝１、
としたとき、
フリッカ補正ＨＤＲ画像４３１の画素値Ｈは以下の式によって算出される。
Ｈ＝α１×Ｓ＋α２×Ｍ＋α３×Ｌ
【０１３３】
ＨＤＲ合成部（広ダイナミックレンジ画像合成部）４０３は、これらの処理によって、低輝度領域から高輝度領域に至る画素値をより高精度に表現したフリッカ補正ＨＤＲ画像４３１を生成して出力する。
【０１３４】
このようにして、ＨＤＲ合成部（広ダイナミックレンジ画像合成部）４０３は、異なる露光時間の画像の合成処理によるＨＤＲ画像を生成して出力する。
【０１３５】
上述したように、本開示の画像処理装置においては、複数の異なる露光時間の画像を入力して広ダイナミックレンジ（ＨＤＲ）画像を生成する構成において、１つの基準露光画像に対応するフリッカ成分のみを算出して、その基準露光画像のフリッカ成分に応じて他の露光時間の画像のフリッカ成分を推定算出する構成としたので、各露光時間に応じた各画像個別にフリッカ成分の算出処理を行う必要がなくなり、効率的な処理が実現される。
【０１３６】
なお、上述した実施例では、第１実施例、第２実施例とも、撮像素子を画素単位で異なる露光時間に設定し、一回の撮影で複数の露光時間の設定画像を取得して処理を行う構成として説明したが、例えば、短時間露光画像と、長時間露光画像を交互に撮影して処理を行う構成においても、本開示のフリッカ補正処理が適用可能である。
【０１３７】
このような異なる露光時間の画像を異なるタイミングで撮影した場合は、露光タイミングが短時間露光期間と長時間露光期間とで重なりが発生しないが、フリッカは周期的に変動するので、上記の実施例と同様、一方の画像を基準画像として、基準画像のフリッカ成分を算出して、そのフリッカ成分に基づいて他の露光時間の画像のフリッカ成分を算出することが可能である。
【０１３８】
例えば露光時間Ｅ１の短時間露光画像を基準画像とし、この基準画像に基づいてフリッカ成分ｇ（ｔ，Ｅ１）を算出し、このフリッカ成分ｇ（ｔ，Ｅ１）を利用して、先に説明した（式３）、（式６）のように、露光時間Ｅ２の長時間露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出することが可能である。
【０１３９】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１４０】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  第１の露光時間の撮影画像である第１露光画像のフリッカ成分を算出する第１フリッカ成分算出部と、
前記第１の露光時間と異なる第２の露光時間の撮影画像である第２露光画像のフリッカ成分を算出する第２フリッカ成分算出部と、
前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行してフリッカ補正第１露光画像を生成する第１露光画像フリッカ補正部と、
前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行してフリッカ補正第２露光画像を生成する第２露光画像フリッカ補正部を有し、
前記第２フリッカ成分算出部は、
前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出する画像処理装置。
【０１４１】
（２）前記第１フリッカ成分算出部は、前記第１露光画像の露光時間Ｅ１と、前記第１露光画像の各画素の露光終了時間ｔとの関数として、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、前記第２フリッカ成分算出部は、前記第１フリッカ成分算出部の算出した前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として、露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する前記（１）に記載の画像処理装置。
【０１４２】
（３）前記第１フリッカ成分算出部は、前記第１露光画像の露光時間Ｅ１と、前記第１露光画像の各画素の露光終了時間ｔとの関数として、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、前記第２フリッカ成分算出部は、前記第２露光画像の露光時間Ｅ２が、前記第１露光画像の露光時間Ｅ１の整数倍である場合、前記第１露光画像の異なる露光終了時間ｔに対応する複数の第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する前記（１）または（２）に記載の画像処理装置。
【０１４３】
（４）前記第１フリッカ成分算出部は、前記第１露光画像の露光時間Ｅ１と、前記第１露光画像の各画素の露光終了時間ｔとの関数として、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）を算出し、前記第２フリッカ成分算出部は、前記第２露光画像の露光時間Ｅ２が、前記第１露光画像の露光時間Ｅ１の整数倍でない場合、前記第１露光画像の露光時間Ｅ１未満の露光期間ｋＥ１、ただしｋ＜１、におけるフリッカ発生要因となる環境光の総量を、露光時間Ｅ１内の前記環境光の総量のｋ倍であると近似し、前記近似に基づいて、前記第１露光画像のフリッカ成分ｇ（ｔ，Ｅ１）の線形和として露光時間Ｅ２の第２露光画像のフリッカ成分ｇ（ｔ，Ｅ２）を算出する前記（１）または（２）に記載の画像処理装置。
【０１４４】
（５）前記第１露光画像フリッカ補正部は、前記第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分の逆数を、前記第１露光画像の画素値に乗算して、フリッカ補正第１露光画像を生成し、前記第２露光画像フリッカ補正部は、前記第２フリッカ成分算出部の算出した第２露光画像のフリッカ成分の逆数を、前記第２露光画像の画素値に乗算して、フリッカ補正第２露光画像を生成する前記（１）〜（４）いずれかに記載の画像処理装置。
【０１４５】
（６）前記画像処理装置は、さらに、前記第１の露光時間の画素と前記第２の露光時間の画素からなる画像を入力し、画素補間処理により、前記第１の露光時間の撮影画像である第１露光画像と、前記第２の露光時間の撮影画像である第２露光画像を生成する感度別補間部を有し、前記第１フリッカ成分算出部は、前記感度別補間部の生成した第１露光画像を入力して、該第１露光画像のフリッカ成分を算出し、前記第２フリッカ成分算出部は、前記感度別補間部の生成した第２露光画像を入力して、該第２露光画像のフリッカ成分を算出する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１４６】
（７）前記画像処理装置は、さらに、フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の合成処理により、出力画像を生成する画像合成部を有する前記（１）〜（６）いずれかに記載の画像処理装置
【０１４７】
（８）前記画像合成部は、前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の対応画素の明るさを一致させる露出補正を行う露出補正部と、前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の画素値に応じて、前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の対応画素値のブレンド比率を決定するブレンド係数算出部と、前記ブレンド係数算出部の決定した前記ブレンド比率に応じて前記フリッカ補正第１露光画像と、前記フリッカ補正第２露光画像の対応画素値のブレンド処理を実行するブレンド処理部を有する前記（１）〜（７）いずれかに記載の画像処理装置。
【０１４８】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１４９】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５０】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１５１】
以上、説明したように、本開示の一実施例の構成によれば、画像のフリッカ補正を実行する装置、方法が実現される。
具体的には、第１露光画像のフリッカ成分を算出する第１フリッカ成分算出部と、第２露光画像のフリッカ成分を算出する第２フリッカ成分算出部と、第１露光画像のフリッカ成分を適用して第１露光画像のフリッカ補正を実行し、第２露光画像のフリッカ成分を適用して第２露光画像のフリッカ補正を実行し、フリッカ補正第１露光画像と、フリッカ補正第２露光画像の合成処理により例えば広ダイナミックレンジ画像のような画像を生成する。第２フリッカ成分算出部は、第１フリッカ成分算出部の算出した第１露光画像のフリッカ成分の線形和により、第２露光画像のフリッカ成分を算出する。
これらの処理により、フリッカ成分の算出処理が簡略化され、ハードウェア構成、処理の効率化が実現される。
【符号の説明】
【０１５２】
１００  撮像装置
１０１  光学レンズ
１０２  撮像素子（イメージセンサ）
１０３  画像処理理部
１０４  信号処理部
１０５  制御部
１２０  出力画像
２０１  感度別補間部
２０２  フリッカ補正部
２０３  ＨＤＲ合成部（広ダイナミックレンジ画像合成部）
２５１，２５２  抽出部
２５３，２５４  補間処理部
３０１  第１フリッカ成分算出部
３０２  第２フリッカ成分算出部
３０３  第１露光画像フリッカ補正部
３０４  第２露光画像フリッカ補正部
３５１，３５２  露出補正部
３５３  ブレンド係数算出部
３５４  ブレンド処理部
４０１  感度別補間部
４０２  フリッカ補正部
４０３  ＨＤＲ合成部（広ダイナミックレンジ画像合成部）
５０１  第１フリッカ成分算出部
５０２  第２フリッカ成分算出部
５０３  第３フリッカ成分算出部
５０４  第１露光画像フリッカ補正部
５０５  第２露光画像フリッカ補正部
５０６  第３露光画像フリッカ補正部
５５１，５５２，５５３  露出補正部
５５４  ブレンド係数算出部
５５５  ブレンド処理部
【図１】
2013219708.tif 000011
【図４】
2013219708.tif 000012
【図５】
2013219708.tif 000013
【図６】
2013219708.tif 000014
【図７】
2013219708.tif 000015
【図８】
2013219708.tif 000016
【図９】
2013219708.tif 000017
【図１０】
2013219708.tif 000018
【図１１】
2013219708.tif 000019
【図１２】
2013219708.tif 000020
【図１３】
2013219708.tif 000021
【図１４】
2013219708.tif 000022
【図１５】
2013219708.tif 000023
【図１６】
2013219708.tif 000024
【図１７】
2013219708.tif 000025
【図２】
2013219708.tif 000026
【図３】
2013219708.tif 000027