(57)【要約】  本技術は、周期的なノイズがのった画像から、そのノイズを除去することができるようにする画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する。周期的なノイズとは、例えば、フリッカである。また、ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表すことができる。本技術は、撮影装置に適用できる。
2015083562.tif 000002
【特許請求の範囲】
【請求項１】
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、
前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
画像処理装置。
【請求項２】
前記周期的なノイズとは、フリッカである
請求項１に記載の画像処理装置。
【請求項３】
前記ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表される
請求項１に記載の画像処理装置。
【請求項４】
前記推定部は、前記画像を積分し、所定の窓関数をかけ、フーリエ級数展開することで得られる値を用いて、前記ノイズの成分を推定する
請求項１に記載の画像処理装置。
【請求項５】
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
請求項４に記載の画像処理装置。
【請求項６】
前記推定部は、光源の揺らぎ成分をＦとしたとき、ＱＦ＝０となる行列Ｑを求め、前記成分Ｆを求めることで、周波数空間での前記ノイズの成分を求め、
前記周波数空間での前記ノイズの成分をフーリエ級数逆変換することで、前記画像毎にノイズの成分を推定する
請求項１に記載の画像処理装置。
【請求項７】
前記ノイズの成分の相互関係は、前記画像を積分し、前記画像の行毎に除算した比で表される
請求項１に記載の画像処理装置。
【請求項８】
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
請求項７に記載の画像処理装置。
【請求項９】
前記推定部は、前記比をフーリエ級数展開した行列をＲ、前記露光条件から求まる行列をＴとしたとき、行列ＲＴの固有値１の固有ベクトルを求め、前記固有ベクトルを、前記画像の前記ノイズの成分をフーリエ級数展開した値とする
請求項７に記載の画像処理装置。
【請求項１０】
前記固有ベクトルを、フーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
請求項９に記載の画像処理装置。
【請求項１１】
前記固有ベクトルに、前記露光条件から求められる係数を乗算することで、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分をフーリエ級数展開した値を算出し、
前記フーリエ級数展開した値をフーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
請求項１０に記載の画像処理装置。
【請求項１２】
前記推定部は、前記比をＲ、前記露光条件から求まる係数をＴ、前記画像のノイズの成分をＧとしたとき、以下の式における行列ＲＴを生成し、前記画像のノイズの成分を求める
【数１】
2015083562.tif 000034
請求項７に記載の画像処理装置。
【請求項１３】
前記推定部は、前記比を行列ｒ、前記露光条件から求められる行列を行列ｔとしたとき、行列ｒｔの固有値１の固有ベクトルを求め、前記固有値ベクトルを、前記画像のノイズの成分であると推定する
請求項７に記載の画像処理装置。
【請求項１４】
前記推定されたノイズの成分の線形和により、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分を算出する
請求項１３に記載の画像処理装置。
【請求項１５】
前記推定部は、前記比をｒ、前記露光条件から求められる値をｔ、前記画像の画素値をＩ、および前記ノイズの成分をｇとしたとき、以下の式を満たすｇ１，ｇ２を最小二乗推定で求めることで、前記画像毎のノイズの成分を求める
【数２】
2015083562.tif 000035
請求項７に記載の画像処理装置。
【請求項１６】
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
画像処理方法。
【請求項１７】
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
処理をコンピュータに実行させるためのプログラム。
【請求項１８】
撮像素子から出力される画素信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部と、
前記推定部で推定されたノイズの成分を用いて、前記画像からノイズを除去する補正を行う補正部と
を備え、
前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。詳しくは、画像に発生するフリッカの補正を行う画像処理装置、画像処理方法、電子機器、並びにプログラムに関する。
【背景技術】
【０００２】
蛍光灯の照明の下で、CMOS（Complementary Metal Oxides Semiconductor）撮像素子などＸＹアドレス走査型の撮像素子を備えたカメラで画像を撮影すると、映像信号に縞状の輝度ムラや色ムラが発生する。この現象はフリッカと呼ばれる。これは、商用電源（交流）に接続された蛍光灯が基本的に電源周波数の２倍の周期で点滅を繰り返していることと撮像素子の動作原理に起因する。【０００３】
フリッカの発生した画像には水平方向に延びる縞模様の輝度変化パターンが出現する。例えば動画を観察した場合、上下に流れる縞模様が観察されてしまう。このようなフリッカを抑制する技術を開示した従来技術として、例えば特許文献１がある。特許文献１は、画像からフリッカ成分を抽出し、その逆相パターンからなるフリッカ補正係数を算出して、画像の画素値に乗じて補正することで画像に含まれるフリッカ成分を除去する手法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１６００９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、例えば広ダイナミックレンジ画像を生成するために、異なる露光時間に設定した複数の画像を撮影し、これらの異なる露光時間の画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成する撮像装置が提案されている。【０００６】
このように、複数の異なる露光時間の画像を撮影する撮像装置に、上記の特許文献１に記載の処理を適用しようとすると、異なる露光時間に撮影された複数の画像の各々に対して、フリッカ成分の抽出処理、フリッカ成分の逆相パターンの補正係数の算出処理、補正係数に基づく補正処理などの処理を個別に実行することが必要となる。【０００７】
このように、異なる露光時間の画像の各々に対して、上記の処理を実行させるためには、ハードウエア構成の増加や、処理時間の増大が発生する可能性があった。【０００８】
本技術は、このような状況に鑑みてなされたものであり、フリッカなどの周期的なノイズの低減処理を簡易な構成で効率的に実行可能とすることができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する。【００１０】
前記周期的なノイズとは、フリッカであるようにすることができる。【００１１】
前記ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表されるようにすることができる。【００１２】
前記推定部は、前記画像を積分し、所定の窓関数をかけ、フーリエ級数展開することで得られる値を用いて、前記ノイズの成分を推定するようにすることができる。【００１３】
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行うようにすることができる。【００１４】
前記推定部は、光源の揺らぎ成分をＦとしたとき、ＱＦ＝０となる行列Ｑを求め、前記成分Ｆを求めることで、周波数空間での前記ノイズの成分を求め、前記周波数空間での前記ノイズの成分をフーリエ級数逆変換することで、前記画像毎にノイズの成分を推定するようにすることができる。【００１５】
前記ノイズの成分の相互関係は、前記画像を積分し、前記画像の行毎に除算した比で表されるようにすることができる。【００１６】
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行うようにすることができる。【００１７】
前記推定部は、前記比をフーリエ級数展開した行列をＲ、前記露光条件から求まる行列をＴとしたとき、行列ＲＴの固有値１の固有ベクトルを求め、前記固有ベクトルを、前記画像の前記ノイズの成分をフーリエ級数展開した値とするようにすることができる。【００１８】
前記固有ベクトルを、フーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出するようにすることができる。【００１９】
前記固有ベクトルに、前記露光条件から求められる係数を乗算することで、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分をフーリエ級数展開した値を算出し、前記フーリエ級数展開した値をフーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出するようにすることができる。【００２０】
前記推定部は、前記比をＲ、前記露光条件から求まる係数をＴ、前記画像のノイズの成分をＧとしたとき、以下の式における行列ＲＴを生成し、前記画像のノイズの成分を求めるようにすることができる。
【数１】
2015083562.tif 000003
【００２１】
前記推定部は、前記比を行列ｒ、前記露光条件から求められる行列を行列ｔとしたとき、行列ｒｔの固有値１の固有ベクトルを求め、前記固有値ベクトルを、前記画像のノイズの成分であると推定するようにすることができる。【００２２】
前記推定されたノイズの成分の線形和により、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分を算出するようにすることができる。【００２３】
前記推定部は、前記比をｒ、前記露光条件から求められる値をｔ、前記画像の画素値をＩ、および前記ノイズの成分をｇとしたとき、以下の式を満たすｇ１，ｇ２を最小二乗推定で求めることで、前記画像毎のノイズの成分を求めるようにすることができる。
【数２】
2015083562.tif 000004
【００２４】
本技術の一側面の画像処理方法は、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む。【００２５】
本技術の一側面のプログラムは、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む処理をコンピュータに実行させる。【００２６】
本技術の一側面の電子機器は、撮像素子から出力される画素信号に対して信号処理を行う信号処理部を備え、前記信号処理部は、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部と、前記推定部で推定されたノイズの成分を用いて、前記画像からノイズを除去する補正を行う補正部とを備え、前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する。【００２７】
本技術の一側面の画像処理装置、画像処理方法、およびプログラムにおいては、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分が、画像毎に推定される。その推定は、露光条件のノイズの成分の相互関係を利用した演算から、画像毎の周期的なノイズの成分を推定することで行われる。【００２８】
本技術の一側面の電子機器においては、撮像素子から出力される画素信号に対して信号処理が行われ、その信号処理の１つの処理として、異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分が、画像毎に推定され、推定されたノイズの成分が用いられて、画像からノイズを除去する補正が行われる。その推定は、露光条件のノイズの成分の相互関係を利用した演算から、画像毎の周期的なノイズの成分を推定することで行われる。
【発明の効果】
【００２９】
本技術の一側面によれば、フリッカなどの周期的なノイズの低減処理を簡易な構成で効率的に実行可能となる。【００３０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３１】
【図１】フリッカの発生原理と補正について説明する図である。
【図２】フリッカの発生原理と補正について説明する図である。
【図３】フリッカの発生原理と補正について説明する図である。
【図４】本技術が適用される撮像装置の一実施の形態の構成を示す図である。
【図５】異なる露光時間の画素の配置例を示す図である。
【図６】異なる露光時間の画素の配置例を示す図である。
【図７】異なる露光時間の画素の配置例を示す図である。
【図８】異なる露光時間の画素の配置例を示す図である。
【図９】異なる露光時間の画素の配置例を示す図である。
【図１０】異なる露光時間の画素の配置例を示す図である。
【図１１】異なる露光時間の画素の配置例を示す図である。
【図１２】異なる露光時間の画素の配置例を示す図である。
【図１３】異なる露光時間について説明するための図である。
【図１４】画像処理部の構成について説明するための図である。
【図１５】感度別補間部の構成について説明するための図である。
【図１６】ＨＤＲ合成部の構成について説明するための図である。
【図１７】フリッカ補正部の構成について説明するための図である。
【図１８】フリッカ推定部の構成について説明するための図である。
【図１９】フリッカ比について説明するための図である。
【図２０】推定演算部の構成について説明するための図である。
【図２１】推定演算部の他の構成について説明するための図である。
【図２２】シャッター関数について説明するための図である。
【図２３】フリッカ推定部の他の構成について説明するための図である。
【図２４】周波数空間でのフリッカ成分の算出について説明するための図である。
【図２５】記録媒体について説明するための図である。
【発明を実施するための形態】
【００３２】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．フリッカ発生原理と補正原理について
２．撮像装置の構成
３．画像処理部の構成について
４．フリッカ補正部の構成について
５．フリッカ比の算出について
６．フリッカ抑制の第１の実施の形態
７．フリッカ抑制の第２の実施の形態
８．フリッカ抑制の第３の実施の形態
９．記録媒体について
【００３３】
＜フリッカ発生原理と補正原理について＞
まず、図１以下を参照してフリッカ発生原理と補正原理について説明する。図１のＡは、カメラで画像撮影を行う環境下の照明輝度の時間変化を表す。一般に商用電源は５０Ｈｚ、あるいは６０Ｈｚの交流電源であるため、蛍光灯の光などの照明光は、１００Ｈｚ、あるいは１２０Ｈｚの周波数で揺らぎやすい。
【００３４】
なお、ここでは、フリッカを例に挙げて説明するが、フリッカのように、所定の周波数で発生するノイズなどに対しても、以下に説明する本技術を適用することはできる。
【００３５】
図１のＡに示したグラフは、横軸が時間ｔ、縦軸が、各時間ｔにおける照明の輝度ｆ（ｔ）である。時間ｔの照明光輝度ｆ（ｔ）は、照明光輝度の平均値ｆＤと、照明光輝度平均値からの変動ｆＡ（ｔ）に分解すると、以下のように表記できる。
ｆ（ｔ）＝ｆＤ＋ｆＡ（ｔ）    ・・・（１）
【００３６】
照明光輝度の平均値ｆＤは時間ｔによらず一定の値であり、平均値からの変動ｆＡ（ｔ）は照明の周波数に応じて、周期に変動する値となる。さらに、照明光の輝度をｆ（ｔ）の周期をＴとおくと以下の関係が成り立つ。
【００３７】
【数３】
2015083562.tif 000005
【００３８】
フリッカ補正処理は、観測画像、すなわちカメラによって撮影された画像から、照明光輝度平均値からの変動ｆＡ（ｔ）の影響を取り除く処理である。
【００３９】
図１のＢは、ＣＭＯＳイメージセンサのように行ごとに撮像タイミングが異なる撮像素子の露光タイミングの模式図を表す。横軸が時間ｔ、縦軸が撮像素子の行ｙ、である。図に示す例は、一定間隔Ｓで、連続する画像フレームを撮影する場合の例であり、フレーム１と、フレーム２の２つの画像撮影時の露光タイミングを示している。各フレーム画像の撮影は、撮像素子の上位行から下位行に順次、露光が実行される。
【００４０】
各フレーム画像の撮影時の露光タイミングは、撮像素子の行毎に異なるため、蓄積する照明光の影響も行毎に異なる。例えば、露光時間Ｅの撮像素子の所定の画素の露光終了時間をｔとする。フリッカの影響がある条件下での、その画素が露光する間の照明光の総和を、ＦＡ（ｔ，Ｅ）と置くと、ＦＡ（ｔ，Ｅ）は以下のように記述できる。
【００４１】
【数４】
2015083562.tif 000006
【００４２】
フリッカのない理想的な条件下での、照明光の総和を、ＦＤ（ｔ，Ｅ）とする。ＦＤ（ｔ，Ｅ）は、フリッカの影響がないので、照明光輝度平均値からの変動ｆＡ（ｔ）＝０となり、以下のように記述できる。
ＦＤ（ｔ，Ｅ）＝ｆＤ×Ｅ    ・・・（４）
【００４３】
ここで「フリッカ成分」を、フリッカのない理想的な画像と、フリッカの影響を受けた画像との比と定義する。フリッカ成分は、画素が蓄積する間の照明光の総量の比に等しい。従って、露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）は以下の式（５）に示すように定式化できる。
【００４４】
【数５】
2015083562.tif 000007
【００４５】
図１のＣは、横軸が、画像の各画素の露光終了タイミングｔ、縦軸が、フリッカ成分ｇ（ｔ，Ｅ）、これらの関係を模式的に表した図である。なお前述のとおり照明光は周期的に揺らぐためフリッカ成分も周期性をもっている。そのため一度、フリッカ成分ｇ（ｔ，Ｅ）を求めることが出来れば、基本的にはあらゆる露光終了タイミングｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を推定することが出来る。
【００４６】
なお、図１のＢに示すように露光終了タイミングは、撮像素子の行単位で変化する。従って、図１のＣに示すように、フリッカ成分ｇ（ｔ，Ｅ）は、各行の露光終了タイミングＴに応じて異なる値となる。
【００４７】
図２のＡは、フリッカの影響を受けた撮像素子の出力画像に発生するフリッカの影響の模式図である。行ごとに露光終了タイミングが異なるため、出力画像には行単位の明暗の縞模様が表れる。
【００４８】
図２のＢは、出力画像の各行のフリッカ成分のグラフｇ（ｔ０，ｙ，Ｅ）を表している。ｔ０は、１行目の露光を終える時刻を表し、ｙは注目する行を表す。撮像装置（カメラ）のデータ処理部は、画像撮影時の露光時間Ｅと、各行ｙの露光終了タイミングｔに基づいて、図１のＣのグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。
【００４９】
具体的には、所定の行の露光を終えてから、次の１つ下の行の露光を終えるまでの時間の単位を１[line]と定義する。このように定義した場合、ｇ（ｔ０，ｙ，Ｅ）とｇ（ｔ，Ｅ）は以下のように変換できる。
ｇｙ（ｔ，ｙ，Ｅ）＝ｇｔ（ｔ＋ｙ，Ｅ）    ・・・（６）
【００５０】
撮像装置（カメラ）のデータ処理部は、画像撮影時の露光時間Ｅと、各行ｙの露光終了タイミングｔに基づいて、図１のＣのグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。例えば図２に示す第ａ行目の露光終了時間をｔとすると、図１のＣのグラフからｔに対応するフリッカ成分ｇ（ｔ，Ｅ）を算出することができる。露光時間Ｅの撮像素子における露光終了時間ｔの画素のフリッカ成分ｇ（ｔ，Ｅ）がわかれば、撮像素子の各行のフリッカ成分ｇ（ｙ）を推定することが出来る。
【００５１】
図３は、フリッカの補正の原理を表している。図３には以下の各図を示している。
図３のＡ：フリッカ成分の含まれる画像（＝図２のＡ）
図３のＢ：フリッカ補正係数（＝図２のＢの逆数）
図３のＣ：フリッカ補正画像（＝図３のＡ×図３のＢ）
【００５２】
例えば前述した方法で、各行のフリッカ成分ｇ（ｙ）を計測し、図３のＡに示す観測画像、すなわちカメラの撮影画像の各画素値に、図３のＢに示すフリッカ成分ｇ（ｙ）の逆数を乗算することで、図３のＣに示すフリッカの影響のない理想的な画像を求めることが出来る。
【００５３】
＜撮像装置の構成＞
本技術が適用される画像処理装置は、例えば広ダイナミックレンジ画像を生成するために、異なる露光時間に設定した複数の撮影画像を入力して、フリッカ成分を除去または低減した補正画像を生成して出力する。本技術が適用される画像処理装置は、例えば、異なる露光時間に設定した複数の撮影画像を合成して、低輝度部分から高輝度部分まで、より正確な画素値の設定された広ダイナミックレンジ画像を生成して出力する。
【００５４】
本技術が適用される画像処理装置では、異なる露光時間に設定された複数の画像毎にフリッカ成分を算出する処理を実行しない。１つの露光時間の撮影画像に対してのみ、フリッカ成分の算出処理を実行し、この１つの露光時間の撮影画像に基づいて算出したフリッカ成分を利用して、その他の異なる露光時間に設定された撮影画像に含まれるフリッカ成分を推定する処理を実行する。そのような画像処理装置について説明する。
【００５５】
図４は、本技術が適用される画像処理装置の一実施の形態の構成を示す図である。ここでは、画像処理装置が含まれる撮像装置を例に挙げて説明する。
【００５６】
図４に示した撮像装置１００は、光学レンズ１０１、撮像素子１０２、画像処理部１０３、信号処理部１０４、制御部１０５を含む構成とされている。図４に示した撮像装置１００は、光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部１０３に入力される。
【００５７】
撮像素子１０２の出力画像は、各画素にＲＧＢのいずれかの画素値が設定されたいわゆるモザイク画像である。画像処理部１０３は、上述したフリッカ補正処理、さらに、長時間露光画像と短時間露光画像との合成処理に基づく広ダイナミックレンジ（HDR:High Dynamic Range）画像の生成処理などを行う。
【００５８】
この画像処理部１０３の出力は、信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【００５９】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【００６０】
なおここでは、撮像素子１０２、画像処理部１０３、信号処理部１０４、および制御部１０５を、それぞれ別のブロックとして図示し、説明を続けるが、これらの各部の全てまたは一部が一体化に構成されていても良い。
【００６１】
例えば、撮像素子１０２、画像処理部１０３、信号処理部１０４、および制御部１０５が積層構造とされ、一体化に構成されていても良い。また撮像素子１０２、画像処理部１０３、および信号処理部１０４が積層構造とされ、一体化に構成されていても良い。撮像素子１０２と画像処理部１０３が積層構造とされ、一体化に構成されていても良い。
【００６２】
また、図４に示した撮像装置１００の構成に限らず、他の構成であっても良い。例えば、画像処理部１０３を複数の画像処理部に分割し、その一部が、撮像素子１０２と積層構造にされ一体化構成とされていても良い。
【００６３】
次に、撮像素子１０２の露光制御構成例について図５を参照して説明する。撮像装置１００では、１枚の撮影画像に含まれる画素単位で、長時間露光画素と短時間露光画素を設定して、これらの画素間の合成処理（αブレンド）により、広ダイナミックレンジ画像を生成する。この露光時間制御は制御部１０５の制御によって行われる。
【００６４】
図５は、撮像素子１０２の露光時間設定例を示す図である。図５に示すように、撮像素子の構成画素は、第１の露光条件（短時間露光）に設定された画素、第２の露光条件（長時間露光）に設定された画素の２つの種類の画素に区分される。
【００６５】
図５において、斜線を付して記載した画素は、第１の露光条件で露光される画像であり、斜線を付さずに記載した画素は、第２の露光条件で露光される画素である。図５のように一つの撮像素子内に短時間露光画素と長時間露光画素のように異なる露光時間の画素を有する画素配列をSVE（Spatially Varying Exposure）配列と呼ぶ。
【００６６】
図５に示した画素配置は、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素の配置である。図５に示したのは、イメージセンサの一部分であり、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素以外の他の行、他の列に配列されたＲ画素、Ｇ画素、Ｂ画素についての構成も同様である。
【００６７】
以下の説明において、例えば、画素１０（ｍ，ｎ）との記載を行うが、ｍは行を表し、ｎは列を表すとする。また行とは、水平信号線（不図示）が配置される水平方向とし、列とは、垂直信号線（不図示）が配置される垂直方向とする。例えば、画素２００（２，１）とは、２行目の１列目に位置する画素であることを表す。また、ここで、左上の画素を、画素２００（１，１）とし、この画素２００（１，１）を基準として、各画素の位置を表す。他の図面においても、同様の記載を行う。
【００６８】
イメージセンサの水平方向（図５の左右方向であり、行方向）の構成を説明する。１行目には、第１の露光条件で露光されるＲ画素２００（１，１）、Ｇ画素２００（１，２）、Ｇ画素２００（１，４）、Ｒ画素２００（１，５）、Ｇ画素２００（１，６）、Ｇ画素２００（１，８）と、第２の露光条件で露光されるＲ画素２００（１，３）、Ｒ画素２００（１，７）が配置されている。
【００６９】
この場合、１行目には、Ｒ画素とＧ画素が、交互に配置されている。また１行目のＲ画素２００は、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。また１行目のＧ画素２００は、全て第１の露光条件で露光される画素とされている。
【００７０】
２行目には、第１の露光条件で露光されるＢ画素２００（２，２）、Ｂ画素２００（２，６）と、第２の露光条件で露光されるＧ画素２００（２，１）、Ｇ画素２００（２，３）、Ｂ画素２００（２，４）、Ｇ画素２００（２，５）、Ｇ画素２００（２，７）、Ｂ画素２００（２，８）が配置されている。
【００７１】
この場合、２行目には、Ｇ画素とＢ画素が、交互に配置されている。また２行目のＢ画素２００は、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。また２行目のＧ画素２００は、全て第２の露光条件で露光される画素とされている。
【００７２】
３行目は、第２の露光条件で露光されるＲ画素（３，１）から配置されている点が１行目と異なるが、１行目と同じくＲ画素とＧ画素が、交互に配置され、配置されているＲ画素２００は、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置され、配置されているＧ画素２００は、全て第１の露光条件で露光される画素とされている。
【００７３】
４行目は、第２の露光条件で露光されるＧ画素（４，１）、Ｂ画素２００（４，２）から配置されている点が２行目と異なるが、２行目と同じくＧ画素とＢ画素が、交互に配置され、配置されているＢ画素２００は、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置され、配置されているＧ画素２００は、全て第２の露光条件で露光される画素とされている。
【００７４】
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。
【００７５】
以下の説明においては、図５に示した画素配置を例に挙げて説明するが、本技術は、図５に示した画素配置に適用が限定されるのでなく、他の画素配置に対しても適用することができる。他の画素配置の例として、図６乃至図１２を参照して説明する。
【００７６】
図６は、画素配置の他の例を示す図である。図６に示した画素配置のうちの１行目には、第１の露光条件で露光されるＲ画素２１０（１，１）、Ｇ画素２１０（１，２）、Ｒ画素２１０（１，３）、Ｇ画素２１０（１，４）、Ｒ画素２１０（１，５）、Ｇ画素２１０（１，６）、Ｒ画素２１０（１，７）Ｇ画素２１０（１，８）が配置されている。
【００７７】
この場合、１行目には、Ｒ画素とＧ画素が、交互に配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
【００７８】
２行目には、第１の露光条件で露光されるＧ画素２１０（２，１）、Ｂ画素２１０（２，２）、Ｇ画素２１０（２，３）、Ｂ画素２１０（２，４）、Ｇ画素２１０（２，５）、Ｂ画素２１０（２，６）、Ｇ画素２１０（２，７）、Ｂ画素２１０（２，８）が配置されている。
【００７９】
この場合、２行目には、Ｇ画素とＢ画素が、交互に配置され、全ての画素が第１の露光条件（短時間露光）で露光される画素とされている。
【００８０】
３行目には、第２の露光条件で露光されるＲ画素２１０（３，１）、Ｇ画素２１０（３，２）、Ｒ画素２１０（３，３）、Ｇ画素２１０（３，４）、Ｒ画素２１０（３，５）、Ｇ画素２１０（３，６）、Ｒ画素２１０（３，７）Ｇ画素２１０（３，８）が配置されている。
【００８１】
この場合、３行目には、Ｒ画素とＧ画素が、交互に配置され、全ての画素が、第２の露光条件（長時間露光）で露光される画素とされている。
【００８２】
４行目には、第２の露光条件で露光されるＧ画素２１０（４，１）、Ｂ画素２１０（４，２）、Ｇ画素２１０（４，３）、Ｂ画素２１０（４，４）、Ｇ画素２１０（４，５）、Ｂ画素２１０（４，６）、Ｇ画素２１０（４，７）、Ｂ画素２１０（４，８）が配置されている。
【００８３】
この場合、４行目には、Ｇ画素とＢ画素が、交互に配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
【００８４】
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。
【００８５】
このような画素配置に対しても、本技術を適用できる。
【００８６】
図７は、画素配置の他の例を示す図である。図７に示した画素配置のうちの１行目には、第１の露光条件で露光されるＲ画素２２０（１，１）、Ｇ画素２２０（１，２）、Ｒ画素２２０（１，５）、Ｇ画素２２０（１，６）と、第２の露光条件で露光されるＲ画素２２０（１，３）、Ｇ画素２２０（１，４）、Ｒ画素２２０（１，７）Ｇ画素２２０（１，８）が配置されている。
【００８７】
この場合、１行目には、Ｒ画素とＧ画素が、交互に配置され、Ｒ画素とＧ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。
【００８８】
２行目には、第１の露光条件で露光されるＧ画素２２０（２，１）、Ｂ画素２２０（２，２）、Ｇ画素２２０（２，５）、Ｂ画素２２０（２，６）と、第２の露光条件で露光されるＧ画素２２０（２，３）、Ｂ画素２２０（２，４）、Ｇ画素２２０（２，７）Ｂ画素２２０（２，８）が配置されている。
【００８９】
この場合、２行目には、Ｇ画素とＢ画素が、交互に配置され、Ｇ画素とＢ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。
【００９０】
３行目は、第２の露光条件で露光されるＲ画素２２０（３，１）、Ｇ画素２２０（３，２）から配置されている点が１行目と異なるが、１行目と同じくＲ画素とＧ画素は、交互に配置され、配置されているＲ画素とＧ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。
【００９１】
４行目は、第２の露光条件で露光されるＧ画素２２０（４，１）、Ｂ画素２２０（４，２）から配置されている点が２行目と異なるが、２行目と同じく配置されているＧ画素とＢ画素は、交互に配置され、Ｇ画素とＢ画素のそれぞれは、第１の露光条件で露光される画素と第２の露光条件で露光される画素が交互に配置されている。
【００９２】
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。
【００９３】
このような画素配置に対しても、本技術を適用できる。
【００９４】
図８は、画素配置の他の例を示す図である。図８に示した画素配置は、縦×横の２×２の４画素が、それぞれ同一の色とされ、市松配列で第１の露光条件の画素と第２の露光条件の画素が配置されている。
【００９５】
１行目と２行目に配置されている２×２の４画素のうち、Ｒ画素２３０（１，１）、Ｒ画素２３０（１，２）、Ｒ画素２３０（２，１）、Ｒ画素２３０（２，２）の４画素は、Ｒ（赤）画素であり、Ｒ画素２３０（１，１）とＲ画素２３０（２，２）は、第２の露光条件で露光される画素とされ、Ｒ画素２３０（１，２）とＲ画素２３０（２，１）は、第１の露光条件で露光される画素とされている。このような配置を有する赤色の４画素をＲ画素ブロックと記述する。
【００９６】
このようなＲ画素ブロックに隣接し、１行目と２行目に配置されている２×２の４画素のうち、Ｇ画素２３０（１，３）、Ｇ画素２３０（１，４）、Ｇ画素２３０（２，３）、Ｇ画素２３０（２，４）の４画素は、Ｇ（緑）画素であり、Ｇ画素２３０（１，３）とＧ画素２３０（２，４）は、第２の露光条件で露光される画素とされ、Ｇ画素２３０（１，４）とＧ画素２３０（２，３）は、第１の露光条件で露光される画素とされている。このような配置を有する緑色の４画素をＧ画素ブロックと記述する。
【００９７】
１行目と２行目には、Ｒ画素ブロックとＧ画素ブロックが交互に配置されている。
【００９８】
３行目と４行目には、Ｇ画素２３０（３，１）、Ｇ画素２３０（３，２）、Ｇ画素２３０（４，１）、Ｇ画素２３０（４，２）で構成されるＧ画素ブロックが配置されている。
【００９９】
Ｇ画素ブロックに隣接し、３行目と４行目に配置されている２×２の４画素のうち、Ｂ画素２３０（３，３）、Ｂ画素２３０（３，４）、Ｂ画素２３０（４，３）、Ｂ画素２３０（４，４）の４画素は、Ｂ（緑）画素であり、Ｂ画素２３０（３，３）とＢ画素２３０（４，４）は、第２の露光条件で露光される画素とされ、Ｂ画素２３０（３，４）とＢ画素２３０（４，３）は、第１の露光条件で露光される画素とされている。このような配置を有する青色の４画素をＢ画素ブロックと記述する。
【０１００】
３行目と４行目は、Ｇ画素ブロックとＢ画素ブロックが交互に配置されている。
【０１０１】
５行目と６行目は、１行目と２行目と同じく、Ｒ画素ブロックとＧ画素ブロックが交互に配置されている。７行目と８行目は、３行目と４行目と同じく、Ｇ画素ブロックとＢ画素ブロックが交互に配置されている。
【０１０２】
このような画素配置に対しても、本技術を適用できる。
【０１０３】
図９は、画素配置の他の例を示す図である。図９に示した画素配置は、図８に示した画素配置と同じ色配置であるが、異なる露光条件を有する画素の配置が図８に示した画素配置と異なる。
【０１０４】
１行目と２行目に配置されている２×２の４画素のうち、Ｒ画素２４０（１，１）、Ｒ画素２４０（１，２）、Ｒ画素２４０（２，１）、Ｒ画素２４０（２，２）で構成されるＲ’画素ブロックの４画素は、Ｒ画素２４０（１，１）とＲ画素２４０（１，２）が、第１の露光条件で露光される画素とされ、Ｒ画素２４０（２，１）とＲ画素２４０（２，２）が、第２の露光条件で露光される画素とされている。
【０１０５】
このようなＲ’画素ブロックに隣接し、１行目と２行目に配置されている２×２の４画素のうち、Ｇ画素２４０（１，３）、Ｇ画素２４０（１，４）、Ｇ画素２４０（２，３）、Ｇ画素２４０（２，４）で構成されるＧ’画素ブロックの４画素は、Ｇ画素２４０（１，３）とＧ画素２４０（１，４）が、第１の露光条件で露光される画素とされ、Ｇ画素２４０（２，３）とＧ画素２４０（２，４）が、第２の露光条件で露光される画素とされている。
【０１０６】
３行目と４行目には、Ｇ画素２４０（３，１）、Ｇ画素２４０（３，２）、Ｇ画素２４０（４，１）、Ｇ画素２４０（４，２）で構成されるＧ’画素ブロックが配置されている。
【０１０７】
Ｇ’画素ブロックに隣接し、３行目と４行目に配置されている２×２の４画素のうち、Ｂ画素２４０（３，３）、Ｂ画素２４０（３，４）、Ｂ画素２４０（４，３）、Ｂ画素２４０（４，４）で構成されるＢ’画素ブロックの４画素は、Ｂ画素２４０（３，３）とＢ画素２４０（３，４）が、第１の露光条件で露光される画素とされ、Ｂ画素２４０（４，３）とＢ画素２４０（４，４）が、第２の露光条件で露光される画素とされている。
【０１０８】
５行目と６行目は、１行目と２行目と同じく、Ｒ’画素ブロックとＧ’画素ブロックが交互に配置されている。７行目と８行目は、３行目と４行目と同じく、Ｇ’画素ブロックとＢ’画素ブロックが交互に配置されている。
【０１０９】
図９に示した画素配置は、奇数行には第１の露光条件で露光する画素が配置され、偶数行には第２の露光条件で露光される画素が配置されている。
【０１１０】
このような画素配置に対しても、本技術を適用できる。
【０１１１】
図１０は、画素配置の他の例を示す図である。図１０に示した画素配置は、図８に示した画素配置と同じ色配置であるが、異なる露光条件を有する画素の配置が図８に示した画素配置と異なる。
【０１１２】
１行目と２行目に配置されている２×２の４画素のうち、Ｒ画素２５０（１，１）、Ｒ画素２５０（１，２）、Ｒ画素２５０（２，１）、Ｒ画素２５０（２，２）で構成されるＲ”画素ブロックの４画素は、Ｒ画素２５０（１，１）とＲ画素２５０（２，１）が、第１の露光条件で露光される画素とされ、Ｒ画素２５０（１，２）とＲ画素２５０（２，２）が、第２の露光条件で露光される画素とされている。
【０１１３】
このようなＲ”画素ブロックに隣接し、１行目と２行目に配置されている２×２の４画素のうち、Ｇ画素２５０（１，３）、Ｇ画素２５０（１，４）、Ｇ画素２５０（２，３）、Ｇ画素２５０（２，４）で構成されるＧ”画素ブロックの４画素は、Ｇ画素２５０（１，３）とＧ画素２５０（２，３）が、第１の露光条件で露光される画素とされ、Ｇ画素２５０（１，４）とＧ画素２５０（２，４）が、第２の露光条件で露光される画素とされている。
【０１１４】
３行目と４行目には、Ｇ画素２５０（３，１）、Ｇ画素２５０（３，２）、Ｇ画素２５０（４，１）、Ｇ画素２５０（４，２）で構成されるＧ”画素ブロックが配置されている。
【０１１５】
Ｇ”画素ブロックに隣接し、３行目と４行目に配置されている２×２の４画素のうち、Ｂ画素２５０（３，３）、Ｂ画素２５０（３，４）、Ｂ画素２５０（４，３）、Ｂ画素２５０（４，４）で構成されるＢ”画素ブロックの４画素は、Ｂ画素２５０（３，３）とＢ画素２５０（４，３）が、第１の露光条件で露光される画素とされ、Ｂ画素２５０（３，４）とＢ画素２５０（４，４）が、第２の露光条件で露光される画素とされている。
【０１１６】
５行目と６行目は、１行目と２行目と同じく、Ｒ”画素ブロックとＧ”画素ブロックが交互に配置されている。７行目と８行目は、３行目と４行目と同じく、Ｇ”画素ブロックとＢ”画素ブロックが交互に配置されている。
【０１１７】
図１０に示した画素配置は、奇数列には第１の露光条件で露光する画素が配置され、偶数列には第２の露光条件で露光される画素が配置されている。
【０１１８】
このような画素配置に対しても、本技術を適用できる。
【０１１９】
図１１は、画素配置の他の例を示す図である。図１１に示した画素配置のうちの１行目には、第１の露光条件で露光されるＧ画素２６０（１，１）、Ｒ画素２６０（１，２）、Ｇ画素２６０（１，３）、Ｂ画素２６０（１，４）、Ｇ画素２６０（１，５）、Ｒ画素２６０（１，６）、Ｇ画素２６０（１，７）Ｂ画素２６０（１，８）が配置されている。
【０１２０】
この場合、１行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
【０１２１】
２行目には、第２の露光条件で露光されるＢ画素２６０（２，１）、Ｇ画素２６０（２，２）、Ｒ画素２６０（２，３）、Ｇ画素２６０（２，４）、Ｂ画素２６０（２，５）、Ｇ画素２６０（２，６）、Ｒ画素２６０（２，７）、Ｇ画素２６０（２，８）が配置されている。
【０１２２】
この場合、２行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
【０１２３】
３行目には、第１の露光条件で露光されるＧ画素２６０（３，１）、Ｂ画素２６０（３，２）、Ｇ画素２６０（３，３）、Ｒ画素２６０（３，４）、Ｇ画素２６０（３，５）、Ｂ画素２６０（３，６）、Ｇ画素２６０（３，７）Ｒ画素２６０（３，８）が配置されている。
【０１２４】
この場合、３行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
【０１２５】
４行目には、第２の露光条件で露光されるＲ画素２６０（４，１）、Ｇ画素２６０（４，２）、Ｂ画素２６０（４，３）、Ｇ画素２６０（４，４）、Ｒ画素２６０（４，５）、Ｇ画素２６０（４，６）、Ｂ画素２６０（４，７）、Ｇ画素２６０（４，８）が配置されている。
【０１２６】
この場合、４行目には、Ｒ画素、Ｇ画素、Ｂ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
【０１２７】
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素が、それぞれ配置されている。
【０１２８】
このような画素配置に対しても、本技術を適用できる。
【０１２９】
上記したように、本技術は、撮像装置に適用でき、撮像装置に含まれる撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを含む撮像装置に適用できる。そして、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色光を出力する３個の画素が配列されているイメージセンサに適用できる。さらに、図１２に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素が配列されているイメージセンサにも適用できる。
【０１３０】
Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素は、例えば、図１２に示すように、表示領域にマトリクス状に配置される。Ｗ画素は、全整色性である分光感度の画素として機能し、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれの色に特性のある分光感度の画素として機能する。
【０１３１】
図１２は、画素配置の他の例を示す図であり、Ｗ画素を含む画素配置の例である。図１２に示した画素配置のうちの１行目には、第１の露光条件で露光されるＧ画素２７０（１，１）、Ｒ画素２７０（１，２）、Ｗ画素２７０（１，３）、Ｂ画素２７０（１，４）、Ｇ画素２７０（１，５）、Ｒ画素２７０（１，６）、Ｗ画素２７０（１，７）Ｂ画素２７０（１，８）が配置されている。
【０１３２】
この場合、１行目には、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
【０１３３】
２行目には、第２の露光条件で露光されるＲ画素２７０（２，１）、Ｗ画素２７０（２，２）、Ｂ画素２７０（２，３）、Ｇ画素２７０（２，４）、Ｒ画素２７０（２，５）、Ｗ画素２７０（２，６）、Ｂ画素２７０（２，７）、Ｇ画素２７０（２，８）が配置されている。
【０１３４】
この場合、２行目には、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
【０１３５】
３行目には、第１の露光条件で露光されるＷ画素２７０（３，１）、Ｂ画素２７０（３，２）、Ｇ画素２７０（３，３）、Ｒ画素２７０（３，４）、Ｗ画素２７０（３，５）、Ｂ画素２７０（３，６）、Ｇ画素２７０（３，７）Ｒ画素２７０（３，８）が配置されている。
【０１３６】
この場合、３行目には、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が配置され、全ての画素が、第１の露光条件（短時間露光）で露光される画素とされている。
【０１３７】
４行目には、第２の露光条件で露光されるＢ画素２７０（４，１）、Ｇ画素２７０（４，２）、Ｒ画素２７０（４，３）、Ｗ画素２７０（４，４）、Ｂ画素２７０（４，５）、Ｇ画素２７０（４，６）、Ｒ画素２７０（４，７）、Ｗ画素２７０（４，８）が配置されている。
【０１３８】
この場合、４行目には、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が配置され、全ての画素が第２の露光条件（長時間露光）で露光される画素とされている。
【０１３９】
５行目は、１行目と同じく、６行目は、２行目と同じく、７行目は、３行目と同じく、８行目は４行目と同じく、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素が、それぞれ配置されている。
【０１４０】
このような画素配置に対しても、本技術を適用できる。
【０１４１】
図５乃至図１２を参照して説明した画素配置は、一例であり、説明していない画素配置に対しても本技術を適用することはできる。
【０１４２】
また、１枚の画像を撮像するとき、上記したように、短時間露光（第１の露光条件）と、長時間露光（第２の露光条件）を同時に撮影する場合を例に挙げて説明を続けるが、短時間露光用の画素と、長時間露光用の画素を分けずに、通常の画素で短時間露光の画像と長時間露光の画像を交互に撮影し、短時間露光時の画像と長時間露光時の画像を取得するようにした場合にも本技術を適用できる。
【０１４３】
この場合、撮影のタイミングが異なるため、以下に説明するフリッカ補正時の演算に用いられる行列は、この撮影のタイミングを考慮した行列とすることで、本技術を適用することができる。
【０１４４】
また、上記した例では、短時間露光と長時間露光の２種類の露光時間で撮影を行う撮影装置を例に挙げて説明したが、３種類以上の露光時間の撮影画像が組み合わされる撮影装置に対しても本技術を適用することはできる。
【０１４５】
３種類以上の露光時間の撮影画像が組み合わせる場合、第１の露光画像と第２の露光画像から第１のフリッカ成分を推定し、第１のフリッカ成分から第３のフリッカ成分を変換して推定してもよい。また第１の露光画像、第２の露光画像、第３の露光画像すべて合わせて行列を生成して解くこともできる。フリッカ成分の求め方については、後述する。
【０１４６】
また上記した実施の形態においては、撮像素子の画素の分光感度をＲＧＢまたはＲＧＢ＋Ｗとする場合における例について説明したが、その分光感度がどうであるかは本技術を用いるうえでの制約とはならない。すなわち、ＲＧＢやＲＧＢ＋Ｗ以外の分光感度を有する画素を用いるようにしてもよい。例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の補色系にＧを加えた４行の組み合わせでもよい。
【０１４７】
以下の説明では、図５に示した画素配置を例に挙げて説明する。
【０１４８】
図１３に各画素の露光時間の設定例を示す。第１の露光条件（短時間露光）の設定された画素は短時間の露光処理がなされる。第２の露光条件（長時間露光）の設定された画素は長時間の露光処理がなされる。なお、この画素単位の露光制御は、例えば図４に示す撮像装置１００の制御部１０５が、制御信号を撮像素子１０２に出力することで行われる。
【０１４９】
＜画像処理部の構成について＞
次に、図４に示した撮像装置１００の画像処理部１０３の詳細について説明する。まず、図１４を参照して画像処理部１０３の実行する処理について説明する。画像処理部１０３は、図１４に示すように、感度別補間部３１１、フリッカ補正部３１２、ＨＤＲ合成部（広ダイナミックレンジ画像合成部）３１３を有する。
【０１５０】
感度別補間部３１１では、図５に示したような１つの撮像素子内に短時間露光画素と長時間露光画素を有するSVE配列の画像を入力し、画面全体が短時間露光の第１露光画像１４１と、画面全体が長時間露光の第２露光画像１４２を生成して出力する。出力する画像の色配列は、入力する画像の色配列と同等（本例ではベイヤ配列）でもよいし、１画素位置にＲＧＢそろったデモザイク後の画像でもよい。ここでは、出力画像の色配列は入力画像の色配列と同等（本例ではベイヤ配列）とした例を説明する。
【０１５１】
図１５に、感度別補間部３１１の詳細構成例を示す。感度別補間部３１１は、図１１に示すように、短時間露光画素または長時間露光画素、いずれかの感度の画素のみを抽出する抽出部３３１，３３２、各感度の画素を利用して、他感度の画素部分の画素値を設定して、低感度画素（短時間露光画素）のみからなる第１露光画像１４１と、高感度画素（長時間露光画素）のみからなる第２露光画像１４２を生成する補間処理部３３３，３３４を有する。
【０１５２】
抽出部３３１，３３２で周辺画素から、補間したい感度・色の画素を抽出し、補間処理部３３３，３３４で補間処理を行う。なお、補間は、生成する画像に応じた感度の画素値に対して単純なＬＰＦを用いる手法や、周囲の画素から画像のエッジ方向を推定しエッジに沿った方向の画素値を参照画素値として補間する手法等が利用可能である。
【０１５３】
感度別補間部３１１では、図１５の構成を適用して、図４に示すような撮像素子内に長時間露光画素と短時間露光画素を有するSVE配列の画像を入力し、画面全体が短時間露光の第１露光画像１４１と、画面全体が長時間露光の第２露光画像１４２を生成して出力する。
【０１５４】
図１４に示した画像処理部１０３の説明に戻る。感度別補間部３１１から出力された第１露光画像１４１と第２露光画像１４２は、フリッカ補正部３１２に供給される。フリッカ補正部３１２は、フリッカの成分を抑制したフリッカ補正第１露光画像１４３とフリッカ補正第２露光画像１４４を生成し、ＨＤＲ合成部３１３に供給する。
【０１５５】
フリッカ補正部３１２の構成や動作については、第１乃至第３の実施の形態として詳細は後述し、先に、図１４に示した画像処理部１０３の構成、動作についての説明を続ける。
【０１５６】
ＨＤＲ合成部（広ダイナミックレンジ画像合成部）３１３は、図１６に示すような構成を有し、ＨＤＲ合成を行う。図１６に示したＨＤＲ合成部３１３は、露出補正部３５１，３５２、ブレンド係数算出部３５３、ブレンド処理部３５４を有する。
【０１５７】
露出補正部３５１，３５２は、露光時間に応じた定数を乗じることでフリッカ補正第１露光画像１４３と、フリッカ補正第２露光画像１４４の対応画素の明るさを合わせる。例えば、露光比が１：２の場合、短時間露光画像であるフリッカ補正第１露光画像１４３の画素値に２を乗じ、長時間露光画像であるフリッカ補正第２露光画像１４４の画素値に１を乗じる。
【０１５８】
ブレンド係数算出部３５３は、短時間露光画像であるフリッカ補正第１露光画像１４３の露出補正後の画素値と長時間露光画像であるフリッカ補正第２露光画像１４４の露出補正後の画素値を、各対応画素単位でどの程度の割合でブレンドすればよいかを示すブレンド係数を算出する。
【０１５９】
このブレンド係数算出においては、例えば高輝度領域においては短時間露光画像の画素値の重みを大きく設定し、低輝度領域においては長時間露光画像の画素値の重みを大きく設定するブレンド係数を設定する。このような係数設定処理により、低輝度領域から高輝度領域に至る画素値をより高精度に表現することが可能となる。
【０１６０】
ブレンド処理部３５４は、ブレンド係数算出部３５３の算出したブレンド係数に応じて、露出補正されたフリッカ補正第１露光画像１４３と、露出補正されたフリッカ補正第２露光画像１４４の対応画素値とのブレンド処理を実行してフリッカ補正ＨＤＲ画像１４５の各画素値を設定する。
【０１６１】
なお、露出補正されたフリッカ補正第１露光画像１４３の画素値をＳ、露出補正されたフリッカ補正第２露光画像１４４の画素値をＬ、ブレンド係数をα、ただし、０≦α≦１、としたとき、フリッカ補正ＨＤＲ画像２３１の画素値Ｈは以下の式によって算出される。
Ｈ＝（１−α）×Ｓ＋α×Ｌ
【０１６２】
ＨＤＲ合成部（広ダイナミックレンジ画像合成部）３１３は、これらの処理によって、低輝度領域から高輝度領域に至る画素値をより高精度に表現したフリッカ補正ＨＤＲ画像１４５を生成して出力する。
【０１６３】
このＨＤＲ合成部（広ダイナミックレンジ画像合成部）３１３における異なる露光時間の画像の合成処理によるＨＤＲ画像が生成される。すなわち、例えば高輝度領域においては短時間露光画像の画素値の重みを大きく設定し、低輝度領域においては長時間露光画像の画素値の重みを大きく設定したブレンド処理が実行され、低輝度領域から高輝度領域に至る画素値をより高精度に表現したＨＤＲ（広ダイナミックレンジ）画像が生成されて出力される。
【０１６４】
後述するように、本開示の画像処理装置においては、複数の異なる露光時間の画像を入力して広ダイナミックレンジ（ＨＤＲ）画像を生成する構成において、１つの基準露光画像に対応するフリッカ成分のみを算出して、その基準露光画像のフリッカ成分に応じて他の露光時間の画像のフリッカ成分を推定算出する構成としたので、各露光時間に応じた各画像個別にフリッカ成分の算出処理を行う必要がなくなり、効率的な処理が実現される。
【０１６５】
なお、図１５に示した感度別補間部３１１や、図１６に示したＨＤＲ合成部３１３は、一例であり、第１の露光条件の画素と、第２の露光条件の画素の配置、例えば、図５に示したような画素の配置に依存して、他の構成を有するようにすることも可能である。また、以下に説明するフリッカ補正部３１２における処理に依存して、フリッカ補正部３１２における処理の前後で処理を行う感度別補間部３１１やＨＤＲ合成部３１３の構成が、他の構成とされるようにしても、本技術を適用できる。
【０１６６】
＜フリッカ補正部の構成について＞
図１７は、フリッカ補正部３１２の内部構成例を示す図である。フリッカ補正部３１２は、補正に係わる演算により、複数の実施の形態があり、以下に第１乃至第３の実施の形態を例に挙げて説明するが、第１乃至第３の実施の形態において共通する構成について、図１７を参照して説明する。
【０１６７】
また第１と第２の実施の形態においては、フリッカ比という比を用いた演算を行い、第３の実施の形態に置いては、比を用いない演算を行うことで、画像毎のフリッカ成分を推定する。また、第１乃至第３の実施の形態においては、異なる露光条件において撮影された画像に含まれるフリッカなどの周期性を有するノイズの相互関係を利用した演算を行うことで、画像毎のノイズの成分を推定する点は共通している。
【０１６８】
図１７に示したフリッカ補正部３１２は、フリッカ推定部３７１、第１露光画像フリッカ補正部３７２、および第２露光画像フリッカ補正部３７３を含む構成とされている。フリッカ推定部３７１は、図１８に示すような構成を有し、入力される第１露光画像１４１と第２露光画像１４２から、第１フリッカ成分３８１と第２フリッカ成分３８２を生成する。
【０１６９】
フリッカ推定部３７１により生成された第１フリッカ成分３８１は、第１露光画像フリッカ補正部３７２に供給される。第１露光画像フリッカ補正部３７２には、第１露光画像１４１も供給される。第１露光画像フリッカ補正部３７２は、第１露光画像１４１に対して、行毎に、推定された第１フリッカ成分３８１の逆数を乗算することで、フリッカ補正を行い、フリッカ補正第１露光画像１４３を出力する。
【０１７０】
同様に、フリッカ推定部３７１により生成された第２フリッカ成分３８２は、第２露光画像フリッカ補正部３７３に供給される。第２露光画像フリッカ補正部３７３には、第２露光画像１４２も供給される。第２露光画像フリッカ補正部３７３は、第２露光画像１４２に対して、行毎に、推定された第２フリッカ成分３８２の逆数を乗算することで、フリッカ補正を行い、フリッカ補正第２露光画像１４４を出力する。
【０１７１】
このようにして補正されたフリッカ補正第１露光画像１４３とフリッカ補正第２露光画像１４４は、ＨＤＲ合成部３１３（図１４）に出力される。
【０１７２】
図１８は、図１７に示したフリッカ推定部３７１の内部構成例を示す図である。図１８に示したフリッカ推定部３７１は、積分値算出部４０１、積分値算出部４０２、除算部４０３、および推定演算部４０４を備える構成とされている。
【０１７３】
積分値算出部４０１には、第１露光画像１４１が供給され、積分値算出部４０２には、第２露光画像１４２が供給される。積分値算出部４０１は、第１露光画像１４１を水平方向に積分し、その積分値を除算部４０３に出力する。同様に積分値算出部４０２は、第２露光画像１４２を水平方向に積分し、その積分値を除算部４０３に出力する。
【０１７４】
積分値算出部４０１と積分値算出部４０２は、それぞれ第１露光画像１４１と第２露光画像の積分値を算出するが、全画素を対象として処理を行っても良いし、所定の領域内の画素を対象として処理を行っても良い。
【０１７５】
また、第１露光画像１４１と第２露光画像１４２のいずれかの画素が飽和している位置の画素は、積分演算に用いないようにしても良い。例えば、積分を行うときに用いられる部分は、白飛び、黒つぶれ、被写体部分などを含まない部分とすることができる。
【０１７６】
除算部４０３には、第１露光画像１４１から算出された積分値（第１積分値とする）が、積分値算出部４０１から供給され、第２露光画像１４２から算出された積分値（第２積分値とする）が、積分値算出部４０２から供給される。除算部４０３は、供給された第１積分値を第２積分値で除算することで、フリッカ比を求める。求められたフリッカ比４１１は、推定演算部４０４に供給される。
【０１７７】
推定演算部４０４は、フリッカ比４１１から、第１フリッカ成分３８１と第２フリッカ成分３８２を、それぞれ算出する。ここで、フリッカ比４１１の算出について説明する。
【０１７８】
なおフリッカ比は、それぞれの画像のフリッカ成分の比であり、ここでは、第１のフリッカ成分３８１と第２のフリッカ成分の３８２の比であるとして説明を続ける。また、フリッカのように、所定の周期を有するノイズの除去を目的とした場合、画像毎のノイズの成分の比が、以下に説明するフリッカ比に相当し、以下に説明するフリッカ比と同様にして、ノイズの成分の比を算出することができる。
【０１７９】
＜フリッカ比の算出について＞
ここで、図１９を参照し、フリッカ比について説明する。図１９のＡは、第１露光画像１４１と第２露光画像１４２を表し、フリッカの影響で、画像上に縞模様が載っている画像となっている例を示している。
【０１８０】
第１露光画像１４１の有効な部分について水平方向に積分を行った場合の結果の一例を、図１９のＢの上側に示す。また、第２露光画像１４２の有効な部分について水平方向に積分を行った場合の結果の一例を、図１９のＢの下側に示す。積分を行うときの有効な部分とは、白飛び、黒つぶれ、被写体部分などを含まない部分である。
【０１８１】
積分した水平方向の同位置毎に比を取ると、図１９のＣに示したようにフリッカ比が求められる。
【０１８２】
露光レベルが揃うように、片方の積分値に対してゲインを掛けることにより、フリッカ成分以外の被写体成分が２つの画像で揃うことになりキャンセルされる。これにより、純粋に２つの画像中のフリッカ成分だけを考慮すれば良くなるので、その後のフリッカ成分の推定の精度を向上させることが可能となる。
【０１８３】
なお、図１９では、一例として画像の縦座標毎にフリッカ比を算出しているが、例えば、フリッカの周期が既知である場合、フリッカの周期分だけ座標を設け、同一位相の積分値は同じ座標に積分する構成とすることもできる。
【０１８４】
このようなフリッカ比の算出について、さらに説明を加える。露光画像の一番上の行の露光終了時刻をｔとし、露光時間Ｅとしたときのフリッカの影響を受けた観測画像は以下のように表される。
Ｉ（ｘ，ｙ，ｔ，Ｅ）＝Ｉ０（ｘ，ｙ）×Ｅ×ｇｔ（ｔ＋ｙ，Ｅ）
・・・（７）
式（７）において、Ｉ０（ｘ，ｙ）は、単位露光時間でのフリッカの影響のない真の画像の値である。
【０１８５】
上記してきたように、短時間露光を第１の露光条件とし、長時間露光を第２の露光条件としたとき、露光時間と露光終了時刻は、以下のように定義する。
第１の露光条件：露光時間がＥ１、一番上の行の露光終了時刻をｔ１
第２の露光条件：露光時間がＥ２、一番上の行の露光終了時刻をｔ２
とする。またＥ１≦Ｅ２である。
【０１８６】
また、第１の露光条件で撮影された画像と第２の露光条件で撮影された画像を、それぞれ上記した式（７）を用いて簡便に表すと、次式(８)のように表記できる。
Ｉ１（ｘ，ｙ）＝Ｉ（ｘ，ｙ，ｔ１，Ｅ１）
Ｉ２（ｘ，ｙ）＝Ｉ（ｘ，ｙ，ｔ２，Ｅ２）    ・・・（８）
【０１８７】
このようにした定義した場合、フリッカ比は、以下のように求めることができる。
【０１８８】
フリッカ比は、第１の露光条件のフリッカ成分と第２の露光条件のフリッカ成分の比であると定義する。フリッカ比は、次式（９）で、２つの露光画像から求めることが出来る。
【数６】
2015083562.tif 000008
【０１８９】
ただし、飽和画素の影響を避けるため、積分する領域は、第１の露光条件の第１露光画像１４１と第２露光条件の第２露光画像１４２のいずれも飽和していない領域（Ω）とし、積分が実行される。
【０１９０】
図１８に示したフリッカ推定部３７１の積分値算出部４０１、積分値算出部４０２、および除算部４０３の各部における演算は、式（９）における演算に基づいて行われる。このようにしてフリッカ比４１１が算出される。
【０１９１】
式（９）より、次式（１０）の関係式が定められる。
ｒ１２（ｙ）×ｇｔ（ｙ＋ｔ２，Ｅ２）＝ｇ１（ｙ＋ｔ１，Ｅ１）
・・・（１０）
【０１９２】
式（１０）より、式(９)に基づきフリッカ比が求められれば、一方のフリッカ成分（例えば、第２フリッカ成分３８２）から、他方のフリッカ成分（例えば、第２フリッカ成分３８１）を求めることができることがわかる。
【０１９３】
＜フリッカ抑制の第１の実施の形態＞
第１の実施の形態として、実空間での解法で、フリッカ成分を求める場合について説明する。図２０は、第１の実施の形態におけるフリッカ補正部３１２内のフリッカ推定部３７１の推定演算部４０４の内部構成例を示す図である。
【０１９４】
図２０に示した推定演算部４０４は、行列生成部４３１、行列演算部４３２、およびフリッカ成分変換部４３３を含む構成とされている。行列生成部４３１は、入力されるフリッカ比４１１から、以下に説明する行列を生成し、行列演算部４３２は、その行列を演算する。行列を演算することで、第１フリッカ成分３８１が生成される。
【０１９５】
行列演算部４３２からの第１フリッカ成分３８１は、フリッカ成分変換部４３３にも供給される。フリッカ成分変換部４３３は、供給される第１フリッカ成分３８１から、第２フリッカ成分３８２を生成する。
【０１９６】
この実施の形態においては、一方のフリッカ成分から他方のフリッカ成分が生成される。ここでは、短時間露光（第１の露光条件）時に得られる第１露光画像１４１から求められる第１フリッカ成分３８１から、長時間露光（第２の露光条件）時に得られる第２露光画像１４２に含まれる第２フリッカ成分３８２が生成されるとして説明を続けるが、第２フリッカ成分３８２から、第１フリッカ成分３８１が生成されるように構成することも可能である。
【０１９７】
このように、一方のフリッカ成分から他方のフリッカ成分を求めるための演算などは、本出願人が先に出願した特願2012-90897号に記載されている演算などを適用することができる。特願2012-90897号には、長時間露光（第２の露光条件）時のフリッカ成分ｇｔ（ｙ＋ｔ２，Ｅ２）は、短時間露光（第１の露光条件）時のフリッカ成分ｇｔ（ｙ＋ｔ２，Ｅ２）の線形和で表記できることが記載されている。
【０１９８】
すなわち、フリッカ成分をベクトル表記すると次式（１１）に示すようになる。
【数７】
2015083562.tif 000009
【０１９９】
式（１１）において、行列ｔは、特願2012-90897号で表した演算を行列表記したものである。簡単のために以下のように表記する。式（１２）において、ｇ１は、第１フリッカ成分３８１を表し、ｇ２は、第２フリッカ成分３８２を表す。
ｇ２＝ｔｇ１    ・・・（１２）
【０２００】
上記した式（１０）を、式（１１）、式（１２）を用いて表すと、以下のようになる。
【数８】
2015083562.tif 000010
【０２０１】
式（１３）において行列ｒは、画像から測定でき、行列tは、第１の露光条件と第２の露光条件の相互関係から求めることができる。そこで以下の２式から第１フリッカ成分３８１と第２フリッカ成分３８２を求める。次式（１４）の上に示した式は、式（１２）であり、下に示した式は、式（１３）である。
ｇ２＝ｔｇ１
ｒｇ２＝ｇ１    ・・・（１４）
【０２０２】
解法１として、式（１４）から、次式（１５）が導き出されることを利用してフリッカ成分ｇ１，ｇ２を求める。
ｒｔｇ１＝ｇ１    ・・・（１５）
【０２０３】
式（１５）より、行列rtの固有値１の固有ベクトルが求まれば、第１の露光条件（短時間露光）のフリッカ成分ｇ１(第１フリッカ成分３８１)を求めることができる。一般に固有ベクトルは、定数倍の任意性があるが、フリッカ成分は、平均値が約１となるため第１フリッカ成分３８１は一意に求めることができる。第１フリッカ成分３８１が求められれば、その第１フリッカ成分３８１から第２フリッカ成分３８２を求めることができる（例えば、特願2012-90897号に開示されている技術を適用できる）。
【０２０４】
解法２として、式（１４）を、次式（１６）のように１つの行列として表記する。
【数９】
2015083562.tif 000011
【０２０５】
式（１６）を満たす第１フリッカ成分３８１と第２フリッカ成分３８２を最小二乗推定で求めれば良い。式（１６）において、ｔは短時間露光時のフリッカ成分を長時間露光時のフリッカ成分に変換する際の係数であり、ｒは、式（９）で示したフリッカ比であり、画像から求めることができる値である。
【０２０６】
Ｉは、画素値であり、画像から求めることができる値である。よって、式（１６）における第１項内の数値は、画像などから求めることができる値である。このことから式（１６）の式から、第１フリッカ成分３８１と第２フリッカ成分３８２を最小二乗推定で求めることができることがわかる。
【０２０７】
解法１、解法２のどちらかを適用すれば、第１フリッカ成分３８１と第２フリッカ成分３８２をそれぞれ求めることができる。
【０２０８】
解法１を適用した場合、図２０に示した推定演算部４０４の行列生成部４３１は、式（１５）で示した行列ｒｔを生成し、行列演算部４３２は、生成された行列ｒｔを用いた行列演算を行い、フリッカ成分ｇ１（第１フリッカ成分３８１）を生成する。
【０２０９】
具体的には、行列演算部４３２は、行列ｒｔの固有値１の固有ベクトルを求める。この求められた固有ベクトルは、第１フリッカ成分３８１となる。なお、固有ベクトルの平均値は、１となるように制約が付けられる。フリッカ成分変換部４３３は、式（１４）に示したｇ２＝ｔｇ１という関係式に基づき、第１フリッカ成分３８１から第２フリッカ成分３８２を生成する。
【０２１０】
解法２を適用した場合、行列生成部４３１において、式（１６）に示した行列が生成され、その行列が、行列演算部４３２により演算される。行列演算部４３２による演算で、第１フリッカ成分３８１が生成され、フリッカ成分変換部４３３により第２フリッカ成分３８２が生成される。例えば、行列演算部４３２は、最小二乗法により所定の関数を求め、第１フリッカ成分３８１を算出し、フリッカ成分変換部４３３は、所定の関数と第１フリッカ成分３８１から、第２フリッカ成分３８２を算出するようにすることができる。
【０２１１】
なお、図２０では、行列演算部４３２とフリッカ成分変換部４３３を異なるブロックで示したが、同一のブロックとしても良い。換言すれば、一方が算出された後、他方が算出されることを明確に示すために、行列演算部４３２とフリッカ成分変換部４３３を分けて図示、説明した。
【０２１２】
しかしながら、演算の仕方などにより、行列演算部４３２とフリッカ成分変換部４３３を１つのブロックとし、そのブロック内で、一方のフリッカ成分が生成され、そのフリッカ成分から他方のフリッカ成分が生成され、最終的にそのブロックから第１フリッカ成分３８１と第２フリッカ成分３８２が出力されるような構成とすることも可能である。
【０２１３】
このように、実空間での解法を適用し、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を算出することができる。よって、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を補正し、フリッカ成分が補正された２枚の画像から、高ダイナミックレンジの１枚の画像を生成することが可能となる。
【０２１４】
＜フリッカ抑制の第２の実施の形態＞
次に第２の実施の形態として、複素空間での解法で、フリッカ成分を求める場合について説明する。図２１は、第２の実施の形態におけるフリッカ補正部３１２内のフリッカ推定部３７１の推定演算部４０４’の内部構成例を示す図である。なおここでは、図２０に示した第１の実施の形態における推定演算部４０４と区別を付けるために、第２の実施の形態における推定演算部４０４’には、ダッシュを付して説明する。
【０２１５】
図２１に示した推定演算部４０４’は、フーリエ級数変換部４６１、行列生成部４６２、行列演算部４６３、フーリエ級数逆変換部４６４、フリッカ成分変換部４６５、フーリエ級数逆変換部４６６を備える構成とされている。
【０２１６】
推定演算部４０４’のフーリエ級数変換部４６１には、フリッカ比４１１が供給される。フーリエ級数変換部４６１は、供給されたフリッカ比４１１をフーリエ級数展開する。フーリエ級数変換部４６１のフーリエ級数の基準周波数は、フリッカの周波数と同じ値とすることができる。
【０２１７】
例えば、蛍光灯などが原因とされるフリッカの場合、フーリエ級数変換部４６１のフーリエ級数の基準周波数は、100Hzあるいは120Hzとされる。また、周期的なノイズの除去を目的とした場合、そのノイズの周期に適した周波数が、フーリエ級数の基準周波数とされる。
【０２１８】
行列生成部４６２は、後述する行列ＲＴを求める。行列演算部４６３は、行列生成部４６２で生成された行列ＲＴの固有値１の固有ベクトルを、Ｇ１（０）＝１とし、かつ、
【数１０】
2015083562.tif 000012
が複素共役となる条件下で求める。
【０２１９】
行列演算部４６３で算出された値は、第１フリッカ成分３８１をフーリエ級数展開した値となっている。この値を、フーリエ級数逆変換部４６４でフーリエ級数逆変換を行うことで、第１フリッカ成分３８１が求められる。
【０２２０】
行列演算部４６３からの、第１フリッカ成分３８１をフーリエ級数展開した値は、フリッカ成分変換部４６５にも供給される。フリッカ成分変換部４６５は、第１のフリッカ成分をフーリエ級数展開した値に、変換係数Ｔ１２（ω）を乗算することにより、第２フリッカ成分３８２をフーリエ級数した値を生成する。
【０２２１】
フリッカ成分変換部４６５で変換された値は、フーリエ級数逆変換部４６６に供給され、フーリエ級数逆変換が行われ、第２フリッカ成分３８２とされる。
【０２２２】
このように、周波数空間（複素空間）で解くことで、より少ない演算でフリッカ成分を求めることができる。この演算に関し、説明を加える。
【０２２３】
フリッカ比とフリッカ成分には、以下の関係式（１０）が成り立つことは上記した。
ｒ１２（ｙ）×ｇｔ（ｙ＋ｔ２，Ｅ２）＝ｇ１（ｙ＋ｔ１，Ｅ１）
・・・（１０）
【０２２４】
この式（１０）の両辺をフーリエ変換すると、乗算が畳み込み演算となるため、次式（１７）となる。なおここでは基本的に、実空間での表記は小文字を用いて行い、周波数空間での表記は、大文字を用いて行う。
【数１１】
2015083562.tif 000013
【０２２５】
式（１７）において、Ｇ１（ω）は、第１フリッカ成分３８１をフーリエ変換した値を示し、Ｇ２（ω）は、第２フリッカ成分３８２をフーリエ変換した値を示す。また、後述するように、Ｇ１（ω）とＧ２（ω）は、次式（１８）のように、第１の露光条件と第２の露光条件から求められる値Ｔ１２（ω）を用いて表される。
【数１２】
2015083562.tif 000014
【０２２６】
式（１７）と式（１８）から、次式（１９）が求められる。
【数１３】
2015083562.tif 000015
【０２２７】
さらに、式（１９）を行列で表記すると、畳み込み演算が巡回行列となるため、次式（２０）で表すことができる。
【０２２８】
【数１４】
2015083562.tif 000016
【０２２９】
式（１２）においては、Ｒ１２（ω）＝Ｒω、Ｔ１２（ω）＝Ｔωと略記してある。また負の周波数の値は、正の周波数の値の複素共役となるため、
【数１５】
2015083562.tif 000017
と表記してある。
【０２３０】
式（１９）または式（２０）を、次式（２１）のように表記する。
ＲＴＧ１＝Ｇ１    ・・・（２１）
【０２３１】
式（２１）から、行列ＲＴの固有値１の固有ベクトルは、
【数１６】
2015083562.tif 000018
が複素共役となる条件下で求めれば良い。
【０２３２】
ただし、一般に固有ベクトルは、任意の定数倍しでも同じく固有ベクトルとなりうる。しかしながら、フリッカ成分は、平均値が１となるため、
Ｇ１（０）＝１
となり、既知となるため、一意に解を求めることができる。
【０２３３】
さらに、複素空間において第１フリッカ成分３８１から第２フリッカ成分３８２を推定する手法について説明を加える。
【０２３４】
フリッカ成分は、次式（２２）のように表記できる。
【数１７】
2015083562.tif 000019
【０２３５】
式（２２）は、光源の揺らぎとシャッター関数との畳み込み演算を用いて、次式（２３）のように表記することができる。
【数１８】
2015083562.tif 000020
【０２３６】
式（２３）において、ｆ’（ｔ）は、図２２のＡに示すように、光源の揺らぎｆ（ｔ）を平均値が１となるように正規化したものである。また、式（２３）において、シャッター関数ｓ（ｔ，Ｅ）は、図２２のＢに示すような関数とする。図２２のＢに示した関数は、時刻が０からＥまでの間は、１／Ｅの値を有し、その他の時刻では、０の値を有する関数である。
【０２３７】
フリッカ成分を周波数空間に変換して演算する。ｇｔ（ｔ，Ｅ）を周波数空間で表現すると、畳み込み演算が乗算になるため、次式（２４）のようになる。
【数１９】
2015083562.tif 000021
【０２３８】
さらに第１の露光条件のフリッカ成分と第２の露光条件のフリッカ成分を周波数空間で表現したものを、それぞれ、Ｇ１（ω）、Ｇ２（ω）と定義すると、Ｇ１（ω）とＧ２（ω）は、それぞれ次式（２５）のようになる。
【数２０】
2015083562.tif 000022
【０２３９】
式（２５）から、Ｇ２（ω）は、Ｇ１（ω）を用いて、次式（２６）のように表すことができる。
【数２１】
2015083562.tif 000023
【０２４０】
式（２６）において、ｓ（ω，Ｅ）は、シャッター関数ｓ（ｔ，Ｅ）の周波数空間上での表記であり、次式（２７）のようになる。
【数２２】
2015083562.tif 000024
【０２４１】
式（２６）からわかるように、第２フリッカ成分３８２のフーリエ級数展開した値（Ｇ２（ω））は、第１フリッカ成分３８１のフーリエ級数展開した値（Ｇ１（ω））から算出することができる。フリッカ成分変換部４６５（図２１）においては、式（２６）に基づく演算が行われることで、第２フリッカ成分３８２のフーリエ級数展開した値が算出される。
【０２４２】
また行列生成部４６２は、式（２０）、式（２１）における行列ＲＴを生成し、行列演算部４６２は、行列ＲＴの固有値１の固有ベクトルを算出する。この算出される固有ベクトルは、第１フリッカ成分３８１をフーリエ級数展開した値であるので、フーリエ級数逆変換部４６４にて、フーリエ級数逆変換が行われることで、第１フリッカ成分３８１が算出される。
【０２４３】
一方で、上記したように、フリッカ成分変換部４６５は、式（２６）に基づく演算を行うことで、第１フリッカ成分３８１を第２フリッカ成分３８２に変換する。この変換された値は、第２フリッカ成分３８２をフーリエ級数展開した値であるので、フーリエ級数逆変換部４６６にて、フーリエ級数逆変換が行われることで、第２フリッカ成分３８２が算出される。
【０２４４】
このように、複素空間での解法を適用し、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を算出することができる。よって、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を補正し、フリッカ成分が補正された２枚の画像から、高ダイナミックレンジの１枚の画像を生成することが可能となる。
【０２４５】
＜フリッカ抑制の第３の実施の形態＞
第１の実施の形態と第２の実施の形態においては、第１の露光条件で露光されて撮影された画像のフリッカ成分と、第２の露光条件で露光されて撮影された画像のフリッカ成分とのフリッカ比を用いて、第１フリッカ成分３８１と第２フリッカ成分３８２を算出し、フリッカ成分を抑制する場合を例に挙げて説明した。
【０２４６】
次に、第３の実施の形態とし、フリッカ比を用いずに、第１フリッカ成分３８１と第２フリッカ成分３８２を算出する場合を例に挙げて説明する。
【０２４７】
図２３は、フリッカ推定部３７１’の構成を示す図である。図２３に示したフリッカ推定部３７１’と、図１８に示したフリッカ推定部３７１を区別するために、図２３に示したフリッカ推定部３７１’にはダッシュを付して記載する。また図２３に示したフリッカ推定部３７１’は、図１７に示したフリッカ補正部３１２を構成するフリッカ推定部３７１である。
【０２４８】
図２３に示したフリッカ推定部３７１’は、積分値算出部５０１、積分値算出部５０２、フーリエ級数変換部５０３、フーリエ級数変換部５０４、推定演算部５０５、フーリエ級数逆変換部５０６、およびフーリエ級数逆変換部５０７から構成されている。
【０２４９】
積分値算出部５０１には、第１露光画像１４１が供給され、積分値算出部５０２には、第２露光画像１４２が供給される。積分値算出部５０１は、第１露光画像１４１を水平方向に積分し、その積分値をフーリエ級数変換部５０３に出力する。同様に積分値算出部５０２は、第２露光画像１４２を水平方向に積分し、その積分値をフーリエ級数変換部５０４に出力する。
【０２５０】
積分値算出部５０１と積分値算出部５０２は、それぞれ第１露光画像１４１と第２露光画像の積分値を算出するが、全画素を対象として処理を行っても良いし、所定の領域内の画素を対象として処理を行っても良い。
【０２５１】
また、第１露光画像１４１と第２露光画像１４２のいずれかの画素が飽和している位置の画素は、積分演算に用いないようにしても良い。例えば、積分を行うときに用いられる部分は、白飛び、黒つぶれ、被写体部分などを含まない部分とすることができる。
【０２５２】
フーリエ級数変換部５０３は、第１露光画像１４１の積分値に、適切な窓関数をかけてフーリエ級数展開し、第１露光画像１４１の周波数表記J 1(ω)（詳細は後述）を求める。同様にフーリエ級数変換部５０４は、第２露光画像１４２の積分値に、適切な窓関数をかけてフーリエ級数展開し、第２露光画像１４２の周波数表記J ２(ω)を求める。なお窓関数は、フーリエ変換等で一般に用いられるもので、例えば、ハン窓などを使用することができる。
【０２５３】
推定演算部５０５には、フーリエ級数変換部５０３から、第１露光画像１４１の周波数表記J 1(ω)が供給され、フーリエ級数変換部５０４から、第２露光画像１４２の周波数表記J ２(ω)が供給される。推定演算部５０５は、行列Ｑを生成し、光源の揺らぎ成分Ｆ’を求める。さらに推定演算部５０５は、第１フリッカ成分３８１のフーリエ級数展開した値と、第２フリッカ成分３８２をフーリエ級数展開した値を求める。
【０２５４】
推定演算部５０５で求められた第１フリッカ成分３８１のフーリエ級数展開した値は、フーリエ級数逆変換部５０６に供給され、フーリエ級数逆変換が行われ、第１フリッカ成分３８１とされる。同様に、推定演算部５０５で求められた第２フリッカ成分３８２のフーリエ級数展開した値は、フーリエ級数逆変換部５０７に供給され、フーリエ級数逆変換が行われ、第２フリッカ成分３８２とされる。
【０２５５】
第３の実施の形態においても、第２の実施の形態と同じく、周波数空間（複素空間）で解くことで、より少ない演算でフリッカ成分を求めることができる。この演算に関し、説明を加える。
【０２５６】
図２４は、積分値算出部５０１，５０２、フーリエ級数変換部５０３，５０４の処理内容を表し、各露光条件の画像の周波数空間での表記、J １(ω) ，J２(ω)を求める過程を表す。図２４のＡは、第１露光画像１４１と第２露光画像１４２を表し、フリッカの影響で、画像上に縞模様が載っている画像となっている例を示している。
【０２５７】
第１露光画像１４１の有効性な部分について水平方向に積分を行った場合の結果の一例を、図２４のＢの上側に示す。また、第２露光画像１４２の有効性な部分について水平方向に積分を行った場合の結果の一例を、図２４のＢの下側に示す。積分を行うときの有効な部分とは、白飛び、黒つぶれ、被写体部分などを含まない部分である。
【０２５８】
算出された積分値に対して、適切な窓関数をかけて、フーリエ級数展開が行われる。フーリエ級数は、0 ×ωk、…、2M ×ωk、までの周波数の値が算出される。その結果、第１露光画像１４１の周波数表記J １(ω)と、第２露光画像１４２の周波数表記J ２(ω)が、それぞれ得られる(図２４のＣ)。
【０２５９】
このような演算について、さらに説明を加える。第１の露光条件で撮影された第１露光画像１４１と、第２の露光条件で撮影された第２露光画像１４２は、それぞれ以下のように表される。
Ｉ１（ｘ，ｙ）＝Ｉ０（ｘ，ｙ）×Ｅ１×ｇｔ（ｔ１＋ｙ，Ｅ１）
Ｉ２（ｘ，ｙ）＝Ｉ０（ｘ，ｙ）×Ｅ２×ｇｔ（ｔ２＋ｙ，Ｅ２）
・・・（２８）
【０２６０】
式（２８）より、次式（２９）が成り立つ。
Ｉ１（ｘ，ｙ）×Ｅ２×ｇｔ（ｔ２＋ｙ，Ｅ２）
―Ｉ２（ｘ，ｙ）×Ｅ１×ｇｔ（ｔ１＋ｙ，Ｅ１）＝０
・・・（２９）
【０２６１】
式（２９）を周波数空間で表記すると、次式（３０）となる。
【数２３】
2015083562.tif 000025
【０２６２】
式（３０）において、Ｊ１（ω）は、Ｉ１（ｘ，ｙ）を水平方向に積分した値、すなわち、第１露光画像１４１を水平方向に積分した値を、周波数空間で表記したものである。同様に、Ｊ２（ω）は、Ｉ２（ｘ，ｙ）を水平方向に積分した値、すなわち、第２露光画像１４２を水平方向に積分した値を、周波数空間で表記したものである。
【０２６３】
フリッカ成分Ｇ１（ω）と、フリッカ成分Ｇ２（ω）を、式（３０）に代入すると、次式（３１）となる。
【数２４】
2015083562.tif 000026
【０２６４】
式（３１）は、線形な式であり、行列として、次式（３２）のように表記することができる。
Ｅ２Ｊ１Ｓ２Ｐ２Ｆ’−Ｅ１Ｊ２Ｓ１Ｐ１Ｆ’＝０
（Ｅ２Ｊ１Ｓ２Ｐ２−Ｅ１Ｊ２Ｓ１Ｐ１）Ｆ’＝０      ・・・（３２）
【０２６５】
式（３２）におけるＪ１、Ｓ１、Ｐ１、Ｆ’は、それぞれ次式（３３）乃至（３６）で表される行列である。なお、Ｊ２、Ｓ２、Ｐ２も同様に表記できるため、ここではその表記を省略する。
【０２６６】
【数２５】
2015083562.tif 000027
【０２６７】
【数２６】
2015083562.tif 000028
【０２６８】
【数２７】
2015083562.tif 000029
【０２６９】
【数２８】
2015083562.tif 000030
【０２７０】
式（３３）乃至（３６）において、ωｆは、フリッカの基本周波数であり、通常は、100Hzや120Hzに相当する値となる。所定の周期のノイズを除去する場合には、その周期に相当する周波数とされる。また、光源の波形は、基本周波数ωfのＭ倍までの周波数を含むと想定している。一般的な光源であればＭは１である。また光源によっては高周波の時間変化の成分も持つためＭが１より大きくなることもある。
【０２７１】
ここで式（３２）を、次式（３３）のように表記する。
ＱＦ’＝０
Ｑ＝Ｅ２Ｊ１Ｓ２Ｐ２−Ｅ１Ｊ２Ｓ１Ｐ１    ・・・（３７）
【０２７２】
式（３７）のＱのうち、Ｅは、露光時間を表し、Ｊは、露光画像を水平方向に積分したものを周波数空間で表記したものを表している。またＳは、シャッター関数の周波数空間上での表記であり、図２２を参照して説明したシャッター関数の周波数空間上での表記である。またＰは、ｅｘｐ（２πωｔ）である。これらの値は、露光画像や露光時間から求められる値であるため、Ｑは既知となる。
【０２７３】
Ｑは既知となるため、式（３７）においてＦ’が求められる。Ｆ’が求まると、次式（３８）にて、フリッカ成分を求めることができる。
【数２９】
2015083562.tif 000031
【０２７４】
式（３８）におけるＧ１（ω）は、第１の露光条件で撮影された第１露光画像１４１の第１フリッカ成分３８１の周波数空間での表記であり、Ｇ２（ω）は、第２の露光条件で撮影された第２露光画像１４２の第２フリッカ成分３８２の周波数空間での表記である。
【０２７５】
式（３８）で求められる周波数空間での第１フリッカ成分３８１と第２フリッカ成分３８２のそれぞれを、実空間でのフリッカ成分に変換することで、第１フリッカ成分３８１と第２フリッカ成分３８２をそれぞれ求めることができる。
【０２７６】
フリッカ推定部３７１’の推定演算部５０５(図２３)は、式（３７）における行列Ｑを生成し、光源の揺らぎ成分Ｆ’を求める。そして、式（３８）に基づく演算を行い、周波数空間でのフリッカ成分を生成する。
【０２７７】
このように、フリッカ比を用いずに、複素空間での解法を適用し、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を算出することができる。よって、露光条件の異なる２枚の画像のそれぞれのフリッカ成分を補正し、フリッカ成分が補正された２枚の画像から、高ダイナミックレンジの１枚の画像を生成することが可能となる。
【０２７８】
上記した実施の形態においては、１枚の画像を撮像するとき、上記したように、短時間露光（第１の露光条件）と、長時間露光（第２の露光条件）を同時に撮影する場合を例に挙げて説明したが、短時間露光用の画素と、長時間露光用の画素を分けずに、通常の画素で短時間露光の画像と長時間露光の画像を交互に撮影し、短時間露光時の画像と長時間露光時の画像を取得するようにした場合にも本技術を適用できる。
【０２７９】
この場合、撮影のタイミングが異なるため、上記したフリッカ補正時の演算に用いられる行列は、この撮影のタイミングを考慮した行列とすることで、本技術を適用することができる。
【０２８０】
また、上記した例では、短時間露光と長時間露光の２種類の露光時間で撮影を行う撮影装置を例に挙げて説明したが、３種類以上の露光時間の撮影画像が組み合わされる撮影装置に対しても本技術を適用することはできる。
【０２８１】
３種類以上の露光時間の撮影画像が組み合わせる場合、例えば、第１の露光画像と第２の露光画像から第１のフリッカ成分を推定し、第１のフリッカ成分から第３のフリッカ成分を変換して推定してもよい。また第１の露光画像、第２の露光画像、第３の露光画像すべて合わせた行列を生成して解くこともできる。
【０２８２】
また上記した実施の形態においては、２種類の異なる露光時間でそれぞれ撮影された露光画像を用いてフリッカ成分を求める場合を例に挙げて説明したが、１種類の露光時間で撮影された露光画像を用いてフリッカ成分を求める場合にも、本技術は適用できる。
【０２８３】
１種類の露光時間で撮影された露光画像を用いてフリッカ成分を求める場合、第１フレーム目の画像を、上記した実施の形態における第１の露光条件で撮影された露光画像とし、第２フレーム目の画像を、上記した実施の形態における第２の露光条件で撮影された露光画像として扱う。
【０２８４】
なおこの場合は、撮影の速度間隔がフリッカの周期の整数倍となる条件では、フリッカ成分を求めることができない可能性があるため、例えば、３フレーム撮影し、１フレーム目と２フレームの撮影間隔と、２フレーム目と３フレーム目との撮影間隔を異なる間隔とし、３フレームを用いてフリッカ成分を求めるようにしても良い。
【０２８５】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２８６】
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１１０１、ＲＯＭ（Read Only Memory）１１０２、ＲＡＭ（Random Access Memory）１１０３は、バス１１０４により相互に接続されている。バス１１０４には、さらに、入出力インタフェース１１０５が接続されている。入出力インタフェース１１０５には、入力部１１０６、出力部１１０７、記憶部１１０８、通信部１１０９、及びドライブ１１１０が接続されている。
【０２８７】
入力部１１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１１０７は、ディスプレイ、スピーカなどよりなる。記憶部１１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１１０９は、ネットワークインタフェースなどよりなる。ドライブ１１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１１を駆動する。
【０２８８】
以上のように構成されるコンピュータでは、ＣＰＵ１１０１が、例えば、記憶部１１０８に記憶されているプログラムを、入出力インタフェース１１０５及びバス１１０４を介して、ＲＡＭ１１０３にロードして実行することにより、上述した一連の処理が行われる。
【０２８９】
コンピュータ（ＣＰＵ１１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２９０】
コンピュータでは、プログラムは、リムーバブルメディア１１１１をドライブ１１１０に装着することにより、入出力インタフェース１１０５を介して、記憶部１１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１１０９で受信し、記憶部１１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１１０２や記憶部１１０８に、あらかじめインストールしておくことができる。
【０２９１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２９２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２９３】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２９４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９５】
なお、本技術は以下のような構成も取ることができる。
【０２９６】
（１）
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部を備え、
前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
画像処理装置。
（２）
前記周期的なノイズとは、フリッカである
前記（１)に記載の画像処理装置。
（３）
前記ノイズの成分の相互関係は、周波数空間での前記露光条件のシャッター関数で表される
前記（１）または前記（２)に記載の画像処理装置。
（４）
前記推定部は、前記画像を積分し、所定の窓関数をかけ、フーリエ級数展開することで得られる値を用いて、前記ノイズの成分を推定する
前記（１)乃至（３）のいずれかに記載の画像処理装置。
（５）
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
前記（４)に記載の画像処理装置。
（６）
前記推定部は、光源の揺らぎ成分をＦとしたとき、ＱＦ＝０となる行列Ｑを求め、前記成分Ｆを求めることで、周波数空間での前記ノイズの成分を求め、
前記周波数空間での前記ノイズの成分をフーリエ級数逆変換することで、前記画像毎にノイズの成分を推定する
前記（１)乃至（５）のいずれかに記載の画像処理装置。
（７）
前記ノイズの成分の相互関係は、前記画像を積分し、前記画像の行毎に除算した比で表される
前記（１)に記載の画像処理装置。
（８）
前記積分は、前記画像のいずれにおいても飽和していない非飽和部を水平方向に行う
前記（７)に記載の画像処理装置。
（９）
前記推定部は、前記比をフーリエ級数展開した行列をＲ、前記露光条件から求まる行列をＴとしたとき、行列ＲＴの固有値１の固有ベクトルを求め、前記固有ベクトルを、前記画像の前記ノイズの成分をフーリエ級数展開した値とする
前記（７)に記載の画像処理装置。
（１０）
前記固有ベクトルを、フーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
前記（９)に記載の画像処理装置。
（１１）
前記固有ベクトルに、前記露光条件から求められる係数を乗算することで、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分をフーリエ級数展開した値を算出し、
前記フーリエ級数展開した値をフーリエ級数逆変換することで、前記画像の前記ノイズの成分を算出する
前記（１０)に記載の画像処理装置。
（１２）
前記推定部は、前記比をＲ、前記露光条件から求まる係数をＴ、前記画像のノイズの成分をＧとしたとき、以下の式における行列ＲＴを生成し、前記画像のノイズの成分を求める
【数３０】
2015083562.tif 000032
前記（７)に記載の画像処理装置。
（１３）
前記推定部は、前記比を行列ｒ、前記露光条件から求められる行列を行列ｔとしたとき、行列ｒｔの固有値１の固有ベクトルを求め、前記固有値ベクトルを、前記画像のノイズの成分であると推定する
前記（７)に記載の画像処理装置。
（１４）
前記推定されたノイズの成分の線形和により、前記ノイズの成分が算出された画像とは異なる画像の前記ノイズの成分を算出する
前記（１３)に記載の画像処理装置。
（１５）
前記推定部は、前記比をｒ、前記露光条件から求められる値をｔ、前記画像の画素値をＩ、および前記ノイズの成分をｇとしたとき、以下の式を満たすｇ１，ｇ２を最小二乗推定で求めることで、前記画像毎のノイズの成分を求める
【数３１】
2015083562.tif 000033
前記（７)に記載の画像処理装置。
（１６）
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
画像処理方法。
（１７）
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定ステップを含み、
前記推定ステップは、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する処理を含む
処理をコンピュータに実行させるためのプログラム。
（１８）
撮像素子から出力される画素信号に対して信号処理を行う信号処理部を備え、
前記信号処理部は、
異なる露光条件で撮影された画像に、それぞれ含まれる周期的なノイズの成分を、画像毎に推定する推定部と、
前記推定部で推定されたノイズの成分を用いて、前記画像からノイズを除去する補正を行う補正部と
を備え、
前記推定部は、前記露光条件の前記ノイズの成分の相互関係を利用した演算から、前記画像毎の周期的なノイズの成分を推定する
電子機器。
【符号の説明】
【０２９７】
１００  撮像装置，  １０１  光学レンズ，  １０２  撮像素子，  １０３  画像処理部，  １０４  信号処理部，  １０５  制御部，  ３１１  感度別補間部，  ３１２  フリッカ補正部，  ３１３  ＨＤＲ合成部，  ３３１，３３２  抽出部，  ３３３，３３４  補間処理部，  ３５１，３５２  露出補正部，  ３５３  ブレンド係数算出部，  ３５４  ブレンド処理部，  ３７１  フリッカ推定部，  ３７２  第１露光画像フリッカ補正部，  ３７３  第２露光画像フリッカ補正部，  ４０１，４０２  積分値算出部，  ４０３  除算部，  ４０４  推定演算部，  ４３１  行列生成部，  ４３２  行列演算部，  ４３３  フリッカ成分変換部，  ４６１  フーリエ級数変換部，  ４６２  行列生成部，  ４６３  行列演算部，  ４６４  フーリエ級数逆変換部，  ４６５  フリッカ成分変換部，  ４６６  フーリエ級数逆変換部，  ５０１，５０２  積分値算出部，  ５０３，５０４  フーリエ級数変換部，  ５０５  推定演算部，  ５０６，５０７  フーリエ級数逆変換部
【図１】
2015083562.tif 000036
【図２】
2015083562.tif 000037
【図３】
2015083562.tif 000038
【図４】
2015083562.tif 000039
【図５】
2015083562.tif 000040
【図６】
2015083562.tif 000041
【図７】
2015083562.tif 000042
【図８】
2015083562.tif 000043
【図９】
2015083562.tif 000044
【図１０】
2015083562.tif 000045
【図１１】
2015083562.tif 000046
【図１２】
2015083562.tif 000047
【図１３】
2015083562.tif 000048
【図１４】
2015083562.tif 000049
【図１５】
2015083562.tif 000050
【図１６】
2015083562.tif 000051
【図１７】
2015083562.tif 000052
【図１８】
2015083562.tif 000053
【図１９】
2015083562.tif 000054
【図２０】
2015083562.tif 000055
【図２１】
2015083562.tif 000056
【図２２】
2015083562.tif 000057
【図２３】
2015083562.tif 000058
【図２４】
2015083562.tif 000059
【図２５】
2015083562.tif 000060
【国際調査報告】
2015083562.tif 000061
2015083562.tif 000062