(57)【要約】【課題】画質を向上させる。【解決手段】同一の分光感度を有する２×２個の画素を１ブロックとしたとき、１ブロック内の、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備え、処理部は、１ブロック内の長時間露光画素からの信号を加算することで、長時間露光画像を生成し、短時間露光画素からの信号を加算することで短時間露光画像を生成する生成部と、生成部で生成された長時間露光画像と短時間露光画像を所定の合成比率で合成する合成部と、長時間露光画像と短時間露光画像との差分から、動物体を検出する動物体検出部と、長時間露光画像と短時間露光画像から、折り返り成分を検出する折り返り成分検出部とを備え、合成比率は、動物体の検出結果と、折り返り成分の検出結果から設定される。【選択図】図８
2016201733.tif 000002
【特許請求の範囲】
【請求項１】
同一の分光感度を有する２×２個の画素を１ブロックとしたとき、前記１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、前記ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備え、
前記処理部は、
前記１ブロック内の前記長時間露光画素からの信号を加算することで、長時間露光画像を生成し、前記短時間露光画素からの信号を加算することで短時間露光画像を生成する生成部と、
前記生成部で生成された前記長時間露光画像と前記短時間露光画像を所定の合成比率で合成する合成部と、
前記長時間露光画像と前記短時間露光画像との差分から、動物体を検出する動物体検出部と、
前記長時間露光画像と前記短時間露光画像から、折り返り成分を検出する折り返り成分検出部と
を備え、
前記合成比率は、前記動物体検出部での動物体の検出結果と、前記折り返り成分検出部での折り返り成分の検出結果から設定される
撮像装置。
【請求項２】
前記折り返り成分検出部は、前記長時間露光画像と前記短時間露光画像との差分、前記長時間露光画像と前記短時間露光画像のそれぞれ彩度が、所定の条件を満たすか否かを判定することで、前記折り返り成分を検出する
請求項１に記載の撮像装置。
【請求項３】
前記折り返り成分検出部は、以下の第１乃至第４の条件が満たされるか否かを判定することで、前記折り返り成分を検出する
第１の条件：長時間露光画像と短時間露光画像とで、差がある
第２の条件：長時間露光画像と短時間露光画像で、彩度において差がある
第３の条件：彩度な大きな信号が緑またはマゼンタの色を有している
第４の条件：折り返し成分がない方の信号から、発生している信号を減算すると、その差分が、Ｇ画素とＲ画素またはＧ画素とＢ画素で、逆方向で同振幅に発生している
請求項１に記載の撮像装置。
【請求項４】
前記短時間露光画像は、露光補正された画像である
請求項３に記載の撮像装置。
【請求項５】
前記長時間露光画像と前記短時間露光画像を所定の色空間に転写し、前記彩度を求める
請求項３に記載の撮像装置。
【請求項６】
前記合成比率は、前記折り返り成分検出部で折り返り成分が発生していると検出された画素においては、折り返り成分が発生していないと判定される前記長時間露光画像または前記短時間露光画像を多く用いる比率とされる
請求項１に記載の撮像装置。
【請求項７】
前記合成比率は、前記動物体検出部で動物体が検出された画素であるが、前記折り返り成分検出部で折り返り成分が検出された画素においては、折り返り成分が発生していないと判定される前記長時間露光画像または前記短時間露光画像を多く用いる比率とされる
請求項１に記載の撮像装置。
【請求項８】
同一の分光感度を有する２×２個の画素を１ブロックとしたとき、前記１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、前記ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備える撮像装置の撮像方法において、
前記処理部は、
前記１ブロック内の前記長時間露光画素からの信号を加算することで、長時間露光画像を生成し、前記短時間露光画素からの信号を加算することで短時間露光画像を生成し、
生成された前記長時間露光画像と前記短時間露光画像を所定の合成比率で合成し、
前記長時間露光画像と前記短時間露光画像との差分から、動物体を検出し、
前記長時間露光画像と前記短時間露光画像から、折り返り成分を検出する
ステップを含み、
前記合成比率は、前記動物体検出部での動物体の検出結果と、前記折り返り成分検出部での折り返り成分の検出結果から設定される
撮像方法。
【請求項９】
同一の分光感度を有する２×２個の画素を１ブロックとしたとき、前記１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、前記ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備える撮像装置に、
前記処理部は、
前記１ブロック内の前記長時間露光画素からの信号を加算することで、長時間露光画像を生成し、前記短時間露光画素からの信号を加算することで短時間露光画像を生成し、
生成された前記長時間露光画像と前記短時間露光画像を所定の合成比率で合成し、
前記長時間露光画像と前記短時間露光画像との差分から、動物体を検出し、
前記長時間露光画像と前記短時間露光画像から、折り返り成分を検出する
ステップを含む処理を実行させ、
前記合成比率は、前記動物体検出部での動物体の検出結果と、前記折り返り成分検出部での折り返り成分の検出結果から設定される
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、撮像方法、並びにプログラムに関する。詳しくは、ダイナミックレンジを拡大した撮像を行える撮像装置、撮像方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、ビデオカメラやデジタルスチルカメラなどの応用に適した固体撮像装置として知られるＣＣＤ(Charge Coupled Device)イメージセンサや増幅型のイメージセンサは、高感度での画素数の増加やイメージサイズの縮小による画素サイズの微細化が進んでいる。一方で、一般にＣＣＤイメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像装置は、屋内や野外、昼間や夜間といった多様な環境下で使用される傾向があり、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御することによって露光時間を調整し、感度を最適値にする電子シャッタ動作などが必要となることが多い。
【０００３】
ところで、CMOSイメージセンサにおいて、そのダイナミックレンジを拡大する方法として、電子シャッタを高速に切ることで露光時間を調整する方法や、高速に複数のフレームを撮影し重ね合わせる方法や、受光部の光電変換特性を対数応答にする方法などが知られている。
【０００４】
異なる露光時間またはアナログゲインや異なる感度を有する１枚の画像データを処理する際、所定サイズの局所領域において、異なる露光時間や異なる感度を有する画素を、もう一方の露光時間や感度を有する画素と合成処理によって、ダイナミックレンジの拡大を図ることが提案されている（例えば、特許文献１参照）。ダイナミックレンジを拡大するために、設定された露光時間の比やあらかじめ算出された感度比から決定したゲイン倍を信号量の低い画素信号へ適応し、この値と信号量の高い画素信号を一定の比率で合成することが提案されている。
【０００５】
通常、複数回に露光＆シャッタを経て得られた複数枚の異露光画像を上記の方法で合成することで、HDR画像を得ることができる。しかしながら、この手法では動物体の領域においては、画像が崩壊してしまう可能性がある。
【０００６】
特許文献１で提案されている方法で、周期的に異なる露光時間や異なる感度を有する画素を２次元的に、周期的に配置した画素を用いて、異露光の画素間で読み出しのタイミングを揃えて、各画素位置において、合成比率をその領域に沿った最適な比率を選択することで、動物体のボケ抑制などを図ることが特許文献２で提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2013-66145号公報
【特許文献２】特開2013-66142号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記したような技術により、ダイナミックレンジが拡張された画像を得ることでき、高画質化に寄与することができる。
【０００９】
しかしながら、高周波信号を含む画像を撮影したときなどに、折り返し成分による偽色が発生する可能性があり、このような偽色の発生を抑制することが望まれている。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、偽色などの発生を抑制し、ダイナミックレンジが広い撮影を行うことができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の撮像装置は、同一の分光感度を有する２×２個の画素を１ブロックとしたとき、前記１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、前記ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備え、前記処理部は、前記１ブロック内の前記長時間露光画素からの信号を加算することで、長時間露光画像を生成し、前記短時間露光画素からの信号を加算することで短時間露光画像を生成する生成部と、前記生成部で生成された前記長時間露光画像と前記短時間露光画像を所定の合成比率で合成する合成部と、前記長時間露光画像と前記短時間露光画像との差分から、動物体を検出する動物体検出部と、前記長時間露光画像と前記短時間露光画像から、折り返り成分を検出する折り返り成分検出部とを備え、前記合成比率は、前記動物体検出部での動物体の検出結果と、前記折り返り成分検出部での折り返り成分の検出結果から設定される。
【００１２】
前記折り返り成分検出部は、前記長時間露光画像と前記短時間露光画像との差分、前記長時間露光画像と前記短時間露光画像のそれぞれ彩度が、所定の条件を満たすか否かを判定することで、前記折り返り成分を検出するようにすることができる。
【００１３】
前記折り返り成分検出部は、以下の第１乃至第４の条件が満たされるか否かを判定することで、前記折り返り成分を検出するようにすることができる。
第１の条件：長時間露光画像と短時間露光画像とで、差がある
第２の条件：長時間露光画像と短時間露光画像で、彩度において差がある
第３の条件：彩度な大きな信号が緑またはマゼンタの色を有している
第４の条件：折り返し成分がない方の信号から、発生している信号を減算すると、その差分が、Ｇ画素とＲ画素またはＧ画素とＢ画素で、逆方向で同振幅に発生している
【００１４】
前記短時間露光画像は、露光補正された画像であるようにすることができる。
【００１５】
前記長時間露光画像と前記短時間露光画像を所定の色空間に転写し、前記彩度を求めるようにすることができる。
【００１６】
前記合成比率は、前記折り返り成分検出部で折り返り成分が発生していると検出された画素においては、折り返り成分が発生していないと判定される前記長時間露光画像または前記短時間露光画像を多く用いる比率とされるようにすることができる。
【００１７】
前記合成比率は、前記動物体検出部で動物体が検出された画素であるが、前記折り返り成分検出部で折り返り成分が検出された画素においては、折り返り成分が発生していないと判定される前記長時間露光画像または前記短時間露光画像を多く用いる比率とされるようにすることができる。
【００１８】
本技術の一側面の撮像方法は、同一の分光感度を有する２×２個の画素を１ブロックとしたとき、前記１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、前記ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備える撮像装置の撮像方法において、前記処理部は、前記１ブロック内の前記長時間露光画素からの信号を加算することで、長時間露光画像を生成し、前記短時間露光画素からの信号を加算することで短時間露光画像を生成し、生成された前記長時間露光画像と前記短時間露光画像を所定の合成比率で合成し、前記長時間露光画像と前記短時間露光画像との差分から、動物体を検出し、前記長時間露光画像と前記短時間露光画像から、折り返り成分を検出するステップを含み、前記合成比率は、前記動物体検出部での動物体の検出結果と、前記折り返り成分検出部での折り返り成分の検出結果から設定される。
【００１９】
本技術の一側面のプログラムは、同一の分光感度を有する２×２個の画素を１ブロックとしたとき、前記１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、前記ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備える撮像装置に、前記処理部は、前記１ブロック内の前記長時間露光画素からの信号を加算することで、長時間露光画像を生成し、前記短時間露光画素からの信号を加算することで短時間露光画像を生成し、生成された前記長時間露光画像と前記短時間露光画像を所定の合成比率で合成し、前記長時間露光画像と前記短時間露光画像との差分から、動物体を検出し、前記長時間露光画像と前記短時間露光画像から、折り返り成分を検出するステップを含む処理を実行させ、前記合成比率は、前記動物体検出部での動物体の検出結果と、前記折り返り成分検出部での折り返り成分の検出結果から設定される処理をコンピュータに実行させる。
【００２０】
本技術の一側面の撮像装置、撮像方法、並びにプログラムにおいては、同一の分光感度を有する２×２個の画素を１ブロックとしたとき、１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、ブロック単位で撮像面上に配置された画素からの信号が処理される。その処理は、１ブロック内の長時間露光画素からの信号を加算することで、長時間露光画像を生成し、短時間露光画素からの信号を加算することで短時間露光画像を生成し、生成された長時間露光画像と短時間露光画像を所定の合成比率で合成し、長時間露光画像と短時間露光画像との差分から、動物体を検出し、長時間露光画像と短時間露光画像から、折り返り成分を検出することで行われ、合成比率は、動物体検出部での動物体の検出結果と、折り返り成分検出部での折り返り成分の検出結果から設定される。
【発明の効果】
【００２１】
本技術の一側面によれば、偽色などの発生を抑制することができる。またダイナミックレンジが広い撮影を行うことができる。
【００２２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２３】
【図１】本技術を適用した撮像装置の一実施の形態の構成を示す図である。
【図２】画素配置について説明するための図である。
【図３】露光時間の制御について説明するための図である。
【図４】ＨＤＲ画像の生成について説明するための図である。
【図５】ブラーの抑制について説明するための図である。
【図６】折り返り信号の一例を示す画像である。
【図７】第４の条件について説明するための図である。
【図８】ＨＤＲ画像生成部の構成について説明するための図である。
【図９】折り返り成分検出部の構成について説明するための図である。
【図１０】撮像装置の使用例について説明するための図である。
【図１１】記録媒体について説明するための図である。
【発明を実施するための形態】
【００２４】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．撮像装置の構成
２．画素配置
３．画像処理部の処理について
４．ブラーの発生について
５．折り返し成分による偽色の発生について
６．ＨＤＲ画像生成部の構成
７．折り返り成分検出部の構成
８．撮像装置の使用例
９．記録媒体について
【００２５】
＜撮像装置の構成＞
図１は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。図１に示した撮像装置１００は、光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部１０３に入力される。
【００２６】
撮像素子１０２の出力画像は、各画素にＲＧＢのいずれかの画素値が設定されたいわゆるモザイク画像である。画像処理部１０３は、各画素にＲＧＢの全画素値を設定するデモザイク処理、後述する長時間露光画像と短時間露光画像との合成処理に基づく広ダイナミックレンジ（ＨＤＲ：High Dynamic Range）画像の生成処理、ブレ補正処理などを行う。
【００２７】
この画像処理部１０３の出力は信号処理部１０４に入力される。信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部（不図示）に出力される。
【００２８】
制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【００２９】
＜画素配置＞
以下に本技術を適用した撮像素子における画素の配置について、図２を参照して説明する。図２において、各矩形は画素を模式的に表す。また、各矩形の内部には、カラーフィルタの種類（各画素が出力する色光）を示す記号を示す。例えば、Ｒ（Red）画素には「Ｒ」を付し、Ｇ（Green）画素には「Ｇ」を付し、Ｂ（Blue）画素には「Ｂ」を付す。以下の説明においても、同様に記載する。
【００３０】
図２に示した画素配置においては、縦×横の４×４単位で、Ｒ画素、Ｇ画素、およびＢ画素の配置が繰り返される。図４に示した例では、左上の２×２の４画素が全てＲ画素とされている。この２×２の４個のＲ画素を、Ｒブロックとする。この４画素のＲブロックの右隣の２×２の４画素は、全てＧ画素（Ｇブロックとする）とされている。
【００３１】
Ｒブロックの下側の２×２の４画素は、全てＧ画素（Ｇブロック）とされている。Ｒブロックの右斜め下側の２×２の４画素は、全てＢ画素（Ｂブロックとする）とされている。このように、２×２の４画素は、全て同色とされ、４画素単位のＲブロック、Ｇブロック、Ｇブロック、Ｂブロックが、４×４の画素領域内に配置されている。
【００３２】
このように、図２に示した画素配列では、Ｒ画素、Ｇ画素、Ｇ画素、Ｂ画素が、４画素ずつ含まれる４×４単位で構成されている。以下、このような画素の配置を、適宜、４分割ベイヤ型ＲＧＢ配列と記述する。
【００３３】
なおここでは、ＲＧＢの画素が配置されている例を挙げて説明を続けるが、Ｗ（White）画素を含む構成とすることも可能である。また、ＲＧＢではなく、シアン、マゼンタ、イエローの組み合わせに対しても本技術を適用することはできる。
【００３４】
Ｗ画素が含まれるようにした場合、Ｗ画素は、全整色性である分光感度の画素として機能し、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれの色に特性のある分光感度の画素として機能する。本技術は、全整色性である分光感度を含む４種類の分光感度の画素が、撮像面上に配置されている撮像素子（イメージセンサ）にも適用できる。
【００３５】
本技術を適用した画素配置では、４×４で構成される１単位内に、４つのブロックが含まれるが、そのうちの２つのブロックはＧブロックである。この２つのＧブロックのうちの一方をＷ画素が配置されるＷブロックとしても良い。
【００３６】
図２に示した画素配置に基づく配置がなされたイメージセンサにおいて、１ブロックに含まれる４画素は、同色とされているが、露光時間は２種類設定されている。１ブロックに含まれる４画素は、それぞれ長時間露光画素Ｌ、または短時間露光画素Ｓに設定されている。露光時間の関係は、以下に示すとおりである。
長時間露光Ｌ＞短時間露光Ｓ
【００３７】
再度図２を参照して、露光時間に注目した画素配置について説明する。左上に位置するＲブロックの４画素に注目する。Ｒブロック内の左上と右下に位置するＲ画素は、長時間露光画素Ｌである。以下、長時間露光画素Ｌに設定されているＲ画素を、ＲＬ画素と記述する。Ｇ画素やＢ画素も同様に、長時間露光画素Ｌに設定されている画素は、それぞれＧＬ画素、ＢＬ画素と記述する。
【００３８】
Ｒブロック内の右上と左下に位置するＲ画素は、短時間露光画素Ｓである。以下、短時間露光画素Ｓに設定されているＲ画素を、ＲＳ画素と記述する。Ｇ画素やＢ画素も同様に、短時間露光画素Ｓに設定されている画素は、それぞれＧＳ画素、ＢＳ画素と記述する。
【００３９】
このような配置は、他の色のブロックでも同様である。例えば、Ｇブロック内の左上と右下に位置するＧ画素は、長時間露光画素Ｌに設定されているＧＬ画素であり、右上と左下に位置するＧ画素は、短時間露光画素Ｓに設定されているＧＳ画素である。
【００４０】
同様に、Ｂブロック内の左上と右下に位置するＢ画素は、長時間露光画素Ｌに設定されているＢＬ画素であり、右上と左下に位置するＢ画素は、短時間露光画素Ｓに設定されているＢＳ画素である。
【００４１】
このように、本技術を適用した画素の配置は、同色の画素が２×２の４画素を１ブロックとして配置され、１ブロック内の同色の４画素は、長時間露光で撮影を行う画素と短時間露光で撮影を行う画素に、それぞれ設定されている。
【００４２】
なおここでは、２×２を１ブロックとして説明を続けるが、１ブロック内の画素数は、４個に限定されることを示す記載ではなく、複数個であれば、本技術の適用範囲内である。例えば、３×３を１ブロックとし、１ブロックに９個の画素が含まれるようにしても良い。
【００４３】
またここでは、１ブロックは、縦×横がＭ×Ｍであり、縦方向と横方向の画素数が同数である場合を例に挙げて説明するが、縦×横がＭ×Ｎであり、縦方向と横方向の画素数が異なる場合であっても、本技術を適用することはできる。１ブロック内の画素数に合わせて、長時間露光画素Ｌと短時間露光画素Ｓは配置される。
【００４４】
また、図２に示した異なる露光時間の画素の配置は一例であり、他の配置であっても良い。例えば、図２では、左上と右下に長時間露光画素Ｌが配置されるようにしたが、右上と左下に長時間露光画素Ｌが配置されるなど、他の配置であっても良い。
【００４５】
また、Ｒブロック、Ｇブロック、およびＢブロックで、異なる露光時間の画素の配置は同一であるとして説明したが、色毎に異なる配置としても良い。例えば、Ｒブロックの長時間露光画素Ｌと右隣に位置するＧブロックの長時間露光画素Ｌとが隣り合うように配置するといったように、Ｒブロック、Ｇブロック、およびＢブロック内での異なる露光時間の画素の配置は、同一であっても、異なっていても良い。
【００４６】
このように、本技術を適用した撮像装置１００では、１枚の撮影画像に含まれる画素単位で、長時間露光画素と短時間露光画素を設定して、これらの画素間の合成処理（ブレンド）により、ＨＤＲ画像を生成する。この露光時間制御は制御部１０５の制御によって行われる。
【００４７】
図３に各画素の露光時間のタイミング例を示す。長時間露光画素Ｌは、長時間の露光処理がなされる。短時間露光画素Ｓは、短時間の露光処理がなされる。図３に示すように、短時間露光画素Ｓと長時間露光画素Ｌの露光開始タイミングは一致していないが、露光終了のタイミングは一致するように、露光時間は制御される。
【００４８】
＜画像処理部の処理について＞
上記したような短時間露光画素Ｓと長時間露光画素Ｌが配置された撮像素子１０２からの信号を処理する画像処理部１０３で行われる処理について説明する。なおここでは、画像処理部１０３が行う処理の概略について説明し、詳細については後述する。後述する説明としては、折り返し成分による偽色の発生を抑制する処理などがある。
【００４９】
図４に、４分割ベイヤ型ＲＧＢ配列において斜め方向に露光時間を変更した場合の処理例を示す。図４には以下の３つのデータを示している。
（４ａ）撮像データ
（４ｂ）中間データ
（４ｃ）出力データ
【００５０】
（４ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において列毎に露光時間を変更した場合に撮影される画像を示している。図４において、白い部分が長時間露光画素Ｌであり、濃いグレー部分が短時間露光画素Ｓを示している。例えばＲＬ００は、座標位置（０，０）のＲ画素の長時間露光画素Ｌである。ＧＬ２０は、座標位置（２，０）のＧ画素の長時間露光画素Ｌである。なお、座標は、垂直下方向をｘ、水平右方向をｙとした座標（ｘ，ｙ）を適用して、例えば、ＧＳｘｙ、ＧＬｘｙ等の形式で示している。
【００５１】
また図２を参照して説明したように、本実施の形態においては、斜め方向に長時間露光画素Ｌと短時間露光画素Ｓが交互に設定されている。
【００５２】
（４ａ）撮像データは４×６の画素領域を示している。
（４ｂ）中間データは、４×６の（４ａ）撮像データに基づいて生成される中間データを示している。
【００５３】
このような場合、ステップＳ１（ＳＴＥＰ１）において、４×６の（４ａ）撮像データに基づいて、１２個の中間画素データが算出される。
【００５４】
（４ｃ）出力データは、１２個の（４ｂ）中間画素データに基づいて生成される出力データを示している。この出力データは、広ダイナミックレンジ画像として生成される出力データである。
【００５５】
（ステップ１）
ステップＳ１における（４ａ）撮像データから（４ｂ）中間データの生成処理は、以下の複数の画素値の斜め加算処理によって行われる。例えば、図４（４ｂ）に示すＲブロックから算出されるＲＬＡ００の画素値（ＲＬＡ００）、ＲＳＡ００の画素値（ＲＳＡ００）は、（４ａ）撮像データに含まれる複数の画素の画素値を適用した以下の式に従った斜め加算処理によって算出される。
ＲＬＡ００＝（ＲＬ００＋ＲＬ１１）／２
ＲＳＡ００＝（ＲＳ０１＋ＲＳ１０）／２      ・・・（１）
【００５６】
このように、Ｒブロック内で斜め方向に配置されたＲＬ画素同士の平均値が算出され、ＲＳ画素同士の平均値が算出されることで、中間データが生成される。なお平均値を求めるのではなく、画素値を加算した値が、そのまま用いられるようにしても良い。
【００５７】
Ｇブロック、Ｂブロックも同様に、斜め方向に配置された長時間露光画素Ｌの画素値の平均値と、短時間露光画素Ｓの画素値の平均値が算出されることで、中間データが生成される。
【００５８】
式（１）をＲ画素、Ｇ画素、およびＢ画素で共通の式として表した式を次式（２）とする。
ＤＬＡ＝（ＤＬ＋Ｄｌ）／２
ＤＳＡ＝（ＤＳ＋Ｄｓ）／２      ・・・（２）
【００５９】
式（２）において、ＤＬＡは、１ブロック内の長時間露光画素Ｌの画素値の平均値を表し、ＤＳＡは、１ブロック内の短時間露光画素Ｓの画素値の平均値を表す。ＤＬは、１ブロック内の２個の長時間露光画素Ｌの一方の画素値を表し、Ｄｌは、他方の画素値を表す。同じくＤＳは、１ブロック内の２個の短時間露光画素Ｓの一方の画素値を表し、Ｄｓは、他方の画素値を表す。
【００６０】
このように、１ブロック内で斜め方向に配置された同露光時間の画素同士を加算することで、混色成分の抑止をはかることができる。
【００６１】
（ステップ２）
ステップＳ２における（４ｂ）中間データから（４ｃ）出力データの生成処理は以下のように、（４ｂ）中間データに含まれる画素値のブレンド処理によって行われる。例えば、図４（４ｃ）に示すＲ００画素の画素値（Ｒ００）は、（４ｂ）中間データに含まれる複数の画素の画素値と、ブレンド係数αを適用した以下の算出式（１）に従って算出される。
Ｒ００＝（１−α）×ＲＳＡ００×Gain＋α×ＲＬＡ００    ・・・（３）
【００６２】
ただし、
Gain：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド係数
とする。
【００６３】
Ｇ画素やＢ画素においても同様に、ゲインとブレンド係数を用いた算出式に従って出力データが生成される。なお、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれ感度が異なるため、例えば、ゲイン（Gain）やブレンド係数は、Ｒ画素、Ｇ画素、Ｂ画素で異なる値を用いるようにしてもよい。
【００６４】
式（３）をＲ画素、Ｇ画素、およびＢ画素で共通の式として表した式を次式（４）となる。
ＤＨ＝（１−α）×ＤＳ＋α×ＤＬ    ・・・（４）
【００６５】
式（４）において、ＤＨは、ＨＤＲ画像内の所定の画素の画素値を表す。ＤＳは、式（３）では、ＲＳＡ００×ＧＡＩＮに相当する。ＤＬは、式（２）では、ＤＬＡに相当する。なお、ＤＬＡに所定のゲインを乗算し、ＤＬ＝ＤＬＡ×Gainとすることも可能である。
【００６６】
このようにして、ＨＤＲ画像が生成される。
【００６７】
＜ブラーの発生について＞
上記のような広ダイナミックレンジ（ＨＤＲ）画像生成処理においては、動被写体を撮影すると、ぼけが発生してしまう可能性がある。
【００６８】
一般に、イメージセンサの露光時間中に被写体と撮像装置の相対的な位置関係に変化が生じた場合、被写体が複数画素にまたがって撮像されるため、得られる画像の精細さは失われる。特に、長時間露光画像は短時間露光画像に比べて露光時間が長いために精細さを失いやすい。そのため動被写体や撮像装置でのブレが生じた場合、短時間露光画像と長時間露光画像との露出を補正して明るさをそろえても、長時間露光画像と短時間露光画像の対応画素位置の画素値にずれが生じる。
【００６９】
このように、露光時間中に被写体と撮像装置の相対的な位置関係に変化が生じることによって露出補正し明るさをそろえた長時間露光画像と短時間露光画像との対応画素位置の画素値がずれる現象を「ブラー」と定義する。
【００７０】
このようなブラーの発生を抑制するために、以下の処理が行われるようにする。図５を参照して、長時間露光画像と短時間露光画像のブレンド係数αの決定処理例について説明する。図５Ａには、ブレンド処理構成の一例を示している。
【００７１】
本実施の形態においては、短時間露光画像と長時間露光画像の双方に基づいてブラー情報を計測し、この計測したブラー情報と、短時間露光画像と長時間露光画像の双方に基づいてブレンド係数を決定し、決定したブレンド係数を適用して、短時間露光画像と長時間露光画像のブレンド処理を実行する例を挙げて説明する。
【００７２】
なお、「ブラー」とは、露光比に基づく補正を行った長時間露光画像と短時間露光画像との対応画素位置の画素の画素値のずれであると定義でき、「ブラー情報」は、この画素値のずれ量に相当するブラー発生度合いを示す指標値とすることができる。
【００７３】
撮影画像から各画素単位の「ブラー情報」が取得され、取得された「ブラー情報」に基づいて決定されたブレンド係数が適用されて、短時間露光画像と長時間露光画像のブレンド処理が実行され、ＨＤＲ画像が生成される。
【００７４】
本開示の構成では、ブラーを考慮したブレンド係数αは、例えば次式（５）に従って算出される。
【００７５】
【数１】
2016201733.tif 000003
【００７６】
式（５）において、
Ｍ：ブラー情報（＝ブラーの大小を示すブラー度合い指標値）
ｍａｘ（ａ，ｂ）：ａとｂの最大値を求める関数
ｍｉｎ（ａ，ｂ）：ａとｂの最小値を求める関数
をそれぞれ表す。またｋ１、ｋ０は、パラメータである。詳細は後段で説明する。
【００７７】
なお、長時間露光画像のブラーの大小を示す値：Ｍは理想的には以下の式で算出される。
Ｍ＝（μＬ−μＳ）２      ・・・（６）
なおμＬ、μＳは以下の値とする。
μＬ：ノイズの影響が全くないときに得られる露出補正長時間露光画像の理想的な画素値（式（４）のおけるＤＬに該当）
μＳ：ノイズの影響が全くないときに得られる露出補正短時間露光画像の理想的な画素値（式（４）のおけるＤＳに該当）
【００７８】
しかしながら、上記式（６）において、実際には、μＬ、μＳはノイズの影響があるため直接求めることができない。そこで注目画素の周辺の画素群を用いて、例えば次式（７）を用いて近似的にＭを求める。
【００７９】
【数２】
2016201733.tif 000004
【００８０】
式（７）において、
Ｍ（ｘ、ｙ）：画素位置（ｘ、ｙ）でのブラー情報
ＤＬ（ｘ、ｙ）：露出補正長時間露光画像の画素位置（ｘ、ｙ）での画素値
ＤＳ（ｘ、ｙ）：露出補正短時間露光画像の画素位置（ｘ、ｙ）での画素値
ＶＬ（ｘ、ｙ）：露出補正長時間露光画像の画素位置（ｘ、ｙ）でのノイズの分散値
ＶＳ（ｘ、ｙ）：露出補正短時間露光画像の画素位置（ｘ、ｙ）でのノイズの分散値
φ（ｄｘ，ｄｙ）：ローパスフィルタの重み係数
ｍｉｎ（ａ，ｂ）：値ａと値ｂの最小値を計算する関数
ｍａｘ（ａ，ｂ）：値ａと値ｂの最大値を計算する関数
ｐ：調整用のパラメータ。ゼロ以上の定数とする。
【００８１】
また、式（７）の演算の結果、Ｍ（ｘ、ｙ）が負の値になった時は、差分絶対値もしくは長短差分を０にする。あるいは、長時間露光画像のブラーの大小を示す値Ｍの計算は、簡略化して次式（８）に従って算出してもよい。
【００８２】
【数３】
2016201733.tif 000005
【００８３】
このようなブレンド係数αを決定してブレンド処理を行う。この処理により、ブラーが大きい部位では、αは０に近づくためブレの少ない短時間露光画像に基づく画素値を優先的に出力する設定となり、ブラーが小さい部位では、αは従来手法と同等の値をとり、所定のブレンド係数に応じた画素値が生成される。
【００８４】
このような処理が実現され、その結果、動被写体部は、ブレの少なく、静止部は、暗い部位から明るい部位までＳＮ比の良いＨＤＲ画像が得られる。なお、上記のブレンド係数の計算量はさほど大きくなく、高速に処理可能であり、例えば動画のＨＤＲ画像生成処理にも適用することができる。
【００８５】
＜折り返し成分による偽色の発生について＞
上述したような処理により、ブラーの発生を抑制したＨＤＲ画像を生成できるが、高周波成分を含む画像を撮像したときに、折り返し成分による偽色が発生する可能性がある。この折り返し成分による偽色について説明を加える。
【００８６】
ここで、再度、式（６）を参照する。式（６）は、長時間露光画像のブラーの大小を示す値：Ｍを演算する式であった。
Ｍ＝（μＬ−μＳ）２      ・・・（６）
μＬ：露出補正長時間露光画像の画素値
μＳ：露出補正短時間露光画像の画素値
【００８７】
例えば、露光比が１６である場合、露出補正長時間露光画像μＬは、長時間露光画素Ｌの画素値に１を乗算することで算出され、露出補正短時間露光画像μＳは、短時間露光画素Ｓの画素値に１６を乗算することで算出される。このように算出された露出補正長時間露光画像μＬと露出補正短時間露光画像μＳは、明るさが合わせられた画像となる。
【００８８】
このように明るさが合わせられた露出補正長時間露光画像μＬと露出補正短時間露光画像μＳは、ノイズの影響がなければほぼ同じ信号値となる。この特性を利用することで、上記したように、ブラーの検出が行われる。すなわち、式（６）において、露出補正長時間露光画像μＬと露出補正短時間露光画像μＳが同じであれば０となるが、動被写体等が撮像されることで、露出補正長時間露光画像μＬと露出補正短時間露光画像μＳに差分が生じると、何らかの値が算出される。
【００８９】
ところで、図２に示したカラーフィルタの色配置の場合、隣接画素からの影響で、露出補正長時間露光画像μＬと露出補正短時間露光画像μＳに差分が生じる可能性がある。ここで、図４を再度参照する。図４に示した（４ａ）撮像データにおいて、ＢＬ２２画素に注目する。ＢＬ２２画素は、左隣のＧＳ２１画素、左上のＲＬ１１画素、上のＧＳ１２画素に隣接している。ＢＬ２２画素は、これら、ＧＳ２１画素、ＲＬ１１画素、ＧＳ１２画素からの影響を受ける。すなわち、ＢＬ２２画素は、隣接する異色の画素からの影響を受けやすい。
【００９０】
次にＢＬ３３画素に注目する。ＢＬ３３画素は、左隣のＢＳ３２画素、左上のＢＬ２２画素、上のＢＳ２３画素に隣接している。ＢＬ３３画素は、これら、ＢＳ３２画素、ＢＬ２２画素、ＢＳ２３画素からの影響を受ける。しかしながら、ＢＬ３３画素が影響を受ける隣接する画素は、同色であるため、その影響は小さい。
【００９１】
このように、ＢＬ２２画素とＢＬ３３画素は、同じＢブロック内の長時間露光画素Ｌであるが、隣接画素が同色であるか、異色であるかの違いがあり、その違いから、ノイズ成分の影響以上に、信号値に差が生じる可能性がある。これは、斜め光成分による混色の影響であると考えられる。
【００９２】
このような斜め光成分による混色の影響は、上記した説明において例に挙げたＢブロック内の長時間露光画素Ｌに限らず発生す。このような斜め光成分による混色の影響が、短時間露光画素Ｓに現れた場合、上記したように、露出補正短時間露光画像μＳに変換するときに、露光比、例えば、１６倍といった値が乗算されるため、その影響は大きくなる。
【００９３】
このような斜め光成分による影響がある場合、“明るさが合わせられた露出補正長時間露光画像と露出補正短時間露光画像は、ほぼ同じ信号値となる”という関係が成り立たなくなる。
【００９４】
しかしながら、式（１）、式（２）を参照して説明したように、１ブロック内の斜め方向に配置された同露光時間の画素同士を加算することで、混色成分の抑止をはかることができる。これは、混色の主成分である斜め方向の光の成分を、斜め方向に配置された同露光時間の画素同士を加算することで相殺することができるためであると考えられる。
【００９５】
例えば、図２や図４に示したように、１ブロック内に長時間露光画素Ｌと短時間露光画素Ｓを設定し、長時間露光画素Ｌを斜め方向に配置し、短時間露光画素Ｓも斜め方向に配置する構成とした。このように、同色斜め方向の画素に同露光の画素を配置し、それらを加算することで、混色成分を抑制した信号を得ることができる。
【００９６】
このように、式（２）に示した演算が行われることで、混色の影響を抑制することができる。また、混色の影響を抑制した信号を用いて、式（４）に示した演算が行われることで、ＨＤＲ画像が生成される。式（４）におけるブレンド係数αは、上記したように、ブラーの発生を抑制する係数として設定される。
【００９７】
よって、混色やブラーによる影響が抑制されたＨＤＲ画像を取得することができる。しかしながら、このような処理は、長時間露光画素Ｌの画素値と露光比補正された短時間露光画素Ｓの画素値との差が、ノイズ成分や動被写体の影響のみで発生している場合に有効であるが、以下に説明する折り返し成分による影響までは抑制できない可能性がある。
【００９８】
上記したように、斜め光成分による影響を低減させるために、斜め方向に配置された同露光時間の画素同士を加算するようにした場合、長時間露光画素Ｌからの信号と短時間露光画素Ｓからの信号で、斜め方向の周波数特性に差が生じ、斜め方向の高周波を含む領域でも、長時間露光画素Ｌの画素値と露光比補正された短時間露光画素Ｓの画素値に差が生じてしまう。
【００９９】
図２（図４）に示した画素配置を有する撮像装置１００（図１）で、高周波信号を含む画像を撮影した場合を例に挙げて説明する。図示はしないが、例えば、同心円の円が、幅が狭い状態で描かれている静止画像を撮像し、長時間露光画像と短時間露光画像との差分を画像として取得した場合、図６に示すような画像が取得される場合がある。
【０１００】
静止画像を撮像し、長時間露光画像と短時間露光画像との差分を画像として表した場合、長時間露光画像と短時間露光画像との差分は０となるため、その画像は、０を表す色、例えば、図６においては黒一色の画像となる。しかしながら、図６に示した画像には、白い部分（以下、折り返り信号と記述する）があり、長時間露光画像と短時間露光画像に差分が発生している部分があることを示している。
【０１０１】
長時間露光画像と短時間露光画像との差分は、上記した式（６）による演算を行うことで算出することができる。上記したように、式（６）による演算結果により、動被写体による影響（ブラー）があるか否かを判定することができる。すなわち、長時間露光画像と短時間露光画像との差分があれば、動被写体による影響がある画素（領域）であると判定でき、差分が無ければ、動被写体による影響がない画素（領域）であると判定できる。
【０１０２】
しかしながら、図６に示したように、静止画像を撮影した場合、換言すれば、動被写体がない画を撮影した場合であっても、長時間露光画像と短時間露光画像との差分が出てしまう場合がある。図６で折り返り信号があるのは、混色成分の低減のための斜め方向加算により、長時間露光画素Ｌの信号と短時間露光画素Ｓの信号で、斜め方向の周波数特性に差が生じ、斜め方向の高周波を含む領域でも長時間露光画素Ｌの信号と、露光比補正された短時間露光画素Ｓの信号に差を生じてしまうためであると考えられる。
【０１０３】
このように、静止画像が撮影されたときに、長時間露光画像と短時間露光画像との差分が発生してしまう領域があると、その領域は、上記した処理に基づくと、動被写体による影響がある（ブラーが発生する可能性がある）領域として処理される。
【０１０４】
ブラーの発生を抑制するための処理については上述したが、簡単に記載すると、ブラーが発生する可能性のある領域では、長時間露光画素Ｌの信号を用いるとブラーが発生する可能性が高くなるため、短時間露光画素Ｓの信号が用いられるようにする。
【０１０５】
しかしながら、短時間露光画素Ｓの信号はノイズ成分が含まれている可能性が、長時間露光画素Ｌの信号よりも高く、短時間露光画素Ｓの信号を用いることで、ＳＮ比が低下してしまう可能性がある。
【０１０６】
このようなことから、静止画像を撮影したときに、長時間露光画像と短時間露光画像との差分が発生し、ブラー抑制のための処理が実行されると、ＳＮ比が低下してしまう可能性がある。
【０１０７】
このようなことから、ブラーを抑制するための処理と、高周波信号による折り返り信号を抑制するための処理を、同一の処理とするのではなく、異なる処理とする。異なる処理とすることで、適切にブラーを抑制し、高周波信号による折り返り信号を抑制することが可能となる。
【０１０８】
ブラーの抑制と斜め方向の高周波成分による影響の抑制を、それぞれ別の処理で行うようにするためには、動被写体による影響であるのか、斜め方向の高周波成分による影響であるのかを識別し、処理を分ける必要がある。
【０１０９】
ここでは、斜め方向の高周波情報を検出し、この検出信号が高い個所は、露出補正長時間露光画像μＬと、露光比補正された露出補正短時間露光画像μＳの差が出ていたとしても、それは高周波によるもので、動体の影響で発生しているわけではないと判定し、動物体領域を検出するために使用する長短差分の強度を弱めることで、動物体領域検出の誤判定を抑制する。
【０１１０】
また、高周波情報が検出された箇所では、露出補正長時間露光画像μＬと露出補正短時間露光画像μＳのうち、折り返り信号が低減している方の信号を選択的に強く合成するように合成比率を制御することで、折り返り信号が低減されるようにする。
【０１１１】
本出願人は、斜め方向の高周波成分による影響が発生している画素（領域）には、以下の４つの条件が満たされているとの解析結果を得た。以下、“斜め方向の高周波成分による影響”を、“折り返り成分の影響“と記述する。
【０１１２】
第１の条件：露出補正長時間露光画像μＬと露光補正短時間露光画像μＳとで、差が生じている。
第２の条件：露出補正長時間露光画像μＬと露光補正短時間露光画像μＳで、彩度において大きな差が生じている。
第３の条件：彩度な大きな信号が緑またはマゼンタの色を有している。
第４の条件：折り返しが発生していない方の信号から、発生している信号を減算すると、その差分が、ＧとＲまたはＧとＢで、逆方向で同振幅に発生している。
【０１１３】
第１の条件は、折り返り成分が発生する状況は、上記したように、静止画像を撮影した場合であっても、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳに差分があり、その差分を画像化した場合、例えば、図６に示すような画像が得られ状態であることを意味する。まず、折り返り成分よる影響がある画像では、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳに差分があるという条件が成り立つ。
【０１１４】
第２の条件は、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳを別々に取得し、同一領域を比較したとき、折り返り成分による影響がある領域は、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳで、彩度において大きな差がある状態であることを意味する。
【０１１５】
折り返り成分による影響がない領域では、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳの同一領域を比較した場合、その色合いは同じであり、彩度は同程度である。これに対して、折り返り成分による影響がある領域では、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳの同一領域を比較した場合、その色合いは大きく異なり、彩度において大きな差が生じる。
【０１１６】
なお、折り返り成分による影響がある領域では、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳを別々に取得し、同一領域を比較した場合、露出補正長時間露光画像μＬまたは露光補正短時間露光画像μＳのどちらか一方に折り返り信号が発生している。よって、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳを比較したとき、一方の画像に折り返り信号が発生していると、その折り返り信号がある領域では、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳに差分が生じることになる。
【０１１７】
次に第３の条件について説明する。第３の条件は、彩度な大きな信号が緑またはマゼンタの色を有しているである。折り返り成分による影響がある場合、その影響を抑制せずに、画像として取得した場合、その影響は緑（Green）またはマゼンタ（Magenta）の色を有する画となる。
【０１１８】
仮に、第１の条件と第２の条件を満たす領域（画素）があった場合であっても、その領域の色が、緑またはマゼンダではない場合、その領域には、折り返り成分による影響はないと判定できる。
【０１１９】
第４の条件について、図７を参照して説明する。図７において、大文字のＲ、Ｇ、Ｂは、それぞれ長時間露光画素ＬのＲ画素、Ｇ画素、Ｂ画素を表す。また図７において、小文字のｒ、ｇ、ｂは、それぞれ短時間露光画素ＳのＲ画素、Ｇ画素、Ｂ画素を表す。また図７は、折り返り信号による影響がある領域内の画素（信号）を表している。
【０１２０】
図７Ａは、画素配置を表し、基本的に、図２に示した画素配置と同じであるが、斜め加算される画素同士を横方向に図示するために、斜めに傾いた状態で図示してある。図７Ｂは、同色の斜め加算の結果を表す。図７Ｃは、長時間露光画素Ｌの加算結果（長畜加算結果）を表す。図７Ｄは、短時間露光画素Ｓの加算結果（短畜加算結果）を表す。図７Ｅは、長畜加算結果と、短畜加算結果との差分を演算したときの結果を表す。図７Ｆは、図７Ｅに示した差分の結果を、感度比を考慮して補正した結果を表す。
【０１２１】
図７Ｂに示すように、１ブロック内の斜め方向に配置された長時間露光画素Ｌの画素値同士が加算されることで、１ブロック内の長時間露光画素Ｌの画素値が算出され、短時間露光画素Ｓの画素値同士が加算されることで、１ブロック内の短時間露光画素Ｓの画素値が算出される。
【０１２２】
図７Ｃ、図７Ｄでは、Ｇ画素とＲ画素を図示している。図７Ｃは、斜め加算された長時間露光画素ＬのＧ画素とＲ画素を表し、図７Ｄは、斜め加算された短時間露光画素ＳのＧ画素とＲ画素を表す。
【０１２３】
図７Ｅでは、図７Ｃの長畜加算結果のＧ画素と図７Ｄの短畜加算結果のＧ画素との差分（Ｇ−ｇ）を表す。また図７Ｅでは、図７Ｃの長畜加算結果のＲ画素と図７Ｄの短畜加算結果のＲ画素との差分（Ｒ−ｒ）を表す。
【０１２４】
Ｇ画素とＲ画素は、感度比が異なり、Ｇ画素の方がＲ画素よりも感度が高いため、Ｇ画素の信号レベルとＲ画素の信号レベルを合わせるには、Ｒ画素の信号に所定のゲインを乗算する必要がある。このような処理は、一般的な撮像装置において、ホワイトバランス調整として行われている。
【０１２５】
感度を合わせるために、図７Ｅに示したＲ画素の差分（Ｒ―ｒ）に所定のゲインを乗算した信号強度を、図７Ｆに示す。図７Ｆに示すように、調整後のＲ画素の差分（Ｒ―ｒ）と、Ｇ画素の差分（Ｇ−ｇ）は、ほぼ同じ信号強度となり、逆方向となる。
【０１２６】
ここでは、Ｒ画素を例に挙げて説明したが、Ｂ画素でも同様である。すなわち、折り返り信号による影響がある領域内では、感度調整後のＢ画素の差分（Ｂ―ｂ）と、Ｇ画素の差分（Ｇ−ｇ）は、ほぼ同じ信号強度となり、逆方向となる。
【０１２７】
このようなことが、折り返り成分による影響がある領域内では起きているため、第４の条件として、“折り返しが発生していない方の信号から、発生している信号を減算すると、その差分が、ＧとＲまたはＧとＢで、逆方向で同振幅に発生している”という条件が得られる。自然界の信号には、このような第４の条件を満たす傾向がある。
【０１２８】
このような第１乃至第４の条件が全て満たされる画素（領域）は、折り返り成分による影響がある画素であると判定することができる。
【０１２９】
このように、第１乃至第４の条件が満たされるか否かを判定することで、折り返り成分による影響を受ける画素であるか否かを判定できる。このような判定を行い、判定結果も用いるようにすることで、動被写体による影響によるブラーを抑制し、折り返り成分による影響による偽色の発生を抑制することができる。
【０１３０】
＜ＨＤＲ画像生成部の構成＞
長時間露光画素Ｌと短時間露光画素Ｓが、図２に示したように配置されている撮像素子１０２（図１）からの信号を処理することで、ＨＤＲ画像を生成するＨＤＲ画像生成部について説明する。図８は、ＨＤＲ画像生成部２００の構成を示す図である。
【０１３１】
図８に示したＨＤＲ画像生成部２００は、ＲＧＢ補間信号生成部２１１、露光補正部２１２、ＳＮ最大化合成比率算出部２１３、折り返り低減合成比率算出部２１４、ブラー低減合成比率算出部２１５、長畜飽和考慮合成比率算出部２１６、長短合成処理部２１７、折り返り成分検出部２１８、動物体検出部２１９、ノイズ低減処理部２２０を含む構成とされている。
【０１３２】
ＨＤＲ画像生成部２００には、撮像素子１０２から、長時間露光画素Ｌからの信号と短時間露光画素Ｓからの信号が入力される。入力される信号は、同色斜め加算後の信号であり、混色低減処理済みの信号である。ＲＧＢ補間信号生成部２１１は、全ての画素位置に、長時間露光されたＲ画素、Ｇ画素、Ｂ画素のそれぞれの信号を補間し、Ｒ画素からなる長時間露光画像、Ｇ画素からなる長時間露光画像、およびＢ画素からなる長時間露光画像を生成する。
【０１３３】
また、ＲＧＢ補間信号生成部２１１は、全ての画素位置に、短時間露光されたＲ画素、Ｇ画素、Ｂ画素のそれぞれの信号を補間し、Ｒ画素からなる短時間露光画像、Ｇ画素からなる短時間露光画像、およびＢ画素からなる短時間露光画像を生成する。これら生成されたそれぞれの画像は、露光補正部２１２に供給される。
【０１３４】
露光補正部２１２は、Ｒ画素、Ｇ画素、およびＢ画素の感度の違いを吸収するための補正を行う。上記したように、Ｇ画素は、Ｒ画素やＢ画素よりも感度が高いため、Ｒ画素の信号とＢ画素の信号に対して、それぞれ所定のゲインを乗算することで、露光補正が行われる。露光補正部２１２は、長時間露光画素Ｌの信号（以下、長時間露光信号と記述する）と、短時間露光画素Ｓの信号（以下、短時間露光信号と記述する）をそれぞれ生成する。露光補正部２１２からは、Ｒ画素の長時間露光信号、Ｇ画素の長時間露光信号、Ｂ画素の長時間露光信号、Ｒ画素の短時間露光信号、Ｇ画素の短時間露光信号、およびＢ画素の短時間露光信号が出力される。
【０１３５】
露光補正部２１２からのＲ、Ｇ、Ｂのそれぞれの長時間露光信号と、Ｒ、Ｇ、Ｂのそれぞれの短時間露光信号は、ＳＮ最大化合成比率算出部２１３、折り返り成分検出部２１８、および動物体検出部２１９に供給される。また、露光補正部２１２からの長時間露光信号は、長畜飽和考慮合成比率算出部２１６と長短合成処理部２１７にも供給される。また、露光補正部２１２からの短時間露光信号は、ノイズ低減処理部２２０にも供給される。
【０１３６】
ＳＮ最大化合成比率算出部２１３は、ＳＮ比を最大にする合成比率を算出し、ＳＮ最大化合成比率を折り返り低減合成比率算出部２１４に供給する。
【０１３７】
折り返り低減合成比率算出部２１４は、折り返り成分検出部２１８からの折り返り成分情報に基づき、ＳＮ最大化合成比率を補正する。折り返り成分検出部２１８の構成と処理については、図９を参照して後述する。また、折り返し成分情報とは、上述した第１乃至第４の条件を満たすか否かを判定することで得られる情報であり、折り返り信号による影響がある画素であるか否かを表す情報である。
【０１３８】
上記したように、長時間露光信号側で折り返り信号が発生しているならば、短時間露光信号側では折り返り信号は発生していない。また、短時間露光信号側で折り返り信号が発生しているならば、長時間露光信号側では折り返り信号は発生していない。
【０１３９】
このようなことから、折り返り信号が発生している側の信号を使用する比率を下げ、折り返り信号が発生していない側の信号が優先的に使用される比率となるように、折り返り低減合成比率算出部２１４は、合成比率を算出する。
【０１４０】
具体的には例えば、次式に基づく演算が、折り返り低減合成比率算出部２１４において行われる。
Ａ＝｛SN最大化合成比率×（1.0−短蓄折り返り成分）｝＋（1.0×短蓄折り返り成分)
ＯＵＴ＝｛Ａ×（1.0−長畜折り返り成分）｝＋（0.0×長畜折り返り成分）
【０１４１】
この式において、短蓄折り返り成分と長畜折り返り成分は、折り返り成分情報として、折り返り成分検出部２１８から供給される情報である。このように、ＳＮ最大化合成比率を、折り返り成分を用いて、選択的に1.0(100%長時間露光信号を使用)または0.0(100%短時間露光信号を使用)に近づける演算が行われる。
【０１４２】
このようにして算出された折り返り低減合成比率は、ブラー低減合成比率算出部２１５に供給される。ブラー低減合成比率算出部２１５は、＜ブラーの発生について＞のところで上述したように、ブラーを抑制するための合成比率を算出する。具体的には、ブレンド係数αを、上述したような演算により算出する。
【０１４３】
ブラー低減合成比率算出部２１５は、折り返り低減合成比率算出部２１４から供給された折り返り低減合成比率を、動物体検出部２１９から供給された動体物検出情報を用いて、選択的に1.0(100%長露光信号を使用)または0.0(100%短時間露光信号を使用)に近づける演算を行う。
【０１４４】
ブラー低減合成比率算出部２１５には、動物体検出部２１９からの動物体を検出したか否か、すなわちブラーが発生する可能性のある画素であるか否かを表す動物体検出情報が供給される。動物体検出部２１９には、折り返り成分検出部２１８からの折り返り成分情報が供給される。
【０１４５】
動物体検出部２１９は、折り返り成分情報が、折り返り成分が発生しているとの情報である場合、動物体として検出されていたとしても、それは動物体ではなく、折り返り成分であるとし、動物体を検出していないとの情報を、ブラー低減合成比率算出部２１５に供給する。よって、ブラー低減合成比率算出部２１５が、折り返り成分が発生している画素に対しては、ブラーを低減するための処理を実行しないように制御することが可能となる。
【０１４６】
このような処理が行われることで、動物体により影響をうけた画素である場合には、ブラーを抑制するための処理を実行させ、折り返り成分により影響を受けた画素である場合には、折り返り成分による偽色の発生を抑制するための処理を実行させることが可能となる。
【０１４７】
なお、折り返り成分検出部２１８から出力される折り返り成分情報は、折り返り成分が発生しているか否かを表す、例えば０または１の情報であっても良いし、折り返り成分が発生している可能性の確からしさを表す、例えば、０〜１の値を有する情報であっても良い。
【０１４８】
同様に、動物体検出部２１９から出力される動物体検出情報は、動物体による影響でブラーが発生しているか否かを表す、例えば０または１の情報であっても良いし、ブラーが発生している可能性の確からしさを表す、例えば、０〜１の値を有する情報であっても良い。
【０１４９】
ここまでの処理で、混色の抑制、折り返り成分による影響で発生する可能性のある偽色の抑制、および動物体による影響で発生する可能性のあるブラーの抑制が行われる。
【０１５０】
ブラー低減合成比率算出部２１５からのブラー低減合成比率は、長畜飽和考慮合成比率算出部２１６に供給される。
【０１５１】
長畜飽和考慮合成比率算出部２１６は、露光補正部２１２から供給される長時間露光信号を参照し、長時間露光画素Ｌは、飽和していないか否かを判定する。飽和している画素の画素値（信号）は用いず、飽和している画素に対しては、短時間露光画素Ｓの画素値（信号）を用いる比率に、供給されたブラー低減合成比率を変換する。
【０１５２】
長畜飽和考慮合成比率算出部２１６は、飽和している画素においては、長時間露光信号を用いず、短時間露光信号を用いる比率（0.0(100%短時間露光信号を使用)）を総合合成比率として後段の長短合成処理部２１７に出力し、飽和していない画素においては、入力されたブラー低減合成比率を、総合合成比率として後段の長短合成処理部２１７に出力する。
【０１５３】
総合合成比率は、平坦部では、ＳＮ比を最大にする合成比率となり、折り返り成分が発生している領域であるならば、その強度を低減させる合成比率となり、動体領域であれば、動体ボケを低減させる合成比率となっている。
【０１５４】
長短合成処理部２１７には、露光補正部２１２からの長時間露光信号と、ノイズ低減処理部２２０を介して短時間露光信号が供給される。短時間露光信号は、ノイズ低減処理部２２０によりノイズが低減された後、長短合成処理部２１７に供給される。
【０１５５】
長短合成処理部２１７は、供給された長時間露光信号と短時間露光信号を、長畜飽和考慮構成比率算出部２１６からの総合合成比率に基づき合成する。このようにして合成された信号は、ＨＤＲ画像の信号として出力される。
【０１５６】
＜折り返り成分検出部の構成＞
上記したようにＨＤＲ画像が生成されることで、ＳＮの最適化、混色の抑制、折り返り成分による影響で発生する可能性のある偽色の抑制、動物体による影響で発生する可能性のあるブラーの抑制、長時間露光信号の飽和を考慮したＨＤＲ画像を生成することができる。
【０１５７】
ＨＤＲ画像生成部２００の折り返し成分検出部２１８の構成を、図９に示す。折り返し成分検出部２１８は、上記した第１乃至第４の条件を満たすか否かを判定することで、折り返し成分を検出する。
【０１５８】
折り返し成分検出部２１８は、強彩度発生領域検出部２５１、局所色比算出部２５２、各色長短差算出部２５３、各色長短差規格化部２５４、規格化振幅強度類似度算出部２５５を含む構成とされている。
【０１５９】
折り返り成分検出部２１８には、露光補正部２１２(図８)からの長時間露光の信号と、短時間露光の信号が供給される。長時間露光の信号と、短時間露光の信号は、それぞれＲ信号、Ｇ信号、Ｂ信号があるため、折り返り成分検出部２１８には、６色の信号が供給されることになる。
【０１６０】
強彩度発生領域検出部２５１は、主に、第２の条件と第３の条件を満たす領域(画素)であるか否かを判定する部分である。
【０１６１】
強彩度発生領域検出部２５１は、色空間への変換、彩度差の検出、および特定色の検出を行う。強彩度発生領域検出部２５１は、供給された長時間露光の信号と、短時間露光の信号を、それぞれ色空間に変換する。例えば、Ｌａｂ色空間などの色空間へ転写し、彩度と色差を求め、特定色であるかが判定される。
【０１６２】
第２の条件として、“露出補正長時間露光画像μＬと露光補正短時間露光画像μＳで、彩度において大きな差が生じている”という条件があるため、まず彩度において大きな差が生じているか否かが判定される。
【０１６３】
さらに、第３の条件として、“彩度な大きな信号が緑またはマゼンタの色を有している”との条件があるため、彩度の大きな信号であると判定された領域(画素)の色は、緑またはマゼンタであるか否かが判定される。この判定結果（判定結果Ｅとする）は、局所色比算出部２５２と規格化振幅強度類似度算出部２５５に供給される。
【０１６４】
第１の条件と第４の条件を満たすか否かを判定するために、まず、各色長短差算出部２５３で、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれにおいて、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳとの差分が算出される。
【０１６５】
また各色長短差算出部２５３は、規格化を行うために、彩度が低い方の信号を用いて、算出された差分を除算する。彩度が低い方の信号とは、長時間露光信号の彩度と短時間露光信号の彩度を比較したときに低い彩度を有する方の信号である。また、彩度が低い方の信号は、折り返り成分が出ていない側の信号であると判定できることは上記した。すなわちここでは、折り返り成分が出ていない長時間露光信号または短時間露光信号が選択され、長短差分の規格化が行われる。
【０１６６】
各色長短差算出部２５３は、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれにおいて、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳとの差分を求め、その長短差分信号を、彩度が低い方のＲ信号、Ｇ信号、Ｂ信号でそれぞれ除算し、規格化された長短差分信号を生成し、後段の各色長短差分規格化部２５４に出力する。
【０１６７】
長短差分信号が、所定の値を有していれば、第１の条件、すなわち、“露出補正長時間露光画像μＬと露光補正短時間露光画像μＳとで、差が生じている”との条件が満たされていることになる。一方で、長短差分信号が、所定の値を有していなければ、第１の条件が満たされていないと判定でき、そのような場合には、後段の処理において長短差分信号が０として処理されるため、結果として、折り返り成分情報は、折り返り成分を検出していないとの判定結果になる。
【０１６８】
なお、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳとの差は、ノイズの影響で、本来なら差が生じていない状態であっても、差が算出される可能性もある。このようなことを考慮し、所定の閾値を設け、露出補正長時間露光画像μＬと露光補正短時間露光画像μＳの差分が、所定の閾値以上であるか否かを判定し、閾値以上である場合に、第１の条件が満たされると判定されるようにしても良い。
【０１６９】
局所色比算出部２５２は、彩度が低い方の信号を用いて局所的な色比を求める。局所色比算出部２５２は、強彩度発生領域検出部２５１からの判定結果Ｅを参照することで、彩度が低い方の信号を判定し、その判定に基づき、供給された露出補正長時間露光画像μＬの信号または露光補正短時間露光画像μＳの信号を選択し、局所的な色比を求める。求められたＲ、Ｇ、Ｂそれぞれの局所色比は、各色長短差規格化部２５４に供給される。
【０１７０】
各色長短差規格化部２５４は、各色長短差算出部２５３からのＲ、Ｇ、Ｂそれぞれの長短差分信号を、局所色比算出部２５２からのＲ、Ｇ、Ｂそれぞれの局所比を乗算することで、ＲＧＢの色レベルを揃え、規格化されたＲ成分の長短差分信号、規格化されたＧ成分の長短差分信号、および規格化されたＢ成分の長短差分信号を、それぞれ生成する。
【０１７１】
各色長短差規格化部２５４は、規格化されたＲ成分の長短差分信号またはＢ成分の長短差分信号のうち、規格化された値の大きい方を選択することで、ＲＢ値の一元化を行い、選択した方のＲ成分またはＢ成分の長短差分信号を、規格化振幅強度類似度算出部２５５に供給する。また、各色長短差規格化部２５４は、規格化されたＧ成分の長短差分信号を、規格化振幅強度類似度算出部２５５に供給する。
【０１７２】
規格化振幅強度類似度算出部２５５は、供給された規格化されたＧ成分の長短差分信号と、規格化されたＲ（またはＢ）成分の長短差分信号の強度の類似度と、符号の向きを評価し、両信号が、逆方法で、かつ、同振幅程度になっているか否かを判定する。この判定は、図７を参照して説明した判定であり、第４の条件を満たすか否かの判定である。
【０１７３】
このようにして、最終的に、規格化振幅強度類似度算出部２５５にて、第４の条件が満たされるか否かが判定される。規格化振幅強度類似度算出部２５５には、強彩度発生領域検出部２５１からの判定結果Ｅも供給される。この判定結果Ｅは、第２の条件と第３の条件が満たされるか否かの判定結果を含む情報である。
【０１７４】
規格化振幅強度類似度算出部２５５は、第４の条件が満たされると判定し、供給された判定結果Ｅも、第２、第３の条件を満たすと判定された結果を示している場合、処理対象とした領域(画素)は、折り返し成分が発生している領域であると、最終的な判定を行い、その判定結果を、折り返り成分情報として、折り返り低減合成比率算出部２１４と動物体検出部２１９(図８)に供給する。
【０１７５】
なお上述したように、折り返り成分検出部２１８から出力される折り返り成分情報は、折り返り成分が発生しているか否かを表す、例えば０または１の情報であっても良いし、折り返り成分が発生している可能性の確からしさを表す、例えば、０〜１の値を有する情報であっても良い。
【０１７６】
また、折り返り成分検出部２１８内の各部の演算結果において、第１乃至第４の条件のいずれかが満たされないと判定されたときには、処理対象とされている領域(画素)に対する処理を終了し、折り返り成分情報として、折り返り成分はないとの情報が出力されるようにしても良い。
【０１７７】
例えば、強彩度発生領域検出部２５１において、彩度において大きな差がないと判定された場合や、緑またはマゼンタといった色は検出されない場合、局所色比算出部２５２、各色長短差算出部２５３、各色長短差規格化部２５４における処理は行われず、規格化振幅強度類似度算出部２５５において、折り返り成分はないとの情報が出力されるようにしても良い。
【０１７８】
このように、折り返り成分検出部２１８において、折り返り成分が発生している領域を検出することができる。
【０１７９】
このように、折り返り成分が発生している領域を検出することができるようになることで、長時間露光信号と、露光比補正された短時間露光信号の差が発生する領域であったとしても、折り返り成分の検出強度が高い個所では、その差の信号値を弱めるといった処理を行うことが可能となる。このような処理が可能となることで、動物体の誤検出を防ぐことも可能となる。
【０１８０】
上記したように、ＳＮ比を最大にする合成比率を求めておき、折り返り領域であるならば、その強度を低減させる合成比率を採用し（4分割ベイヤ型配列では、右斜め模様と左斜め模様で長もしくは短を選択すればよい）、動体領域であれば、ブラー（動体ボケ）を低減させる合成比率を採用すれば、最適な合成比率を算出することができる。
【０１８１】
このように、本技術によれば、隣接２×２画素を同色の色フィルタとし、かつ２×２の色フィルタが、ベイヤ型に配置された４分割ベイヤ型配列を用いた撮像素子を用いて、空間的周期で露光時間を変化させて撮影された画像において、混色の影響を緩和し、動物体のボケ抑制、高周波信号による折り返り信号の抑制、ＳＮの最適化、長時間露光信号の飽和を考慮したＨＤＲ画像を得ることができる。
【０１８２】
＜撮像装置の使用例＞
図１０は、上述の撮像装置や撮像装置を含む電子機器を使用する使用例を示す図である。
【０１８３】
上述した撮像装置は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
【０１８４】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０１８５】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８６】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３は、バス３０４により相互に接続されている。バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
【０１８７】
入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。
【０１８８】
以上のように構成されるコンピュータでは、ＣＰＵ３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、ＲＡＭ３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８９】
コンピュータ（ＣＰＵ３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１９０】
コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ＲＯＭ３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１９１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１９３】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
【０１９４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９５】
なお、本技術は以下のような構成も取ることができる。
（１）
同一の分光感度を有する２×２個の画素を１ブロックとしたとき、前記１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、前記ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備え、
前記処理部は、
前記１ブロック内の前記長時間露光画素からの信号を加算することで、長時間露光画像を生成し、前記短時間露光画素からの信号を加算することで短時間露光画像を生成する生成部と、
前記生成部で生成された前記長時間露光画像と前記短時間露光画像を所定の合成比率で合成する合成部と、
前記長時間露光画像と前記短時間露光画像との差分から、動物体を検出する動物体検出部と、
前記長時間露光画像と前記短時間露光画像から、折り返り成分を検出する折り返り成分検出部と
を備え、
前記合成比率は、前記動物体検出部での動物体の検出結果と、前記折り返り成分検出部での折り返り成分の検出結果から設定される
撮像装置。
（２）
前記折り返り成分検出部は、前記長時間露光画像と前記短時間露光画像との差分、前記長時間露光画像と前記短時間露光画像のそれぞれ彩度が、所定の条件を満たすか否かを判定することで、前記折り返り成分を検出する
前記（１）に記載の撮像装置。
（３）
前記折り返り成分検出部は、以下の第１乃至第４の条件が満たされるか否かを判定することで、前記折り返り成分を検出する
第１の条件：長時間露光画像と短時間露光画像とで、差がある
第２の条件：長時間露光画像と短時間露光画像で、彩度において差がある
第３の条件：彩度な大きな信号が緑またはマゼンタの色を有している
第４の条件：折り返し成分がない方の信号から、発生している信号を減算すると、その差分が、Ｇ画素とＲ画素またはＧ画素とＢ画素で、逆方向で同振幅に発生している
前記（１）に記載の撮像装置。
（４）
前記短時間露光画像は、露光補正された画像である
前記（３）に記載の撮像装置。
（５）
前記長時間露光画像と前記短時間露光画像を所定の色空間に転写し、前記彩度を求める
前記（３）に記載の撮像装置。
（６）
前記合成比率は、前記折り返り成分検出部で折り返り成分が発生していると検出された画素においては、折り返り成分が発生していないと判定される前記長時間露光画像または前記短時間露光画像を多く用いる比率とされる
前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
前記合成比率は、前記動物体検出部で動物体が検出された画素であるが、前記折り返り成分検出部で折り返り成分が検出された画素においては、折り返り成分が発生していないと判定される前記長時間露光画像または前記短時間露光画像を多く用いる比率とされる
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
同一の分光感度を有する２×２個の画素を１ブロックとしたとき、前記１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、前記ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備える撮像装置の撮像方法において、
前記処理部は、
前記１ブロック内の前記長時間露光画素からの信号を加算することで、長時間露光画像を生成し、前記短時間露光画素からの信号を加算することで短時間露光画像を生成し、
生成された前記長時間露光画像と前記短時間露光画像を所定の合成比率で合成し、
前記長時間露光画像と前記短時間露光画像との差分から、動物体を検出し、
前記長時間露光画像と前記短時間露光画像から、折り返り成分を検出する
ステップを含み、
前記合成比率は、前記動物体検出部での動物体の検出結果と、前記折り返り成分検出部での折り返り成分の検出結果から設定される
撮像方法。
（９）
同一の分光感度を有する２×２個の画素を１ブロックとしたとき、前記１ブロック内の２×２個の画素のうち、２画素は、長時間露光画素であり、２画素は短時間露光画素であり、同露光時間の画素は、斜め方向に配置され、前記ブロック単位で撮像面上に配置された画素からの信号を処理する処理部を備える撮像装置に、
前記処理部は、
前記１ブロック内の前記長時間露光画素からの信号を加算することで、長時間露光画像を生成し、前記短時間露光画素からの信号を加算することで短時間露光画像を生成し、
生成された前記長時間露光画像と前記短時間露光画像を所定の合成比率で合成し、
前記長時間露光画像と前記短時間露光画像との差分から、動物体を検出し、
前記長時間露光画像と前記短時間露光画像から、折り返り成分を検出する
ステップを含む処理を実行させ、
前記合成比率は、前記動物体検出部での動物体の検出結果と、前記折り返り成分検出部での折り返り成分の検出結果から設定される
処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１９６】
１００  撮像装置，  １０１  光学レンズ，  １０２，  撮像素子，  １０３  画像処理部，  １０４  信号処理部，  １０５  制御部，  ２００  ＨＤＲ画像生成部，  ２１１  ＲＧＢ補間信号生成部，  ２１２  露光補正部，  ２１３  ＳＮ最大化合成比率算出部，  ２１４  折り返り低減合成比率算出部，  ２１５  ブラー低減合成比率算出部，  ２１６  長畜飽和考慮合成比率算出部，  ２１７  長短合成処理部，  ２１８  折り返り成分検出部，  ２１９  動物体検出部，  ２２０  ノイズ低減処理部，  ２５１  強彩度発生領域検出部，  ２５２  局所色比算出部，  ２５３  各色長短差算出部，  ２５４  各色長短差規格化部，  ２５５  規格化振幅強度類似度算出部
【図１】
2016201733.tif 000006
【図２】
2016201733.tif 000007
【図３】
2016201733.tif 000008
【図４】
2016201733.tif 000009
【図５】
2016201733.tif 000010
【図６】
2016201733.tif 000011
【図７】
2016201733.tif 000012
【図８】
2016201733.tif 000013
【図９】
2016201733.tif 000014
【図１０】
2016201733.tif 000015
【図１１】
2016201733.tif 000016