(57)【要約】【課題】連続的に撮像された画像を足し合わせることで、ノイズや偽色の低減、解像度の向上を実現する、時間軸処理におけるアーティファクトを低減できるようにする。【解決手段】入力画像の各画素にハイパスフィルタを掛けてエリアシング度を求める。入力画像と過去の入力画像である過去画像のそれぞれについて、Ｂａｙｅｒ配列におけるＲＧＢ画素のそれぞれをデモザイクによりＲＧＢの３種類の補間画像を生成し、入力画像と過去画像との画素間差分から、３種類の動体度を算出する。３種類の動体度を、エリアシング度により重み付けして出力する。動体度に応じた重み付け加算により、入力画像と過去画像とを合成する。本技術は、撮像装置に適用することができる。【選択図】図３
2016076009.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のエリアシング度を算出するエリアシング度算出部と、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、
前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部とを含み、
前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
信号処理装置。
【請求項２】
前記エリアシング度算出部は、空間的に最も密な画素信号を含むチャンネルの画素信号に基づいてエリアシング度を算出する
請求項１に記載の信号処理装置。
【請求項３】
前記エリアシング度算出部は、複数のチャンネルの重み付け加算平均により算出された輝度信号に基づいてエリアシング度を算出する
請求項１に記載の信号処理装置。
【請求項４】
前記エリアシング度算出部は、各画素位置のカラーフィルタのチャンネル信号に基づいて、複数の信号を選択し、エリアシング度を算出する
請求項１に記載の信号処理装置。
【請求項５】
前記エリアシング度算出部は、ナイキスト周波数に応じたハイパスフィルタによって、チャンネルごとのエリアシング度を算出する
請求項１に記載の信号処理装置。
【請求項６】
前記動体度算出部は、前記エリアシング度算出部により算出された前記エリアシング度に基づいて、前記複数の算出方法のいずれかを切り替えて、前記動体度を算出する
請求項１に記載の信号処理装置。
【請求項７】
前記動体度算出部は、前記エリアシング度算出部により算出された前記エリアシング度に基づいて設定される重みを用いた、前記複数の算出方法により算出された前記動体度の重み付加算平均により動体度を算出する
請求項１に記載の信号処理装置。
【請求項８】
前記動体度算出部は、チャネルごとの前記入力画像と前記過去画像との画素間の画素値の差分に基づいて前記動体度を算出する
請求項１に記載の信号処理装置。
【請求項９】
前記動体度算出部は、前記入力画像と前記過去画像との画素間の画素値の差分およびノイズモデルに基づいて前記動体度を算出する
請求項１に記載の信号処理装置。
【請求項１０】
過去に前記合成部により合成された画像を前記過去画像として保持する保持部を含む
請求項１に記載の信号処理装置。
【請求項１１】
過去の入力画像を前記過去画像として保持する保持部を含む
請求項１に記載の信号処理装置。
【請求項１２】
前記入力画像は、複数の露光条件の画素グループを持つ撮像素子より撮像されて直接入力される画像、または、前記撮像素子により撮像された後、信号処理された画像であり、
前記入力画像からダイナミックレンジの広い１枚のHDR(ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ)画像を合成するHDR合成部をさらに含み、
前記動体度算出部は、前記HDR画像と前記過去画像とにより、複数の算出方法で、複数の種別の動体度を算出する
請求項１に記載の信号処理装置。
【請求項１３】
前記撮像素子は、前記入力画像および前記過去画像間で、前記画素グループ単位の前記複数の露光条件を変化させて前記入力画像を撮像する
請求項１２に記載の信号処理装置。
【請求項１４】
前記撮像素子は、前記入力画像および前記過去画像間の露光条件として、短時間露光画素と長時間露光画素との画素位置を交互に入れ替える
請求項１２に記載の信号処理装置。
【請求項１５】
前記HDR合成部は、前記入力画像における露光条件が異なる同一画素の画素値の合成率を算出し、前記合成率に基づいて、前記入力画像における露光条件が異なる同一画素の画素値を合成し、
前記動体度算出部は、前記合成率に基づいて、前記複数の算出方法のいずれかを切り替えて、前記動体度を算出する
請求項１２に記載の信号処理装置。
【請求項１６】
過去に前記HDR画像を前記過去画像として保持する保持部を含む
請求項１２に記載の信号処理装置。
【請求項１７】
入力画像のエリアシング度を算出し、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出し、
算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する
ステップを含み、
前記動体度を算出するステップの処理は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
信号処理方法。
【請求項１８】
入力画像のエリアシング度を算出するエリアシング度算出部と、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、
前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部としてコンピュータを機能させ、
前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
プログラム。
【請求項１９】
入力画像のエリアシング度を算出するエリアシング度算出部と、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、
前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部とを含み、
前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
撮像装置。
【請求項２０】
入力画像のエリアシング度を算出するエリアシング度算出部と、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、
前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部とを含み、
前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置、および信号処理方法、撮像装置、電子機器、並びにプログラムに関し、特に、連続的に撮像された画像を足し合わせることで、ノイズや偽色の低減、解像度の向上を実現する、時間軸処理におけるアーティファクトを低減できるようにした信号処理装置、および信号処理方法、撮像装置、電子機器、並びにプログラムに関する。
【背景技術】
【０００２】
３ＤＮＲ（３次元ノイズ除去）や複数枚超解像に代表される時間軸処理は、連続的に撮像された画像を足し合わせることで、ノイズや偽色の低減、および解像度の向上を実現するものである。
【０００３】
すなわち、この時間軸処理は、異なる時間で撮像された画像を足し合わせるため、背景領域（静止画領域）においては適切な処理がなされる一方で、動体領域では、ボケや多重像といったアーティファクトが出ることがある。
【０００４】
そこで、これを防ぐために、連続する画像間で動体領域と背景領域とを判定しながら、それぞれの領域に属する画素単位で加算率を調整する技術が提案されている（特許文献１参照）。
【０００５】
ところで、一般的な撮像素子は、画素位置ごとに、Ｒｅｄチャンネル（以下、Ｒチャンネルとも称する）、Ｇｒｅｅｎチャンネル（以下、Ｇチャンネルとも称する）、およびＢｌｕｅチャンネル（以下、Ｂチャンネルとも称する）など異なる帯域の可視光を透過させるカラーフィルタが設けられている。
【０００６】
より詳細には、カラーフィルタの配列は、一般的に知られているＲ画素，Ｇ画素，Ｂ画素の３チャンネルからなるＢａｙｅｒ配列の他、Ｒ画素，Ｇ画素，Ｂ画素の３チャンネルに加えて、ホワイト画素（Ｗｈｉｔｅチャンネル（以降、Ｗチャンネルとも称する））を含めた４チャンネルとして、感度を向上させるようにしたＲＧＢＷ配列（特許文献２参照）なども提案されている。
【０００７】
また、同一面内の画素を複数感度に振り分けるようにすることで、さらに、多くのチャンネルにするようにした撮像素子も提案されている（特許文献３参照）。
【０００８】
ところが、カラーフィルタにより分離された、短一の各チャンネルの信号をそのまま用いて、動体領域と背景領域とを分離することは難しいことが知られている。
【０００９】
このようなことから、各画素位置の各チャンネルをそろえる同時化処理（デモザイク）の後に全てのチャンネルを用いて、動体領域と背景領域とを分離することが望ましいとされている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１２−１８６５９３号公報
【特許文献２】特開２０１１−０５５０３８号公報
【特許文献３】特開２０１２−２５７１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、同時化処理ではチャンネルごとのサンプリング間隔に応じたエリアシングと呼ばれる偽のテクスチャ構造を生じてしまうことがある。エリアシングに伴って生じる偽構造はモアレや、ジャギーなどと呼ばれ、画像の品質を著しく低下させることがある、エリアシングによる偽構造の強さや形は、被写体と画素の位置関係で決まる。そのため、手持ち撮像では、フレームごとにエリアシングによる影響が大きく異なり、エリアシング領域も動体と判断され、加算効果が薄くなることがあった。
【００１２】
特に、同一面内のチャンネル数が増えると、チャンネルごとの配置が粗になることから、エリアシングの偽構造が空間的に低周波にまで及び、この傾向が顕著になる。
【００１３】
すなわち、特許文献２で示されるようなＲＧＢＷ配列を利用するような場合、Ｒ画素，Ｇ画素，Ｂ画素の３チャンネルの画素とは別に、ホワイト画素が含まれる構成となるために、Ｒ，Ｇ，Ｂチャンネルの画素数は、一般的なカラーフィルタであるＢａｙｅｒ配列に比べ、少なくなる。
【００１４】
さらに、特許文献３で示されるように、同一面内の画素を複数感度に振り分ける撮像素子を用いる場合、高感度画素が飽和する明るい領域では、有効な画素数が半分になる。
【００１５】
結果として、いずれにおいてもチャンネルごとの配置が粗になることから、エリアシングの偽構造が空間的に低周波にまで及びエリアシングによる影響が大きくなる。
【００１６】
本技術は、このような状況に鑑みてなされたものであり、時間軸処理におけるエリアシングによる影響を低減し、動体領域での、ボケや多重像といったアーティファクトを低減できるようにするものである。
【課題を解決するための手段】
【００１７】
本技術の一側面の信号処理装置は、入力画像のエリアシング度を算出するエリアシング度算出部と、前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部とを含み、前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する。
【００１８】
前記エリアシング度算出部には、空間的に最も密な画素信号を含むチャンネルの画素信号に基づいてエリアシング度を算出させるようにすることができる。
【００１９】
前記エリアシング度算出部には、複数のチャンネルの重み付け加算平均により算出された輝度信号に基づいてエリアシング度を算出させるようにすることができる。
【００２０】
前記エリアシング度算出部には、各画素位置のカラーフィルタのチャンネル信号に基づいて、複数の信号を選択させ、エリアシング度を算出させるようにすることができる。
【００２１】
前記エリアシング度算出部には、ナイキスト周波数に応じたハイパスフィルタによって、チャンネルごとのエリアシング度を算出させるようにすることができる。
【００２２】
前記動体度算出部には、前記エリアシング度算出部により算出された前記エリアシング度に基づいて、前記複数の算出方法のいずれかを切り替えて、前記動体度を算出させるようにすることができる。
【００２３】
前記動体度算出部には、前記エリアシング度算出部により算出された前記エリアシング度に基づいて設定される重みを用いた、前記複数の算出方法により算出された前記動体度の重み付加算平均により動体度を算出させるようにすることができる。
【００２４】
前記動体度算出部には、チャネルごとの前記入力画像と前記過去画像との画素間の画素値の差分に基づいて前記動体度を算出させるようにすることができる。
【００２５】
前記動体度算出部には、前記入力画像と前記過去画像との画素間の画素値の差分およびノイズモデルに基づいて前記動体度を算出させるようにすることができる。
【００２６】
過去に前記合成部により合成された画像を前記過去画像として保持する保持部を含ませるようにすることができる。
【００２７】
過去の入力画像を前記過去画像として保持する保持部を含ませるようにすることができる。
【００２８】
前記入力画像は、複数の露光条件の画素グループを持つ撮像素子より撮像されて直接入力される画像、または、前記撮像素子により撮像された後、信号処理された画像とすることができ、前記入力画像からダイナミックレンジの広い１枚のHDR（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ）画像を合成するHDR合成部をさらに含ませるようにすることができ、前記動体度算出部には、前記HDR画像と前記過去画像とにより、複数の算出方法で、複数の種別の動体度を算出させるようにすることができる。
【００２９】
前記撮像素子には、前記入力画像および前記過去画像間で、前記画素グループ単位の前記複数の露光条件を変化させて前記入力画像を撮像させるようにすることができる。
【００３０】
前記撮像素子には、前記入力画像および前記過去画像間の露光条件として、短時間露光画素と長時間露光画素との画素位置を交互に入れ替えるようにさせることができる。
【００３１】
前記HDR合成部には、前記入力画像における露光条件が異なる同一画素の画素値の合成率を算出させ、前記合成率に基づいて、前記入力画像における露光条件が異なる同一画素の画素値を合成させ、前記動体度算出部には、前記合成率に基づいて、前記複数の算出方法のいずれかを切り替えて、前記動体度を算出させるようにすることができる。
【００３２】
過去に前記HDR画像を前記過去画像として保持する保持部を含ませるようにすることができる。
【００３３】
本技術の一側面の信号処理方法は、入力画像のエリアシング度を算出し、前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出し、算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成するステップを含み、前記動体度を算出するステップの処理は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する。
【００３４】
本技術の一側面のプログラムは、入力画像のエリアシング度を算出するエリアシング度算出部と、前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部としてコンピュータを機能させ、前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する。
【００３５】
本技術の一側面の撮像装置は、入力画像のエリアシング度を算出するエリアシング度算出部と、前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部とを含み、前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する。
【００３６】
本技術の一側面の電子機器は、入力画像のエリアシング度を算出するエリアシング度算出部と、前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部とを含み、前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する電子機器。
【００３７】
本技術の一側面においては、入力画像のエリアシング度が算出され、前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度が算出され、算出された動体度に基づいて、前記入力画像と、前記過去画像とが合成され、前記エリアシング度に応じて、前記複数の算出方法のいずれかが決定され、前記決定された算出方法により前記動体度が算出される。
【００３８】
本技術の一側面の信号処理装置、撮像装置、および電子機器は、それぞれ独立した装置であっても良いし、信号処理装置、撮像装置、および電子機器のそれぞれとして機能するブロックであっても良い。
【発明の効果】
【００３９】
本技術の一側面によれば、連続的に撮像された画像を足し合わせることで、ノイズや偽色の低減、解像度の向上を実現する、時間軸処理におけるアーティファクトを低減することが可能となる。
【図面の簡単な説明】
【００４０】
【図１】本技術を適用した撮像装置の第１の実施の形態の構成例を説明する図である。
【図２】図１の撮像装置における画素配列の例を示す図である。
【図３】図１の時間軸処理部の構成例を示す図である。
【図４】図２のエリアシング判定部の構成例を示す図である。
【図５】図４の補間処理部の処理例を説明する図である。
【図６】エリアシング度の算出方法を説明する図である。
【図７】図３の動体判定部の構成例を示す図である。
【図８】動体度の算出方法を説明する図である。
【図９】図１の撮像装置による画像処理を説明するフローチャートである。
【図１０】図９の時間軸処理を説明するフローチャートである。
【図１１】図１０のエリアシング判定処理を説明するフローチャートである。
【図１２】図１０の動体判定処理を説明するフローチャートである。
【図１３】本技術を適用した撮像装置の第２の実施の形態の構成例を説明する図である。
【図１４】図１３の撮像装置における画素配列の例を示す図である。
【図１５】図１３の時間軸処理部の構成例を示す図である。
【図１６】図１３の撮像装置による画像処理を説明するフローチャートである。
【図１７】図１６の時間軸処理を説明するフローチャートである。
【図１８】本技術を適用した撮像装置の第３の実施の形態の構成例を説明する図である。
【図１９】図１８の撮像装置における画素配列の例を示す図である。
【図２０】図１９の時間軸処理部の構成例を示す図である。
【図２１】図２０のHDR合成部の構成例を示す図である。
【図２２】図２０のエリアシング判定部の構成例を示す図である。
【図２３】図２０の時間軸処理部における時間軸処理を説明するフローチャートである。
【図２４】図２３のHDR合成処理を説明するフローチャートである。
【図２５】長短合成率の算出方法を説明する図である。
【図２６】図２３のエリアシング判定処理を説明するフローチャートである。
【図２７】図１９の時間軸処理部の第１の変形例を示す図である。
【図２８】図２７の動体判定部における動体判定処理を説明するフローチャートである。
【図２９】動体判定選択信号の算出方法を説明する図である。
【図３０】図１９の時間軸処理部の第２の変形例を示す図である。
【図３１】図１９の時間軸処理部の第３の変形例を示す図である。
【図３２】図１９の時間軸処理部の第４の変形例を示す図である。
【図３３】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００４１】
＜本技術を適用した撮像装置の第１の実施の形態の構成例＞
図１は、本技術を適用した撮像装置の第１の実施の形態の構成例を示している。
【００４２】
図１の撮像装置１１は、制御部３１、光学系３２、撮像素子３３、時間軸処理部３４、およびカメラ信号処理部３５を備えている。
【００４３】
制御部３１は、マイクロコンピュータなどより構成されており、撮像装置１１の動作の全体を制御する。
【００４４】
光学系３２は、レンズなどより構成されており、被写体を含む撮像領域より入射する光を光学的に集光して撮像素子３３に入射させる。
【００４５】
撮像素子３３は、光学系３２を透過して入射する入射光を、図２で示されるようなカラーフィルタを介して、それぞれの波長に対応する光を画素単位で抽出すると共に、光電変換することで電気信号からなる入力画像Ｐ１１を生成して、時間軸処理部３４に出力する。より詳細には、カラーフィルタは、例えば、図２の左部で示されるようなＲ（赤色），Ｇ（緑色），Ｂ（青色）画素からなる３チャンネルのＢｅｙｅｒ配列、または、図２の右部で示されるようなＲ，Ｇ，Ｂ，Ｗ（白色）画素からなる４チャンネルの画素配列などからなる。すなわち、入力画像Ｐ１１は、画素ごとにセンサ表面のカラーフィルタに応じた１チャンネル分の信号を保持するいわゆるＲＡＷ画像である。
【００４６】
時間軸処理部３４は、時間方向に前後するタイミングで撮像された画像を、対応する画素について、順次加算することで、ノイズを低減すると共に、解像度を向上してカメラ信号処理部３５に出力する。
【００４７】
カメラ信号処理部３５は、ホワイトバランス、デモザイク、リニアマトリクス、γ補正など、いわゆるデジタルカメラにおける現像処理を実行して撮像結果である出力画像Ｐ１２として生成して出力する。
【００４８】
＜図１の時間軸処理部の構成例＞
次に、図３を参照して、図１の時間軸処理部３４の構成例について説明する。
【００４９】
時間軸処理部３４は、エリアシング判定部５１、動体判定部５２、時間方向合成部５３、およびメモリ５４を備えている。
【００５０】
エリアシング判定部５１は、入力画像Ｐ１１の各画素について、エリアシングの程度を示すエリアシング度を判定し、このエリアシング度を動体判定部５２に出力する。より詳細には、エリアシング判定部５１は、エリアシングによる偽構造をチャンネルごとのサンプリング間隔と被写体の模様の細かさや、パターンによって、その程度を示すエリアシング度を算出する。
【００５１】
動体判定部５２は、各画素について、入力画像Ｐ１１とメモリ５４から読み込んだ過去処理結果である画像とを比較し、動体画素であるか、または静止画素であるかの程度を示す動体度を算出する。
【００５２】
時間方向合成部５３は、注目画素について、入力画像Ｐ１１とメモリ５４から読み込んだ過去の処理画像である中間画像とを、動体判定結果である動体度に基づいて、重み付加算することで、合成し、時間軸処理結果の画素値として出力すると共に、メモリ５４に書き戻し、次の入力画像Ｐ１１に対する中間画像として活用する。
【００５３】
＜図３のエリアシング判定部の構成例＞
次に、図４を参照して、図３のエリアシング判定部５１の構成例について説明する。
【００５４】
エリアシング判定部５１は、補間処理部７１およびエリアシング度算出部７２を備えている。
【００５５】
補間処理部７１は、順次赤色Ｒ，緑色Ｇ，青色Ｂの画素毎の３種類の補間画像を生成して、エリアシング度算出部７２に供給する。エリアシング度算出部７２は、それぞれの補間画像に対応するエリアシング度を算出する。
【００５６】
より詳細には、補間処理部７１は、例えば、図５の下段左部で示されるようなＢａｙｅｒ配列のＲ，Ｇ，Ｂ画素の各画素について、図５の下段右部で示されるような、それぞれのチャンネルの画像を補間生成する。
【００５７】
エリアシング度算出部７２は、補間処理部７１により補間生成された３種類の補間画像の各画素について、例えば、ハイパスフィルタなどの帯域フィルタ処理を施し、図６で示されるような関係に基づいて、３種類のエリアシング度を算出する。帯域フィルタは判定対象であるチャンネルのナイキスト周波数に応じて、適切な周波数特性のフィルタが選択されて、エリアシング度が算出される。
【００５８】
図６においては、横軸が帯域フィルタの処理がなされた帯域フィルタ出力であり、縦軸がエリアシング度である。すなわち、帯域フィルタ出力が所定の閾値TAstartを超えるまでは、エリアシング度は０とされ、閾値TAstartを超えて、閾値TAendまでは、エリアシング度は帯域フィルタ出力に対して比例値をとり、閾値TAendを超えるとエリアシング度は１とされる。
【００５９】
エリアシング度算出部７２は、注目画素の周辺画素の画素値に注目し、ナイキスト周波数を超える空間周波数、または、エリアシング信号の中でも真の信号に対してパワーが等しく位相が反転する、特定の周波数を検出する。
【００６０】
尚、エリアシング度算出部７２は、単一のチャンネル信号毎にエリアシング度を算出するようにしてもよいし、複数のチャンネル信号を組み合わせて行うようにしてもよい。また、注目画素の位置に相当する撮像素子３３上のカラーフィルタにおけるチャンネルに応じて、エリアシング判定対象のチャンネル、および判定に用いる信号のチャンネルを切り替えるようにしてもよい。さらに、補間処理部７１により補間生成される補間画像は、赤色Ｒ，緑色Ｇ，青色Ｂの画素毎の３種類の補間画像のみならず、赤色Ｒ，緑色Ｇ，青色Ｂの重み付け加算により求められる輝度値Ｌの補間画像としてもよいし、赤色Ｒ，緑色Ｇ，青色Ｂの補間画像の複数の組み合わせなどであっても良い。また、エリアシング度算出部７２は、赤色Ｒ，緑色Ｇ，青色Ｂの重み付け加算により求められる輝度値Ｌの補間画像よりエリアシング度を算出するようにしてもよい。さらに、エリアシング度算出部７２は、赤色Ｒ，緑色Ｇ，青色Ｂの補間画像の複数の組み合わせに基づいてエリアシング度を算出するようにしてもよい。
【００６１】
＜図３の動体判定部の構成例＞
次に、図７を参照して、図３の動体判定部５２の構成例について説明する。
【００６２】
動体判定部５２は、補間処理部９１−１，９１−２、および動体度算出部９２−１乃至９２−３を備えている。
【００６３】
補間処理部９１−１，９１−２は、いずれもそれぞれ入力画像Ｐ１１およびメモリ５４に記憶されている過去の画像である中間画像に基づいて、後段の動体度算出部９２−１乃至９２−３に対して、それぞれ異なる補間画像を生成して出力する。
【００６４】
すなわち、例えば、補間処理部９１−１，９１−２は、入力画像Ｐ１１およびメモリ５４の画像をそれぞれ、輝度Ｌのみの補間画像、Ｇ画素のみの補間画像、およびＲ，Ｇ，Ｂ画素からなる補間画像の、合計３種類の補間画像を生成して、それぞれ動体度算出部９２−１乃至９２−３に供給する。
【００６５】
より詳細には、補間処理部９１−１，９１−２は、例えば、Ｂａｙｅｒ配列におけるＧ画素について、図５の上段左部で示されるように、Ｇ画素について、欠陥画素となっている画素を周囲の画素を利用して補間生成（デモザイク処理）し、図５の上段右部で示されるような補間画像を生成する。また、補間処理部７１は、例えば、図５の中段左部で示されるように、Ｂａｙｅｒ配列のＲ，Ｇ，Ｂ画素の各画素について、周囲の画素の画素値の重み付加算することで輝度Ｌを求めて、図５の中段右部で示されるような輝度Ｌからなる補間画像を生成する。さらに、補間処理部９１−１，９１−２は、図５の下段左部で示されるようなＢａｙｅｒ配列のＲ，Ｇ，Ｂ画素の各画素について、図５の下段右部で示されるような、それぞれのチャンネルの画像を補間生成する。尚、補間画像の生成にあたっては、例えば、等方的な平滑化フィルタを用いて補間画素を生成するようにしてもよいし、方向判定によって補間方向を変えるような処理をするようにしてもよい。
【００６６】
動体度算出部９２−１乃至９２−３は、それぞれの補間画像の各画素について、入力画像Ｐ１１と、メモリ５４からの中間画像とを手振れ補正し、それぞれの対応する画素の画素値に基づいて、動体画素と静止画素との割合を示す動体度を算出する。より詳細には、動体度算出部９２−１乃至９２−３は、入力画像Ｐ１１と、メモリ５４からの中間画像との画素間差分を用いて、例えば、図８で示されるような、動体度を算出して、補間画像の種別に応じて、第１の動体度乃至第３の動体度として動体判定ブレンド部９３に供給する。
【００６７】
図８においては、縦軸が動体度を、横軸が入力画像Ｐ１１の画素値と、中間画像（過去の出力画像Ｐ２１）の画素値とのそれぞれの差分絶対値和をノイズの標準偏差で正規化した値を示している。
【００６８】
ここで、動体画素とは、入力画像と、過去の画像との間で異なる被写体が撮像された画素を示し、静止画素とは、同一の被写体が撮像された画素を示す。手振れ補正などにより、画素位置が調整された２枚の画像の対応する位置の画素値の差分絶対値の大きな画素は、被写体が動いた、またはカメラが動いたとして、動体画素と判定される。差分絶対値が十分大きいか否かを示す動体度は、例えば、画素位置のノイズモデルで差分絶対値が正規化された値を用いて算出する。
【００６９】
すなわち、図８においては、差分絶対値／ノイズ標準偏差が閾値TMstartまでは、動体度αMoDetがαBlendとされ、閾値TMstart乃至TMendの場合には、動体度αMoDetは、差分絶対値／ノイズ標準偏差の比例値とされ、閾値TMendを超えると０とされている。αBlendの値としては、０．５のような固定の値でも良いし、入力画像Ｐ１１と中間画像（過去の出力画像Ｐ２１）のノイズモデルから加算後のノイズが最も小さくなるようフレームごとに計算しても良い。
【００７０】
このように、差分絶対値和／ノイズ標準偏差が大きい程、動体度αMoDetは小さく、注目画素が動体画素に属していることを示し、逆に、差分絶対値和／ノイズ標準偏差が小さい程、動体度αMoDetは大きく、注目画素が静止画素に属していることを示している。
【００７１】
動体判定ブレンド部９３は、３種類の動体度の情報を、エリアシング度に基づいて、ブレンドし（混合し）て動体度として時間方向合成部５３に出力する。すなわち、動体判定ブレンド部９３により動体判定部５２は、エリアシング度に応じて動作を切り替えることとなり、動作を変化させる。
【００７２】
＜図１の撮像装置による撮像処理について＞
次に、図９のフローチャートを参照して、図１の撮像装置１１による撮像処理について説明する。
【００７３】
ステップＳ１１において、制御部３１は、撮像素子３３を制御して、光学系３２を介して入射する光を光電変換によりＲＧＢの画素よりなる画素信号に変換し、入力画像Ｐ１１を生成し、時間軸処理部３４に出力する。この一連の処理により、入力画像Ｐ１１が撮像される。
【００７４】
ステップＳ１２において、制御部３１は、時間軸処理部３４を制御して、入力画像Ｐ１１に対して時間軸処理を施して、カメラ信号処理部３５に出力させる。尚、時間軸処理の詳細については、図１０のフローチャートを参照して後述する。
【００７５】
ステップＳ１３において、制御部３１は、カメラ信号処理部３５を制御して、時間軸処理された画像にカメラ信号処理を施して、出力画像Ｐ１２として出力させる。カメラ信号処理とは、例えば、ホワイトバランス、デモザイク、リニアマトリクス、およびγ補正といった、いわゆるデジタルカメラにおける現像処理である。
【００７６】
以上の一連の処理により、撮像装置１１により被写体を含む空間からの入射光が、時間軸処理された画像として撮像される。
【００７７】
＜図３の時間軸処理部による時間軸処理＞
次に、図１０のフローチャートを参照して、図３の時間軸処理部３４による時間軸処理について説明する。
【００７８】
ステップＳ３１において、エリアシング判定部５１は、エリアシング判定処理を実行して、エリアシングの程度を示すエリアシング度を算出して動体判定部５２に供給する。
【００７９】
＜図４のエリアシング判定部によるエリアシング判定処理＞
ここで、図１１のフローチャートを参照して、図４のエリアシング判定部５１によるエリアシング判定処理について説明する。
【００８０】
ステップＳ５１において、補間処理部７１は、補間画像の種別を識別するためのカウンタｉを１に初期化して設定する。尚、エリアシング処理においては、カウンタｉ＝１のとき、例えば、ＲＧＢ画素からなるＢａｙｅｒ配列のうちのＲ画素の画素値を用いたデモザイク処理により生成される補間画像を表し、カウンタｉ＝２のとき、Ｇ画素の画素値を用いたデモザイク処理により生成される補間画像を表し、カウンタｉ＝３のとき、Ｂ画素の画素値を用いたデモザイク処理により生成される補間画像を表すものとする。
【００８１】
ステップＳ５２において、補間処理部７１は、カウンタｉの値に対応する補間画像を生成し、エリアシング度算出部７２に出力する。
【００８２】
ステップＳ５３において、エリアシング度算出部７２は、カウンタｉの値に対応する補間画像における各画素のエリアシング度を算出して、エリアシング判定結果として動体判定部５２に出力する。
【００８３】
ステップＳ５４において、補間処理部７１は、カウンタｉが３であるか否かを判定し、カウンタｉが３ではなく、３より小さい値である場合、処理は、ステップＳ５５に進む。
【００８４】
ステップＳ５５において、補間処理部７１は、カウンタｉを１インクリメントして処理は、ステップＳ５２に戻る。
【００８５】
すなわち、カウンタｉの値が１乃至３のそれぞれについて、補間画像が生成されて、エリアシング度が求められる。
【００８６】
そして、ステップＳ５４において、カウンタｉが３であり、３種類の補間画像のそれぞれについてエリアシング度が求められたとみなされた場合、処理は、終了する。
【００８７】
以上の処理により、３種類の補間画像のそれぞれについてエリアシング度が求められる。以降においては、Ｒ画素の補間画像のエリアシング度をαMeDetSelA_Rとし、Ｇ画素の補間画像のエリアシング度をαMeDetSelA_Gとし、Ｂ画素の補間画像のエリアシング度をαMeDetSelA_Bとする。
【００８８】
尚、以上の処理においては、３種類の補間画像のエリアシング度を繰り返し処理により求める例について説明してきたが、当然のことながら補間画像の種別毎に補間処理部７１およびエリアシング度算出部７２を設ける構成として、３種類の補間画像に対するエリアシング度を並列処理により求めるようにしても良い。
また、画素ごとに図１１のフローチャートに従った処理を行い、処理対象の画素を移動していくことで、補間画像を求めるようにしても良い。
【００８９】
ここで、図１０のフローチャートの説明に戻る。
【００９０】
ステップＳ３１において、エリアシング判定処理により各画素についてエリアシング度が算出されると、処理は、ステップＳ３２に進む。
【００９１】
ステップＳ３２において、動体判定部５２は、動体判定処理を実行して、入力画像Ｐ１１のそれぞれの画素について動体度を設定し、時間方向合成部５３に出力する。
【００９２】
＜図７の動体判定部による動体判定処理＞
ここで、図１２のフローチャートを参照して、図７の動体判定部５２による動体判定処理について説明する。
【００９３】
ステップＳ７１において、補間処理部９１−１，９１−２は、それぞれ補間画像の種別を識別するためのカウンタｉを１に初期化して設定する。尚、動体判定処理においては、カウンタｉ＝１のとき、輝度値Ｌからなる補間画像を、カウンタｉ＝２のとき、Ｇ画素の画素値からなる補間画像を、カウンタｉ＝３のとき、ＲＧＢ画素のそれぞれの３枚の画像からなる補間画像をそれぞれ生成するものとする。
【００９４】
ステップＳ７２において、補間処理部１１１−１，１１１−２は、それぞれカウンタｉに対応する補間画像を生成し、動体度算出部９２−ｉに出力する。
【００９５】
ステップＳ７３において、動体度算出部９２−ｉは、カウンタｉに対応する補間画像における各画素について、動体度を算出し、動体判定ブレンド部１１２に出力する。
【００９６】
より詳細には、動体度算出部９２−ｉは、現在の入力画像Ｐ１１と過去の画像とを手振れ補正などにより位置を揃えた後、それぞれの画素間の差分絶対値を算出する。さらに、動体度算出部９２は、この差分絶対値をノイズ標準偏差により正規化し、正規化値として差分絶対値／ノイズ標準偏差を算出する。そして、動体度算出部９２は、このようにして求められた正規化された差分絶対値／ノイズ標準偏差に基づいて、図８で定義されるような動体度αMoDetを算出する。
【００９７】
図８で定義される動体度αMoDetは、差分絶対値が大きく、大きな動きがあると推定される範囲の画素ほど動体度αMoDetは小さく、差分絶対値が小さく、動きがない画素ほど動体度αMoDetは大きくなる。
【００９８】
ステップＳ７４において、補間処理部１１１−１，１１１−２は、カウンタｉ＝３であるか否かを判定し、カウンタｉ＝３より小さい場合、処理は、ステップＳ７５に進む。
【００９９】
ステップＳ７５において、補間処理部１１１−１，１１１−２は、カウンタｉを１インクリメントして、処理は、ステップＳ７２に戻る。
【０１００】
そして、カウンタｉ＝１乃至３に対応する全ての動体度が算出されると、ステップＳ７４において、カウンタｉ＝３であると判定され、処理は、ステップＳ７６に進む。
【０１０１】
ステップＳ７６において、動体判定ブレンド部９３は、動体度算出部９２−１乃至９２−３のそれぞれで算出された動体度を、エリアシング判定部５１より供給されてきた３種類のエリアシング度でブレンドし（混合し）、混合結果を動体度として出力する。
【０１０２】
より詳細には、例えば、動体度算出部９２−１乃至９２−３のそれぞれにより算出された第１乃至第３の動体度が動体度αMoDet1乃至3で表される場合、混合結果となる動体度αMoDetは、以下の式（１）で表される。
【０１０３】
αMoDet
＝αMoDetSelA_G×αMoDet1
＋（１−αMoDetSelA_G）
×（αMoDetSelA_RB×αMoDet2＋（１−αMoDetSelA_RB）×αMoDet3）
・・・（１）
【０１０４】
ここで、αMoDetは、混合結果となる動体度であり、MoDet1乃至3は、動体度算出部９２−１乃至９２−３のそれぞれの動体度であり、MoDetSel_Gは、Ｇ画素の補間画像に基づいたエリアシング度であり、αMoDetSelA_RBは、Ｒ画素およびＢ画素のそれぞれのエリアシング度αMoDetSelA_R，αMoDetSelA_Bのうちのいずれか大きな方が選択されたものである。
【０１０５】
このような演算により、複数の種別の補間画像によるエリアシング度を用いた、複数の種別の動体度の重み付け加算平均を求めることで、混合し動体度を設定するようにする用にしている。この結果、ＲＧＢ画素、および輝度値Ｌのそれぞれの補間画素の強度に応じた動体度を求めることが可能となり、それぞれを混合することで、画像の性質に応じた動体度を適切に設定することが可能となる。尚、以上においては、複数の動体度をエリアシング度に基づいてブレンドする例について説明してきたが、複数の動体度のいずれかをエリアシング度に基づいて選択するようにしても良い。
【０１０６】
ここで、図１０のフローチャートの説明に戻る。
【０１０７】
ステップＳ３２において、動体判定処理により動体度が算出されると、ステップＳ３３において、時間方向合成部５３は、入力画像Ｐ１１およびメモリ５４に記憶されている過去の画像の各画素を、動体判定部５２より供給されてくる動体度に基づいて時間方向で合成し、出力画像Ｐ１２として出力する。
【０１０８】
より詳細には、時間方向合成部５３は、以下の式（２）を演算することにより入力画像Ｐ１１および過去の画像を、動体度に応じて混合する。
【０１０９】
Ｉ＝αMoDet×Ｉｍｅｍ＋（１−αMoDet）×Ｉｉｎ
・・・（２）
【０１１０】
ここで、Ｉｍｅｍは、メモリ５４に記憶されていた過去の画像の画素値を、Ｉｉｎは、入力画像Ｐ１１の画素値を、αMoDetは、動体度を、それぞれ表している。
【０１１１】
このような演算により、動体度αMoDetが高く動きがない領域の画素の場合、メモリ５４に記憶された過去の画像の画素値の割合が高くなり、逆に、動体度αMoDetが低く動きの大きい領域の画素の場合、入力画像Ｐ１１の画素値の割合が高くなる。
【０１１２】
ステップＳ３４において、メモリ５４は、出力画像Ｐ１２を後段の処理で使用する中間画像として記憶する。
【０１１３】
以上の一連の処理により、時間軸処理部３４による時間軸処理により、動きの小さな部分については、過去の画像の画素値の割合が高く、動きの大きな部分については、入力画像の画素値の割合が高い画素値が生成される。結果として、画素値の加算による、ノイズや偽色を低減する際に生じるアーティファクトを低減することが可能となる。
【０１１４】
尚、ここでは、エリアシング判定処理において、補間処理部７１−１，７１−２が、図５の下段左部で示されるようなＢａｙｅｒ配列のＲ，Ｇ，Ｂ画素の各画素について、図５の下段右部で示されるような、それぞれのチャンネルの画像を補間生成し、それぞれのエリアシング度を求める例について説明してきた。
【０１１５】
しかしながら、動体判定部５２における処理をエリアシング度に応じて切り替えられれば良いものであるので、Ｒ画素のみ、Ｇ画素のみ、Ｂ画素のみ、Ｌ画素のみのいずれかの補間画像におけるエリアシング度のみを求めて動体判定部５２に供給するようにしてもよいし、それらを組み合わせるようにしてもよい。
【０１１６】
ただし、一般にエリアシングの判定には判定対象となる信号よりも密な信号が必要となる。そこで、単一信号でエリアシング判定を行う場合には、サンプリング間隔が最も密なチャンネルを画素位置に補間して判定するようにしてもよい。
【０１１７】
＜本技術を適用した撮像装置の第２の実施の形態の構成例＞
以上においては、時間軸処理部３４の後段にカメラ信号処理部３５が設けられており、赤色Ｒ、緑色Ｇ、および青色Ｂ、並びに輝度信号Ｌの補間画像について、時間軸処理がなされた後にカメラ信号処理がなされる例について説明してきた。しかしながら、カメラ信号処理部３５を、時間軸処理部３４の前段に設ける構成とし、ＹＵＶ信号に対して、時間軸処理がなされるようにしても良い。
【０１１８】
すなわち、図１３は、カメラ信号処理部３５が、時間軸処理部３４の前段に設けられ、カメラ信号処理により生成されたＹＵＶ信号について、時間軸処理がなされる場合の撮像装置１１の構成例が示されている。尚、図１３の撮像装置１１の構成については、図１の撮像装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０１１９】
ここで、ＹＵＶ信号のそれぞれについては、図１４の左上部で示される、各画素について設定されるＹ信号からなる補間画像、図１４の中央上部で示される、水平方向に１列おきに配置されるＵ信号からなる画像の補間画像、および、図１４の右上部で示される水平方向に１列おきに配置されるＶ信号からなる画像の補間画像からなる、いわゆる４：２：２配列のものでもよい。
【０１２０】
また、ＹＵＶ信号のそれぞれについては、図１４の左下部で示される、４：２：２配列信号のＵＶ信号を垂直方向に半分に間引いた信号、いわゆる４：２：０配列のものでもよい。
【０１２１】
＜図１３の時間軸処理部の構成例＞
図１５は、図１３の時間軸処理部３４の構成例を示している。尚、図１５の時間軸処理部３４の構成については、図３の時間軸処理部３４と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０１２２】
図１５の時間軸処理部３４は、図３の時間軸処理部３４におけるメモリ５４に入力画像Ｐ１１がそのまま入力され、遅延されて後段の入力画像Ｐ１１が入力されたタイミングで、動体判定部５２および時間方向合成部５３に出力される。
【０１２３】
すなわち、図１５の時間軸処理部３４のメモリ５４においては、過去の入力画像がそのまま過去画像として利用されることになる。
【０１２４】
＜図１３の撮像装置における撮像処理＞
次に、図１６のフローチャートを参照して、図１３の撮像装置１１における撮像処理について説明する。
【０１２５】
ステップＳ１１１において、制御部３１は、撮像素子３３を制御して、光学系３２を介して入射する光を光電変換によりＲＧＢの画素よりなる画素信号に変換し、入力画像Ｐ１１を生成し、時間軸処理部３４に出力する。この一連の処理により、入力画像Ｐ１１が撮像される。
【０１２６】
ステップＳ１１２において、制御部３１は、カメラ信号処理部３５を制御して、画像にカメラ信号処理を施して、出力画像Ｐ１２として出力させる。カメラ信号処理とは、例えば、ホワイトバランス、デモザイク、リニアマトリクス、およびγ補正といった、いわゆるデジタルカメラにおける現像処理である。この時の現像画像のフォーマットは、先に図１４で説明したＹＵＶ４：２：２または４：２：０形式とすれば良い。
【０１２７】
ステップＳ１１３において、制御部３１は、時間軸処理部３４を制御して、カメラ信号処理された画像に対して時間軸処理を施して、カメラ信号処理部３５に出力する。尚、時間軸処理の詳細については、図１７のフローチャートを参照して後述する。
【０１２８】
以上の一連の処理により、撮像装置１１により被写体を含む空間からの入射光が、時間軸処理された画像として撮像される。
【０１２９】
＜図１５の時間軸処理部における時間軸処理＞
次に、図１７のフローチャートを参照して、図１５の時間軸処理部３４における時間軸処理について説明する。
【０１３０】
ステップＳ１３１において、メモリ５４は、入力画像Ｐ１１を記憶する。すなわち、この処理においては、時間軸処理される前の入力画像が、後のタイミングにおいて過去画像として利用されるために記憶される。
【０１３１】
ステップＳ１３２において、エリアシング判定部５１は、エリアシング判定処理を実行することにより、入力画像Ｐ１１の各画素についてのエリアシング度を算出して、動体判定部５２に出力する。尚、エリアシング判定部５１におけるエリアシング判定処理については、ＲＧＢ画素の画素信号に代えて、ＹＵＶ信号となる点において異なるが、処理そのものは、図１１のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。また、エリアシング判定処理において、対象とする補間画像の種別は、上述したいずれのものであってもよい。
【０１３２】
ステップＳ１３３において、動体判定部５２は、動体判定処理を実行することにより、各画素についての動体度を算出し、時間方向合成部５３に出力する。動体判定処理については、ＲＧＢ画素の画素信号に代えて、ＹＵＶ信号となる点において異なるが、処理そのものは、図１２を参照して説明した処理と同様であるので、その説明は省略する。
【０１３３】
ステップＳ１３４において、時間方向合成部５３は、動体判定部５２より供給されてくる動体度に基づいて、入力画像Ｐ１１とメモリ５４に記憶されている、過去の入力画像とを混合して、時間軸処理結果として出力する。
【０１３４】
以上の処理により、入力画像Ｐ１１の構成を、ＲＧＢ画素に代えて、ＹＵＶ信号とし、メモリ５４に格納される画像を時間軸処理された後の画像に代えて入力画像そのものとするようにしても、アーティファクトを低減した時間軸処理を実現することができる。
【０１３５】
尚、この場合、動体判定部５２により求められる動体度αMoDetは、以下の式（３）により求められることになる。
【０１３６】
αMoDet
＝αMoDetSelA_U×αMoDetSelA_V×αMoDetY
＋αMoDetSelA_U×（１−αMoDetSelA_V）×αMoDetYV
＋（１−αMoDetSelA_U）×αMoDetSelA_V×αMoDetYU
＋（１−αMoDetSelA_U）×（１−αMoDetSelA_V）×αMoDetYUV
・・・（３）
【０１３７】
ここで、αMoDetY、αMoDetU、αMoDetVは、それぞれＹＵＶ信号のそれぞれの動体度を、αMoDet_YVは、動体度αMoDetY、αMoDetVのいずれか大きい値を、αMoDet_YUは、動体度αMoDetY、αMoDetUのいずれか大きい値を、αMoDet_YUVは、動体度αMoDetY、αMoDetU、αMoDetVの最も大きな値を表している。さらに、αMoDetSelA_Y、αMoDetSelA_U、αMoDetSelA_Vは、それぞれＹＵＶ信号のそれぞれのエリアシング度を表している。
【０１３８】
また、メモリ５４に入力画像を入力する構成については、当然のことながら、上述したＲＧＢ画像を入力画像とした場合に適用してもよい。また、メモリ５４に時間軸処理部３４の処理結果を入力する構成についても、当然のことながら、上述したＹＵＶ画像を入力画像とした場合に適用してもよい。
【０１３９】
＜本技術を適用した撮像装置の第３の実施の形態の構成例＞
以上においては、撮像素子３２が、全画素について、同一の露光時間で撮像した画像信号からなる入力画像Ｐ１１を利用する例について説明してきたが、例えば、複数の露光時間が設定された画素信号を利用して生成される画像を入力画像とするようにしても良い。
【０１４０】
図１８は、複数の露光時間が設定された画素信号を利用して生成される画像を入力画像とするようにした撮像装置１１の構成例を示している。尚、図１８の撮像装置１１の構成において、図１の撮像装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０１４１】
すなわち、図１８の撮像装置１１において、図１の撮像装置１１と異なる点は、撮像装置１１に代えて、複数露光撮像素子１３１を設け、時間軸処理部３４が、複数露光撮像素子１３１により撮像された画像に対応した処理を行う点である。
【０１４２】
複数露光撮像素子１３１は、同一平面に設けられた画素単位で個別に、または、グループ単位で露光時間を制御することが可能な撮像素子である。より具体的には、例えば、図１９で示されるような露光制御を実現することが可能である。
【０１４３】
すなわち、図１９においては、赤色Ｒ，ｒ、緑色Ｇ，ｇ、青色Ｂ，ｂの画素についてのＢａｙｅｒ配列の画素配置例を示している。図１９において、大文字で示されるＲＧＢと、小文字で示されるｒｇｂとは、露光時間がそれぞれ異なることを示しており、例えば、大文字のＲＧＢで示されたグループの画素の露光時間は、小文字のｒｇｂで示されたグループの画素の露光時間よりも長い露光時間に設定することが可能である。この結果、大文字のＲＧＢで示される画素信号と、小文字のｒｇｂで示される画素信号とを個別に処理することで、同一平面の複数露光撮像素子１３１の各画素信号より、露光時間が異なる２枚の画像を撮像することも可能となる。以降においては、大文字のＲＧＢで示される画素信号と、小文字のｒｇｂで示される画素信号とを区別する場合、大文字のＲＧＢで示される画素信号を長時間露光画素信号と称し、小文字のｒｇｂで示される画素信号を短時間露光画素信号と称するものとする。
【０１４４】
また、複数露光撮像素子１３１の各画素信号のうち、例えば、明るい領域について、長時間露光画素信号が飽和してしまったような場合、短時間露光画素信号が飽和していないときには、短時間露光画素信号を採用するといったことで、白飛びを抑えるようなことが可能となる。尚、図１８の撮像装置１１における撮像処理は、基本的に、図９のフローチャートを参照して説明した撮像処理と同様であるので、その説明は省略するものとする。
【０１４５】
＜図１８の撮像装置における時間軸処理部の構成例＞
次に、図２０を参照して、図１８の撮像装置１１における時間軸処理部３４の構成例について説明する。尚、図２０の時間軸処理部３４の構成において、図３の時間軸処理部３４における構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明は適宜省略するものとする。
【０１４６】
図２０の時間軸処理部３４において、図３の時間軸処理部３４と異なる点は、新たにHDR（High Dynamic Range）合成部１５１を設け、エリアシング判定部５１に代えて、エリアシング判定部１５２を設けた点である。
【０１４７】
HDR合成部１５１は、長時間露光画素信号と、短時間露光画素信号との露光量を調整し、双方の画素信号の合成率である長短合成率を計算した後、双方の信号を長短合成率に基づいて合成して出力する。この際、時間軸処理部３４は、長短合成率の情報をエリアシング判定部１５２に出力する。
【０１４８】
エリアシング判定部１５２は、長時間露光画素信号からなる画像と、短時間露光画素信号からなる画像とからそれぞれエリアシング度を求め、長短合成率に基づいて、双方を合成してエリアシング度として出力する。
【０１４９】
＜図２０のHDR合成部の構成例＞
ここで、図２１を参照して、図２０のHDR合成部１５１の構成例について説明する。
【０１５０】
図２１のHDR合成部１５１は、補間処理部１７１、露光量調整部１７２、長短露光画像合成率算出部１７３、および長短露光画像合成部１７４を備えている。
【０１５１】
補間処理部１７１は、基本的には、図７の補間処理部９１と同様のものであるが、長時間露光画素信号、および短時間露光画素信号とに対して、それぞれ個別に補間画像を生成する。
【０１５２】
露光量調整部１７２は、補間処理部１７１により生成された補間画像の露光量を、露光条件に合わせてゲインの倍率を調整することで、複数ある露光条件を揃える。
【０１５３】
長短露光画像合成率算出部１７３は、長時間露光画素信号の画素値に応じて、短時間露光画素信号の画素値との長短合成率を設定する。すなわち、長時間露光画素信号が飽和する値よりも十分小さければ、長時間露光画素信号の合成率である長短合成率を１とし、飽和画素値に近づくにつれて、長短合成率を小さくし、飽和画素値を超えた後は、０とする。尚、HDR画像の合成では、ゲイン調整後も、異なる露光画像の間のノイズ量の違いが段差となって見えることがあるので、画像間の境界付近ではなだらかに長短合成率を変化させるようにすることが望ましい。
【０１５４】
長短露光画像合成部１７４は、露光量が調整された長時間露光画素信号と、短時間露光画素信号とを長短合成率に基づいて合成してHDR合成処理結果として出力する。
【０１５５】
＜図２０のエリアシング判定部の構成例＞
次に、図２２を参照して、図２０のエリアシング判定部１５２の構成例について説明する。
【０１５６】
エリアシング判定部１５２は、補間処理部１８１、エリアシング度算出部１８２−１，１８２−２、および合成部１８３を備えている。
【０１５７】
補間処理部１８１は、基本的には、図７の補間処理部９１と同一の機能を備えたものであるが、長時間露光画素信号に基づいた補間画像と、短時間露光画素信号に補間画像とを、繰り返し処理によりそれぞれ生成する。そして、補間処理部１８１は、長時間露光画素信号から生成した補間画像をエリアシング度算出部１８２−１に出力し、短時間露光画素信号から生成した補間画像をエリアシング度算出部１８２−２に出力する。
【０１５８】
エリアシング度算出部１８２−１は、長時間露光画素信号に基づいた補間画像よりエリアシング度を算出して合成部１８３に出力する。また、エリアシング度算出部１８２−２は、短時間露光画素信号に基づいた補間画像よりエリアシング度を算出して合成部１８３に出力する。例えば、エリアシング度算出部１８２−１，１８２−２は、露光グループごとに、Ｒ、Ｂ画素の補間画像に係るエリアシング度をＧ画素の補間画像を用いて算出するようにし、Ｇ画素の補間画像に係るエリアシング度の算出を輝度Ｌの補間画像を用いて算出するようにしても良い。
【０１５９】
合成部１８３は、長時間露光画素信号に基づいたエリアシング度と、短時間露光画素信号に基づいたエリアシング度とを、長短合成率に基づいて合成して、動体判定部５２に出力する。
【０１６０】
＜図２０の時間軸処理部による時間軸処理＞
次に、図２３のフローチャートを参照して、図２０の時間軸処理部による時間軸処理について説明する。尚、図２３のフローチャートにおけるステップＳ１５３乃至Ｓ１５５の処理については、図１０のフローチャートを参照してステップＳ３２乃至Ｓ３４の処理と同様であるので、その説明は省略する。
【０１６１】
すなわち、ステップＳ１５１において、HDR合成部１５１は、HDR合成処理を実行して、入力画像Ｐ５１に対してHDR合成処理を施して合成画像として動体判定部５２および時間方向合成部５３に出力すると共に、長短合成率の情報をエリアシング判定部１５２および動体判定部５２に出力する。尚、ステップＳ１５１におけるHDR合成処理については、図２４のフローチャートを参照して、詳細を後述する。
【０１６２】
ステップＳ１５２において、エリアシング判定部１５２は、エリアシング判定処理を実行して、入力画像Ｐ５１に基づいて、露光時間毎の補間画像を生成して、それぞれのエリアシング度を算出し、HDR合成部１５１より供給されてくる長短合成率で、合成して出力する。尚、ステップＳ１５２におけるエリアシング判定処理については、図２６のフローチャートを参照して、詳細を後述する。
【０１６３】
その後、以上の処理により求められたエリアシング度に基づいて、ステップＳ１５３乃至Ｓ１５５の処理により、動体判定処理がなされて、動体度に応じて、HDR合成された画像と、過去の処理画像とが時間方向に合成されて出力される。
【０１６４】
結果として、HDR合成された画像を用いることで、より適切にダイナミックレンジが調整された画像を用いた、ノイズや偽色の低減、解像度の向上を実現する、時間軸処理におけるアーティファクトを低減することが可能となる。
【０１６５】
＜図２１のHDR合成部によるHDR合成処理＞
次に、図２４のフローチャートを参照して、図２１のHDR合成部１５１におけるHDR合成処理について説明する。
【０１６６】
ステップＳ１７１において、補間処理部１７１は、長時間露光画素信号および短時間露光画素信号を区別するカウンタｉを１に初期化する。尚、以降においては、カウンタｉ＝１は、長時間露光画素信号が対応するものとし、カウンタｉ＝２は、短時間露光画素信号が対応するものとする。
【０１６７】
ステップＳ１７２において、補間処理部１７１は、カウンタｉに対応する画素信号について、補間画像を生成して露光量調整部１７２に出力する。すなわち、カウンタｉ＝１であれば、補間処理部１７１は、長時間露光画素信号について、補間画像を生成する。
【０１６８】
ステップＳ１７３において、補間処理部１７１は、カウンタｉが最大値であるか否かを判定する。ここで、カウンタｉは、最大値が２となるので、最大値が２よりも小さければ処理は、ステップＳ１７４に進む。
【０１６９】
ステップＳ１７４において、補間処理部１７１は、カウンタｉを１インクリメントし、処理は、ステップＳ１７２に進む。
【０１７０】
すなわち、ここでは、カウンタｉ＝２となるので、ステップＳ１７２においては、補間処理部１７１は、カウンタｉ＝２に対応する、短時間露光画素信号について、補間画像を生成する。
【０１７１】
ここで、そして、ステップＳ１７３において、カウンタｉ＝２で最大値となるので、処理は、ステップＳ１７５に進む。
【０１７２】
ステップＳ１７５において、露光量調整部１７２は、短時間露光画素信号に基づいた補間画像と、長時間露光時間画素信号に基づいた補間画像との露光量を調整し、長短露光画像合成率算出部１７３および長短露光画像合成部１７４に出力する。より具体的には、例えば、露光量調整部１７２は、暗い露光条件の画素が、最も明るくなるような露光条件に合わせるようにする。
【０１７３】
ステップＳ１７６において、長短露光画像合成率算出部１７３は、長短合成率を算出する。より具体的には、長短露光画像合成率算出部１７３は、例えば、図２５で示されるグラフで示される関係に基づいて、長短合成率を算出する。図２５においては、横軸が長時間露光画素信号の画素値ＩＬであり、縦軸が長短合成率αHDRである。すなわち、長短露光画像合成率算出部１７３は、長時間露光画素信号の画素値ＩＬが小さいときは、長時間露光画素信号の比率を高く、例えば、１に設定する。そして、長短露光画像合成率算出部１７３は、長時間露光画素信号の画素値ＩＬが閾値TSstartを超えると、長短合成率αHDRを徐々に小さく設定し、飽和画素値となる閾値TSendで０とし、それ以上の、短時間露光画素信号のみの比率に設定する。
【０１７４】
このようにすることで、長時間露光画素信号が飽和画素値になるまでは、長時間露光画素信号の割合を高く設定し、閾値TSstartを超えて、飽和画素値TSend以上になると０となるように設定される。
【０１７５】
ステップＳ１７７において、長短露光画像合成部１７４は、例えば、以下の式（４）で示されるような演算により、長時間露光画素信号より生成された補間画像と、短時間露光画素信号より生成された補間画像とを、長短合成率に基づいて合成して出力する。
【０１７６】
IHDR＝αHDR×IL＋（１−αHDR）×IS
・・・（４）
【０１７７】
ここで、IHDRは、長時間露光画素信号と短時間露光画素信号とを合成した画像信号を、αHDRは、長短合成率を、ILは、長時間露光画素信号を、ISは、短時間露光画素信号をそれぞれ表している。
【０１７８】
以上の処理により、長時間露光画素信号と短時間露光画素信号とのうち、飽和していない画素値であって、高い画素値の画素信号が優先的に利用されるような画素値とされることになり、適切にダイナミックレンジを大きくすることが可能となる。
【０１７９】
＜図２２のエリアシング判定部によるエリアシング判定処理＞
次に、図２６のフローチャートを参照して、図２２のエリアシング判定部１５２によるエリアシング判定処理について説明する。尚、図２６のフローチャートにおけるステップＳ１８１乃至Ｓ１８５までの処理については、図１１を参照して説明したステップＳ５１乃至Ｓ５５の処理と同様であるので、その説明は省略するものとする。ただし、図２６の処理においては、補間画像の種別が、図１１を参照して説明した３種類が、さらに、長時間露光画素信号からなる画像の補間画像と、短時間露光画素信号からなる画像の補間画像との２種類となる。したがって、この例においては、合計６種類の補間画像が生成されることになる。
【０１８０】
すなわち、ステップＳ１８１乃至Ｓ１８５の処理において、補間処理部１８１により長時間露光画素信号からなる補間画像と、短時間露光画素信号からなる補間画像とが生成されて、エリアシング度算出部１８２−１，１８２−２のそれぞれにおいて、長時間露光画素信号からなる補間画像のエリアシング度と、短時間露光画素信号からなる補間画像のエリアシング度が求められる。
【０１８１】
そして、ステップＳ１８６において、合成部１８３は、HDR合成部１５１より供給されてくる長短合成率の情報に基づいて、長時間露光画素信号からなる補間画像のエリアシング度と、短時間露光画素信号からなる補間画像のエリアシング度とを、合成して動体判定部５２に出力する。より詳細には、合成部１８３は、例えば、以下の式（５）で示される演算により、長時間露光画素信号からなる補間画像のエリアシング度と、短時間露光画素信号からなる補間画像のエリアシング度とを合成する。
【０１８２】
αMoDetSelA_X＝αHDR×αMoDetSelA_XL＋（１−αHDR）×αMoDetSelA_XS
・・・（５）
【０１８３】
ここで、αMoDetSelA_Xは、Xチャンネルにおけるエリアシング度を表している。このXチャンネルとは、上述した輝度値Ｌのみからなる補間画像、Ｇ画素のみからなる補間画像、およびＲＧＢ画素のうち、最も画素値の高い画素信号からなる補間画像の３種類の補間画像を識別するものである。
【０１８４】
さらに、αHDRは、長短合成率を表しており、αMoDetSelA_XL、αMoDetSelA_XSは、それぞれ長時間露光画素信号の補間画像および短時間露光画素信号の補間画像から求めたエリアシング度を表している。
【０１８５】
このような処理により、長時間露光画素信号と短時間露光画素信号とを長短合成率に基づいて合成すると共に、長時間露光画素信号からなる補間画像のエリアシング度と短時間露光画素信号からなる補間画像のエリアシング度とを長短合成率に基づいて合成するようにした。
【０１８６】
結果として、より大きなダイナミックレンジの画像信号に対しても連続撮影された画像を足し合わせることで、ノイズや偽色の低減、解像度の向上を実現する、時間軸処理におけるアーティファクトを低減することが可能となる。
【０１８７】
＜第１の変形例＞
以上においては、長時間露光画素信号と短時間露光画素信号とを長短合成率に基づいて合成すると共に、長時間露光画素信号からなる補間画像のエリアシング度と短時間露光画素信号からなる補間画像のエリアシング度とを長短合成率に基づいて合成するようにしてきた。しかしながら、さらに、動体度をブレンドする際に、長短合成率を利用するようにしてもよい。
【０１８８】
図２７は、動体度をブレンドする際に、エリアシング度に加えて長短合成率を利用するようにした時間軸処理部３４の構成例を示している。尚、図２７の時間軸処理部３４において、図３、図７、図２０、および図２１における時間軸処理部３４、動体判定部５２、およびHDR合成部１５１と同一の機能を備えた構成については、同一の名称および同一の符号を付すものとし、その説明は適宜省略するものとする。
【０１８９】
すなわち、図２７の時間軸処理部３４において、他の時間軸処理部３４と異なる構成は、動体判定部５２における動体判定ブレンド部９３に代えて動体判定ブレンド部１９１が設けられた点である。
【０１９０】
動体判定ブレンド部１９１は、複数の動体度算出部９２−１乃至９２−３より供給されてくる動体度を、エリアシング度に加えて、長短合成率を含めた条件によりブレンド率を設定して、ブレンドして動体度を算出して、時間方向合成部５３に出力する。
【０１９１】
＜図２７の動体判定部の動体判定処理＞
次に、図２８を参照して、図２７の動体判定部５２における動体判定処理について説明する。尚、図２８のフローチャートにおけるステップＳ２０１乃至Ｓ２０５の処理については、図１２のフローチャートにおけるステップＳ７１乃至Ｓ７５の処理と同様であるので、その説明は省略するものとする。
【０１９２】
すなわち、ステップＳ２０１乃至Ｓ２０５の処理により、複数の動体度算出部９２−１乃至９２−３より、複数の種別の補間画像毎の動体度が算出されて動体判定ブレンド部１９１に供給される。
【０１９３】
ステップＳ２０６において、動体判定ブレンド部１９１は、上述したHDR合成処理により算出された長短合成率に基づいて、動体判定選択信号αMoDetSelBを設定する。ここで、動体判定選択信号Ｂとは、長短合成率に基づくエリアシングの起き易さを表すものであり、０乃至１の値である。
【０１９４】
ここで、動体判定選択信号αMoDetSelBの算出方法について説明する。
【０１９５】
画像を構成する面内の画素を露光条件の異なる複数のグループに分けた場合、それらの信号を均等な重みで合成することで、擬似的に、二つのグループを合わせた密度で並べた時と同じ信号を得ることができる。これにより、単体の露光グループに対して、サンプリングの密度が上がり、エリアシングの発生を抑えることができる。
【０１９６】
そこで、このような、長短合成率の理想値をTBbaseとする。逆に言えば、長短合成率が、この理想値TBbaseからずれるとエリアシングが目立つようになる。そこで、図２９で示されるように、動体判定ブレンド部１９１は、長短合成率の理想値TBbaseからのずれ量（｜TBbase−αHDR｜）を計算し、所定の閾値TBstartまでは、エリアシングが起きにくいものとみなし、できるだけ多くのチャンネルの信号で動体判定を行うために、動体判定選択信号αMoDetSelBを０にする。
【０１９７】
また、長短合成率のTBbaseからのずれ量（｜TBbase−αHDR｜）が、所定の閾値TBstartを超えると、動体判定ブレンド部１９１は、閾値TBendまで比例関係になるように、動体判定選択信号αMoDetSelBを設定する。
【０１９８】
そして、長短合成率がTBbaseからのずれ量（｜TBbase−αHDR｜）が大きくなり、閾値TBendを超えた場合、動体判定ブレンド部１９１は、エリアシングが起きやすいものとみなし、サンプリング間隔が密な信号のみで動体判定をするように動体判定選択信号αMoDetSelBを１とする。
【０１９９】
例えば、２つの露光時間を設けて、Ｒ，Ｇ，Ｂ画素を半分ずつに分けた時には、理想値TBbaseの値として、１：１で足し込むものとするようにしてもよい。
【０２００】
尚、図２９は、縦軸が動体判定選択信号αMoDetSelBを、横軸が長短合成率の理想値TBbaseからのずれ量（｜TBbase−αHDR｜）をそれぞれ表している。
【０２０１】
ステップＳ２０７において、動体判定ブレンド部１９１は、動体判定選択信号αMoDetSelBおよびエリアシング度の情報に基づいて、複数の動体度を合成する。より詳細には、動体判定ブレンド部１９１は、例えば、以下の式（６）を算出することにより、動体判定選択信号αMoDetSelBおよびエリアシング度の情報に基づいて、複数の動体度を合成する。
【０２０２】
αMoDet
＝αMoDetSel_G×αMoDet1
＋（１−αMoDetSel_G）
×（αMoDetSelA_RB×αMoDet2＋（１−αMoDetSelA_RB）×αMoDet3）
・・・（６）
【０２０３】
ここで、αMoDetは、混合結果となる動体度であり、αMoDet1乃至3は、動体度算出部９２−１乃至９２−３のそれぞれの動体度である。また、MoDetSel_Gは、緑色Ｇの補間画像に基づいたエリアシング度と、動体判定選択信号αMoDetSelBとのいずれか大きい方の値である。さらに、αMoDetSelA_RBは、赤色Ｒおよび青色Ｂのそれぞれのエリアシング度αMoDetSelA_R，αMoDetSelA_B、および、動体判定選択信号αMoDetSelBのうちの最大値である。
【０２０４】
以上の処理により、長短合成率に基づくエリアシングの起き易さを表す動体判定選択信号αMoDetSelBと、エリアシングの起き易さを示すエリアシング度に基づいて、動体度が画素単位で算出される。
【０２０５】
結果として、より大きなダイナミックレンジの画像信号に対しても、長短合成率に基づいたエリアシングの起き易さと、エリアシングの起き易さを示すエリアシング度に基づいて、連続撮影された画像を足し合わせることで、ノイズや偽色の低減、解像度の向上を実現する、時間軸処理におけるアーティファクトを低減することが可能となる。
【０２０６】
＜第２の変形例＞
以上においては、メモリ５４には、時間方向の処理結果が記憶され、処理においても、入力画像Ｐ５１と、過去の出力画像Ｐ９１とが利用されてきたが、入力画像Ｐ５１をメモリ５４に記憶させ、過去の入力画像と、現在の入力画像とを利用する構成としてもよい。
【０２０７】
図３０は、入力画像Ｐ５１をメモリ５４に記憶させ、過去の入力画像と、現在の入力画像とを利用するようにした時間軸処理部３４の構成例を示している。尚、図３０の時間軸処理部３４は、メモリ５４が入力画像を記憶する構成とする以外は、図２０の時間軸処理部３４と同様であり、処理も同様であるので、その説明は省略するものとする。
【０２０８】
＜第３の変形例＞
以上においては、メモリ５４に記憶された画像をそのまま使用する例について説明してきたが、例えば、メモリ５４の後段にHDR処理部１５１を設けるようにして、メモリ５４に記憶されていた画像にHDR合成処理を加えて出力するようにしてもよい。
【０２０９】
図３１は、メモリ５４の後段にHDR処理部１５１を設けるようにして、メモリ５４に記憶されていた画像にHDR合成処理を加えて出力するようにした時間軸処理部３４の構成例を示している。すなわち、図３４においては、図２０におけるHDR処理部１５１に対応するHDR処理部１５１−１と、メモリ５４の後段にHDR処理部１５１−２が設けられている。尚、図３１の時間軸処理部３４は、メモリ５４の後段にHDR処理部１５１−２を設けるようにした点を除き、図３０の時間軸処理部３４と同様であり、処理も同様であるので、その説明は省略するものとする。また、同様に、図２０の時間軸処理部３４において、メモリ５４の後段にHDR処理部１５１を設けるようにしてもよい。
【０２１０】
＜第４の変形例＞
以上においては、露光時間の異なる複数露光撮像素子１３１について、長時間露光画素と短時間露光画素との配置に変化がない場合の例について説明してきたが、例えば、長時間露光画素と短時間露光画素との配置を変化させるようにしてもよい。
【０２１１】
図３２は、長時間露光画素と短時間露光画素との配置を変化させる例を示している。図３２の左部においては、図１９で示される長時間露光画素と短時間露光画素との配置の例と同様であるが、さらに、図３２の右部で示されるように、長時間露光画素と短時間露光画素との配置を入れ替えて撮像された画像を使用するようにしてもよい。
【０２１２】
以上の如く、以上の処理により、入力画像におけるエッジ部のジャギーや、モアレに起因するエリアシングの程度を示すエリアシング度を求め、エリアシング度に応じて、複数の手法で求められる動体度を選択的に、または、混合して出力し、動体度に応じて入力画像と、過去画像とを加算するようにしたので、偽色、および、多重像などのアーティファクト低減することが可能となる。
【０２１３】
尚、上述した時間軸処理部３４、およびカメラ信号処理部３５は、例えば、撮像素子３３とは別体として構成してもよいし、撮像素子３３に内蔵された構成とすることもでき、いずれにおいても撮像素子３３により撮像された画像信号を処理することができる。このような時間軸処理部３４、およびカメラ信号処理部３５と共に撮像素子３３を備えた、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【０２１４】
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２１５】
図３３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０２１６】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０２１７】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２１８】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２１９】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２２０】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０２２１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２２】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２２３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２２５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２７】
尚、本技術は、以下のような構成も取ることができる。
（１）  入力画像のエリアシング度を算出するエリアシング度算出部と、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、
前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部とを含み、
前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
信号処理装置。
（２）  前記エリアシング度算出部は、空間的に最も密な画素信号を含むチャンネルの画素信号に基づいてエリアシング度を算出する
（１）に記載の信号処理装置。
（３）  前記エリアシング度算出部は、複数のチャンネルの重み付け加算平均により算出された輝度信号に基づいてエリアシング度を算出する
（１）に記載の信号処理装置。
（４）  前記エリアシング度算出部は、各画素位置のカラーフィルタのチャンネル信号に基づいて、複数の信号を選択し、エリアシング度を算出する
（１）に記載の信号処理装置。
（５）  前記エリアシング度算出部は、ナイキスト周波数に応じたハイパスフィルタによって、チャンネルごとのエリアシング度を算出する
（１）乃至（４）のいずれかに記載の信号処理装置。
（６）  前記動体度算出部は、前記エリアシング度算出部により算出された前記エリアシング度に基づいて、前記複数の算出方法のいずれかを切り替えて、前記動体度を算出する
（１）乃至（５）のいずれかに記載の信号処理装置。
（７）  前記動体度算出部は、前記エリアシング度算出部により算出された前記エリアシング度に基づいて設定される重みを用いた、前記複数の算出方法により算出された前記動体度の重み付加算平均により動体度を算出する
（１）乃至（５）のいずれかに記載の信号処理装置。
（８）  前記動体度算出部は、チャネルごとの前記入力画像と前記過去画像との画素間の画素値の差分に基づいて前記動体度を算出する
（１）乃至（５）のいずれかに記載の信号処理装置。
（９）  前記動体度算出部は、前記入力画像と前記過去画像との画素間の画素値の差分およびノイズモデルに基づいて前記動体度を算出する
（１）乃至（５）のいずれかに記載の信号処理装置。
（１０）  過去に前記合成部により合成された画像を前記過去画像として保持する保持部を含む
（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）  過去の入力画像を前記過去画像として保持する保持部を含む
（１）乃至（９）のいずれかに記載の信号処理装置。
（１２）  前記入力画像は、複数の露光条件の画素グループを持つ撮像素子より撮像されて直接入力される画像、または、前記撮像素子により撮像された後、信号処理された画像であり、
前記入力画像からダイナミックレンジの広い１枚のHDR(ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ)画像を合成するHDR合成部をさらに含み、
前記動体度算出部は、前記HDR画像と前記過去画像とにより、複数の算出方法で、複数の種別の動体度を算出する
（１）乃至（１１）のいずれかに記載の信号処理装置。
（１３）  前記撮像素子は、前記入力画像および前記過去画像間で、前記画素グループ単位の前記複数の露光条件を変化させて前記入力画像を撮像する
（１２）に記載の信号処理装置。
（１４）  前記撮像素子は、前記入力画像および前記過去画像間の露光条件として、短時間露光画素と長時間露光画素との画素位置を交互に入れ替える
（１２）に記載の信号処理装置。
（１５）  前記HDR合成部は、前記入力画像における露光条件が異なる同一画素の画素値の合成率を算出し、前記合成率に基づいて、前記入力画像における露光条件が異なる同一画素の画素値を合成し、
前記動体度算出部は、前記合成率に基づいて、前記複数の算出方法のいずれかを切り替えて、前記動体度を算出する
（１２）乃至（１４）のいずれかに記載の信号処理装置。
（１６）  過去に前記HDR画像を前記過去画像として保持する保持部を含む
（１２）乃至（１５）のいずれかに記載の信号処理装置。
（１７）  入力画像のエリアシング度を算出し、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出し、
算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する
ステップを含み、
前記動体度を算出するステップの処理は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
信号処理方法。
（１８）  入力画像のエリアシング度を算出するエリアシング度算出部と、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、
前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部としてコンピュータを機能させ、
前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
プログラム。
（１９）  入力画像のエリアシング度を算出するエリアシング度算出部と、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、
前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部とを含み、
前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
撮像装置。
（２０）  入力画像のエリアシング度を算出するエリアシング度算出部と、
前記入力画像と、前記入力画像より過去の過去画像との比較により、複数の算出方法で、複数の種別の動体度を算出する動体度算出部と、
前記動体度算出部により算出された動体度に基づいて、前記入力画像と、前記過去画像とを合成する合成部とを含み、
前記動体度算出部は、前記エリアシング度に応じて、前記複数の算出方法のいずれかを決定し、前記決定された算出方法により前記動体度を算出する
電子機器。
【符号の説明】
【０２２８】
１１  撮像装置，  ３１  制御部，  ３２  光学系，  ３３  撮像素子，  ３４  時間軸処理部，  ３５  カメラ信号処理部，  ５１  エリアシング判定部，  ５２  動体判定部，  ５３  時間方向合成部，  ５４  メモリ，  ７１  補間処理部，  ７２  エリアシング度算出部，  ９１−１，９１−２  補間処理部，  ９２−１乃至９２−３  動体度算出部，  ９３  動体判定ブレンド部，  １３１  複数露光撮像素子，  １５１、１５１−１，１５１−２  HDR合成部，  １５２  エリアシング判定部，  １７１  補間処理部，  １７２  露光量調整部，  １７３  長短露光画像合成率算出部，  １７４  長短露光画像合成部，  １８１  補間処理部，  １８１−１，１８１−２  エリアシング度算出部，  １８３  合成部，  １９１  動体判定ブレンド部
【図１】
2016076009.tif 000003
【図２】
2016076009.tif 000004
【図３】
2016076009.tif 000005
【図４】
2016076009.tif 000006
【図５】
2016076009.tif 000007
【図６】
2016076009.tif 000008
【図７】
2016076009.tif 000009
【図８】
2016076009.tif 000010
【図９】
2016076009.tif 000011
【図１０】
2016076009.tif 000012
【図１１】
2016076009.tif 000013
【図１２】
2016076009.tif 000014
【図１３】
2016076009.tif 000015
【図１４】
2016076009.tif 000016
【図１５】
2016076009.tif 000017
【図１６】
2016076009.tif 000018
【図１７】
2016076009.tif 000019
【図１８】
2016076009.tif 000020
【図１９】
2016076009.tif 000021
【図２０】
2016076009.tif 000022
【図２１】
2016076009.tif 000023
【図２２】
2016076009.tif 000024
【図２３】
2016076009.tif 000025
【図２４】
2016076009.tif 000026
【図２５】
2016076009.tif 000027
【図２６】
2016076009.tif 000028
【図２７】
2016076009.tif 000029
【図２８】
2016076009.tif 000030
【図２９】
2016076009.tif 000031
【図３０】
2016076009.tif 000032
【図３１】
2016076009.tif 000033
【図３２】
2016076009.tif 000034
【図３３】
2016076009.tif 000035