(57)【要約】【課題】動被写体検出処理に必要となる画像の情報量を低減させる。【解決手段】画像処理装置は、生成部および検出部を具備する画像処理装置である。この画像処理装置が具備する生成部は、異なる露光時間で撮像された複数の画像に基づいて、それらの画像の明るさの指標を表す指標情報を生成するものである。また、その画像処理装置が具備する検出部は、その生成部により生成された指標情報（画像の明るさの指標を表す指標情報）に基づいて、画像に含まれる動被写体を検出するものである。【選択図】図１
2015144339.tif 000002
【特許請求の範囲】
【請求項１】
異なる露光時間で撮像された複数の画像に基づいて前記画像の明るさの指標を表す指標情報を生成する生成部と、
前記指標情報に基づいて前記画像に含まれる動被写体を検出する検出部と
を具備する画像処理装置。
【請求項２】
前記生成部は、前記複数の画像の画素値と閾値との比較結果に基づいて前記指標情報を画素毎に生成する請求項１記載の画像処理装置。
【請求項３】
前記複数の画像は、短時間露光画像および長時間露光画像であり、
前記生成部は、前記短時間露光画像の画素値および前記長時間露光画像の画素値の和と前記短時間露光画像の画素値とにより特定される値と、前記閾値との比較結果に基づいて前記指標情報を画素毎に生成する
請求項２記載の画像処理装置。
【請求項４】
前記複数の画像は、短時間露光画像および長時間露光画像であり、
前記生成部は、前記短時間露光画像の画素値と前記長時間露光画像の画素値とにより特定される値と、前記閾値との比較結果に基づいて前記指標情報を画素毎に生成する
請求項２記載の画像処理装置。
【請求項５】
前記複数の画像は、短時間露光画像および長時間露光画像であり、
前記生成部は、前記複数の画像を合成して合成画像を生成する画像合成処理において前記長時間露光画像の画素が使用される第１レベルと、前記画像合成処理において前記長時間露光画像の画素および前記短時間露光画像の画素の和が使用される第２レベルと、前記画像合成処理において前記短時間露光画像の画素が使用される第３レベルと、前記第２レベルおよび前記第３レベルの中間に属する第４レベルとに、前記画像を構成する各画素を分類して符号化することにより前記指標情報を画素毎に生成する
請求項１記載の画像処理装置。
【請求項６】
前記複数の画像は、短時間露光画像および長時間露光画像であり、
前記生成部は、前記短時間露光画像および前記長時間露光画像のうちの前記長時間露光画像のみを生成する露光方式により撮像動作が行われている場合には、前記長時間露光画像に基づいて露光時間の比に応じた仮想的な短時間露光画像を生成して用いる
請求項１記載の画像処理装置。
【請求項７】
前記検出部は、異なる時間に生成された複数の前記指標情報に基づいて前記動被写体を検出する請求項１記載の画像処理装置。
【請求項８】
前記検出部は、第１時刻に生成された前記指標情報である第１指標情報と、前記第１時刻よりも後の第２時刻に生成された前記指標情報である第２指標情報との比較結果に基づいて前記動被写体を検出する請求項７記載の画像処理装置。
【請求項９】
前記検出部は、前記第１指標情報と前記第２指標情報との遷移に基づいて前記動被写体を検出する請求項８記載の画像処理装置。
【請求項１０】
前記検出部は、比較対象となる注目画素における前記第１指標情報および前記第２指標情報の遷移と、前記注目画素の近傍の画素における前記第２指標情報とに基づいて前記動被写体を検出する請求項９記載の画像処理装置。
【請求項１１】
前記検出部は、比較対象となる注目画素における前記第１指標情報および前記第２指標情報の遷移と、前記注目画素の近傍の画素における前記第２指標情報が全て特定の指標情報であるか否かとに基づいて前記動被写体を検出する請求項９記載の画像処理装置。
【請求項１２】
前記指標情報を圧縮する圧縮部と、
前記圧縮された指標情報を保持するメモリと、
前記メモリに保持されている前記圧縮された指標情報を読み出して伸張する伸張部とをさらに具備し、
前記検出部は、前記伸張された指標情報に基づいて前記動被写体を検出する
請求項１記載の画像処理装置。
【請求項１３】
前記複数の画像を合成して合成画像を生成する画像合成部と、
前記検出された動被写体に関する情報に基づいて前記合成画像を補正する画像補正部と
をさらに具備する請求項１記載の画像処理装置。
【請求項１４】
異なる露光時間で撮像された複数の画像に基づいて前記画像の明るさの指標を表す指標情報を生成する生成手順と、
前記指標情報に基づいて前記画像に含まれる動被写体を検出する検出手順と
を具備する画像処理方法。
【請求項１５】
異なる露光時間で撮像された複数の画像に基づいて前記画像の明るさの指標を表す指標情報を生成する生成手順と、
前記指標情報に基づいて前記画像に含まれる動被写体を検出する検出手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置に関する。詳しくは、画像に含まれる動被写体を検出する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物や動物等の被写体を撮像して画像（画像データ）を生成し、この画像（画像データ）を画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の画像処理装置が普及している。
【０００３】
ここで、例えば、明暗の差が大きいシーンについて撮像動作を行う場合には、画像処理装置が備える撮像素子のダイナミックレンジが不足することが想定される。このように撮像素子のダイナミックレンジが不足する場合には、例えば、撮像動作により生成される画像における明るい部分が飽和して白トビが生じることがある。
【０００４】
そこで、異なる露光時間の撮像動作により生成される長時間露光画像および短時間露光画像を合成することにより、ダイナミックレンジが拡張された合成画像を生成する画像処理装置が提案されている。しかしながら、合成画像の生成に用いられる画像に動被写体（動く被写体）が含まれている場合には、動被写体の領域に偽色やノイズ等が発生し、画像の品質が低下するおそれがある。
【０００５】
そこで、例えば、複数の合成画像の画素値差分を取得し、この画素値差分と予め設定した閾値との比較を行い、画素値差分が閾値以上である領域を動被写体領域として推定する画像処理装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−８７２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の従来技術では、画像に含まれる動被写体を検出することができる。このため、合成画像に動被写体が含まれる場合でも、その動被写体の領域を考慮して合成画像を補正することができる。
【０００８】
しかしながら、上述の従来技術では、動被写体検出処理に、複数の画像を保持するための画像メモリが必要となる。このため、その画像メモリを画像処理装置に備えるためのコストが増大する。そこで、動被写体検出処理に必要となる画像の情報量を低減させ、画像処理装置のコストを低減させることが重要である。
【０００９】
本技術はこのような状況に鑑みて生み出されたものであり、動被写体検出処理に必要となる画像の情報量を低減させることを目的とする。
【課題を解決するための手段】
【００１０】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、異なる露光時間で撮像された複数の画像に基づいて上記画像の明るさの指標を表す指標情報を生成する生成部と、上記指標情報に基づいて上記画像に含まれる動被写体を検出する検出部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、指標情報を生成し、この指標情報に基づいて動被写体を検出するという作用をもたらす。
【００１１】
また、この第１の側面において、上記生成部は、上記複数の画像の画素値と閾値との比較結果に基づいて上記指標情報を画素毎に生成するようにしてもよい。これにより、複数の画像の画素値と閾値との比較結果に基づいて、指標情報を画素毎に生成するという作用をもたらす。
【００１２】
また、この第１の側面において、上記複数の画像は、短時間露光画像および長時間露光画像であり、上記生成部は、上記短時間露光画像の画素値および上記長時間露光画像の画素値の和と上記短時間露光画像の画素値とにより特定される値と、上記閾値との比較結果に基づいて上記指標情報を画素毎に生成するようにしてもよい。これにより、短時間露光画像の画素値および長時間露光画像の画素値の和と短時間露光画像の画素値とにより特定される値と、閾値との比較結果に基づいて、指標情報を画素毎に生成するという作用をもたらす。
【００１３】
また、この第１の側面において、上記複数の画像は、短時間露光画像および長時間露光画像であり、上記生成部は、上記短時間露光画像の画素値と上記長時間露光画像の画素値とにより特定される値と、上記閾値との比較結果に基づいて上記指標情報を画素毎に生成するようにしてもよい。これにより、短時間露光画像の画素値と長時間露光画像の画素値とにより特定される値と、閾値との比較結果に基づいて、指標情報を画素毎に生成するという作用をもたらす。
【００１４】
また、この第１の側面において、上記複数の画像は、短時間露光画像および長時間露光画像であり、上記生成部は、上記複数の画像を合成して合成画像を生成する画像合成処理において上記長時間露光画像の画素が使用される第１レベルと、上記画像合成処理において上記長時間露光画像の画素および上記短時間露光画像の画素の和が使用される第２レベルと、上記画像合成処理において上記短時間露光画像の画素が使用される第３レベルと、上記第２レベルおよび上記第３レベルの中間に属する第４レベルとに、上記画像を構成する各画素を分類して符号化することにより上記指標情報を画素毎に生成するようにしてもよい。これにより、第１乃至第４レベルに各画素を分類して符号化するという作用をもたらす。
【００１５】
また、この第１の側面において、上記複数の画像は、短時間露光画像および長時間露光画像であり、上記生成部は、上記短時間露光画像および上記長時間露光画像のうちの上記長時間露光画像のみを生成する露光方式により撮像動作が行われている場合には、上記長時間露光画像に基づいて露光時間の比に応じた仮想的な短時間露光画像を生成して用いるようにしてもよい。これにより、長時間露光画像のみを生成する露光方式により撮像動作が行われている場合には、仮想的な短時間露光画像を生成して用いるという作用をもたらす。
【００１６】
また、この第１の側面において、上記検出部は、異なる時間に生成された複数の上記指標情報に基づいて上記動被写体を検出するようにしてもよい。これにより、異なる時間に生成された複数の指標情報に基づいて、動被写体を検出するという作用をもたらす。
【００１７】
また、この第１の側面において、上記検出部は、第１時刻に生成された上記指標情報である第１指標情報と、上記第１時刻よりも後の第２時刻に生成された上記指標情報である第２指標情報との比較結果に基づいて上記動被写体を検出するようにしてもよい。これにより、第１指標情報および第２指標情報の比較結果に基づいて、動被写体を検出するという作用をもたらす。
【００１８】
また、この第１の側面において、上記検出部は、上記第１指標情報と上記第２指標情報との遷移に基づいて上記動被写体を検出するようにしてもよい。これにより、第１指標情報と第２指標情報との遷移に基づいて、動被写体を検出するという作用をもたらす。
【００１９】
また、この第１の側面において、上記検出部は、比較対象となる注目画素における上記第１指標情報および上記第２指標情報の遷移と、上記注目画素の近傍の画素における上記第２指標情報とに基づいて上記動被写体を検出するようにしてもよい。これにより、注目画素における第１指標情報および第２指標情報の遷移と、注目画素の近傍の画素における第２指標情報とに基づいて、動被写体を検出するという作用をもたらす。
【００２０】
また、この第１の側面において、上記検出部は、比較対象となる注目画素における上記第１指標情報および上記第２指標情報の遷移と、上記注目画素の近傍の画素における上記第２指標情報が全て特定の指標情報であるか否かとに基づいて上記動被写体を検出するようにしてもよい。これにより、注目画素における第１指標情報および第２指標情報の遷移と、注目画素の近傍の画素における第２指標情報が全て特定の指標情報であるか否かとに基づいて、動被写体を検出するという作用をもたらす。
【００２１】
また、この第１の側面において、上記指標情報を圧縮する圧縮部と、上記圧縮された指標情報を保持するメモリと、上記メモリに保持されている上記圧縮された指標情報を読み出して伸張する伸張部とをさらに具備し、上記検出部は、上記伸張された指標情報に基づいて上記動被写体を検出するようにしてもよい。これにより、指標情報を圧縮し、この圧縮された指標情報をメモリに保持させ、メモリに保持されている指標情報を読み出して伸張し、この伸張された指標情報に基づいて、動被写体を検出するという作用をもたらす。
【００２２】
また、この第１の側面において、上記複数の画像を合成して合成画像を生成する画像合成部と、上記検出された動被写体に関する情報に基づいて上記合成画像を補正する画像補正部とをさらに具備するようにしてもよい。これにより、複数の画像を合成して合成画像を生成し、検出された動被写体に関する情報に基づいて合成画像を補正するという作用をもたらす。
【発明の効果】
【００２３】
本技術によれば、動被写体検出処理に必要となる画像の情報量を低減させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２４】
【図１】本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【図２】本技術の基礎となる光電変換素子の電荷量の遷移を表す図である。
【図３】本技術の第１の実施の形態における撮像デバイス１１０により生成される画像の流れの一部を簡略化して示す図である。
【図４】本技術の第１の実施の形態における撮像デバイス１１０を構成する光電変換素子の電荷量の遷移を表す図である。
【図５】本技術の第１の実施の形態における符号生成部１４０による符号生成処理の一例を模式的に示す図である。
【図６】本技術の第１の実施の形態における動被写体検出部１６０による動被写体検出処理の際に用いられる検出条件の一例を示す図である。
【図７】本技術の第１の実施の形態における画像処理装置１００による動被写体検出処理の処理手順の一例を示すフローチャートである。
【図８】本技術の第２の実施の形態における画像処理装置３００の機能構成例を示すブロック図である。
【図９】本技術の第２の実施の形態における符号圧縮部３１０による符号圧縮例と、符号伸張部３３０による符号伸張例とを模式的に示す図である。
【図１０】本技術の第３の実施の形態における動被写体検出部１６０による動被写体検出処理の際に用いられる検出条件の一例を示す図である。
【図１１】本技術の第３の実施の形態における動被写体検出部１６０による動被写体検出処理に用いられる画像の遷移例を示す図である。
【図１２】本技術の第３の実施の形態における動被写体検出部１６０による動被写体検出処理に用いられる画像の遷移例を示す図である。
【図１３】本技術の第４の実施の形態における撮像デバイス１１０を構成する光電変換素子の電荷量の遷移を表す図である。
【図１４】本技術の第４の実施の形態における動被写体検出部１６０による動被写体検出処理の際に用いられる検出条件の一例を示す図である。
【図１５】本技術の第４の実施の形態における動被写体検出部１６０による動被写体検出処理に用いられる画像の遷移例を示す図である。
【図１６】本技術の第５の実施の形態における撮像デバイス１１０を構成する光電変換素子の電荷量の遷移を表す図である。
【図１７】本技術の第５の実施の形態における符号生成部１４０による符号生成処理の一例を模式的に示す図である。
【図１８】本技術の第６の実施の形態における積層型ＣＭＯＳイメージセンサを簡略化して示す図である。
【図１９】本技術の第６の実施の形態における積層型ＣＭＯＳイメージセンサ７００の機能構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（入力画像を画素毎に符号化する例）
２．第２の実施の形態（入力画像を画素毎に符号化してブロック単位で圧縮する例）
３．第３の実施の形態（注目画素における過去符号および現在符号の遷移と、近傍画素の現在符号のばらつきとを考慮して動被写体を検出する例）
４．第４の実施の形態（注目画素における過去符号および現在符号の遷移を考慮して検出された動被写体検出領域から、動被写体ではない十分条件を満たす領域を除外する例）
５．第５の実施の形態（異なる露光制御方式を用いる例）
６．第６の実施の形態（積層型ＣＭＯＳイメージセンサに適用する例）
【００２６】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本技術の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。
【００２７】
画像処理装置１００は、撮像デバイス１１０と、画像メモリ１２０と、画像合成部１３０と、符号生成部１４０と、符号メモリ１５０と、動被写体検出部１６０と、画像補正部１７０とを備える。
【００２８】
撮像デバイス１１０は、露光時間の異なる複数の画像を生成するものであり、生成された複数の画像を画像メモリ１２０に保持させる。例えば、撮像デバイス１１０は、図３に示すように、短時間露光画像２０１および長時間露光画像２０２を生成する。この場合に、長時間露光画像２０２の露光時間ＴＬは、短時間露光画像２０１の露光時間ＴＳよりも長いものとする（すなわち、ＴＳ＜ＴＬ）。なお、本技術の実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの両方の意味を含むものとする。
【００２９】
また、撮像デバイス１１０は、例えば、撮像素子により実現される。この撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いることができる。また、他の撮像素子（例えば、特開２００８−９９１５８号公報に記載された構成を持つ撮像素子）を用いるようにしてもよい。
【００３０】
画像メモリ１２０は、撮像デバイス１１０により生成された複数の画像を保持するメモリであり、保持されている画像を画像合成部１３０および符号生成部１４０に供給する。例えば、図３に示すように、短時間露光画像２０１および長時間露光画像２０２が画像メモリ１２０に保持される。なお、画像メモリ１２０に保持される画像は、フレーム単位とするようにしてもよく、ライン単位とするようにしてもよい。
【００３１】
画像合成部１３０は、画像メモリ１２０に保持されている画像（露光時間の異なる複数の画像）を取得して、これらの各画像を用いて合成画像を生成するものである。そして、画像合成部１３０は、その生成された合成画像を画像補正部１７０に供給する。例えば、画像合成部１３０は、異なる露光時間の複数の画像を組み合わせて、飽和画素値となる白とび画素を排除した合成画像を生成する。
【００３２】
符号生成部１４０は、画像メモリ１２０に保持されている画像（露光時間の異なる複数の画像）を取得して、これらの各画像に基づいて、画像の明るさの指標を表す指標情報を生成するものである。そして、符号生成部１４０は、その生成された指標情報を動被写体検出部１６０に供給するとともに、符号メモリ１５０に保持させる。なお、本技術の実施の形態では、画像の明るさの指標を表す指標情報の一例として、符号情報（０乃至４）を生成する例を示す。なお、符号生成部１４０は、特許請求の範囲に記載の生成部の一例である。
【００３３】
符号メモリ１５０は、符号生成部１４０により生成された指標情報（例えば、符号情報（０乃至４））を保持するものであり、保持されている指標情報を動被写体検出部１６０に供給する。例えば、符号メモリ１５０に保持された符号（第Ｎ−１フレームについて生成された符号）は、第Ｎフレームの入力画像に対する動被写体検出において利用される。
【００３４】
動被写体検出部１６０は、符号生成部１４０により生成された指標情報（例えば、符号情報（０乃至４））に基づいて、画像に含まれる動被写体を検出するものである。例えば、動被写体検出部１６０は、符号メモリ１５０に保持されている符号と、符号生成部１４０から出力された符号とに基づいて、撮像デバイス１１０により生成された画像に含まれる動被写体を検出する。そして、動被写体検出部１６０は、検出された動被写体に関する情報（動被写体情報）を生成して画像補正部１７０に出力する。なお、動被写体検出部１６０は、特許請求の範囲に記載の検出部の一例である。
【００３５】
画像補正部１７０は、画像合成部１３０により生成された合成画像を補正するものであり、その補正された画像（補正画像）を出力する。例えば、画像合成部１３０により生成された合成画像に動被写体が含まれる場合には、その合成画像は、その動被写体により偽色やノイズ等が発生している領域（画質劣化領域）を含むことになる。そこで、画像補正部１７０は、動被写体検出部１６０から出力された動被写体情報に基づいて、画像合成部１３０により生成された合成画像における画質劣化領域を補正する。なお、画像補正部１７０による補正処理は、デモザイク処理前の画像について行うようにしてもよく、デモザイク処理後の画像について行うようにしてもよく、両方または何れかを利用するようにしてもよい。また、画像補正部１７０は、動被写体検出部１６０から出力された動被写体情報に基づいて、他の補正処理を行うようにしてもよい（例えば、特開２００８−２２７６９７号公報参照。）。
【００３６】
［合成画像および動被写体の関係例］
ここで、ダイナミックレンジの広い画像を生成する際に用いられる短時間露光画像および長時間露光画像の生成例について説明する。ここでは、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に用いられるＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を用いる例を示す。
【００３７】
このような固体撮像素子は、入射光量に応じた電荷を蓄積し、この蓄積された電荷に対応する電気信号を出力する光電変換を行う。ただし、光電変換を行う光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると、蓄積電荷量が飽和レベルに達してしまう。このため、一定以上の明るさの被写体領域は、飽和した輝度レベルに設定される、いわゆる、白とびが発生する。
【００３８】
このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御する処理が行われる。例えば、明るい被写体に対しては、シャッタを高速に切ることにより露光時間を短縮し、光電変換素子における電荷蓄積期間を短くする。これにより、蓄積電荷量が飽和レベルに達する前に電気信号を出力させることができる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
【００３９】
しかしながら、明るい部分と暗い部分とが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないおそれがある。このように、十分な露光時間がとれない場合には、Ｓ／Ｎ（Signal to Noise Ratio）が劣化して画質が落ちることになる。
【００４０】
このように明るい部分と暗い部分とが混在する被写体の撮影画像において、明るい部分と暗い部分との輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素については、長い露光時間として高いＳ／Ｎを実現する必要がある。また、入射光が多い画素については、飽和を回避する処理が必要となる。
【００４１】
このような処理を実現する手法として、露光時間の異なる複数の画像を利用する手法が知られている。この手法では、暗い画像領域では、長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では、短時間露光画像を利用して最適な画素レベルを決定する。このように、複数の異なる露光画像を合成することにより、白とびのないダイナミックレンジの広い画像を得ることができる。この例を図２に示す。
【００４２】
図２は、本技術の基礎となる光電変換素子の電荷量の遷移を表す図である。図２では、複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る構成を開示する。また、図２では、撮像デバイスが生成する２つの異なる露光時間の画像（長時間露光画像、短時間露光画像）の特性について説明する。
【００４３】
撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０乃至６０ｆｐｓ（frame per second））内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。
【００４４】
また、図２に示すグラフにおいて、横軸は、時間軸（ｔ）であり、縦軸は、固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）を表す軸である。
【００４５】
例えば、受光フォトダイオード（ＰＤ）の受光量が多い場合（すなわち、明るい被写体に対応する場合）には、高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない場合（すなわち、暗い被写体に対応する場合）には、低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。
【００４６】
また、時間ｔ０乃至ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。また、低輝度領域１２に対応する直線は、時間ｔ３においても電荷蓄積量は飽和レベルに達しない（非飽和点Ｐｙ）。このため、その電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。
【００４７】
しかしながら、高輝度領域１１に対応する直線は、時間ｔ３に至る以前に、既に電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達する。したがって、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。
【００４８】
そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間（例えば、時間ｔ１（電荷掃き出し開始点Ｐ１））において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。この場合に、電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。
【００４９】
この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ１からｔ２）とした短時間露光を実行する。すなわち、短時間露光開始点Ｐ２から短時間露光終了点Ｐ３までの期間の短時間露光を行う。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。
【００５０】
ここで、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域１１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する場合を想定する。この場合には、同一時間露光を行った場合の推定電荷蓄積量、または、その推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。
【００５１】
このように、短時間露光画像と長時間露光画像とを組み合わせることにより、白とびのないダイナミックレンジの広い画像を得ることができる。
【００５２】
しかしながら、このような異なる露光量の複数画像は、時間的に異なるタイミングで撮影した画像となる。したがって、その間に被写体の動きが発生すると、画像の合成時に画像のずれが発生する。この結果、動く被写体領域の画像部分に偽色やノイズ等が発生し、画像の品質が低下するおそれがある。
【００５３】
そこで、本技術の実施の形態では、画像に含まれる動被写体を適切に検出する例を示す。この場合に、動被写体検出処理に必要となる画像の情報量を低減させ、画像処理装置のコストを低減させることが重要である。そこで、本技術の実施の形態では、動被写体検出処理に必要となる画像の情報量を低減させる例を示す。
【００５４】
［短時間露光画像および長時間露光画像の流れ例］
図３は、本技術の第１の実施の形態における撮像デバイス１１０により生成される画像の流れの一部を簡略化して示す図である。
【００５５】
上述したように、撮像デバイス１１０は、短時間露光画像２０１および長時間露光画像２０２を生成し、この生成された短時間露光画像２０１および長時間露光画像２０２を画像メモリ１２０に保持させる。
【００５６】
画像メモリ１２０に保持されている短時間露光画像２０１および長時間露光画像２０２は、画像合成部１３０および符号生成部１４０に供給される。
【００５７】
［電荷量の遷移例］
図４は、本技術の第１の実施の形態における撮像デバイス１１０を構成する光電変換素子の電荷量の遷移を表す図である。
【００５８】
ここで、符号生成部１４０により符号を生成する場合における符号の判定方法は、露光方式に依存する。このため、図４では、露光方式の一例（例えば、特開２００８−９９１５８号公報参照。）を用いた場合の遷移例を示す。
【００５９】
図４に示すグラフの横軸は時間を表し、縦軸は電荷量を表す。また、長時間露光画像の蓄積時間をＴＬで表し、短時間露光画像の蓄積時間をＴＳで表す。
【００６０】
また、画素の電荷蓄積の飽和レベルをＱ１で表し、短時間露光画像の読み出しのための中間電位をＱ２で表す。また、時間Ｔ１は、短時間露光を開始する前に中間電位Ｑ２にリセットするタイミングを表す。また、時間Ｔ２は、期間ＴＳに蓄積した電荷を読み出すタイミングを表す。また、時間Ｔ３は、期間ＴＬに蓄積した電荷を読み出すタイミングを表す。
【００６１】
例えば、中間電位Ｑ２を基準として期間ＴＳの間に露光された電荷が読み出され、ＡＤ変換されたものが短時間露光画像として撮像デバイス１１０から出力される。また、期間ＴＬ後に光電変換素子に残った電荷が読み出され、ＡＤ変換されたものが長時間露光画像として撮像デバイス１１０から出力される。
【００６２】
ここで、低輝度信号の場合には、点線の直線２１１に示すように、電荷の蓄積過程を経る。このため、長時間露光画像に真値が現れる。また、高輝度信号の場合には、実線の直線２１３に示すように、電荷の蓄積過程を経る。このため、短時間露光画像の画素値に、露光時間の比に応じたゲイン（ＴＬ／ＴＳ）を乗じることにより真値を算出することができる。
【００６３】
また、中輝度信号の場合には、点線の直線２１２に示すように、電荷の蓄積過程を経る。このため、短時間露光画像の画素値と長時間露光画像の画素値とを加算することにより真値を算出することができる。
【００６４】
このように生成される短時間露光画像の画素値と長時間露光画像の画素値とを用いて、符号生成部１４０は、画像の明るさの指標を表す符号（指標情報）を生成する。この符号の生成例を図５に示す。
【００６５】
［符号の生成例］
図５は、本技術の第１の実施の形態における符号生成部１４０による符号生成処理の一例を模式的に示す図である。
【００６６】
図５に示すグラフの横軸は、短時間露光画像２０１の画素値Ｄｓと、長時間露光画像２０２の画素値Ｄｌとの和Ｄａを表す。また、図５に示すグラフの縦軸は、短時間露光画像２０１の画素値Ｄｓを表す。
【００６７】
また、内部にグレー色が付されている領域２２５は、図５に示すグラフにおいて、短時間露光画像２０１の画素値Ｄｓと長時間露光画像２０２の画素値Ｄｌとの和Ｄａと、短時間露光画像２０１の画素値Ｄｓとがプロットされると想定される領域を簡略化して示す。
【００６８】
点線の直線２２１は、露光時間の比ＴＬ／ＴＳの逆数を傾きとする直線であり、図４に示す中輝度信号（点線の直線２１２で示す）と、高輝度信号（実線の直線２１３で示す）とが切り替わる境界となる。例えば、点線の直線２２１は、Ｄａ／１６に対応する直線とすることができる。
【００６９】
ここで、図５に示すグラフにおいて、点線の直線２２４よりも左側の領域を低輝度領域Ａと定義する。また、直線２２４は、低輝度領域Ａを定義するために予め設定される閾値により特定される。例えば、飽和レベルの中間レベル付近の値を閾値として、直線２２４を設定することができる。
【００７０】
また、図５に示すグラフにおいて、点線の直線２２３は、点線の直線２２１を下側に平行移動したものである。また、図５に示すグラフの横軸と、点線の直線２２３と、点線の直線２２４とで囲まれる領域を中輝度領域Ｂと定義する。また、点線の直線２２３の平行移動量は、中輝度領域Ｂを定義するために予め設定される値により特定される。
【００７１】
また、図５に示すグラフにおいて、点線の直線２２２は、点線の直線２２１を上側に平行移動したものである。また、図５に示すグラフにおいて、点線の直線２２２と、点線の直線２２３と、点線の直線２２４とで囲まれる領域を遷移領域Ｃと定義する。また、点線の直線２２２の平行移動量は、遷移領域Ｃを定義するために予め設定される値により特定される。
【００７２】
また、図５に示すグラフにおいて、点線の直線２２２と、点線の直線２２４とで囲まれる領域を高輝度領域Ｄと定義する。
【００７３】
このように、図５に示すグラフにおいて、４種類の不等間隔の各領域Ａ乃至Ｄが定義される。
【００７４】
ここで、各領域Ａ乃至Ｄについて説明する。
【００７５】
領域Ａは、画像合成部１３０により行われる画像合成処理において、主に長時間露光画像の画素が使用されるレベルに対応する領域である。
【００７６】
領域Ｂは、画像合成部１３０により行われる画像合成処理において、主に長時間露光画像の画素と短時間露光画像の画素との和が使用されるレベルに対応する領域である。
【００７７】
領域Ｄは、画像合成部１３０により行われる画像合成処理において、短時間露光画像の画素のみが使用されるレベルに対応する領域である。
【００７８】
領域Ｃは、領域Ｂに対応するレベルと領域Ｄに対応するレベルとの中間に属するレベルに対応する領域である。
【００７９】
そして、これらの各領域Ａ乃至Ｄを用いて、符号生成部１４０は、撮像デバイス１１０により生成される画像を構成する各画素を分類して符号化する。
【００８０】
具体的には、符号生成部１４０は、短時間露光画像２０１および長時間露光画像２０２を用いて、短時間露光画像２０１の画素値Ｄｓと長時間露光画像２０２の画素値Ｄｌとの和Ｄａと、短時間露光画像２０１の画素値Ｄｓとを、図５に示すグラフにプロットする。
【００８１】
続いて、符号生成部１４０は、図５に示すグラフにプロットされた点を、低輝度領域Ａ、中輝度領域Ｂ、遷移領域Ｃ、高輝度領域Ｄの４つの領域に分類する。そして、符号生成部１４０は、低輝度領域Ａ、中輝度領域Ｂ、遷移領域Ｃ、高輝度領域Ｄの各領域に対応した符号に、各画素を符号化する。
【００８２】
例えば、符号生成部１４０は、低輝度領域Ａを０とし、中輝度領域Ｂを１とし、遷移領域Ｃを２とし、高輝度領域Ｄを３とするように符号化することができる。
【００８３】
このように、符号生成部１４０は、複数の画像（短時間露光画像、長時間露光画像）の画素値と、閾値との比較結果に基づいて、符号（指標情報）を画素毎に生成することができる。すなわち、符号生成部１４０は、短時間露光画像の画素値および長時間露光画像の画素値の和Ｄａと、短時間露光画像の画素値Ｄｓとにより特定される値と、閾値との比較結果に基づいて、符号（指標情報）を画素毎に生成することができる。
【００８４】
また、符号生成部１４０は、生成された符号を、動被写体検出部１６０に出力するとともに、符号メモリ１５０に保持させる。このように、符号メモリ１５０に保持された符号は、動被写体検出部１６０に供給される。例えば、Ｎ−１フレーム目に符号メモリ１５０に保存された符号は、Ｎフレーム目の入力画像に対する動被写体検出において利用される。
【００８５】
なお、本技術の第１の実施の形態では、符号メモリ１５０から読み出される符号（すなわち、１フレーム前の符号（過去符号））を、第１符号と称し、符号生成部１４０から出力される符号（現在符号）を、第２符号と称して説明する。
【００８６】
また、上述した各閾値は、露光方式に応じて適宜設定することができる。すなわち、露光方式に適する閾値（不等間隔に設定される閾値）を用いることができる。また、以下で示す各閾値についても同様に、露光方式に応じて適宜設定することができるものとする。
【００８７】
［動被写体の検出例］
図６は、本技術の第１の実施の形態における動被写体検出部１６０による動被写体検出処理の際に用いられる検出条件の一例を示す図である。
【００８８】
図６のａには、Ｎ−１フレーム目に明部であった被写体が、動被写体の影響によりＮフレーム目に暗部に変化した場合の検出ルールの一例を示す。この検出ルールを、明暗検出条件と定義する。
【００８９】
例えば、Ｎ−１フレーム目には、符号生成部１４０により３（高輝度領域Ｄ）に符号化され、Ｎフレーム目には、符号生成部１４０により１（中輝度領域Ｂ）に符号化された画素は、図６のａに示す条件ＲＡ１を満たすことになる。
【００９０】
例えば、動被写体検出部１６０は、条件ＲＡ１乃至ＲＡ３の何れかを満たす画素については、明暗検出結果として１を出力し、条件ＲＡ１乃至ＲＡ３の何れも満たさない画素については、明暗検出結果として０を出力する。
【００９１】
なお、条件ＲＡ１乃至ＲＡ３は、目的とする動被写体検出領域に応じて、１つの条件のみを使用するようにしてもよく、複数の条件をｏｒ条件として使用するようにしてもよい。
【００９２】
図６のｂには、Ｎ−１フレーム目に暗部であった被写体が、動被写体の影響によりＮフレーム目に明部に変化した場合の検出ルールの一例を示す。この検出ルールを、暗明検出条件と定義する。
【００９３】
例えば、Ｎ−１フレーム目には、符号生成部１４０により０（低輝度領域Ａ）に符号化され、Ｎフレーム目には、符号生成部１４０により１（中輝度領域Ｂ）に符号化された画素は、図６のｂに示す条件ＲＢ１を満たすことになる。
【００９４】
例えば、動被写体検出部１６０は、条件ＲＢ１乃至ＲＢ４の何れかを満たす画素については、暗明検出結果として１を出力し、条件ＲＢ１乃至ＲＢ４の何れも満たさない画素については、暗明検出結果として０を出力する。
【００９５】
なお、条件ＲＢ１乃至ＲＢ４は、目的とする動被写体検出領域に応じて、１つの条件のみを使用するようにしてもよく、複数の条件をｏｒ条件として使用するようにしてもよい。
【００９６】
このように、検出ルールは、第１符号および第２符号の遷移として定義することができる。また、図６のａおよびｂに示す検出ルールは、一例であり、これらに限定されるものではない。すなわち、露光方式および目的とする動被写体検出領域に応じて適切な符号遷移を検出ルールとして採用することが好ましい。
【００９７】
このように、動被写体検出部１６０は、符号メモリ１５０から読み出される第１符号と、符号生成部１４０から出力される第２符号とに基づいて、明暗検出結果（０、１）と暗明検出結果（０、１）とを得ることができる。そして、動被写体検出部１６０は、明暗検出結果（０、１）と、暗明検出結果（０、１）との論理和（ＯＲ）をとった値（０、１）を、動被写体情報として画像補正部１７０に出力する。
【００９８】
ここで、動被写体情報が１である画素は、動被写体に対応する領域の画素に相当すると判断することができる。また、動被写体情報が０である画素は、動被写体に対応する領域以外の領域の画素に相当すると判断することができる。
【００９９】
このように、動被写体検出部１６０は、異なる時間に生成された複数の符号（指標情報）に基づいて、動被写体を検出することができる。例えば、動被写体検出部１６０は、第１時刻に生成された符号（第１符号）と、第１符号よりも後の第２時刻に生成された第２符号との比較結果に基づいて、動被写体を検出することができる。この場合に、動被写体検出部１６０は、第１符号と第２符号との遷移に基づいて、動被写体を検出することができる。
【０１００】
［画像処理装置の動作例］
図７は、本技術の第１の実施の形態における画像処理装置１００による動被写体検出処理の処理手順の一例を示すフローチャートである。
【０１０１】
最初に、撮像デバイス１１０は、短時間露光画像および長時間露光画像を生成する（ステップＳ９０１）。続いて、撮像デバイス１１０は、生成された短時間露光画像および長時間露光画像を画像メモリ１２０に保持させる（ステップＳ９０２）。
【０１０２】
続いて、画像合成部１３０は、画像メモリ１２０に保持されている短時間露光画像および長時間露光画像を用いて合成画像を生成する（ステップＳ９０３）。
【０１０３】
続いて、符号生成部１４０は、画像メモリ１２０に保持されている短時間露光画像および長時間露光画像に基づいて、符号を画素毎に生成する（ステップＳ９０４）。なお、ステップＳ９０４は、特許請求の範囲に記載の生成手順の一例である。続いて、符号生成部１４０は、生成された画素毎の符号を符号メモリ１５０に保持させる（ステップＳ９０５）。
【０１０４】
続いて、動被写体検出部１６０は、符号メモリ１５０に保持されている符号（第１符号）と、符号生成部１４０から出力された符号（第２符号）とに基づいて、動被写体を検出し、この動被写体に関する情報（動被写体情報）を生成する（ステップＳ９０６）。なお、ステップＳ９０６は、特許請求の範囲に記載の検出手順の一例である。
【０１０５】
続いて、画像補正部１７０は、動被写体検出部１６０により生成された動被写体情報に基づいて、画像合成部１３０により生成された合成画像における画質劣化領域を補正する（ステップＳ９０７）。そして、画像補正部１７０により補正された画像（補正画像）が出力される（ステップＳ９０８）。
【０１０６】
なお、図７では、合成画像の生成後（ステップＳ９０４）に、符号の生成（ステップＳ９０４）および動被写体情報の生成（ステップＳ９０６）を行う例を示す。ただし、合成画像の生成前に、符号の生成および動被写体情報の生成を行うようにしてもよく、合成画像の生成と、符号の生成および動被写体情報の生成とを同時に行うようにしてもよい。
【０１０７】
ここで、シーンの照度が低い場合や被写体のダイナミックレンジが狭い場合を想定する。この場合には、露光時間の異なる複数の画像を合成して実現する広ダイナミックレンジ用の露光方式から、長時間露光画像のみを利用する１枚の露光方式に遷移することも可能である。すなわち、撮像デバイス１１０が１枚の画像を露光する露光方式に遷移することも可能である。
【０１０８】
このように、１枚の画像を露光する露光方式に遷移した場合でも、符号生成部１４０は、符号生成処理を実行し、生成された符号を符号メモリ１５０に保持させて符号メモリ１５０を更新し続けるようにする。
【０１０９】
ここで、１枚の露光方式では、長時間露光画像に対応する短時間露光画像が符号生成部１４０に入力されない。この場合には、符号生成部１４０は、入力される画像を長時間露光画像とみなし、長時間露光画像に露光時間の比（ＴＬ／ＴＳ）の逆数を乗じることにより、仮想的な短時間露光画像を生成する。そして、符号生成部１４０は、入力された長時間露光画像と、その仮想的な短時間露光画像とを用いて、符号生成処理を実行する。また、１枚の露光方式では、動被写体による偽色やノイズ等が発生することはないと想定される。このため、符号生成処理と、生成された符号の符号メモリ１５０への更新のみを実行し、動被写体検出処理は実行しないようにする。
【０１１０】
このように、符号生成部１４０は、長時間露光画像のみを生成する露光方式により撮像動作が行われている場合には、長時間露光画像に基づいて露光時間の比に応じた仮想的な短時間露光画像を生成して用いることができる。
【０１１１】
このように、符号メモリ１５０を更新し続けることにより、１枚の画像を露光する露光方式から、露光時間の異なる複数の画像を露光する露光方式に遷移した場合でも、その遷移後の最初のフレームから動被写体検出結果を出力することが可能になる。
【０１１２】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、符号生成部１４０により入力画像を符号化することにより、入力画像の情報量を画素値単位で圧縮する例を示した。ここで、入力画像の情報量をブロック単位で圧縮することにより、さらに情報量を削減することができる。
【０１１３】
そこで、本技術の第２の実施の形態では、入力画像の情報量をブロック単位で圧縮する例を示す。
【０１１４】
［画像処理装置の構成例］
図８は、本技術の第２の実施の形態における画像処理装置３００の機能構成例を示すブロック図である。なお、画像処理装置３００は、図１に示す画像処理装置１００の変形例である。このため、画像処理装置１００と共通する部分については、画像処理装置１００と同一の符号を付してこれらの説明の一部を省略する。
【０１１５】
画像処理装置３００は、符号圧縮部３１０と、符号メモリ３２０と、符号伸張部３３０とを備える。
【０１１６】
符号圧縮部３１０は、符号生成部１４０から出力された符号を、入力画像のブロック単位で圧縮するものであり、符号圧縮結果（圧縮された符号）を符号メモリ３２０に保持させる。符号圧縮部３１０は、例えば、入力画像のブロック単位での圧縮は、入力画像の画素の色を区別して実行することができる。また、この圧縮例については、図９を参照して詳細に説明する。なお、符号圧縮部３１０は、特許請求の範囲に記載の圧縮部の一例である。また、符号メモリ３２０は、特許請求の範囲に記載のメモリの一例である。
【０１１７】
符号伸張部３３０は、符号メモリ３２０に保持されている符号圧縮結果（圧縮された符号）を読み出して伸張するものであり、その伸張された符号を動被写体検出部１６０に出力する。なお、符号伸張部３３０は、特許請求の範囲に記載の伸張部の一例である。
【０１１８】
［符号圧縮例および符号伸張例］
図９は、本技術の第２の実施の形態における符号圧縮部３１０による符号圧縮例と、符号伸張部３３０による符号伸張例とを模式的に示す図である。なお、図９では、符号の非可逆圧縮の一例として単純平均を用いる方法を示す。また、図９では、ベイヤー配列によりカラーフィルタが装着される撮像素子の例を示す。
【０１１９】
図９のａに示す太線の矩形３４１乃至３４４は、８×８画素単位で構成されるメッシュを表す。また、これらのメッシュ内の各画素を表す矩形内には、符号生成部１４０により生成された符号に対応する数値（０乃至３）を示す。
【０１２０】
また、矩形内に斜線が付されている画素は、Ｒ（Red：赤）を示し、矩形内に横線が付されている画素は、Ｂ（Blue：青）を示し、矩形内に白色が付されている画素は、Ｇ（Green：緑）を示すものとする。
【０１２１】
図９のｂに示す矩形３４５乃至３４８は、図９のａに示すメッシュ（太線の矩形３４１乃至３４４）内の各符号が圧縮された場合の符号を画素の色（Ｒ、Ｇ、Ｂ）毎に示す。
【０１２２】
例えば、図９のａに示すメッシュ内で同色画素同士の平均値を算出することにより、６４画素×２ｂｉｔの符号を、図９のｂに示すように、３色（Ｒ、Ｇ、Ｂ）×２ｂｉｔに圧縮することができる。なお、平均値を算出する場合には、例えば、小数点以下を四捨五入するようにしてもよく、小数点以下を切り捨て、または、切り上げするようにしてもよい。なお、図９のａに示すメッシュのサイズは、一例であり、これに限定されるものではなく、他のサイズとするようにしてもよい。
【０１２３】
このように、符号圧縮部３１０により圧縮された各符号（図９のｂに示す符号圧縮結果）が符号メモリ３２０に保持される。
【０１２４】
次に、符号伸張部３３０が、符号メモリ３２０に保持されている符号圧縮結果を伸張処理する場合の例を示す。ここでは、図９のａおよびｂに示すように、符号圧縮処理に単純平均を用いた場合の符号伸張処理の一例としてバイリニア補間を用いる例を示す。
【０１２５】
例えば、図９のｂに示す矩形３４５乃至３４８内の４つのメッシュに対応する符号を、メッシュ中心からの距離に応じてブレンドすることにより、注目画素位置の符号を伸張することができる。
【０１２６】
また、動被写体検出部１６０は、符号伸張部３３０から出力される符号（第１符号）と、符号生成部１４０から出力される符号（第２符号）とに基づいて動被写体検出処理を行う。
【０１２７】
なお、符号を非可逆圧縮・伸張する場合には、被写体の細部の符号情報が失われる可能性がある。このため、動被写体検出部１６０が誤検出することを防止することが重要となる。
【０１２８】
ここで、被写体の平面部は、局所的に一定の明るさであり、平面部の符号は、ある程度同じ値が続くことを期待することができる。このため、ランレングス法を符号化に適応した場合、高い情報圧縮率を達成することができる可能性が高い。そこで、例えば、符号の情報量が失われないように、符号圧縮部３１０および符号伸張部３３０に可逆圧縮・伸張処理であるランレングス法のアルゴリズムを適用するようにしてもよい。
【０１２９】
＜３．第３の実施の形態＞
ここで、動被写体は、連続するフレームに対応する撮像空間において、ある一定の方向に移動していることが多いと想定される。この場合には、撮像デバイスにおいて２次元アレイ状（格子状）に配列されている光電変換素子の蓄積電荷もその撮像空間において、ある程度連続性を有することが想定される。そのような領域（動被写体を含む領域）では、画像合成処理で選択される被合成画像が同色画素内でばらつきを有することになり、偽色やノイズが発生する要因となるおそれがある。
【０１３０】
そこで、本技術の第３の実施の形態では、動被写体検出処理において、注目画素における過去符号（第１符号）と現在符号（第２符号）との遷移と、近傍画素の現在符号（第２符号）のばらつきとを考慮する例を示す。これにより、最終的な動被写体検出結果の精度を向上させることができる。なお、本技術の第３の実施の形態における画像処理装置の構成については、図１に示す画像処理装置１００と略同一である。このため、本技術の第１の実施の形態と共通する部分については、本技術の第１の実施の形態と同一の符号を付してこれらの説明の一部を省略する。また、本技術の第３の実施の形態では、ベイヤー配列によりカラーフィルタが装着される撮像素子の例を示す。
【０１３１】
［動被写体の検出例］
図１０は、本技術の第３の実施の形態における動被写体検出部１６０による動被写体検出処理の際に用いられる検出条件の一例を示す図である。
【０１３２】
図１０のａには、Ｎ−１フレーム目に暗部であった被写体が、動被写体の影響によりＮフレーム目に明部に変化した場合の検出ルールの一例を示す。この検出ルールを、暗明検出条件と定義する。
【０１３３】
ここで、注目画素は、入力画像を構成する１つの画素であり、判定対象となる画素を意味する。また、近傍画素は、注目画素の近傍に位置する画素を意味する。ここで、本技術の第３の実施の形態に示す動被写体検出処理では、各色（Ｒ、Ｇ、Ｂ）が必要であるため、近傍画素の所定範囲として、少なくとも３×３が必要となる。例えば、図１１、図１２に示すように、注目画素４０１乃至４０４の周りの所定範囲（５×３）に位置する画素を近傍画素とすることができる。また、例えば、他の範囲（例えば、３×３乃至９×３の範囲）を、近傍画素の所定範囲とするようにしてもよい。
【０１３４】
例えば、動被写体検出部１６０は、条件ＲＩ１乃至ＲＩ３の何れかを満たす画素については、暗明検出結果として１を出力し、条件ＲＩ１乃至ＲＩ３の何れも満たさない画素については、暗明検出結果として０を出力する。なお、この検出例については、図１１および図１２に示す。
【０１３５】
なお、条件ＲＩ１乃至ＲＩ３は、目的とする動被写体検出領域に応じて、１つの条件のみを使用するようにしてもよく、複数の条件をｏｒ条件として使用するようにしてもよい。
【０１３６】
図１０のｂには、Ｎ−１フレーム目に明部であった被写体が、動被写体の影響によりＮフレーム目に暗部に変化した場合の検出ルールの一例を示す。この検出ルールを、明暗検出条件と定義する。
【０１３７】
例えば、動被写体検出部１６０は、条件ＲＪ１乃至ＲＪ３の何れかを満たす画素については、明暗検出結果として１を出力し、条件ＲＪ１乃至ＲＪ３の何れも満たさない画素については、明暗検出結果として０を出力する。
【０１３８】
なお、条件ＲＪ１乃至ＲＪ３は、目的とする動被写体検出領域に応じて、１つの条件のみを使用するようにしてもよく、複数の条件をｏｒ条件として使用するようにしてもよい。
【０１３９】
なお、図１０のａおよびｂに示す検出ルールは、一例であり、これらに限定されるものではない。すなわち、露光方式および目的とする動被写体検出領域に応じて他の検出ルールを採用するようにしてもよい。
【０１４０】
また、動被写体検出部１６０は、明暗検出結果（０、１）と、暗明検出結果（０、１）との論理和（ＯＲ）をとった値（０、１）を、動被写体情報として画像補正部１７０に出力する。
【０１４１】
図１１および図１２は、本技術の第３の実施の形態における動被写体検出部１６０による動被写体検出処理に用いられる画像の遷移例を示す図である。なお、図１１および図１２では、入力画像のうちの一部の領域の遷移例を模式的に示す。また、図１１および図１２では、画素を表す矩形内に、符号生成部１４０により生成された符号を示す。
【０１４２】
また、図１１および図１２では、注目画素４０１乃至４０４を中心に配置して示す。また、近傍画素の領域を５×３の領域とする例を示す。また、図９に示す例と同様に、矩形内に斜線が付されている画素はＲを示し、矩形内に横線が付されている画素はＢを示し、矩形内に白色が付されている画素はＧを示すものとする。
【０１４３】
図１１のａおよびｂに示す例は、注目画素４０１の符号（第１符号）がＡ（低輝度領域）であり、かつ、注目画素４０２の符号（第２符号）がＤ（高輝度領域）である。このため、図６のｂに示す条件ＲＢ３を満たす。
【０１４４】
また、図１１のｂに示す例は、注目画素４０２の近傍画素の符号（第２符号）に、最高輝度がＤ（高輝度領域）、かつ、最低輝度がＤ（高輝度領域）以外を満たす色（Ｒ（矩形内に斜線が付されている画素））が存在する。このため、図１０のａに示すＲＩ２を満たす。すなわち、図１１のａおよびｂに示す例では、動被写体検出部１６０は、動被写体情報として１を出力する。
【０１４５】
図１２のａおよびｂに示す例は、注目画素４０３の符号（第１符号）がＡ（低輝度領域）であり、かつ、注目画素４０４の符号（第２符号）がＤ（高輝度領域）である。このため、図６のｂに示す条件ＲＢ３を満たす。しかしながら、注目画素４０４の近傍画素の符号（第２符号）は、全てＤ（高輝度領域）である。すなわち、最高輝度がＤ（高輝度領域）、かつ、最低輝度がＤ（高輝度領域）以外を満たす色が存在しない。このため、図１０のａに示す暗明条件を満たさない。すなわち、図１２のａおよびｂに示す例では、動被写体検出部１６０は、動被写体情報として０を出力する。
【０１４６】
このように、動被写体検出部１６０は、比較対象となる注目画素における第１符号および第２符号の遷移と、注目画素の近傍の画素における第２符号とに基づいて、動被写体を検出することができる。
【０１４７】
＜４．第４の実施の形態＞
本技術の第４の実施の形態では、動被写体検出処理において、注目画素における過去符号（第１符号）と現在符号（第２符号）との遷移を考慮して検出された動被写体検出領域から、動被写体ではない十分条件を満たす領域を除外する例を示す。
【０１４８】
［電荷量の遷移例］
図１３は、本技術の第４の実施の形態における撮像デバイス１１０を構成する光電変換素子の電荷量の遷移を表す図である。図１３では、暗部から明部に変化する動被写体を撮像した場合における蓄積電荷の遷移例を示す。なお、図１３は、図４に対応するものであるため、図４に共通する部分には、同一の符号を付して説明する。
【０１４９】
図１３に示すグラフにおいて、時刻ＴＯまでの期間は、被写体が暗部にある場合における蓄積電荷の遷移例を示し、時刻ＴＯ以降の期間は、被写体が明部にある場合における蓄積電荷の遷移例を示す。
【０１５０】
時刻ＴＯまでの期間（被写体が暗部にある期間）においては、電荷の蓄積速度は緩やかである。しかしながら、時刻Ｔ０で明部に変化すると、蓄積速度は急激に上昇する。
【０１５１】
例えば、点線の直線２４１のように感度が低い画素は、露光期間ＴＳでは蓄積電荷が中間電位まで至らないため、短時間露光画像を取得することはできないが、長時間露光画像については正しい値を取得することができる。一方、例えば、実線の直線２４２のように感度が高い画素は、露光期間ＴＳに中間電位を上回るため、比較的大きな短時間露光画像を取得することができる。
【０１５２】
また、画像合成部１３０による画像合成処理では、点線の直線２４１に対応する画素については、長時間露光画像が選択されて合成画像として出力される。また、実線の直線２４２に対応する画素については、短時間露光画像が選択されて露光時間の比に応じたゲイン（ＴＬ／ＴＳ）を乗じた結果が合成画像として出力される。
【０１５３】
しかしながら、実線の直線２４２に対応する画素の合成処理に用いられるゲインは、実線の直線２４２の明部における電荷の蓄積速度を反映したものではなく、また、時刻Ｔ０において既に蓄積されている電荷量が加味されていない。このため、実線の直線２４２の合成画像を正しく生成することができないおそれがある。
【０１５４】
例えば、Ｒ、Ｇ、Ｂのカラーフィルタを用いた単板型個体撮像素子を用いて、このように暗部から明部に変化する動被写体を撮像する場合を想定する。この場合には、カラーフィルタの色毎に光電変換素子の感度が異なるため、色毎にそれぞれ異なる露光時間の画像から選択されて、偽色やノイズの発生が顕著になるおそれがある。一方、全ての色で同じ被合成画像が選択された場合には、偽色やノイズの発生は緩和される。
【０１５５】
そこで、本技術の第４の実施の形態では、動被写体検出処理において、注目画素における過去符号（第１符号）と現在符号（第２符号）との遷移を考慮して検出された動被写体検出領域から、動被写体ではない十分条件を満たす領域を除外する例を示す。これにより、最終的な動被写体検出結果の精度を向上させることができる。
【０１５６】
［動被写体の検出例］
図１４は、本技術の第４の実施の形態における動被写体検出部１６０による動被写体検出処理の際に用いられる検出条件の一例を示す図である。
【０１５７】
図１４のａには、動被写体ではない十分条件の一例を示す。この条件は、符号の遷移条件と合わせて検出ルールを構成する。
【０１５８】
図１４のｂには、Ｎ−１フレーム目に暗部であった被写体が、動被写体の影響によりＮフレーム目に明部に変化した場合の検出ルールの一例を示す。この検出ルールを、暗明検出条件と定義する。
【０１５９】
例えば、動被写体検出部１６０は、条件ＲＫ１乃至ＲＫ３の何れかを満たす画素については、暗明検出結果として１を出力し、条件ＲＫ１乃至ＲＫ３の何れも満たさない画素については、暗明検出結果として０を出力する。なお、この検出例については、図１２および図１５に示す。
【０１６０】
なお、条件ＲＫ１乃至ＲＫ３は、目的とする動被写体検出領域に応じて、１つの条件のみを使用するようにしてもよく、複数の条件をｏｒ条件として使用するようにしてもよい。
【０１６１】
また、図１４のｂに示す暗明検出条件は、図１０のａに示す暗明検出条件よりも弱い（広い）条件になっている。このため、目的とする動被写体検出領域に応じて、図１４のｂに示す暗明検出条件と、図１０のａに示す暗明検出条件とを使い分けるようにしてもよい。
【０１６２】
また、本技術の第４の実施の形態における明暗検出条件は、図６のａに示す明暗検出条件、または、図１０のｂに示す明暗検出条件を用いて構成することができる。また、本技術の第４の実施の形態における明暗検出条件として、図６のａに示す明暗検出条件と図１０のｂに示す明暗検出条件との組み合わせを用いて構成するようにしてもよい。
【０１６３】
また、動被写体検出部１６０は、明暗検出結果（０、１）と、暗明検出結果（０、１）との論理和（ＯＲ）をとった値（０、１）を、動被写体情報として画像補正部１７０に出力する。
【０１６４】
図１５は、本技術の第４の実施の形態における動被写体検出部１６０による動被写体検出処理に用いられる画像の遷移例を示す図である。なお、図１５に示す例は、図１１および図１２に対応するものである。
【０１６５】
図１５のａに示す例は、注目画素４０５の符号（第１符号）がＡ（低輝度領域）であり、かつ、注目画素４０６の符号（第２符号）がＤ（高輝度領域）である。このため、図６のｂに示す条件ＲＢ３を満たす。
【０１６６】
また、図１５のｂに示す例は、注目画素４０６の近傍画素の符号（第２符号）が、全ての色においてＤ（高輝度領域）でない。このため、図１４のａに示す条件ＲＤ１を満たさない。すなわち、図１５のａおよびｂに示す例は、図１４のｂに示す条件ＲＫ２を満たす。このため、動被写体検出部１６０は、動被写体情報として１を出力する。
【０１６７】
また、図１２のａに示す例は、注目画素４０３の符号（第１符号）がＡ（低輝度領域）であり、かつ、注目画素４０４の符号（第２符号）がＤ（高輝度領域）である。このため、図６のｂに示す条件ＲＢ３を満たす。しかしながら、注目画素４０４の近傍画素の符号（第２符号）が、全ての色においてＤ（高輝度領域）である。このため、図１４のａに示す条件ＲＤ１を満たす。すなわち、図１２のａおよびｂに示す例は、図１４のｂに示す条件ＲＫ１乃至ＲＫ３の何れも満たさない。このため、動被写体検出部１６０は、動被写体情報として０を出力する。
【０１６８】
このように、動被写体検出部１６０は、比較対象となる注目画素における第１符号および第２符号の遷移と、注目画素の近傍の画素における第２符号が全て特定の符号であるか否かとに基づいて、動被写体を検出することができる。ここで、特定の符号は、例えば、図１４のａに示す条件ＲＤ１に対応するＤ（高輝度領域）である。また、特定の符号は、例えば、図１４のａに示す条件ＲＤ２に対応するＣ（遷移領域）、および、Ｄ（高輝度領域）である。
【０１６９】
＜５．第５の実施の形態＞
本技術の第５の実施の形態では、本技術の第１乃至第４の実施の形態で示した露光制御方式と異なる方式を用いる例を示す。
【０１７０】
［電荷量の遷移例］
図１６は、本技術の第５の実施の形態における撮像デバイス１１０を構成する光電変換素子の電荷量の遷移を表す図である。
【０１７１】
図１６に示すグラフの横軸は時間を表し、縦軸は電荷量を表す。また、長時間露光画像の蓄積時間をＴＬ２で表し、短時間露光画像の蓄積時間をＴＳ２で表す。また、画素の電荷蓄積の飽和レベルをＱ１１で表す。
【０１７２】
また、時間Ｔ１１は、期間ＴＬ２に蓄積した電荷を読み出すタイミングを表し、時間Ｔ１２は、期間ＴＳ２に蓄積した電荷を読み出すタイミングを表す。
【０１７３】
例えば、期間ＴＬ２に光電変換素子に蓄積された電荷が読み出され、ＡＤ変換されたものが長時間露光画像として撮像デバイス１１０から出力される。また、期間ＴＳ２に光電変換素子に蓄積された蓄積電荷が読み出され、ＡＤ変換されたものが短時間露光画像として撮像デバイス１１０から出力される。
【０１７４】
ここで、低輝度信号の場合には、点線の直線２５１に示すように、電荷の蓄積過程を経る。このため、長時間露光画像にＳ／Ｎの良い信号が得られる。また、中輝度信号の場合には、点線の直線２５２に示すように、電荷の蓄積過程を経る。このため、長時間露光画像にＳ／Ｎの良い信号が得られる。
【０１７５】
また、高輝度信号の場合には、実線の直線２５３に示すように、電荷の蓄積過程を経る。このため、長時間露光画像は飽和してしまう。そこで、短時間露光画像の画素値に、露光時間の比に応じたゲイン（ＴＬ／ＴＳ）を乗じることにより真値を算出することができる。このように生成される短時間露光画像の画素値と長時間露光画像の画素値とを用いて、符号を生成する。この符号の生成例を図１７に示す。
【０１７６】
［符号の生成例］
図１７は、本技術の第５の実施の形態における符号生成部１４０による符号生成処理の一例を模式的に示す図である。
【０１７７】
図１７に示すグラフの横軸は、長時間露光画像２０２の画素値Ｄｌを表し、縦軸は短時間露光画像２０１の画素値Ｄｓを表す。
【０１７８】
点線の直線２６１は、露光時間の比ＴＬ２／ＴＳ２の逆数を傾きとする直線である。なお、静止被写体を撮像した場合には、長時間露光画像が飽和しない限り、点線の直線２６１上にプロットされる。
【０１７９】
図１６に示す露光制御方式を採用した場合には、各フレームにおける被写体の明るさは、短時間露光画像２０１の画素値Ｄｓを参照することにより判定することができる。このため、符号判定のための領域分割を次のように定義する。
【０１８０】
実線の直線２６２よりも下側の領域を低輝度領域Ａと定義する。ここで、実線の直線２６２は、低輝度領域Ａを定義するために予め設定される閾値により特定される。
【０１８１】
また、実線の直線２６２以上であり、かつ、実線の直線２６３よりも下側の領域を中輝度領域Ｂと定義する。実線の直線２６３は、中輝度領域Ｂを定義するために予め設定される閾値により特定される。
【０１８２】
また、直線２６３以上であり、かつ、実線の直線２６４よりも下側の領域を遷移領域Ｃと定義する。実線の直線２６４は、遷移領域Ｃを定義するために予め設定される閾値により特定される。
【０１８３】
また、直線２６４以上である領域を高輝度領域Ｄと定義する。
【０１８４】
このように、図１７に示すグラフにおいて各領域Ａ乃至Ｄが定義される。そして、これらの各領域Ａ乃至Ｄを用いて、符号生成部１４０は、各画素を符号化する。
【０１８５】
具体的には、符号生成部１４０は、短時間露光画像２０１および長時間露光画像２０２を用いて、短時間露光画像２０１の画素値Ｄｓと長時間露光画像２０２の画素値Ｄｌとを、図１７に示すグラフにプロットする。
【０１８６】
続いて、符号生成部１４０は、図１７に示すグラフにプロットされた点を、低輝度領域Ａ、中輝度領域Ｂ、遷移領域Ｃ、高輝度領域Ｄの４つの領域に分類する。そして、符号生成部１４０は、低輝度領域Ａ、中輝度領域Ｂ、遷移領域Ｃ、高輝度領域Ｄの各領域に対応した符号に、各画素を符号化する。
【０１８７】
例えば、符号生成部１４０は、低輝度領域Ａを０とし、中輝度領域Ｂを１とし、遷移領域Ｃを２とし、高輝度領域Ｄを３とするように符号化することができる。
【０１８８】
また、符号生成部１４０は、生成された符号を、動被写体検出部１６０に出力するとともに、符号メモリ１５０に保持させる。このように、符号メモリ１５０に保持された符号は、動被写体検出部１６０に供給される。例えば、Ｎ−１フレーム目に符号メモリ１５０に保存された符号は、Ｎフレーム目の入力画像に対する動被写体検出において利用される。
【０１８９】
なお、これ以降の各処理は、本技術の第１乃至第４の実施の形態に示す各処理を適用することができるため、ここでの説明を省略する。
【０１９０】
このように、符号生成部１４０は、短時間露光画像の画素値と長時間露光画像の画素値とにより特定される値と、閾値との比較結果に基づいて、符号を画素毎に生成することができる。
【０１９１】
＜６．第６の実施の形態＞
本技術の第６の実施の形態では、本技術の第１乃至第５の実施の形態を、積層型ＣＭＯＳイメージセンサに適用する例を示す。
【０１９２】
図１８は、本技術の第６の実施の形態における積層型ＣＭＯＳイメージセンサを簡略化して示す図である。
【０１９３】
図１８のａには、本技術の第１乃至第５の実施の形態を適用した積層型ＣＭＯＳイメージセンサを簡略化して示す。また、図１８のｂには、図１８のａに示す積層型ＣＭＯＳイメージセンサとの比較例である従来の裏面照射型ＣＭＯＳイメージセンサを簡略化して示す。
【０１９４】
図１８のｂに示す裏面照射型ＣＭＯＳイメージセンサは、同一チップ上に画素部（センサ部）７１１と、回路部（アナログ・ロジック回路）７１２とを搭載する。このため、回路規模とチップサイズ、画素部と回路部の配置によるノイズ対策、画素特性と回路トランジスタ特性の最適化等のように、数々の制約がある。そこで、これらの制約を解決し、大規模な回路を搭載することが重要となる。
【０１９５】
図１８のａに示す積層型ＣＭＯＳイメージセンサでは、図１８のｂに示す裏面照射型ＣＭＯＳイメージセンサの支持基板７１３の代わりに、論理回路部（信号処理回路）が形成されたチップ７０２を用いる。そして、その上に裏面照射型画素が形成された画素部７０１を重ね合わせる。
【０１９６】
図１８のａに示す積層構造とすることにより、小さなチップサイズで大規模な回路を搭載することが可能である。また、画素部と回路部とをそれぞれ独立したチップとして形成するため、画素部は高画質化に特化し、回路部は高機能化に特化した製造プロセスを採用することができる。このため、高画質化・高機能化・小型化を同時に実現することができる。
【０１９７】
図１９は、本技術の第６の実施の形態における積層型ＣＭＯＳイメージセンサ７００の機能構成例を示すブロック図である。なお、積層型ＣＭＯＳイメージセンサ７００は、図１に示す画像処理装置１００の変形例である。このため、画像処理装置１００と共通する部分については、画像処理装置１００と同一の符号を付してこれらの説明の一部を省略する。
【０１９８】
積層型ＣＭＯＳイメージセンサ７００は、画素部（センサ部）７２１および論理回路部７２２を備える。また、画素部（センサ部）７２１および論理回路部７２２は、図１８のａに示す画素部（センサ部）７０１およびチップ７０２（論理回路部）に対応する。
【０１９９】
また、画素部（センサ部）７２１は、撮像デバイス１１０を備える。また、論理回路部７２２は、画像メモリ１２０と、画像合成部１３０と、符号生成部１４０と、符号メモリ１５０と、動被写体検出部１６０と、画像補正部１７０とを備える。
【０２００】
本技術の第１乃至第５の実施の形態で示したように、動被写体検出処理に必要なメモリ容量を非常に小規模とすることができる。このため、図１９に示す論理回路部７２２を、積層型ＣＭＯＳイメージセンサ７００の論理回路部（例えば、図１８のａに示すチップ７０２）に実装することが可能になる。
【０２０１】
このように、本技術の実施の形態によれば、動被写体検出処理に必要となる画像の情報量を適切に低減させることができ、動被写体検出処理に必要となるメモリ容量を低減させることができる。すなわち、過去の画像を構成する各画素に関する情報を少ない情報量（符号量）で符号メモリに保持することができる。これにより、動被写体検出処理において、偽色やノイズの要因となる動被写体の領域を少ないメモリで検出することができる。また、動被写体検出処理に必要となるメモリ容量を削減させることができるため、画像処理装置のコストを低減させることができる。
【０２０２】
例えば、撮像デバイス１１０のＡＤ変換ビット精度が１２ｂｉｔである１２９６×９７６のサイズの長時間露光画像と短時間露光画像を露光時間の比１６倍で合成する場合を想定する。例えば、画像メモリに合成画像を保存して動被写体を検出する動被写体検出処理を行う場合には、（１２＋ｌｏｇ２（１６））ｂｉｔ×１２９６×９７６＝２．５ＭＢ程度のメモリ容量が必要である。これに対して、本技術の実施の形態では、２ｂｉｔ×１２９６×９７６＝３１７ＫＢ（約１２．５％）程度にメモリ容量を削減することができる。
【０２０３】
また、本技術の第２の実施の形態に示すように、メッシュのサイズを８×８とする場合には、６ｂｉｔ×（１２９６／８）×（９７６／８）＝１５ＫＢ（約０．６％）程度にメモリ容量を削減することができる。
【０２０４】
また、本技術の実施の形態によれば、動被写体検出処理に使用される符号情報は、可逆圧縮し易い特徴を有するため、動被写体検出処理の精度を損なうことなく、メモリ容量を削減することができる。
【０２０５】
なお、撮像機能付き携帯型の情報処理装置、撮像機能付き固定型の情報処理装置等の他の画像処理装置に本技術の実施の形態を適用するようにしてもよい。なお、撮像機能付き携帯型の情報処理装置は、例えば、撮像機能付き携帯電話機、撮像機能付きスマートフォン、撮像機能付きタブレット端末である。また、撮像機能付き固定型の情報処理装置は、例えば、撮像機能付きパーソナルコンピュータ、撮像機能付きビデオシステム、撮像機能付き編集装置である。また、外部装置により生成された画像（画像データ）を取得して、画像処理を行う画像処理装置に本技術の実施の形態を適用するようにしてもよい。
【０２０６】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２０７】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０２０８】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０２０９】
なお、本技術は以下のような構成もとることができる。
（１）
異なる露光時間で撮像された複数の画像に基づいて前記画像の明るさの指標を表す指標情報を生成する生成部と、
前記指標情報に基づいて前記画像に含まれる動被写体を検出する検出部と
を具備する画像処理装置。
（２）
前記生成部は、前記複数の画像の画素値と閾値との比較結果に基づいて前記指標情報を画素毎に生成する前記（１）に記載の画像処理装置。
（３）
前記複数の画像は、短時間露光画像および長時間露光画像であり、
前記生成部は、前記短時間露光画像の画素値および前記長時間露光画像の画素値の和と前記短時間露光画像の画素値とにより特定される値と、前記閾値との比較結果に基づいて前記指標情報を画素毎に生成する
前記（２）に記載の画像処理装置。
（４）
前記複数の画像は、短時間露光画像および長時間露光画像であり、
前記生成部は、前記短時間露光画像の画素値と前記長時間露光画像の画素値とにより特定される値と、前記閾値との比較結果に基づいて前記指標情報を画素毎に生成する
前記（２）に記載の画像処理装置。
（５）
前記複数の画像は、短時間露光画像および長時間露光画像であり、
前記生成部は、前記複数の画像を合成して合成画像を生成する画像合成処理において前記長時間露光画像の画素が使用される第１レベルと、前記画像合成処理において前記長時間露光画像の画素および前記短時間露光画像の画素の和が使用される第２レベルと、前記画像合成処理において前記短時間露光画像の画素が使用される第３レベルと、前記第２レベルおよび前記第３レベルの中間に属する第４レベルとに、前記画像を構成する各画素を分類して符号化することにより前記指標情報を画素毎に生成する
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記複数の画像は、短時間露光画像および長時間露光画像であり、
前記生成部は、前記短時間露光画像および前記長時間露光画像のうちの前記長時間露光画像のみを生成する露光方式により撮像動作が行われている場合には、前記長時間露光画像に基づいて露光時間の比に応じた仮想的な短時間露光画像を生成して用いる
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記検出部は、異なる時間に生成された複数の前記指標情報に基づいて前記動被写体を検出する前記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記検出部は、第１時刻に生成された前記指標情報である第１指標情報と、前記第１時刻よりも後の第２時刻に生成された前記指標情報である第２指標情報との比較結果に基づいて前記動被写体を検出する前記（７）に記載の画像処理装置。
（９）
前記検出部は、前記第１指標情報と前記第２指標情報との遷移に基づいて前記動被写体を検出する前記（８）に記載の画像処理装置。
（１０）
前記検出部は、比較対象となる注目画素における前記第１指標情報および前記第２指標情報の遷移と、前記注目画素の近傍の画素における前記第２指標情報とに基づいて前記動被写体を検出する前記（９）に記載の画像処理装置。
（１１）
前記検出部は、比較対象となる注目画素における前記第１指標情報および前記第２指標情報の遷移と、前記注目画素の近傍の画素における前記第２指標情報が全て特定の指標情報であるか否かとに基づいて前記動被写体を検出する前記（９）に記載の画像処理装置。
（１２）
前記指標情報を圧縮する圧縮部と、
前記圧縮された指標情報を保持するメモリと、
前記メモリに保持されている前記圧縮された指標情報を読み出して伸張する伸張部とをさらに具備し、
前記検出部は、前記伸張された指標情報に基づいて前記動被写体を検出する
前記（１）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記複数の画像を合成して合成画像を生成する画像合成部と、
前記検出された動被写体に関する情報に基づいて前記合成画像を補正する画像補正部と
をさらに具備する前記（１）から（１２）のいずれかに記載の画像処理装置。
（１４）
異なる露光時間で撮像された複数の画像に基づいて前記画像の明るさの指標を表す指標情報を生成する生成手順と、
前記指標情報に基づいて前記画像に含まれる動被写体を検出する検出手順と
を具備する画像処理方法。
（１５）
異なる露光時間で撮像された複数の画像に基づいて前記画像の明るさの指標を表す指標情報を生成する生成手順と、
前記指標情報に基づいて前記画像に含まれる動被写体を検出する検出手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０２１０】
１００  画像処理装置
１１０  撮像デバイス
１２０  画像メモリ
１３０  画像合成部
１４０  符号生成部
１５０  符号メモリ
１６０  動被写体検出部
１７０  画像補正部
３００  画像処理装置
３１０  符号圧縮部
３２０  符号メモリ
３３０  符号伸張部
７００  積層型ＣＭＯＳイメージセンサ
７０１、７１１、７２１  画素部（センサ部）
７０２  チップ
７１２、７２２  論理回路部
７１３  支持基板
【図１】
2015144339.tif 000003
【図２】
2015144339.tif 000004
【図３】
2015144339.tif 000005
【図４】
2015144339.tif 000006
【図５】
2015144339.tif 000007
【図６】
2015144339.tif 000008
【図７】
2015144339.tif 000009
【図８】
2015144339.tif 000010
【図９】
2015144339.tif 000011
【図１０】
2015144339.tif 000012
【図１１】
2015144339.tif 000013
【図１２】
2015144339.tif 000014
【図１３】
2015144339.tif 000015
【図１４】
2015144339.tif 000016
【図１５】
2015144339.tif 000017
【図１６】
2015144339.tif 000018
【図１７】
2015144339.tif 000019
【図１８】
2015144339.tif 000020
【図１９】
2015144339.tif 000021