(57)【要約】      （修正有）【課題】長時間露光におけるブレの影響を低減しつつ、高品位の合成画像を生成できるようにする画像処理装置、および画像処理方法、並びにプログラムを提供する。【解決手段】基本画像を撮像する基本撮像部３１と、基本撮像部３１とは独立な撮像条件で撮像できる複数の補助撮像部３２との露光時間および露光タイミングを、動き量に応じて制御する。【選択図】図１
2017069927.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する第１の撮像部と、
前記第１の撮像部とは独立な撮像条件を設定可能な複数の第２の撮像部と、
動き量を検出する動き検出部と、
前記第１の撮像部および前記複数の第２の撮像部の撮像条件を決定する撮像制御部とを含み、
前記撮像制御部は、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件を決定する
画像処理装置。
【請求項２】
前記第１の撮像部および前記複数の前記第２の撮像部は、それぞれが独立したイメージセンサ、および光学系からなる構成、または、同一の光学系および同一のイメージセンサ上の画素を２つ以上のグループに分けた構成である
請求項１に記載の画像処理装置。
【請求項３】
前記第１の撮像部および前記複数の第２の撮像部は、それぞれ特性が異なる
請求項１に記載の画像処理装置。
【請求項４】
前記第１の撮像部および前記複数の第２の撮像部は、それぞれ、カラーフィルタアレイの配列、光学レンズ特性、画素サイズ、またはセンササイズの少なくともいずれかの特性が異なる
請求項３に記載の画像処理装置。
【請求項５】
前記第１の撮像部の撮像条件である露光時間は、前記動き量と予め定められた動き限界閾値に基づいて設定される最長露光時間である
請求項１に記載の画像処理装置。
【請求項６】
前記第１の撮像部の撮像条件である露光時間は、前記最長露光時間内であれば、前記動き量が前記動き限界閾値よりも大きくなるタイミングで打ち切られる
請求項５に記載の画像処理装置。
【請求項７】
前記第２の撮像部の撮像条件は、静止画を撮像する場合、露光開始タイミングを前記第１の撮像部における前記露光開始タイミングと揃える、または、露光終了タイミングを前記第１の撮像部における前記露光終了タイミングと揃える
請求項１に記載の画像処理装置。
【請求項８】
前記第２の撮像部の撮像条件のうち露光時間は、前記動き量と予め定められた動き限界閾値に基づいて設定される最長露光時間である
請求項１に記載の画像処理装置。
【請求項９】
前記第２の撮像部の撮像条件である露光時間は、前記最長露光時間内であれば、前記動き量が前記動き限界閾値よりも大きくなるタイミングで打ち切られる
請求項８に記載の画像処理装置。
【請求項１０】
前記第２の撮像部の撮像条件のうち露光時間は、前記最長露光時間における、前記第１の撮像部における露光時間との露光時間比に基づいて設定される露光時間である
請求項８に記載の画像処理装置。
【請求項１１】
前記第２の撮像部の撮像条件のうち露光時間は、前記動き量と予め定められた動き限界閾値に基づいて設定される最長露光時間内であって、前記動き量が前記動き限界閾値よりも大きくなるタイミングで、前記露光時間が打ち切られた場合、打ち切られるまでの露光時間に応じて、前記最長露光時間が再計算される
請求項１に記載の画像処理装置。
【請求項１２】
前記第２の撮像部の撮像条件は、所定の露光時間で、適正露光が得られない場合、各画素について、周辺の複数の画素の画素値を加算して扱う画素加算モードとする
請求項１に記載の画像処理装置。
【請求項１３】
前記動き検出部は、ジャイロセンサ、または6軸センサを含む動きセンサにより検出される角速度、または加速度情報を積分して角度または並進の変位量を求めカメラの動き量を検出する
請求項１に記載の画像処理装置。
【請求項１４】
前記動き検出部は、前記第１の撮像部、または第２の撮像部において撮像されたタイミングが異なる２枚以上の画像より、前記第１の撮像部、または第２の撮像部の動き、または、前記画像内での被写体の移動に伴った動きを検出する
請求項１に記載の画像処理装置。
【請求項１５】
前記第１の撮像部により撮像された画像、および、前記複数の第２の撮像部により撮像された画像を合成し、合成画像を生成する合成部をさらに含む
請求項１に記載の画像処理装置。
【請求項１６】
画像を撮像する第１の撮像部と、
前記第１の撮像部とは独立な撮像条件を設定可能な複数の第２の撮像部と、
動き量を検出する動き検出部と、
前記第１の撮像部および前記複数の第２の撮像部の撮像条件を決定する撮像制御部とを含む画像処理装置の画像処理方法であって、
前記撮像制御部は、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件を決定する
画像処理方法。
【請求項１７】
画像を撮像する第１の撮像部と、
前記第１の撮像部とは独立な撮像条件を設定可能な複数の第２の撮像部と、
動き量を検出する動き検出部と、
前記第１の撮像部および前記複数の第２の撮像部の撮像条件を決定する撮像制御部としてコンピュータを機能させ、
前記撮像制御部は、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件を決定する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、長時間露光におけるブレの影響を低減しつつ高品位な合成画像を生成できるようにした画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
複数の撮像装置を用いて高品位な画像を取得する様々な技術が提案されている。
【０００３】
例えば、CCD（Charge Coupled Device）、または、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサはその原理として、センサ表面上に光電効果により発生した電荷量を計測することで画素信号を生成するものであり、受光部の面積を拡大させるほど感度を向上させることができる。
【０００４】
そこで、大面積画素により感度を向上させるようにする技術が提案されている（例えば、特許文献１，２参照）。
【０００５】
また、露光時間の異なる画像を用いることで、ブレの少ない短時間露光の画像と、よりノイズの少ない長時間露光の画像を用いて高品位な画像を生成する技術が提案されている（例えば、特許文献３参照）。
【０００６】
さらに、ブレにより影響を低減させるため、動きを検出し、露光を制御する技術が提案されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−０１８４４５号公報
【特許文献２】特開２０１２−０４４４４３号公報
【特許文献３】特開２００１−３４６０９３号公報
【特許文献４】特開平０４−０２４６２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１，２の技術においては、大面積画素では、同じ空間解像度を取得するためにはセンササイズも大きくなり、システムのサイズが拡大化し、コスト高となる恐れがあった。一方、センササイズを従来のサイズと同等に抑えた場合、空間解像度が低下すると共に、画角を縮小させてしまう恐れがあった。
【０００９】
また、特許文献３の技術においては、長時間露光画像の露光時間を長くすることでSNR（Signal to Noise Ratio）向上率を高めることができる一方で、露光時間の拡大は、手振れ、動体ブレにより画像間の乖離も拡大し、結果として両者の画像がうまく合成できず、露光時間比が小さい画像よりも劣化してしまう恐れがあった。
【００１０】
さらに、特許文献４の技術においては、ブレを抑制する一方で、適正とは言い難い短時間の露光により、ノイズを増大させてしまうことがあるため、単独の撮像装置からなる構成では、ブレとノイズのトレードオフを考慮した結果、中庸な設定とせざるを得ないために、十分に高画質化できない恐れがあった。
【００１１】
本開示は、このような状況に鑑みてなされたものであり、特に、長時間露光におけるブレの影響を低減しつつ、高品位な合成画像を生成できるようにするものである。
【課題を解決するための手段】
【００１２】
本開示の一側面の画像処理装置は、画像を撮像する第１の撮像部と、前記第１の撮像部とは独立な撮像条件を設定可能な複数の第２の撮像部と、動き量を検出する動き検出部と、前記第１の撮像部および前記複数の第２の撮像部の撮像条件を決定する撮像制御部とを含み、前記撮像制御部は、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件を決定する画像処理装置である。
【００１３】
前記第１の撮像部および前記複数の前記第２の撮像部は、それぞれが独立したイメージセンサ、および光学系からなる構成、または、同一の光学系および同一のイメージセンサ上の画素を２つ以上のグループに分けた構成とすることができる。
【００１４】
前記第１の撮像部および前記複数の第２の撮像部は、それぞれ特性が異なるものとすることができる。
【００１５】
前記第１の撮像部および前記複数の第２の撮像部は、それぞれ、カラーフィルタアレイの配列、光学レンズ特性、画素サイズ、またはセンササイズの少なくともいずれかの特性が異なるものとすることができる。
【００１６】
前記第１の撮像部の撮像条件である露光時間は、前記動き量と予め定められた動き限界閾値に基づいて設定される最長露光時間とすることができる。
【００１７】
前記第１の撮像部の撮像条件である露光時間は、前記最長露光時間内であれば、前記動き量が前記動き限界閾値よりも大きくなるタイミングで打ち切られるようにすることができる。
【００１８】
前記第２の撮像部の撮像条件は、静止画を撮像する場合、露光開始タイミングを前記第１の撮像部における前記露光開始タイミングと揃える、または、露光終了タイミングを前記第１の撮像部における前記露光終了タイミングと揃えるようにすることができる。
【００１９】
前記第２の撮像部の撮像条件のうち露光時間は、前記動き量と予め定められた動き限界閾値に基づいて設定される最長露光時間とすることができる。
【００２０】
前記第２の撮像部の撮像条件である露光時間は、前記最長露光時間内であれば、前記動き量が前記動き限界閾値よりも大きくなるタイミングで打ち切られるようにすることができる。
【００２１】
前記第２の撮像部の撮像条件のうち露光時間は、前記最長露光時間における、前記第１の撮像部における露光時間との露光時間比に基づいて設定される露光時間とすることができる。
【００２２】
前記第２の撮像部の撮像条件のうち露光時間は、前記動き量と予め定められた動き限界閾値に基づいて設定される最長露光時間内であって、前記動き量が前記動き限界閾値よりも大きくなるタイミングで、前記露光時間が打ち切られた場合、打ち切られるまでの露光時間に応じて、前記最長露光時間が再計算されるようにすることができる。
【００２３】
前記第２の撮像部の撮像条件は、所定の露光時間で、適正露光が得られない場合、各画素について、周辺の複数の画素の画素値を加算して扱う画素加算モードとすることができる。
【００２４】
前記動き検出部には、ジャイロセンサ、または6軸センサを含む動きセンサにより検出される角速度、または加速度情報を積分して角度または並進の変位量を求めカメラの動き量を検出させるようにすることができる。
【００２５】
前記動き検出部には、前記第１の撮像部、または第２の撮像部において撮像されたタイミングが異なる２枚以上の画像より、前記第１の撮像部、または第２の撮像部の動き、または、前記画像内での被写体の移動に伴った動きを検出させるようにすることができる。
【００２６】
前記第１の撮像部により撮像された画像、および、前記複数の第２の撮像部により撮像された画像を合成し、合成画像を生成する合成部をさらに含ませるようにすることができる。
【００２７】
本開示の一側面の画像処理方法は、画像を撮像する第１の撮像部と、前記第１の撮像部とは独立な撮像条件を設定可能な複数の第２の撮像部と、動き量を検出する動き検出部と、前記第１の撮像部および前記複数の第２の撮像部の撮像条件を決定する撮像制御部とを含む画像処理装置の画像処理方法であって、前記撮像制御部は、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件を決定する画像処理方法である。
【００２８】
本開示の一側面のプログラムは、画像を撮像する第１の撮像部と、前記第１の撮像部とは独立な撮像条件を設定可能な複数の第２の撮像部と、動き量を検出する動き検出部と、前記第１の撮像部および前記複数の第２の撮像部の撮像条件を決定する撮像制御部としてコンピュータを機能させ、前記撮像制御部は、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件を決定するプログラムである。
【００２９】
本開示の一側面においては、第１の撮像部により、画像が撮像され、複数の第２の撮像部により、前記第１の撮像部とは独立な撮像条件が設定され、前記動き検出部により、動き量が検出され、撮像制御部により、前記第１の撮像部および前記複数の第２の撮像部の撮像条件が決定され、前記撮像制御部により、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件が決定される。
【発明の効果】
【００３０】
本開示の一側面によれば、長時間露光におけるブレの影響を低減しつつ、高品位な合成画像を生成することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本開示を適用した画像処理装置の第１の実施の形態の構成例を説明する図である。
【図２】図１の画像処理装置による画像合成処理を説明するフローチャートである。
【図３】図１の画像処理装置による画像合成処理における動きの変位量よる露光の打ち切りを説明する図である。
【図４】本開示を適用した画像処理装置の第２の実施の形態の構成例を説明する図である。
【図５】図４の画像処理装置による画像合成処理を説明するフローチャートである。
【図６】図４の画像処理装置による画像合成処理における動きの変位量よる露光の打ち切りを説明する図である。
【図７】本開示を適用した画像処理装置の第３の実施の形態の構成例を説明する図である。
【図８】画像を利用して求められる動きの変位量よる露光の打ち切りを説明する図である。
【図９】図７の画像処理装置による画像合成処理を説明するフローチャートである。
【図１０】図８の動き量検出処理を説明するフローチャートである。
【図１１】基本画像と補助画像との露光終了合わせにおける動きの変位量よる露光の打ち切りを説明する図である。
【図１２】本開示を適用した画像処理装置の第４の実施の形態の構成例を説明する図である。
【図１３】図１２の画像処理装置による画像合成処理を説明するフローチャートである。
【図１４】基本画像と補助画像と動画像として撮像するときの動きの変位量よる露光の打ち切りを説明する図である。
【図１５】本開示を適用した画像処理装置の第５の実施の形態の構成例を説明する図である。
【図１６】図１５の画像処理装置による画像合成処理を説明するフローチャートである。
【図１７】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００３２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３３】
また、以下の順序で説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．応用例
【００３４】
＜＜１．第１の実施の形態＞＞
＜画像処理装置の第１の実施の形態の構成例＞
図１は、本開示を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。図１の画像処理装置１１は、露光時間の異なる複数の画像を撮像し、高感度の画像を合成するものである。
【００３５】
より詳細には、画像処理装置１１は、基本撮像部３１、補助撮像部３２、撮像制御部３３、および合成部３４を備えている。
【００３６】
基本撮像部３１、および補助撮像部３２は、略同一の平面上の、略同一方向であって、略同一範囲を撮像しているものであり、それぞれ基本画像および補助画像を撮像する。基本撮像部３１、および補助撮像部３２は、カラーフィルタアレイの配列（IR（infrared）カットフィルタの有無）、光学レンズ特性（焦点距離、F値、MTF（Modulation Transfer Function））、画素サイズ、およびセンササイズについて、相互に同一のものでなくてもよい。
【００３７】
基本撮像部３１、および補助撮像部３２は、それぞれレンズ等の光学ブロックと、CCDやCMOS等の撮像素子からなり、撮像制御部３３による設定に従って画像を撮像し合成部３４に供給する。より詳細には、基本撮像部３１、および補助撮像部３２は、相互に同期を取るため撮像制御部３３からの制御信号に基づいて動作する。
【００３８】
すなわち、基本撮像部３１、および補助撮像部３２は、撮像制御部３３からの設定を反映させ、露光開始信号を待って露光を開始し、最長露光時間まで打ち切り信号を監視し、打ち切り信号が受信されるまで、または、最長露光時間として設定された時間まで露光を継続し、打ち切り信号が受信されたとき、または、最長露光時間が経過したときには、露光を終了して、読み込みを開始する。
【００３９】
尚、簡単のために、基本撮像部３１および補助撮像部３２は、１つであるものとして説明を進めるものとするが、１つ以上であればその数はいくつでもよく、例えば、単一の補助撮像部３２の撮像センサ上の画素を独立に制御可能な複数グループに分け、それぞれを基本撮像部３１、および、補助撮像部３２として構成するようにしても良い。
【００４０】
また、基本撮像部３１、および補助撮像部３２と、撮像制御部３３とを別構成とするものとするが、例えば、基本撮像部３１、および補助撮像部３２のいずれかが、他方の撮像部との同期を管理するようにしてもよい。
【００４１】
撮像制御部３３は、基本撮像部３１、および補助撮像部３２の撮像を制御すると共に、動き検出部３３ａを備えており、画像処理装置１１の全体の動きを検出する。
【００４２】
撮像制御部３３は、基本撮像部３１に対して、撮像に必要とされる各種のパラメータ（以降において、撮像パラメータと称する）、および（最長）露光時間の設定、アナログゲイン、および、画素加算モードのオンおよびオフを制御する。尚、撮像制御部３３は、撮像パラメータを従来のAE（Auto Exposure）手法を用いて、基本撮像部３１の特性と被写体照度などから決定する。その際、大きなブレを防ぐために、露光時間は短めにするとよく、例えば、光学系により求まる焦点距離分の１[s]としてもよいし、露光前の動きから推定した角速度とFOV（Field of View）およびセンサ解像度から求めた単位時間当たりのブレ画素数を用いて予め定められたブレ許容画素数の限界値を超えない最大値として求めてもよい。
【００４３】
また、被写体照度から算出された適正露光と設定値に基づいた露光設定値との間に大きな乖離が存在する場合には、撮像制御部３３は、画素加算モードをオンにして、より明るく映るよう設定しても良い。画素加算は大きくアナログ加算（AD（Analog to Digital）変換前に加算）とデジタル加算（AD変換後に加算）の2種類が存在する。
【００４４】
ここでいう画素加算は、狭義にはアナログ加算のうちのFD（Floating Diffusion）加算であるが、FD加算に限るものではない。画素加算により、SNR（Signal to Ratio）が向上する加算手法が望ましい。
【００４５】
撮像制御部３３は、シャッターボタンの押し下げやFocus推定の完了を受けて、基本撮像部３１に対して露光開始信号を送る。また、撮像制御部３３は、露光開始時刻から露光している間の角速度や加速度などを積分することで露光時間中のブレ量を求め、予め定められたブレ許容画素数の限界値を超えたことを検出したとき、基本撮像部３１に対して露光打ち切り信号を送り、画像の読み込を開始する。
【００４６】
撮像制御部３３は、補助撮像部３２に対して、撮像パラメータおよび（最長）露光時間の設定、アナログゲイン、および画素加算モードのオンまたはオフを制御する。また、撮像制御部３３は、従来のAE手法を用いて、補助撮像部３２の特性、および被写体照度から、露光時間、およびアナログゲインの値を決定してもよい。
【００４７】
さらに、撮像制御部３３は、露光時間を、従来AE手法からアナログゲイン0dBとして適正露光とされる露光時間、基本撮像部３１の露光時間の定数倍の露光時間、露光前の動きから推定した角速度とFOVおよびセンサ解像度から求めた単位時間当たりのブレ画素数に基づいた、予め定められたブレ許容画素数の限界値を超えない最長値となる露光時間、または、上記３種類の露光時間の最小値のいずれかに決定した後に、アナログゲインの値を決めてもよい。
【００４８】
以上で求めた（最長）露光時間において、アナログゲインでは適正露光に満たない場合、撮像制御部３３は、画素加算をオンにすることで暗部のSNRをさらに向上し高品位な画像を作ることができる。
【００４９】
ここでいう画素加算は、基本撮像系同様、狭義にはアナログ加算のうちのFD加算であるが、今後の新規技術も含め、FD加算に限るものではない。画素加算により、SNが向上する加算手法が望ましい。
【００５０】
撮像制御部３３は、シャッターボタンの押し下げやFocus推定の完了を受けて補助撮像部３２に対して露光開始信号を送る。また、撮像制御部３３は、露光開始時刻から露光している間の角速度や加速度などを積分することで露光時間中のブレ量を求め、予め定められたブレ許容画素数の限界値を超えたことを検出したとき、補助撮像部３２に対して露光打ち切り信号を送り、画像の読み込を開始する。
【００５１】
動き検出部３３ａは、動き量（角速度・角加速度・速度・加速度など）を推定すると共に、動き検出する。ただし、動き検出部３３ａは、上記処理において、動き量の推定を行わず、基本撮像部３１、および補助撮像部３２と被写体の照度のみから撮像条件を決定するようにしてもよい。
【００５２】
動き検出部３３ａは、例えば、ジャイロセンサ（Gyro Sensor）、加速度センサ、または6軸センサなど動きを検出するセンサなどからなり、角速度や加速度の値を積分することで、カメラの角度の変化量や並進の移動量を求める。
【００５３】
また、動き検出部３３ａは、例えば、露光開始前から動きを計測することで、露光時間内の速度、角速度を予測する。より具体的には、動き検出部３３ａは、露光開始前一定時間の速度、および角速度の平均値、または移動平均、並びに、カルマンフィルタを用いて動きを予測する。さらに、動き検出部３３ａは、動画ではフレームごとに、直前の情報を用いて動きの推測値を更新する。
【００５４】
動き検出部３３ａは、原則、露光開始時を動きの初期値として、露光開始からの動きの変位量を算出する。
【００５５】
合成部３４は、基本撮像部３１により撮像された基本画像と、補助撮像部３２により撮像された補助画像とを合成することで生成する合成画像を出力する。合成部３４は、生成される合成画像に求められる目的に応じて処理を決定する。例えば、合成部３４は、NR（Noise Reduction）、またはDeblurを掛けることを目的としてもよいし、HDR（High Dynamic Range）画像の合成を目的としてもよいし、超解像処理を目的としてもよい。
【００５６】
基本撮像部３１、および補助撮像部３２の光学系および撮像素子が異なる場合、合成部３４は、基本画像および補助画像の、それぞれに異なる特徴量を揃えた上で処理してもよいし、そのまま処理してもよい。また、合成部３４の合成手法に関しては、既存の手法を使用するものとする。
【００５７】
＜図１の画像処理装置における画像合成処理について＞
次に、図２のフローチャートを参照して、図１の画像処理装置１１における画像合成処理について説明する。
【００５８】
ステップＳ１１において、撮像制御部３３は、基本撮像部３１および補助撮像部３２のそれぞれの撮像条件となる、動き、最大露光時間、アナログゲイン、および画素加算モードのオンまたはオフを決定し、設定する。
【００５９】
より詳細には、撮像制御部３３は、動き検出部３３ａを制御して、動き量を推定する。図１においては、動き検出部３３ａは、外部からの情報を得ることなく自らで動きを検出する構成となるので、例えば、ジャイロセンサ、加速度センサ、または6軸センサなど動きを検出するセンサなどからなり、角速度や加速度の値を積分することで、基本撮像部３１および補助撮像部３２の角度の変化量や並進の移動量を求め、動きとし、この変化を累積的に求めることで、次のタイミングにおける動きを推定する。
【００６０】
また、撮像制御部３３は、基本撮像部３１および補助撮像部３２のそれぞれについて、露光が途中で打ち切りにならなかったときの露光時間となる最大露光時間を決定する。さらに、撮像制御部３３は、基本撮像部３１および補助撮像部３２の撮像センサ内におけるAD（Analogue to Digital）変換時のアナログゲインを設定する。また、撮像制御部３３は、画素加算モードのオンまたはオフを設定する。
【００６１】
ステップＳ１２において、撮像制御部３３は、露光開始信号を基本撮像部３１および補助撮像部３２に送信し、基本撮像部３１および補助撮像部３２が同期して露光を開始する。
【００６２】
ステップＳ１３において、撮像制御部３３は、動き検出部３３ａを制御して、露光を開始するとともに動き量を算出する。動き検出部３３ａにより算出された動き量は、基本撮像部３１および補助撮像部３２のそれぞれについて、設定された閾値と比較され、打ち切り判定に使用される。
【００６３】
ステップＳ１４において、撮像制御部３３は、基本撮像部３１の露光が既に終了しているか否かを判定し、終了していない場合、処理は、ステップＳ１５に進む。
【００６４】
ステップＳ１５において、撮像制御部３３は、動き検出部３３ａにより算出された動き量が基本撮像部３１の露光を打ち切る条件を満たしているか否かを判定する。ステップＳ１５において、動き検出部３３ａにより算出された動き量が基本撮像部３１の露光を打ち切る条件を満たしていない場合、処理は、ステップＳ１６に進む。
【００６５】
ステップＳ１６において、撮像制御部３３は、基本撮像部３１の露光時間が最長露光時間に達したか否かを判定する。ステップＳ１６において、最長露光時間に達していないと見なされた場合、処理は、ステップＳ１３に戻る。すなわち、基本撮像部３１の露光が開始されてから、最長露光時間に達するまでの間、動き量が打ち切りの条件を満たさない限り、ステップＳ１３乃至Ｓ１６の処理が繰り返される。
【００６６】
そして、ステップＳ１５において、動き量が、基本撮像部３１の露光を打ち切る条件を満たしたとみなされた場合、または、ステップＳ１６において、基本撮像部３１の最長露光時間が経過した場合、処理は、ステップＳ１７に進む。
【００６７】
ステップＳ１７において、撮像制御部３３は、基本撮像部３１における露光を終了して、画素信号の読み出しを開始する。
【００６８】
すなわち、基本撮像部３１は、露光が開始されてから、動き量が露光打ち切りの条件を満たすか、または、最長露光時間となったときに、露光が終了して、画素信号が読み出される。
【００６９】
ステップＳ１８において、撮像制御部３３は、補助撮像部３２の露光が既に打ち切られているか否かを判定し、打ち切られていない場合、処理は、ステップＳ１９に進む。
【００７０】
ステップＳ１９において、撮像制御部３３は、動き検出部３３ａにより算出された動き量が補助撮像部３２の露光を打ち切る条件を満たしているか否かを判定する。ステップＳ１９において、動き検出部３３ａにより算出された動き量が補助撮像部３２の露光を打ち切る条件を満たしていない場合、処理は、ステップＳ２０に進む。
【００７１】
ステップＳ２０において、撮像制御部３３は、補助撮像部３２の露光時間が最長露光時間に達したか否かを判定する。ステップＳ２０において、最長露光時間に達していないと見なされた場合、処理は、ステップＳ１３に戻る。すなわち、基本撮像部３１の露光が開始されてから、最長露光時間に達するまでの間、動き量が打ち切りの条件を満たさない限り、ステップＳ１３乃至Ｓ２０の処理が繰り返される。
【００７２】
そして、ステップＳ１９において、動き量が、補助撮像部３２の露光を打ち切る条件を満たしたとみなされた場合、または、ステップＳ２０において、補助撮像部３２の最長露光時間が経過した場合、処理は、ステップＳ２１に進む。
【００７３】
ステップＳ２１において、撮像制御部３３は、補助撮像部３２における露光を終了して、画素信号の読み出しを開始する。
【００７４】
すなわち、補助撮像部３２は、露光が開始されてから、動き量が打ち切りの条件を満たすか、または、最長露光時間となったときに、露光が終了して、画素信号が読み出される。
【００７５】
ステップＳ２２において、撮像制御部３３は、画像の合成に必要な画像、すなわち、基本画像および補助画像が揃ったか否かを判定し、揃っていない場合、処理は、ステップＳ１３に戻る。すなわち、合成に必要とされる画像が揃うまで、ステップＳ１３乃至Ｓ２２の処理が繰り返される。そして、ステップＳ２２において、合成に必要とされる画像が揃ったと見なされた場合、処理は、ステップＳ２３に進む。
【００７６】
ステップＳ２３において、合成部３４は、基本画像および補助画像を合成して、合成画像を生成して、出力する。
【００７７】
また、ステップＳ１８において、補助撮像部３２が、既に露光を終了している場合、ステップＳ１９乃至Ｓ２１の処理がスキップされて、処理は、ステップＳ２３に進む。
【００７８】
すなわち、ステップＳ１８において、例えば、感度向上を目的とした場合には、補助撮像部３２の露光時間の方が長いので、補助撮像部３２の露光が終了すると、直ぐに合成が開始されることになる。
【００７９】
すなわち、例えば、図３の左上部で示されるように、基本撮像部３１および補助撮像部３２が、それぞれの限界値として設定された範囲内で動きの変位量（動き量）が検出されている限り、それぞれの最長露光時間まで露光が継続されて、その後、画素信号が読み出される。
【００８０】
図３においては、上段に所定の方向の動き量の時間方向の変位が示されたグラフが表示されており、基本撮像部３１および補助撮像部３２のそれぞれの限界値が点線および一点鎖線で示されている。ここでは、基本撮像部３１における限界値の絶対値は、補助撮像部３２における限界値の絶対値以下とする。これにより、基本撮像部３１よりぶれる可能性があるが、よりノイズの少ない画像を取得することができる。
【００８１】
また、中段には、基本撮像部３１の露光タイミングが示されており、下段には、補助撮像部３２の露光タイミングが示されている。より具体的には、基本撮像部３１の露光時間は、時刻ｔ０乃至ｔ１とされており、露光期間内に撮像している基本画像Ｂ０が示されている。また、補助撮像部３２の露光時間は、時刻ｔ０乃至ｔ２とされており、露光期間内に撮像している補助画像Ｓ０が示されている。
【００８２】
すなわち、図３の左上部における上段の動き量の波形の場合、最長露光時間に達するまで点線で示される基本撮像部３１の限界値、および補助撮像部３２の限界値のいずれも超えない。このため、基本撮像部３１は、時刻ｔ０乃至ｔ１の露光期間で、最長露光時間の露光を実現することにより、基本画像Ｂ０を撮像する。また、補助撮像部３２は、時刻ｔ０乃至ｔ２の露光期間で、最長露光時間の露光を実現することにより、補助画像Ｓ０を撮像する。
【００８３】
すなわち、この場合においては、基本画像および補助画像は十分な光量の画像となる。
【００８４】
一方、図３の左下部における上段の動き量の波形の場合、最長露光時間に達するまでに、点線で示される基本撮像部３１の限界値を超える。このため、基本撮像部３１は、動き量の変位が、時刻ｔ１１において、点線で示される基本撮像部３１の限界値を超えるため、そのタイミングで露光を打ち切る。このため、基本撮像部３１は、時刻ｔ０乃至ｔ１１の露光期間で、基本画像Ｂ０を撮像する。このとき、動きの変位量（動き量）は、最長露光時間に達するまでに補助撮像部３２の限界値を超えないため、補助撮像部３２は、最長露光時間である時刻ｔ０乃至ｔ２において、最長露光時間の露光を実現することにより、補助画像Ｓ０を撮像する。
【００８５】
すなわち、この場合においては、基本画像は、やや暗い画像となるが、補助画像は十分な光量の画像となる。
【００８６】
さらに、図３の右上部における上段の動き量の波形の場合、基本撮像部３１の最長露光時間に達するまでは、点線で示される基本撮像部３１の限界値も、一点鎖線で示される補助撮像部３２の限界も超えないが、補助撮像部３２の最長露光時間に達するまでの時刻ｔ２１において、補助撮像部３２の限界値を超える。このため、補助撮像部３２は、動きの変位量（動き量）が、時刻ｔ２１において、一点鎖線で示される基本撮像部３１の限界値を超えるため、そのタイミングで露光を打ち切る。このため、基本撮像部３１は、時刻ｔ０乃至ｔ１１の露光期間で、基本画像Ｂ０を撮像する。このとき、動き量の波形の変位は、最長露光時間に達するまでの時刻ｔ２１において、補助撮像部３２の限界値を超えるため、補助撮像部３２は、最長露光時間である時刻ｔ０乃至ｔ２１において、露光を実現することにより、画像Ｓ０を撮像する。
【００８７】
すなわち、この場合においては、基本画像は、十分な光量の画像となるが、補助画像はやや光量の少ない暗い画像となる。
【００８８】
また、図３の右下部における上段の動き量の波形の場合、基本撮像部３１の最長露光時間に達するまでの時刻ｔ３１において、点線で示される基本撮像部３１の限界値を超えるため、基本撮像部３１は、時刻ｔ３１のタイミングで露光を打ち切る。これにより、基本撮像部３１は、時刻ｔ０乃至ｔ３１の露光期間で、基本画像Ｂ０を撮像する。一方、動き変位量の波形は、時刻ｔ３１以降において、さらに増大し、時刻ｔ３２において、一点鎖線で示される補助撮像部３２の限界を超えるため、補助撮像部３２は、時刻ｔ３２のタイミングで露光を打ち切る。このため、補助撮像部３２は、時刻ｔ０乃至ｔ３２において、露光を実現することにより、補助画像Ｓ０を撮像する。
【００８９】
すなわち、この場合においては、基本画像も補助画像も、十分な光量の画像とならず、やや光量の少ない暗い画像となる。
【００９０】
しかしながら、図３のいずれの場合においても、基本撮像部３１および補助撮像部３２のそれぞれで設定された許容範囲となる限界値を超えない範囲でのみ露光がなされるので、いずれの画像もブレが抑制された画像となる。
【００９１】
結果として、長時間露光が設定されるような場合でも、露光時間内に許容範囲を超える、動きが発生したときには、露光が打ち切られることになるので、ブレによる影響を低減することが可能となる。
【００９２】
尚、以上においては、基本撮像部３１および補助撮像部３２のいずれにおいても、動き量が許容範囲を超えると露光を打ち切る例について説明してきたが、基本撮像部３１および補助撮像部３２のいずれかの露光だけを動き量に応じて打ち切るようにしても良い。すなわち、基本撮像部３１は、主たる画像となる基本画像を撮像しているため、高画質化に必要とされる補助画像を撮像する補助撮像部３２の露光だけを動き量に応じて打ち切るようにしても良い。このようにすることで、基本撮像部３１におけるブレと同様のブレでよりSNRがよい画像を合成することができる。
【００９３】
＜＜２．第２の実施の形態＞＞
＜画像処理装置の第２の実施の形態の構成例＞
以上においては、基本撮像部３１および補助撮像部３２の最長露光時間は、撮像が開始される前に算出されたものが使用される例について説明してきたが、例えば、基本撮像部３１における露光が打ち切られた後、補助撮像部３２における最長露光時間を、基本撮像部３１における露光時間に基づいて再計算し、補助撮像部３２における補助画像と基本撮像部３１により撮像される基本画像との露光比を一定以下にするようにしてもよい。
【００９４】
図４は、基本撮像部３１における露光が打ち切られた後、補助撮像部３２における最長露光時間を、基本撮像部３１における露光時間に基づいて再計算するようにした画像処理装置１１の第２の実施の形態の構成例を示している。尚、図４の画像処理装置１１において、図１の画像処理装置１１と同一の機能を備えた構成については、同一の名称および同一の符号を付しており、その説明は適宜省略するものとする。
【００９５】
すなわち、図４の画像処理装置１１において、図１の画像処理装置１１と異なる点は、撮像制御部３３に変えて、撮像制御部４１を備えた点である。撮像制御部４１は、基本撮像部３１における露光が打ち切られた後、補助撮像部３２における最長露光時間を、基本撮像部３１における露光時間に基づいて再計算して設定し直す。一般に、過度に露光比の異なる画像はノイズ、飽和領域、および動きブレの強度が異なるために合成が難しいとされている。このため、この処理により、基本画像と補助画像との露光比を抑えることが可能となり、高画質化を実現することが可能となる。尚、撮像制御部４１は、動き検出部４１ａを備えているが、動き検出部３１ａと同一の機能であるので、その説明は省略する。
【００９６】
＜図４の画像処理装置による画像合成処理について＞
次に、図５のフローチャートを参照して、図４の画像処理装置１１による画像合成処理について説明する。尚、図５のフローチャートにおけるステップＳ５１乃至Ｓ６３の処理は、図２のフローチャートにおけるステップＳ１１乃至Ｓ２３の処理と同様であるので、その説明は省略するものとする。
【００９７】
すなわち、図５のフローチャートにおいて、図２のフローチャートと異なるのは、ステップＳ６４の処理である。
【００９８】
ステップＳ５５において、撮像制御部４１は、動き量が、基本撮像部３１の露光が打ち切られる条件を満たしているか否かを判定し、満たしていると見なされたとき、処理が、ステップＳ６４に進む。
【００９９】
ステップＳ６４において、撮像制御部４１は、補助撮像部３２の最長露光時間を再計算して設定し直し、処理は、ステップＳ５７に進む。
【０１００】
すなわち、撮像制御部４１は、例えば、基本撮像部３１の露光が打ち切られたタイミングでの基本画像の露光時間を算出し、算出した露光時間の定数倍の露光時間を補助撮像部３２の露光時間に設定し直す。
【０１０１】
例えば、図６で示されるように、最上段の動きの変位量（動き量）が、時刻ｔ５１において基本撮像部３１の許容範囲を示す点線を超える。この時刻ｔ５１において基本撮像部３１における露光が打ち切られて、画素信号が読み出される。このとき、撮像制御部４１は、基本撮像部３１の露光時間（時刻ｄｔ０乃至ｔ５１）を所定の定数倍した時間を、補助撮像部３２の最長露光時間として再計算して設定し直す。図６の場合、再計算された時間は、時刻ｔ０乃至ｔ５２となる。
【０１０２】
以上の処理により、デフォルトで設定される基本撮像部３１の最長露光時間と、補助撮像部３２の最長露光時間とが、所定の露光時間比で設定されているような場合、この所定の露光時間比となるように、再度露光時間を設定し直すことで、基本撮像部３１の露光時間が打ち切られても、露光時間比がほぼ一定の基本画像と補助画像とを撮像することが可能となり、露光比が異なることで、画像を合成する際に生じるノイズ、飽和領域、および動きブレの強度による影響を低減させることが可能となる。
【０１０３】
＜＜３．第３の実施の形態＞＞
＜画像処理装置の第３の実施の形態の構成例＞
以上においては、動き量については、ジャイロセンサ、加速度センサ、または6軸センサなど動きを検出するセンサなどからなる動き検出部３３ａ，４１ａにより単独で検出する場合について説明してきたが、順次撮像される画像を用いて動きを検出するようにしても良い。
【０１０４】
図７は、動き量を基本撮像部３１により撮像された画像を用いて求めるようにした画像処理装置１１の第３の実施の形態の構成例である。尚、図７の画像処理装置１１において、図１の画像処理装置１１と異なる点は、撮像制御部３３に代えて、撮像制御部５１を設けた点である。
【０１０５】
すなわち、撮像制御部５１は、基本的な機能は撮像制御部３３と同様であるが、動き検出部５１ａが、基本撮像部３１より撮像される画像を用いて動きを検出する。より詳細には、撮像制御部５１は、基本撮像部３１による露光を終了させ、画素信号を読み出した後であって、補助撮像部３２による露光が終了するまでの間に、基本撮像部３１による短時間の露光を繰り返し、動き量を検出するための検波画像を撮像するように制御する。
【０１０６】
例えば、図８で示されるように、時刻ｔ０乃至ｔ１において、基本撮像部３１により、基本画像ＢＯが撮像されると、時刻ｔ２までは、補助撮像部３２により補助画像Ｓ０の露光が継続される。そこで、この時刻ｔ１乃至ｔ２において、撮像制御部５１は、基本撮像部３１を制御して、動き量を検出するために、ごく短時間のみ検波画像Ｄ１乃至Ｄ４を露光させる。図８においては、時刻ｔ１乃至ｔ１０１において、検波画像Ｄ１が露光され、時刻ｔ１０１乃至ｔ１０２において、検波画像Ｄ２が露光され、時刻ｔ１０２乃至ｔ１０３において、検波画像Ｄ３が露光され、時刻ｔ１０３乃至ｔ１０４において、検波画像Ｄ４が露光される。
【０１０７】
動き検出部５１ａは、基本画像Ｂ０として撮像された画像と、繰り返し撮像される検波画像Ｄ１乃至Ｄ４との差分として、例えば、画素間差分絶対値和などを求め、これを動きの変位量（動き量）とする。撮像制御部５１は、動き検出部５１ａにより求められた動き量に基づいて、補助撮像部３２の露光の打ち切りを決定する。
【０１０８】
図８においては、上段の時刻ｔ１０１乃至ｔ１０４のそれぞれのタイミングで示される黒丸が動き変位量、すなわち、基本画像Ｂ０と、検波画像Ｄ１乃至Ｄ４とのそれぞれの画素間差分絶対値和を示しており、時刻ｔ１０４において、補助撮像部３２の限界値を超えている。
【０１０９】
＜図７の画像処理装置による画像合成処理について＞
次に、図９のフローチャートを参照して、図７の画像処理装置１１による画像合成処理について説明する。
【０１１０】
ステップＳ１０１において、撮像制御部５１は、基本撮像部３１および補助撮像部３２のそれぞれの撮像条件となる、動き、最大露光時間、アナログゲイン、および画素加算モードのオンまたはオフを決定し、設定する。
【０１１１】
ステップＳ１０２において、撮像制御部５１は、露光開始信号を基本撮像部３１および補助撮像部３２に送信し、基本撮像部３１および補助撮像部３２が同期して露光を開始する。
【０１１２】
ステップＳ１０３において、撮像制御部５１は、基本撮像部３１の露光時間が最長露光時間に達したか否かを判定し、最長露光時間に達するまで、同様の処理を繰り返す。そして、ステップＳ１０３において、最長露光時間に達した場合、処理は、ステップＳ１０４に進む。
【０１１３】
ステップＳ１０４において、撮像制御部５１は、基本撮像部３１における露光を終了して、画素信号の読み出しを開始する。
【０１１４】
ステップＳ１０５において、撮像制御部５１は、基本撮像部３１を制御して、動き量を検出するための検波画像の露光を新規で開始させる。
【０１１５】
ステップＳ１０６において、撮像制御部５１は、補助撮像部３２の露光時間が最長露光時間に達したか否かを判定し、最長露光時間に達していない場合、処理は、ステップＳ１０７に進む。
【０１１６】
ステップＳ１０７において、撮像制御部５１は、基本撮像部３１の検波画像用の露光時間が最長露光時間に達したか否かを判定し、最長露光時間に達していない場合、処理は、ステップＳ１０６に戻る。
【０１１７】
すなわち、基本撮像部３１および補助撮像部３２のいずれの露光時間も最長露光時間に達するまで、ステップＳ１０６，Ｓ１０７の処理が繰り返される。そして、ステップＳ１０７において、基本撮像部３１の検波画像用の露光時間が最長露光時間に達した場合、処理は、ステップＳ１０８に進む。
【０１１８】
ステップＳ１０８において、撮像制御部５１は、基本撮像部３１における露光を終了して、画素信号の読み出しを開始する。
【０１１９】
ステップＳ１０９において、撮像制御部５１は、動き量検出処理を実行し、動き量を検出する。
【０１２０】
＜検波用画像を利用した動き量検出処理＞
【０１２１】
ここで、図１０のフローチャートを参照して、検波用画像を利用した動き量検出処理について説明する。
【０１２２】
ステップＳ１３１において、動き検出部５１ａは、基本撮像部３１により撮像された基本画像を検波用画像の特性に合わせる。
【０１２３】
ステップＳ１３２において、動き検出部５１ａは、特性を合わせた基本画像と検波用画像との画素間差分絶対値和を算出する。
【０１２４】
ステップＳ１３３において、動き検出部５１ａは、差分絶対値和からなる評価値を、動きの変位量（動き量）として出力する。
【０１２５】
ここで、図８のフローチャートの説明に戻る。
【０１２６】
ステップＳ１１０において、撮像制御部５１は、動き量が、補助撮像部３２の露光の打ち切り条件を満たすか否かを判定し、打ち切り条件を満たさない場合、処理は、ステップＳ１０５に戻る。
【０１２７】
すなわち、基本撮像部３１の基本画像を撮像するための露光が終了した後、ステップＳ１０５乃至Ｓ１１０の処理が繰り返され、補助撮像部３２による補助画像の露光と、基本撮像部３１による検波画像の露光と読み出しが繰り返される。
【０１２８】
そして、ステップＳ１０６において、補助撮像部３２の露光時間が最長露光時間となった場合、または、ステップＳ１１０において、動き量が、補助撮像部３２の露光を打ち切る条件を満たしている場合、処理は、ステップＳ１１１に進む。
【０１２９】
ステップＳ１１１において、撮像制御部５１は、基本撮像部３１による検波用画像の露光を打ち切る。
【０１３０】
ステップＳ１１２において、撮像制御部５１は、補助撮像部３２における露光を終了して、画素信号の読み出しを開始する。
【０１３１】
ステップＳ１１３において、合成部３４は、基本撮像部３１により撮像された基本画像と、補助撮像部３２により撮像された補助画像とを合成する。
【０１３２】
すなわち、以上の処理により、図８で示されるように、ステップＳ１０１乃至Ｓ１０４の処理で、時刻ｔ０で開始された基本画像Ｂ０の露光が時刻ｔ１で終了した後、ステップＳ１０５乃至Ｓ１１０の処理が繰り返されて、補助画像Ｓ０の露光が終了するまで、検波画像Ｄ１の露光が時刻ｔ１乃至ｔ１０１でなされ、検波画像Ｄ２の露光が時刻ｔ１０１乃至ｔ１０２でなされ、検波画像Ｄ３の露光が時刻ｔ１０２乃至ｔ１０３でなされ、検波画像Ｄ４の露光が時刻ｔ１０３乃至ｔ１０４でなされる。
【０１３３】
この結果、図８で示されるように、補助画像の露光時間内に、基本画像と、複数の検波画像が撮像される。
【０１３４】
ここで、ステップＳ１０９の動き量検出処理における、ステップＳ１３１乃至Ｓ１３３の処理により、各検波画像Ｄ１乃至Ｄ４について基本画像Ｂ０との差分絶対値和に基づいて動き量が求められ、図８の上段で示されるように時刻ｔ１０１乃至ｔ１０４のそれぞれで、黒丸で示されるような動き変位量が求められることになる。
【０１３５】
すなわち、時刻ｔ１０１においては、基本画像Ｂ０と検波画像Ｄ１との画素間の差分絶対値和が動き量の変位として求められ、時刻ｔ１０２においては、基本画像Ｂ０と検波画像Ｄ２との画素間の差分絶対値和が動き量の変位として求められ、時刻ｔ１０３においては、基本画像Ｂ０と検波画像Ｄ３との画素間の差分絶対値和が動き量の変位として求められ、時刻ｔ１０４においては、基本画像Ｂ０と検波画像Ｄ４との画素間の差分絶対値和が動き量の変位として求められる。
【０１３６】
そして、図８においては、時刻ｔ１０４において、動き量の変位が一点鎖線で示される補助撮像部３２の限界値を超えることになるため、ステップＳ１１０における、補助撮像部３２の打ち切り条件が満たされる。このため、補助画像Ｓ０の露光時間が、時刻ｔ１０４で打ち切られるので、補助画像Ｓ０は、露光時間が時刻ｔ０乃至ｔ１０４の画像とされる。
【０１３７】
尚、図８においては、時刻ｔ１０４において、動き量の変位が補助撮像部３２の限界値を超えることにより、補助画像の露光が打ち切られるが、時刻ｔ１０４以降においても動き量の変位が補助撮像部３２の限界値を超えることがなければ、補助撮像部３２の最長露光時間まで露光が継続され、補助画像Ｓ０の露光時間は、設定されていた時間ｔ０乃至ｔ２となる。
【０１３８】
以上の処理により、画像を利用して求められる動き量に応じて露光時間を打ち切ることが可能となるので、補助撮像部３２で設定された許容範囲となる限界値を超えない範囲でのみ露光がなされるので、補助画像におけるブレを抑制することが可能となる。
【０１３９】
結果として、長時間露光が設定されるような場合でも、露光時間内に許容範囲を超える、動きが発生した場合には、露光が打ち切られることになるので、ブレによる影響を低減することが可能となる。
【０１４０】
尚、以上の処理においては、検波画像の露光時間を極短時間にすることで検波画像を増大させ、動き変位量（動き量）が求められる時間的頻度を高めることができ、結果として、動き量に対する露光時間の打ち切りを適切に判定することが可能となる。
【０１４１】
しかしながら、一般に、露光時間を短くするとノイズが増え、動き検出の性能が落ちることが知られている。
【０１４２】
そこで、極短時間で検波画像を生成する上で、画素加算モードで撮像することにより、SNRを担保しつつ、高頻度で動き量の検出を行うことができる。また、画素加算モードには消費電力を低減させる効果もある。
【０１４３】
また、以上においては、基本画像と検波画像との画素間差分絶対値和を動き量の変位として用いてきたが、動きの検出には、Global Motion Vectorの算出など、従来より用いられてきた動き量の変位を検出してもよいし、簡便な方法で求めても良い。
【０１４４】
画像を用いた動き検出においては、ジャイロセンサ等の画像以外の構成で動きを検出する場合と異なり、画像内の動体も検出することが可能となるため、既存の検出手法を用いて動きを検出するようにしてもよい。
【０１４５】
例えば、基本撮像部３１、および補助撮像部３２の動きであるGlobal Motion Vector、動被写体をBlock Matchingにより検索することで得られるLocal Motion Vector(LMV)、およびOptical Flowなど従来手法で求まったLMVの最大値や中央値、平均値などを動き量としてもよい。
【０１４６】
さらに、上述した様に、画像の差分を用いて動きを検出するようにした場合、移動量もさることながら、加算できる領域の面積も重要となる。
【０１４７】
そこで、純粋に画素ごとの差分の絶対値をとり、画像全体平均を求めるだけでも評価指標となる。但し、この時、基本画像と検波画像の撮像条件の違い、解像度、露光時間（ゲイン）などを合わせてから差分をとる必要がある。
【０１４８】
また、差分の単純平均ではなく、主な被写体の重みを上げた加重平均を評価することで、より効果的な動被写体の検出が可能となる。
【０１４９】
例えば、以下の式（１）で示される別手段で求めた顔領域内の上記差分絶対値の平均値が、与えられた閾値より大きいか否かにより露光を打ち切るか否かを判定するようにしてもよい
【０１５０】
【数１】
2017069927.tif 000003
・・・（１）
【０１５１】
ここで、biは、基本撮像部３１により撮像された基本画像の座標iでの画素値であり、diは、基本撮像部３１により撮像された検波画像の座標iでの画素値であり、Ωは、基準撮像系で顔と認識された領域であり、Eは評価値である。
【０１５２】
さらに、例えば、以下の式（２）で示される別手段で求めたサリエンシMAPと上記差分絶対値を畳み込んだ結果の平均値が、与えられた閾値より大きいか否かにより、露光を打ち切るか否かを判定するようにしてもよい。尚、サリエンシMAPとは、人間の視覚野のモデルに従って、画像内の注目領域を算出したMAPである。すなわち、サリエンシMAPとは、人間が興味を示しているであろう画像内の領域を示すマップである。
【０１５３】
【数２】
2017069927.tif 000004
・・・（２）
【０１５４】
ここで、biは、基本撮像部３１により撮像された画像の座標iでの画素値であり、diは、基本撮像部３１により撮像された検波用画像の座標iでの画素値であり、aiは、サリエンシMAPの座標iでの値であり、Eは評価値である。
【０１５５】
＜＜４．第４の実施の形態＞＞
以上においては、基本撮像部３１の露光開始時刻と、補助撮像部３２の露光開始時刻とが一致しており、基本撮像部３１の露光が終了した後、補助撮像部３２の露光が終了する場合の例について説明してきたが、基本撮像部３１の露光終了時刻と、補助撮像部３２の露光終了時刻とが一致するようにしても良い。
【０１５６】
すなわち、図１１の上段で示されるように、時刻ｔ０において、補助撮像部３２により撮像される補助画像Ｓ０の露光が開始され、時刻ｔ２において、露光が終了する場合、基本撮像部３１において、撮像する基本画像Ｂ０の露光の終了も時刻ｔ２となるように、時刻ｔ２に対して、基本撮像部３１による基本画像Ｂ０の露光時間分だけ前の時刻ｔ１１６において、撮像するための露光を開始する。
【０１５７】
このとき、補助撮像部３２の露光が開始されてから、基本撮像部３１が基本画像Ｂ０の露光を開始する時刻ｔ１１６までの間に、所定の間隔、例えば、基本画像Ｂ０の露光時間と等間隔で基本画像Ｂ−５，Ｂ−４，Ｂ−３，Ｂ−２，Ｂ−１が、それぞれ時刻ｔ１１１乃至ｔ１１２，時刻ｔ１１２乃至ｔ１１３，時刻ｔ１１３乃至ｔ１１４，時刻ｔ１１４乃至ｔ１１５において露光されて、撮像されるようにする。
【０１５８】
このようにすることで、補助撮像部３２の処理において、露光が打ち切られるような場合に、補助撮像部３２の露光が打ち切られたタイミングに近いタイミングで露光した基本画像Ｂ−５，Ｂ−４，Ｂ−３，Ｂ−２，Ｂ−１のいずれかを基本画像Ｂ０に代えて使用することができる。
【０１５９】
例えば、図１１の上段で示されるように、時刻ｔ０で補助撮像部３２の露光が開始されると、その後に、時刻ｔ１１１より、動き量の変異が補助撮像部３２の限界値を超えない限り、基本画像Ｂ−５，Ｂ−４，Ｂ−３，Ｂ−２，Ｂ−１が順次露光されて、最後に基本画像Ｂ０の露光が時刻ｔ１１６より開始されて、基本画像Ｂ０の露光が終了する時刻ｔ２において、補助撮像部３２においても、補助画像Ｓ０の露光も終了する。
【０１６０】
また、図１１の下段で示されるように、例えば、基本撮像部３１により基本画像Ｂ−２の露光が開始されて、補助撮像部３２の露光が終了する前の時刻ｔ１２１において、動き変位量が、補助撮像部３２における限界値を超えた場合、限界値を超えた時刻ｔ１２１に最も近いタイミングで撮像された基本画像Ｂ−３を、基本画像Ｂ０として扱うものとし、基本画像Ｂ−３の露光が終了する時刻ｔ１１５において、基本撮像部３１の露光を終了し、時刻ｔ１２１において、補助撮像部３２の露光を終了する。
【０１６１】
この場合、基本撮像部３１においては、時刻ｔ１１３乃至ｔ１１４において露光された基本画像Ｂ−３が撮像されて、基本画像Ｂ０同様に扱われ、補助撮像部３２においては、時刻ｔ０乃至ｔ１２１において露光された補助画像Ｓ０が撮像される。
【０１６２】
＜画像処理装置の第４の実施の形態の構成例＞
次に、図１２のブロック図を参照して、基本撮像部３１および補助撮像部３２における露光終了時刻を揃えるようにした画像処理装置１１の第４の実施の形態の構成例を示している。尚、図１２の画像処理装置１１において、図１の画像処理装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０１６３】
図１２の画像処理装置１１において、図１の画像処理装置１１と異なる点は、撮像制御部３３に代えて、撮像制御部７１を設けた点である。撮像制御部７１は、基本的に撮像制御部３３における機能と類似した機能を備えているが、基本撮像部３１における露光の終了タイミングを、補助撮像部３２における露光の終了タイミングと同一にする。このような処理により、フラッシュ撮影における、後膜シンクロ（露光終了合わせ）に近い効果を得ることが可能となる。尚、撮像制御部７１は、動き検出部７１ａを備えるが、その機能は、動き検出部３３ａと同様である。
【０１６４】
＜図１２の画像処理装置による画像合成処理について＞
次に、図１３のフローチャートを参照して、図１２の画像処理装置１１による画像合成処理について説明する。
【０１６５】
ステップＳ１５１において、撮像制御部７１は、基本撮像部３１および補助撮像部３２のそれぞれの撮像条件となる、動き、最大露光時間、アナログゲイン、および画素加算モードのオンまたはオフを決定し、設定する。このとき、撮像制御部７１は、基本撮像部３１、および補助撮像部３２の露光タイミングを以下の式（３）を演算することにより設定する。
【０１６６】
【数３】
2017069927.tif 000005
・・・（３）
【０１６７】
ここで、TStartBは、基本撮像部３１の露光開始時刻であり、TMaxBは、基本撮像部３１の最長露光時間であり、TMaxSは、補助撮像部３２の最長露光時間であり、floor(x)は、xを超えない最大の整数を示す関数である。
【０１６８】
ステップＳ１５２において、撮像制御部７１は、露光開始信号を補助撮像部３２に送信し、補助撮像部３２が露光を開始する。すなわち、例えば、図１１の左部における時刻ｔ０におけるように、補助撮像部３２が露光を開始する。
【０１６９】
ステップＳ１５３において、撮像制御部７１は、露光開始信号を基本撮像部３１に送信し、基本撮像部３１が露光を開始する。すなわち、例えば、図１１の上段における時刻ｔ１１１におけるように、基本撮像部３１が露光を開始する。
【０１７０】
ステップ１５４では、基本撮像部３１における露光時間が、最長露光時間に到達するまで、ステップ１５４を繰り返す。基本撮像部３１における露光時間が、最長露光時間に達した場合、処理は、ステップＳ１５５に進む。
【０１７１】
ステップＳ１５５において、撮像制御部７１は、基本撮像部３１の露光を終了し、画素信号のデータを読み出してメモリに格納する。すなわち、最初の処理の場合、基本画像Ｂ−５の露光が終了して、画素信号が読み出される。
【０１７２】
ステップＳ１５６において、撮像制御部７１は、基本撮像部３１の次の露光を開始し、処理は、ステップＳ１５７に進む。すなわち、基本画像Ｂ−５の露光が終了した直後であれば、基本画像Ｂ−４の露光が開始されることになる。
【０１７３】
ステップＳ１５７において、動き検出部７１ａは、動き変位量（動き量）を算出する。
【０１７４】
ステップＳ１５８において、撮像制御部７１は、動き量が、補助撮像部３２の露光の打ち切り条件を満たすか否かを判定し、打ち切り条件を満たさない場合、処理は、ステップＳ１５９に進む。
【０１７５】
ステップＳ１５９において、撮像制御部７１は、基本撮像部３１の露光時間が、最長露光時間に達したか否かを判定し、最長露光時間に達していない場合、処理は、ステップＳ１５７に戻る。
【０１７６】
すなわち、補助撮像部３２の打ち切り条件も満たさず、かつ、基本撮像部３１の最長露光時間、すなわち、ここでは、例えば、基本画像Ｂ−５の最長露光時間に達していないときには、ステップＳ１５７乃至Ｓ１５９の処理が繰り返される。
【０１７７】
そして、ステップＳ１５９において、基本撮像部３１における露光時間が、最長露光時間に達した場合、処理は、ステップＳ１６０に進む。
【０１７８】
ステップＳ１６０において、撮像制御部７１は、補助撮像部３２の露光時間が、最長露光時間に達したか否かを判定し、達していないとみなされた場合、処理は、ステップＳ１５５に戻る。
【０１７９】
そして、ステップＳ１６０において、補助撮像部３２の露光時間が最長露光時間に達した場合、処理は、ステップＳ１６１に進む。
【０１８０】
ステップＳ１６１において、撮像制御部７１は、基本撮像部３１および補助撮像部３２の露光を終了して、読み出しを開始する。このとき、補助撮像部３２は、読み出した画素信号を補助画像Ｓ０として合成部３４に出力する。また、基本撮像部３１は、これまでに繰り返し撮像した基本画像と同様に、最新の露光により撮像した画像、すなわち、基本画像をメモリに記憶する。
【０１８１】
すなわち、補助撮像部３２の露光時間が最長露光時間に達するときには、基本撮像部３１の露光時間も最長露光時間に達していることになり、さらに、その時に基本撮像部３１の露光により撮像される画像は、基本画像Ｂ０となる。例えば、図１１の上段の場合、時刻ｔ２における場合の処理となる。
【０１８２】
ステップＳ１６２において、撮像制御部７１は、基本撮像部３１を制御して、最近撮像した画像を基本画像として合成部３４に出力させる。従って、この場合、図１１の上段の場合については、基本画像Ｂ０が出力されることになる。
【０１８３】
ステップＳ１６３において、合成部３４は、基本撮像部３１より供給されてくる基本画像と、補助撮像部３２より供給されてくる補助画像とを合成して出力する。
【０１８４】
一方、ステップＳ１５８において、補助撮像部３２の露光を打ち切る条件が満たされた場合、処理は、ステップＳ１６４に進む。すなわち、例えば、図１１の下段における時刻ｔ１２１で示されるように、基本画像Ｂ−３が読み出されたときに補助撮像部３２の限界値を超えるときの処理となる。
【０１８５】
ステップＳ１６４において、撮像制御部７１は、補助撮像部３２の露光を打ち切って終了し、画素信号の読み出しを開始する。
【０１８６】
ステップＳ１６５において、撮像制御部７１は、基本撮像部３１の最長露光時間に達したか否かを判定し、最長露光時間に達するまでステップＳ１６５の処理を繰り返し、最長露光時間に達するのを待つ。そして、ステップＳ１６５において、最長露光時間に達したとみなされたとき、処理は、ステップＳ１６６に進む。
【０１８７】
ステップＳ１６６において、撮像制御部７１は、基本撮像部３１の露光を終了して、画素信号の読み出しを開始し、読み出しが完了すると、処理は、ステップＳ１６２に進む。すなわち、図１１の下段における時刻ｔ１２１においては、基本撮像部３１における基本画像Ｂ−２の露光時間が最長露光時間となっていないので、時刻ｔ１１５まで待って、基本画像Ｂ−２の画素信号が読み出されることになる。
【０１８８】
ステップＳ１６２において、撮像制御部７１は、基本撮像部３１を制御して、最近撮像した画像として記憶されている２枚の基本画像のいずれかを選択して合成部３４に出力させる。選択可能な基本画像は、動き量が補助撮像部３２の限界値を超えたときに露光中の基本画像と、その直前に露光が完了している基本画像である。図１１の下段の場合、動き量が補助撮像部３２の限界値を超えたときに露光中の基本画像Ｂ−２、および、直前に露光が完了している基本画像Ｂ−３となる。
【０１８９】
いずれにおいても、図１１の下段の場合、基本撮像部３１は、選択した基本画像Ｂ−２またはＢ−３を基本画像Ｂ０として合成部３４に出力する。
【０１９０】
このうち、直近のものを優先するものとして、基本画像Ｂ−２を選択するようにしても良いし、補助撮像部３２の露光時間と重なりが長いものを優先するものとして、基本画像Ｂ−３を選択してもよい。
【０１９１】
ここで、基本画像Ｂ−２は、直近のものであるので、画像が最新であるというメリットがあるが、露光が不完全であるというデメリットがある。また、基本画像Ｂ−３は、直近のものではないというデメリットがあるが、完全に露光が完了している画像であるというメリットがある。
【０１９２】
そこで、露光中の基本画像が、最長露光時間に対して、どの程度、露光時間が経過したかに応じて、選択する基本画像を切り替えるようにしても良い。例えば、露光中の基本画像が、最長露光時間に対して、50%以上経過している場合には、露光中の基本画像（図１１の下段ならば基本画像Ｂ−２）を採用し、それ以下の露光時間である場合には、直前の露光が完了している基本画像（図１１の下段ならば基本画像Ｂ−３）を採用するといった手法を用いても良い。
【０１９３】
そして、この場合、ステップＳ１６３においては、合成部３４が、図１１の下段の場合、補助撮像部３２により時刻ｔ０乃至ｔ１２１で露光された補助画像Ｓ０と、基本撮像部３１により時刻ｔ１１４乃至ｔ１１５で露光された基本画像Ｂ−２、または、時刻ｔ１１３乃至ｔ１１４で露光された基本画像Ｂ−３のうち選択された基本画像とが合成される。
【０１９４】
以上のような処理により、基本画像と補助画像との関係が露光終了合わせとされた場合においても基本画像と補助画像とを合成することが可能となる。また、動き量に基づいて、動きが大きいときは、補助撮像部３２の露光が打ち切られた補助画像と、その近傍で撮像された基本画像とが合成されるので、露光終了合わせとされた場合においても、動き量に応じて、ブレのない高品位な画像を合成することが可能となる。
【０１９５】
尚、以上においては、動き量に応じた補助撮像部３２の露光の打ち切りに際しては、基本画像による動き量が補助撮像部３２の限界を超える直前のタイミングで露光が完了している基本画像を用いるようにしてきたが、動き量が補助撮像部３２の限界値を超えたときに露光中の基本画像、または、直前のタイミングで露光が完了されている基本画像のいずれか一方を固定して出力するようにしてもよい（図１１の下段であれば、基本画像Ｂ−２またはＢ−３のいずれかを決めて出力するようにしてもよい）。
【０１９６】
この場合、動き量が補助撮像部３２の限界値を超えたときに露光中であった基本画像を固定的に採用する場合（図１１の下段における基本画像Ｂ−２を採用する場合）、上述した構成と比べてメモリを設ける必要がなくなる。すなわち、上述した構成においては、基本画像として読み出される可能性があるのは、直前に露光が完了した基本画像と、現在露光中の基本画像のいずれかであるので、少なくとも２枚の画像を記憶することが可能なメモリを備える必要がある。これに対して、動き量が補助撮像部３２の限界値を超えたときに露光中であった基本画像を出力する場合、直前に露光が完了している基本画像を記憶しておく必要がなく、メモリを必要としないため、コストを低減させることが可能となる。
【０１９７】
さらに、直前の露光が完了している基本画像を採用するようにした場合（図１１の下段における基本画像Ｂ−３を採用する場合）、露光中の基本画像の露光を直ちに打ち切ることが可能となるため、図１３のステップＳ１６５，Ｓ１６６の処理が不要となり、処理速度を向上させることが可能となる。
【０１９８】
＜＜５．第５の実施の形態＞＞
以上においては、静止画を用いて画像を合成することで高品位な合成画像を生成する例について説明してきたが、動画においても適用することができる。
【０１９９】
動画においては、時間方向の安定性も品質の大きな要素となるため、ここでは、基本撮像部３１により撮像される基本画像の露光時間を等間隔で設定し、補助撮像部３２により撮像される補助画像の露光のみを動き量に応じて打ち切るようにする例について説明するものとするが、動画においても、基本撮像部３１の露光時間を打ち切ることもできる。
【０２００】
すなわち、図１４の上段で示されるように、時刻ｔ０から基本撮像部３１によりｔ２０１，ｔ２０２，ｔ２０３・・・といったように等間隔に露光時間が設定されることにより、基本画像Ｂ０，Ｂ１，Ｂ２，・・・が撮像されるものとする。
【０２０１】
このとき、時刻ｔ２２１より補助撮像部３２による露光を開始させて、最長露光時間が経過したときの時刻が基本撮像部３１により撮像される基本画像の読み出しタイミングと揃うように、例えば、露光終了時刻として、時刻ｔ２０４が設定されるものとする。すなわち、補助撮像部３２の最長露光時間は、図１４の上段においては、時刻ｔ２２１乃至ｔ２０４とされる。基本的には、この設定された状態で、基本撮像部３１が等間隔で露光を繰り返すことで、基本画像が撮像され、同様に、補助撮像部３２が、補助撮像部３２の最長露光時間で繰り返し露光することで補助画像が撮像される。
【０２０２】
このとき、動き量の変位が、時刻ｔ２２２において補助撮像部３２の限界値を超える場合、補助撮像部３２は、時刻ｔ２２２において露光を打ち切って画素信号を読み出す。すなわち、この時の補助画像Ｓ０は、時刻ｔ２２１乃至ｔ２２２だけ露光された画像となる。
【０２０３】
この後、図１４の下段で示されるように、時刻ｔ２２２における動き予測に基づいて、次の最長露光時間を算出して、所定の時刻ｔ２３１から算出された最長露光時間を設定して、補助撮像部３２の露光を開始する。図１４の下段においては、基本画像Ｂ６の露光が終了するタイミングから、最長露光時間として設定された時間分前のタイミングとなる、基本画像Ｂ３の露光時間における時刻ｔ２３１から、補助撮像部３２の露光が開始される。
【０２０４】
このような処理により、動画においても、基本画像と補助画像とを適切なタイミングで撮像することが可能となり、合成することで、高品位な動画像を生成することが可能となる。
【０２０５】
尚、動き量の変位が、時刻ｔ２２２において補助撮像部３２の限界値を超える場合については、補助撮像部３２の露光を、時刻ｔ２２２で即座に打ち切るのではなく、例えば、設定された最長露光時間が経過するまでは露光を継続して、その後、補助撮像部３２の露光を打ち切るようにしてもよい。このようにすることで、例えば、図１４の上段などでは、露光を打ち切った前後で、基本画像Ｂ２，Ｂ３と、補助画像Ｓ０との重なりが増えたり、タイミングが接近するため、合成時のアーティファクトを低減させることができる。
【０２０６】
＜画像処理装置の第５の実施の形態の構成例＞
次に、図１５のブロック図を参照して、基本撮像部３１および補助撮像部３２により動画撮像を撮像し、それぞれを合成することで高品位な動画を生成する画像処理装置１１の第５の実施の形態の構成例を示している。尚、図１５の画像処理装置１１において、図１の画像処理装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０２０７】
図１５の画像処理装置１１において、図１の画像処理装置１１と異なる点は、撮像制御部３３に代えて、撮像制御部９１を設けた点である。撮像制御部９１は、基本的に撮像制御部３３における機能と類似した機能を備えているが、基本撮像部３１および補助撮像部３２を利用して、動画撮像において基本画像と補助画像とを合成する機能を備えている。尚、撮像制御部９１は、動き検出部９１ａを備えるが、その機能は、動き検出部３３ａと同様である。
【０２０８】
＜図１５の画像処理装置による画像合成処理について＞
次に、図１６のフローチャートを参照して、図１５の画像処理装置１１による画像合成処理について説明する。
【０２０９】
ステップＳ１８１において、撮像制御部９１は、基本撮像部３１および補助撮像部３２のそれぞれの撮像条件となる、動き、最大露光時間、アナログゲイン、および画素加算モードのオンまたはオフを決定し、設定する。このとき、撮像制御部９１は、基本撮像部３１、および補助撮像部３２の露光タイミングを以下の式（４）を演算することにより設定する。
【０２１０】
【数４】
2017069927.tif 000006
・・・（４）
【０２１１】
ここで、TStartSは、補助撮像系露光開始時刻であり、TFrameSは、補助撮像系フレーム間隔であり、TMaxSは、補助撮像系最長露光時間であり、TMaxBは、基本撮像系最長露光時間であり、ceil(x)は、xを下回らない最小の整数である。
【０２１２】
ステップＳ１８２において、撮像制御部９１は、基本撮像部３１の露光開始タイミングであるか否かを判定し、基本撮像部３１の露光開始タイミングではないとみなされた場合、処理は、ステップＳ１８４に進む。
【０２１３】
ステップＳ１８４において、撮像制御部９１は、基本撮像部３１の最長露光時間に達したか否かを判定し、達していない場合、処理は、ステップＳ１８６に進む。
【０２１４】
ステップＳ１８６において、撮像制御部９１は、補助撮像部３２の露光開始タイミングになったか否かを判定し、露光開始タイミングではない場合、処理は、ステップＳ１８２に戻る。すなわち、基本撮像部３１、および補助撮像部３２のいずれの露光開始タイミングでもない場合、ステップＳ１８２，Ｓ１８４，Ｓ１８６の処理が繰り返される。
【０２１５】
ステップＳ１８２において、基本撮像部３１の露光開始タイミングであるとみなされた場合、処理は、ステップＳ１８３に進む。
【０２１６】
ステップＳ１８３において、撮像制御部９１は、基本撮像部３１の露光を開始させる。
【０２１７】
ステップＳ１８４において、基本撮像部３１の最長露光時間に達したとみなされた場合、処理は、ステップＳ１８５に進む。
【０２１８】
ステップＳ１８５において、撮像制御部９１は、基本撮像部３１の露光を終了し、画素信号を読み出し、処理は、ステップＳ１８２に戻る。
【０２１９】
ステップＳ１８６において、補助撮像部３２の露光開始タイミングであるとみなされた場合、処理は、ステップＳ１８７に進む。
【０２２０】
ステップＳ１８７において、撮像制御部９１は、動き検出部９１ａを初期化して、補助撮像部３２の露光を開始させる。
【０２２１】
ステップＳ１８８において、撮像制御部９１は、基本撮像部３１の露光時間は、最長露光時間に達したか否かを判定し、最長露光時間に達したとみなした場合、処理は、ステップＳ１８９に進む。
【０２２２】
ステップＳ１８９において、撮像制御部９１は、動画の撮像を終了する指示があるか否かを判定し、終了の指示がない場合、処理は、ステップＳ１９０に進む。
【０２２３】
ステップＳ１９０において、撮像制御部９１は、基本撮像部３１における露光を終了して画素信号を読み出す。
【０２２４】
ステップＳ１９１において、撮像制御部９１は、基本撮像部３１における露光開始タイミングであるか否かを判定し、露光開始タイミングであるとみなされた場合、処理は、ステップＳ１９２に進む。
【０２２５】
ステップＳ１９２は、撮像制御部９１は、基本撮像部３１を制御して、露光を開始させる。
【０２２６】
尚、ステップＳ１８８において、基本撮像部３１が最長露光時間に達していない場合、ステップＳ１８９乃至Ｓ１９２の処理がスキップされ、ステップＳ１９１において、基本撮像部３１の露光が開始されるタイミングではない場合、ステップＳ１９２の処理がスキップされる。
【０２２７】
ステップＳ１９３において、撮像制御部９１は、動き検出部９１ａの検出結果に基づいて、補助撮像部３２の露光の打ち切り条件を満たしているか否かを判定し、打ち切りの条件を満たしていない場合、処理は、ステップＳ１９４に進む。
【０２２８】
ステップＳ１９４において、撮像制御部９１は、補助撮像部３２の露光時間が、最長露光時間に達したか否かを判定し、最長露光時間に達していない場合、処理は、ステップＳ１８８に戻る。
【０２２９】
すなわち、補助撮像部３２による露光が開始されてから、打ち切り条件が満たされず、最長露光時間に達しておらず、かつ、動画撮像の終了指示がない場合、ステップＳ１８８乃至Ｓ１９４の処理が繰り返される。また、このとき、基本撮像部３１は、所定の間隔で、順次基本画像の露光と読み出しを繰り返す。
【０２３０】
尚、ステップＳ１９３において、補助撮像部３２の露光の打ち切り条件を満たしていない場合、または、補助撮像部３２の露光時間が最長露光時間に達した場合、処理は、ステップＳ１９５に進む。すなわち、補助撮像部３２による撮像が終了されるとき、処理は、ステップＳ１９５に進む。
【０２３１】
ステップＳ１９５において、撮像制御部９１は、動画の撮像を終了する指示があるか否かを判定し、終了の指示がない場合、処理は、ステップＳ１９６に進む。
【０２３２】
ステップＳ１９６において、撮像制御部９１は、補助撮像部３２の露光を終了して、画素信号を読み出す。
【０２３３】
ステップＳ１９７において、撮像制御部９１は、動き検出部９１ａを制御して、動きを推定する。
【０２３４】
ステップＳ１９８において、撮像制御部９１は、動き推定結果に基づいて、補助撮像部３２の次の露光開始タイミング、および最長露光時間等の撮像条件を再設定する。
【０２３５】
ステップＳ１９９において、撮像制御部９１は、補助撮像部３２の露光を開始するタイミングになったか否かを判定し、露光時間に達していない場合、処理は、ステップＳ１８８に戻る。すなわち、基本撮像部３１による基本画像が所定間隔で露光と読み出しが繰り返され、さらに、補助撮像部３２による補助画像の露光と読み出しが、動き推定により露光開始タイミングと露光時間が適宜設定されながら繰り返される。
【０２３６】
そして、ステップＳ１８９またはＳ１９５において、動画撮像の終了が指示されると、処理は、ステップＳ２００に進む。
【０２３７】
ステップＳ２０１において、撮像制御部９１は、基本撮像部３１および補助撮像部３２を同時に制御して、露光を終了させると共に画素信号を合成部３４に読み出させる。
【０２３８】
ステップＳ２０２において、合成部３４は、基本撮像部３１より読み出された基本画像からなる動画と、補助撮像部３２より読み出された補助画像とを合成して出力する。
【０２３９】
以上の処理により、動画像においても、動きに応じて露光が打ち切られるので、ブレによる影響を受けない基本画像と補助画像とを合成することで高精細な動画像を実現することが可能となる。
【０２４０】
尚、基本撮像部３１のフレームレートに合わせて合成を行うように、レイテンシを優先するようにしてもよい。
【０２４１】
すなわち、基本撮像部３１の基本画像は、最新の画像を用いる。補助撮像部３２の補助画像は最新の画像をメモリに保持し、次の読み出しタイミングまではメモリ内の古い画像を用いる。
【０２４２】
すなわち、図１４の下部で示されるような場合、例えば、基本画像Ｂ２乃至Ｂ５と、補助画像Ｓ０とを合成し、基本画像Ｂ６以降であって、次の補助撮像部３２の画像までの基本画像と、補助画像Ｓ１とを組み合わせて合成するようにする。この組み合わせにより、レイテンシを最低限に抑えながら動画像を合成、出力することができる。
【０２４３】
一方、画質を優先させる場合、基本撮像部３１と補助撮像部３２の画像をメモリ内一度蓄積してから合成する。すなわち、できるだけ露光時間が揃っていた方が、合成時のアーティファクトが少ないので、露光時間の時間重心が最も近い露光タイミングの組み合わせで合成することで高画質な動画像を実現できる。
【０２４４】
尚、図１５，図１６の例においては、動き検出部９１ａがセンサにより構成され、その出力で動きを検出する例を用いて説明してきたが、動画の連続した画像を用いて、動き検出しても良い。その場合、検波画像Ｄ１乃至Ｄ３を基本画像のＢ１乃至Ｂ３として置き換えればよく、基本画像Ｂ０とＢ１、Ｂ０とＢ２、およびＢ０とＢ３など補助撮像部３２の撮像開始時の基本撮像部３１の画像を基準として、他の基本撮像部３１の画像と比較すればよい。
【０２４５】
本開示の技術によれば、露光時間を適応的に変えることで、最適な露光時間を実現した。また、画素加算による感度向上を導入し、画素加算動作では、基本撮像部と露光時間およびタイミングが揃った高感度な補助画像を取得できるので、手振れや動きのある被写体を含む画像でも合成することが可能である。さらに、動き量に応じて、解像度を保った露光時間延長と、動きブレに強い画素加算動作を組み合わせることで、シーンによらず安定した効果を得ることが可能となる。
【０２４６】
＜＜６．応用例＞＞
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２４７】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０２４８】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０２４９】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２５０】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２５１】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２５２】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０２５３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２５４】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２５５】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５６】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２５７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５９】
尚、本開示は、以下のような構成も取ることができる。
＜１＞  画像を撮像する第１の撮像部と、
前記第１の撮像部とは独立な撮像条件を設定可能な複数の第２の撮像部と、
動き量を検出する動き検出部と、
前記第１の撮像部および前記複数の第２の撮像部の撮像条件を決定する撮像制御部とを含み、
前記撮像制御部は、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件を決定する
画像処理装置。
＜２＞  前記第１の撮像部および前記複数の前記第２の撮像部は、それぞれが独立したイメージセンサ、および光学系からなる構成、または、同一の光学系および同一のイメージセンサ上の画素を２つ以上のグループに分けた構成である
＜１＞に記載の画像処理装置。
＜３＞  前記第１の撮像部および前記複数の第２の撮像部は、それぞれ特性が異なる
＜１＞または＜２＞に記載の画像処理装置。
＜４＞  前記第１の撮像部および前記複数の第２の撮像部は、それぞれ、カラーフィルタアレイの配列、光学レンズ特性、画素サイズ、またはセンササイズの少なくともいずれかの特性が異なる
＜３＞に記載の画像処理装置。
＜５＞  前記第１の撮像部の撮像条件である露光時間は、前記動き量と予め定められた動き限界閾値に基づいて設定される最長露光時間である
＜１＞乃至＜４＞のいずれかに記載の画像処理装置。
＜６＞  前記第１の撮像部の撮像条件である露光時間は、前記最長露光時間内であれば、前記動き量が前記動き限界閾値よりも大きくなるタイミングで打ち切られる
＜５＞に記載の画像処理装置。
＜７＞  前記第２の撮像部の撮像条件は、静止画を撮像する場合、露光開始タイミングを前記第１の撮像部における前記露光開始タイミングと揃える、または、露光終了タイミングを前記第１の撮像部における前記露光終了タイミングと揃える
＜１＞乃至＜６＞のいずれかに記載の画像処理装置。
＜８＞  前記第２の撮像部の撮像条件のうち露光時間は、前記動き量と予め定められた動き限界閾値に基づいて設定される最長露光時間である
＜１＞乃至＜７＞のいずれかに記載の画像処理装置。
＜９＞  前記第２の撮像部の撮像条件である露光時間は、前記最長露光時間内であれば、前記動き量が前記動き限界閾値よりも大きくなるタイミングで打ち切られる
＜１＞乃至＜８＞のいずれか記載の画像処理装置。
＜１０＞  前記第２の撮像部の撮像条件のうち露光時間は、前記最長露光時間における、前記第１の撮像部における露光時間との露光時間比に基づいて設定される露光時間である
＜８＞に記載の画像処理装置。
＜１１＞  前記第２の撮像部の撮像条件のうち露光時間は、前記動き量と予め定められた動き限界閾値に基づいて設定される最長露光時間内であって、前記動き量が前記動き限界閾値よりも大きくなるタイミングで、前記露光時間が打ち切られた場合、打ち切られるまでの露光時間に応じて、前記最長露光時間が再計算される
＜１＞乃至＜１０＞のいずれかに記載の画像処理装置。
＜１２＞  前記第２の撮像部の撮像条件は、所定の露光時間で、適正露光が得られない場合、各画素について、周辺の複数の画素の画素値を加算して扱う画素加算モードとする
＜１＞乃至＜１１＞のいずれかに記載の画像処理装置。
＜１３＞  前記動き検出部は、ジャイロセンサ、または6軸センサを含む動きセンサにより検出される角速度、または加速度情報を積分して角度または並進の変位量を求めカメラの動き量を検出する
＜１＞乃至＜１２＞に記載の画像処理装置。
＜１４＞  前記動き検出部は、前記第１の撮像部、または第２の撮像部において撮像されたタイミングが異なる２枚以上の画像より、前記第１の撮像部、または第２の撮像部の動き、または、前記画像内での被写体の移動に伴った動きを検出する
＜１＞乃至＜１３＞のいずれかに記載の画像処理装置。
＜１５＞  前記第１の撮像部により撮像された画像、および、前記複数の第２の撮像部により撮像された画像を合成し、合成画像を生成する合成部をさらに含む
＜１＞乃至＜１４＞のいずれかに記載の画像処理装置。
＜１６＞  画像を撮像する第１の撮像部と、
前記第１の撮像部とは独立な撮像条件を設定可能な複数の第２の撮像部と、
動き量を検出する動き検出部と、
前記第１の撮像部および前記複数の第２の撮像部の撮像条件を決定する撮像制御部とを含む画像処理装置の画像処理方法であって、
前記撮像制御部は、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件を決定する
画像処理方法。
＜１７＞  画像を撮像する第１の撮像部と、
前記第１の撮像部とは独立な撮像条件を設定可能な複数の第２の撮像部と、
動き量を検出する動き検出部と、
前記第１の撮像部および前記複数の第２の撮像部の撮像条件を決定する撮像制御部としてコンピュータを機能させ、
前記撮像制御部は、前記動き検出部により検出される前記動き量に応じて、前記第１の撮像部および前記複数の前記第２の撮像部の撮像条件を決定する
プログラム。
【符号の説明】
【０２６０】
１１  画像処理装置，  ３１  基本撮像部，  ３２  補助撮像部，  ３３  撮像制御部，  ３３ａ  動き検出部，  ４１  撮像制御部，  ４１ａ  動き検出部，  ５１  撮像制御部，  ５１ａ  動き検出部，  ７１  撮像制御部，  ７１ａ  動き検出部，  ９１  撮像制御部，  ９１ａ  動き検出部
【図１】
2017069927.tif 000007
【図２】
2017069927.tif 000008
【図３】
2017069927.tif 000009
【図４】
2017069927.tif 000010
【図５】
2017069927.tif 000011
【図６】
2017069927.tif 000012
【図７】
2017069927.tif 000013
【図８】
2017069927.tif 000014
【図９】
2017069927.tif 000015
【図１０】
2017069927.tif 000016
【図１１】
2017069927.tif 000017
【図１２】
2017069927.tif 000018
【図１３】
2017069927.tif 000019
【図１４】
2017069927.tif 000020
【図１５】
2017069927.tif 000021
【図１６】
2017069927.tif 000022
【図１７】
2017069927.tif 000023