(57)【要約】【課題】高精度な動き推定による動き補償画像を適用した画像の合成処理により、ノイズ低減や高ダイナミックレンジ画像等を生成する。【解決手段】画像間の動き量を推定し、一方の画像を他方の画像の位置に合わせる動き補償処理を実行して動き補償画像を生成し、動き補償画像と位置合わせされた画像との合成処理によりノイズ低減等の施された画像を生成する。動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する。例えば、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、入力画像が適格画像である場合に限り、該入力画像を動き推定に適用する参照画像としてフレームメモリに格納する。【選択図】図５
2014039169.tif 000002
【特許請求の範囲】
【請求項１】
異なるタイミングの撮影画像である第１画像と第２画像の二画像間の動き量を推定する動き推定部と、
前記動き推定部の推定した動き量に基づいて、前記第２画像を第１画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成部と、
前記動き補償画像と、前記第１画像との合成処理により合成画像を生成する信号処理部を有し、
前記動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理装置。
【請求項２】
前記画像処理装置は、
入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、
前記動き推定好適度判定部は、前記入力画像が適格画像である場合に限り、該入力画像を前記動き推定に適用する参照画像としてフレームメモリに格納する制御を実行し、
前記動き推定部は、前記フレームメモリに格納された参照画像を適用した動き推定を実行し、
前記動き補償画像生成部は、前記参照画像を利用した動き補償画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行する請求項２に記載の画像処理装置。
【請求項４】
前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が動き推定に好適でない不適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行せず、
前記動き推定部において動き推定が実行されない場合、予め規定したアルゴリズムに従って決定する例外動き量を前記動き補償画像生成部に出力する動き量補正部を有する請求項３に記載の画像処理装置。
【請求項５】
前記信号処理部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像に対する信号処理を実行する請求項２に記載の画像処理装置。
【請求項６】
前記動き推定好適度判定部は、
前記入力画像中のぼけ領域、飽和画素領域、ノイズの大きい領域の少なくともいずれか、または入力画像撮影時のカメラの動き、または入力画像の輝度範囲のいずれかの指標を適用して入力画像が動き推定に好適な画像であるか否かの判定処理を実行する請求項２に記載の画像処理装置。
【請求項７】
前記動き推定好適度判定部は、
前記入力画像として、異なる露光時間に設定された連続撮影画像を入力する場合、各露光画像の有効画素値面積を比較してより広い有効画素面積を持つ画像を前記フレームメモリに格納する参照画像とする制御を行う請求項２に記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記フレームメモリに格納された画像を基準画像として、該基準画像の画像位置に入力画像の画像位置を合わせるために実行する動き推定方向の切り替え処理を実行する動き推定方向切り替え部を有する請求項２に記載の画像処理装置。
【請求項９】
前記画像処理装置は、さらに、
前記入力画像として、異なる露光時間に設定された連続撮影画像を入力し、露光比補正を実行する露光比補正部を有し、
前記動き推定部は、前記露光比補正部において露光比補正の施された連続撮影画像間の動き推定を実行して、該連続撮影画像間の動き量を算出し、
前記動き補償画像生成部は、前記動き量を利用して、前記連続撮影画像の一方の画像位置を他方の画像位置に合わせた動き補償画像を生成し、
前記信号処理部は、前記動き補償画像と、フレームメモリに格納した基準画像との合成処理を実行する請求項１に記載の画像処理装置。
【請求項１０】
前記フレームメモリに格納する基準画像は、予め定めた所定の露光時間の画像であり、
前記露光比補正部は、前記入力画像と、前記フレームメモリに格納した基準画像間の露光比補正を実行し、
前記動き推定部は、前記露光比補正部において露光比補正の施された入力画像と基準画像との動き推定を実行する請求項９に記載の画像処理装置。
【請求項１１】
前記動き推定部は、同一露光時間に設定された画像間の動きベクトルを算出し、
前記動き推定部の算出した動きベクトルを入力し、該動きベクトルに対する線型演算により、前記動き補償画像生成部における動き補償画像の生成に適用する動きベクトルを算出する動きベクトル演算部を有する請求項９に記載の画像処理装置。
【請求項１２】
画像処理装置において実行する画像処理方法であり、
動き推定部が、異なるタイミングの撮影画像である第１画像と第２画像の二画像間の動き量を推定する動き推定ステップと、
動き補償画像生成部が、前記動き推定ステップにおいて推定した動き量に基づいて、前記第２画像を第１画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成ステップと、
信号処理部が、前記動き補償画像と、前記第１画像との合成処理により合成画像を生成する信号処理ステップを実行し、
前記動き補償画像生成ステップは、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理方法。
【請求項１３】
画像処理装置において画像処理を実行させるプログラムであり、
動き推定部に、異なるタイミングの撮影画像である第１画像と第２画像の二画像間の動き量を推定させる動き推定ステップと、
動き補償画像生成部に、前記動き推定ステップにおいて推定した動き量に基づいて、前記第２画像を第１画像の位置に合わせる動き補償処理を実行して動き補償画像を生成させる動き補償画像生成ステップと、
信号処理部に、前記動き補償画像と、前記第１画像との合成処理により合成画像を生成させる信号処理ステップを実行し、
前記動き補償画像生成ステップにおいては、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、複数画像の合成処理により、例えば画像のノイズ低減処理やダイナミックレンジ拡大処理等を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、画像のノイズ低減処理（ＮＲ：Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）を実行する場合、連続撮影された複数枚の画像を利用した合成処理が行われる。すなわち、連続撮影画像から同一被写体の撮影画素領域である対応画素を検出し、これらの複数の対応画素の画素値を利用して出力画像の画素値を算出する処理が行われる。
【０００３】
具体的には、例えば、
撮影時刻ｔ−１の先行撮影画像、
撮影時刻ｔの後続撮影画像、
これらの２枚の撮影画像を利用して、後続撮影画像のノイズ低減を行う場合、以下のような処理を実行する。
【０００４】
まず、撮影時刻ｔ−１の先行撮影画像を時刻ｔの後続撮影画像の位置に併せる処理を行なう。これは、連続撮影された２つの画像は、手振れなどにより画像位置が移動している場合が多く、このずれを修正するための位置合わせである。この処理は、動き補償（または位置補償）と呼ばれ、位置合わせのための移動を行った画像を動き補償（ＭＣ：Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）画像と呼ぶ。
【０００５】
動き補償画像（ＭＣ画像）を生成するためには、まず、撮影時刻ｔ−１の先行撮影画像と、撮影時刻ｔの後続撮影画像との２つの画像間の動き量や方向を推定する動き推定を行う。この動き推定情報に基づいて、撮影時刻ｔ−１の先行撮影画像を、撮影時刻ｔの後続撮影画像の画像位置に併せる動き補償処理（ＭＣ）を行なう。
【０００６】
撮影時刻ｔ−１の先行撮影画像に対する動き補償によって生成した動き補償画像（ＭＣ画像）は、撮影時刻ｔの後続撮影画像の対応画素位置に同一被写体が撮影された画像となる。これらの２つの画像の対応画素の２つの画素値を利用して補正画素値を算出する。例えば撮影時刻ｔの後続撮影画像の画素にノイズが含まれている場合、撮影時刻ｔ−１の先行撮影画像の画素値を利用することで、ノイズを軽減することができる。
【０００７】
なお、複数画像を利用したノイズ低減等の画像処理手法について開示した従来技術として、例えば、特許文献１（特開２００９−１９４７００）、あるいは特許文献２（特開２００９−２９０８２７号公報）等がある。
【０００８】
このような複数の連続撮影画像に基づく出力画像の生成処理は、上記のノイズ低減処理のみならず、低解像度の画像から高解像度の画像を生成する超解像処理（ＳＲ：Ｓｕｐｅｒ  Ｒｅｓｏｌｕｔｉｏｎ）と呼ばれる画像の高解像化処理においても利用される。あるいは、異なる露光時間の連続撮影画像を用いたダイナミックレンジ拡大画像の生成処理等においても利用される。
【０００９】
図を参照して、連続撮影画像を利用した画像補正処理のシーケンスについて説明する。図１は、例えば動画像などの連続した入力画像に対して、動き推定処理と、画像位置合わせとしての動き補償画像の生成、さらに、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。
【００１０】
時間軸に沿って撮影された画像が順次、画像処理装置、例えば撮像装置の信号処理部に入力される。時間ｔ−１の撮影画像である入力画像ｔ−１が信号処理部に入力されると、信号処理部は、ステップＳ０１ａにおいて、１つ前の撮影画像である格納画像ｔ−２をフレームメモリ（ＦＭ）から取得して、この格納画像ｔ−２と入力画像ｔ−１を利用した処理を実行する。
具体的には、これら２つの画像を利用した動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行する。
なお、動き補償画像の生成処理においては、例えば格納画像ｔ−２の画像位置を移動させて入力画像ｔ−１の画像位置に合わせる位置合わせが行われる。
【００１１】
さらに、ステップＳ０１ｂにおいて、入力画像ｔ−１をフレームメモリ（ＦＭ）に格納する。
なお、図１には、ステップＳ０１ａを時間軸の時刻ｔ−１より左に記載しているが、ステップＳ０１ａの処理、ステップＳ０１ｂの処理は、いずれも時刻ｔ以後に実行される処理である。
【００１２】
次に、新たな入力画像ｔが信号処理部に入力されると、信号処理部は、ステップＳ０２ａにおいて、１つ前の撮影画像である格納画像ｔ−１をフレームメモリ（ＦＭ）から取得して、この格納画像ｔ−１と入力画像ｔを利用した処理を実行する。
具体的には、これら２つの画像を利用した動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行する。
さらに、ステップＳ０２ｂにおいて、入力画像ｔをフレームメモリ（ＦＭ）に格納する。
【００１３】
信号処理部は、この一連の処理を順次実行して、各画像に対するノイズ低減等の処理を行ない、処理結果を出力、あるいは記憶部に格納するといった処理を行なう。
【００１４】
しかし、このように連続撮影画像を２つ組み合わせて処理を実行する場合、動き推定に適さない画像が存在した場合、その画像に対する処理精度が低下するのみならず、隣接画像に対する信号処理の処理精度も低下させてしまうという問題が発生する。
例えば被写体にピントが合わずぼけた領域が多い画像などは前後の撮影画像間での対応領域探索が困難となり、正しい動き推定が実行されない。
【００１５】
このように正確な動き推定が困難となる不適切な画像を入力した場合の問題点について図２を参照して説明する。
図２において、例えば入力画像ｔ−１が動き推定に適さない不適切画像であるとする。
【００１６】
この場合、図２に示すステップＳ０１ａの処理、すなわち、
フレームメモリ（ＦＭ）格納画像ｔ−２と、入力画像ｔ−１を適用した動き推定、動き補償画像の生成、その後のノイズ低減等の信号処理の精度が低下する。
さらに、図２に示すステップＳ０２ａの処理、すなわち、
フレームメモリ（ＦＭ）格納画像ｔ−１と、入力画像ｔを適用した動き推定、動き補償画像の生成、その後のノイズ低減等の信号処理の精度が低下する。
このように、１つの不適格画像の存在によって、２つの連続画像に対する処理が不正確となり、例えば信号処理としてノイズ低減処理を実行する場合、誤った処理によってノイズの低減されない２つの連続画像が生成され出力されてしまうといった事態が発生する。
【００１７】
なお、前述したように、２つの画像間の動き推定に基づいて生成した動き補償画像を適用した画像信号処理としては、ノイズ低減処理（ＮＲ）の他、例えば超解像処理（ＳＲ）、高ダイナミックレンジ画像（ＨＤＲ画像）生成処理などがある。
これらの様々な信号処理においても、図２を参照して説明した問題は共通に存在し、１つの不適切画像によって複数の出力画像の品質を低下させるという問題がある。
【００１８】
なお、高ダイナミックレンジ画像（ＨＤＲ画像）生成処理については、例えば特許文献３（特開２００８−１６０８８１号公報）に記載されている。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００９−１９４７００号公報
【特許文献２】特開２００９−２９０８２７号公報
【特許文献３】特開２００８−１６０８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本開示は、例えば上記問題点に鑑みてなされたものであり、正確な動き推定が困難である画像が入力された場合においても、その影響を最小限にとどめ、より品質の高い処理画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本開示の第１の側面は、
異なるタイミングの撮影画像である第１画像と第２画像の二画像間の動き量を推定する動き推定部と、
前記動き推定部の推定した動き量に基づいて、前記第２画像を第１画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成部と、
前記動き補償画像と、前記第１画像との合成処理により合成画像を生成する信号処理部を有し、
前記動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理装置にある。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、前記動き推定好適度判定部は、前記入力画像が適格画像である場合に限り、該入力画像を前記動き推定に適用する参照画像としてフレームメモリに格納する制御を実行し、前記動き推定部は、前記フレームメモリに格納された参照画像を適用した動き推定を実行し、前記動き補償画像生成部は、前記参照画像を利用した動き補償画像を生成する。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が動き推定に好適でない不適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行せず、前記動き推定部において動き推定が実行されない場合、予め規定したアルゴリズムに従って決定する例外動き量を前記動き補償画像生成部に出力する動き量補正部を有する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像に対する信号処理を実行する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記動き推定好適度判定部は、前記入力画像中のぼけ領域、飽和画素領域、ノイズの大きい領域の少なくともいずれか、または入力画像撮影時のカメラの動き、または入力画像の輝度範囲のいずれかの指標を適用して入力画像が動き推定に好適な画像であるか否かの判定処理を実行する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記動き推定好適度判定部は、前記入力画像として、異なる露光時間に設定された連続撮影画像を入力する場合、各露光画像の有効画素値面積を比較してより広い有効画素面積を持つ画像を前記フレームメモリに格納する参照画像とする制御を行う。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記フレームメモリに格納された画像を基準画像として、該基準画像の画像位置に入力画像の画像位置を合わせるために実行する動き推定方向の切り替え処理を実行する動き推定方向切り替え部を有する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記入力画像として、異なる露光時間に設定された連続撮影画像を入力し、露光比補正を実行する露光比補正部を有し、前記動き推定部は、前記露光比補正部において露光比補正の施された連続撮影画像間の動き推定を実行して、該連続撮影画像間の動き量を算出し、前記動き補償画像生成部は、前記動き量を利用して、前記連続撮影画像の一方の画像位置を他方の画像位置に合わせた動き補償画像を生成し、
前記信号処理部は、前記動き補償画像と、フレームメモリに格納した基準画像との合成処理を実行する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記フレームメモリに格納する基準画像は、予め定めた所定の露光時間の画像であり、前記露光比補正部は、前記入力画像と、前記フレームメモリに格納した基準画像間の露光比補正を実行し、前記動き推定部は、前記露光比補正部において露光比補正の施された入力画像と基準画像との動き推定を実行する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記動き推定部は、同一露光時間に設定された画像間の動きベクトルを算出し、前記動き推定部の算出した動きベクトルを入力し、該動きベクトルに対する線型演算により、前記動き補償画像生成部における動き補償画像の生成に適用する動きベクトルを算出する動きベクトル演算部を有する。
【００３２】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
動き推定部が、異なるタイミングの撮影画像である第１画像と第２画像の二画像間の動き量を推定する動き推定ステップと、
動き補償画像生成部が、前記動き推定ステップにおいて推定した動き量に基づいて、前記第２画像を第１画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成ステップと、
信号処理部が、前記動き補償画像と、前記第１画像との合成処理により合成画像を生成する信号処理ステップを実行し、
前記動き補償画像生成ステップは、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理方法にある。
【００３３】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
動き推定部に、異なるタイミングの撮影画像である第１画像と第２画像の二画像間の動き量を推定させる動き推定ステップと、
動き補償画像生成部に、前記動き推定ステップにおいて推定した動き量に基づいて、前記第２画像を第１画像の位置に合わせる動き補償処理を実行して動き補償画像を生成させる動き補償画像生成ステップと、
信号処理部に、前記動き補償画像と、前記第１画像との合成処理により合成画像を生成させる信号処理ステップを実行し、
前記動き補償画像生成ステップにおいては、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成させるプログラムにある。
【００３４】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３５】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３６】
本開示の一実施例の構成によれば、高精度な動き推定による動き補償画像を適用した画像の合成処理により、高品質なノイズ低減や高ダイナミックレンジ画像等を生成する構成が実現される。
具体的には、画像間の動き量を推定し、一方の画像を他方の画像の位置に合わせる動き補償処理を実行して動き補償画像を生成し、動き補償画像と位置合わせされた画像との合成処理によりノイズ低減等の施された画像を生成する。動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する。例えば、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、入力画像が適格画像である場合に限り、該入力画像を動き推定に適用する参照画像としてフレームメモリに格納する。
これらの処理により、高精度な動き推定による動き補償画像を適用した画像の合成処理により、品質の高いノイズ低減や高ダイナミックレンジ画像を生成することが可能となる。
【図面の簡単な説明】
【００３７】
【図１】動画像などの連続入力画像に動き推定処理、動き補償画像の生成、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。
【図２】動画像などの連続入力画像に動き推定処理、動き補償画像の生成、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。
【図３】本開示の処理に従って、動画像などの連続入力画像に動き推定処理、動き補償画像の生成、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。
【図４】信号処理としてのノイズ低減処理構成について説明する図である。
【図５】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図６】本開示の一実施例に従った画像処理装置の処理について説明する図である。
【図７】本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。
【図８】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図９】本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。
【図１０】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図１１】本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。
【図１２】本開示の一実施例に従った画像処理装置の処理について説明する図である。
【図１３】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図１４】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図１５】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図１６】本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。
【図１７】本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。
【図１８】本開示の一実施例に従った画像処理装置の処理について説明する図である。
【図１９】高ダイナミックレンジ画像の生成処理について説明する図である。
【図２０】高ダイナミックレンジ画像生成処理とノイズ低減処理を併せて実行する構成例について説明する図である。
【図２１】高ダイナミックレンジ画像生成処理とノイズ低減処理を併せて実行する構成例について説明する図である。
【図２２】本開示の画像処理装置の一実施例において、入力する画像シーケンスの例について説明する図である。
【図２３】本開示の画像処理装置の一実施例において実行する画像合成処理について説明する図である。
【図２４】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図２５】本開示の一実施例に従った画像処理装置の処理について説明する図である。
【図２６】本開示の一実施例に従った画像処理装置の処理について説明する図である。
【図２７】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図２８】本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。
【図２９】本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。
【図３０】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図３１】本開示の一実施例に従った画像処理装置の処理について説明する図である。
【図３２】本開示の一実施例に従った画像処理装置の構成と処理について説明する図である。
【図３３】本開示の一実施例に従った画像処理装置の処理シーケンスについて説明するフローチャートを示す図である。
【図３４】本開示の画像処理装置の構成例について説明する図である。
【発明を実施するための形態】
【００３８】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．画像に対する動き推定の適否判定を実行する処理例について
１−１．処理の概要について
１−２．動き推定の適否判定に基づく処理を行なう画像処理装置（実施例１）
１−３．動き推定の適否判定に基づく処理を行なう画像処理装置（実施例２）
１−４．動き推定の適否判定に基づく処理を行なう画像処理装置（実施例３）
１−５．動き推定好適度判定処理の詳細について
１−６．連続撮影画像の重ね合わせによるノイズ低減を行う実施例（実施例４）
１−７．高ダイナミックレンジ画像の生成処理を行なう実施例（実施例５）
２．複数画像の合成によるノイズ低減と、高ダイナミックレンジ化処理を併せて実行する実施例について
２−１．ノイズ低減処理と、高ダイナミックレンジ化処理を併せて実行する一般的な構成例と問題点について
２−２．本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する処理の概要
２−３．本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する実施例（実施例６）
２−４．本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する実施例（実施例７）
２−５．露光時間の同じ画像同士で動き推定を行う実施例（実施例８）
３．画像処理装置の全体構成例について
４．本開示の構成のまとめ
【００３９】
［１．各画像に対する動き推定の適否判定を実行し、動き推定に適した画像を選択適用した信号処理を実行する実施例について］
まず、本開示の画像処理装置の第１実施例として、画像に対する動き推定の適否判定を実行して、動き推定に適切な画像を選択適用した動き推定を実行し、その動き推定結果を利用したノイズ低減等の信号処理を実行する実施例について説明する。
【００４０】
［１−１．処理の概要について］
図３は、本実施例における処理シーケンスを示す図である。先に説明した図１、図２と同様、例えば動画像などの連続した入力画像に対して、動き推定処理と、画像位置合わせとしての動き補償画像の生成、さらに、ノイズ低減等の信号処理を順次、実行する場合の処理シーケンスを説明する図である。
【００４１】
時間軸に沿って撮影された画像が順次、画像処理装置、例えば撮像装置の信号処理部に入力される。時間ｔ−１の撮影画像である入力画像ｔ−１が信号処理部に入力されると、信号処理部は、ステップＳ１１ａにおいて、１つ前の撮影画像である格納画像ｔ−２をフレームメモリ（ＦＭ）から取得して、この格納画像ｔ−２と入力画像ｔ−１を利用した処理を実行する。
具体的には、これら２つの画像を利用した動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行する。
【００４２】
ここで、入力画像ｔ−１が、例えば、「ぼけた画像」であるなど、正確な動き推定が困難な画像であるとする。以下、このような動き推定が困難な画像を不適格画像と呼ぶ。
【００４３】
ステップＳ１１ａにおける処理は、この不適格画像である入力画像ｔ−１を利用して実行される。この結果、ステップＳ１１ａの処理結果として得られる処理画像は、目的とする処理効果が得られない画像となる可能性が高い。例えばノイズ低減処理を実行する構成では、このステップＳ１１ａにおいて生成した画像は十分なノイズ低減がなされない画像となる可能性が高くなる。
【００４４】
先に図２を参照して説明した処理例では、この不適格画像である入力画像ｔ−１をフレームメモリに格納し、その次の信号処理（図２のステップＳ０２ａ）においても利用していた。従って、図２に示すステップＳ０２ａにおける処理画像も目的とする処理効果、例えばノイズ低減効果が得られない画像となってしまう。
【００４５】
しかし、この図３に示す実施例では、図３のステップＳ１１ｂに示すように、入力画像が動き推定に適さない不適格画像であると判定した場合、フレームメモリ（ＦＭ）に対する格納処理を中止する。
この結果、フレームメモリ（ＦＭ）には、１つ前の画像、すなわち格納画像ｔ−２がそのまま格納され続けることになる。この格納画像ｔ−２は不適格画像ではなく、良好な動き推定が可能な画像である。
【００４６】
図３に示すステップＳ１２ａでは、新たな入力画像ｔと、フレームメモリ（ＦＭ）に格納された格納画像ｔ−２を利用した処理を実行する。
具体的には、これら２つの画像を利用した動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行する。これらの２つの画像は、不適格画像ではなく、精度の高い動き推定が可能な画像である。従って、高精度な動き推定処理、動き推定結果に基づく動き補償画像の生成処理、さらに、動き補償画像を適用したノイズ低減処理などの信号処理を実行することが可能となる。
【００４７】
このように、先に説明した図２に示す処理では、ステップＳ０１ａ、ステップＳ０２ａの２つの処理ブロックの処理がいずれも、１つの不適格画像（入力画像ｔ−１）の影響によって影響を受け、２つの出力画像が例えば十分なノイズ低減のなされないエラー画像となってしまう。
しかし、図３に示す処理では、不適格画像（入力画像ｔ−１）の影響によって影響を受けるのは、ステップＳ１１ａの１つの処理ブロックのみとなり、ステップＳ１２ａの処理には影響を及ぼさない。
【００４８】
例えば各ステップにおいて実行する信号処理がノイズ低減処理である場合、ノイズ低減が不十分となる画像は、ステップＳ１１ａの１つの処理ブロックにおいて生成した画像のみとなり、ステップＳ１２ａの処理では、良好なノイズ低減のなされた画像を生成して出力することが可能となる。
【００４９】
画像処理装置において実行する信号処理がノイズ低減処理である場合の信号処理部の構成例を図４に示す。
画像処理装置の信号処理部は、図４に示すように、新たな入力画像１０１と、過去入力画像を、入力画像の画像位置に合わせた動き補償画像１０２を入力する。
静止領域検出部１１１は、例えばこれらの２つの画像を比較して、静止被写体を撮影した静止領域を抽出して、静止被写体画素領域の抽出情報を持つ静止領域マップ１０３を生成する。この静止領域判定処理は、例えば入力画像１０１と動き補償画像１０２とを所定の画素領域からなる画素ブロック間で比較して、ブロック間の類似度判定処理に基づいて実行することができる。
【００５０】
画素値補正部１１２は、静止領域１０３に基づいて静止領域と判定された入力画像１０１の画素の画素値を、入力画像１０１と動き補償画像１０２の対応画素を用いて補正する。具体的には、例えば入力画像１０１と動き補償画像１０２の対応画素の画素値の加算平均値を補正画素値として設定する。動き領域と判定された画素については、補正を実行することなく、入力画像１０１の画素値をそのまま出力画素とする。
このようにして生成した処理画像１０４は、ノイズをの低減された画像として出力される。
【００５１】
なお、図４に示す例は、信号処理としてノイズ低減を実行する場合の信号処理構成例である。本開示の処理は、このようなノイズ低減（ＮＲ）処理のみならず、例えば解像度を高める超解像（ＳＲ）処理、あるいは複数の異なる露光時間の画像を組み合わせて生成する高ダイナミックレンジ（ＨＤＲ）画像の生成処理等、様々な信号処理を実行する構成において適用可能である。
【００５２】
［１−２．動き推定の適否判定に基づく処理を行なう画像処理装置（実施例１）］
図５以下を参照して、本開示の第１実施例として、動き推定の適否判定に基づく処理を行なう画像処理装置の実施例について説明する。
図５は、実施例１に従った画像処理を実行する画像処理装置の主要部構成と処理を説明する図である。
【００５３】
図５に示す画像処理装置は、フレームメモリ２０１、動き推定好適度判定部２０２、動き推定部２０３、動き補償画像生成部２０５、信号処理部２０６、フレームメモリ格納画像更新制御スイッチ２０７を有する。
図５に示す構成は、例えば動画や静止画を撮影する撮像装置、あるいは画像処理を実行可能なＰＣ等の装置の一部構成に相当する。
図５には示していないが、画像処理装置は例えばプログラム実行機能を有するＣＰＵ等からなる制御部、制御部において実行するプログラムを格納したメモリ等を有する。図５の構成を適用した処理は、例えば、制御部において実行するプログラムに従った処理として実行される。
【００５４】
図５に示す画像処理装置は、連続撮影画像に対する処理を実行する。例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理等の信号処理である。
これらの信号処理は、図５に示す信号処理部２０６において実行する。
信号処理部２０６の出力画像である処理画像２１５が、ノイズ低減処理、超解像処理、高ダイナミックレンジ化、これらの少なくともいずれかの処理がなされた画像である。
【００５５】
図５に示す入力画像２１１として、連続撮影された画像が順次入力される。
入力画像２１１は、動き推定好適度判定部２０２に入力される。
動き推定好適度判定部２０２は、入力画像２１１の解析を実行して、入力画像２１１が、正確な動き推定処理を実行可能な画像であるか否かを判定する。
【００５６】
この動き推定好適度判定処理は、例えば画像に含まれるぼけ領域の比率等に基づいて実行される。例えば被写体にピントが合わずぼけた領域が多い画像などは前後の撮影画像間での対応領域探索が困難みとなり、正しい動き推定が実行されない。
なお、画像に対する動き推定好適度の判定処理の処理態様としては様々な処理態様があり、この具体例については、後段で説明する。
【００５７】
動き推定好適度判定部２０２は、入力画像２１１が正確な動き推定処理を実行可能な画像であると判定した場合、フレームメモリ２０１に格納されている参照画像を更新する制御情報を出力する。すなわち、更新フラグ［０］を設定した参照画像更新情報２１８を出力する。
一方、入力画像２１１が正確な動き推定処理を実行可能な画像でないと判定した場合、フレームメモリ２０１に格納されている参照画像を更新せず、現状の参照画像をそのまま維持する制御情報を出力する。すなわち、更新フラグ［１］を設定した参照画像更新情報２１８を出力する。
フレームメモリ格納画像更新制御スイッチ２０７は、更新フラグの値［０］，［１］の値に応じて切り替えられる。
【００５８】
なお、フレームメモリ２０１に格納される参照画像は、動き補償画像の生成元となる画像であり、動き補償画像生成部２０５は、この「参照画像」を利用して、参照画像を入力画像の画像位置に合わせた動き補償画像を生成する。
【００５９】
このように、本実施例１の画像処理装置においては、入力画像２１１が正確な動き推定処理を実行可能な画像であり、更新フラグの値が［０］である場合、入力画像２１１を、新たな参照画像としてフレームメモリ２０１に格納する処理を行なう。
一方、入力画像２１１が正確な動き推定処理を実行可能な画像でなく、更新フラグの値が［１］である場合、入力画像２１１をフレームメモリ２０１に格納せず、フレームメモリ２０１に格納された参照画像をそのまま維持する処理を行なう。
【００６０】
フレームメモリ２０１に格納された参照画像は、動き推定部２０３において、入力画像２１１と比較され、２つの画像の位置ずれに基づく画像間の動き量２１２を算出する動き推定処理に適用される。
例えば連続撮影画像として、画像フレームＦ１，Ｆ２，Ｆ３，Ｆ４・・・が、順次、入力画像２１１として入力されるとする。
これらの入力画像フレームＦ１，Ｆ２，Ｆ３，Ｆ４がすべて、動き推定処理に適した画像である場合、フレームメモリ２０１の格納画像である参照画像は、画像フレームＦ１，Ｆ２，Ｆ３，Ｆ４と順次更新される。
【００６１】
しかし、例えば、画像フレームＦ３が、動き推定に適さない不適格画像である場合、フレームメモリ２０１の格納画像である参照画像は、画像フレームＦ１，Ｆ２，Ｆ２，Ｆ４という順番で更新される。すなわち、不適挌画像である画像フレームＦ３は、フレームメモリ１０２に格納されることはない。
【００６２】
動き推定部２０３は、入力画像２１１と、フレームメモリ２０１に格納された参照画像とを比較し、２つの画像の位置ずれに基づく画像間の動き量２１２を算出する。
動き量２１２は、動き補償画像生成部２０５に出力される。動き量２１２には、動きベクトル情報と、動きベクトルを算出した２つの画像フレームのフレーム情報等が含まれる。
【００６３】
動き補償画像生成部２０５は、動き推定部２０３から入力する動き量２１２を適用して、フレームメモリ２０１に格納された参照画像の画像位置を入力画像の画像位置に合わせた動き補償画像２１４を生成する。生成した動き補償画像２１４は、入力画像２１１とともに、信号処理部２０６に出力される。
【００６４】
信号処理部２０６は、入力画像２１１と、入力画像２１１の画像位置に位置合わせを行った参照画像、すなわち動き補償画像２１４を適用した信号処理を実行する。
例えば、図４を参照して説明したノイズ低減処理（ＮＲ）、あるいは超解像処理（ＳＲ）、あるいは高ダイナミックレンジ（ＨＤＲ）画像生成処理などを実行する。
信号処理部２０６は、信号処理によって生成した処理画像２１５を出力する。
なお、処理画像２１５は、さらに、動き補償画像生成部２０５にフィードバック入力して、処理画像に基づく動き補償画像を生成し、生成画像を適用して信号処理部２０５において、さらに画像のノイズ低減を繰り返し実行する構成としてもよい。
【００６５】
図５に示す構成を用いた処理例について、図６を参照して説明する。
入力画像が図６（１）入力に示すように、Ａ、Ｂ、Ｃ、Ｄ、Ｅ・・・の順番で入力するものとする。これらのＡ〜Ｅの画像フレームは連続撮影のなされた画像である。
これらの画像フレームＡ〜Ｅには、動き推定に好適な画像と好適でない画像が混在する。
画像フレームＡ，Ｄ，Ｅは、動き推定に好適な画像であり、画像フレームＢ，Ｃは、動き推定に好適でない画像、すなわち不適格画像であるとする。
【００６６】
動き推定好適度判定部２０２は、各画像が動き推定に好適であるか不適格であるかを判別して、判別結果に応じた参照画像更新情報を出力する。
図６に示す（３）参照画像更新情報である。
この参照画像更新情報の値に応じて図５に示すフレームメモリ格納画像更新制御スイッチ２０７が切り替えられる。
このスイッチ切り替えに応じてフレームメモリ２０１に格納される参照画像が更新される。
【００６７】
フレームメモリ２０１に格納される参照画像は、図６の（２）フレームメモリ格納参照画像に示すように、最新の好適画像が入力された場合に更新される。
入力画像が画像フレームＡのタイミングでは、フレームメモリ２０１には参照画像は格納されていない。
入力画像が画像フレームＢのタイミングでは、フレームメモリ２０１には参照画像として画像フレームＡが格納されている。
【００６８】
入力画像が画像フレームＣのタイミングでは、フレームメモリ２０１には参照画像として画像フレームＡが格納されたままとなる。画像フレームＢは、不適格画像であるため、フレームメモリ２０１に格納されないためである。
入力画像が画像フレームＤのタイミングでも、フレームメモリ２０１には参照画像として画像フレームＡが格納されたままとなる。画像フレームＣも、不適格画像であるため、フレームメモリ２０１に格納されないためである。
【００６９】
入力画像が画像フレームＥのタイミングでは、フレームメモリ２０１には参照画像として画像フレームＤが格納された状態となる。画像フレームＤは、動き推定に好適な画像であるため、フレームメモリ２０１の格納画像が更新されるためである。
【００７０】
動き推定部２０３は、入力画像２１１と、フレームメモリ２０１に格納された参照画像を入力して、これらの画像間の動き量を推定する。
ただし、この実施例では、フレームメモリ２０１に格納される参照画像は、入力画像２１１の１フレーム前の画像であるとは限らない。１フレーム前てある場合、２フレーム前である場合、３フレーム前である場合など、様々な設定となる。
【００７１】
動き推定部２０３では、図６（４）に示すように、図６（２）に示すフレームメモリ２０１に格納された参照画像を、図６（１）に示す入力画像の画像位置に併せるための動き量を推定する。
例えば図６（４）に示すように、入力画像が画像Ｂである場合、フレームメモリ２０１に格納された参照画像である画像Ａを入力画像Ｂの画像位置に合わせるための動き量を算出する。
また、入力画像が画像Ｃである場合、フレームメモリ２０１に格納された参照画像である画像Ａを入力画像Ｃの画像位置に合わせるための動き量を算出する。
以下、同様である。
【００７２】
動き補償画像生成部２０５は、動き推定部２０３から入力する動き量２１２を適用して、例えばフレームメモリ２０１に格納された参照画像の画像位置を入力画像の画像位置に併せた動き補償画像２１４を生成する。
例えば図６（５）に示すように、入力画像が画像Ｂである場合、フレームメモリ２０１に格納された参照画像である画像Ａを入力画像Ｂの画像位置に合わせた動き補償画像を生成する。
また、入力画像が画像Ｃである場合、フレームメモリ２０１に格納された参照画像である画像Ａを入力画像Ｃの画像位置に合わせた動き補償画像を生成する。
以下、同様である。
図５に示すように、動き補償画像生成部２０５の生成した動き補償画像２１４は、入力画像２１１とともに、信号処理部２０６に出力される。
【００７３】
次に、図５に示す画像処理装置の実行する処理の処理シーケンスについて、図７に示すフローチャートを参照して説明する。
図７に示すフローに従った処理は、例えば、図５に示す構成を持つ画像処理装置において、図５には示していないが画像処理装置の制御部の制御下で行われる。制御部は画像処理装置のメモリに格納されたプログラムを実行して図７のフローに従った処理の制御を行う。
図７に示すフローは、画像処理装置が入力する連続撮影画像中の１つの入力画像に対応して実行される処理であり、各入力画像に対して図７に示すフローに従った処理が繰り返し実行される。
【００７４】
まず、ステップＳ１０１において画像を入力する。ここでは第ｋ画像フレームを入力するものとする。
次に、ステップＳ１０２以下の処理と、ステップＳ１１１以下の処理が並行に実行される。
【００７５】
まず、ステップＳ１０２以下の処理について説明する。
ステップＳ１０２において、動き推定処理を実行する。この処理は、図５に示す動き推定部２０３の実行する処理であり、フレームメモリ２０１に格納された参照画像と入力画像間の動き量を推定する処理である。
【００７６】
次に、ステップＳ１０３において、ステップＳ１０２で算出されたフレームメモリ２０１に格納された参照画像と入力画像間の動き量を適用して、参照画像の画像位置を入力画像の画像位置に合わせた動き補償画像を生成する。この処理は、図５に示す動き補償画像生成部２０５の実行する処理である。
【００７７】
次に、ステップＳ１０４において、入力画像と動き補償画像を適用した信号処理を実行する。この処理は、図５に示す信号処理部２０６の実行する処理である。信号処理としては、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理などの処理である。
ステップＳ１０５において、ステップＳ１０４の信号処理結果として生成した画像を出力する。
【００７８】
次に、ステップＳ１１１以下の処理について説明する。
ステップＳ１１１では、入力画像が動き推定に好適な画像であるか否かを判定する。この処理は、図５に示す動き推定好適度判定部２０２の実行する処理である。
【００７９】
ステップＳ１１２において、入力画像が動き推定に好適な画像であると判定すると、ステップＳ１１３に進む。ステップＳ１１３では、図５に示すフレームメモリ格納画像更新制御スイッチ２０７を制御して、フレームメモリ２０１に格納された参照画像を入力画像に置き換える参照画像更新処理を実行する。
【００８０】
一方、ステップＳ１１２において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップＳ１１４に進む。ステップＳ１１４では、図５に示すフレームメモリ格納画像更新制御スイッチ２０７を制御して、フレームメモリ２０１に格納された参照画像をそのまま維持する制御を行う。すなわち、入力画像に置き換えることなく、フレームメモリに格納された参照画像を次の入力画像に対する動き推定にも適用する設定とする。
【００８１】
この処理によって、動き推定に適用する参照画像は、常に動き推定に適した画像となり、精度の高い動き推定が常に実行されることになる。この結果、高精度な動き推定結果に基づく高精度な動き補償画像が生成され、さらに、この高精度な動き補償画像を適用した高精度な信号処理を実行することが可能となる。
【００８２】
［１−３．動き推定の適否判定に基づく処理を行なう画像処理装置（実施例２）］
次に、図８以下を参照して、本開示の第２実施例の画像処理装置について説明する。
第２実施例も、第１実施例と同様、動き推定の適否判定に基づく処理を行なう画像処理装置の実施例である。
図８は、実施例２に従った画像処理を実行する画像処理装置の主要部構成と処理を説明する図である。
【００８３】
図８に示す画像処理装置は、フレームメモリ２０１、動き推定好適度判定部２０２、動き推定部２０３、動き量補正部２０４、動き補償画像生成部２０５、信号処理部２０６、フレームメモリ格納画像更新制御スイッチ２０７を有する。
図８に示す構成は、例えば動画や静止画を撮影する撮像装置、あるいは画像処理を実行可能なＰＣ等の装置の一部構成に相当する。
図８には示していないが、画像処理装置は例えばプログラム実行機能を有するＣＰＵ等からなる制御部、制御部において実行するプログラムを格納したメモリ等を有する。図８の構成を適用した処理は、例えば、制御部において実行するプログラムに従った処理として実行される。
【００８４】
図８に示す画像処理装置は、先に図５を参照して説明した構成に、動き量補正部２０４を追加した点が異なる。
その他の構成は、基本的に先に図５以下を参照して説明した構成部の処理と同様の処理を実行する。
【００８５】
図８に示す画像処理装置も図５を参照して説明した画像処理装置と同様、連続撮影画像に対する処理を実行する。例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理等の信号処理である。
これらの信号処理は、図８に示す信号処理部２０６において実行する。
信号処理部２０６の出力画像である処理画像２１５が、ノイズ低減処理、超解像処理、高ダイナミックレンジ化、これらの少なくともいずれかの処理がなされた画像である。
【００８６】
図８に示す入力画像２１１として、連続撮影された画像が順次入力される。
入力画像２１１は、動き推定好適度判定部２０２に入力される。
動き推定好適度判定部２０２は、入力画像２１１の解析を実行して、入力画像２１１が、正確な動き推定処理を実行可能な画像であるか否かを判定する。
【００８７】
この動き推定好適度判定処理は、例えば画像に含まれるぼけ領域の比率等に基づいて実行される。例えば被写体にピントが合わずぼけた領域が多い画像などは前後の撮影画像間での対応領域探索が困難みとなり、正しい動き推定が実行されない。
なお、画像に対する動き推定好適度の判定処理の処理態様としては様々な処理態様があり、この具体例については、後段で説明する。
【００８８】
動き推定好適度判定部２０２は、入力画像２１１が正確な動き推定処理を実行可能な画像であると判定した場合、フレームメモリ２０１に格納されている参照画像を更新する制御情報として、更新フラグ［０］を設定した参照画像更新情報２１８を出力する。
一方、入力画像２１１が正確な動き推定処理を実行可能な画像でないと判定した場合、フレームメモリ２０１に格納されている参照画像を更新しない制御情報として、更新フラグ［１］を設定した参照画像更新情報２１８を出力する。
【００８９】
フレームメモリ格納画像更新制御スイッチ２０７は、更新フラグの値［０］，［１］の値に応じて切り替えられる。
入力画像２１１が正確な動き推定処理を実行可能な画像であり、更新フラグの値が［０］である場合、入力画像２１１をフレームメモリ２０１に格納する設定とする。
一方、入力画像２１１が正確な動き推定処理を実行可能な画像でなく、更新フラグの値が［１］である場合、入力画像２１１をフレームメモリ２０１に格納しない設定とし、フレームメモリ２０１に格納された参照画像をそのまま維持する設定とする。
【００９０】
フレームメモリ２０１に格納された参照画像は、動き推定部２０３において、入力画像２１１と比較され、２つの画像の位置ずれに基づく画像間の動き量２１２を算出する動き推定処理に適用する画像である。
例えば連続撮影画像として、画像フレームＦ１，Ｆ２，Ｆ３，Ｆ４・・・が、順次、入力画像２１１として入力されるとする。
これらの入力画像フレームＦ１，Ｆ２，Ｆ３，Ｆ４がすべて、動き推定処理に適した画像である場合、フレームメモリ２０１の格納画像である参照画像は、画像フレームＦ１，Ｆ２，Ｆ３，Ｆ４と順次更新される。
【００９１】
しかし、例えば、画像フレームＦ３が、不適格画像である場合、フレームメモリ２０１の格納画像である参照画像は、画像フレームＦ１，Ｆ２，Ｆ２，Ｆ４という順番で更新される。すなわち、不適挌画像である画像フレームＦ３は、フレームメモリ１０２に格納されることはない。
【００９２】
動き推定部２０３は、入力画像２１１と、フレームメモリ２０１に格納された参照画像とを比較し、２つの画像の位置ずれに基づく画像間の動き量２１２を算出する。
動き量２１２は、動き量補正部２０４に出力される。動き量２１２には、動きベクトル情報と、動きベクトルを算出した２つの画像フレームのフレーム情報が含まれる。
【００９３】
ただし、本実施例では、動き推定部２０３は、動き推定好適度判定部２０２から、入力画像が動き推定に好適な画像であるか不適格な画像であるかの情報、すなわち参照画像更新情報２１８を入力する構成を持つ。動き推定部２０３は、入力画像が動き推定に好適な画像である場合にのみ動き推定処理を実行する。入力画像が動き推定に好適な画像でなく不適格画像である場合には、動き推定処理を実行しない。
【００９４】
動き量補正部２０４は、動き推定部２０３から動き量２１２を入力し、さらに、動き推定好適度判定部２０２から、参照画像更新情報２１８を入力する。
動き量補正部２０４は、参照画像更新情報２１８に基づいて、入力画像が動き推定に好適な画像であるか、不適格な画像であるかを判別し、入力画像が動き推定に好適な画像である場合は、動き推定部２０３から入力した動き量２１２、具体的には、例えば入力画像と参照画像間の動きを示す動きベクトルを動き補償画像生成部２０５に出力する。
【００９５】
一方、入力画像が動き推定に好適な画像でなく不適格画像である場合は、動き推定部２０３から動き量２１２が入力されないので、予め設定した例外動き量を動き補償画像生成部２０５に出力する。
例外動き量としては、例えば動きベクトルとして、動きのないベクトル情報、すなわちゼロベクトルを適用する。
または、例外動き量として、前フレームにおいて算出した動きベクトルをそのまま適用して出力してもよい。あるいは、次のフレームにおいて算出した動きベクトルを出力する設定としてもよい。あるいは前後のフレームにおいて設定される動きベクトルに基づいて推定されるベクトルを算出して、算出したベクトルを出力する構成としてもよい。
いずれにしても、動きベクトルの算出に適用する画像は不適格画像を含まない動き推定に好適な画像を利用して算出したベクトルとする。
【００９６】
動き量補正部２０４は、参照画像更新情報２１８に基づく判別情報、すなわち、入力画像が動き推定に好適な画像であるか、不適格な画像であるかの判別情報に応じて、判別結果に応じた動き量情報を動き補償画像生成部２０５に出力する。
すなわち、入力画像が動き推定に好適な画像である場合は、動き推定部２０３から入力した動き量２１２を動き補償画像生成部２０５に出力し、入力画像が動き推定に好適な画像でなく不適格画像である場合は、例外動き量を動き補償画像生成部２０５に出力する。
【００９７】
動き補償画像生成部２０５は、動き量補正部２０４から入力する動き量または例外動き量２１３を適用して、例えばフレームメモリ２０１に格納された参照画像の画像位置を入力画像の画像位置に併せた動き補償画像２１４を生成する。生成した動き補償画像２１４は、入力画像２１１とともに、信号処理部２０６に出力される。
【００９８】
信号処理部２０６は、入力画像２１１と、入力画像２１１の画像位置に位置合わせを行った参照画像、すなわち動き補償画像２１４を適用した信号処理を実行する。
例えば、図４を参照して説明したノイズ低減処理（ＮＲ）、あるいは超解像処理（ＳＲ）、あるいは高ダイナミックレンジ（ＨＤＲ）画像生成処理などを実行する。
信号処理部２０６は、信号処理によって生成した処理画像２１５を出力する。
なお、処理画像２１５は、さらに、動き補償画像生成部２０５にフィードバック入力して、処理画像に基づく動き補償画像を生成し、生成画像を適用して信号処理部２０５において、さらに画像のノイズ低減を繰り返し実行する構成としてもよい。
【００９９】
図８に示す画像処理装置の実行する処理の処理シーケンスについて、図９に示すフローチャートを参照して説明する。
図９に示すフローに従った処理は、例えば、図８に示す構成を持つ画像処理装置において、画像処理装置の制御部の制御下で行われる。制御部は画像処理装置のメモリに格納されたプログラムを実行して図９のフローに従った処理の制御を行う。
図９に示すフローは、画像処理装置が入力する連続撮影画像中の１つの入力画像に対応して実行される処理であり、各入力画像に対して図９に示すフローに従った処理が繰り返し実行される。
【０１００】
まず、ステップＳ１２１において画像を入力する。ここでは第ｋ画像フレームを入力するものとする。
次に、ステップＳ１２２において、入力画像が動き推定に好適な画像であるか、好適でない不適格画像であるかの判別を行う。
この処理は、図８に示す動き推定好適度判定部２０２の実行する処理である。
【０１０１】
ステップＳ１２３において、入力画像が動き推定に好適な画像であると判定すると、ステップＳ１２４以下の処理と、ステップＳ１３１の処理を実行する。
一方、ステップＳ１２３において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップＳ１２５の処理と、ステップＳ１３２の処理を実行する。
【０１０２】
まず、ステップＳ１３１の処理と、ステップＳ１３２の処理について説明する。
ステップＳ１２３において、入力画像が動き推定に好適な画像であると判定した場合、ステップＳ１３１において、図８に示すフレームメモリ格納画像更新制御スイッチ２０７を制御して、フレームメモリ２０１に格納された参照画像を入力画像に置き換える参照画像更新処理を実行する。
【０１０３】
一方、ステップＳ１２３において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップＳ１３２において、図８に示すフレームメモリ格納画像更新制御スイッチ２０７を制御して、フレームメモリ２０１に格納された参照画像をそのまま維持する制御を行う。すなわち、入力画像に置き換えることなく、フレームメモリに格納された参照画像を次の入力画像に対する動き推定にも適用する設定とする。
【０１０４】
この処理によって、動き推定に適用する参照画像は、常に動き推定に適した画像となり、精度の高い動き推定が常に実行されることになる。この結果、高精度な動き推定結果に基づく高精度な動き補償画像が生成され、さらに、この高精度な動き補償画像を適用した高精度な信号処理を実行することが可能となる。
【０１０５】
次に、ステップＳ１２４〜Ｓ１２６の処理について説明する。
ステップＳ１２３において、入力画像が動き推定に好適な画像であると判定した場合、ステップＳ１２４において、動き推定処理を実行する。この処理は、図８に示す動き推定部２０３の実行する処理であり、フレームメモリ２０１に格納された参照画像と入力画像間の動き量を推定する処理である。
【０１０６】
一方、入力画像が動き推定に好適な画像でなく不適格画像であると判定した場合、ステップＳ１２５において、予め設定したアルゴリズムに従って例外動き量を算出する。具体的には例えばゼロベクトル、あるいは前後の画像フレームにおいて算出した動きベクトルに基づいて算出する入力画像対応の動きベクトルを例外動き量とする。
【０１０７】
ステップＳ１２６は、図８に示す動き量補正部２０４の処理である。動き推定好適度判定部２０２の判定結果情報に応じて以下の処理を実行する。
入力画像が動き推定好適度ありの場合は、ステップＳ１２４において算出した動き量を動き補償画像生成部２０５に出力する。
一方、入力画像が動き推定好適度なしの場合は、ステップＳ１２５において算出した例外動き量を動き補償画像生成部２０５に出力する。
【０１０８】
次に、ステップＳ１２７において、動き量または例外動き量を適用して、動き補償画像を生成する。この処理は、図８に示す動き補償画像生成部２０５の実行する処理である。この動き補償画像生成処理は、入力画像が動き推定好適度ありの場合は、ステップＳ１２４において算出した動き量を適用して実行する。
一方、入力画像が動き推定好適度なしの場合は、ステップＳ１２５において算出した例外動き量を適用して実行する。
【０１０９】
次に、ステップＳ１２８において、入力画像と動き補償画像を適用した信号処理を実行する。この処理は、図８に示す信号処理部２０６の実行する処理である。信号処理としては、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理などの処理である。
ステップＳ１２９において、ステップＳ１２８の信号処理結果として生成した画像を出力する。
【０１１０】
［１−４．動き推定の適否判定に基づく処理を行なう画像処理装置（実施例３）］
次に、図１０以下を参照して、本開示の第３実施例について説明する。
第３実施例も、上述した第１、第２実施例と同様、動き推定の適否判定に基づく処理を行なう画像処理装置の実施例である。
図１０は、実施例３に従った画像処理を実行する画像処理装置の主要部構成と処理を説明する図である。
【０１１１】
図１０に示す画像処理装置は、フレームメモリ２０１、動き推定好適度判定部２０２、動き推定部２０３、動き補償画像生成部２０５、信号処理部２０６、フレームメモリ格納画像更新制御スイッチ２０７を有する。
図１０に示す構成は、例えば動画や静止画を撮影する撮像装置、あるいは画像処理を実行可能なＰＣ等の装置の一部構成に相当する。
図１０には示していないが、画像処理装置は例えばプログラム実行機能を有するＣＰＵ等からなる制御部、制御部において実行するプログラムを格納したメモリ等を有する。図１０の構成を適用した処理は、例えば、制御部において実行するプログラムに従った処理として実行される。
【０１１２】
図１０に示す画像処理装置は、先に図５を参照して説明した実施例１の構成と同様の構成を有する。
図５に示す第１実施例との相違点は、動き推定好適度判定部２０２の判定結果、すなわち入力画像２１１が、動き推定に好適な画像であるか不適格画像であるかを示す参照画像更新情報２１８を、動き推定部２０３と信号処理部２０６に入力している点である。
【０１１３】
動き推定部２０３は、動き推定好適度判定部２０２の判定結果である参照画像更新情報２１８に応じて動き推定処理の実行または中止処理を行なう。
具体的には、動き推定部２０３は以下の処理を実行する。
動き推定好適度判定部２０２の判定結果である参照画像更新情報２１８が更新［０］、すなわち、入力画像２１１が動き推定に好適な画像であるとの判定結果を入力した場合は、動き推定処理を実行して動き量２１２を動き補償画像生成部２０５に出力する。
一方、動き推定好適度判定部２０２の判定結果である参照画像更新情報２１８が維持［１］、すなわち、入力画像２１１が動き推定に好適な画像でなく不適格画像であるとの判定結果を入力した場合は、動き推定処理を中止する。この場合、動き量２１２は動き補償画像生成部２０５に出力されない。
【０１１４】
動き補償画像生成部２０５は、動き推定部２０３から動き量２１２を入力した場合にのみ動き補償画像２１４を生成して信号処理部２０６に出力する。
すなわち、入力画像２１１が動き推定に好適な画像である場合にのみ動き補償画像２１４を生成して信号処理部２０６に出力し、入力画像２１１が不適格画像である場合には、動き補償画像２１４を生成せず、信号処理部２０６には入力画像２１１のみを出力する。
【０１１５】
信号処理部２０６は、動き推定好適度判定部２０２の判定結果である参照画像更新情報２１８に応じて信号処理の実行または中止処理を行なう。
具体的には、信号処理部２０６は以下の処理を実行する。
動き推定好適度判定部２０２の判定結果である参照画像更新情報２１８が更新［０］、すなわち、入力画像２１１が動き推定に好適な画像であるとの判定結果を入力した場合は、信号処理を実行する。
一方、動き推定好適度判定部２０２の判定結果である参照画像更新情報２１８が維持［１］、すなわち、入力画像２１１が動き推定に好適な画像でなく不適格画像であるとの判定結果を入力した場合は、信号処理を中止する。この場合、入力画像２１１をそのまま処理画像２１５として出力する。
【０１１６】
なお、信号処理部２０６の実行する信号処理は、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理等の信号処理である。
本実施例の構成では、入力画像２１１が動き推定に好適な画像である場合にのみ信号処理を実行し、入力画像２１１が動き推定に不適格な画像である場合には、信号処理を実行しない構成である。
その他の処理部の処理は、先に図５を参照して説明した実施例１と同様である。
【０１１７】
本実施例３の処理シーケンスについて、図１１に示すフローチャートを参照して説明する。
図１１に示すフローに従った処理は、例えば、図１０に示す構成を持つ画像処理装置において、図１０には示していないが、画像処理装置の制御部の制御下で行われる。制御部は画像処理装置のメモリに格納されたプログラムを実行して図１１のフローに従った処理の制御を行う。
図１１に示すフローは、画像処理装置が入力する連続撮影画像中の１つの入力画像に対応して実行される処理であり、各入力画像に対して図１１に示すフローに従った処理が繰り返し実行される。
【０１１８】
まず、ステップＳ１４１において画像を入力する。ここでは第ｋ画像フレームを入力したものとする。
次に、ステップＳ１４２において、入力画像が動き推定に好適な画像であるか、好適でない不適格画像であるかの判別を行う。
この処理は、図１０に示す動き推定好適度判定部２０２の実行する処理である。
【０１１９】
ステップＳ１４３において、入力画像が動き推定に好適な画像であると判定すると、ステップＳ１４４以下の処理と、ステップＳ１５１の処理を実行する。
一方、ステップＳ１４３において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップＳ１６１の処理と、ステップＳ１５２の処理を実行する。
【０１２０】
まず、ステップＳ１５１の処理と、ステップＳ１５２の処理について説明する。
ステップＳ１４３において、入力画像が動き推定に好適な画像であると判定した場合、ステップＳ１５１において、図１０に示すフレームメモリ格納画像更新制御スイッチ２０７を制御して、フレームメモリ２０１に格納された参照画像を入力画像に置き換える参照画像更新処理を実行する。
【０１２１】
一方、ステップＳ１４３において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップＳ１５２において、図１０に示すフレームメモリ格納画像更新制御スイッチ２０７を制御して、フレームメモリ２０１に格納された参照画像をそのまま維持する制御を行う。すなわち、入力画像に置き換えることなく、フレームメモリに格納された参照画像を次の入力画像に対する動き推定にも適用する設定とする。
【０１２２】
この処理によって、動き推定に適用する画像は、常に動き推定に適した画像となり、精度の高い動き推定が常に実行されることになる。この結果、高精度な動き推定結果に基づく高精度な動き補償画像が生成され、さらに、この高精度な動き補償画像を適用した高精度な信号処理を実行することが可能となる。
【０１２３】
次に、ステップＳ１４４〜Ｓ１４７の処理について説明する。
ステップＳ１４３において、入力画像が動き推定に好適な画像であると判定した場合、ステップＳ１４４において、動き推定処理を実行する。この処理は、図１０に示す動き推定部２０３の実行する処理であり、フレームメモリ２０１に格納された参照画像と入力画像間の動き量を推定する処理である。
【０１２４】
ステップＳ１４５は、図１０に示す動き補償画像生成部２０５の処理である。動き補償画像生成部２０５は、動き推定好適度判定部２０２の判定結果として、入力画像が動き推定好適度ありの判定結果を入力した場合に限り、ステップＳ１４５の処理を実行する。すなわち、ステップＳ１４４において推定された動き量を適用して、動き補償画像を生成する。
【０１２５】
次に、ステップＳ１４６において、信号処理を実行する。この処理は、図８に示す信号処理部２０６の実行する処理である。信号処理部２０６は、動き推定好適度判定部２０２の判定結果として、入力画像が動き推定好適度ありの判定結果を入力した場合に限り、ステップＳ１４６の処理を実行する。すなわち、入力画像と動き補償画像を適用した信号処理を実行する。信号処理としては、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理などの処理である。
ステップＳ１４７において、ステップＳ１４６の信号処理結果として生成した画像を出力する。
【０１２６】
一方、ステップＳ１４３において、入力画像が動き推定に好適な画像でなく不適格画像であると判定した場合、ステップＳ１６１において、入力画像をそのまま処理画像に設定し、ステップＳ１４７において、入力画像を処理画像として出力する。
すなわち、入力画像が動き推定に好適な画像でなく不適格画像であると判定した場合には、ステップＳ１４４〜Ｓ１４６の処理はすべて省略し、入力画像をそのまま処理画像として出力する。
【０１２７】
［１−５．動き推定好適度判定処理の詳細について］
次に、上述の各実施例において示した動き推定好適度判定部２０２の実行する処理、すなわち、入力画像２１１が動き推定処理に適した画像であるか不適格な画像であるかの判定処理の具体例について説明する。
【０１２８】
入力画像２１１が動き推定処理に適した画像であるか不適格な画像であるかの判定処理には、様々な指標が適用可能である。図１２にこの判定処理に適用可能な指標の例を示す。図１２に示すように、例えば以下の指標を利用して入力画像２１１が動き推定処理に適した画像であるか不適格な画像であるかの判定処理を行なうことができる。
（１）画像中のぼけ領域の面積
（２）画像撮影時のカメラの動き情報
（３）画像中の画素値飽和領域の面積
（４）画像中のノイズの大きい領域の面積
（５）画像の輝度範囲（最大輝度から最小輝度の範囲）
（６）最大露光画像と最小露光画像の有効画素領域の面積
【０１２９】
例えば、動き推定好適度判定部２０２が、「（１）画像中のぼけ領域の面積」を適用して判定処理を行なう場合、入力画像の画像全体における「ぼけ領域」の面積占有率が既定しきい値未満であれば、入力画像は動き推定に適した画像と判定し、「ぼけ領域」の面積占有率が既定しきい値以上であれば、入力画像は動き推定に適さない不適格画像であると判定する。
【０１３０】
また、動き推定好適度判定部２０２が、「（２）画像撮影時のカメラの動き情報」を適用して判定処理を行なう場合、動き推定好適度判定部２０２は、カメラに装着されたジャイロ等のセンサから取得された画像撮影時のカメラの動きを画像の属性情報として画像とともに入力する。動き推定好適度判定部２０２は、この情報に基づいて判定を行う。入力画像撮影時の「カメラの動き」が既定しきい値未満であれば、入力画像は動き推定に適した画像と判定し、「カメラの動き」が既定しきい値以上であれば、入力画像は動き推定に適さない不適格画像であると判定する。
【０１３１】
「（３）画像中の画素値飽和領域の面積」を適用して判定処理を行なう場合、入力画像の画像全体における「画素値飽和領域」の面積占有率が既定しきい値未満であれば、入力画像は動き推定に適した画像と判定し、「画素値飽和領域」の面積占有率が既定しきい値以上であれば、入力画像は動き推定に適さない不適格画像であると判定する。
【０１３２】
「（４）画像中のノイズの大きい領域の面積」を適用して判定処理を行なう場合、入力画像の画像全体における「ノイズの大きい領域」の面積占有率が既定しきい値未満であれば、入力画像は動き推定に適した画像と判定し、「ノイズの大きい領域」の面積占有率が既定しきい値以上であれば、入力画像は動き推定に適さない不適格画像であると判定する。
【０１３３】
「（５）画像の輝度範囲（最大輝度から最小輝度の範囲）」を適用して判定処理を行なう場合、入力画像の画像全体の画素値の範囲を解析し、最大画素値〜最小画素値の輝度範囲が既定しきい以上であれば、入力画像は動き推定に適した画像と判定し、輝度範囲が既定しきい値未満であれば、入力画像は動き推定に適さない不適格画像であると判定する。
なお、この処理を行なう場合、画像中の最大輝度と最小輝度の数％の画素を除いた画素値のみを適用して判定を行う構成としてもよい。
また、画素値の分散を算出して分散値に基づく判定を行ってもよい。
【０１３４】
「（６）最大露光画像と最小露光画像の有効画素領域の面積」を適用した判定処理は、高ダイナミックレンジ画像の生成を行う場合の処理である。高ダイナミックレンジ画像の生成を行う場合、異なる露光時間の設定とした連続撮影画像を入力して、複数の異なる露光時間の画像を合成して１つの出力画像を生成する。
この場合、例えば長時間露光画像には多くの飽和画素が含まれ、一方、短時間露光画像には低輝度画素が多く含まれることになる。有効画素は、長時間露光画像では飽和していない画素であり、短時間露光画像では、極端な低輝度画素以外の有効な画素値の設定された画素となる。これらの有効画素をそれぞれ組み合わせる画像合成を行なうことで高ダイナミックレンジ画像を生成する。
【０１３５】
このような、高ダイナミックレンジ画像を生成する構成では、撮像装置において連続撮影された長時間露光画像〜短時間露光画像の複数の異なる露光時間の画像を連続入力して処理を行なう。
この場合、これらの複数の異なる露光時間の画像から１つの画像を基準画像としてフレームメモリに格納する。
【０１３６】
なお、基準画像は、ノイズ低減画像や高ダイナミックレンジ（ＨＤＲ）画像生成時に選択される連写撮影画像中の１つの選択画像である。他の画像に基づいて、この「基準画像」の画像位置に合わせた動き補償画像を生成し、「基準画像」と「その他の画像に基づいて生成した動き補償画像」を合成することで、ノイズ低減や高ダイナミックレンジ（ＨＤＲ）画像生成などの信号処理を実行する。
【０１３７】
このような基準画像の選択処理において、「最大露光画像と最小露光画像の有効画素領域の面積」を適用した判定処理が有効な手法となる。
有効画素領域のより多い画像を動き推定に好適な画像とし、基準画像としてフレームメモリに格納する。
【０１３８】
上述したように、動き推定好適度判定部２０２は、例えば図１２Ｉ示す（１）〜（６）のいずれか、あるいはこれらの複数の指標の組み合わせに基づいて、各入力画像が動き推定にてきした画像であるか不適格画像であるかを判定する。
さらに、動き推定好適度判定部２０２において動き推定に適した画像であると判定された入力画像のみがフレームメモリ２０１に新たに格納され、その後の動き推定に適用する参照画像、または基準画像として利用される。
【０１３９】
なお、図１２には、動き推定好適度判定処理に適用可能な指標として、以下の各指標を示している。
（１）画像中のぼけ領域の面積
（２）画像撮影時のカメラの動き情報
（３）画像中の画素値飽和領域の面積
（４）画像中のノイズの大きい領域の面積
（５）画像の輝度範囲（最大輝度から最小輝度の範囲）
（６）最大露光画像と最小露光画像の有効画素領域の面積
【０１４０】
これらの各指標中、以下の指標、すなわち、
（１）画像中のぼけ領域の面積
（３）画像中の画素値飽和領域の面積
（４）画像中のノイズの大きい領域の面積
（５）画像の輝度範囲（最大輝度から最小輝度の範囲）
これらの各指標を用いた判定処理は、例えば動き推定好適度判定部２０２が、入力画像を解析して実行することが可能である。
【０１４１】
また、（２）画像撮影時のカメラの動き情報を利用した判定処理を行なう場合は、前述したように、画像撮影時のカメラの動きのセンサ計測情報を画像対応の属性情報として取得する設定として、この属性情報に従って判定処理を行なう。
【０１４２】
なお、動き推定好適度判定部２０２が入力画像とフレームメモリに格納された参照画像との画像比較を実行する必要がある場合は、例えば図１３に示すように、動き推定好適度判定部２０２は、入力画像２１１のみならず、フレームメモリ２０１からの画像読み出しを実行可能な構成とする。
【０１４３】
また、（６）最大露光画像と最小露光画像の有効画素領域の面積を利用した判定処理を行なう場合は、例えば図１４に示す構成を利用した判定処理を行なう。
図１４に示す構成は、先に実施例１として説明した図５の構成に有効領域判定部２３２を追加した構成である。
【０１４４】
図１４に示す構成は、連続撮影された長時間露光画像と短時間露光画像を順次、入力画像として入力する構成に適用される。
有効領域判定部２３２は、入力画像として順次入力する長時間露光画像と短時間露光画像の各々から、それぞれ有効画素値を持つ画素領域を抽出する。さらに、この抽出結果を反映したマップとして以下の２つのマップを作成する。
長時間露光画像の有効画素領域の選択情報からなる最大露光有効領域マップ、
短時間露光画像の有効画素領域の選択情報からなる最小露光有効領域マップ、
有効領域判定部２３２は、これらのマップを動き推定好適度判定部２０２に出力する。
【０１４５】
動き推定好適度判定部２０２は、有効領域判定部２３２から上記２つのマップを入力し、長時間露光画像と短時間露光画像のどちらの有効画素領域が大きいかを判定する。この判定結果に応じて、有効画素領域の大きい方を基準画像として選択し、フレームメモリ２０１に格納する。
【０１４６】
［１−６．連続撮影画像の重ね合わせによるノイズ低減を行う実施例（実施例４）］
次に、連続撮影画像の重ね合わせによるノイズ低減を行う実施例を実施例４として説明する。
この第４実施例も、第１〜第３実施例と同様、動き推定の適否判定に基づく処理を行なう。この第４実施例の画像処理装置の構成例を図１５に示す。
【０１４７】
連続撮影画像の重ね合わせによるノイズ低減を行う構成では、ユーザが撮像装置のシャッタ押下によって連写された複数の撮影画像中の先頭の撮影画像を基準画像とし、基準画像に後続撮影画像の位置合わせを行うのが一般的である。
【０１４８】
しかし、先頭の撮影画像が動き推定に好適な画像である場合もあり、このような場合には、各画像間の位置合わせがうまく実行されず、良好なノイズ低減が実行されない場合がある。
以下に説明する実施例では、このような場合に、基準画像を適宜変更して、良好な位置合わせ、ノイズ低減を実行可能とした構成である。
【０１４９】
図１５に示す構成は、先に実施例２として説明した図８の構成に、動き推定方向切り替え部２５１を追加した構成に相当する。
動き推定方向切り替え部２５１には、入力画像２１１と、フレームメモリ２０１の基準画像が入力される。さらに、動き判定好適度判定部２０２から、入力画像が動き推定に好適か否かを示す基準画像更新情報２２８が入力される。
【０１５０】
なお、先に説明した実施例１〜３では、フレームメモリ２０１に格納される画像を、「参照画像」、すなわち、動き補償画像の生成元となる画像としたが、この実施例４では、フレームメモリ２０１に格納される画像は、「基準画像」である。
「基準画像」は、出力される処理画像と同じ画像位置を持つ画像である。基準画像以外の連写画像中のその他の入力画像については、この基準画像と同一の画像位置となる設定とした動き補償画像を生成した上で合成処理が実行され、１枚のノイズ低減画像としての処理画像２１５が出力されることになる。
従って、本実施例では、動き判定好適度判定部２０２は、入力画像が動き推定に好適か否かを示す「基準画像」更新情報２２８を出力する。
【０１５１】
本構成において、連写撮影画像の先頭画像が仮の基準画像としてフレームメモリ２０１に格納される。しかし、その後、新たに入力される後続撮影画像が動き推定に好適な画像であると判定されると、基準画像をその画像に変更する処理を行なう。この基準画像更新処理は、先に説明した実施例１〜３における参照画像の更新処理と同様の処理である。
【０１５２】
さらに、動き推定方向切り替え部２５１は、動き判定好適度判定部２０２から入力する基準画像更新情報２２８に従って、入力画像２１１が動き推定に好適な画像であるか否かを判定し、その判定情報に応じて動き推定方向を変更する処理を行なう。
【０１５３】
すなわち、新たに入力された入力画像が動き推定に好適な画像である場合、その画像を基準画像として設定し、その基準画像の方向に各連写画像の位置合わせを実行する設定とする。新たに入力された入力画像が動き推定に不適格な画像である場合、その画像は、基準画像として設定されず、設定済みの基準画像、あるいはその後に設定される基準画像の方向に各連写画像の位置合わせを実行する設定とする。
【０１５４】
図１５に示す動き推定方向切り替え部２５１の出力として示す動き推定目標画像２６１と、動き推定参照画像２６２は、一方が位置合わせの目標となる画像であり、他方が位置合わせの処理対象となる画像である。
その他の構成と処理は、図８を参照して説明した構成と処理と同様である。
【０１５５】
本実施例に従った処理シーケンスについて、図１６〜図１７に示すフローチャートを参照して説明する。
画像処理装置が、例えば静止画のノイズ低減画像を生成して記録あるいは出力する場合、連続撮影された複数の画像を利用した合成処理を実行する。すなわち、先に図４を参照して説明した信号処理を実行してノイズ低減画像を生成する。
図１６〜図１７に示すフローは、このようなノイズ低減画像の生成処理を行なう場合の処理シーケンスを説明するフローチャートである。
【０１５６】
図１６〜図１７に示すフローに従った処理は、例えば、図１５に示す構成を持つ画像処理装置において、図１５には示していないが、画像処理装置の制御部の制御下で行われる。制御部は画像処理装置のメモリに格納されたプログラムを実行して図１６〜図１７に示すフローに従った処理の制御を行う。
【０１５７】
まず、ステップＳ１６１において、基準画像の仮決定処理を行なう。連続撮影画像の最初の撮影画像である先頭画像を仮の基準画像とする。
以下のステップＳ１６２〜Ｓ１８５の処理は、連続撮影画像の各撮影画像に対して実行する。
【０１５８】
ステップＳ１６３において、撮影画像を入力する。
次に、ステップＳ１６４において、入力画像が動き推定に好適な画像であるか、好適でない不適格画像であるかの判別を行う。この処理は、図１５に示す動き推定好適度判定部２０２の実行する処理である。
【０１５９】
ステップＳ１６５において、基準画像が決定済みであるか否かを判定する。
基準画像が決定済みである場合、ステップＳ１６６に進み、決定済みでない場合はステップＳ１６７に進む。
【０１６０】
基準画像が決定済みであり、ステップＳ１６６に進むと、ステップＳ１６６において、入力画像が動き推定に好適な画像であるか否かを判定する。好適であると判定すると、ステップＳ１６９において、入力画像と基準画像を適用した動き推定処理を実行する。この処理は、図１５示す動き推定部２０３の実行する処理であり、フレームメモリ２０１に格納された基準画像と入力画像間の動き量を推定する処理である。
【０１６１】
一方、ステップＳ１６６において、入力画像が動き推定に好適な画像でない不適格画像であると判定すると、ステップＳ１７０において、例外動き量を計算する。これは、図１５に示す動き量補正部２０４の処理である。例外動き量は、先に説明したように例えばゼロベクトルである。
【０１６２】
一方、ステップＳ１６５において基準画像が決定されていないと判定した場合は、ステップＳ１６７に進む。ステップＳ１６７において、入力画像が動き推定に好適な画像であるか否かを判定する。好適であると判定すると、ステップＳ１６８において、入力画像を次の基準画像として決定し、ステップＳ１６９の動き推定処理に進む。
一方、ステップＳ１６７において、入力画像が動き推定に好適な画像でなく不適格画像であると判定すると、ステップＳ１７１に進む。ステップＳ１７１では、入力画像を基準画像とせず、次の画像フレームを基準画像とする仮設定処理を行なう。さらに、ステップＳ１７２において例外動き量を計算する。これは、図１５に示す動き量補正部２０４の処理である。例外動き量は、先に説明したように例えばゼロベクトルなどが利用される。
【０１６３】
ステップＳ１７０、ステップＳ１６９、ステップＳ１７２のいずれかの処理が完了すると、図１７に示すステップＳ１８１に進む。
ステップＳ１８１では、動き量補正処理を実行する。この処理は、図１５に示す動き量補正部２０４の実行する処理である。
入力画像が動き推定に適した画像である場合、基準画像と入力画像間の動き量を算出して動き補償画像生成部２０５に出力する。一方、入力画像が動き推定に適した画像でなく不適格画像である場合、例外動き量、例えばゼロベクトル等を動き補償画像生成部２０５に出力する。
【０１６４】
次に、ステップＳ１８２において、動き補償画像を生成する。すなわち、動き量または例外動き量を適用して、動き補償画像を生成する。この処理は、図１５に示す動き補償画像生成部２０５の実行する処理である。この動き補償画像生成処理は、入力画像が動き推定好適度ありの場合は、ステップＳ１８１において算出した動き量を適用して実行する。
一方、入力画像が動き推定好適度なしの場合は、ステップＳ１７０またはステップＳ１７２において算出した例外動き量を適用して実行する。
【０１６５】
次に、ステップＳ１８３において、入力画像と動き補償画像を適用した信号処理を実行する。この処理は、図１５に示す信号処理部２０６の実行する処理である。信号処理としては、例えばノイズ低減処理、超解像処理、高ダイナミックレンジ画像生成処理などの処理である。
ステップＳ１８４において、ステップＳ１８３の信号処理結果として生成した画像を出力する。
ステップＳ１８５に進むと、残りの連続撮影画像があるか否かを判定し、ある場合は、ステップＳ１６３以下の処理を繰り返す。
残りの未処理画像がない場合は処理を終了する。
このようにして、連続撮影された複数の画像を適用したノイズ低減画像が生成されて出力される。
【０１６６】
本実施例の動き推定処理に適用する基準画像の設定と、動き補償画像の生成処理の態様について図１８を参照して説明する。
例えば、画像ｋ〜ｋ＋３の４枚の画像を連続撮影し、この連写画像を合成して１つのノイズ定見画像を生成する。
一般的には、図１８（ａ）に示すように、先頭の撮影画像である画像ｋを基準画像に設定し、基準画像に他の画像位置を合わせるように動き補償画像を生成したうえで、各画像の合成処理を実行する。
これに対し、本実施例に従った処理では、図１８（ｂ）に示すように例えば先頭画像ｋが動き推定に不適格な画像であり、次の画像ｋ＋１が動き推定に好適な画像であった場合、この画像を基準画像として設定する。この画像ｋ＋１に他の画像の位置合わせを行った動き補償画像を生成して、画像合成に基づくノイズ低減画像を生成する。
【０１６７】
［１−７．高ダイナミックレンジ画像の生成処理を行なう実施例（実施例５）］
次に、高ダイナミックレンジ画像の生成処理を行なう実施例について、実施例５として説明する。
実施例５も前述の実施例１〜４と同様、入力画像が動き推定に適した画像であるか、適さない不適格画像であるかを判定し、判定結果に応じた処理を実行する。
高ダイナミックレンジ画像の生成処理を行なう構成では、複数の異なる露光時間の撮影画像を連続して複数枚、撮影し、これらの複数の異なる露光時間の撮影画像を合成して１枚の高ダイナミックレンジ画像を生成する。
【０１６８】
この処理においても、前述の実施例４と同様、連続撮影された複数の異なる露光時間画像のどの画像に位置合わせを行うか、すなわち度の画像を基準画像とするかを選択可能である。
本実施例では、動き推定に適さない画像については、基準画像として設定せず、動き推定に好適な画像を選択して基準画像とする。
この処理は、前述の実施例４と同様の処理である。
本実施例に適用する画像処理装置の構成は、前述の実施例４と同様、図１５の構成となる。
【０１６９】
［２．複数画像の合成によるノイズ低減と、高ダイナミックレンジ化処理を併せて実行する実施例について］
次に、連続撮影された異なる露光時間の撮影画像を合成してノイズ低減と、高ダイナミックレンジ化処理を併せて実行する実施例について説明する。
ノイズ低減画像を生成する場合も高ダイナミックレンジ画像を生成する場合も複数の連続撮影画像を位置合わせ後に合成する処理を行なうことになる。
【０１７０】
［２−１．ノイズ低減処理と、高ダイナミックレンジ化処理を併せて実行する一般的な構成例と問題点について］
まず、ノイズ低減処理と、高ダイナミックレンジ化処理を併せて実行する一般的な構成例と問題点について説明する。
高ダイナミックレンジ画像を生成する場合、複数の異なる露光時間に設定した画像を連続撮影してこれらの複数画像を合成する処理を行なう。
高ダイナミックレンジ画像の生成処理の基本的なシーケンスについて図１９を参照して説明する。
【０１７１】
図１９に示す例は、短時間露光画像３０１と長時間露光画像３０２、これら２種類の異なる露光時間の設定画像を利用した処理例である。
短時間露光画像３０１と長時間露光画像３０２は、ユーザの１回のシャッタ操作によって連続撮影される。
撮像装置の撮影画像のデータ処理部は、まず、短時間露光画像３０１と、長時間露光画像３０２についてステップＳ２０１、Ｓ２０２において露光比に応じた定数を乗算して露出補正を行う。
例えば、短時間露光時間と長時間露光時間の露光比（＝露光時間比）が１：１６である場合、露出補正の段階で短時間露光画像は１６倍し、長時間露光画像は１倍して、露出補正短時間露光画像３０３と露出補正長時間露光画像３０４を生成する。
その後、ステップＳ２０３で対応画素の画素値を合成（ブレンド）して出力画像である高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像３０５の画素値を決定する。
【０１７２】
出力画像である高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像３０５の画素値の決定処理シーケンスについて説明する。
例えば、
ＤＳ：露出補正短時間露光画像の画素値
ＤＬ：露出補正長時間露光画像の画素値
ＤＨ：出力する高ダイナミックレンジ画像の画素値
としたとき、
高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像３０５の画素値は、ステップＳ２０３のブレンド処理において、以下に示す式に従って算出する。
ＤＨ＝（１．０−α）×ＤＳ＋α×ＤＬ
なお、上記式に従った画素値ブレンドは、露出補正短時間露光画像と、露出補正長時間露光画像の対応画素位置ごとに行う。すなわち同一被写体の撮影画素位置ごとにブレンド処理を行って出力画像（ＨＤＲ画像）の各画素値を決定する。
【０１７３】
このような処理により、例えば長時間露光画像３０２では飽和画素値となった画素でも短時間露光画像３０１の対応画素の画素値を利用することで有効画素値を算出することが可能となる。また、短時間露光画像３０１では低輝度となりいわゆる黒つぶれが発生した画素であっても長時間露光画像３０２の画素値を利用することで有効画素値を設定できる。
このような処理によって、低輝度〜高輝度の各画素に有効画素値を設定することが可能となり、ダイナミックレンジを広げた高ダイナミックレンジ画像を生成することが可能となる。
【０１７４】
図１９に示す構成では、２種類の露光時間の組み合わせとしたが、露光時間の設定は様々な設定が可能であり、２以上の任意数Ｎ種類の設定とすることができる。例えば露光時間の設定を４種類の設定とするなどの構成が可能である。
しかし、このように多数の異なる露光時間の撮影画像を利用して、高ダイナミックレンジ化処理と、ノイズ低減処理を併せて実行する場合、異なる露光時間の各画像を一時的に格納する多数のフレームメモリムが必要となる。
【０１７５】
図２０は、４種類の露光時間の連続撮影画像を利用して、まず、各画像の合成による高ダイナミックレンジ画像を生成し、その後、ノイズ低減処理を実行する構成例を示している。
まず、以下の４種類の異なる露光時間の画像を入力する。
（１）最短時間露光画像ＸＳ，３２１、
（２）短時間露光画像ＭＳ，３２２、
（３）長時間露光画像ＭＬ，３２３、
（４）最長時間露光画像ＸＬ，３２４、
これらの各画像は、例えば撮像装置に対するユーザによる１回のシャッタ押下によって連続撮影される画像である。
露光時間は、
ＸＳ＜ＭＳ＜ＭＬ＜ＸＬ
上記関係にある。
【０１７６】
これらの各画像は、図２０に示すフレームメモリａ３３１〜フレームメモリｄ３３４にそれぞれ格納される。図２０に示す高ダイナミックレンジ（ＨＤＲ）画像生成部３３５は、これらの４種類の異なる露光画像を合成して１つの高ダイナミックレンジ（ＨＤＲ）画像を生成する。
例えば、低輝度画素は最長時間露光画像ＸＬ３２４の画素値を優先的に採用し、高輝度画素は最短時間露光画像ＸＳ３２１の画素値を優先的に採用する画素値ブレンドを実行して高ダイナミックレンジ画像を生成する。
【０１７７】
高ダイナミックレンジ（ＨＤＲ）画像生成部３３５の生成した高ダイナミックレンジ（ＨＤＲ）画像は、次に、ノイズ除去部３３６に入力される。ここでは、例えば先行して生成されている、生成済み高ダイナミックレンジ（ＨＤＲ）画像をフレームメモリｅ３３７から取り出して、例えば先に図４を参照して説明した処理に従ったノイズ低減処理を実行する。その処理結果として、図に示すノイズ除去ＨＤＲ画像３３８が生成され出力される。
【０１７８】
図２０に示すように、高ダイナミックレンジ画像とノイズ除去をシーケンシャルに実行しようとすると、各画像を一時的に格納する多数のフレームメモリ、あるいは大容量のフレームメモリが必要となる。
【０１７９】
図２１は、図２０と異なり、ノイズ除去を先行して実行し、ノイズ除去後に高ダイナミックレンジ画像を生成する構成例である。
図２１に示す構成では、ノイズ除去部３４１が、以下の４つの画像を入力する。
（１）最短時間露光画像ＸＳ，３２１、
（２）短時間露光画像ＭＳ，３２２、
（３）長時間露光画像ＭＬ，３２３、
（４）最長時間露光画像ＸＬ，３２４、
さらに、フレームメモリａ３５１〜フレームメモリｄ３５４に格納した先行撮影画像に対するノイズ低減画像を適用したノイズ低減を実行し、生成した各露光時間対応のノイズ低減画像をフレームメモリａ３５１〜フレームメモリｄ３５４に格納する。
【０１８０】
その後、高ダイナミックレンジ（ＨＤＲ）画像生成部３５５が、フレームメモリａ３５１〜フレームメモリｄ３５４に格納されたノイズ低減処理が施された異なる露光時間の画像を取得して合成処理を実行し、ノイズ除去ＨＤＲ画像３５６を生成して出力する。
【０１８１】
この構成においても、やはり、各画像を一時的に格納する多数のフレームメモリ、あるいは大容量のフレームメモリが必要となる。
このように、図２０や図２１に示す構成では、フレームメモリ容量の増加や個別の動き情報の算出や位置合わせ処理などが必要となるため、回路規模、消費電力が増加するという問題もある。また、個別の回路による動き補償画像の生成を行うと回路間の誤差などに起因して画像のブレなどが発生し、その後の合成処理によって偽色が発生する可能性が高まることも予想される。
以下では、このような回路規模の増加や生成画像の品質低下を防止した処理を実現する画像処理装置の実施例について説明する。
【０１８２】
［２−２．本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する処理の概要］
以下、本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する処理の概要について説明する。
画像処理装置は、例えば図２２に示すように複数枚の異なる露光時間で撮像された画像信号（短時間露光画像信号から長時間露光画像信号まで）を周期的に入力して処理を実行する。すなわち、
（１）最短時間露光画像ＸＳ、
（２）短時間露光画像ＭＳ、
（３）長時間露光画像ＭＬ、
（４）最長時間露光画像ＸＬ、
これらの４つの異なる露光時間の連続撮影画像を周期的に入力し、処理を実行する。
露光時間は、以下の関係にある。
ＸＳ＜ＭＳ＜ＭＬ＜ＸＬ
露光時間は、上記関係にある。
【０１８３】
画像処理装置は、これらの４つの異なる露光時間の画像を合成してノイズ低減高ダイナミックレンジ（ＨＤＲ）画像を生成して出力する。
なお、以下では、露光時間の種類を４とした例について説明するが、本開示の処理は、任意の露光時間の種類＝Ｎ、すなわちＮ＝２以上の任意の露光時間の種類＝Ｎの画像に対する処理として実行することが可能である。
また、画像信号の入力順序に関しても、短時間露光画像信号から長時間露光画像信号の順で記載しているが、その限りではない。
【０１８４】
まず、画像処理装置において実行する異なる露光時間の画像の合成処理の概要について図２３を参照して説明する。
図２３に示す例は、空と家とで構成される画像に対する処理例であり、
短時間露光画像、
長時間露光画像、
これら２種類の異なる露光画像を適用してダイナミックレンジを拡張する高ダイナミック化処理とノイズ除去処理を併せて実行するシーケンスを説明している。
【０１８５】
図２３には、上から、
（１）入力画像
（２）前フレームの合成画像
（３）合成画像
（４）更新領域
これらの各図を示している。
時間は左から右に経過し、（１）入力画像は、短時間露光画像（ｆｎ１）、長時間露光画像（ｆｎ２）、短時間露光画像（ｆｎ３）、長時間露光画像（ｆｎ４）・・・短時間露光画像（ｆｎ（ｉ））、短時間露光画像（ｆｎ（ｉ＋１））の順番で入力される。
【０１８６】
（１）入力画像〜（３）合成画像において、白領域は、白飛び領域、すなわち画素値が飽和画素値となっている領域を示し、黒領域は黒つぶれ領域、すなわち画素値がほぼ０に近い領域を示している。これらの領域の画素値は、無効な画素値の設定領域であると言える。一方、グレー（灰色）領域は有効画素値の設定された有効領域である。
（１）入力画像において、短時間露光画像では、家が黒潰れしており、長時間露光画像では、空が白飛びしている。
【０１８７】
また、図中の（４）更新領域には、（３）合成画像の生成処理において実行する画素値の更新領域と非更新領域を示している。白い領域は更新を行う画素領域であり、黒い領域が非更新領域である。
【０１８８】
白い領域で示す更新領域は、入力画像に含まれる有効画素領域に対応する。この入力画像に含まれる有効画素領域のみを選択して、前フレームで生成した合成画像との合成処理を実行する。具体的には、これら２つの画像の有効画素値設定領域のみを利用した画素値ブレンドを実行して高ダイナミックレンジ化処理とノイズ低減処理を実行する。（４）更新領域に示す黒い領域は、非更新領域であり、前フレームで生成した合成画像の画素値をそのまま出力する。
【０１８９】
このような処理によって、ノイズ低減と高ダイナミックレンジ化処理を併せて実行した合成画像、すなわち図に示す（３）合成画像を順次、生成して出力する。
図２３に示すように、露光の１周期目（最初の２フレーム）にはダイナミックレンジを拡張する高ダイナミックレンジ化処理のみを行い、２周期目（３フレーム目以降）から入力画像に対応した領域にノイズ除去処理を施すことで、ダイナミックレンジ拡張処理とノイズ除去処理の統合を実現している。
【０１９０】
露光の１周期目は、各入力画像に対して露光比に応じた露出補正を実行し、露出補正画像同士の合成処理によってダイナミック拡張処理を行なう。露光の２周期目以降も同様に、各入力画像を露光比倍にゲインアップしたものを合成に用いるが、２周期目以降は、ダイナミックレンジ拡張処理に加えてノイズ除去処理も同時に行う。
【０１９１】
露光の２周期目以降に取得できる合成画像には、各露光画像の成分が含まれている。この特徴を利用して、各入力画像の有効領域でのみノイズ除去処理を行い、その他の領域は前フレームの合成画像の画素値をそのまま適用して合成画像を生成する。
【０１９２】
例えば、左から３番目の入力画像ｆｎ３（短時間露光画像）の入力時には、この入力画像ｆｎ３の有効画素領域、すなわち、黒つぶれとなっている「家領域」以外の「空領域」の画素値を利用して、前フレームの合成画像ｆｎ２の「空領域」の画素値との合成処理を実行して、「空領域」のみのノイズ除去処理を行う。
【０１９３】
また、左から４番目の入力画像ｆｎ４（長時間露光画像）が入力された場合には、この入力画像の有効画素領域、すなわち白飛びしている「空領域」を除く「家領域」の画素値を利用して、前フレームの合成画像ｆｎ３の「家領域」の画素値との合成処理を実行して、「家領域」のみのノイズ除去処理を行う。
これらの処理を繰り返すことで、ダイナミックレンジ拡張処理とノイズ除去処理の統合処理を実現している。
【０１９４】
この統合処理における各フレームの合成結果画像は、入力画像の露光成分に応じてノイズ除去の処理が施される領域が異なるため、露光の周期１セットが終わるごとに、画像の全領域においてダイナミックレンジ拡張処理とノイズ除去処理が施されたことになる。
以下に説明する実施例において、「合成処理」は、上記の処理、すなわちダイナミックレンジの拡張処理である高ダイナミックレンジ化処理とノイズ除去処理を実現する合成処理である。
【０１９５】
［２−３．本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する実施例（実施例６）］
以下、本開示に従った画像処理装置の実施例６として、ノイズ低減と高ダイナミックレンジ画像生成を併せて実行する画像処理装置の実施例について説明する。
図２４に、実施例６の画像処理装置の主要部構成を説明する構成図を示す。
【０１９６】
２４に示すように画像処理装置は、フレームメモリ４０１、露光比補正部４０２、動き推定部４０３、動き補償画像生成部４０４、信号処理部４０５、フレームメモリ４０６を有する。
【０１９７】
入力画像４１１は、
（１）最短時間露光画像ＸＳ、
（２）短時間露光画像ＭＳ、
（３）長時間露光画像ＭＬ、
（４）最長時間露光画像ＸＬ、
これらの４つの異なる露光時間の連続撮影画像の周期的入力となる。
露光時間は、以下の関係にある。
ＸＳ＜ＭＳ＜ＭＬ＜ＸＬ
上記関係にある。
【０１９８】
これらの画像は順次、フレームメモリ４０１に格納される。
露光比補正部４０２は、新規入力画像とフレームメモリ４０１に保持されている前フレームの入力画像の各露光時間情報に基づいて、露光比を補正する。
【０１９９】
露光比補正された２つの画像は、図２４に示すように、露光比補正済み連続撮影２画像４１２として動き推定部４０３に入力される。
動き推定部４０３は、露光比補正済み連続撮影２画像４１２を入力し、これらの２つの連続撮影画像の画素ブロック単位の類似度判別等のブロックマッチング等により２画像間の動き量を推定し、２画像間の動き情報を示す動きベクトル４１３を算出して動き補償画像生成部４０４に出力する。
【０２００】
動き補償画像生成部４０４は、動き推定部４０３から入力する動きベクトル４１３を適用して、フレームメモリ４０６に保持されている前フレームまでの合成結果画像を移動させて入力画像の画像位置に合わせた動き補償画像を生成する。
これにより、前フレームまでの合成結果画像の位置を入力画像の位置に合わせることができる。
【０２０１】
信号処理部４０５は、フレームメモリ４０１から入力画像を取得し、動き補償画像生成部４０４から、フレームメモリ４０６に格納されていた前フレームの合成結果画像に基づく動き補償画像を入力する。
信号処理部４０５は、これらの２つの画像に基づく合成処理、すなわち先に図２３を参照して説明した高ダイナミックレンジ化とノイズ低減処理の双方を含む合成処理を実行する。この合成結果を、図に示すノイズ除去ＨＤＲ画像４１５として出力する。
なお、次の処理に適用するため、この処理結果画像は、フレームメモリ４０６に格納される。
【０２０２】
図２４を参照して説明した処理において、異なる露光時間の設定を４とした場合の画像位置合わせシーケンスにいて図２５を参照して説明する。
図２５には、左から右に時間経過を示す時間軸（ｔ）に沿った、入力画像のシーケンスと、図２４の動き補償画像生成部４０４において実行される動きベクトルに従った動き補償画像生成、すなわち２つの画像の位置合わせ処理の画像の組み合わせを示している。
【０２０３】
入力画像と、１フレーム前の入力画像の露光時間情報に基づいて露光比補正を行ったあと、２つの画像間で動き推定を行い、動きベクトルを算出する。ここで求めた動きベクトルを使って、１フレーム前までの合成結果画像を入力画像の位置に合わせを行う。
この位置合わせ後の２つの画像を合成することで、ダイナミックレンジ拡張処理とノイズ除去処理を同時処に実行している。この処理によって、画像の位置ズレによるアーティファクトを含まずに、ダイナミックレンジを拡張したノイズノ少ない高Ｓ／Ｎ比の画像を得ることができる。
【０２０４】
［２−４．本開示に従ったノイズ低減と高ダイナミックレンジ画像生成を併せて実行する実施例（実施例７）］
次に、本開示の画像処理装置の実施例７について説明する。
上述した実施例６に従った画像処理装置においては、図２５に示すシーケンス図から理解されるように、画像の位置合わせを、異なる露光時間の画像を適用して実行している。露光画像の周期をまたぐ位置合わせを行う際に、最長時間露光画像と最短時間露光画像との間で動き推定を行うことになり、露光比が大きいと動き推定に失敗する可能性が高くなる。
動き推定に失敗すると、例えばＩＩＲフィルタ等を適用したフィルタ処理によるノイズ除去の効果が途切れ、画像が破たんする等の画質劣化につながる可能性がある。
【０２０５】
このような問題を解決する構成を以下に実施例７として説明する。
実施例７に従った画像位置合わせシーケンスについて、図２６を参照して説明する。
図２６には、図２５と同様、左から右に時間経過を示す時間軸（ｔ）に沿った、入力画像のシーケンスと、図２７に示す本実施例の画像処理装置の動き補償画像生成部４０４において実行される動きベクトルに従った動き補償画像生成、すなわち２つの画像の位置合わせ処理の画像の組み合わせを示している。
【０２０６】
本実施例では、特定の露光時間画像を基準画像として選択する。例えばＮ種類の露光時間の画像がある場合、これらのＮ種類の露光時間中、ほぼ中間の露光時間の画像を基準画像として選択する。
図２６に示す例では長時間露光画像ＭＬを基準画像として選択し、この基準画像を図２７に示すフレームメモリ４０１に保持しておき、他の露光画像が入力された際は、入力画像と基準画像間で動き推定を行い、動きベクトルを算出する。ここで求めた動きベクトルを使って、入力画像の画像位置を基準画像の画像位置に合わせる位置合わせ、すなわち動き補償画像を生成する。
この位置合わせ後の２つの画像を合成する。
【０２０７】
なお、新規入力画像として、フレームメモリ４０１に格納された基準画像と同じ露光時間の画像が入力された場合は、その新規入力画像を新しい基準画像としてフレームメモリ４０１の格納画像の更新処理を実行し、それまでの合成結果画像を最新の基準画像の画像位置に合わせて、合成を行う。
これによって、最長時間露光画像と最短時間露光画像との間の動き推定を行わずに処理をすることが可能となり、露光比の大きさによる動き推定の失敗を防ぐことができる。結果として、時間方向に連続して露光している画像に対して、ダイナミックレンジ拡張処理とノイズ除去処理の同時合成を際に、画質を劣化させることなく繰り返し処理を行うことが可能となる。
【０２０８】
なお、図２６に示す位置合わせシーケンスは、先に図２５を参照して説明したシーケンス、すなわち常に最新の入力画像の位置に合成結果画像を位置合わせする位置合わせシーケンスと異なり、入力画像より過去に入力された基準画像の位置に合成結果画像を位置合わせする処理をすることになる。
【０２０９】
本実施例７の画像処理装置の構成と処理について、図２７を参照して説明する。
図２７に示す画像処理装置は、図２４を参照して説明した画像処理装置と同様、フレームメモリ４０１、露光比補正部４０２、動き推定部４０３、動き補償画像生成部４０４、信号処理部４０５、フレームメモリ４０６を有する。
【０２１０】
入力画像４１１は、
（１）最短時間露光画像ＸＳ、
（２）短時間露光画像ＭＳ、
（３）長時間露光画像ＭＬ、
（４）最長時間露光画像ＸＬ、
これらの４つの異なる露光時間の連続撮影画像の周期的入力となる。
露光時間は、以下の設定である。すなわち、
ＸＳ＜ＭＳ＜ＭＬ＜ＸＬ
上記関係にある。
【０２１１】
これらの画像から、特定の露光時間の画像を基準画像としてフレームメモリ４０１に格納される。
本例では、
（１）最短時間露光画像ＸＳ、
（２）短時間露光画像ＭＳ、
（３）長時間露光画像ＭＬ、
（４）最長時間露光画像ＸＬ、
この４種類の露光時間画像中、「（３）長時間露光画像ＭＬ」を選択して、基準画像としてフレームメモリ４０１に格納する。
【０２１２】
露光比補正部４０２は、新規入力画像とフレームメモリ４０１に保持されている基準画像の各露光時間情報に基づいて、露光比を補正する。
露光比補正された２つの画像は、図２７に示すように、露光比補正済み連続撮影２画像４１２として動き推定部４０３に入力される。
動き推定部４０３は、露光比補正済み連続撮影２画像４１２を入力し、これらの２つの連続撮影画像の画素ブロック単位の類似度判別等のブロックマッチング等により２画像間の動き量を推定し、２画像間の動き情報を示す動きベクトル４１３を算出して動き補償画像生成部４０４に出力する。
【０２１３】
動き補償画像生成部４０４は、動き推定部４０３から入力する動きベクトル４１３を適用して、入力画像を移動させてフレームメモリ４０１に格納されている基準画像の画像位置に合わせた動き補償画像を生成する。
これにより、入力画像の画像位置を基準画像の位置に合わせることができる。
【０２１４】
信号処理部４０５は、動き補償画像生成部４０４から、入力画像の画像位置を基準画像の位置に合わせた動き補償画像を入力し、さらにフレームメモリ４０６に格納されていた前フレームの合成結果画像を入力する。
信号処理部４０５は、これらの２つの画像に基づく合成処理、すなわち先に図２３を参照して説明した高ダイナミックレンジ化とノイズ低減処理の双方を含む合成処理を実行する。この合成結果を、図に示すノイズ除去ＨＤＲ画像４１５として出力する。
なお、次の処理に適用するため、この処理結果画像は、フレームメモリ４０６に格納される。
【０２１５】
この図２７に示す画像処理装置と、先に図２４を参照して説明した画像処理装置との違いは、動き補償画像生成部４０４と、信号処理部４０５の処理である。すなわち、以下の点が異なっている。
【０２１６】
図２４に示す実施例６の構成では、動き補償画像生成部４０４は、動き推定部４０３から入力する動きベクトル４１３を適用して、フレームメモリ４０６に保持されている前フレームまでの合成結果画像を移動させて入力画像の画像位置に合わせた動き補償画像を生成する。
一方、図２７に示す実施例７の構成では、動き推定部４０３から入力する動きベクトル４１３を適用して、入力画像を移動させてフレームメモリ４０１に格納されている基準画像の画像位置に合わせた動き補償画像を生成する。
【０２１７】
また、図２４に示す実施例６の構成では、信号処理部４０５が、フレームメモリ４０１から入力画像を取得し、動き補償画像生成部４０４からフレームメモリ４０６に格納されていた前フレームの合成結果画像に基づく動き補償画像を入力し、これらの２つの画像に基づく画像合成処理を実行してノイズ除去ＨＤＲ画像４１５として出力する。
一方、図２７に示す実施例７の構成では、信号処理部４０５は、動き補償画像生成部４０４から入力画像の画像位置を基準画像の位置に合わせた動き補償画像を入力し、さらにフレームメモリ４０６に格納されていた前フレームの合成結果画像を入力する。
信号処理部４０５は、これらの２つの画像に基づく合成処理を実行してノイズ除去ＨＤＲ画像４１５として出力する。
【０２１８】
次に、上述した実施例７の画像処理の処理シーケンスについて図２８、図２９に示すフローチャートを参照して説明する。
図２８、図２９に示す処理は、例えば、図２７に示す構成を持つ画像処理装置において、画像処理装置の制御部の制御下で行われる。制御部は画像処理装置のメモリに格納されたプログラムを実行して図２８、図２９のフローに従った処理の制御を行う。
【０２１９】
まず、ステップＳ３０１において画像を入力する。例えばＮ種類の異なる露光時間の連続撮影画像中の特定の露光時間の画像を入力する。
次に、ステップＳ３０２において、フレームメモリ４０１に保持してある基準画像を取得し、ステップＳ３０３において、フレームメモリ４０６に保持された前フレーム合成画像を取得する。
【０２２０】
次に、ステップＳ３０４において、入力画像の露光時間と基準像像の露光時間を比較し、入力画像の露光時間が基準画像の露光時間と同じか否かを判定する。
入力画像の露光時間と基準画像の露光時間が異なる場合、ステップＳ３０５に進み、さらに、入力画像の露光時間が、基準画像の露光時間より長いか否かを判定する。
入力画像の露光時間の方が長い場合、ステップＳ３０７において、基準画像に対して露光比補正を行う。
一方、基準画像の露光時間の方が長い場合、ステップＳ３０６において、入力画像に対して露光比補正を行う。
これらの露光比補正処理は、図２７に示す露光比補正部４０２において実行する処理である。
この露光比補正によって、入力画像と基準画像の明るさが揃うことになる。
【０２２１】
次に、ステップＳ３２１において、明るさの揃った基準画像と入力画像の間で動き推定を行い、これらの２画像間の移動量に相当する動きベクトルを算出する。
この処理は、図２７に示す動き推定部４０３において実行する処理である。
【０２２２】
さらに、ステップＳ３２２において、求めた動きベクトルを用いて、入力画像に対して動き補償を行い、動き補償画像を生成する。
この処理は、図２７に示す動き補償画像生成部４０４において実行する処理である。
この動き補償によって、入力画像が基準画像の位置に合わせられたことになる。
ステップＳ３２３では、動き補償をした入力画像と、前フレーム合成画像を合成することで、合成画像を生成する。
この処理は、図２７に示す信号処理部４０５の実行する処理である。
ステップＳ３２４において、以上の処理で生成された合成画像をフレームメモリに格納し、ステップする。
【０２２３】
一方、ステップＳ３０４の判定処理において、入力画像の露光時間と基準画像の露光時間が同じと判定した場合は、ステップＳ３３１において、この２つの画像間で動き推定を行い、２画像間の動きを示す動きベクトルを算出する。
この処理は、図２７に示す動き推定部４０３において実行する処理である。
【０２２４】
次に、ステップＳ３３２において、求めた動きベクトルを用いて、前フレーム合成画像に対する動き補償を行い動き補償画像を生成する。
この処理は、図２７に示す動き補償画像生成部４０４において実行する処理である。
【０２２５】
さらに、ステップＳ３３３において、前フレーム合成画像に基づいて生成した動き補償画像と入力画像を合成することで、合成画像を生成する。
この処理は、図２７に示す信号処理部４０５の実行する処理である。
ステップＳ３３４において、入力画像をフレームメモリに格納する。
【０２２６】
ステップＳ３２３の処理、またはステップＳ３３４の処理後、ステップＳ３２４に進み、ステップＳ３２４では、以上の処理で生成された合成画像をフレームメモリに格納し、さらに、ステップＳ３２５において生成した合成画像を出力する。
【０２２７】
［２−５．露光時間の同じ画像同士で動き推定を行う実施例（実施例８）］
次に、本開示の画像処理装置の実施例８として、露光時間の同じ画像同士で動き推定を行う実施例について説明する。
図３０は、本実施例８の画像処理装置の構成を示す図である。
入力画像５１１は、Ｎ種類の異なる露光時間の連続撮影画像の周期的入力となる。
これらのＮ種類の異なる露光画像は、Ｎ個のフレームメモリからなるフレームメモリ群５０１の各フレームメモリ１〜Ｎに各画像単位で格納する。
すなわち、露光画像の周期１セット分の画像を全てフレームメモリに保持する。
【０２２８】
動き推定部５０２は、その次の周期の画像が入力された時に、Ｎ枚のフレームメモリの中に含まれる入力画像と露光時間が同じ画像との間で動き推定を行い、同一露光画像間動きベクトル５１２を算出して動きベクトル演算部５０３に出力する。
動きベクトル演算部５０３は、動き推定部５０２から、同一露光画像間動きベクトル５１２を入力し、この同一露光画像間動きベクトル５１２に基づいて、異なる露光時間の連続撮影２画像間の動き量を示す連続撮影画像間動きベクトル５１３を算出して、動き補償画像精製部５０４に出力する。動きベクトル演算部５１２は、例えば、動き推定部５０２の算出した動きベクトルに対する線型演算により、動き補償画像生成部５０４における動き補償画像の生成に適用する動きベクトルを算出する。
【０２２９】
動き推定部５０２の算出する同一露光画像間動きベクトル５１２と、
動きベクトル演算部５０３の算出する連続撮影画像間動きベクトル５１３との関係について図３１を参照して説明する。
図３１に示すように、動き推定部５０２の算出する同一露光画像間動きベクトル５１２は、動きベクトル演算部５０３の算出する連続撮影画像間動きベクトル５１３の集合であると考えることができる。
【０２３０】
すなわち、動き推定によって求めた露光時間が同じ画像同士の動きベクトルに対して線形演算することで、そのベクトルに含まれる、露光時間が異なる画像同士の動きベクトルを求めることができる。
【０２３１】
なお、動きベクトル演算部５０３の実行するベクトルの演算に関しては、露光枚数や露光比を利用して分割する方法等が適用できる。また、求めた動きベクトルを保持しておけば、過去のベクトル情報を利用して算出する方法等も適用でき、露光時間が同じ画像同士で求めた動きベクトルから、露光時間が異なる画像間の動きベクトルを算出する方法は特に限定されるものではない。
【０２３２】
図３０に示す画像処理装置の構成を参照して、処理シーケンスについて説明する。
画像撮像が開始されてから最初に位置合わせを行うＮ＋１枚目の画像（最短時間露光画像）が入力された際の処理について説明する。
【０２３３】
まず、動き推定部５０２は、入力画像である最短時間露光画像と１枚目の入力画像（最短時間露光画像）が保持されているフレームメモリ１の格納画像との間で動き推定を行い、同一露光画像間動きベクトル５１２を算出して動きベクトル演算部５０３に出力する。
【０２３４】
動きベクトル演算部５０３は、同一露光画像間動きベクトル５１２を入力して、フレームメモリ１とフレームメモリ２に格納された連続撮影画像の間、すなわち露光が異なる画像間の動きベクトルを求める。ここで求めた動きベクトルを連続撮影画像間動きベクトル５１３として動き補償画像生成部５０４に出力する。
【０２３５】
動き補償画像生成部５０４は、フレームメモリ１の格納画像の画像位置を、フレームメモリ２の格納画像の画像位置に合わせた動き補償画像５１４を生成する。
動き補償画像生成部５０４は、生成した動き補償画像５１４を信号処理部５０５に出力する。
【０２３６】
信号処理部５０５は、フレームメモリ２に格納された画像と、動き補償画像生成部５０４の生成した動き補償画像５１４の合成処理を実行してノイズ除去ＨＤＲ画像５１５を生成して出力する。出力画像は、フレームメモリ５０５に格納する。
以下、Ｎ種類の露光時間の各画像、すなわち、同一の露光時間の入力画像とフレームメモリ格納画像との間で同様の処理を繰り返し実行する。
【０２３７】
図３２は、Ｎ＋２枚目以降の画像が入力される際、すなわち図３０を参照して説明した処理の後に連続入力する画像に対する処理を説明する図である。
画像撮像が開始されてからＮ＋２枚目の画像（第２短時間露光画像）が入力された際の処理について説明する。
【０２３８】
まず、動き推定部５０２は、入力画像である第２短時間露光画像と同一の露光時間の画像（第２短時間露光画像）が保持されているフレームメモリ２の格納画像との間で動き推定を行い、同一露光画像間動きベクトル５１２を算出して動きベクトル演算部５０３に出力する。
【０２３９】
動きベクトル演算部５０３は、同一露光画像間動きベクトル５１２を入力して、フレームメモリ２とフレームメモリ３に格納された連続撮影画像の間、すなわち露光が異なる画像間の動きベクトルを求める。ここで求めた動きベクトルを連続撮影画像間動きベクトル５１３として動き補償画像生成部５０４に出力する。
【０２４０】
動き補償画像生成部５０４は、動きベクトル５１３を適用してフレームメモリ５０６の格納画像の画像位置を、フレームメモリ３の格納画像の画像位置に合わせた動き補償画像５１４を生成する。
動き補償画像生成部５０４は、生成した動き補償画像５１４を信号処理部５０５に出力する。
【０２４１】
信号処理部５０５は、フレームメモリ３に格納された画像と、動き補償画像生成部５０４の生成した動き補償画像５１４の合成処理を実行してノイズ除去ＨＤＲ画像５１５を生成して出力する。出力画像は、フレームメモリ５０５に格納する。
以下、Ｎ種類の露光時間の各画像、すなわち、同一の露光時間の入力画像とフレームメモリ格納画像との間で同様の処理を繰り返し実行する。
これらの処理によって、動き推定を行う画像間の露光比によらず、画像の位置ズレによるアーティファクトを含まずに、ダイナミックレンジを拡張した高Ｓ／Ｎ画像を得ることができる。
【０２４２】
本実施例の画像処理装置の処理シーケンスについて、図３３に示すフローチャートを参照して説明する。
図３３に示す処理は、例えば、図３０、図３２に示す構成を持つ画像処理装置において、画像処理装置の制御部の制御下で行われる。制御部は画像処理装置のメモリに格納されたプログラムを実行して図３３のフローに従った処理の制御を行う。
【０２４３】
まず、ステップＳ４０１において画像を入力する。例えばＮ種類の異なる露光時間の連続撮影画像中の特定の露光時間の画像を入力する。
次に、ステップＳ４０２において、入力画像が連続撮影されるＮ枚の異なる露光時間の露光画像セットの１周期目であるか否かの判定を行う。
１周期目である場合、ステップＳ４２１に進み、取得した入力画像をフレームメモリに格納し、次フレームの入力画像を取得する処理へ戻る。
すなわち、入力画像が露光セットの２周期目に入るまでは、異なる露光時間で撮像した入力画像をそれぞれフレームメモリに保持する処理を繰り返す。
【０２４４】
入力画像が２周期目以降になると、入力された画像と同じ露光時間で撮像された過去の入力画像がフレームメモリに格納済みになる。
このような状態において新しく画像が入力されると、ステップＳ４０３以下の処理が開始される。
【０２４５】
ステップＳ４０３において、入力画像と同じ露光時間で撮像された過去入力画像（以降、同露光過去入力画像と記述する）をフレームメモリから取得する。
次に、ステップＳ４０４において、取得した同露光過去入力画像と入力画像の間で動き推定を行う。
次に、ステップＳ４０５において、露光セット１周期分の動きベクトル、すなわち、同一露光画像間動きベクトルを算出する。
この処理は、図３０、図３２に示す動き推定部５０２の実行する処理である。
ステップＳ４０６では、入力画像をフレームメモリに格納する。
【０２４６】
次にステップＳ４０７において、同一露光画像間動きベクトルに基づいて、連続撮影画像間動きベクトルを算出する。この動きベクトル演算で、露光時間の異なる入力画像（以降、異露光過去入力画像と記述する）の間の動きベクトルを求める。
この処理は、図３０、図３２に示す動きベクトル演算部５０３の実行する処理である。
【０２４７】
次に、ステップＳ４０８において、前フレーム合成画像を取得し、ステップＳ４０９において、異露光過去入力画像をフレームメモリから取得する。
次に、ステップＳ４１０において、フレームメモリから取得した前フレーム合成画像に対して、ステップＳ４０７で算出した連続撮影画像間動きベクトルを用いて動き補償を行い、動き補償画像を生成する。
この処理は、図３０、図３２に示す動き補償画像生成部５０４の実行する処理である。
前フレーム合成画像は、同露光過去入力画像と同じ位置にあるので、この動き補償によって、前フレーム合成画像が異露光過去入力画像の位置に合わせられたことになる。
【０２４８】
次に、ステップＳ４１１において、動き補償した前フレーム合成画像と、異露光過去入力画像を合成して、合成画像を生成する。
この処理は、図３０、図３２に示す信号処理部５０５の実行する処理である。
ステップＳ４１２において、以上の処理で生成した合成画像をフレームメモリに格納し、ステップＳ４１３において生成した合成画像を出力する。
【０２４９】
上述した実施例６，７、すなわち複数画像の合成によるノイズ低減と、高ダイナミックレンジ化処理を併せて実行する実施例の画像処理装置の処理によって、例えば以下の効果がもたらされる。
最短時間露光画像と最長時間露光画像の露光比に関わらず、動きズレによるアーティファクトを含まずに逐次的にダイナミックレンジ拡張処理とノイズ除去処理を行うことが可能となる。これによって、動き推定の失敗を避けることができ、画質を劣化させることなくダイナミックレンジ拡張処理とノイズ除去処理の統合を行うことが可能となる。
【０２５０】
また、露光時間が同じ画像同士でのみ動き推定を行うことで、連続する画像間の露光比にも関わらず、動き推定の失敗を避けることができる。求めた動きベクトル情報を演算することで、ダイナミックレンジ拡張処理とノイズ除去処理の各処理で必要となる動きベクトル情報を１つの動き推定ブロック・動き補償ブロックで実現することができ、それはすなわち少ない回路規模、消費電力でダイナミックレンジ拡張処理とノイズ除去処理の統合を行うことが可能となる。
【０２５１】
［３．画像処理装置の全体構成例について］
最後に、上述した各実施例に従った処理を実行する画像処理装置の全体構成例について説明する。
図３４は、本開示の画像処理装置の一実施例としての撮像装置６００の構成例を示す図である。光学レンズ６０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス６０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部６０３に入力される。
【０２５２】
画像処理部６０３は、上述した各実施例に従った処理、すなわち複数画像の合成処理を伴う出力画像の生成処理を実行する。さらに、画像処理部６０３は、撮像データに対する一般的なカメラ信号処理、例えば、ホワイトバランス（ＷＢ）調整、ガンマ補正等の信号処理も実行して、出力画像６２０を生成する。出力画像６２０は図示しない記憶部に格納される。あるいは表示部に出力される。
【０２５３】
制御部６０５は、例えばメモリ６０６に格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
【０２５４】
［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２５５】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）異なるタイミングの撮影画像である第１画像と第２画像の二画像間の動き量を推定する動き推定部と、
前記動き推定部の推定した動き量に基づいて、前記第２画像を第１画像の位置に合わせる動き補償処理を実行して動き補償画像を生成する動き補償画像生成部と、
前記動き補償画像と、前記第１画像との合成処理により合成画像を生成する信号処理部を有し、
前記動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する画像処理装置。
【０２５６】
（２）前記画像処理装置は、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、前記動き推定好適度判定部は、前記入力画像が適格画像である場合に限り、該入力画像を前記動き推定に適用する参照画像としてフレームメモリに格納する制御を実行し、前記動き推定部は、前記フレームメモリに格納された参照画像を適用した動き推定を実行し、前記動き補償画像生成部は、前記参照画像を利用した動き補償画像を生成する前記（１）に記載の画像処理装置。
【０２５７】
（３）前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行する前記（２）に記載の画像処理装置。
（４）前記動き推定部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像が動き推定に好適でない不適格画像であると判定される場合に、該入力画像と前記参照画像を適用した動き推定を実行せず、前記動き推定部において動き推定が実行されない場合、予め規定したアルゴリズムに従って決定する例外動き量を前記動き補償画像生成部に出力する動き量補正部を有する前記（３）に記載の画像処理装置。
【０２５８】
（５）前記信号処理部は、前記動き推定好適度判定部の判定情報として、前記入力画像が適格画像であるか否かを示す判定情報を入力し、該判定情報に基づいて、前記入力画像に対する信号処理を実行する前記（２）〜（４）いずれかに記載の画像処理装置。
（６）前記動き推定好適度判定部は、前記入力画像中のぼけ領域、飽和画素領域、ノイズの大きい領域の少なくともいずれか、または入力画像撮影時のカメラの動き、または入力画像の輝度範囲のいずれかの指標を適用して入力画像が動き推定に好適な画像であるか否かの判定処理を実行する前記（２）〜（５）いずれかに記載の画像処理装置。
【０２５９】
（７）前記動き推定好適度判定部は、前記入力画像として、異なる露光時間に設定された連続撮影画像を入力する場合、各露光画像の有効画素値面積を比較してより広い有効画素面積を持つ画像を前記フレームメモリに格納する参照画像とする制御を行う前記（２）〜（６）いずれかに記載の画像処理装置。
（８）前記画像処理装置は、さらに、前記フレームメモリに格納された画像を基準画像として、該基準画像の画像位置に入力画像の画像位置を合わせるために実行する動き推定方向の切り替え処理を実行する動き推定方向切り替え部を有する前記（２）〜（７）いずれかに記載の画像処理装置。
【０２６０】
（９）前記画像処理装置は、さらに、前記入力画像として、異なる露光時間に設定された連続撮影画像を入力し、露光比補正を実行する露光比補正部を有し、前記動き推定部は、前記露光比補正部において露光比補正の施された連続撮影画像間の動き推定を実行して、該連続撮影画像間の動き量を算出し、前記動き補償画像生成部は、前記動き量を利用して、前記連続撮影画像の一方の画像位置を他方の画像位置に合わせた動き補償画像を生成し、前記信号処理部は、前記動き補償画像と、フレームメモリに格納した基準画像との合成処理を実行する前記（１）〜（８）いずれかに記載の画像処理装置。
【０２６１】
（１０）前記フレームメモリに格納する基準画像は、予め定めた所定の露光時間の画像であり、前記露光比補正部は、前記入力画像と、前記フレームメモリに格納した基準画像間の露光比補正を実行し、前記動き推定部は、前記露光比補正部において露光比補正の施された入力画像と基準画像との動き推定を実行する前記（９）に記載の画像処理装置。
（１１）前記動き推定部は、同一露光時間に設定された画像間の動きベクトルを算出し、前記動き推定部の算出した動きベクトルを入力し、該動きベクトルに対する線型演算により、前記動き補償画像生成部における動き補償画像の生成に適用する動きベクトルを算出する動きベクトル演算部を有する前記（９）または（１０）に記載の画像処理装置。
【０２６２】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０２６３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２６４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２６５】
以上、説明したように、本開示の一実施例の構成によれば、高精度な動き推定による動き補償画像を適用した画像の合成処理により、高品質なノイズ低減や高ダイナミックレンジ画像等を生成する構成が実現される。
具体的には、画像間の動き量を推定し、一方の画像を他方の画像の位置に合わせる動き補償処理を実行して動き補償画像を生成し、動き補償画像と位置合わせされた画像との合成処理によりノイズ低減等の施された画像を生成する。動き補償画像生成部は、予め規定した画像選択基準に従って選択された選択画像を利用した動き補償画像を生成する。例えば、入力画像が動き推定に好適な適格画像であるか否かを判定する動き推定好適度判定部を有し、入力画像が適格画像である場合に限り、該入力画像を動き推定に適用する参照画像としてフレームメモリに格納する。
これらの処理により、高精度な動き推定による動き補償画像を適用した画像の合成処理により、品質の高いノイズ低減や高ダイナミックレンジ画像を生成することが可能となる。
【符号の説明】
【０２６６】
１１１  静止領域検出部
１１２  画素値補正部
２０１  フレームメモリ
２０２  動き推定好適度判定部
２０３  動き推定部
２０４  動き量補正部
２０５  動き補償画像生成部
２０６  信号処理部
２０７  フレームメモリ格納画像更新制御スイッチ
２５１  動き推定方向切り替え部
３３１〜３３４  フレームメモリ
３３５  高ダイナミックレンジ画像生成部
３３６  ノイズ除去部
３３７  フレームメモリ
３４１  ノイズ除去部
３５１〜３５４  フレームメモリ
３５５  高ダイナミックレンジ画像生成部
４０１  フレームメモリ
４０２  露光比補正部
４０３  動き推定部
４０４  動き補償画像生成部
４０５  信号処理部
４０６  フレームメモリ
５０１  フレームメモリ群
５０２  動き推定部
５０３  動きベクトル演算部
５０４  動き補償画像生成部
５０５  信号処理部
５０６  フレームメモリ
６００  撮像装置
６０１  光学レンズ
６０２  撮像デバイス
６０３  画像処理部
６０５  制御部
６０６  メモリ
【図１】
2014039169.tif 000003
【図２】
2014039169.tif 000004
【図３】
2014039169.tif 000005
【図４】
2014039169.tif 000006
【図５】
2014039169.tif 000007
【図６】
2014039169.tif 000008
【図７】
2014039169.tif 000009
【図８】
2014039169.tif 000010
【図９】
2014039169.tif 000011
【図１０】
2014039169.tif 000012
【図１１】
2014039169.tif 000013
【図１２】
2014039169.tif 000014
【図１３】
2014039169.tif 000015
【図１４】
2014039169.tif 000016
【図１５】
2014039169.tif 000017
【図１６】
2014039169.tif 000018
【図１７】
2014039169.tif 000019
【図１８】
2014039169.tif 000020
【図２８】
2014039169.tif 000021
【図２９】
2014039169.tif 000022
【図３３】
2014039169.tif 000023
【図３４】
2014039169.tif 000024
【図１９】
2014039169.tif 000025
【図２０】
2014039169.tif 000026
【図２１】
2014039169.tif 000027
【図２２】
2014039169.tif 000028
【図２３】
2014039169.tif 000029
【図２４】
2014039169.tif 000030
【図２５】
2014039169.tif 000031
【図２６】
2014039169.tif 000032
【図２７】
2014039169.tif 000033
【図３０】
2014039169.tif 000034
【図３１】
2014039169.tif 000035
【図３２】
2014039169.tif 000036