(57)【要約】【課題】動きブレを付与する画像処理において移動体を消えにくくする。【解決手段】時系列で連続する複数フレームの撮像画像を用いて、動きブレ付与画像を生成するに際して、移動体情報取得部３０２は、撮像画像中の移動体の移動に関する移動情報として、移動体の動きベクトルを算出する。また、被写体情報取得部３０３は、撮像画像中の移動体の被写体としての被写体情報として、移動体のフレーム間での重なり情報、移動体と背景との差分情報を取得する。動きブレ強度決定部３０４は、移動体情報取得部３０２で取得した移動情報及び被写体情報取得部３０３で取得した被写体情報に基づいて、動きブレを付与したときの移動体の消えやすさを評価し、その評価結果に応じて動きブレ強度として合成枚数を決定する。【選択図】図３
2019110386.tif 000002
【特許請求の範囲】
【請求項１】
時系列で連続する複数の画像中の移動体に関する情報を取得する取得手段と、
前記取得手段で取得した情報に基づいて評価される、動きブレを付与したときの前記移動体の消えやすさに応じて動きブレ強度を決定する動きブレ強度決定手段と、
前記動きブレ強度決定手段で決定した動きブレ強度に基づいて、前記画像を用いて、動きブレを付与した動きブレ付与画像を生成する動きブレ付与手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記取得手段として、前記画像中の前記移動体の移動に関する移動情報を取得する移動体情報取得手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記移動体情報取得手段は、前記移動情報として、前記移動体の動きベクトルを算出し、
前記動きブレ強度決定手段は、前記動きベクトルに基づいて、前記移動体の消えやすさを評価することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記動きブレ強度決定手段は、前記動きベクトルから検出される前記移動体の動きが速いほど消えやすいと評価することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像は撮像画像であり、
前記取得手段として、前記撮像画像中の前記移動体の被写体としての被写体情報を取得する被写体情報取得手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記被写体情報取得手段は、前記被写体情報として、前記移動体の画像間での重なり情報、及び前記移動体と背景との差分情報のうち少なくともいずれか一つを取得し、
前記動きブレ強度決定手段は、前記重なり情報、及び前記差分情報のうち少なくともいずれか一つに基づいて、前記移動体の消えやすさを評価することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記動きブレ強度決定手段は、前記移動体の画像間での重なりが小さいほど消えやすいと評価することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記動きブレ強度決定手段は、前記移動体と背景との差分が大きいほど消えやすいと評価することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記動きブレ強度決定手段は、前記移動体が消えやすいと評価した場合、動きブレ強度を弱くすることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記動きブレ強度決定手段は、前記移動体が複数ある場合に、前記取得手段で取得した前記情報に基づいて、動きブレ強度を決定する基準とする移動体を決定した上で、動きブレを付与したときの前記基準とする移動体の消えやすさに応じて動きブレ強度を決定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記動きブレ強度決定手段は、前記基準とする移動体を決定するのに、前記移動体の大きさ情報、主要な被写体であるか否かの情報、及び前記画像中で前記移動体が写っている割合情報のうち少なくともいずれか一つを使用することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記動きブレ付与手段は、前記画像の合成を行うことにより動きブレを付与し、
前記動きブレ強度決定手段は、動きブレ強度として、合成枚数を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記動きブレ付与手段は、前記画像にフィルタ処理を施すことにより動きブレを付与し、
前記動きブレ強度決定手段は、動きブレ強度として、前記フィルタ処理のフィルタパラメータを決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１４】
前記フィルタパラメータは、前記フィルタ処理のタップ数及びフィルタ係数のうち少なくともいずれか一つであることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記動きブレ付与手段は、時系列で連続する複数の前記動きブレ付与画像を生成することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記動きブレ付与手段は、前後の画像間において動きブレ強度を所定の強度以上に変化させるとき、前記前後の画像間に移行期間を設定し、前記移行期間で動きブレ強度を徐々に変化させることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記動きブレ付与手段は、前記移行期間の長さを可変とすることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
時系列で連続する複数の画像中の移動体に関する情報を取得する取得ステップと、
前記取得ステップで取得した情報に基づいて評価される、動きブレを付与したときの前記移動体の消えやすさに応じて動きブレ強度を決定する動きブレ強度決定ステップと、
前記動きブレ強度決定ステップで決定した動きブレ強度に基づいて、前記画像を用いて、動きブレを付与した動きブレ付与画像を生成する動きブレ付与ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項１９】
時系列で連続する複数の画像中の移動体に関する情報を取得する取得手段と、
前記取得手段で取得した情報に基づいて評価される、動きブレを付与したときの前記移動体の消えやすさに応じて動きブレ強度を決定する動きブレ強度決定手段と、
前記動きブレ強度決定手段で決定した動きブレ強度に基づいて、前記画像を用いて、動きブレを付与した動きブレ付与画像を生成する動きブレ付与手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
動感表現を行う技術として、１フレームを擬似的に長秒で撮影したかのように表現した擬似長秒動画を生成するものがある。これは、例えば動画の複数フレームに対して移動平均合成を行うことで、動きブレを付与し、移動体にブラーを付与したような効果をつけた動画を生成する技術である。
【０００３】
特許文献１には、撮像部で撮像された複数の画像データの中から特定の画像データと、前記特定の画像データに合成する合成用画像データとを選択し、被写体の移動量に基づいて、前記特定の画像データに合成する前記合成用画像データの合成枚数を決定する構成が開示されている。これにより、例えばバスケットゴールに向けてシュートする人物の移動軌跡を表した画像や、バレリーナのジャンプの軌跡を表した画像を作成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５９４８９６０号公報
【特許文献２】特許第５５８９５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された従来技術は、移動体の移動開始から移動終了までの一連の動きの軌跡を表すものであり、移動量が大きい場合には、合成枚数を増やして合成を行う。
しかしながら、合成枚数が増えると、合成後の画像において移動体が消えて、見えにくくなることがある。例えば移動体の動きが速いと、画像間での移動体の重なりが少なくなり、また、合成する毎に動いていない背景の比重が大きくなるため、合成後の画像において背景が濃く、移動体が薄く写り、移動体が消えやすくなる。
【０００６】
本発明は上記のような点に鑑みてなされたものであり、動きブレを付与する画像処理において移動体を消えにくくすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、時系列で連続する複数の画像中の移動体に関する情報を取得する取得手段と、前記取得手段で取得した情報に基づいて評価される、動きブレを付与したときの前記移動体の消えやすさに応じて動きブレ強度を決定する動きブレ強度決定手段と、前記動きブレ強度決定手段で決定した動きブレ強度に基づいて、前記画像を用いて、動きブレを付与した動きブレ付与画像を生成する動きブレ付与手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動きブレを付与する画像処理において移動体を消えにくくすることができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る撮像装置の構成を示す図である。
【図２】擬似長秒動画を説明するための図である。
【図３】第１の実施形態に係る撮像装置の機能構成を示す図である。
【図４】第１の実施形態において撮像装置が実行する処理を示すフローチャートである。
【図５】動きベクトルの算出について説明するための図である。
【図６】移動体の重なり領域の算出について説明するための図である。
【図７】消えやすさの評価値と各情報との関係の例を示す特性図である。
【図８】合成枚数と消えやすさの評価値との関係の例を示す特性図である。
【図９】第２の実施形態において撮像装置が実行する処理を示すフローチャートである。
【図１０】優先度と各情報との関係の例を示す特性図である。
【図１１】第３の実施形態において撮像装置が実行する処理を示すフローチャートである。
【図１２】フィルタ処理のタップ数及びフィルタ係数の決定について説明するための図である。
【図１３】第４の実施形態において撮像装置が実行する処理を示すフローチャートである。
【図１４】移行期間画像の合成枚数の決定について説明するための図である。
【図１５】移行期間の長さ、及び移行期間画像の合成枚数の決定について説明するための図である。
【図１６】第５の実施形態において撮像装置が実行する処理を示すフローチャートである。
【図１７】移行期間画像のフィルタ強度の決定について説明するための図である。
【図１８】移行期間画像のフィルタ強度の決定について説明するための図である。
【図１９】第６の実施形態に係る撮像装置の画像処理部の機能構成を示す図である。
【図２０】第６の実施形態において撮像装置が実行する処理を示すフローチャートである。
【図２１】画像の合成について説明するための図である。
【図２２】画像の合成について説明するための図である。
【図２３】画像の合成について説明するための図である。
【図２４】領域毎の合成枚数の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。以下に述べる実施形態では、撮像装置が本発明を適用した画像処理装置として機能する例を説明する。
（第１の実施形態）
図１は、実施形態に係る撮像装置１００の構成を示す図である。
システム制御部１０１は、例えばＣＰＵにより構成され、動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより撮像装置１００が備える各部の動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、動作プログラムに加え、各部の動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各部の動作において出力されたデータの一時的な記憶領域として用いられる。
【００１１】
光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群により構成される。光学系１０４を介して取得された被写体像は、撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子により構成され、光学系１０４により結像された光学像を光電変換し、得られた一対のアナログ画像信号を順次Ａ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。
【００１２】
画像処理部１０７は、ＲＡＭ１０３等に記録された画像データに対して、ホワイトバランス調整、色補間、ガンマ処理、電子ズーム処理等、様々な画像処理を実行する。また、画像処理部１０７は、動きブレを付与する画像処理を実行する。表示部１０８は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３及び記録部１０９に記録した画像やユーザからの指示を受け付けるための操作ユーザインターフェイスを表示する。記録部１０９は、メモリカードやハードディスク等の記録媒体により構成され、画像処理を行った最終的な出力画像データを格納する。
【００１３】
第１の実施形態では、擬似長秒動画を生成する際に、動きブレを付与したときの移動体の消えやすさを評価し、その評価結果に応じて動きブレ強度を決定する。本実施形態では、画像の合成枚数を決定することにより動きブレ強度を決定する。
図２を参照して、擬似長秒動画について説明する。図２は、撮影した動画の１〜４フレームの画像２０１〜２０４と、合成後の画像２１１、２１２とを示す。
擬似長秒動画では、移動体（図示例ではバスや歩行者）の動きブレを表現するために、動画の複数フレームに対して移動平均合成を行う。画像２１１は、１〜３フレームの画像２０１〜２０３を合成した画像であり、動きブレを付与した動きブレ付与画像である。また、画像２１２は、２〜４フレームの画像２０２〜２０４を合成した画像であり、動きブレを付与した動きブレ付与画像である。
【００１４】
このようにフレームを順次ずらしながら画像をオーバーラップさせて合成を行うことで、動きブレを付与し、移動体にブラーを付与したような効果をつけた動画を生成する。合成枚数に応じて動きブレ強度が変化する。合成枚数が少なければ、移動体は消えにくいが、移動量が小さくなるので、動きブレ強度は弱くなる。一方で、合成枚数が多ければ、移動体は消えやすいが、移動量が大きくなるので、動きブレ強度が強くなる。
また、移動体の動きが速いと、フレーム間での移動体の重なりが少なくなり、また、合成する毎に動いていない背景の比重が大きくなるため、合成後の画像において背景が濃く、移動体が薄く写り、移動体が消えやすくなる。
【００１５】
図３は、第１の実施形態に係る撮像装置１００の機能構成を示す図である。
３０１は撮像画像取得部であり、動画を構成する、時系列で連続する複数フレームの撮像画像を取得する。
３０２は移動体情報取得部であり、撮像画像取得部３０１で取得した撮像画像中の移動体の移動に関する移動情報を取得する。移動情報として、移動体の動きベクトルを算出して、移動体の消えやすさの評価に使用する。本実施形態では、移動体情報取得部３０２が本発明でいう移動体情報取得手段として機能する。
３０３は被写体情報取得部であり、撮像画像取得部３０１で取得した撮像画像中の移動体の被写体としての被写体情報を取得する。被写体情報として、移動体のフレーム間での重なり情報、移動体と背景との差分情報を取得して、移動体の消えやすさの評価に使用する。本実施形態では、被写体情報取得部３０３が本発明でいう被写体情報取得手段として機能する。
【００１６】
３０４は動きブレ強度決定部であり、移動体情報取得部３０２で取得した移動情報及び被写体情報取得部３０３で取得した被写体情報に基づいて、動きブレを付与したときの移動体の消えやすさを評価する。そして、動きブレ強度決定部３０４は、その評価結果に応じて動きブレ強度として合成枚数を決定する。本実施形態では、動きブレ強度決定部３０４が本発明でいう動きブレ強度決定手段として機能する。
３０５は動きブレ付与部であり、動きブレ強度決定部３０４で決定した合成枚数に基づいて、撮像画像取得部３０１で取得した撮像画像を用いて、動きブレ付与画像を生成する。動きブレ付与画像は、擬似長秒動画用のフレームの画像であり、時系列で連続する複数フレームの動きブレ付与画像を生成することにより擬似長秒動画が生成される。本実施形態では、動きブレ付与部３０５が本発明でいう動きブレ付与手段として機能する。
３０６は画像出力部であり、動きブレ付与部３０５で生成した擬似長秒動画を出力する。
【００１７】
図４は、第１の実施形態において撮像装置１００が実行する処理を示すフローチャートである。図４のフローチャートは、システム制御部１０１が動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより実現される。
第１の実施形態では、撮像画像取得部３０１で取得した撮像画像中において移動体が１体だけである例を説明する。
【００１８】
ステップＳ４０１で、撮像画像取得部３０１は、時系列で連続する複数フレームの撮像画像を取得する。
【００１９】
ステップＳ４０２で、移動体情報取得部３０２は、ステップＳ４０１において取得した撮像画像中の移動体の動きベクトルを算出する。
図５は、動きベクトルの算出について説明するための図である。図５（ａ）、（ｂ）に、撮像画像取得部３０１で取得したＮフレーム目の撮像画像５０１、Ｎ＋１フレーム目の撮像画像５０２を示す。また、図５（ｃ）に、Ｎフレーム目の撮像画像５０１をブロック分割した状態を示す。
撮像画像５０１、５０２を任意のサイズ（Ｌ×Ｍ）のブロックに分割し、各領域間の差分として相関値を算出する。フレーム間の相関値を算出するために、着目画素を中心とする任意の範囲の評価枠に対して画素毎にＳＡＤ（Sum of Absolute Difference）を算出し、評価枠内の画素値の差分絶対値を積算する。具体的には、評価枠内における撮像画像５０１、５０２間の一対の画素値をｆ（ｉ，ｊ）、ｇ（ｉ，ｊ）（ｉ、ｊは座標）と表した場合に、式（１）を用いて画素値の差分の積算を評価値ＲSADとして算出する。
【００２０】
【数１】
2019110386.tif 000003
【００２１】
評価値ＲSADが小さくなる部分が類似する領域となるので、その領域を探索し、図５（ｄ）に示すように、ブロックの位置関係から移動体の動きベクトル５０３を算出する。
なお、本実施形態では、画素値の差分絶対値であるＳＡＤを用いた評価値の算出方式を説明したが、これに限られるものではなく、他の方式を利用してもよい。
【００２２】
ステップＳ４０３で、被写体情報取得部３０３は、ステップＳ４０１において取得した撮像画像中の移動体のフレーム間での重なり情報、移動体と背景との差分情報を取得する。
移動体のフレーム間での重なり情報として、移動体のフレーム間での重なり領域の割合を算出する。
図６は、移動体の重なり領域の算出について説明するための図である。ステップＳ４０２において算出した動きベクトルに基づいて、動きがあるブロックと類似する領域を検出し、一つの移動体として領域をまとめる。ここでの領域を検出するために、特許文献２に開示されているようなクラスタリング処理を用いる。このクラスタリング処理では、輝度や色情報の分布解析を行い、隣接するブロックの類似性を判定して、類似すると判定された場合は同一ブロックであると判定する。クラスタリング処理により、同一のクラスタを移動体の１領域として判定する。
【００２３】
図６（ａ）に、ステップＳ４０２においてサイズ（Ｌ×Ｍ）のブロックに分割したＮフレーム目の撮像画像６０１を示す。また、図６（ｂ）に、移動ベクトル６０２に対応するブロックと類似するブロックをクラスタリングした結果である移動体領域６０３を示す。また、移動体領域６０３のブロックに含まれる動きベクトルの平均値を移動体の動きベクトルとして紐付ける。そして、Ｎフレームで検出した動きベクトルを用いて、Ｎ＋１フレームにおける移動体が移動した先の領域を決定する。
次に、Ｎフレーム目で検出した移動体領域とＮ＋１フレーム目で検出した移動体領域とを用いて、各領域のＸ軸方向の座標を算出する。図６（ｃ）、（ｄ）に示すように、Ｎフレーム目の撮像画像６０１における移動体のＸ座標位置がＸＬn、ＸＲn、Ｎ＋１フレーム目の撮像画像６０４における移動体のＸ座標位置がＸＬn+1、ＸＲn+1となる。そして、図６（ｅ）、（ｆ）に示すように、移動方向を考慮し、算出した各Ｘ座標から重なり領域の大きさＬｅｎＸを式（２）、（３）を用いて算出する。
そして、算出した重なり領域の大きさＬｅｎＸと移動体領域の全体の大きさから、移動体のフレーム間での重なり領域の割合を算出する。
【００２４】
【数２】
2019110386.tif 000004
【００２５】
また、移動体と背景との差分情報として、移動体と背景とのコントラストの差分値を算出する。
移動体のコントラスト情報として、移動体のエッジ強度を利用する。これは、画像に対してバンドパスフィルタをかけることでエッジ信号を検出し、任意のブロックサイズ内にあるエッジ信号の絶対値を積分する。算出した値であるエッジ信号の積分値が大きい場合、すなわちテクスチャが多い場合に評価値Ｆｒが大きくなる。評価値Ｆｒは、式（４）を用いて算出する。ｆｒ（ｉ，ｊ）は任意のブロックサイズ内の各座標におけるエッジ信号の値である。
式（４）を用いて移動体の評価値と背景の評価値とを算出し、その差分値を、移動体と背景とのコントラストの差分値とする。
【００２６】
【数３】
2019110386.tif 000005
【００２７】
ステップＳ４０４で、動きブレ強度決定部３０４は、動きブレを付与したときの移動体の消えやすさの評価値を求める。
消えやすさの評価値とは、画像の合成を行った際に、移動体が透過して薄くなる度合いとして定義し、それを表す指標である。評価値を求めるために、ステップＳ４０２において算出した移動体の動きベクトル、ステップＳ４０３において算出した、移動体のフレーム間での重なり領域の割合、移動体と背景とのコントラストの差分値を使用する。
図７は、消えやすさの評価値と各情報（移動体のフレーム間での重なり領域の割合、移動体と背景とのコントラストの差分値、動きベクトルから検出される移動体の動きの速さ）との関係を示す特性図である。図７（ａ）〜（ｃ）に、各情報における消えやすさの評価値を表すグラフを示す。グラフの横軸は各情報、縦軸は消えやすさの評価値を表す。また、図７（ｄ）に、各情報に対して設定された重みを示す。ここで使用する消えやすさの評価値は０〜１の範囲で表される値であり、各情報の算出値に対して消えやすさの評価値が割り振られている。
【００２８】
各情報と移動体の消えやすさとの関係から、消えやすさの評価値を求める。
移動体のフレーム間での重なり領域の割合が低い場合、フレーム間で移動体が重なっている部分が少ないため、合成枚数が多くなると、背景の比重が高くなって移動体が薄く写り、合成後の画像において移動体が消えやすくなる。そこで、図７（ａ）に示すように、消えやすさの評価値を大きくする。一方で、移動体のフレーム間での重なり領域の割合が高い場合、移動体が消えにくいため、消えやすさの評価値を小さくする。
【００２９】
移動体と背景とのコントラストの差分値が大きい場合、合成枚数が多くなると、背景の比重が高くなってコントラストが高い背景が移動体よりも濃く写る。そこで、図７（ｂ）に示すように、消えやすさの評価値を大きくする。一方で、移動体と背景とのコントラストの差分値が小さい場合、移動体が消えにくいため、消えやすさの評価値を小さくする。
【００３０】
移動体の動きが速い場合、合成枚数が多くなると、背景の比重が高くなって移動体が薄く写り、合成後の画像において移動体が消えやすくなる。そこで、図７（ｃ）に示すように、消えやすさの評価値を大きくする。一方で、移動体の動きが遅い場合、移動体が消えにくいため、消えやすさの評価値を小さくする。
【００３１】
各情報から求めた複数の評価値を使用する場合は、情報毎に優先度付けを行い、式（５）を用いて消えやすさの評価値Ｒrmを算出する。ｒnは情報毎の消えやすさの評価値、ｂnは情報毎に設定された重み、ｎは取得された情報の数を表す。ｂnとしては、図７（ｄ）に示すように、情報毎に重みが設定されている。また、これらの重みをユーザが指定して決めてもよい。
なお、本実施形態では、３つの情報を用いる例としたが、これに限られるものではない。例えば各情報のうち一つだけを使用する場合は、図７（ａ）〜（ｃ）に従って求められる消えやすさの評価値をそのまま消えやすさの評価値Ｒrmとすればよい。
このようにして求めた消えやすさの評価値Ｒrmが大きいほど、合成後の画像において移動体が消えやすいと評価される。
【００３２】
【数４】
2019110386.tif 000006
【００３３】
ステップＳ４０５で、動きブレ強度決定部３０４は、ステップＳ４０４において求めた消えやすさの評価値に応じて、動きブレ強度として合成枚数を決定する。
図８は、合成枚数と消えやすさの評価値との関係の例を示す特性図である。消えやすさの評価値が大きい場合、合成枚数を多くすると移動体が消えてしまうため、ブレ強度を弱くするために合成枚数を少なくする。一方、消えやすさの評価値が小さい場合、ブレ強度を強くするために合成枚数を多くする。このように、動きブレを付与したときの移動体の消えやすさに応じて合成枚数を決定することにより、移動体が消えることなく動きブレを付与することが可能となる。なお、合成枚数の上限は、擬似的に長秒にした際の長秒時のシャッタースピードに対する撮影した動画のシャッタースピードから算出すればよい。
【００３４】
ステップＳ４０６で、動きブレ付与部３０５は、ステップＳ４０５において決定した合成枚数に基づいて、ステップＳ４０１において取得した撮像画像の合成を行い、動きブレ付与画像を生成する。
【００３５】
擬似長秒動画を生成する期間において、ステップＳ４０５において合成枚数を決定したならば、以降、その合成枚数を一律に適用して、フレームを順次ずらしながら画像をオーバーラップさせて合成を行うことで、擬似長秒動画を生成するようにしてもよい。或いは、擬似長秒動画を生成する期間を適宜分割し、分割した期間毎に合成枚数を決定するようにしてもよい。
【００３６】
以上述べたように、動きブレを付与したときの移動体の消えやすさに応じて動きブレ強度として合成枚数を決定するようにしたので、動きブレを付与する画像処理において移動体を消えにくくすることができる。
【００３７】
（第２の実施形態）
第１の実施形態では、撮像画像中において移動体が１体だけであることを想定した例としたが、複数の移動体が写っていることもある。第２の実施形態は、移動体が複数ある場合に、動きブレ強度を決定する基準とする移動体（以下、着目被写体と呼ぶ。）決定する例を説明する。第２の実施形態では、撮像画像中に複数の移動体が写っているときにも、着目被写体を決定し、着目被写体の消えやすさを考慮して、擬似長秒動画を生成することができる。
なお、撮像装置１００の構成及び処理動作について、第１の実施形態と共通するものはその説明を省略し、第１の実施形態の相違点を中心に説明する。
【００３８】
被写体情報取得部３０３は、被写体情報として、第１の実施形態で取得する被写体情報に加えて、着目被写体を決定するための被写体情報も取得する。着目被写体を決定するための被写体情報としては、移動体の大きさ情報、主要な被写体であるか否かの情報である主要被写体情報、全フレーム中で移動体が写っている割合情報を使用する。
動きブレ強度決定部３０４は、被写体情報取得部３０３で取得した被写体情報に基づいて、複数の移動体のうちの着目被写体を決定する。その上で、第１の実施形態と同様に、動きブレを付与したときの着目被写体の消えやすさを評価し、その評価結果に応じて合成枚数を決定する。
【００３９】
図９は、第２の実施形態において撮像装置１００が実行する処理を示すフローチャートである。図９のフローチャートは、システム制御部１０１が動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより実現される。
ステップＳ９０１〜Ｓ９０２、Ｓ９０５〜Ｓ９０７は、図４のステップＳ４０１〜Ｓ４０２、Ｓ４０４〜Ｓ４０６と同様であり、その説明は省略する。
ステップＳ９０３で、被写体情報取得部３０３は、第１の実施形態と同様、ステップＳ９０１において取得した撮像画像中の移動体のフレーム間での重なり情報、移動体と背景との差分情報を取得する。それに加えて、被写体情報取得部３０３は、移動体の大きさ情報、主要被写体情報、全フレーム中で移動体が写っている割合情報を取得する。
【００４０】
移動体の大きさ情報は、例えば第１の実施形態で述べた移動体領域に含まれる画素数を、移動体の大きさと定義して取得する。
主要被写体情報は、例えば顕著度として取得する。一般的に知られている手法を用いて、視覚的に目立つ領域か否かを判定するために被写体とその周辺の被写体との特徴の差分を顕著度として算出する。差分の算出としては、画像を任意の領域に分割し、着目しているブロックの特徴量と、その周辺のブロックの特徴量とを使用する。差分が大きい場合は相関が低くなるため、視覚的に目立つ被写体として判断する。ここでの特徴量としては、ブロック領域内の輝度値、色相値、エッジ強度を少なくとも一つ以上を含むものである。算出した顕著度が高い領域を、主要被写体として判定する。
全フレーム中で移動体が写っている割合情報は、移動体領域が写っているフレーム数を算出することにより取得する。移動体の大きさ情報で検出した移動体を追尾し、それが写っているフレーム数を移動体領域毎に算出する。そして、算出したフレーム数を用いて、全フレーム中で移動体が写っている割合を算出する。
なお、これらの被写体情報を取得する手法は一例であり、これに限られるものではない。
【００４１】
ステップＳ９０４で、動きブレ強度決定部３０４は、ステップＳ９０３において取得した移動体の大きさ情報、主要被写体情報、全フレーム中で移動体が写っている割合情報に基づいて、着目被写体を決定する。
図１０は、優先度と各情報（移動体の大きさ、顕著度、写っている割合）との関係を示す特性図である。図１０（ａ）〜（ｃ）に、各情報における優先度を表すグラフを示す。グラフの横軸は各情報、縦軸は優先度を表す。また、図１０（ｄ）に、各情報に対して設定された重みを示す。ここで使用する優先度は０〜１の範囲で表される値であり、各情報の算出値に対して優先度が割り振られている。
【００４２】
各移動体について３つの情報毎の優先度を用いて、式（６）を用いて被写体の評価値Ｗ（Ｎ）を算出する。ａnは情報毎の優先度、αnは情報毎の優先度に設定された重み、ｎは取得された情報数を表す。αnとしては、図１０（ｄ）に示すように、情報毎に重みが設定されている。また、これらの重みをユーザが指定して決めてもよい。
このようにして算出した各移動体の評価値Ｗ（Ｎ）のうち、評価値が最大となる移動体を着目被写体とする。
【００４３】
【数５】
2019110386.tif 000007
【００４４】
本実施形態では、着目被写体を決定するための被写体情報として、移動体の大きさ情報、主要被写体情報、全フレーム中で移動体が写っている割合情報を使用する例とした。これにより、ユーザが着目していると推定される移動体を着目被写体とすることができる。ただし、着目被写体を決定するための被写体情報はこれに限られるものではなく、そのうちいずれかの情報だけを使用したり、他の情報を使用したりしてもよい。例えば着目被写体を決定するための被写体情報として、移動体のフレーム間での重なり情報や、移動体と背景との差分情報を使用してもよい。この場合、合成後の画像において最も消えやすい移動体を着目被写体とすることができる。
【００４５】
（第３の実施形態）
第１、２の実施形態では、画像の合成を行うことにより動きブレ付与画像を生成し、動きブレ強度として合成枚数を決定する例とした。第３の実施形態では、画像にフィルタ処理を施すことにより動きブレ付与画像を生成し、動きブレ強度としてフィルタ処理のフィルタパラメータであるタップ数及びフィルタ係数を決定する例を説明する。
なお、撮像装置１００の構成及び処理動作について、第１の実施形態と共通するものはその説明を省略し、第１の実施形態の相違点を中心に説明する。
【００４６】
動きブレ強度決定部３０４は、第１の実施形態と同様に、動きブレを付与したときの移動体の消えやすさを評価する。そして、動きブレ強度決定部３０４は、その評価結果に応じて動きブレ強度として、動きブレを付与するフィルタ処理のタップ数及びフィルタ係数を決定する。
動きブレ付与部３０５は、動きブレ強度決定部３０４で決定したフィルタ処理のタップ数及びフィルタ係数に基づいて、撮像画像取得部３０１で取得した撮像画像を用いて、動きブレ付与画像を生成する。
【００４７】
図１１は、第３の実施形態において撮像装置１００が実行する処理を示すフローチャートである。図１１のフローチャートは、システム制御部１０１が動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより実現される。
ステップＳ１１０１〜Ｓ１１０４は、図４のステップＳ４０１〜Ｓ４０４と同様であり、その説明は省略する。
ステップＳ１１０５で、動きブレ強度決定部３０４は、ステップＳ１１０４において求めた消えやすさの評価値に基づいて、動きブレ強度としてフィルタ処理のタップ数及びフィルタ係数を決定する。
図１２は、フィルタ処理のタップ数及びフィルタ係数の決定について説明するための図である。図１２（ａ）、（ｂ）に、撮像画像取得部３０１で取得したＮフレーム目の撮像画像１２０１、Ｎ＋１フレーム目の撮像画像１２０２を示す。また、図１２（ｃ）に、フィルタ処理のタップ数を変更する処理の概要を、図１２（ｄ）にフィルタ処理のフィルタ係数を変更する処理の概要を示す。
まず、基準となるフィルタ処理のタップ数を決めるために、動きベクトルに基づいてタップ数ｔを決定する。
【００４８】
タップ数を変更する場合、図１２（ｃ）に示すように、消えやすさの評価値に基づいてタップ数ｔを変更し、最終的にフィルタ処理で使用するタップ数Ｔを算出する。消えやすさの評価値が大きい場合、動きブレ強度を弱くするためにタップ数を少なくする。一方、消えやすさの評価値が小さい場合、タップ数の変更は行わない。
フィルタ係数を変更する場合、図１２（ｄ）に示すように、動きベクトルに基づいて決定したタップ数ｔ内にあるフィルタ係数を、消えやすさの評価値に基づいて変更して動きブレ強度の調整を行う。消えやすさの評価値が大きい場合、動きブレ強度を弱くするために移動体に近い位置にあるフィルタ係数を大きくする。一方、消えやすさの評価値が小さい場合、フィルタ係数の変更は行わない。
このように、動きブレを付与したときの移動体の消えやすさに応じてタップ数及びフィルタ係数を決定することにより、移動体が消えることなく動きブレを付与することが可能となる。
【００４９】
ステップＳ１１０６で、動きブレ付与部３０５は、ステップＳ１１０５において決定したタップ数及びフィルタ係数に基づいて、ステップＳ１１０１において取得した撮像画像にフィルタ処理を施し、動きブレ付与画像を生成する。
【００５０】
（第４の実施形態）
例えば一連の動画において通常動画から擬似長秒動画に切り替わったり、擬似長秒動画中の前後のフレーム間で合成枚数が大きく変わったりするとき、動きブレ強度が急に切り替わり、不自然な印象を与える動画となってしまうことがある。
第４の実施形態では、不自然な印象を与えないように動きブレ強度を切り替えるようにすることを目的とする。
なお、撮像装置１００の構成及び処理動作について、第１の実施形態と共通するものはその説明を省略し、第１の実施形態の相違点を中心に説明する。
【００５１】
図１３は、第４の実施形態において撮像装置１００が実行する処理を示すフローチャートである。図１３のフローチャートは、システム制御部１０１が動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより実現される。
ステップＳ１３０１で、システム制御部１０１は、合成対象の画像である合成対象画像が残っているか否かを判定する。合成対象画像が残っている場合、ステップＳ１３０２の処理に移行し、合成対象画像が残っていない場合、本処理を終了する。
ステップＳ１３０２で、システム制御部１０１は、合成対象画像の合成枚数を取得する。
【００５２】
ステップＳ１３０３で、システム制御部１０１は、前後のフレームで合成枚数の変化があるか否かを判定する。例えば一連の動画において通常動画から擬似長秒動画に切り替わる場合、前フレームは合成を行わないフレームで、後フレームは合成を行うフレームとなる。また、擬似長秒動画中の前後のフレーム間で合成枚数が変更される場合がある。合成枚数の変化がある場合、ステップＳ１３０４の処理に移行し、合成枚数の変化がない場合、ステップＳ１３０５の処理に移行する。この場合に、合成枚数の変化があるか否かとして、例えば合成枚数の変化が所定の枚数以上であるか否かを判定するようにしてもよい。
【００５３】
ステップＳ１３０４で、システム制御部１０１は、前後のフレームでの合成枚数の変化に応じて、移行期間を設定し、移行期間画像の合成枚数を決定する。移行期間画像では、前後のフレーム間で動きブレ強度を徐々に変化させるために、ステップＳ１３０２において取得した合成枚数とは異なる合成枚数を決定する。
【００５４】
図１４は、移行期間画像の合成枚数の決定について説明するための図である。図１４（ａ）は、横軸を時間（時系列で取得したフレーム）、縦軸を合成枚数で表す特性線を示す。
特性線１４０１は、移行期間画像を生成しない場合の特性線である。ここでは、合成枚数１（合成しない）のフレームから合成枚数４のフレームに切り替わる場合を示す。図１４（ｂ）に、特性線１４０１と合成するフレームとの対応関係を示す。図１４（ｂ）には、時系列で連続する時間Ｔ１〜Ｔ５における合成の様子を表す。特性線１４０１によると、期間Ｔ１〜Ｔ２で合成枚数が変更される。図１４（ｂ）に示すように、時間Ｔ１では合成枚数１のため合成は行われない。その後の時間Ｔ２では合成枚数が４枚に増える。そして、時間Ｔ３以降では合成枚数が４枚のまま保たれる。
【００５５】
それに対して、特性線１４０２は、移行期間画像を生成する場合の特性線である。図１４（ｃ）に、特性線１４０２と合成するフレームとの対応関係を示す。図１４（ｃ）には、時系列で連続する時間Ｔ１〜Ｔ５における合成の様子を表す。特性線１４０２によると、時間Ｔ１〜時間Ｔ４にかけて、合成枚数１、２、３、４と徐々に増える。そして、時間Ｔ５以降では合成枚数が４枚のまま保たれる。
このように前後のフレーム間に移行期間１４１１を設定し、動きブレ強度に影響を与える合成枚数を徐々に変化させる移行期間画像を生成するので、不自然な印象を与えないように動きブレ強度を切り替えることができる。
【００５６】
ここでは合成枚数が増える場合について説明をしたが、図１４（ｄ）に示すように、合成枚数が減る場合についても同様である。特性線１４０３は、移行期間画像を生成しない場合の特性線であり、ここでは、合成枚数４のフレームから合成枚数１（合成しない）のフレームに切り替わる場合を示す。それに対して、特性線１４０４は、移行期間画像を生成する場合の特性線であり、時間Ｔ１〜時間Ｔ４にかけて、合成枚数４、３、２、１枚と徐々に減る。
【００５７】
ステップＳ１３０５で、システム制御部１０１の制御下で画像処理部１０７は、ステップＳ１３０２において取得した合成枚数又はステップＳ１３０４において決定した合成枚数で、合成対象画像の合成を行う。
【００５８】
なお、移行期間の長さを可変とし、例えば移動体の動きベクトルに応じて長さを変更するようにしてもよい。
図１５は、移行期間の長さ、及び移行期間画像の合成枚数の決定について説明するための図である。図１５は、横軸を時間（時系列で取得したフレーム）、縦軸を合成枚数で表す特性線を示す。
特性線１５０１は、移行期間画像を生成しない場合の特性線である。それに対して、特性線１５０２〜１５０４は、移行期間画像を生成する場合の特性線であり、特性線１５０２、１５０３、１５０４の順で移行期間１５１１〜１５１３を長くしている。
【００５９】
前後のフレームで合成枚数が変わるときに、フレーム間の差が視覚的に目立ちにくい場合と目立ちやすい場合とがある。そこで、フレーム間の差が視覚的に目立ちやすい場合、移行期間を長くし、合成枚数の変化がより緩やかになるようにする。
フレーム間の差が視覚的に目立ちやすいか否かは、移動体の動きベクトルに基づいて判定することができる。動きベクトルの算出の仕方は、第１の実施形態で説明したとおりである。このようにして求めた（Ｌ×Ｍ）のブロックそれぞれの動きベクトルに関して、最大の動きベクトルを選び、その大きさに基づいて特性線１５０１〜１５０４を選択する。例えば動きベクトルが大きいほど（移動体の動きが大きいほど）、移行期間を長くした特性線を選択する。動きベクトルが非常に小さい場合（移動体の動きがほとんどない場合）、特性線１５０１を選択するようにしてもよい。移動体の動きがほとんどなければ、前後のフレームで合成枚数が変わるときにも、フレーム間の差が視覚的に目立ちにくいからである。
【００６０】
なお、最大の動きベクトルの大きさに基づいて特性線を選択するようにしたが、これに限られるものではない。例えば前後のフレームでの合成枚数の変化の大きさに基づいて特性線を選択するようにしてもよい。この場合、前後のフレームでの合成枚数の変化が大きいほど、移行期間を長くする特性線を選択する。
また、動きベクトルが算出される領域毎に特性線を選択するようにしてもよい。これにより、移動体の動きに応じて領域毎に異なる動きブレを付与することができる。
【００６１】
（第５の実施形態）
第５の実施形態でも、第４の実施形態と同様、不自然な印象を与えないように動きブレ強度を切り替えるようにすることを目的とする。
なお、撮像装置１００の構成及び処理動作について、第１の実施形態と共通するものはその説明を省略し、第１の実施形態の相違点を中心に説明する。
【００６２】
図１６は、第５の実施形態において撮像装置１００が実行する処理を示すフローチャートである。図１６のフローチャートは、システム制御部１０１が動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより実現される。
ステップＳ１６０１で、システム制御部１０１は、フィルタ処理の対象とする画像が残っているか否かを判定する。フィルタ処理の対象とする画像が残っている場合、ステップＳ１６０２の処理に移行し、フィルタ処理の対象とする画像が残っていない場合、本処理を終了する。
ステップＳ１６０２で、システム制御部１０１は、フィルタ処理の対象とする画像のフィルタ強度を取得する。ここでは、フィルタ強度はフィルタ処理のタップ数で表す。
【００６３】
ステップＳ１６０３で、システム制御部１０１は、前後のフレームでフィルタ強度の変化があるか否かを判定する。例えば一連の動画において通常動画から擬似長秒動画に切り替わる場合、前フレームはフィルタ処理を施さないフレームで、後フレームはフィルタ処理を施すフレームとなる。また、擬似長秒動画中の前後のフレーム間でフィルタ強度が変化する場合がある。フィルタ強度の変化がある場合、ステップＳ１６０４の処理に移行し、フィルタ強度の変化がない場合、ステップＳ１６０５の処理に移行する。この場合に、フィルタ強度の変化があるか否かとして、例えばフィルタ強度の変化が所定の強度以上であるか否かを判定するようにしてもよい。
【００６４】
ステップＳ１６０４で、システム制御部１０１は、前後のフレームでのフィルタ強度の変化に応じて、移行期間を設定し、移行期間画像のフィルタ強度を決定する。移行期間画像では、前後のフレーム間で動きブレ強度を徐々に変化させるために、ステップＳ１６０２において取得したフィルタ強度とは異なるフィルタ強度を決定する。
【００６５】
図１７は、移行期間画像のフィルタ強度の決定について説明するための図である。図１７（ａ）に、横軸を時間（時系列で取得したフレーム）、縦軸をフィルタ強度（タップ数）で表す特性線を示す。
特性線１７０１は、移行期間画像を生成しない場合の特性線である。ここでは、タップ数１（隣接画素の影響を受けない）のフレームからタップ数７のフレームに切り替わる場合を示す。特性線１７０１によると、期間Ｔ１〜Ｔ２でタップ数が変更される。
【００６６】
それに対して、特性線１７０２は、移行期間画像を生成する場合の特性線である。図１７（ｂ）に、特性線１７０２とタップ数との対応関係を示す。図１７（ｂ）には、時系列で連続する時間Ｔ１〜Ｔ４におけるフィルタ処理の様子を表す。特性線１７０２によると、時間Ｔ１〜時間Ｔ４にかけて、タップ数が１、３、５、７と徐々に増える。そして、時間Ｔ４以降ではタップ数が７のまま保たれる。
このように前後のフレーム間の移行期間１７１１を設定し、動きブレ強度に影響を与えるフィルタ強度を徐々に変化させる移行期間画像を生成するので、不自然な印象を与えないように動きブレ強度を切り替えることができる。
【００６７】
ステップＳ１６０５で、システム制御部１０１の制御下で画像処理部１０７は、ステップＳ１６０２において取得したフィルタ強度又はステップＳ１６０４において決定したフィルタ強度で、フィルタ処理の対象とする画像にフィルタ処理を施す。
【００６８】
なお、フィルタ強度の制御として、フィルタ処理のタップ数を変更すること説明したが、フィルタ係数を変更することでも同様の効果を得ることができる。
図１８は、移行期間画像のフィルタ強度の決定について説明するための図である。図１８（ａ）に、あるシーンを示し、図１８（ｂ）に、当該シーンでのフィルタ係数の変化を示す。図１８（ｂ）では、時系列で連続する時間Ｔ１〜Ｔ５におけるフィルタ処理の様子を表す。フィルタ係数によりフィルタ強度を制御する場合、移動体の動いている方向に重みを持ったブラーをつけることで実現する。そこで、まず移動体の動きベクトルを求める。図１８（ａ）の例では、移動体１８００の左方向の動きベクトルが検出される。このとき、時間Ｔ１では、着目画素の重みが大きいフィルタ係数を選択する。その後の時間Ｔ２〜Ｔ５では、着目画素の右方向の画素の重みが大きくなるようにフィルタ係数を徐々に変更する。
【００６９】
（第６の実施形態）
第６の実施形態では、撮影中にユーザが光学系１０４によるズームイン操作を行って撮影された動画に対して動きブレを付与する形態について説明する。本実施形態ではズームイン操作を例に説明するが、ズームアウト操作を行って撮影された動画に対しても同様に適用可能である。
なお、撮像装置１００の構成及び処理動作について、第１の実施形態と共通するものはその説明を省略し、第１の実施形態の相違点を中心に説明する。
【００７０】
図１９は、本実施形態に係る撮像装置１００の画像処理部１０７の機能構成を示す図である。
画像取得部１９０１は、例えばＲＡＭ１０３から撮像画像を取得する。
撮影情報取得部１９０２は、画像取得部１９０１で取得した撮像画像について、焦点距離やズーム倍率、撮像装置１００の動き等の各種撮影情報を取得する。
判定部１９０３は、画像取得部１９０１で取得した撮像画像及び撮影情報取得部１９０２で取得した各種撮影情報に基づいて、動きブレをどのように付与するかを判定する。
動きブレ付与部１９０４は、判定部１９０３での判定結果に基づいて、画像取得部１９０１で取得した撮像画像を用いて、動きブレ付与画像を生成する。
なお、画像処理部１０７が各部１９０１〜１９０４として機能する構成として説明したが、例えばシステム制御部１０１が判定部１９０３として機能する構成としてもよい。
【００７１】
図２０は、第６の実施形態において撮像装置１００が実行する処理を示すフローチャートである。
ステップＳ２００１で、判定部１９０３は、動画において所定の時間単位にズーム操作が行われたか否かを判定する。具体的には、動画を構成するフレーム単位に焦点距離の値を参照して、ズーム操作が行われたか否かを判定する。焦点距離の変化が検出されればズーム操作ありと判定して、ステップＳ２００２の処理に移行し、焦点距離の変化が検出されなければズーム操作なしと判定して、ステップＳ２００９の処理に移行する。
【００７２】
ステップＳ２００２で、判定部１９０３は、ステップＳ２００１において判定したズーム操作期間において、ズーム操作が途切れた区間（以下、ズーム途切れ期間と呼ぶ。）が存在するか否かを判定する。具体的には、焦点距離が変化している区間と区間の間に焦点距離が変化していない区間が何フレームあるかを検出する。
ステップＳ２００３で、判定部１９０３は、ステップＳ２００２において検出したズーム途切区間が所定のフレーム数Ｔ１［frame］以上であるか否かを判定する。ズーム途切れ区間がＴ１未満である場合、ステップＳ２００４の処理に移行し、ズーム途切れ区間がＴ１以上である場合、ステップＳ２００５の処理に移行する。
【００７３】
ステップＳ２００４で、判定部１９０３の制御下で動きブレ付与部１９０４は、ステップＳ２００２において検出したズーム途切れ区間のフレームを除外した上で、合成に用いるフレームを選択し、動きブレ付与画像を生成する。これは、焦点距離が変化していない区間に属するフレームの画像を合成に用いると、動きブレ付与画像内で動きブレの強さが一様とならないためである。
図２１は、ステップＳ２００４におけるフレーム間引き合成を説明するための図である。図２１の横軸は時間［frame］、縦軸は焦点距離［ｍｍ］を表し、フレーム毎の焦点距離の変化を表す。フレーム２１０１に対応する動きブレ付与画像を生成するために、フレーム２１０１の画像とその前後のフレームの画像との合成を行うが、その際に、ズーム途切れ区間のフレーム２１０２を除外し、ズーム途切れ区間外のフレーム２１０３を選択する。フレーム２１０２は焦点距離が変化しない区間に属することから、これを合成に用いると、動きブレ付与画像内で動きブレの強さが一様とならないためである。
【００７４】
ステップＳ２００５で、判定部１９０３は、ステップＳ２００２において検出したズーム途切れ区間がＴ１以上、所定のフレーム数Ｔ２［frame］未満であるか否かを判定する。ズーム途切れ区間がＴ１以上、Ｔ２未満である場合、ステップＳ２００６の処理に移行し、ズーム途切れ区間がＴ１以上、Ｔ２未満でない場合、ステップＳ２００９の処理に移行する。
ステップＳ２００６で、判定部１９０３は、ステップＳ２００２において検出したズーム途切れ区間において被写体の動きがあるか否かを判定する。具体的には、例えば第１の実施形態で述べたようにブロック単位に移動体領域の検出を行い、移動体領域が画像内に占める割合が所定の割合以上（例えば３０％）であれば動きがあると判定する。なお、被写体の動きの判定手法としてはこれに限られるものではなく、他の手法を用いてもよい。被写体の動きがあると判定した場合、ステップＳ２００７の処理に移行し、被写体の動きがないと判定した場合、ステップＳ２００４の処理に移行する。
【００７５】
ステップＳ２００７で、判定部１９０３の制御下で動きブレ付与部１９０４は、ステップＳ２００２において検出したズーム途切れ区間のフレームの画像を拡大及びクロップした上で合成を行い、動きブレ付与画像を生成する。これは、被写体の動きが大きい場合に、ステップＳ２００４のようにフレームを間引いて合成を行うと、動きのある被写体がまばらな残像となってしまい、自然な動きブレの効果が得られないためである。これを回避するために、ズーム途切れ区間のフレームの画像を拡大及びクロップすることにより、疑似的に焦点距離を変化させた画像を生成して、合成に用いることが可能となる。
【００７６】
図２２は、ステップＳ２００７におけるフレーム拡大合成を説明するための図である。図２２の横軸は時間、縦軸は焦点距離を表し、フレーム毎の焦点距離の変化を表す。図２２（ａ）に示すように、ズーム途切れ区間及びその後のズーム終了までの区間において、実線で示す焦点距離を、点線で示す焦点距離のように補正することにより、ズームの途切れのないフレーム群とすることができる。
また、焦点距離の補正パターンとしては、図２２（ｂ）の点線に示すものでもよい。すなわち、焦点距離の変化が一定になるように、ズーム途切れ区間だけでなく、ズーム開始時よりも前の時刻のフレームの画像を拡大及びクロップした上で合成を行う。これにより、元の動画よりもズーム速度がゆっくりとした動画を生成することができる。
なお、補正パターンはユーザが任意に選択できるようにしてもよいし、シーンに応じて適応的に自動選択されるようにしてもよい。例えばズーム開始時とズーム終了時の焦点距離の差が所定の値よりも大きい（例えば３倍）場合、図２２（ａ）に示すようにズームの速度は変えない、又は速くするために点線の傾きがより急峻となるようにする。一方、ズーム開始時とズーム終了時の焦点距離の差が所定の値よりも小さい場合、図２２（ｂ）に示すようにズームの速度を遅くする。また、焦点距離の差だけでなく、被写体の距離に応じて補正パターンを選択するようにしてもよく、例えば撮影時のオートフォーカス処理において取得した測距情報を参照し、被写体が遠くに存在する場合、ズームの速度を速くするといった制御も可能である。
また、図２２（ｃ）に示すように、拡大ではなく縮小する方向に補正することも可能である。この場合、縮小しないフレームの画像と画角を合わせるために、表示・記録される画角よりも広い画角を予め持っておく必要がある。
【００７７】
ステップＳ２００８で、判定部１９０３の制御下で動きブレ付与部１９０４は、ズーム操作期間中に付与する動きブレの強さが一定となるように合成に用いるフレームを選択し、動きブレ付与画像を生成する。具体的には、ズームの速度が一定でなくても動きブレの見え方が不均一になることがないように、焦点距離の変化量に応じて合成に用いるフレームを選択する。
図２３は、ステップＳ２００８における一定化合成を説明するための図である。図２３の横軸は時間、縦軸は焦点距離であり、フレーム毎の焦点距離の変化を表す。ズーム操作期間においてズーム区間１とズーム区間２とでズームの速度（焦点距離の変化の傾き）が異なっている。この場合、ズーム区間１においては、フレーム２３０１に対応する動きブレ付与画像を生成するために、フレーム２３０１の画像とその前後の例えば２枚ずつのフレーム２３０２の画像の合成を行う。また、区間２においては、フレーム２３０３に対応する動きブレ付与画像を生成するために、フレーム２３０３の画像とその前後でとびとびに隣接する例えば２枚ずつのフレーム２３０４の画像との合成を行う。これにより、合成する各フレームの画像間の焦点距離の差を合わせることができ、合成により付与される動きブレの見え方が均一となる。
【００７８】
ステップＳ２００９で、判定部１９０３の制御下で動きブレ付与部１９０４は、フレームを間引いたり、拡大したりせず、時間軸上で隣接する所定の数のフレームの画像の合成を行うことにより、動きブレ付与画像を生成する。
【００７９】
本実施形態では、撮影時のズーム操作が途切れたり、不均一であったりする場合でも、焦点距離の変化に応じて画像の合成を制御することにより、ユーザの所望とする自然な動きブレ効果を有する動画を生成することができる。
【００８０】
なお、動きブレ付与画像を生成する際、選択したフレームの画像を一律に合成する構成を述べたが、これに限られるものではなく、合成するフレームの数を画像内の領域に応じて可変にしてもよい。例えばズームイン操作をするとき画像の中央付近には注目すべき主要な被写体が存在することが多く、合成によって動きブレが強すぎて視認しにくくなることがある。そこで、図２４に示すように、画像中央は合成枚数を少なく、像高が高くなるほど合成枚数を多くすることにより、ズーム操作によるブラー効果を出しながら、主要な被写体に対しては動きブレが強すぎないように制御することが可能となる。
【００８１】
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば実施形態では、画像処理装置の一例として撮像装置について説明するが、本発明の適用先は撮像装置に限定されず、例えば撮像装置による撮像画像が入力されるパーソナルコンピュータ（ＰＣ）等であってもよい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８２】
１００：撮像装置、１０１：システム制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：表示部、１０９：記録部、３０１：撮像画像取得部、３０２：移動体情報取得部、３０３：被写体情報取得部、３０４：動きブレ強度決定部、３０５：動きブレ付与部、３０６：画像出力部
【図１】
2019110386.tif 000008
【図２】
2019110386.tif 000009
【図３】
2019110386.tif 000010
【図４】
2019110386.tif 000011
【図５】
2019110386.tif 000012
【図６】
2019110386.tif 000013
【図７】
2019110386.tif 000014
【図８】
2019110386.tif 000015
【図９】
2019110386.tif 000016
【図１０】
2019110386.tif 000017
【図１１】
2019110386.tif 000018
【図１２】
2019110386.tif 000019
【図１３】
2019110386.tif 000020
【図１４】
2019110386.tif 000021
【図１５】
2019110386.tif 000022
【図１６】
2019110386.tif 000023
【図１７】
2019110386.tif 000024
【図１８】
2019110386.tif 000025
【図１９】
2019110386.tif 000026
【図２０】
2019110386.tif 000027
【図２１】
2019110386.tif 000028
【図２２】
2019110386.tif 000029
【図２３】
2019110386.tif 000030
【図２４】
2019110386.tif 000031