(57)【要約】      （修正有）【課題】背景とフォロー撮影をしている被写体の動きが近い場合においても良好な流し撮り画像を生成することが可能な画像処理装置を提供する。【解決手段】画像処理装置の動きブレ防止部２００において、基準領域を指定するための基準領域指定手段と、基準領域と所定の関連を有する動きブレ補正対象領域を自動的に特定する動きブレ補正対象領域特定手段２０５と、動きブレ補正対象領域から基準動きブレを特定する基準動きブレ特定手段２０２と、基準動きブレが所定の動きブレになるように動きブレ補正対象領域内の動きブレを変化させるとともに動きブレ補正対象領域の内外で動きブレの変化量を異ならせるように制御する動きブレ制御手段２０３と、を有する。【選択図】図２
2020080518.tif 000002
【特許請求の範囲】
【請求項１】
基準領域を指定するための基準領域指定手段と、
前記基準領域と所定の関連を有する動きブレ補正対象領域を自動的に特定する動きブレ補正対象領域特定手段と、
前記動きブレ補正対象領域から基準動きブレを特定する基準動きブレ特定手段と、
前記基準動きブレが所定の動きブレになるように前記動きブレ補正対象領域内の動きブレを変化させるとともに前記動きブレ補正対象領域の内外で動きブレの変化量を異ならせるように制御する動きブレ制御手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記動きブレ補正対象領域特定手段は、ユーザーによる前記基準領域の指定を受け付けることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動きブレ補正対象領域特定手段は、ユーザーによる前記基準領域の座標情報の指定を受け付けることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記動きブレ補正対象領域内の動きブレ量または方向の変更を指示するための指示手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記指示手段は、ユーザーによる前記指示を受け付けることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記動きブレ制御手段は、動きベクトルの大きさと向きに基づいてフィルター処理を施す際のフィルターのタップ数を変更してフィルター処理を施すことにより動きブレを変化させることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記所定の関連を有する領域は、前記基準領域から画面内において所定範囲内であって、前記基準領域の動きベクトルの大きさまたは向きとの差が所定の閾値未満の領域であることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記所定の関連を有する領域は、前記基準領域の被写体との被写体距離の差が所定の閾値未満の領域であることを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記所定の関連を有する領域は、前記基準領域の色または輝度との差が所定の閾値未満の領域である事を特徴とする請求項１記載の画像処理装置。
【請求項１０】
前記動きブレ補正対象領域特定手段は、前記基準領域指定手段によって複数の基準領域が指定された場合には、それぞれの基準領域と前記所定の関連を有する領域を自動的に特定することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記動きブレ制御手段は、少なくとも前記基準動きブレとの差が所定の閾値未満の動きブレを持つ画素の動きブレを小さくするにように動きブレを制御することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記動きブレ制御手段は、少なくとも前記基準動きブレとの差が所定の閾値未満の動きブレを持つ画素の動きブレを大きくするにように動きブレを制御することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１３】
前記基準動きブレ特定手段は、画像間の差分情報を元に動きベクトルを算出することによって前記動きブレを特定することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記動きブレ制御手段により前記動きブレ補正対象領域内の動きブレを変化させる前の動きブレ情報を表示する表示手段を有することを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
基準領域を指定するための基準領域指定ステップと、
前記基準領域と所定の関連を有する動きブレ補正対象領域を自動的に特定する動きブレ補正対象領域特定ステップと、
前記動きブレ補正対象領域から基準動きブレを特定する基準動きブレ特定ステップと、
前記基準動きブレが所定の動きブレになるように前記動きブレ補正対象領域内の動きブレを変化させる変化させるとともに前記動きブレ補正対象領域の内外で動きブレの変化量を異ならせるように制御する動きブレ制御ステップとを有することを特徴とする画像処理方法。
【請求項１６】
請求項１から１４のうちいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
【請求項１７】
請求項１６に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に、画像に発生する被写体の動きブレを制御するための技術に関する。
【背景技術】
【０００２】
移動している被写体のスピード感を表現する撮影技法として流し撮りという技法がある。この流し撮り技法は、露光時間を通常よりも長めに設定し、撮影者が被写体の動きに追従するようにカメラをフォローして撮影を行う。このようにフォロー撮影した画像では、移動している被写体は静止し、背景は動きブレにより流れるような表現になる。一方、このような流し撮り画像を画像処理で生成する技術がある。この技術は、移動している被写体を撮影した複数枚画像間における動きを解析し、その動きに基づき動きブレを付与することにより、あたかも実際に流し撮りしたかのような画像を画像処理で生成する技術である。
【０００３】
この画像処理により動きブレを付与する技術として特許文献１がある。特許文献１によると、複数の連続画像を撮影し複数枚間の画像から背景の動き量を算出することで背景に動きブレを付与する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような流し撮りにおいては、移動している被写体は静止し、背景がブレていることが望ましい。しかしながら、フォロー撮影時において、被写体の動きに追従できていない場合、複数枚画像間において被写体の位置がずれ、その移動量に従い被写体に動きブレを付与してしまうため移動している被写体がブレてしまうといった課題がある。
特に背景とフォロー撮影をしている被写体の動きが近い場合には動き量をうまく分離する事ができず、画像処理でフォロー撮影時の被写体のブレをうまくとることはできない。
【０００６】
本発明は、上記の問題点を鑑みてなされたものであり、背景とフォロー被写体の動きが近い場合であってもフォロー撮影時の被写体の動きブレを低減した流し撮り画像を容易に生成することができる画像処理装置を実現することを目的とする。
【課題を解決するための手段】
【０００７】
画像処理装置において、基準領域を指定するための基準領域指定手段と、
前記基準領域と所定の関連を有する動きブレ補正対象領域を自動的に特定する動きブレ補正対象領域特定手段と、
前記動きブレ補正対象領域から基準動きブレを特定する基準動きブレ特定手段と、
前記基準動きブレが所定の動きブレになるように前記動きブレ補正対象領域内の動きブレを変化させるとともに前記動きブレ補正対象領域の内外で動きブレの変化量を異ならせるように制御する動きブレ制御手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、背景とフォロー被写体の動きが近い場合であってもフォロー撮影時の被写体の動きブレを低減した流し撮り画像を容易に生成することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の画像処理装置の構成例を示す図。
【図２】実施例１における動きブレ制御部２００の構成例を示す図。
【図３】実施例１における動きブレ制御部２００の処理フローを示すフローチャート。
【図４】代表シーンにおける撮像画像を示す図。
【図５】ステップＳ３０２自動動きブレ制御の処理フローを示すフローチャート。
【図６】動きベクトル算出部２０１の処理フローを示すフローチャート。
【図７】動きベクトルの算出方法を示す図。
【図８】代表シーンにおける動きベクトルを示す図。
【図９】動きブレ変換特性を示す図。
【図１０】動きブレ補正対象領域の領域検出の方法を示す図。
【図１１】動きブレ付与方法を示す図。
【図１２】ステップＳ３０４動きブレ調整の処理フローを示すフローチャート。
【図１３】代表シーンにおける動きブレ調整の効果を示す図。
【図１４】動きブレ変換特性を示す図。
【図１５】動きブレ変換を行う際のユーザー表示画面を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の好適な実施の形態について説明する。
【実施例１】
【００１１】
本発明の実施例１は、ユーザーによる動きブレに関する指示に基づき、画像の動きブレを制御する。以下、実施例１について説明する。
図１は、本実施例の動きブレ制御技術を画像処理装置の一例として撮像装置１００に応用した場合の構成例を示すブロック図である。撮像装置１００としては例えばカメラやスマートフォンなどが含まれる。以下、実施例１のブロック構成について図１を参照して説明する。なお、実施例１では画像処理装置の一例として撮像装置１００に応用した場合について説明するが本発明は撮像装置ではなくてもよく、たとえばＰＣや撮像機能がない画像再生装置などであってもよい。
【００１２】
制御部１０１は、例えばコンピュータとしてのＣＰＵであり、撮像装置１００が備える各ブロックに対する動作制御プログラム（コンピュータプログラム）を後述の記憶媒体としてのＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作制御プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、撮像装置１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。
【００１３】
光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５の撮像面上に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、動きブレ制御部２００を具備し、記録部１０８に記憶されている画像に対して動きブレを付与した動きブレ画像を生成する。
【００１４】
記録部１０８は、着脱可能なメモリカード等を含む。記録部１０８は、画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介し、記録画像として記録する。また、記録部１０８は、記録している画像データを、ＲＡＭ１０３を介し、画像処理部１０７に出力することもできる。表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に一時的に記憶されている画像や記録部１０８に記録されている画像の表示、ユーザーからの指示を受け付けるための操作ユーザーインターフェイス画像の表示等を行う。指示入力部１１０は、タッチパネルやマウス、キーボード等であり、ユーザーによる指示を受け付ける。
【００１５】
次に、本実施例の特徴である画像処理部１０７の動作について、詳細に説明を行う。本実施例では、露光時間が短い撮像画像に対する動きブレを制御する例について記載する。
まず、画像処理部１０７が具備する動きブレ制御部２００の構成例について、図２を参照して説明する。動きブレ制御部２００は、記録部１０８に記録した画像データに対して、動きブレを付与し、動きブレ画像を生成する。
図２は、動きブレ制御部２００の構成例を示す図である。動きブレ制御部２００は、動きベクトル算出部２０１、基準動きブレ特定手段としての基準動きベクトル特定部２０２、動きブレ変換特性算出部２０３、動きブレ付与部２０４及び動きブレ補正対象領域特定部２０５より構成されている。
次に、動きブレ制御部２００の処理について、図３のフローチャートを参照して説明する。
【００１６】
図３のステップＳ３０１において、制御部１０１は撮像部１０５が撮像する際の露光時間を決定する。そして、撮像部１０５は決定した露光時間に基づき複数枚画像を撮像（撮影）し、記録部１０８に記録する。本実施例では、撮像フレームレートとして毎秒６０枚の画像を撮像する例について説明する。つまり、撮像部１０５は１／６０秒毎に１枚の画像を撮像する。露光時間は、表示部１０９のユーザーインターフェイスを介し、ユーザーが決定しても良いし、制御部１０１が自動露出制御により決定しても良い。自動露出制御による露光時間の決定方法は、例えば、撮像部１０５が撮像したデジタル画像データの所定領域毎の測光値に基づき露光時間を決定する方法が挙げられる。詳細は後述するが、ここで決定する露光時間は、通常の流し撮りよりも短い時間とし、動体ブレの少ない画像を撮像する。撮像する画像の例について図４を参照して説明する。図４は、撮影者が走っている犬を追従するように撮像装置１００を振り、フォローしながら連写撮影（フォロー撮影）をしている例を示し、図４（Ａ）はＮフレーム目の撮像画像、図４（Ｂ）はＮ＋１フレーム目の撮像画像を示す。尚、Ｎは正の整数である。また、Ｎフレーム目、Ｎ＋１フレーム目の撮像画像は、短い露光時間で撮像しているため撮像画像に大きな動きブレは発生していない。
【００１７】
フォロー撮影時において、走っている犬の細部に完璧に追従し撮影することは非常に困難である。図４の例では、走っている犬の前後の足の動きが、犬の胴体と異なるため、Ｎフレーム目とＮ＋１フレーム目で変化してしまっている。
図３のステップＳ３０２において、動きブレ制御部２００は、ステップＳ３０１において撮像したＮフレーム目の撮像画像に対して動きブレを付与し、動きブレ画像を表示部１０９に表示する。ステップＳ３０２の動きブレ付与の詳細については、図５を用いて後述する。
【００１８】
図３のステップＳ３０３において、ユーザーはステップＳ３０２において表示部１０９に表示した動きブレ画像を確認し、指示入力部１１０は、動きブレの調整が必要か否かの指示を受け付ける。ステップＳ３０３において、動きブレの調整が必要という指示を受け付けなかった場合は図３のフローは終了となる。ステップＳ３０３において、動きブレの調整が必要という指示を受け付けた場合は、図３のステップＳ３０４に処理に移行する。
図３のステップＳ３０４において、動きブレに関するユーザー指示に基づき、ステップＳ３０１の処理で撮像したＮフレーム目の撮像画像に対して動きブレを調整し、動きブレ画像を表示部１０９に表示する。ステップＳ３０４の動きブレの調整方法については、図１２を用いて後述する。
【００１９】
図３のステップＳ３０５において、ユーザーはステップＳ３０４の処理により表示部１０９に表示した動きブレ画像を確認し、指示入力部１１０は、動きブレの調整が完了したか否かの指示を受け付ける。ステップＳ３０５において、動きブレの調整が完了したという指示を受け付けた場合は図３のフローは終了となる。一方、ステップＳ３０５において、動きブレの調整が完了したという指示を受け付けない場合は、図３のステップＳ３０４に戻り、動きブレ調整を繰り返す。
次に、図３のステップＳ３０２における自動で動きブレを付与する処理の詳細について、図５のフローチャートを参照して説明する。
【００２０】
図５のステップＳ５０１において、制御部１０１が目標動きブレ情報を算出する。目標動きブレ情報とは、露光時間が何秒相当の動きブレの付与を目標とするか示す情報である。この目標動きブレ情報により、動きブレの長さが変わる。例えば、１／６０秒相当の動きブレの長さは１／１２０秒相当の動きブレの長さの２倍となる。
【００２１】
図５のステップＳ５０２において、図２の動きベクトル算出部２０１は、記録部１０８に記録した撮像画像間の動きベクトルを算出する。そして、算出した動きベクトルを図２の基準動きベクトル特定部２０２及び動きブレ付与部２０４に出力する。ここで、動きベクトルの算出方法について、図６、図７及び図８を参照して説明する。
図６は、動きベクトル算出部２０１によるステップＳ５０２の動きベクトルの算出処理を示すフローチャート、図７は、ブロックマッチング法による動きベクトルの算出方法を示す図である。尚、本実施例では、動きベクトルの算出手法例として、ブロックマッチング法について説明するが、動きベクトルの算出手法はこれに限ったものではない。例えば、オプティカルフロー手法でも良い。
【００２２】
図６のステップＳ６０１において、図２の動きベクトル算出部２０１は、記録部１０８に記録した２枚の撮像画像を入力する。そして、Ｎフレーム目の撮像画像を基準撮像画像に設定し、時間的に後のＮ＋１フレーム目の撮像画像を参照撮像画像に設定する。
図６のステップＳ６０２において、図７のように、基準撮像画像７０１において、Ｎ×Ｎ画素の基準ブロック７０２を配置する。
図６のステップＳ６０３において、図７のように、参照撮像画像７０３において、基準撮像画像７０１の基準ブロック７０２と同座標７０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を探索範囲７０５に設定する。
【００２３】
図６のステップＳ６０４において、参照撮像画像７０３の探索範囲７０５に存在する異なる座標のＮ×ｎ画素の参照ブロックと基準撮像画像７０１の基準ブロック７０２の相関演算を行い、相関値を算出する。相関値は、基準ブロック７０２及び参照ブロックの画素に対する、画像間差分絶対値和に基づき算出する。つまり、差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。尚、相関値の算出方法は、差分絶対値和に限ったものではない。例えば、差分二乗和や正規相互相関値に基づき、相関値を算出しても良い。図７の例では、参照ブロック７０６が最も相関が高いことを示している。
図６のステップＳ６０５において、最も高い相関値を示す参照ブロック座標に基づき動きベクトルを算出する。図７の例では、基準撮像画像７０１の基準ブロック７０２と同座標７０４から参照ブロック７０６の中心座標の差を動きベクトルとする。
【００２４】
図６のステップＳ６０６において、図７の基準ブロック７０２を移動させながら、ステップＳ６０２、ステップＳ６０３、ステップＳ６０４及びステップＳ６０５の処理を繰り返し、基準撮像画像７０１の全画素の動きベクトルを算出する。尚、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。
以上のような方法に基づき算出した撮像画像間の動きベクトルの例を図８に示す。図８は、図４（Ａ）Ｎフレーム目の撮像画像を基準撮像画像、図４（Ｂ）Ｎフレーム目の撮像画像を基準撮像画像とした場合の差分情報に基づく動きベクトルを示す図である。図８の矢印が動きベクトルを示し、矢印の長さが動きベクトルの長さ、矢印の方向が動きベクトルの方向を示す。図８の例では画素毎の動きベクトルは描画せず、代表的な動きベクトルのみに簡略化し示している。
【００２５】
図８の例では、撮像装置１００を向かって右から左に振り、中央で走っている犬をフォロー撮影している。そのため、背景の静止物は右方向の動きベクトルとして検出し、走っている犬の胴体付近（８００）は撮像装置１００と同じ動きのため、撮像装置１００と犬の相対速度としては０のため、動きベクトルとして０が算出される。しかしながら、犬の手足の振りに対してはフォロー撮影方向と速度や動きが異なるため０以外の動きベクトルが出現する。それぞれ前足の動きベクトルは、８０１、８０２で表され、後ろ足の動きベクトルは８０３、８０４である。前足（８０１、８０２）と後ろ足（８０３、８０４）は別方向の動きベクトルとなっている。更に、後ろ足の動きベクトルは、背景のベクトルと同じ動き量になっている事を示している。動きベクトルには方向が存在する。そのため本実施例中では、例えば水平方向では左向き、垂直方向では下向きの動きベクトルはマイナス、逆に右や上向きの動きベクトルはプラスで説明を行なう。
【００２６】
図５のステップＳ５０３において、図２の動きブレ変換特性算出部２０３は、目標動きブレ情報に基づいて動きベクトルを動きブレ付与情報に変換するための特性を算出する。尚、動きブレ付与情報とは、水平方向の動きブレ量と垂直方向の動きブレ量から成り、動きブレ付与部２０４が動きブレを付与するための動きブレの方向（動きベクトルの向きに対応）と動きブレ量（動きベクトルの長さに対応）を決める情報である。この動きブレ変換特性の算出方法について図９を参照して説明する。図９は、動きブレ変換特性を示す図である。横軸は、動きベクトルの水平方向の移動量を示す値で、縦軸は水平方向の動きブレ量を示している。尚、図９においては、簡略化のため動きベクトルの水平成分を水平方向の動きブレ量に変換する変換特性を示している。本来、動きベクトルは水平方向の移動量と垂直方向の移動量から成るが、垂直方向に関する変換方法及び変換特性は水平方向と同様の方法で算出するため説明は省略する。
図９における動きブレ変換特性Ｌ９０１は以下の式（１）で表され、目標動きブレ情報が１／６０秒相当の場合の動きブレ変換特性である。
水平方向の動きブレ量  ＝  水平方向の移動量  ・・・式（１）
【００２７】
撮像画像のフレームレートは毎秒６０枚であるため、水平方向の移動量は、１／６０秒間における移動量となる。動きブレ変換特性Ｌ９０１は、１／６０秒間における移動量に相当する動きブレ量を算出している。
また、図９における動きブレ変換特性Ｌ９０２は式（２）で表され、目標動きブレ情報が１／１２０相当の場合の動きブレ変換特性である。
水平方向の動きブレ量  ＝  １／２  ×  水平方向の移動量  ・・・式（２）
動きブレ変換特性Ｌ９０２は、１／６０秒間における移動量の半分である１／１２０秒間における移動量に相当する動きブレ量を算出している。
【００２８】
つまり、動きブレ変換特性Ｌ９０２に基づき変換した場合、動きブレ変換特性９０１に基づき変換した動きブレ量の二分の一相当の動きブレ量を付与することになる。このように動きブレ変換特性を変えることにより、動きブレ量をコントロールすることが可能となる。図５のステップＳ５０４において、動きブレ付与部２０４は、動きブレ変換特性算出部２０３が算出した動きブレ変換特性と動きベクトル算出部２０１が算出した画素毎の動きベクトルを参照する。そして両者のベクトルに基づき撮像画像に動きブレを付与し、動きブレ画像を表示部１０９に出力する。動きブレ付与方法については、例えば特開２０１０−１５４８３に記載されている動きベクトルを用いたフィルター処理を行うことで実現できる。この動きブレを付与するフィルター処理は、画素単位もしくは、複数画素による画素ブロック単位で行なうことが可能である。また、動きベクトルの大きさと向きに基づいてフィルター処理を施す際のフィルターのタップ数（フィルターサイズ）を変更してフィルター処理を施すことにより動きブレを変化させることができる。
【００２９】
図１１は動きブレ付与の方法を示す図である。図１１の動きブレ付与情報Ｌ１１０１は、着目画素Ａの動きブレ付与情報を示す。また、この動きブレ付与情報Ｌ１１０１は、画素Ａから画素Ｂ及び画素Ｃを通り、画素Ｄまで到達する動きブレ付与情報であり、動きベクトルが水平方向に４ピクセル、垂直方向に４ピクセルを表している。  図５のステップＳ５０５において、ステップＳ５０４において動きブレ付与部２０４が生成した動きブレ画像を表示部１０９に表示する。
以上、図３のステップＳ３０２における自動動きブレ制御の処理について説明した。
【００３０】
次に、図３のステップＳ３０４における動きブレ調整方法について、図１２のフローチャートを参照して詳しく説明する。動きブレ調整は、被写体毎に動きブレ量を調整したいというユーザーの要求を実現するために行なう。
図１２のステップＳ１２０１において、制御部１０１は、指示入力部１１０を介し、ユーザーによる動きブレ調整指示として指定基準領域の指定（指示）を受け付ける。このとき指示入力部１１０は基準領域指定手段として機能する。また、図１２のステップＳ１２０２において、制御部１０１は、指示入力部１１０を介し、ユーザーによる動きブレ調整指示として指定基準領域における指定動きブレの指示を受け付ける。動きブレ調整指示を受け付ける方法に関して図１３を参照して説明する。
【００３１】
図１３（Ａ）は動きブレ調整前画像を示し、図１３（Ｂ）は指定基準領域のブレ量以下の動きぶれ量を軽減した動きブレ調整後画像を示し、図１３（Ｃ）は、指定基準領域の周辺（手足）のみの動きぶれ量を軽減した動きブレ調整後画像を示す。図１３（Ｂ）のように、指定基準領域のブレ量以下の動きブレ量を軽減した場合は、指定基準領域のブレ量に近い動きブレ量をもつ背景領域なども同時に動きブレ量が軽減されてしまう。そこで本実施例では、図１３（Ｃ）のように、指定基準領域を含み指定基準領域の被写体に関連する周辺（手足）領域のみの動きぶれ量を制御する。これにより、ユーザーが所望とする領域だけに絞って動きブレを調整することができる。
【００３２】
図１３（Ａ）動きブレ調整前画像は、図３のステップＳ３０２における自動動きブレ制御後に表示部１０９に表示した動きブレ画像である。ユーザーは表示部１０９に表示された動きブレ画像を確認し、動きブレ画像の調整が必要か否かを判断する（図３のステップＳ３０３の判断）。ここで、図１３（Ａ）動きブレ調整前画像の例では、背景だけではなく、主被写体の走っている犬の手足まで動きブレが発生している。図１３（Ａ）は、図８の動きベクトルに基づき動きブレを付与している図であり、犬の手足の動きベクトルの大きさが０ではないためである。一般的に、流し撮り画像は主被写体には動きブレが付かずに静止し、背景に動きブレが付与される画像の方が、主被写体に動きブレが付いている画像に比べて主被写体のスピード感が際立ち好ましいとされている。そこで本実施例ではユーザーは、図１３（Ａ）の動きブレ調整前画像のような動きブレ画像を確認し、タッチパネルによるタッチ操作、又は、マウスによるクリック操作等により動きブレ画像の調整を指示する。
【００３３】
具体的には、図１３（Ａ）Ｌ１３０１、Ｌ１３０２に示すように、ユーザーは動きブレの調整したい領域をタッチ操作又はクリック操作する。その際に、タッチ操作のやり方やクリック操作等のやり方に基づき、指定基準領域の動きブレを小さく調整するのか、大きく調整するのかを指定する。例えば、ユーザーがシングルタッチ又はシングルクリックで指定した場合、制御部１０１は、指定基準領域の指定動きブレとして、動きブレを小さくする指示として受け付ける。また、ユーザーがダブルタッチ又はダブルクリックで指定した場合、制御部１０１は、指定基準領域の指定動きブレとして、動きブレを大きくする指示として受け付ける。なお、指定基準領域を指定する方法としては上記のようなタッチやクリックではなくてもよく、例えば画面内における座標情報をテンキーなどで入力することによって指定してもよい。
【００３４】
例えば、図１３（Ａ）動きブレ調整前画像において、犬の動きブレを小さく調整する場合、ユーザーは走っている犬の手足の一部（Ｌ１３０１、Ｌ１３０２）をシングルクリックで指定する。すると、制御部１０１が指定した座標を指定基準領域として受け付けると共に、指定基準領域とその周辺の領域を自動的に検出し、指定動きブレとして動きブレを小さくする指示として受け付ける。尚、以下の説明では、ユーザーが走っている犬をシングルクリックして指定し、犬の動きブレを小さく調整する例について説明する。
尚、制御部１０１が受け付ける指定基準領域は、ユーザーがクリックにより指定した一か所だけの座標だけではなくてもよい。例えば、ユーザーが走っている犬全体あるいはその一部を丸く囲う指定を行った場合、制御部１０１は、その囲われた領域を指定基準領域として受け付けても良い。
【００３５】
図１２のステップＳ５０２′において、動きベクトル算出部２０１は、記録部１０８に記録した撮像画像間の動きベクトルを算出する。具体的には、動きベクトル算出部２０１は、図４（Ａ）Ｎフレーム目の撮像画像と図４（Ｂ）Ｎ＋１フレーム目の撮像画像を入力し、両者の差分情報に基づき図８のような動きベクトルを算出する。尚、図１２のステップＳ５０２´における動きベクトルの算出方法は、図５のステップＳ５０２と同様の処理により算出するものとし、説明は省略する。また、図３のステップＳ３０２の自動動きブレ制御処理の際に算出した動きベクトルを記録部１０８に記録し、図１２のステップＳ５０２′において使用しても良い。
【００３６】
図１２のステップＳ１２０３において、基準動きベクトル特定部２０２は、ステップＳ１２０１において制御部１０１が受け付けた指定基準領域と動きベクトル算出部２０１が算出した動きベクトルに基づき、基準動きベクトルを特定する。具体的には、図８において、指定基準領域である犬の動きベクトル８０１〜８０４の４つの領域を選択したときには、選択した４つの領域の動きベクトルを基準動きベクトル（基準動きブレ）として特定する。指定基準領域内に複数の動きベクトルが存在する場合は、指定基準領域内の動きベクトルのヒストグラムを取得し、最も頻度の高い動きベクトルを基準動きベクトルとしても良い。
この時、動きベクトルの向き、大きさが異なる場合には、それぞれ４つの基準動きベクトルする。
【００３７】
次に図１２のステップＳ１２０４において、図２の動きブレ変換特性算出部２０３は、目標動きブレ、基準動きベクトル及び指定動きブレに基づき動きブレ変換特性を算出する。動きブレ変換特性の算出方法について図１４を参照して説明する。図１４の動きブレ変換特性は、制御部１０１が１／６０秒相当の動きブレを目標動きブレとして算出した場合の動きブレ変換特性の例を示している。尚、動きベクトルは水平方向と垂直方向という２次元の方向と移動量から成るが、本実施例では説明の簡略化のため、水平方向の動きベクトルの移動量を水平方向の動きブレ量に変換する変換特性を示している。２次元の方向と移動量から成る動きベクトルを用いた動きブレ量変換方法及び変換特性も同様の処理により算出するものとし、説明は省略する
【００３８】
図１４（Ａ）動きブレ変換特性において、破線のＬ９０１が目標動きブレが１／６０秒相当の場合の動きブレ変換特性を示す。動きブレ変換特性Ｌ９０１は、図３のステップＳ３０２において動きブレ変換特性算出部２０３が算出した動きブレ変換特性であり、この動きブレ変換特性に基づき生成した動きブレ画像が図１３（Ａ）動きブレ調整前画像である。動きブレ変換特性算出部２０３は、基準動きベクトル及び指定動きブレに基づき、動きブレ変換特性Ｌ９０１を変更することで、基準動きベクトルの大きさの領域の動きブレを軽減するように動きブレ変換特性Ｌ１４０１を算出する。具体的には、図８における基準の動きベクトル８０１，８０２は水平方向に左、８０３，８０４は水平方向に右方向のベクトルを表わす。長さが５画素だとすると、基準動きベクトルに対応する動きブレ量が０になるように、動きブレ変換特性Ｌ９０１を左右方向に５画素以内の範囲の動き量を０にする特性の直線を生成し、動きブレ変換特性Ｌ１４０１として算出する。
【００３９】
次に図１２のステップＳ１２０５において、図２の動きブレ補正対象領域特定部２０５は、ステップＳ５０３において決定した動きブレ変換特性を行う動きブレ補正対象領域を自動的に特定する。図１０を用いて説明する。
図１０において、１００１は基準撮像フレームに動きベクトルを表示した撮像画像で、表示部１０９に出力される。この時、ユーザーが動きブレを調整したい領域を制御部１０１が受け付け、その指定基準領域が１００２であるとする。撮像画像の画素位置を拡大したものが１００３である。動きブレ補正対象領域は、指定基準領域に対して、特徴量が類似している所定範囲内の周囲の領域を計算し、類似している領域を含めた領域を動きブレ補正対象領域に自動的に特定する。求まった動きブレ補正対象領域の例が図１０（Ｂ）である。図１０（Ｂ）の１０１１、１０１２は動きベクトルが異なるため、別々の領域として動きブレ補正対象領域となっている。逆に前足（８０１，８０２）と後ろ足（８０３，８０４）の領域はそれぞれ同じ動きブレ補正対象領域として含まれている。
【００４０】
特徴量として、指定基準領域の画像信号値に近い輝度や色情報とし、特徴量の差が所定の閾値未満の場合に類似している領域として動きブレ補正対象領域に加える。つまり、以下の式で判定される。
（指定基準領域の特徴量  ―  周囲の画素位置の特徴量）＜  類似判定閾値・・・式（３）
【００４１】
その他特徴量の差としては、動きベクトル向きや、大きさ、被写体距離情報を利用した奥行き、指定基準領域からの画面内での距離の差などが所定の類似判定閾値未満か否かで判断する。その他にも一般的な被写体判別に使われる特徴量（画像認識結果）を用いることが可能である。また、指定基準領域から所定の範囲（所定の類似判定閾値未満）の中で、指定基準領域に関連する周囲領域を決定することで、想定外の範囲に動きブレ調整の影響が広がることを防ぐことが可能である。
【００４２】
また、１００１は動きブレ調整後画像を表示するので、動きブレ付与後の画像を見て動きブレを変更したい領域を選択でき、直感的に指定基準領域の位置を指定できる。
図１２のステップＳ５０４´において、動きブレ付与部２０４は、Ｓ１２０５で求めた動きブレ補正対象領域に対して、Ｓ１２０４で求めた動きブレ変換特性に基づいて、Ｓ５０２′で求めた動きベクトル情報を用いて動きブレを付与する。図１２のステップＳ５０４´における動きブレの付与方法は、図５のステップＳ５０４と同様の処理により付与するものとし、説明は省略する。
【００４３】
図１２のステップＳ５０５′において、ステップＳ５０４´で求めた動きブレ画像を表示部１０９に表示する。この動きブレ画像を図１３（Ｃ）に示す。図１３（Ｃ）の動きブレ調整後画像は、図１３（Ａ）の動きブレ調整前画像に比べ、犬の手足周辺の動きブレが静止し、背景の動きブレ自体は変化していない画像となる。これは、ユーザーが指定した犬の手足の一部を指定基準領域とし、指定基準領域の手足の周辺領域を含む動きブレ補正対象領域内の動きブレ量が０になるような動きブレ変換特性で動きブレを制御したためである。このようにユーザーが指定した指定基準領域を含む動きブレ補正対象領域内に対して、動きブレ変換特性を設定することで、ユーザー好みの動きブレに調整することが可能となる。なお、上記例では指定基準領域の手足の周辺領域を含む動きブレ補正対象領域の動きブレ量が０になるような動きブレ変換特性で動きブレを制御したが、０でなくても小さくするような制御であってもよい。即ち前記動きブレ補正対象領域の内外で、前記動きブレの変化量を異ならせればよい。
以上、図３のステップＳ３０４における動きブレ調整に関して説明した。
次に、図３のステップＳ３０４における動きブレ調整の変形例（実施例２）について説明する。
【実施例２】
【００４４】
実施例１の説明では、動きブレ補正対象領域に対して、動きブレを弱める例について説明を行なった。実施例２では逆に、動きブレをより大きくする例について説明を行なう。例えば、図３のステップＳ３０４で動きブレ調整を行ない、動きブレ補正対象領域の動きブレを軽減した後、動きブレを軽減しすぎたためユーザーが所望した画像効果が得られず、動きブレを大きくしたい場合がある。このとき、再度図３のステップＳ３０４で処理する。
【００４５】
この場合に動きブレ付与を行うために設定する動きブレ変換特性は例えば図１４（Ｂ）のようなものとする。動きブレを付与した時の動きブレ変換特性としてはＬ９０２に比べ、より大きな動きブレを付与させるため図１４（Ｂ）のＬ１４０２の動きブレ変換特性になるように制御して動きブレ付与を行う。このように、動きブレ補正対象領域は水平方向として左右両方向の動きを含むため、動きブレ補正対象領域のプラスマイナスそれぞれの方向を持つ動きベクトルに対してより大きな動きブレを付与させる必要がある。
【００４６】
動きブレ調整を行なう時に表示部１０９に表示する撮像画像について図１５を用いて説明する。図１５は図３のＳ３０２またはＳ３０５の処理後の動きブレを付与した画像を表示部１０９に表示し、動きブレ調整を行なうか否かの判断と動きブレの調整の仕方（動きブレを調整する動きブレ補正対象領域、強弱の調整）の表示を説明する図である。図１５（Ａ）は、図３のステップＳ３０２もしくはステップＳ３０５の処理後に出力される動きブレを付与した結果の画像である。この時、ユーザーがさらに犬の前足、後足に部分的に動きブレを強めようとした場合、犬の前足と後ろ足の位置をタッチする。ユーザーがタッチした位置を指定基準領域（Ｌ１５０１、Ｌ１５０２）で示している。この指定基準領域を含む関連する周囲領域は、動きブレ補正対象領域として上記のように自動的に特定される。この動きブレ補正対象領域に対しては、動きブレがついていないので図１５（Ａ）の動きブレ量の調整量を示すブラーコントロールバー１５００におけるブラー（ブレ）を指示するカーソル位置は、１５１１の位置となっている。つまり、動きブレ補正対象領域に対しては、動きブレが無いことを示している。
【００４７】
続いてユーザーが、動きブレ補正対象領域に動きブレを付与させたい時には、図１５（Ｂ）のブラーコントロールバー１５００の１５１２の位置にカーソルを移動する。このカーソルの移動に合わせて図３のステップＳ３０４を実行し、動きブレ補正対象領域に対して、図１４（Ｂ）のＬ１４０２の動きブレ変換特性の変換処理を実行し、動きブレ補正対象領域にブレを付与する。動きブレの調整後の表示を図１５（Ｂ）で表す。以上のように動きブレの調整に関する情報を表示部１０９で表示することによりユーザーは、動きブレの調整を行なうか否か、どの領域に対して、動きブレの強さを好みの動きブレに調整することが可能となる。
【００４８】
以上、実施例について説明を行なった。実施例によれば背景とフォロー被写体の動きが近い場合であってもフォロー被写体の動きブレを低減した流し撮り画像を生成することができる。
【００４９】
尚、実施例においては、動きブレが小さい短秒時露光画像を撮像し、動きブレを付与することにより、動きブレを制御する実施例について説明を行なったが、動きブレの制御方法はこれに限ったものではない。例えば、動きブレが大きい長秒露光画像を撮像し、動きブレを低減することにより、動きブレを制御しても良い。動きブレを低減する方法については、例えば、ブラインドデコンボリューション手法といったような公知の技術を用い、説明は省略する。（ブラインドデコンボリューション手法は、画像における動きブレの特性を解析し、動きブレ特性の逆特性を画像に対してコンボリューションすることにより動きブレを低減する手法である。）
【００５０】
尚、実施例において、指定動きブレとして動きブレ量の指定を受け付ける例について説明したが、指定動きブレとして受け付ける情報はこれに限ったものではない。例えば、指定動きブレとして動きブレ方向の指定を受け付けても良い。この場合、動きブレ変換特性算出部２０３は、基準動きベクトルに対応する動きブレの方向を指定動きブレの方向に変換する特性を算出する。これにより、動きブレの方向を調整することが可能となる。
【００５１】
尚、実施例において、基準動きベクトルの特定方法はユーザー指定を受け付けた領域に関連する情報と説明を行なったが、これに限ったものではない。例えば、撮像装置１００がフォーカス位置を合わせた合焦領域の動きベクトルを基準動きベクトルとして特定しても良い。
また、実施例では複数の画像に基づき動きブレを自動生成して、１枚の画像に対して動きブレを付与しているが１枚の画像だけを用いてブレを付与してもよい。即ち、その１枚の画像に対して例えばユーザーが指定した領域に所定方向または所定量の動きブレを付与するようにしてもよいことは言うまでもない。
【００５２】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば実施例では撮像装置に着脱可能な記録部から読み出された複数の画像を取得して、それらの複数の画像を用いて撮像装置内で動きブレ画像を形成したが、上記の記録部は着脱可能なものでなくてもよいし、クラウドなどに設けた外部の記録部でもよい。また、上記のような記録部を撮像措置ではなく外部の情報処理装置に接続して記録部から読み出された画像を用いて情報処理装置内で動きブレ画像を形成してもよい。
【００５３】
また、本発明における制御の一部または全部を上述した実施例の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
【符号の説明】
【００５４】
１００  撮像装置
１０１  制御部
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  光学系
１０５  撮像部
１０６  Ａ／Ｄ変換部
１０７  画像処理部
１０８  記録部
１０９  表示部
１１０  指示入力部
２００  動きブレ制御部
２０１  動きベクトル算出部
２０２  基準動きベクトル特定部
２０３  動きブレ変換特性算出部
２０４  動きブレ付与部
２０５  動きブレ補正対象領域特定部
【図１】
2020080518.tif 000003
【図２】
2020080518.tif 000004
【図３】
2020080518.tif 000005
【図４】
2020080518.tif 000006
【図５】
2020080518.tif 000007
【図６】
2020080518.tif 000008
【図７】
2020080518.tif 000009
【図８】
2020080518.tif 000010
【図９】
2020080518.tif 000011
【図１０】
2020080518.tif 000012
【図１１】
2020080518.tif 000013
【図１２】
2020080518.tif 000014
【図１３】
2020080518.tif 000015
【図１４】
2020080518.tif 000016
【図１５】
2020080518.tif 000017