(57)【特許請求の範囲】
【請求項１】
露光時間が異なる複数の露出画像により形成されている第１の動画から、前記第１の動画の撮影がなされた際の撮影軌跡を求めて、前記撮影軌跡の変動を補正する補正手段と、
前記第１の動画から動き量を検出する検出手段と、
前記動き量に応じた重み値を生成する重み生成手段と、
前記補正された撮影軌跡に対応した第２の動画を、前記第１の動画から所定のレンダリング処理により生成する生成手段と、を有し、
前記所定のレンダリング処理は、前記露光時間が異なる複数の露出画像を前記重み値に応じて合成し、通常の撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を前記第２の動画として生成する処理であり、
前記生成手段は、前記第１の動画の前記露光時間が異なる複数の露出画像のうち、露光時間が短い露出画像を優先して用いた前記レンダリング処理により、前記第２の動画を生成する
ことを特徴とする画像処理装置。
【請求項２】
前記第１の動画は、第１の露光時間の撮影による第１の露出画像と、前記第１の露光時間より短い第２の露光時間の撮影による第２の露出画像との、少なくとも二つの露光時間による撮影が、周期的に繰り返されて得られた動画であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重み生成手段は、前記第１の露出画像よりも前記第２の露出画像に対する重みを大きくした前記重み値を生成し、
前記生成手段は、時間軸上で隣接した前記第１の露出画像と前記第２の露出画像とを、前記重み値に応じて合成する処理により、前記第２の動画を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記重み生成手段は、前記動き量が小さくなるにつれて、前記レンダリング処理の際に前記第１の露出画像が合成される割合が大きくなる重み値を生成することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記重み生成手段は、前記第１の露出画像と前記第２の露出画像との間で画像内の輝度段差を検出し、前記輝度段差が大きくなるにつれて、前記レンダリング処理の際に前記第１の露出画像が合成される割合が大きくなる重み値を生成することを特徴とする請求項２乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記生成手段は、前記第１の露出画像と前記第２の露出画像を前記重み値に応じて加重加算することで前記合成を行うことを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記第１の露出画像は適正露出フレーム画像であり、前記第２の露出画像は前記適正露出フレーム画像に対するアンダー露出フレーム画像であることを特徴とする請求項２乃至６の何れか１項に記載の画像処理装置。
【請求項８】
露光時間が異なる複数の露出画像により形成されている第１の動画から、前記第１の動画の撮影がなされた際の撮影軌跡を求めて、前記撮影軌跡の変動を補正する補正ステップと、
前記第１の動画から動き量を検出する検出ステップと、
前記動き量に応じた重み値を生成する重み生成ステップと、
前記補正された撮影軌跡に対応した第２の動画を、前記第１の動画から所定のレンダリング処理により生成する生成ステップと、を含み、
前記所定のレンダリング処理は、前記露光時間が異なる複数の露出画像を前記重みに応じて合成し、通常の撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を前記第２の動画として生成する処理であり、
前記生成ステップでは、前記第１の動画の前記露光時間が異なる複数の露出画像のうち、露光時間が短い露出画像を優先して用いた前記レンダリング処理により、前記第２の動画を生成する
ことを特徴とする画像処理装置の画像処理方法。
【請求項９】
コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に対して信号処理を行う画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、露光時間を周期的に変化させて撮像した露光量の異なる複数の画像を合成することで、ダイナミックレンジの広い動画を得ることを可能とする画像処理装置が開示されている。例えば特許文献１には、露光時間を長秒・短秒と交互に変更しながら連続撮像した各画像を合成することにより、ダイナミックレンジの広い動画（以下「ＨＤＲ動画」と表記する。）を生成する技術が開示されている。
【０００３】
また、手ぶれなどに起因する撮影画像のぶれを電子的に安定化させる技術として、撮影動画から撮影軌跡を推定し、その推定した軌跡の変動が低減するように撮影軌跡に対して補正を施し、その補正後の撮影軌跡に対応した動画を生成する技術も知られている。以下、補正した撮影軌跡に対応して生成される動画を「安定化動画」と表記する。例えば特許文献２には、撮影情報に応じて撮影軌跡を補正するための安定化フィルタのパラメータを調整する技術が開示されている。
【０００４】
また、安定化動画の再生速度は通常の撮影動画の再生速度と同じであるが、例えば撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を生成して、長時間の撮影動画を短時間のダイジェスト動画として楽しむ、といったことも盛んに行われている。以下、撮影動画の再生速度に対してＮ倍速となされた安定化動画を「Ｎ倍速安定化動画」と表記する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公平７−９７８４１号公報
【特許文献２】特開２０１５―１２６４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、ＨＤＲ動画用に撮影された露光時間が異なる複数のフレーム画像よりなる動画から、特許文献２の技術を用いてＮ倍速安定化動画を生成したとする。この場合、例えば、ＨＤＲ動画を撮影したカメラのレンズの焦点距離が長いと、Ｎ倍速安定化動画における動画フレームのぶれが目立つようになり、不快感のある動画になってしまうことがある。この原因は、レンズの焦点距離が長くなるほど手ぶれ等に対する撮影画像のぶれ量が大きくなるのと、Ｎ倍速安定化動画を生成する際には適正露出フレームを無条件にレンダリング処理で参照するためであると考えられる。この適正露出フレームは、長秒露光のフレームであるため、手ぶれ等の影響により被写体ぶれが目立つ画像になり易い。
【０００７】
そこで、本発明は、露光時間が異なる複数の画像よりなる動画から、ぶれによる影響を低減した動画の生成を可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、露光時間が異なる複数の露出画像により形成されている第１の動画から、前記第１の動画の撮影がなされた際の撮影軌跡を求めて、前記撮影軌跡の変動を補正する補正手段と、前記第１の動画から動き量を検出する検出手段と、前記動き量に応じた重み値を生成する重み生成手段と、前記補正された撮影軌跡に対応した第２の動画を、前記第１の動画から所定のレンダリング処理により生成する生成手段と、を有し、前記所定のレンダリング処理は、前記露光時間が異なる複数の露出画像を前記重み値に応じて合成し、通常の撮影動画の再生速度に対してＮ倍速（Ｎは整数）の安定化動画を前記第２の動画として生成する処理であり、前記生成手段は、前記第１の動画の前記露光時間が異なる複数の露出画像のうち、露光時間が短い露出画像を優先して用いた前記レンダリング処理により、前記第２の動画を生成することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、露光時間が異なる複数の画像よりなる動画から、ぶれによる影響を低減した動画の生成が可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態の画像処理装置の概略的な機能構成を示す図である。
【図２】第１の実施形態の動画生成部の概略的な機能構成を示す図である。
【図３】入力動画データの動画フレームの説明図である。
【図４】入力動画データのフレーム画像例の説明図である。
【図５】画像間の変動量を検出する方法の説明図である。
【図６】撮影軌跡推定部と撮影軌跡補正部の動作の説明図である。
【図７】レンダリング部の動作の説明図である。
【図８】第２の実施形態の動画生成部の概略的な機能構成を示す図である。
【図９】動き量算出部の動作を説明するための図である。
【図１０】レンダリング部における加重加算の重み制御の説明図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明の好適な実施形態について説明する。
本実施形態の画像処理装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどの各種撮像装置に適用可能である。本実施形態の画像処理装置は、露光時間を長秒・短秒と周期的に交互に変更しながら撮像して得られた露光量の異なる複数のフレーム画像を合成することにより、ダイナミックレンジの広い動画（ＨＤＲ動画）を形成する機能を有する。また、本実施形態の画像処理装置は、ＨＤＲ動画から、手ぶれ等に起因する撮影画像のぶれを安定化させた安定化動画を形成する機能を有する。さらに、本実施形態の画像処理装置は、ＨＤＲ動画から、安定化動画として短時間のダイジェスト動画を生成する機能を有している。ダイジェスト動画は、ＨＤＲ動画の再生速度に対してＮ倍速（Ｎは整数）に相当する安定化動画として生成される。以下、撮影動画の再生速度に対してＮ倍速の安定化動画を、Ｎ倍速安定化動画と表記する。
【００１２】
＜第１の実施形態＞
図１は、本実施形態の画像処理装置の概略的な機能構成を示す図である。
図１において、入力部１０１は、動画データが入力される入力部である。本実施形態の画像処理装置がデジタルカメラに適用される場合、入力部１０１は、画像を撮像する撮像部であり、レンズや絞り等の光学系、ＣＣＤやＣＭＯＳなどのイメージセンサ、イメージセンサにて撮像した画像信号を処理する各種信号処理部などを有する。入力部１０１は、別途撮像装置等により撮像されて例えば記録媒体に記録された動画データを取得、或いは、ネットワーク等を介して動画データを取得してもよい。入力部１０１の入力動画データは、本実施形態における第１の動画のデータの一例であり、ＲＡＭ１０５に一時的に記憶された後に読み出されて記録部１０３に送られる。
【００１３】
また、本実施形態の画像処理装置において、Ｎ倍速安定化動画の生成が行われる場合、ＲＡＭ１０５に一時的に記憶された入力動画データは、動画生成部１０２に送られる。動画生成部１０２は、本実施形態における生成手段、補正手段、重み生成手段、検出手段の機能を実現する。動画生成部１０２は、ＲＡＭ１０５に一時的に記憶された入力動画データから、本実施形態における第２の動画の一例であるＮ倍速安定化動画のデータを生成可能となされている。動画生成部１０２におけるＮ倍速安定化動画の生成処理の詳細については後述する。動画生成部１０２にて生成されたＮ倍速安定化動画のデータは、ＲＡＭ１０５に一時的に記憶された後、記録部１０３に送られる。
【００１４】
記録部１０３は、ＲＡＭに一時的に記憶された入力動画データやＮ倍速安定化動画データを、例えばハードディスク、ＣＤ−ＲＯＭやＣＤ−Ｒ、メモリーカード、ＳＤカード等の記録媒体に記録する。ＲＯＭ１０４は、書き換え可能な不揮発性メモリであり、本実施形態の画像処理装置の動作プログラム、各種のパラメータや設定値等のデータを記憶している。ＲＡＭ１０５は、書き換え可能な揮発性メモリであり、前述した入力動画データやＮ倍速安定化動画データの一時記憶の他、画像処理装置が備える各部の動作において出力されたデータ等を一時的に記憶する記憶領域としても用いられる。
【００１５】
図２は、図１の動画生成部１０２の概略的な機能構成を示す図である。
図２の動画生成部１０２への入力動画データ２０１は、図１の入力部１０１から入力された動画データである。本実施形態では、入力動画データ２０１は、ＨＤＲ動画用に撮影された動画データであるとする。ここで、ＨＤＲ動画用の撮影は、適正露出が得られる第１の露光時間による撮影と、適正露出の第１の露光時間より短い第２の露光時間による撮影（アンダー露出の撮影）とが、周期的に繰り返されるような撮影である。本実施形態では、第１の露光時間の撮影により得られる第１の露出画像を適正露出フレーム画像と表記し、第２の露光時間の撮影により得られる第２の露出画像をアンダー露出フレーム画像と表記する。
【００１６】
図３は、ＨＤＲ動画用の撮影がなされて取得された動画フレームの例を示す図である。図３の例では、動画フレームは、フレーム番号１，２，３，・・・の各フレーム画像からなる。図３中の「Ｍ」で示されるフレーム画像は、露光時間が例えば１／６０秒となされて撮影された適正露出フレーム画像である。また、図３中の「Ｌ」で示されるフレーム画像は、露光時間が例えば１／５００秒となされて撮影されたアンダー露出フレーム画像である。なお、入力動画データ２０１のフレームレートは６０ｆｐｓ（フレーム／秒）とする。以下の説明では、記載を簡略にするため、入力動画データ２０１を単に入力動画データとのみ表記する。
【００１７】
また、図４は、図３に示した入力動画データの動画フレームのうち、フレーム番号ｎ、ｎ＋１、ｎ＋２のフレーム画像例を示す図である。図４において、フレーム番号ｎとフレーム番号ｎ＋２はそれぞれ適正露出フレーム画像であり、露光時間が長いため、例えば水平方向に発生した手ぶれの影響を受けて被写体像がぶれているとする。また、フレーム番号ｎ＋１は、アンダー露出フレーム画像であり、露光時間が短いため、手ぶれの影響が少なく被写体像のエッジが明瞭である一方で、画像の明るさは適正露出フレーム画像に比べて暗くなっているとする。
【００１８】
図２の撮影軌跡推定部２０２には、図３、図４で説明したような動画フレームからなる入力動画データが供給される。撮影軌跡推定部２０２は入力動画データの各フレーム画像が撮影されたときのカメラの軌跡を推定する。撮影軌跡推定部２０２は、推定したカメラの撮影軌跡の情報と入力動画データとを、撮影軌跡補正部２０３へ出力する。撮影軌跡補正部２０３は、撮影軌跡推定部２０２が求めた撮影軌跡の変動分をスムージングする補正処理を行い、そのスムージング補正後の撮影軌跡の情報と入力動画データとを重み算出部２０４へ出力する。なお、撮影軌跡推定部２０２による撮影軌跡の推定、及び、撮影軌跡補正部２０３による撮影軌跡の変動分のスムージング補正の方法は、特許文献２等に開示されている公知の方法を用いることができる。
【００１９】
以下、撮影軌跡の推定及びスムージング補正の具体的な処理について、図５、図６を参照しながら説明する。図５のフレーム番号ｎの画像５０１は図４に示したフレーム番号ｎと同様の適正露出フレーム画像であり、図５のフレーム番号ｎ＋１の画像５０２は図４に示したフレーム番号ｎ＋１と同様のアンダー露出フレーム画像である。
【００２０】
撮影軌跡推定部２０２は、入力動画データの例えば時間軸上で隣接するフレーム画像間の変動量を求める。例えば図５に示すように、撮影軌跡推定部２０２は、フレーム番号ｎの適正露出フレーム画像５０１とフレーム番号ｎ＋１のアンダー露出フレーム画像５０２とを用い、それら画像間の変動量５０３を求める。このとき、撮影軌跡推定部２０２は、フレーム番号ｎ＋１のアンダー露出フレーム画像５０２については、フレーム番号ｎの適正露出フレーム画像５０１と明るさが略々同じになるように、ゲイン補正を行う。撮影軌跡推定部２０２は、フレーム番号ｎの適正露出フレーム画像５０１と、ゲイン補正後のフレーム番号ｎ＋１のアンダー露出フレーム画像５０２との間で、絵柄のマッチング処理５００を行うことにより、それら画像間の変動量５０３を算出する。
【００２１】
図６（ａ）は、撮影軌跡推定部２０２が図５のようにしてフレームごとに求めた画像間の変動量（５０３）を、変動の方向と量を表す図中矢印のような画像変動量ａｘとして時系列（フレーム番号順）に並べた図である。図６（ａ）の図面上では、フレーム毎の画像変動量ａｘはそれぞれ１本の矢印で表現されているが、この１本の矢印で水平及び垂直の２成分の画像変動量を表現するものとする。撮影軌跡推定部２０２は、この図６（ａ）に示した画像変動量ａｘを時間方向に累積して、図６（ｂ）に示すような累積画像変動量ｐを求める。この累積画像変動量ｐは、各フレーム画像の撮影が行われたときのカメラの撮影軌跡に相当する。撮影軌跡推定部２０２は、この累積画像変動量ｐ（撮影軌跡）の情報と入力動画データとを、撮影軌跡補正部２０３に出力する。
【００２２】
撮影軌跡補正部２０３は、図６（ｂ）の累積画像変動量ｐにおける１フレーム毎の変化を滑らかにするスムージング補正のための安定化フィルタ処理を施して、図６（ｃ）の補正撮影軌跡Ｐを生成する。撮影軌跡補正部２０３は、補正撮影軌跡Ｐの情報と入力動画データとを、重み算出部２０４へ出力する。
【００２３】
ここで、第１の実施形態の場合、後述するレンダリング部２０５ではアンダー露出フレーム画像を優先して用いたレンダリング処理を行うが、撮影軌跡推定部２０２の処理と撮影軌跡補正部２０３の処理は入力動画データの全てのフレーム画像を用いて行われる。このように全てのフレームを用いることにより、各フレーム画像間では変動量の差が小さくなる。このため、撮影軌跡推定部２０２で行われる絵柄のマッチング処理の際の処理負荷の低減が可能になり、また、推定される撮影軌跡の精度が低下するのを防ぐことができる。
【００２４】
重み算出部２０４は、重み生成手段の一例であり、後述するレンダリング部２０５のレンダリング処理の際に使用される、フレーム画像に対する重みを算出する。詳細は後述するが、レンダリング部２０５では、適正露出フレーム画像とアンダー露出フレーム画像を加重加算して合成して、入力動画データからＮ倍速安定化動画を再構成するレンダリング処理が行われる。重み算出部２０４は、それら適正露出フレーム画像とアンダー露出フレーム画像を加重加算する際の重み値（ＭＩＸ＿ＲＡＴＩＯ、以下、重み値ＭＲと表記する。）を算出する。第１の実施形態の場合、重み算出部２０４は、適正露出フレーム画像に対する重み値ＭＲを０．０とする。本実施形態においてレンダリング処理で優先的に用いるアンダー露出フレームに対する重みは１．０となされる。重み算出部２０４は、重み値ＭＲの情報と補正撮影軌跡Ｐの情報と入力動画データとを、レンダリング部２０５へ出力する。
【００２５】
レンダリング部２０５は、補正撮影軌跡Ｐに応じたレンダリング処理を行うことにより、入力動画データからＮ倍速安定化動画を生成（再構成）する。第１の実施形態の例では、レンダリング部２０５は、入力動画の適正露出フレーム画像とアンダー露出フレーム画像を重み値ＭＲに応じて加重加算して合成することにより、２倍速安定化動画のデータを作成（再構成）する。以下、レンダリング部２０５が２倍速安定化動画を作成する例について、図７（ａ）〜図７（ｄ）を参照しながら説明する。
【００２６】
図７（ａ）は図６（ｃ）と同じ図である。レンダリング部２０５は、先ず、入力動画データの１フレーム毎に、補正撮影軌跡Ｐに応じた画像変動量ＡＸを算出する。図７（ａ）では、補正撮影軌跡Ｐに応じた１フレーム毎の画像変動量ＡＸは、変動の方向と量を表す図中矢印として示されている。図６（ａ）の例と同様に、１本の矢印は、水平及び垂直の２成分の画像変動量を表現するものとする。
【００２７】
次に、レンダリング部２０５は、入力動画データの各フレーム画像から、各フレームに対応した画像変動量ＡＸに応じて画角領域を移動した後の画像領域のデータを抽出し、それら抽出した各画像領域をそれぞれ安定化後の各フレーム画像とする。図７（ｂ）は、入力動画データの動画フレームの中で、時間軸上の連続した一部のフレーム画像７０１〜７０４を時間順に並べて示す図である。図７（ｂ）のフレーム画像７０１と７０３は適正露出フレーム画像、フレーム画像７０２と７０４はアンダー露出フレーム画像である。これらフレーム画像７０１〜７０４の中で、それぞれ図中点線で囲われた画像領域７３１〜７３４が、各フレームの画像変動量ＡＸに応じて画角領域を移動した後の画像領域を示している。また、図７（ｃ）は、図７（ｂ）の各フレーム画像７０１〜７０４から各画像領域７３１〜７３４を切り出した画像７１１〜７１４を示している。レンダリング部２０５は、図７（ｂ）の各フレーム画像７０１〜７０４からそれぞれ画像領域７３１〜７３４を切り出した画像７１１〜７１４を安定化後のフレーム画像とする。なお、安定化後のフレーム画像７１１は図７（ｂ）のフレーム画像７０１から切り出された画像であるため適正露出フレーム画像であり、フレーム画像７１２はフレーム画像７０２から切り出された画像であるためアンダー露出フレーム画像である。同様に、安定化後のフレーム画像７１３はフレーム画像７０３から切り出された画像であるため適正露出フレーム画像であり、フレーム画像７１４はフレーム画像７０４から切り出された画像であるためアンダー露出フレーム画像である。
【００２８】
更に、レンダリング部２０５は、図７（ｃ）に示した安定化後のフレーム画像７１１〜７１４のうち、時間軸上で隣接した適正露出フレーム画像とアンダー露出フレーム画像を重み値ＭＲに応じて加重加算して合成する。ここで、適正露出フレーム画像の信号値をＰＲ、アンダー露出フレーム画像の各画素の信号値をＰＵ、合成後のフレーム画像の各画素の信号値をＰＭとすると、レンダリング部２０５における加重加算は下記式（１）により表される。レンダリング部２０５は、式（１）の演算を、加重加算される適正露出フレーム画像とアンダー露出フレーム画像に含まれる全ての画素に対して行うことで合成フレーム画像を生成する。
【００２９】
ＰＭ＝ＰＲ・ＭＲ＋ＰＵ（１．０−ＭＲ）        ・・・式（１）
【００３０】
図７（ｃ）の例を挙げて説明すると、レンダリング部２０５は、適正露出フレーム画像７１１とアンダー露出フレーム画像７１２とを重み値ＭＲに応じて加重加算して合成することにより図７（ｄ）の合成フレーム画像７２１を生成する。また、レンダリング部２０５は、適正露出フレーム画像７１３とアンダー露出フレーム画像７１４とを重み値ＭＲに応じて加重加算して合成することにより図７（ｄ）の合成フレーム画像７２２を生成する。これら合成フレーム画像７２１，７２２が２倍速安定化動画のフレーム画像となる。このように、レンダリング部２０５は、安定化後の適正露出フレーム画像とアンダー露出フレーム画像を重み値ＭＲに応じて加重加算して合成することにより、２倍速安定化動画のデータを作成する。なお、アンダー露出フレーム画像については、適正露出フレーム画像と同等の明るさになるようにゲイン補正を行っておくことが望ましい。
【００３１】
ここで、第１の実施形態では、重み値ＭＲが０．０となされているため、アンダー露出フレーム画像が１００％、適正露出フレーム画像が０％となるような加重加算が行われることになり、合成フレーム画像はアンダー露出フレーム画像と同一となる。これにより、第１の実施形態によれば、手ぶれの影響が非常に少ない、露光時間が１／５００秒のフレーム画像のみが用いられるため、ぶれの不快感がない２倍速安定化動画が生成される。なお、第１の実施形態では、適正露出フレーム画像とアンダー露出フレーム画像を重み値ＭＲに応じて加重加算することで合成フレーム画像を生成したが、例えばアンダー露出フレーム画像のみを抽出して２倍速安定化動画を生成してもよい。
【００３２】
また、第１の実施形態において、Ｎ倍速安定化動画を生成する際のＮは整数であればよい。例えば４倍速安定化動画を生成する場合、レンダリング部２０５は、安定化後の各フレーム画像のうちそれぞれ４フレームおきに、隣接した適正露出フレーム画像とアンダー露出フレーム画像を加重加算する。より具体的に説明すると、レンダリング部２０５は、安定化後の各フレーム画像のうち、フレーム番号１の適正露出フレーム画像とフレーム番号２のアンダー露出フレーム画像を重み値ＭＲに応じて加重加算する。次に、レンダリング部２０５は、フレーム番号５の適正露出フレーム画像とフレーム番号６のアンダー露出フレーム画像を重み値ＭＲに応じて加重加算する。同様に、レンダリング部２０５は、フレーム番号９の適正露出フレーム画像とフレーム番号１０のアンダー露出フレーム画像を重み値ＭＲに応じて加重加算する。以下同様に、レンダリング部２０５は、４フレームおきに、隣接した適正露出フレーム画像とアンダー露出フレーム画像を加重加算する。なお、この例の場合も、重み値ＭＲが０．０であるため、合成フレーム画像はアンダー露出フレーム画像と同一となる。
【００３３】
以上のように、第１の実施形態の画像処理装置は、ＨＤＲ動画用に撮影された露光時間の異なる複数の画像から撮影軌跡を推定し、その撮影軌跡の変動をスムージング補正し、その補正後の撮影軌跡を基に、ＨＤＲ動画からＮ倍速安定化動画を生成している。また、第１の実施形態の画像処理装置は、手ぶれの影響が小さい露光時間の短い画像からＮ倍速安定化動画を生成している。このようにすることで、第１の実施形態によれば、ぶれの不快感を低減したＮ倍速安定化動画を生成可能となっている。また、第１の実施形態によれば、撮影軌跡を推定する際には、露光時間がそれぞれ異なる画像の両方を用いることで、高精度に撮影軌跡を推定可能としている。
【００３４】
＜第２の実施形態＞
以下、第２の実施形態について説明する。なお、第２の実施形態の画像処理装置の構成は前述した図１の構成と同じであり、入力動画データについても前述同様であるため、それらの図示と説明は省略する。第２の実施形態の場合、動画生成部１０２の構成が、第１の実施形態の図２に示した構成とは異なる。
【００３５】
第２の実施形態の場合、動画生成部１０２は、適正露出フレーム画像から動き量を検出し、その動き量に基づいて前述の加重加算で用いられる重み値ＭＲを算出する。第１の実施形態の場合の重み値ＭＲは予め０．０に設定されていたが、第２の実施形態の場合の重み値ＭＲは動き量に応じた値に設定される。したがって、第２の実施形態の場合、動き量によって重み値ＭＲが０．０より大きい値に設定された場合、Ｎ倍速安定化動画の合成フレーム画像の生成の際には、アンダー露出フレーム画像と適正露出フレーム画像が重み値ＭＲに応じて合成される。また、適正露出フレーム画像とアンダー露出フレーム画像の両方を用いて生成されたＮ倍速安定化動画は、露光時間を周期的に変化させて撮像した露光量の異なる複数の画像が合成されたダイナミックレンジの広い動画（つまりＨＤＲ効果のある動画）となる。
【００３６】
図８は、第２の実施形態の画像処理装置の動画生成部１０２の概略的な機能構成を示す図である。なお、図８において、前述の図２の各構成要素と同じものには同一の参照符号を付して、それらの説明は省略する。第２の実施形態の場合、撮影軌跡補正部２０３から出力された、前述した補正撮影軌跡Ｐの情報と入力動画データは、動き量算出部８０１に送られる。
【００３７】
動き量算出部８０１は、検出手段の一例であり、入力動画データの各フレーム画像のうち、時間軸上で隣接する適正露出フレーム画像とアンダー露出フレーム画像との間の動きベクトルを算出する。本実施形態の場合、動き量算出部８０１は、適正露出フレーム画像を基準画像とし、アンダー露出フレーム画像を比較画像として、動きベクトルを算出する。なお、アンダー露出フレーム画像については、その画像の明るさが、適正露出フレーム画像の明るさと略々同じになるようにレベル補正を行っておくものとする。
【００３８】
動き量算出部８０１は、例えば以下に説明するようなブロックマッチングを用いた方法により、動きベクトルを算出する。具体的には、先ず、動き量算出部８０１は、図９に示すように、基準画像９０１（適正露出フレーム画像）と比較画像９０２（アンダー露出フレーム画像）を、それぞれ水平方向に３分割、垂直方向に３分割した複数のブロックに分割する。ここでは、基準画像９０１における各分割ブロックをｂｌｋ［０］〜ｂｌｋ［８］、比較画像９０２における各分割ブロックをｂｌｋ＿ｒ［０］〜ｂｌｋ＿ｒ［８］と表記する。なお、各分割ブロックｂｌｋ［０］〜ｂｌｋ［８］、ｂｌｋ＿ｒ［０］〜ｂｌｋ＿ｒ［８］内の数字は、それぞれ各分割ブロックの番号とする。また、基準画像９０１の各分割ブロックｂｌｋ［０］〜ｂｌｋ［８］、比較画像９０２の各分割ブロックｂｌｋ＿ｒ［０］〜ｂｌｋ＿ｒ［８］の、各分割ブロック内の画像を、以下、ブロック画像と表記する。
【００３９】
次に、動き量算出部８０１は、ブロック番号［ｍ］（ｍは０〜８）で示されるそれぞれのブロックごとに、基準画像９０１のブロック画像を比較画像９０２のブロック画像内で移動させながら相関値を求め、その相関値が最も小さい位置を求める。そして、動き量算出部８０１は、基準画像９０１の分割ブロックの所定の座標位置から、前述の相関値が最も小さい位置までの座標移動量を、その分割ブロックにおける動きベクトルとして求める。なお、所定の座標位置は、例えば分割ブロックの中心座標位置や分割ブロックの左上端の座標位置など予め決められた座標位置とする。相関値としては、ブロック画像内の各画素値の例えば差分二乗和（ＳＳＤ）などを使用することができる。また、一つのブロック画像内に含まれる各画素は同じ動きベクトルであるとする。フレーム画像を分割ブロックに分ける際の分割数や分割の間隔については前述の例に限定されず、また、動きベクトルは画素毎に求めるようにしてもよい。
【００４０】
前述のようにして動き量算出部８０１により算出された動きベクトルの情報と、撮影軌跡補正部２０３から送られてきた補正撮影軌跡Ｐの情報と入力動画データは、重み算出部８０２に送られる。重み算出部８０２は、以下に説明するようにしてフレーム毎の重み値ＭＲを算出する。
【００４１】
図１０は、第２の実施形態の場合の重み値ＭＲを算出の説明に用いる図である。図１０において、縦軸は重み値ＭＲ、横軸は適正露出フレーム画像の画素毎の輝度である。図１０の実線又は点線で示されている特性線１０００は、動き量算出部８０１が算出した動き量に応じた特性線を表している。図１０では三つの特性線のみを例に挙げているが、実際には、動き量の検出精度のステップ数に応じた複数の特性線が用意（又はその都度生成）され、重み算出部８０２は、動き量算出部８０１が算出した動き量に応じた特性線を用いる。具体的には、動き量が小さいほど、図１０中の点線で示したように、レンダリング処理で加重加算の際に適正露出フレーム画像が参照される割合が大きくなるような特性線が用いられる。逆に、動き量が大きいほど、図１０中の実線で示したように、レンダリング処理でアンダー露出フレーム画像が参照される割合が大きくなるような特性線が用いられる。これにより、動き量に応じて滑らかに変化するような重み値ＭＲが得られることになる。そして、重み算出部８０２は、その動き量に応じた特性線１０００を用いて、適正露出フレーム画像の画素の輝度に応じた重み値ＭＲを求める。例えば、重み算出部８０２は、動き量に応じた特性線１０００を用い、適正露出フレーム画像の輝度が高ければアンダー露出フレーム画像がより多く加重加算され、輝度が低ければ適正露出フレーム画像がより多く加重加算されるような重み値ＭＲを求める。
【００４２】
このように、第２の実施形態の重み算出部８０２は、例えば局所的な動きベクトルの大きさが小さく、適正露出フレーム画像であっても手ぶれの影響が少ない場合には、適正露出フレーム画像が参照される割合が大きくなる重み値ＭＲを算出する。一方、重み算出部８０２は、例えば局所的な動きベクトルが大きく、適正露出フレーム画像における手ぶれの影響が大きくなる場合には、手ぶれの影響が少ないアンダー露出フレーム画像が参照される割合が大きくなる重み値ＭＲを算出する。したがって、この重み値ＭＲを用いて適正露出フレーム画像とアンダー露出フレーム画像を加重加算して得られる合成フレーム画像は、ぶれによる不快感が少ないものとなる。
【００４３】
また、第２の実施形態において、重み算出部８０２が求める重み値ＭＲは、前述したように適正露出フレームの輝度に応じた値となされる。例えば低輝度の画像領域に対しては積極的にアンダー露出フレーム画像よりもＳ／Ｎ比のよい適正露出フレーム画像が多く用いられることになるので、例えば被写体像が黒潰れ等してしまうのを防ぐことができる。一方、高輝度の画像領域に対してはアンダー露出フレーム画像が多く使用されることになるため、ぶれが少なく、被写体像等の白飛びが少ない合成フレーム画像が生成されるようになる。
【００４４】
さらに、本実施形態の場合、動きベクトルが大きいときにはアンダー露出フレーム画像が参照される割合が高くなされるが、アンダー露出フレーム画像では黒潰れしてしまう低輝度領域については、適正露出フレーム画像が参照される割合が高くなされる。逆に、動きベクトルが小さいときには適正露出フレーム画像が参照される割合が高くなされるが、適正露出フレーム画像では白飛びしてしまう高輝度領域については、アンダー露出フレーム画像が参照される割合が高くなされる。したがって、本実施形態によれば、ぶれの不快感を少なくしつつ、黒潰れや白飛びの発生が少ない合成フレーム画像によるＮ倍速安定化動画の生成が可能となる。
【００４５】
第２の実施形態では、前述のようにして重み算出部８０２で算出された重み値ＭＲの情報と補正撮影軌跡Ｐの情報と入力動画データとが、レンダリング部２０５へ送られる。レンダリング部２０５にて行われる処理は、前述の第１の実施形態の場合と同様であるため、その説明は省略する。
【００４６】
第２の実施形態の場合、Ｎ倍速安定化動画の生成の際にはアンダー露出フレーム画像だけでなく適正露出フレーム画像をも用いられるため、ＨＤＲ効果のあるＮ倍速安定化動画データ８０３が生成される。また、第２の実施形態によれば、加重加算の重み値ＭＲを、適正露出フレーム画像の動き量と輝度を基にして求めているため、ぶれの不快感を低減しつつ黒潰れや白飛びの発生も少ないＮ倍速安定化動画を生成することができる。
【００４７】
なお、第２の実施形態では、フレーム画像を分割ブロック毎に区切って動きベクトルを算出し、その動きベクトルに応じて重み値ＭＲを設定する例を挙げたが、フレーム画像全体の変動量を基に重み値ＭＲを設定してもよい。また、第２の実施形態では、適正露出フレーム画像の画素の輝度に応じて重み値ＭＲを変化させた例を挙げたが、例えば適正露出フレーム画像を撮影した際の露光時間に応じて重み値ＭＲを変化させるようにしてもよい。例えば、重み算出部８０２は、入力動画データを撮影するカメラの光学系のレンズの焦点距離の逆数である「１／焦点距離」の値に基づいて重み値ＭＲを変化させる。より具体的には、重み算出部８０２は、レンズの焦点距離の逆数が、適正露出フレーム画像の撮影の際の露光時間より小さくなるにつれて、適正露出フレーム画像が参照される割合が大きくなるように重み値ＭＲを変化させる。
【００４８】
また、第２の実施形態において、入力動画データが、ＨＤＲ効果の期待できるシーンを撮影した動画データであるか否かに応じて、重み値ＭＲを制御してもよい。例えば、重み算出部８０２は、フレーム画像を分割した各ブロック画像において適正露出フレーム画像とアンダー露出フレーム画像との間の画像内の明るさの差分を求め、その明るさの差分の大きさに応じて重み値ＭＲを設定する。より具体的には、重み算出部８０２は、例えば明るさの差分が大きい領域、つまり輝度段差が大きいブロック画像の領域は、ＨＤＲ効果が期待できる画像領域であると判定して、図１０の点線で示した特性線を用いるようにする。これにより、重み算出部８０２は、レンダリング処理で適正露出フレーム画像が参照される割合が大きくなるような重み値ＭＲを算出できる。一方、ブロック画像間の明るさの差分（輝度段差）が小さくなるほど、重み算出部８０２は、ＨＤＲ効果が低いシーンであると判定して、図１０の実線で示すような特性線を用いるようにする。これにより、重み算出部８０２は、レンダリング処理で適正露出フレーム画像が参照される割合が小さくなるような重み値ＭＲを算出できる。なお、ここでは、フレーム画像を分割ブロック毎に区切って局所的にレンダリング処理を制御する例を挙げたが、フレーム画像全体の明るさの差分に応じて重み値ＭＲを変化させるようにしてもよい。
【００４９】
また、第２の実施形態においても前述の第１の実施形態の場合と同様、Ｎ倍速安定化動画を生成する際のＮは整数であればよい。一例として、４倍速安定化動画を生成する場合には、レンダリング部２０５は、安定化後の各フレーム画像のうちそれぞれ４フレームおきに、隣接した適正露出フレーム画像とアンダー露出フレーム画像を加重加算する。
【００５０】
［その他の実施形態］
前述の第１、第２の実施形態では、ハードウェア構成を例示したが、前述の図２や図８の動画生成部１０２の機能を、例えばＣＰＵがプログラムの実行により実現することも可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。
【００５１】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５２】
１０１：入力部、１０２：動画生成部、１０３：記録部、１０４：ＲＯＭ、１０５：ＲＡＭ、２０２：撮影軌跡推定部、２０３：撮影軌跡補正部、２０４，８０２：重み算出部、２０５：レンダリング部、８０１：動き量算出部
【図１】
0006742823.tif 000002
【図２】
0006742823.tif 000003
【図３】
0006742823.tif 000004
【図４】
0006742823.tif 000005
【図５】
0006742823.tif 000006
【図６】
0006742823.tif 000007
【図７】
0006742823.tif 000008
【図８】
0006742823.tif 000009
【図９】
0006742823.tif 000010
【図１０】
0006742823.tif 000011