(57)【要約】【課題】映像再生時の振れ補正において、撮影時の画角からの違いを大きくすることなく、急峻な振れが生じていても視聴者に違和感を与え難い再生映像を提供する。【解決手段】ビデオカメラ１００の表示装置２２４に映像を再生表示する際に、映像に関連付けられた振れ量を取得し、振れ量が映像の振れを補正することが可能な補正上限値を超えているか否かを判定し、振れ量が補正上限値を超えている場合に振れ量を補正可能範囲に納めるように補間振れ量を算出し、振れ量と補間振れ量とに基づいて実際に映像の振れを補正するための振れ補正量を決定し、決定した振れ補正量を用いて映像の振れを補正する振れ補正量を決定する。振れ量が補正上限値を超えていない場合には振れ量を振れ補正量として決定し、振れ量が補正上限値を超えている場合には補間振れ量を振れ補正量として決定する。【選択図】図４
2018182564.tif 000002
【特許請求の範囲】
【請求項１】
映像を表示装置に再生表示する映像再生装置であって、
前記映像に関連付けられた振れ量を取得する取得手段と、
前記振れ量が前記映像の振れを補正することが可能な範囲を超えているか否かを判定する判定手段と、
前記振れ量が前記範囲を超えている場合に前記振れ量を前記範囲に納めるように演算して補間振れ量を算出する算出手段と、
前記振れ量と前記補間振れ量とに基づいて実際に前記映像の振れを補正するための振れ補正量を決定する決定手段と、
前記振れ補正量を用いて前記映像の振れを補正する補正手段と、を備え、
前記決定手段は、前記振れ量が前記範囲を超えていない場合には前記振れ量を前記振れ補正量として決定し、前記振れ量が前記範囲を超えている場合には前記補間振れ量を前記振れ補正量として決定することを特徴とする映像再生装置。
【請求項２】
前記映像は複数のフレームで構成され、
前記取得手段は、前記複数のフレームごとに前記振れ量を取得することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記算出手段は、前記複数のフレームのうち所定のフレームの振れ量が前記範囲を超えている場合に、前記所定のフレームの前後のフレームの振れ量を用いて前記所定のフレームの振れ量を補間することにより補間振れ量を算出することを特徴とする請求項２に記載の映像再生装置。
【請求項４】
前記補正手段は、前記決定手段で決定された振れ補正量に基づいて前記映像の振れを補正するように前記複数のフレームごとに画像の切り出し位置を設定する設定手段を備えることを特徴とする請求項２又は３に記載の映像再生装置。
【請求項５】
前記取得手段が取得した振れ量から低周波成分を除去する除去手段を備え、
前記取得手段は、前記除去手段により前記低周波成分が除去された振れ量を前記算出手段へ出力することを特徴とする請求項１乃至４のいずれか１項に記載の映像再生装置。
【請求項６】
映像を表示装置に再生表示する映像再生装置の制御方法であって、
前記映像に関連付けられた振れ量を取得する取得ステップと、
前記振れ量が前記映像の振れを補正することが可能な範囲を超えているか否かを判定する判定ステップと、
前記振れ量が前記範囲を超えている場合に前記振れ量を前記範囲に納めるように演算して補間振れ量を算出する算出ステップと、
前記振れ量と前記補間振れ量とに基づいて実際に前記映像の振れを補正するための振れ補正量を決定する決定ステップと、
前記振れ補正量を用いて前記映像の振れを補正して再生する補正ステップと、を有し、
前記決定ステップでは、前記振れ量が前記範囲を超えていない場合には前記振れ量を前記振れ補正量として決定し、前記振れ量が前記範囲を超えている場合には前記補間振れ量を前記振れ補正量として決定することを特徴とする映像再生装置の制御方法。
【請求項７】
コンピュータを請求項１乃至５のいずれか１項に記載の映像再生装置の各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生装置とその制御方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルビデオカメラ等の撮像装置で撮影した映像を記憶（保存）する際に、手ぶれ等による撮像装置の振れ（揺れ）が原因となって、振れが生じた映像が記憶されることがある。そこで、記憶された映像の再生時に映像の振れを補正する技術が、種々、提案されている。例えば、映像での振れを表す動きベクトルを検出し、検出された動きベクトルに応じて映像の部分領域を選択し、選択した部分領域を拡大表示する技術が提案されている（特許文献１参照）。また、撮影時に撮像装置の振れをセンサで検出し、検出された振れデータを映像データと共に記憶し、映像再生時に振れデータを利用して映像の振れを補正する技術が提案されている（特許文献２参照）。更に、映像再生時の振れ量の大きさに基づいて、振れ補正のための拡大表示の表示倍率を決定する技術が提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１４３３８０号公報
【特許文献２】特開平１０−４２２３３号公報
【特許文献３】特開２０１２−４４４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、撮影時に直接又は間接的に撮像装置に瞬間的に衝撃が加わったことに起因して生じた急峻な（瞬間的な）大きな振れが、振れデータとして映像データと共に記憶される。このような映像を再生する際に映像に対して振れ補正を行うと、急峻な大きな振れも補正対象となって補正処理が実行されるため、振れ補正処理に伴う再生映像の拡大率が大きくなり、その結果、画質に劣化が生じてしまう。また、振れ量が大きい場合には、再生映像の画角が撮影時の画角から大きく変化してしまう。
【０００５】
これに対して、画角の大きな変化を防ぐために再生映像の拡大率に上限を設け、その補正上限量に達しない振れが発生している場合に振れ補正が機能するようにすれば、再生映像を見たときに振れは目立たない。しかし、補正上限量を超える振れが発生すると、その振れを補正することができないために再生映像に急に振れが発生し、視聴者は違和感を覚えてしまうことになる。
【０００６】
本発明は、映像再生時の振れ補正において、撮影時の画角からの違いを大きくすることなく、急峻な振れが発生している場合でも視聴者に違和感を与え難い再生映像を提供することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る映像再生装置は、映像を表示装置に再生表示する映像再生装置であって、前記映像に関連付けられた振れ量を取得する取得手段と、前記振れ量が前記映像の振れを補正することが可能な範囲を超えているか否かを判定する判定手段と、前記振れ量が前記範囲を超えている場合に前記振れ量を前記範囲に納めるように演算して補間振れ量を算出する算出手段と、前記振れ量と前記補間振れ量とに基づいて実際に前記映像の振れを補正するための振れ補正量を決定する決定手段と、前記振れ補正量を用いて前記映像の振れを補正する補正手段と、を備え、前記決定手段は、前記振れ量が前記範囲を超えていない場合には前記振れ量を前記振れ補正量として決定し、前記振れ量が前記範囲を超えている場合には前記補間振れ量を前記振れ補正量として決定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、映像再生時の振れ補正において、撮影時の画角からの違いを大きくすることなく、瞬間的な振れが発生している場合でも視聴者に違和感を与え難い再生映像を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るビデオカメラにおいて映像の撮影から記憶までの処理を担うブロックの構成を説明する図である。
【図２】本発明の実施形態に係るビデオカメラにおいて記憶映像の再生処理を担うブロックの構成を説明する図である。
【図３】ビデオカメラでの映像データ再生処理のフローチャートである。
【図４】基準振れ量及び補間振れ量のフレーム単位での時間変化を示す図である。
【図５】基準振れ量と補間振れ量の関係を表す図である。
【図６】ステップＳ３０５の処理を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明に係る映像再生装置の一例としてデジタルビデオカメラ（以下「ビデオカメラ」という）を取り上げることとする。
【００１１】
図１は、本発明の実施形態に係るビデオカメラ１００において、映像の撮影から記憶までの処理を担うブロックの構成を説明する図である。ビデオカメラ１００は、レンズユニット１０１、撮像素子１０２、アナログ信号処理部１０３、カメラ信号処理部１０４及び符号化部１０５を備える。また、ビデオカメラ１００は、角速度センサ１１１、振れデータ設定部１１２、時計１１３、タイムコード設定部１１４、メタデータ設定部１１５、記憶制御部１２１及び記憶媒体１２２を備える。
【００１２】
レンズユニット１０１は、撮像素子１０２に被写体像を結像させる。撮像素子１０２は、ＣＣＤセンサ又はＣＭＯＳセンサ等であり、結像した被写体像を光電変換し、アナログ信号を主力する。アナログ信号処理部１０３は、撮像素子１０２から出力されたアナログ信号に所定の処理を施して、アナログ撮像信号を生成する。アナログ信号処理部１０３は、例えばＣＤＳ（相関二重サンプリング）回路やＡＧＣ（自動利得制御）回路等を含む。カメラ信号処理部１０４は、Ａ／Ｄ変換器を備え、アナログ信号処理部１０３で生成されたアナログ撮像信号からデジタルビデオ信号を生成する。符号化部１０５は、カメラ信号処理部１０４で生成されたデジタルビデオ信号をＭＰＥＧ２形式で符号化し、ＭＰＥＧ２のストリームを出力する。
【００１３】
角速度センサ１１１は、ビデオカメラ１００に加わる振れの角速度を検出する。振れデータ設定部１１２は、角速度センサ１１１からの出力に基づいて、ビデオカメラ１００の振れ量を算出し、算出した振れ量を含む振れデータをメタデータ設定部１１５へ出力する。タイムコード設定部１１４は、時計１１３から取得した時刻情報に基づいて映像記憶時のタイムコードを設定する。メタデータ設定部１１５は、振れデータ、タイムコード、カメラ関連データ（不図示）等をメタデータとして出力する。記憶制御部１２１は、符号化部１０５からのＭＰＥＧ２のストリーム（映像データ）及びメタデータ設定部１１５からのメタデータを記憶媒体１２２に記憶する。
【００１４】
図２は、ビデオカメラ１００において、記憶媒体１２２記憶された映像の再生処理を担うブロックの構成を説明する図である。記憶制御部１２１及び記憶媒体１２２は、映像の撮影から記憶までの処理を担うブロックの構成要素であると共に、記憶映像の再生処理を担うブロックの構成要素でもある。ビデオカメラ１００は、マイクロコンピュータ２１０（以下「ＭＰＵ２１０」と記す）、復号化部２２１、メモリ２２２、画像処理部２２３及び表示装置２２４を備える。
【００１５】
記憶媒体１２２には、上述したように、振れデータを含むメタデータが付加された映像データが記憶されている。なお、メタデータ及び映像データの記憶形式は限定されるものではなく、ビデオカメラ１００の振れデータ及び映像データの取得が可能であれば、どのような形式であってもよく、例えば、メタデータは映像データと別に記憶されていても構わない。記憶制御部１２１は、記憶媒体１２２から映像データ及びメタデータ（振れデータ）を取得する。復号化部２２１は、記憶制御部１２１が取得した映像データ（ＭＰＥＧ２のストリーム）を復号化し、復号化されたデジタルビデオ信号をメタデータと共にメモリ２２２へ出力する。
【００１６】
メモリ２２２は、復号化されたデジタルビデオ信号を、例えば数秒分、記憶する。メモリ２２２に数秒分のデジタルビデオ信号を記憶しておくことにより、表示装置２２４に出力されている再生画像（再生中の画像）に対して時間的に先となる情報を得ることができる。画像処理部２２３は、ＭＰＵ２１０によって決定された切り出し位置と切り出しサイズにしたがって映像データを再生する。具体的には、画像処理部２２３は、映像データが表す映像を構成する複数の単位画像（フィールド画像又はフレーム画像）のそれぞれについて、所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、画像処理部２２３は、切り出した画像に対して電子ズームを施して表示装置２２４へ出力する。表示装置２２４は、画像処理部２２３から取得した画像を順次表示することにより、映像を表示する。
【００１７】
ＭＰＵ２１０は、ビデオカメラ１００の全体的な動作を制御する。なお、図１には不図示であるが、ＭＰＵ２１０は、映像再生処理を統括的に制御するのみならず、ビデオカメラ１００での撮像から映像記憶までの処理も統括的に制御する。ＭＰＵ２１０は、動きベクトル検出部２０１、切り出し位置設定部２０２、メタデータ読み出し部２０３、振れデータ取得部２０４及び切り出しサイズ設定部２０５を有する。また、ＭＰＵ２１０は、タイムコード設定部２０６、読み出しアドレス設定部２０７、パンニング成分除去部２０８及び振れ補正決定部２０９を有する。なお、図２にはＭＰＵ２１０において振れ補正を行う主要部のみを示しており、ＭＰＵ２１０の機能はこれら各部の機能に限定されるものではない。
【００１８】
動きベクトル検出部２０１は、メモリ２２２に記憶されたデジタル画像から動きベクトルを検出する。動きベクトル検出部２０１により検出された動きベクトルは、映像の振れの指標としての役割を果たし、振れ補正決定部２０９へ出力される。メタデータ読み出し部２０３は、読み出しアドレス設定部２０７がメモリ２２２に設定した読み出しアドレスからメタデータを読み出す。振れデータ取得部２０４は、メタデータ読み出し部２０３が取得したメタデータから振れデータを取得し、振れ補正決定部２０９へ出力する。タイムコード設定部２０６は、現在の再生画像（再生中の単位画像）のタイムコードをメタデータ読み出し部２０３から取得し、取得したタイムコードよりも所定の時間後のタイムコードを読み出しアドレス設定部２０７に通知する。
【００１９】
読み出しアドレス設定部２０７は、タイムコード設定部２０６から通知されたタイムコードに対応するアドレスをメモリ２２２に設定する。これにより、メタデータ読み出し部２０３は、現在の再生画像より所定の時間後に再生される画像（単位画像）のメタデータを取得することができる。パンニング成分除去部２０８は、振れデータ取得部２０４から取得した振れデータから低周波成分を除去するフィルタリング処理を行って（振れデータからパン成分を除去し）、パン成分除去後の振れデータを振れデータ取得部２０４へ戻す。切り出しサイズ設定部２０５は、振れデータ取得部２０４が取得した振れデータに基づき、単位画像の切り出しサイズを決定して画像処理部２２３に通知する。振れ補正決定部２０９は、動きベクトル検出部２０１からの出力及び振れデータ取得部２０４からの出力に基づき、振れ補正量を決定する。切り出し位置設定部２０２は、振れ補正決定部２０９で決定された振れ補正量に基づいて、映像の振れを補正するように単位画像の切り出し位置を決定し（移動させ）、画像処理部２２３に通知する。
【００２０】
図３は、ビデオカメラ１００で実行される映像再生処理のフローチャートである。図３のフローチャートの各処理は、ＭＰＵ２１０が映像データを再生表示するための所定のプログラムを実行し、ＭＰＵ２１０の各部が協働してビデオカメラ１００の各部の動作を制御することにより実現される。
【００２１】
ステップＳ３０１では、記憶制御部１２１が記憶媒体１２２から再生対象映像の最初のフレームデータを読み出す前に、振れデータ取得部２０４がメタデータ読み出し部２０３を介して、再生対象映像の映像データの振れ補正のための補正上限量を取得する。補正上限量は、映像の振れを補正することが可能な範囲の上限値であり、ここでは、予め所定の値が設定されているものとする。ステップＳ３０２では振れデータ取得部２０４が、メタデータ読み出し部２０３を介して、映像データの再生開始点から所定期間分（所定フレーム分）の振れデータを取得する。
【００２２】
ステップＳ３０３ではパンニング成分除去部２０８が、振れデータ取得部２０４から振れデータを取得し、取得した振れデータから低周波成分（パン成分）を除去するフィルタリング処理を行う。こうして、ビデオカメラ１００がパンニングされた場合のパンニングによる被写体の移動を振れ補正の対象から除外する。ステップＳ３０４では動きベクトル検出部２０１が、映像データをグリッド状（格子状）に区切り、各枠についてフレーム間の相関を取ったデータから動きベクトルを検出する。ステップＳ３０５では振れ補正決定部２０９が、ステップＳ３０３でパン成分が除去された振れデータとステップＳ３０４で検出した動きベクトルから映像再生時の振れ補正量を決定する。
【００２３】
ステップＳ３０６では切り出しサイズ設定部２０５が、ステップＳ３０３でパン成分が除去された振れデータが表す振れの振幅を確認し、フレームごとの切り出しサイズの変化が一定範囲内に入るように切り出しサイズを決定する。また、切り出し位置設定部２０２は、ステップＳ３０５で決定された振れ補正量に基づき、映像の振れを補正するように切り出し位置を決定（移動）して画像処理部２２３に設定する。切り出し位置の決定は、任意の周知技術を利用して実行することができ、よって、ここでの詳細な説明は省略する。ステップＳ３０６で切り出しサイズと位置が設定されると、画像処理部２２３が、単位画像の設定された切り出し位置からステップＳ３０６で設定された切り出しサイズの画像を切り出し、切り出した画像を表示装置２２４に出力する。
【００２４】
ステップＳ３０７においてＭＰＵ２１０は、映像の再生が終了したか否か（最後のフレームまで再生したか否か）を判定する。ＭＰＵ２１０は、映像の再生が終了していないと判定した場合（Ｓ３０７でＮＯ）、処理をステップＳ３０２へ戻し、映像の再生が終了したと判定した場合（Ｓ３０７でＮＯ）、本処理を終了させる。
【００２５】
次に、ステップＳ３０５での振れ補正量の決定方法について説明する。振れ補正量の決定では、振れ補正を行うことが可能な範囲の上限となる補正上限量と、現在再生中のフレーム番号に関連付けられた実際の振れ量（以下「基準振れ量」という）とを用いる。そして、基準振れ量が補正上限量を超える場合には、補間処理を行って補間振れ量を決定し、決定した補間振れ量を振れ補正量とする。一方、基準振れ量が補正上限量以下の場合には、基準振れ量をそのままに振れ補正量とする。
【００２６】
図４（ａ）は、基準振れ量Ｂｃｕｒ（ｎ）及び補間振れ量Ｂｎｘｔ（ｎ）のフレーム単位での時間変化の一例を示す図である。図４（ｂ）は、図４（ａ）の部分拡大図である。図５（ａ）は、基準振れ量Ｂｃｕｒ（ｎ）と補間振れ量Ｂｎｘｔ（ｎ）の関係を表す表である。図５（ｂ）は、図５（ａ）の表をグラフ化して示す図である。図５（ｂ）では、基準振れ量Ｂｃｕｒ（ｎ）が波線で、補間振れ量Ｂｎｘｔ（ｎ）が実線でそれぞれ示されている。
【００２７】
補正上限量Ｂｍａｘは、予め所定の値に設定されており、本実施形態では“１００”に設定されているものとする。補正上限量Ｂｍａｘ以下の領域では、基準振れ量Ｂｃｕｒ（ｎ）を振れ補正量とする。一方、基準振れ量Ｂｃｕｒ（ｎ）が補正上限量Ｂｍａｘを超える場合には、基準振れ量Ｂｃｕｒ（ｎ）から補間振れ量Ｂｎｘｔ（ｎ）が求められ、求められた補間振れ量Ｂｎｘｔ（ｎ）を振れ補正量とする。詳細は後述するが、本実施形態では、補間振れ量Ｂｎｘｔ（ｎ）は、現在のフレーム番号を「ｎ」として、前後３フレーム分の基準振れ量Ｂｃｕｒ（ｎ±３）を用いて補間処理を行うことにより決定する。なお、基準振れ量Ｂｃｕｒ（ｎ±３）は、６つの基準振れ量Ｂｃｕｒ（ｎ−３），Ｂｃｕｒ（ｎ−２），Ｂｃｕｒ（ｎ−１），Ｂｃｕｒ（ｎ＋１），Ｂｃｕｒ（ｎ＋２），Ｂｃｕｒ（ｎ＋３）を表している。
【００２８】
なお、補間振れ量Ｂｎｘｔ（ｎ）の算出には、前後３フレーム分の基準振れ量Ｂｃｕｒ（ｎ±３）を必ず用いなければならないものではなく、補間精度と演算負荷を考慮して前後のフレーム数を決定することができる。例えば、ｎ番目のフレームの基準振れ量とその前後のｎ−１番目及びｎ＋１番目のフレームの基準振れ量の少なくとも３つの基準振れ量を取得して、ｎ番目のフレームの基準振れ量を補間することもできる。また、フレーム番号ｎのフレームを基準として、取得する前のフレームの基準振れ量の数と後のフレームの基準振れ量の数とは異なっていてもよい。少なくとも前後１フレーム分の基準振れ量Ｂｃｕｒ（ｎ±１）を用いて補間処理を行うことにより決定することができる。
【００２９】
図６は、ステップＳ３０５の振れ補正量の決定方法を説明するフローチャートである。本フローチャートの説明では、適宜、図４及び図５を参照する。ステップＳ６０１において振れ補正決定部２０９は、補正上限量Ｂｍａｘを決定する。補正上限量Ｂｍａｘの決定方法は、周知の技術により決定することができ、ここでの説明を省略する。ステップＳ６０２において振れ補正決定部２０９は、振れデータ及び動きベクトルから現在のフレーム番号ｎに対応する基準振れ量Ｂｃｕｒ（ｎ）を取得する。ステップＳ６０３において振れ補正決定部２０９は、現在のフレーム番号ｎの前後３フレーム分の基準振れ量Ｂｃｕｒ（ｎ±３）を取得する。ステップＳ６０４において振れ補正決定部２０９は、基準振れ量Ｂｃｕｒ（ｎ）が補正上限量Ｂｍａｘを超えているか否かを判定する。
【００３０】
振れ補正決定部２０９は、基準振れ量Ｂｃｕｒ（ｎ）が補正上限量Ｂｍａｘ以下であると判定した場合（Ｓ６０４でＮＯ）、処理をステップＳ６１２へ進める。ステップＳ６１２において振れ補正決定部２０９は、基準振れ量Ｂｃｕｒ（ｎ）をフレーム番号ｎの振れ補正量に設定する。振れ補正決定部２０９は、ステップＳ６１２により振れ補正量が設定されると本処理を終了させ、これにより処理はステップＳ３０６へ進められる。
【００３１】
振れ補正決定部２０９は、ステップＳ６０４において基準振れ量Ｂｃｕｒ（ｎ）が補正上限量Ｂｍａｘを超えていると判定した場合（Ｓ６０４でＹＥＳ）、処理をステップＳ６０５へ進める。ステップＳ６０５において振れ補正決定部２０９は、前のフレーム番号（ｎ−１）の振れ補正量を取得する。ステップＳ６０５で取得される振れ補正量は、Ｂｃｕｒ（ｎ−１）又は、Ｂｎｘｔ（ｎ−１）のいずれかとなる。ステップＳ６０６において振れ補正決定部２０９は、基準振れ量Ｂｃｕｒ（ｎ±３）の中の最大値（以下「周辺最大値Ｂｐｅａｋ」と記す）を取得する。図４の例では、基準振れ量Ｂｃｕｒ（ｎ＋１）が周辺最大値Ｂｐｅａｋとして取得される。
【００３２】
ステップＳ６０７において振れ補正決定部２０９は、基準振れ量Ｂｃｕｒ（ｎ±３）のうち少なくとも１つの値が補正上限量Ｂｍａｘ以下か否かを判定する。振れ補正決定部２０９は、基準振れ量Ｂｃｕｒ（ｎ±３）の少なくとも１つの値が補正上限量Ｂｍａｘ以下であると判定した場合（Ｓ６０７でＹＥＳ）、処理をステップＳ６０８へ進める。ステップＳ６０８において振れ補正決定部２０９は、基準振れ量Ｂｃｕｒ（ｎ±３）のうち補正上限量Ｂｍａｘ以下且つ最大の値を、前回の振れ量Ｂｐｒｅｖに設定する。一方、振れ補正決定部２０９は、基準振れ量Ｂｃｕｒ（ｎ±３）のすべての値が補正上限量Ｂｍａｘを超えていると判定した場合（Ｓ６０７でＮＯ）、処理をステップＳ６０９へ進める。ステップＳ６０９において振れ補正決定部２０９は、前のフレーム番号（ｎ−１）の振れ補正量を前回の振れ量Ｂｐｒｅｖに設定する。ステップＳ６１０において振れ補正決定部２０９は、基準振れ量Ｂｃｕｒ（ｎ）、補正上限量Ｂｍａｘ、周辺最大値Ｂｐｅａｋ及び前回の振れ量Ｂｐｒｅｖの値から一次関数を使って補間振れ量Ｂｎｘｔ（ｎ）を決定する。
【００３３】
ここで、図４（ｂ）を参照して、補間振れ量Ｂｎｘｔ（ｎ）の決定方法を具体的に説明する。図４（ｂ）において、基準振れ量Ｂｃｕｒ（ｎ），Ｂｃｕｒ（ｎ＋１）は共に補正上限量Ｂｍａｘよりも大きいため、補間振れ量Ｂｎｘｔ（ｎ），Ｂｎｘｔ（ｎ＋１）が算出される。また、基準振れ量Ｂｃｕｒ（ｎ＋１）は、周辺最大値Ｂｐｅａｋとなる。補正上限量Ｂｍａｘと、フレーム番号ｎ，ｎ＋１のそれぞれの基準振れ量Ｂｃｕｒ（ｎ），Ｂｃｕｒ（ｎ＋１）との差分Ｄ１，Ｄ２はそれぞれ、下記式１，２により求められる。前回の振れ量Ｂｐｒｅｖとフレーム番号ｎ，ｎ＋１のそれぞれの補間振れ量Ｂｎｘｔ（ｎ），Ｂ（ｎ＋１）との差分Ｄ３，Ｄ４は、下記式３，４により求められる。差分Ｄ１と差分Ｄ２及び差分Ｄ３と差分Ｄ４がそれぞれ比例関係にあるとすると下記式５が成立し、下記式５から下記式６の通りに補間振れ量Ｂｎｘｔ（ｎ）を求めることができる。
【００３４】
【数１】
2018182564.tif 000003
【００３５】
ステップＳ６１１において振れ補正決定部２０９は、ステップＳ６１１で算出された補間振れ量Ｂｎｘｔ（ｎ）をフレーム番号ｎの振れ補正量に設定する。振れ補正決定部２０９は、ステップＳ６１１により振れ補正量が設定されると本処理を終了させ、これにより処理はステップＳ３０６へ進められる。つまり、ステップＳ６１１，Ｓ６１２のいずれかで振れ補正量が決定され、決定された振れ補正量を用いてステップＳ３０６の処理が実行される。なお、図４乃至図６を参照して、振れ量が正の値を取る場合について説明したが、振れ量が負の値を取る場合もある。振れ量が負の値を取る場合には、振れ量が正の値を取る場合とは符号の向きが逆になるだけであり、振れ量が正の値を取る場合と同様の方法により振れ補正量を求めることができる。
【００３６】
上記実施形態によれば、映像再生時の振れ補正処理において、補正上限量（補正可能範囲）を超える大きな振れが発生したシーンを含む場合であっても、過度な映像の拡大を行わない振れ補正処理を行う。その際、補正上限量を超えるフレームの振れ補正量を、その近傍のフレームの振れ量を考慮した補間処理によって求めている。これにより、補正上限量に達してから急に振れ補正の効果がなくなるのではなく、補正上限量の近傍から徐々に振れ補正の効果を弱めることができる。したがって、映像再生中に不自然な振れが発生するのを抑制して、ユーザに違和感を与え難くすることができる。
【００３７】
なお、上記説明では、基準振れ量Ｂｃｕｒ（ｎ）を補正上限量Ｂｍａｘと比較し、基準振れ量Ｂｃｕｒ（ｎ）が補正上限量Ｂｍａｘを超えた場合に補間振れ量Ｂｎｘｔ（ｎ）を求めて振れ補正量として、振れ補正を実行する方法について説明した。しかし、補正上限量Ｂｍａｘを考慮した振れ補正量の決定方法は、このような方法に限定されるものではなく、その他の方法を用いても構わない。また、上記実施形態では、基準振れ量Ｂｃｕｒ（ｎ）の補間処理について現在のフレームの前後３フレーム分の基準振れ量から一次関数を用いて補間を行うことで補間振れ量Ｂｎｘｔ（ｎ）を算出した。しかし、補正上限量Ｂｍａｘを超える基準振れ量Ｂｃｕｒ（ｎ）の補間処理方法はこれに限られず、他の方法を用いてもよい。更に、上記実施形態では、補正上限量Ｂｍａｘが映像再生前に決定されているものとしたが、補正上限量Ｂｍａｘは他の方法で決定してもよい。例えば、映像全体での最大振れ量や平均振れ量を予め検出し、検出結果に応じて補正上限量Ｂｍａｘを映像ごとに変えるようにしてもよい。或いは、映像再生前に、補正上限量Ｂｍａｘを手動設定する構成となっていてもよい。
【００３８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００３９】
例えば、上記実施形態では、本発明に係る映像再生装置としてビデオカメラを取り上げたが、これに限定されるものではなく、映像を再生する機能を有するパーソナルコンピュータやスマートフォン等の電子機器へも、本発明の適用が可能である。また、上記実施形態では、ビデオカメラ１００に装着された記憶媒体１２２に記憶された映像を再生する場合を取り上げたが、再生対象映像の映像データはネットワークを経由して取得する構成となっていても構わない。
【００４０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４１】
１００    ビデオカメラ
２０１    ベクトル検出部
２０２    切り出し位置設定部
２０３    メタデータ読み出し部
２０４    振れデータ取得部
２０５    切り出しサイズ設定部
２０８    パンニング成分除去部
２０９    振れ補正決定部
２１０    ＭＰＵ（マイクロコンピュータ）
２２３    画像処理部
２２４    表示装置
【図１】
2018182564.tif 000004
【図２】
2018182564.tif 000005
【図３】
2018182564.tif 000006
【図４】
2018182564.tif 000007
【図５】
2018182564.tif 000008
【図６】
2018182564.tif 000009