(57)【特許請求の範囲】
【請求項１】
撮像装置によって撮像された映像を表す映像データと、当該映像の撮像時の当該撮像装置の振れを表す振れデータと、を取得する取得手段と、
前記映像データを再生する再生手段であって、前記映像を構成する複数の単位画像それぞれについて前記単位画像の所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す再生手段と、
前記再生手段による前記映像データの再生中に、前記映像のぶれを補正するように前記所定の切り出し位置を移動させる移動手段と、
前記振れデータから得られる、前記再生手段で再生中の単位画像よりも所定の時間後に再生される単位画像の撮像時の前記撮像装置の振れの大きさに基づいて、当該振れが大きいほど小さく当該振れが小さいほど大きくなるように前記切り出しサイズの目標サイズを決定する決定手段と、
前記再生手段による前記映像データの再生中に、前記所定の切り出しサイズが前記目標サイズに近づくように前記所定の切り出しサイズを変更する変更手段と、
を備え、
前記決定手段は、前記変更手段が前記切り出しサイズを大きくするように変更中である場合は、前記切り出しサイズを小さくするように変更中である場合及び前記切り出しサイズを変更中でない場合よりも、前記所定の時間を長く設定する
ことを特徴とする映像再生装置。
【請求項２】
前記決定手段は、現在の前記切り出しサイズが現在の前記目標サイズよりも大きい間は、次の前記目標サイズの決定を行わない
ことを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記決定手段は、前記再生手段で再生中の単位画像の撮像時から前記所定の時間後までの期間の前記振れデータが前記撮像装置でパンニングが行われたということを示す場合、前記目標サイズの決定を行わない
ことを特徴とする請求項１又は２に記載の映像再生装置。
【請求項４】
映像再生装置の制御方法であって、
取得手段が、撮像装置によって撮像された映像を表す映像データと、当該映像の撮像時の当該撮像装置の振れを表す振れデータと、を取得する取得工程と、
再生手段が、前記映像データを再生する再生工程であって、前記映像を構成する複数の単位画像それぞれについて前記単位画像の所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す再生工程と、
移動手段が、前記再生工程における前記映像データの再生中に、前記映像のぶれを補正するように前記所定の切り出し位置を移動させる移動工程と、
決定手段が、前記振れデータから得られる、前記再生工程で再生中の単位画像よりも所定の時間後に再生される単位画像の撮像時の前記撮像装置の振れの大きさに基づいて、当該振れが大きいほど小さく当該振れが小さいほど大きくなるように前記切り出しサイズの目標サイズを決定する決定工程と、
変更手段が、前記再生工程における前記映像データの再生中に、前記所定の切り出しサイズが前記目標サイズに近づくように前記所定の切り出しサイズを変更する変更工程と、
を備え、
前記決定工程では、前記変更工程において前記切り出しサイズを大きくするように変更中である場合は、前記切り出しサイズを小さくするように変更中である場合及び前記切り出しサイズを変更中でない場合よりも、前記所定の時間を長く設定する
ことを特徴とする制御方法。
【請求項５】
コンピュータを請求項１乃至３のいずれか１項に記載の映像再生装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生装置、及びその制御方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像記録装置で映像を記録する場合、手ぶれなどによるビデオカメラの振れが原因で記録映像がぶれる場合がある。このようなぶれを映像再生時に補正する技術として、映像のぶれを表す動きベクトルを検出し、動きベクトルに応じて映像の部分領域を選択して拡大表示する技術が知られている（特許文献１参照）。また、映像撮像時にビデオカメラの振れをセンサで検出し、振れデータを映像データと共に記録し、映像再生時に振れデータを利用してぶれを補正する技術も知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１４３３８０号公報
【特許文献２】特開平１０−４２２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した従来の技術により映像再生時にぶれを補正する場合、大きなぶれを補正しようとすると拡大対象の部分領域が映像の存在する領域やレンズの有効像円の外に出てしまい、表示される映像に欠けが生じる場合がある。このような欠けによる画質の低下を防止するためには映像の拡大率を大きくしなければならないが、映像の拡大率を大きくすると拡大に伴う画質の低下が顕著になる。仮に、ぶれが小さい場合は拡大率を小さくし、ぶれが大きい場合は拡大率を大きくすると、ぶれの大きさが変化した場合に拡大率が変化して画角が急に変化するため、視聴者に違和感を与えてしまうような画質の低下につながる。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、大きなぶれの補正を可能にすると共に画質の低下を抑制しつつ、映像再生時に映像のぶれを補正する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、第１の本発明は、撮像装置によって撮像された映像を表す映像データと、当該映像の撮像時の当該撮像装置の振れを表す振れデータと、を取得する取得手段と、前記映像データを再生する再生手段であって、前記映像を構成する複数の単位画像それぞれについて前記単位画像の所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す再生手段と、前記再生手段による前記映像データの再生中に、前記映像のぶれを補正するように前記所定の切り出し位置を移動させる移動手段と、前記振れデータから得られる、前記再生手段で再生中の単位画像よりも所定の時間後に再生される単位画像の撮像時の前記撮像装置の振れの大きさに基づいて、当該振れが大きいほど小さく当該振れが小さいほど大きくなるように前記切り出しサイズの目標サイズを決定する決定手段と、前記再生手段による前記映像データの再生中に、前記所定の切り出しサイズが前記目標サイズに徐々に近づくように前記所定の切り出しサイズを変更する変更手段と、を備え、前記決定手段は、前記変更手段が前記切り出しサイズを大きくするように変更中である場合は、前記切り出しサイズを小さくするように変更中である場合及び前記切り出しサイズを変更中でない場合よりも、前記所定の時間を長く設定することを特徴とする映像再生装置を提供する。
【０００７】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００８】
以上の構成により、本発明によれば、大きなぶれの補正を可能にすると共に画質の低下を抑制しつつ、映像再生時に映像のぶれを補正することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るビデオカメラ１００の撮像装置及び記録装置としての構成を示すブロック図
【図２】ビデオカメラ１００の映像再生装置としての構成を示すブロック図
【図３】第１の実施形態に係る映像データ再生処理の流れを示すフローチャート
【図４】図３のＳ３０７における目標サイズ決定処理の詳細を示すフローチャート
【図５】図３のＳ３０８における切り出しサイズ変更処理の詳細を示すフローチャート
【図６】単位画像全体と切り出される画像との関係を示す概念図
【図７】画像の切り出し及び拡大の概念図
【図８】振れの大きさの変化に伴う切り出しサイズの変化を示す概念図
【図９】第２の実施形態に係る映像データ再生処理の流れを示すフローチャート
【図１０】図９のＳ９０９における所定期間設定処理の詳細を示すフローチャート
【図１１】所定期間設定変更による切り出し目標位置の違いを表した図
【図１２】図９のＳ９０９における所定期間設定処理の、図１０とは別の処理を示すフローチャート
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１１】
［第１の実施形態］
本発明の映像再生装置をビデオカメラ（撮像記録再生装置）に適用した実施形態について説明する。図１は、第１の実施形態に係るビデオカメラ１００の撮像装置及び記録装置としての構成を示すブロック図である。図２は、ビデオカメラ１００の映像再生装置としての構成を示すブロック図である。
【００１２】
図１において、レンズユニット１０１は、撮像素子１０２に被写体像を結像する。撮像素子１０２は、ＣＣＤ、ＣＭＯＳセンサ等を含み、結像された被写体像を光電変換する。アナログ信号処理部１０３は、撮像素子１０２で得られた信号に所定の処理を施してアナログ撮像信号を生成する。アナログ信号処理部１０３は、例えばＣＤＳ（Ｃｏ−ｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路、ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路等を含む。カメラ信号処理部１０４は、Ａ／Ｄ変換器を備え、アナログ信号処理部１０３で生成されたアナログ撮像信号からデジタルビデオ信号を生成する。符号化部１０５は、生成されたデジタルビデオ信号をＭＰＥＧ２形式で符号化し、ＭＰＥＧ２のストリームを出力する。
【００１３】
角速度センサ１１１は、ビデオカメラに加わる振れの角速度を検出する。振れデータ設定部１１２は、角速度センサ１１１の出力に基づいて、ビデオカメラの振れ量を算出する。タイムコード設定部１１４は、時計１１３から取得した時刻情報を基に映像記録時のタイムコードを設定する。メタデータ設定部１１５は、振れデータ、タイムコード、カメラ関連データ（不図示）等をメタデータとして出力する。
【００１４】
記録制御部１２１は、符号化部１０５からのＭＰＥＧ２のストリーム（映像データ）、及びメタデータ設定部１１５からのメタデータを、記録メディア１２２に記録する。図２を参照して後述するように、記録制御部１２１は、記録メディア１２２からＭＰＥＧ２のストリームを再生して出力することもでき、また、任意のメタデータを読み出すことも可能である。
【００１５】
以上の処理により、記録メディア１２２に、振れデータを含むメタデータが付加された映像データが記録される。
【００１６】
次に、図２を参照して、ビデオカメラ１００の映像再生装置としての構成について説明する。記録メディア１２２には、図１を参照して説明した、振れデータを含むメタデータが付加された映像データが記録されている。但し、メタデータ及び映像データの記録形式はこれに限定されず、ビデオカメラ１００が振れデータ及び映像データを取得可能である限り、どのような形式であってもよく、例えばメタデータは映像データと別に記録されていても構わない。
【００１７】
記録制御部１２１は、記録メディア１２２から、映像データ及びメタデータ（特に、振れデータ）を取得する。復号化部２２１は、記録制御部１２１が取得した映像データ（ＭＰＥＧ２のストリーム）を復号化し、復号化されたデジタルビデオ信号をメタデータと共にメモリ２２２へ出力する。
【００１８】
メモリ２２２は、復号化されたデジタルビデオ信号を数秒分記憶しておく。メモリ２２２に数秒分のデジタルビデオ信号を記憶しておくことにより、表示装置２２４に出力されている再生画像（再生中の画像）に対して時間的に先となる情報を得ることが可能となる。
【００１９】
画像処理部２２３は、後述するマイクロコンピュータ（マイコン）２１０の処理により決定された切り出し位置及び切り出しサイズに従って映像データを再生する。具体的には、画像処理部２２３は、映像データが表す映像を構成する複数の単位画像（フィールド画像又はフレーム画像）それぞれについて、単位画像の所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、画像処理部２２３は、切り出した画像に対して電子ズームを施し、表示装置２２４へ出力する。表示装置２２４は、出力された画像を順次表示することにより、映像を表示する。
【００２０】
動きベクトル検出部２０１は、メモリ２２２に記憶されたデジタル画像から動きベクトルを検出する。この動きベクトルは、映像のぶれの指標としての役割を果たす。切り出し位置設定部２０２は、動きベクトル検出部で検出された動きに基づいて、映像のぶれを補正するように単位画像の切り出し位置を決定して（移動させて）画像処理部２２３に設定する。
【００２１】
メタデータ読み出し部２０３は、メモリ２２２からメタデータを読み出す（メタデータは、例えば、復号化されたデジタル画像に付加されている）。メタデータ読み出し部２０３は後述する読み出しアドレス設定部２０７が設定した読み出しアドレスからメタデータを読み出す。
【００２２】
振れデータ取得部２０４は、読み出されたメタデータから振れデータを取得する。切り出しサイズ設定部２０５は、取得した振れデータを基に、単位画像の切り出しサイズを決定して画像処理部２２３に設定する（詳細は図３乃至図５を参照して後述）。
【００２３】
タイムコード設定部２０６は、現在の再生画像（再生中の単位画像）のタイムコードをメタデータ読み出し部２０３から取得し、取得したタイムコードよりも所定の時間後のタイムコードを読み出しアドレス設定部２０７に通知する。読み出しアドレス設定部２０７は、通知されたタイムコードに対応するアドレスをメモリ２２２に設定する。これにより、メタデータ読み出し部２０３は、現在の再生画像より所定の時間後に再生される画像（単位画像）のメタデータを取得することができる。
【００２４】
マイコン２１０は、動きベクトル検出部２０１、切り出し位置設定部２０２、メタデータ読み出し部２０３、振れデータ取得部２０４、切り出しサイズ設定部２０５、タイムコード設定部２０６、及び読み出しアドレス設定部２０７の機能を実装する。マイコン２１０はまた、後述する図３乃至図５のフローチャートに示す各種処理の制御を行う。
【００２５】
図３は、第１の実施形態に係る映像データ再生処理の流れを示すフローチャートである。ビデオカメラ１００が映像データの再生を開始すると、本フローチャートの処理が開始する。
【００２６】
Ｓ３０１で、振れデータ取得部２０４は、メタデータ読み出し部２０３を介して、映像データの再生開始点から先の所定期間分の振れデータを取得する。Ｓ３０２で、切り出しサイズ設定部２０５は、Ｓ３０１で取得された振れデータが表す振れの振幅をチェックする。Ｓ３０３で、切り出しサイズ設定部２０５は、Ｓ３０２でチェックした振幅が閾値よりも大きいか否かを判定する。振幅が閾値よりも大きい場合、処理はＳ３０４に進み、そうでない場合、処理はＳ３０５に進む。
【００２７】
Ｓ３０４で、切り出しサイズ設定部２０５は、切り出しサイズ＝「小」に設定する。切り出しサイズ設定部２０５はまた、目標サイズ＝「小」（切り出しサイズと同じ）に設定する。切り出しサイズが小さいということは、表示装置２２４に表示される映像の拡大率が大きいということを意味する。この場合、比較的大きなぶれを補正しても、切り出し対象の領域が映像の存在する領域の外に出る可能性は低い。
【００２８】
Ｓ３０５で、切り出しサイズ設定部２０５は、切り出しサイズ＝「大」に設定する。切り出しサイズ設定部２０５はまた、目標サイズ＝「大」（切り出しサイズと同じ）に設定する。切り出しサイズが大きいということは、表示装置２２４に表示される映像の拡大率が小さいということを意味する。この場合、表示装置２２４に表示される映像の品質は相対的に高くなるが、切り出し対象の領域が映像の存在する領域の外に出ないようにするためには、比較的小さなぶれしか補正できない。
【００２９】
Ｓ３０３における閾値は、例えば、補正角度換算で０．５度である。これは、手ぶれが少ない人が撮影した映像であれば、通常、０．５度の補正量があれば十分に映像のぶれを補正できるからである。従って、Ｓ３０５での切り出しサイズ＝「大」は、０．５度相当のぶれを補正可能な切り出しサイズである。また、Ｓ３０４での切り出しサイズ＝「小」は、切り出される画像の画素数が極めて少なくなることを防止するために、２度相当のぶれを補正可能な切り出しサイズとする。
【００３０】
図６は、単位画像全体と切り出される画像との関係を示す概念図である。図６（ａ）において、単位画像６０１のサイズは、撮像素子１０２のサイズに対応する。切り出し領域６０２は、切り出しサイズ＝「大」の場合の切り出し領域を示す、切り出し領域６０３は、切り出しサイズ＝「小」の場合の切り出し領域を示す。切り出しサイズが大きい状態で大きな手ぶれを補正しようとすると、図６（ａ）に示すように切り出し領域の一部が単位画像６０１の外に出る。従って、表示される映像に欠けが生じる。そこで、手ぶれが大きいときは切り出しサイズを小さくすれば、図６（ａ）に示すように切り出し領域６０３は単位画像６０１の内部に収まり、映像に欠けが生じる可能性を低減できる。
【００３１】
また、図６（ｂ）に示すように、撮像素子１０２の一部がレンズユニット１０１の有効像円６１１の外に存在する場合、撮像素子１０２のサイズだけではなく、レンズユニット１０１の有効像円に起因して映像の欠けが発生する場合もある。単位画像６１２のサイズは、撮像素子１０２のサイズに対応する。但し、単位画像６１２の四隅は、有効像円６１１の外であるため、欠けている。切り出し領域６１３は、切り出しサイズ＝「大」の場合の切り出し領域を示す、切り出し領域６１４は、切り出しサイズ＝「小」の場合の切り出し領域を示す。切り出し領域６１３は単位画像６１２の内部に収まっているが、有効像円６１１の外部を含むため、実際には映像に欠けが生じる。この場合も、切り出し領域６１４で示すように切り出しサイズを小さくすれば、映像に欠けが生じる可能性を低減できる。
【００３２】
図３に戻り、Ｓ３０６で、ビデオカメラ１００は、ぶれ補正を伴う映像再生を行う。具体的には、切り出し位置設定部２０２は、動きベクトル検出部２０１が検出した動きベクトルに基づき、映像のぶれを補正するように切り出し位置を決定（移動）して画像処理部２２３に設定する。切り出し位置の決定は、任意の知られている技術を利用して実行可能である。画像処理部２２３は、単位画像の設定された切り出し位置から、Ｓ３０４又はＳ３０５で設定された切り出しサイズの画像を切り出す。そして、画像処理部２２３は、切り出した画像を表示装置２２４に出力する。なお、後述する図４のＳ４０２においてパンニングが発生していると判定された場合、切り出し位置設定部２０２は、切り出し位置の変更を停止する。パンニング動作時は一般的に、検出される振れデータ及びベクトル量が大きくなるため、切り出し位置が補正リミットに到達しないよう、大きな手ぶれ補正を効かせない様に制御する。そのため切り出し位置設定を停止しても問題はない。
【００３３】
Ｓ３０７で、切り出しサイズ設定部２０５は、再生中の単位画像よりも所定の時間後に再生される単位画像の撮像時のビデオカメラ１００の振れの大きさに基づいて、目標サイズを決定する（Ｓ３０４又はＳ３０５で設定した目標サイズを変更する）。詳細については、図４を参照して後述する。
【００３４】
Ｓ３０８で、切り出しサイズ設定部２０５は、画像処理部２２３に設定した切り出しサイズを、Ｓ３０７で決定した目標サイズに徐々に近づくように変更する。徐々に近づけることを実現するため、切り出しサイズ設定部２０５は、Ｓ３０８の１回の処理では切り出しサイズを少ししか変更しない。Ｓ３０６、Ｓ３０７、及びＳ３０８の処理が繰り返し実行されることにより、切り出しサイズは（Ｓ３０７で目標サイズが変化しなければ）最終的に目標サイズに到達する。詳細については、図５を参照して後述する。
【００３５】
図７は、画像の切り出し及び拡大の概念図である。切り出しサイズを小さくすると画角が狭くなり、逆に切り出しサイズを大きくすると画角が広くなる。そのため切り出しサイズの変更を急激に行うと視聴者に違和感を与えてしまう可能性がある。本実施形態では、Ｓ３０８で説明したように切り出しサイズを徐々に変更するため、このような違和感を軽減することができる。
【００３６】
図４は、図３のＳ３０７における目標サイズ決定処理の詳細を示すフローチャートである。Ｓ４０１で、振れデータ取得部２０４は、メタデータ読み出し部２０３を介して、現在の再生地点から先の所定期間分の振れデータを取得する。手ぶれは通常４〜９Ｈｚの周波数を持つため、所定期間とは例えば、低い周波数の２周期分程度、約０．５秒である。Ｓ４０２で、切り出しサイズ設定部２０５は、Ｓ４０１で取得された振れデータが表す振れの振幅をチェックする。
【００３７】
Ｓ４０３で、切り出しサイズ設定部２０５は、振れデータがビデオカメラ１００のパンニングを表すか否かを判定する。具体的には、切り出しサイズ設定部２０５は、取得した期間の振れデータが一方向に増加又は減少している場合に、パンニングが発生していると判定する。パンニングが発生している場合、前述のように大きな手ぶれ補正は行わないため、本フローチャートの処理は終了する（従って、目標サイズは変更されない）。そうでない場合、処理はＳ４０４に進む。
【００３８】
Ｓ４０４で、切り出しサイズ設定部２０５は、現在設定されている切り出しサイズが目標サイズに等しいか否かを判定する。等しい場合、処理はＳ４０５に進み、等しくない場合（即ち、後述する図５の処理により切り出しサイズを変更中の場合）、処理はＳ４１３に進む。
【００３９】
Ｓ４０５で、切り出しサイズ設定部２０５は、再生中の単位画像よりも所定の時間後に再生される単位画像の撮像時のビデオカメラ１００の振れの大きさ（即ち、Ｓ４０１で取得した期間の最後の振幅）を取得する。そして、切り出しサイズ設定部２０５は、振幅が閾値よりも大きいか否かを判定する。大きい場合、処理はＳ４０９に進み、そうでない場合、処理はＳ４０６に進む。
【００４０】
Ｓ４０６で、切り出しサイズ設定部２０５は、現在の目標サイズ＝「大」であるか否かを判定する。現在の目標サイズ＝「大」であれば、目標サイズの変更は不要であるので、本フローチャートの処理は終了する。そうでなければ、処理はＳ４０７に進み、切り出しサイズ設定部２０５は、目標サイズ＝「大」に設定する。このように、振れが比較的小さい場合は、切り出しサイズを最終的に大きくするために、目標サイズ＝「大」に設定される。
【００４１】
一方、Ｓ４０５において振幅が閾値よりも大きいと判定された場合、Ｓ４０９で、切り出しサイズ設定部２０５は、現在の目標サイズ＝「小」であるか否かを判定する。現在の目標サイズ＝「小」であれば、目標サイズの変更は不要であるので、本フローチャートの処理は終了する。そうでなければ、処理はＳ４１０に進み、切り出しサイズ設定部２０５は、目標サイズ＝「小」に設定する。このように、振れが比較的大きい場合は、切り出しサイズを最終的に小さくして大きいぶれを補正可能にするために、目標サイズ＝「小」に設定される。
【００４２】
なお、Ｓ４０５、Ｓ４０６、Ｓ４０７、Ｓ４０９、及びＳ４１０などの説明において、閾値は１つだけであり、目標サイズは「大」又は「小」の２種類だけである。しかしながら、再生中の単位画像よりも所定の時間後に再生される単位画像の撮像時のビデオカメラ１００の振れが大きいほど目標サイズが小さくなり、振れが小さいほど目標サイズが大きくなれば、閾値の数やそれに対応する目標サイズの種類はいくつであってもよい。
【００４３】
Ｓ４０４で「ＮＯ」と判定された場合、即ち、切り出しサイズを変更中の場合、Ｓ４１３で、切り出しサイズ設定部２０５は、現在設定されている切り出しサイズが目標サイズよりも大きいか否かを判定する。切り出しサイズが目標サイズよりも大きい場合は、後述するＳ５０３で切り出しサイズを縮小中である場合である。この場合、本フローチャートの処理は終了する。これにより、切り出しサイズの縮小中に目標サイズが変更されることが防止され、切り出しサイズの拡大・縮小が頻繁に切り替わって映像の視認性が低下することが防止される。一方、切り出しサイズが目標サイズよりも大きくない場合は、後述するＳ５０４で切り出しサイズを拡大中である場合である。この場合、大きなぶれ補正が不可能になるので、振れの大きさを確認し、大きい場合は切り出しサイズの拡大中であっても縮小に切り替える必要がある。そこで、処理はＳ４１４に進む。
【００４４】
Ｓ４１４で、切り出しサイズ設定部２０５は、Ｓ４０５と同様に振幅が閾値よりも大きいか否かを判定する。大きい場合、処理はＳ４０９に進み、Ｓ４０９では必ず「ＮＯ」と判定されるため、最終的に処理はＳ４１０に進み、目標サイズ＝「小」に設定され、比較的大きなぶれの補正が可能になる。そうでない場合、本フローチャートの処理は終了する。
【００４５】
図５は、図３のＳ３０８における切り出しサイズ変更処理の詳細を示すフローチャートである。Ｓ５０１で、切り出しサイズ設定部２０５は、現在設定されている切り出しサイズが目標サイズに等しいか否かを判定する。等しい場合、切り出しサイズの変更は不要であるため、本フローチャートの処理は終了する。等しくない場合、処理はＳ５０２に進む。
【００４６】
Ｓ５０２で、切り出しサイズ設定部２０５は、現在設定されている切り出しサイズが目標サイズよりも大きいか否かを判定する。大きい場合、処理はＳ５０３に進み、そうでない場合、処理はＳ５０４に進む。
【００４７】
Ｓ５０３で、切り出しサイズ設定部２０５は、切り出しサイズを１ステップ分小さくする。一方、Ｓ５０４では、切り出しサイズ設定部２０５は、切り出しサイズを１ステップ分大きくする。ここで、「１ステップ」の大きさは、Ｓ４０５における「所定の時間」の経過後に切り出しサイズが目標サイズに到達するように決定される。換言すれば、目標サイズと切り出しサイズとの差を、再生中の単位画像から所定の時間後に再生される単位画像までの間の単位画像の数で割って得られる商が、１ステップである。
【００４８】
以上の処理により、切り出しサイズは徐々に（段階的に）変化するため、画角の急激な変化が抑制され、それに伴う画質の低下も抑制される。
【００４９】
図８は、振れの大きさの変化に伴う切り出しサイズの変化を示す概念図である。横軸が時間、縦軸が振れを表す。図８には、約３分の映像について、振れの変化が示されている。図８に示すように、大きい、又は小さい振れが発生する時刻よりも少し前から切り出しサイズの縮小又は拡大が開始し、切り出しサイズは徐々に変化する。
【００５０】
以上説明したように、本実施形態によれば、ビデオカメラ１００は、映像再生時に、映像を構成する複数の単位画像それぞれについて、単位画像の所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、ビデオカメラ１００は、映像のぶれを補正するように単位画像の切り出し位置を移動させる。また、ビデオカメラ１００は、ビデオカメラ１００の振れが大きい場合は小さく、小さい場合は大きくなるように、切り出しサイズを変更する。切り出しサイズの変更の際に、ビデオカメラ１００は、急激にではなく、徐々に（段階的に）変更を行う。これにより、大きなぶれの補正を可能にすると共に画質の低下を抑制しつつ、映像再生時に映像のぶれを補正することが可能となる。
【００５１】
＜第２の実施形態＞
第１の実施形態では手ぶれが大きい場合と小さい場合の画像の切り出しサイズはそれぞれ一定としていた。本実施形態では、表示装置２２４に表示される映像の拡大率を手ぶれの大きさに応じて変更するようにしている。また、画像の切り出しサイズを変更中の場合と画像の切り出しサイズを変更中でない場合とで、振れ検出期間を変更している。先読みした手ぶれデータに応じて切り出しサイズを変更することで、不必要な映像の拡大を行うことがなくなり、画質をより向上することができると共に、画角変更中はより長い振れ検出期間を設けることで、画角の変化をより自然にすることが可能となる。そして、手ぶれを十分に補正した良好な再生画像を提供することが可能となる。
【００５２】
本発明の第２の実施形態におけるビデオカメラ１００の構成は、第１の実施形態と同様であるため、構成の詳細な説明は省略する（図１及び図２参照）。以下、第１の実施形態との相違点について詳細に説明する。図９は、第２の実施形態に係る映像データ再生処理の流れを示すフローチャートである。第１の実施例と同様に、ビデオカメラ１００が映像データの再生を開始すると本フローチャートの処理が開始する。
【００５３】
Ｓ９０１で、振れデータ取得部２０４は、メタデータ読み出し部２０３を介して、映像データの再生開始点から先の所定期間分の振れデータを取得する。Ｓ９０２で、切り出しサイズ設定部２０５は、Ｓ９０１で取得された振れデータが表す振れの振幅をチェックする。Ｓ９０３で、切り出しサイズ設定部２０５は、Ｓ９０２でチェックした振幅に応じた切り出しサイズ（切り出しサイズの初期値）を設定する。切り出しサイズ設定部２０５は内部に複数の閾値を有し、各閾値と振れの振幅とに基づいて、切り出しサイズの初期値を決定する。ここでの閾値は、切り出し可能な最大サイズから最小サイズ、例えば補正角度換算０．５度から２度の間を０．１度ずつに区切った値となる。切り出しサイズ設定部２０５はまた、図３のＳ３０４及びＳ３０５の場合と同様、目標サイズ＝「切り出しサイズ」に設定する。
【００５４】
次にＳ９０４で、ビデオカメラ１００は、図３のＳ３０６と同様にぶれ補正を伴う映像再生を行う。具体的には、切り出し位置設定部２０２は、動きベクトル検出部２０１が検出した動きベクトルに基づき、映像のぶれを補正するように切り出し位置を決定（移動）して画像処理部２２３に設定する。画像処理部２２３は、単位画像の設定された切り出し位置から、Ｓ９０３で設定された切り出しサイズの画像を切り出し、切り出した画像を表示装置２２４に出力する。
【００５５】
Ｓ９０５では、振れデータ取得部２０４は、再度所定期間分の振れデータを取得（メタデータ読み出し部２０３を介して現在の再生時点から先の所定期間分の振れデータを取得）する。ここでの所定期間は、最初は通常期間、すなわち前述のように０．５秒であるが、後述のＳ９０９での設定に応じて変化することになる。
【００５６】
Ｓ９０６で、切り出しサイズ設定部２０５は、Ｓ９０５で取得された振れデータから振れの振幅をチェックする。Ｓ９０７で、切り出しサイズ設定部２０５は、ビデオカメラ１００がパンニング中かどうかの判定を行い、パンニング中であれば処理はＳ９０４に戻る（即ち、第１の実施形態同様、切り出しサイズの変更等は行われない）。パンニング中でなければ、処理はＳ９０８に進む。Ｓ９０８で、切り出しサイズ設定部２０５は、再生中の単位画像よりも所定の時間後に再生される単位画像の撮像時のビデオカメラ１００の振れの大きさに基づいて目標サイズを決定する。この目標サイズ決定方法は、Ｓ９０３における切り出しサイズの初期値の設定方法と同様である（即ち、複数の閾値を使用して、現在の振れ振幅に最も適した目標サイズが決定される）。
【００５７】
Ｓ９０９で、振れデータ取得部２０４は、現在の切り出しサイズの変更状況に応じてタイムコード設定部２０６により読み出しアドレス設定部２０７を操作し、振れデータを取得する所定期間を変更する。所定期間の変更方法については、図１０を参照して後述する。
【００５８】
Ｓ９１０での処理は図３のＳ３０８の動作、すなわち図５の処理と全く同じであり、Ｓ９０８で目標サイズが変化しなければ、目標サイズに到達するまで切り出しサイズが徐々に変化する。
【００５９】
図１０は振れデータを取得する所定期間設定処理の詳細を示すフローチャートである。Ｓ１００１で、振れデータ取得部２０４は、切り出しサイズが目標サイズと等しいかどうかの判定を行う。サイズが等しい場合は、Ｓ１００２で振れデータ取得部２０４は、所定期間（データ取得期間）を通常期間に設定する。一方、切り出しサイズと目標サイズが違う場合は、切り出しサイズが変化している状態である。この場合、Ｓ１００３で振れデータ取得部２０４は、タイムコード設定部２０６により、所定期間を長時間に設定する。ここでの「長時間」は、メタデータが存在することが前提であるため、メモリ２２２の容量により変化するが、切り出しサイズの反転が目立ち難い５秒〜１０秒が望ましい。このように所定期間を設定して本フローチャートの処理は終了する。
【００６０】
図１１は、Ｓ１００３により所定期間が「長時間」に設定された場合の所定期間中の振れデータの変化を示している。この図からもわかるように、所定期間が長ければ、振れの状態のうち、この先の期間中に突発的に振れが大きくなったかどうかが確認しやすくなる。そのため、切り出しサイズを急に反転させなければならない状況をより回避しやすくなる。その結果、画角変化の発生確率を減らすことが可能となり、再生画像をより見やすくすることが可能となる。
【００６１】
ところで、図１０においては、切り出しサイズ変更中は所定期間を「長時間」とし、切り出しサイズを変更していない場合は所定期間を短くした。しかし、切り出しサイズを小さくする場合においては、画像のケラレが発生することはない。そこで、図１０に示した制御例の他にも、図１２に示すように、データ取得期間（所定期間）を、切り出しサイズを大きくする場合のみ「長時間」とすることも可能である。これは、切り出しサイズを小さくする場合は大きくする場合に比べて映像に欠けが生じる可能性が小さいためであり、切り出しサイズを大きくする場合に比べて所定期間を短くすることで処理負荷を軽減できる。図１２において、図１０と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。Ｓ１２０３で、振れデータ取得部２０４は、切り出しサイズが目標サイズよりも大きいかどうかを判定する。切り出しサイズが目標サイズよりも大きい場合は、現在切り出しサイズを縮小中であるため、処理はＳ１００２に進む。一方、切り出しサイズが目標サイズよりも小さい場合は、Ｓ１２０４で振れデータ取得部２０４は、所定期間を「長時間」に設定する。このように、データ取得期間（所定期間）を、切り出しサイズを大きくする場合のみ「長時間」に設定しても構わない。
【００６２】
以上説明したように、本実施形態によれば、ビデオカメラ１００は、映像再生時に、映像を構成する複数の単位画像それぞれについて、単位画像の所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、ビデオカメラ１００は、映像のぶれを補正するように単位画像の切り出し位置を移動させる。また、ビデオカメラ１００は、ビデオカメラ１００の振れの大きさに応じて切り出しサイズを変更するとともに、切り出しサイズの変更中は、振れの大きさの変化を将来にわたった長時間監視することで、切り出しサイズの変更をよりなめらかに行うことができる。これにより、大きなぶれの補正を可能にすると共に画質の低下を抑制しつつ、映像再生時に映像のぶれを補正することが可能となる。
【００６３】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005597061.tif 000002
【図２】
0005597061.tif 000003
【図３】
0005597061.tif 000004
【図４】
0005597061.tif 000005
【図５】
0005597061.tif 000006
【図６】
0005597061.tif 000007
【図７】
0005597061.tif 000008
【図８】
0005597061.tif 000009
【図９】
0005597061.tif 000010
【図１０】
0005597061.tif 000011
【図１１】
0005597061.tif 000012
【図１２】
0005597061.tif 000013