(57)【要約】【課題】防振再生が開始される際の不自然な映像画角の変化を防止する。【解決手段】映像再生装置は、撮像により記録された映像データを再生する。該装置は、撮像中の振れに関するデータである振れデータを取得する振れデータ取得手段２０１，２０３と、映像データを構成する複数の単位画像データのそれぞれから振れデータに応じた切出し位置と切出しサイズで切り出した部分画像データを拡大して生成した防振画像を順次表示することで映像データの防振再生を行う防振再生手段２０４，２２３とを有する。防振再生手段は、再生開始前において停止画像を表示し、再生指示を受けることに応じて防振再生を開始し、停止画像として、防振再生の開始時に最初に表示する再生開始画像としての防振画像を表示する。【選択図】図２
2018046397.tif 000002
【特許請求の範囲】
【請求項１】
撮像により記録された映像データを再生する映像再生装置であって、
前記撮像中の振れに関するデータとして記録された振れデータを取得する振れデータ取得手段と、
前記映像データを構成する複数の単位画像データのそれぞれから前記振れデータに応じた切出し位置と切出しサイズで切り出した部分画像データを拡大して生成した防振画像を順次表示することで前記映像データの防振再生を行う防振再生手段とを有し、
前記防振再生手段は、
再生開始前において停止画像を表示し、再生指示を受けることに応じて前記防振再生を開始し、
前記停止画像として、前記防振再生の開始時に最初に表示する再生開始画像としての前記防振画像を表示することを特徴とする映像再生装置。
【請求項２】
前記防振再生手段は、
前記停止画像を、前記防振再生における前記防振画像の表示サイズと同じ表示サイズで表示することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記防振再生手段は、
前記振れデータが前記撮像中にパンニングが行われたことを示す場合は、前記単位画像データから所定の切出し位置と所定の切出しサイズで切り出した部分画像データを拡大して生成した非防振画像を表示し、
前記再生開始画像が前記非防振画像であるときは、前記停止画像として該非防振画像を表示することを特徴とする請求項１または２に記載の映像再生装置。
【請求項４】
前記防振再生手段は、
前記振れデータが取得できない場合は、前記単位画像データから所定の切出し位置と所定の切出しサイズで切り出した部分画像データを拡大して生成した非防振画像を表示し、
前記再生開始画像が前記非防振画像であるときは、前記停止画像として該非防振画像を表示することを特徴とする請求項１または２に記載の映像再生装置。
【請求項５】
前記防振再生手段は、
前記停止画像を表示する前に前記映像データの再生をユーザに選択させるための選択画像を表示し、
前記選択画像として、前記再生開始画像を前記停止画像より小さい表示サイズで表示することを特徴とする請求項１から４のいずれか一項に記載の映像再生装置。
【請求項６】
被写体像を撮像する撮像手段と、
前記撮像により生成された映像データを記録するとともに、前記撮像中の振れに関するデータである振れデータを記録する記録手段と、
請求項１から５のいずれか一項に記載の映像再生装置とを有することを特徴とする撮像装置。
【請求項７】
撮像により記録された映像データを再生する映像再生方法であって、
前記撮像中の振れに関するデータとして記録された振れデータを取得し、
前記映像データを構成する複数の単位画像データのそれぞれから前記振れデータに応じた切出し位置と切出しサイズで切り出した部分画像データを拡大して生成した防振画像を順次表示することで前記映像データの防振再生を行い、
前記防振再生において、
再生開始前において停止画像を表示し、再生指示を受けることに応じて前記防振再生を開始し、
前記停止画像として、前記防振再生の開始時に最初に表示する再生開始画像としての前記防振画像を表示することを特徴とする映像再生方法。
【請求項８】
コンピュータに、撮像により記録された映像データを再生する映像再生処理を実行させるコンピュータプログラムであって、
前記コンピュータに、
前記撮像中の振れに関するデータとして記録された振れデータを取得させ、
前記映像データを構成する複数の単位画像データのそれぞれから前記振れデータに応じた切出し位置と切出しサイズで切り出した部分画像データを拡大して生成した防振画像を順次表示することで前記映像データの防振再生を行わせ、
前記防振再生を行う前記コンピュータに、
再生開始前において停止画像を表示させ、再生指示を受けることに応じて前記防振再生を開始させ、
前記停止画像として、前記防振再生の開始時に最初に表示する再生開始画像としての前記防振画像を表示させることを特徴とする映像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録済みの映像データを再生する際に防振処理を行う映像再生装置に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置を用いて記録された映像データが撮像中の手振れ等によるカメラ振れに起因した像振れを含む場合に、該映像データの再生中に像振れを低減（補正）する防振処理を行う防振再生が可能な映像再生装置が用いられている。特許文献１には、再生する映像データから像振れを示す動きベクトルを検出し、該動きベクトルに応じて映像データから切り出す部分領域をシフトし、該部分領域を拡大表示することにより防振再生を行う装置が開示されている。特許文献２には、映像データの記録時に角速度センサにより検出したカメラ振れを映像データと共に記録し、該映像データの再生時に、記録されたカメラ振れに基づいて防振処理を行う装置が開示されている。特許文献３には、大きな像振れを含む映像データの再生時にフレーム間において拡大率（画角）の急激な変化によって映像を観察するユーザに違和感を与えないように、予め記録した像振れ量を先読みすることで拡大率を緩やかに変化させる装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１４３３８０号公報
【特許文献２】特開平１０−０４２２３３号公報
【特許文献３】特開２０１２−０４４４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１〜３にて開示された映像再生装置を含む従来の映像再生装置には、以下のような問題がある。通常、映像データの再生が開始される前には、その映像データの先頭フレーム等の画像データが停止画像やサムネイル画像として表示される。そして、ユーザによる再生指示を受けることに応じてその停止画像から映像データの防振再生が開始される。この防振再生の開始直後に防振処理の結果として再生される映像の画角が急激に変化すると、ユーザに違和感を与えるおそれがある。
【０００５】
本発明は、防振再生が開始される際の不自然な映像画角の変化を防止することができるようにした映像再生装置等を提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面としての映像再生装置は、撮像により記録された映像データを再生する。該映像再生装置は、撮像中の振れに関するデータとして記録された振れデータを取得する振れデータ取得手段と、映像データを構成する複数の単位画像データのそれぞれから振れデータに応じた切出し位置と切出しサイズで切り出した部分画像データを拡大して生成した防振画像を順次表示することで映像データの防振再生を行う防振再生手段とを有する。そして、防振再生手段は、再生開始前において停止画像を表示し、再生指示を受けることに応じて防振再生を開始し、停止画像として、防振再生の開始時に最初に表示する再生開始画像としての防振画像を表示することを特徴とする。
【０００７】
なお、被写体像を撮像する撮像手段と、撮像により生成された映像データを記録するとともに、該撮像中の振れに関するデータとして記録された振れデータを記録する記録手段と、上記映像再生装置とを有する撮像装置も、本発明の他の一側面を構成する。
【０００８】
さらに、本発明の他の一側面としての映像再生方法は、撮像により記録された映像データを再生する方法であり、撮像中の振れに関するデータとして記録された振れデータを取得し、映像データを構成する複数の単位画像データのそれぞれから振れデータに応じた切出し位置と切出しサイズで切り出した部分画像データを拡大して生成した防振画像を順次表示することで映像データの防振再生を行う。そして、防振再生において、再生開始前において停止画像を表示し、再生指示を受けることに応じて防振再生を開始し、停止画像として、防振再生の開始時に最初に表示する再生開始画像としての防振画像を表示することを特徴とする。
【０００９】
なお、コンピュータを上記映像再生装置として機能させるコンピュータプログラムである映像再生プログラムも、本発明の他の一側面を構成する。
【発明の効果】
【００１０】
本発明によれば、防振再生の開始前に表示する停止画像として再生開始画像である防振画像を表示することで、防振再生の開始時における不自然な映像画角の変化を防止することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例であるビデオカメラの構成を示すブロック図。
【図２】実施例のビデオカメラのうち映像再生に係る構成を示すブロック図。
【図３】実施例における映像再生処理を示すフローチャート。
【図４】実施例における切出し領域の決定処理を示すフローチャート。
【図５】従来の映像再生における画像表示例を示す図。
【図６】実施例における映像再生における画像表示例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について図面を参照しながら説明する。
【００１３】
図１には、本発明の実施例である映像再生装置を内蔵した撮像装置としてのビデオカメラ１００のうち映像記録に関わる構成を示す。撮像光学系を構成するレンズユニット１０１は、被写体からの光を結像して被写体像を形成する。撮像素子（撮像手段）１０２は、ＣＣＤセンサやＣＭＯＳセンサ等により構成され、レンズユニット１０１により形成された被写体像を光電変換（撮像）する。アナログ信号処理部１０３は、撮像素子１０２から出力されたアナログ信号に対して処理を行うことでアナログ撮像信号を生成する。アナログ信号処理部１０３は、例えばＣＤＳ（Co-related Double Sampling：相関二重サンプリング）回路やＡＧＣ（Automatic Gain Control）回路等を含む。カメラ信号処理部１０４は、Ａ／Ｄ変換器を備えており、アナログ信号処理部１０３で生成されたアナログ撮像信号からデジタルビデオ信号としての映像データを生成する。符号化部１０５は、アナログ信号処理部１０３で生成された映像データをＭＰＥＧ２形式で符号化し、ＭＰＥＧ２のストリームを出力する。
【００１４】
角速度センサ１１１は、ビデオカメラ１００に加わる手振れ等のカメラ振れの角速度を検出する。角度振れ量算出部１１２は、角速度センサ１１１からの出力を積分してカメラ振れ量である角度振れ量を算出する。タイムコード設定部１１４は、時計１１３から取得した時刻情報を用いて映像記録時のタイムコードを設定する。メタデータ設定部１１５は、角度振れ量、タイムコードおよび不図示の他のデータをメタデータとして出力する。
【００１５】
記録制御部（記録手段）１２１は、符号化部１０５からのＭＰＥＧ２ストリームとメタデータ設定部１１５からのメタデータとを互いに関連付けて記録メディア１２２に記録する。これにより、ストリーム化された映像データと、該映像データを記録するための撮像中の振れ（カメラ振れ）に関するデータである振れデータとしての角度振れ量を含む付加データとしてのメタデータとが記録メディア１２２に記録される。なお、後述するように、記録制御部１２１は、記録メディア１２２からＭＰＥＧ２ストリームを再生して出力することもでき、また任意のメタデータを読み出すことが可能である。
【００１６】
図２には、ビデオカメラ１００のうち映像再生に関わる構成、すなわち映像再生装置としての構成を示している。なお、本実施例では映像再生装置と映像記録装置とが一体となって映像記録再生装置（ビデオカメラ）を構成している場合について説明するが、映像再生装置をパーソナルコンピュータ等を用いて、映像記録装置とは別の装置と構成してもよい。
【００１７】
前述したように、記録メディア１２２には、角度振れ量を含むメタデータが付加されたＭＰＥＧ２ストリームが記録されている。ただし、ビデオカメラ１００が角度振れ量と映像データとを関連付けて取得可能である限り、これらの記録形式はどのようなものであってもよく、例えばメタデータが映像データとは別に記録されていてもよい。
【００１８】
記録制御部１２１は、記録メディア１２２から、ＭＰＥＧ２ストリームおよびメタデータを取得する。復号化部２２１は、記録制御部１２１が取得したＭＰＥＧ２ストリームを復号化し、復号化された映像データ（デジタルビデオ信号）をメタデータと共にメモリ２２２に出力する。映像データは、複数のフレームにより構成されている。映像データにおける各フレームの画像データ（単位画像データ）を、フレーム画像データという。ただし、１フレームが複数のフィールドで構成されている場合には、単位画像データを該フィールドの画像データとしてもよい。
【００１９】
メモリ２２２は、復号化された映像データを数秒間分、すなわち数秒間分の複数のフレーム画像データを記憶しておく。メモリ２２２に数秒間分のフレーム画像データを記憶させることにより、表示部２２４に出力されている再生（表示）中のフレームに対して時間的に先のフレームの角度振れ量を取得することが可能となる。
【００２０】
画像処理部２２３は、複数のフレーム画像データのそれぞれから、後述するマイクロコンピュータ２１０が振れデータに応じて決定した切出し位置および切出しサイズの切出し領域を切り出す。そして、これら切出し領域の画像データ（部分画像データ）を所定の表示サイズに拡大する電子ズーム処理を行って防振画像データを生成し、該防振画像データを順次、表示部２２４に出力する。表示部２２４は、入力される防振画像データを順次表示（再生）する。これにより、映像データの防振再生が行われる。
【００２１】
ジョイスティック２３１、再生／一時停止ボタン２３２および停止ボタン２３３はそれぞれ、ユーザによって操作される操作部材である。各操作部材は、ユーザ操作に応じた指示（信号）をマイクロコンピュータ２１０に通知する。具体的には、上下左右に傾くように操作されたジョイスティック２３１は、マイクロコンピュータ２１０に、その操作方向に表示部２２４の表示画面内で項目を選択するためのカーソルを移動させる指示を通知する。押下げ操作された再生／一時停止ボタン２３２は、マイクロコンピュータ２１０に映像再生の開始指示（再生指示）や一時停止指示を通知する。押下げ操作された停止ボタン２３３は、マイクロコンピュータ２１０に映像再生の終了指示を通知する。
【００２２】
マイクロコンピュータ（以下、マイコンという）２１０は、動きベクトル量取得部２０１、メタデータ読み出し部２０２、角速度振れ量取得部２０３、振れ補正量決定部２０４、タイムコード設定部２０５および読み出しアドレス設定部２０６を含む。動きベクトル量取得部２０１、メタデータ読み出し部２０２および角速度振れ量取得部２０３は振れデータ取得手段に相当し、振れ補正量決定部２０４および前述した画像処理部２２３は防振再生手段に相当する。
【００２３】
動きベクトル量取得部２０１は、メモリ２２２から読み出した映像データのうち連続する前後のフレーム画像データ間での映像の動き（像振れ）を示す動きベクトル量を取得する。この動きベクトル量も、撮像中の振れに関するデータとして映像データに関連付けて記録された（さらに言えば、映像データ自体に含まれている）振れデータである。メタデータ読み出し部２０２は、メモリ２２２から映像データに付加されているメタデータのうち、後述する読み出しアドレス設定部２０６が設定した読み出しアドレスのメタデータを読み出す。
【００２４】
角度振れ量取得部２０３は、読み出されたメタデータから角度振れ量を取得する。振れ補正量決定部２０４は、動きベクトル量取得部２０１からの動きベクトル量と角度振れ量取得部２０３からの角度振れ量とに基づいて、像振れが低減（補正）されるように各フレーム画像データからの切出し領域の切出し位置と切出しサイズを決定する。そして、決定した切出し位置と切出しサイズを画像処理部２２３に設定する。画像処理部２２３は、各フレーム画像データから該フレーム画像データに対して決定された切出し位置と切出しサイズで部分画像データを切り出し、切出しサイズに応じた拡大率での電子ズーム処理により生成した防振画像データを表示部２２４に表示させる。これにより、防振処理（像振れ補正処理）を行いながら映像を再生する防振再生が行われる。また、振れ補正量決定部２０４は、メタデータに切出し位置と切出しサイズが記録されている場合には、メタデータ読み出し部２０２を介してこれら切出し位置と切出しサイズを取得して画像処理部２２３に設定する。
【００２５】
タイムコード設定部２０５は、現在再生しているフレームのタイムコードをメタデータ読み出し部２０２から取得し、取得したタイムコードよりも所定時間だけ後のタイムコードを読み出しアドレス設定部２０６に通知する。読み出しアドレス設定部２０６は、通知されたタイムコードに対応するアドレスをメモリ２２２に設定する。これにより、メタデータ読み出し部２０２は、現在再生しているフレームより所定時間だけ後に再生される（すなわち所定時間先の）フレームのメタデータを取得することができる。
【００２６】
さらにマイコン２１０は、画像処理部２２３とともに、図３および図４のフローチャートに示す処理を行う。図３のフローチャートには、マイコン２１０および画像処理部２２３がコンピュータプログラムである映像再生プログラムに従って実行する映像再生処理の流れを示している。以下の説明および図３および図４において、「Ｓ」はステップを意味する。また、以下の説明において、映像データ、フレーム画像データおよび他のＸＸ画像データをそれぞれ単に映像、フレーム画像およびＸＸ画像という。
【００２７】
図３に示すＳ３０１〜Ｓ３０５では、マイコン２１０は再生する映像を選択するための選択画像の表示に係る処理を行う。本実施例では、選択画像は映像の１番目のフレーム（先頭フレーム）のフレーム画像（防振再生の開始時に最初に表示する再生開始画像：以下、先頭フレーム画像という）から生成したサムネイル画像とする。Ｓ３０６〜Ｓ３０７では、マイコン２１０は、映像再生が停止しているときの停止画像の表示に係る処理を行う。また、Ｓ３０８〜Ｓ３１２では、マイコン２１０は、再生映像の表示に係る処理を行う。
【００２８】
本実施例では、Ｎ個（Ｎ≧１）の映像Ｖが予め記録されて記録メディア１２２に保存されているものとし、ｎ番目（１≦ｎ≦Ｎ）の映像をＶ（ｎ）と表記する。また、映像Ｖ(ｎ)を構成するＭ(ｎ)個（Ｍ(ｎ)≧１）のフレーム画像Ｆについて、ｍ番目（１≦ｍ≦Ｍ(ｎ)）のフレーム画像をＦ(ｍ)と表記し、フレーム画像Ｆ(ｍ)の切出し領域の切出し位置をＰ(ｍ)と、切出しサイズをＳ(ｍ)とそれぞれ表記する。また、Ｎ個の映像Ｖ(ｎ)のうち再生する映像をＶ(Ａ)と表記する。これらの表記は後述する図４の処理でも同じである。
【００２９】
まずＳ３０１において、マイコン２１０内の振れ補正量決定部２０４は、メタデータ読み出し部２０２を介して映像Ｖ(ｎ)の先頭フレーム画像Ｆ(１)における切出し位置Ｐ(１)と切出しサイズＳ(１)をメタデータから取得する。そして、これらを不図示の一時メモリに保存してＳ３０４に進む。ただし、Ｐ(１)とＳ(１)がメタデータに記録されていない（メタデータから取得できない）場合にはＳ３０２に進む。
【００３０】
Ｓ３０２では、振れ補正量決定部２０４は、映像Ｖ(ｎ)の先頭フレーム画像Ｆ(１)における切出し位置Ｐ(１)と切出しサイズＳ(１)を決定し、該Ｐ(１)とＳ(１)を一時メモリに保存してＳ３０３に進む。Ｐ(１)とＳ(１)の決定処理の詳細については後述する。
【００３１】
Ｓ３０３では、振れ補正量決定部２０４は、メタデータ設定部１１５を介して、Ｓ３０２で決定した映像Ｖ(ｎ)の先頭フレーム画像Ｆ(１)における切出し位置Ｐ(１)と切出しサイズＳ(１)をメタデータに記録してＳ３０４に進む。
【００３２】
Ｓ３０４では、振れ補正量決定部２０４は、Ｓ３０１またはＳ３０２で一時メモリに保存した、映像Ｖ(ｎ)の先頭フレーム画像Ｆ(１)における切出し領域の切出し位置Ｐ(１)と切出しサイズＳ(１)を取得し、これらを画像処理部２２３に設定する。これにより、画像処理部２２３を通じて、映像Ｖ(ｎ)の先頭フレーム画像Ｆ(１)から切り出した部分画像を拡大して生成した画像（ただし表示サイズは小さい）が選択画像であるサムネイル画像として表示部２２４に表示される。選択画像は、後述するＰ(１)とＳ(１)の決定処理の結果に応じて、防振画像または非防振画像と同じ（ただし表示サイズは小さい）画像となる。この後、マイコン２１０は、Ｓ３０５に進む。
【００３３】
Ｓ３０５では、マイコン２１０は、Ｎ個の全ての映像Ｖの選択画像が表示部２２４に表示されたか否かを判定し、全ての映像Ｖの選択画像が表示部２２４に表示された場合はＳ３０６に進む。一方、まだ全ての映像Ｖの選択画像が表示部２２４に表示されていない場合はマイコン２１０はＳ３０１に戻り、次の映像Ｖ(ｎ＋１)に対してＳ３０１〜Ｓ３０４の処理を再度行う。
【００３４】
Ｓ３０６では、マイコン２１０は、ジョイスティック２３１のユーザ操作により再生する映像Ｖ(Ａ)の選択画像が選択されたか否かを判定し、選択された場合はＳ３０７に進む。選択されていない場合はマイコン２１０は本ステップの処理を再度行う。
【００３５】
Ｓ３０７では、振れ補正量決定部２０４は、Ｓ３０１またはＳ３０２で一時メモリに保存した映像Ｖ(Ａ)の先頭フレーム画像Ｆ(１)における切出し位置Ｐ(１)と切出しサイズＳ(１)を取得し、これらを画像処理部２２３に設定する。これにより、画像処理部２２３を通じて、映像Ｖ(Ａ) の先頭フレーム画像Ｆ(１)から切り出した部分画像を拡大して生成した画像が停止画像として表示部２２４に表示される。停止画像は、後述するＰ(１)とＳ(１)の決定処理の結果に応じて、防振画像または非防振画像と同じ（表示サイズも同じ）画像となる。この後、マイコン２１０はＳ３０８に進む。
【００３６】
Ｓ３０８では、マイコン２１０は、停止ボタン２３３のユーザ操作により映像Ｖ(Ａ)の再生の終了指示がなされたか否かを判定する。再生の終了指示がなされた場合は、マイコン２１０はＳ３０１に進み、Ｓ３０１〜Ｓ３０５の選択画像の表示に係る処理を再度行う。再生の終了指示がなされていない場合は、マイコン２１０はＳ３０９に進む。
【００３７】
Ｓ３０９では、マイコン２１０は、再生／一時停止ボタン２３２のユーザ操作により映像Ｖ(Ａ)の再生の開始指示がなされたか否かを判定する。再生の開始指示がなされた場合は、マイコン２１０はＳ３１０に進む。再生の開始指示がなされていない（または再生の一時停止指示がなされた）場合はＳ３０８に進む。
【００３８】
Ｓ３１０では、振れ補正量決定部２０４は、映像Ｖ(Ａ)において現在再生されているフレームのフレーム画像（再生フレーム画像）Ｆ(ｍ)における切出し位置Ｐ(ｍ)と切出しサイズＳ(ｍ)を決定し、該Ｐ(ｍ)と(ｍ)を一時メモリに保存してＳ３１１に進む。Ｐ(ｍ)とＳ(ｍ)の決定処理の詳細についても、Ｓ３０２と同様に後述する。
【００３９】
Ｓ３１１では、振れ補正量決定部２０４は、Ｓ３１０で一時メモリに保存した映像Ｖ(Ａ)の再生フレーム画像Ｆ(ｍ)における切出し位置Ｐ(ｍ)と切出しサイズＳ(ｍ)を取得し、これらを画像処理部２２３に設定する。これにより、画像処理部２２３を通じて、映像Ｖ(Ａ)の再生フレーム画像Ｆ(ｍ)から切り出された部分画像を拡大して生成された再生画像が表示部２２４に表示される。この後、マイコン２１０はＳ３１２に進む。再生画像は、後述するＰ(ｍ)とＳ(ｍ)の決定処理の結果に応じて、防振画像または非防振画像となる。
【００４０】
Ｓ３１２では、マイコン２１０は、映像Ｖ(Ａ)における全てのフレーム画像Ｆ(１〜Ｍ(Ａ))の切出し領域が再生画像として表示されたか否かを判定する。全ての再生画像が表示された場合はマイコン２１０は３０１に進み、Ｓ３０１〜Ｓ３０５の選択画像の表示に係る処理を再度行う。まだ全ての再生画像が表示されていない場合は、マイコン２１０はＳ３０８に進み、次のフレーム画像Ｆ(ｍ＋１)についてＳ３０８〜Ｓ３１２の処理を再度行う。
【００４１】
図４のフローチャートには、図３のＳ３０２とＳ３１０にて振れ補正量決定部２０４が動きベクトル量取得部２０１と角度振れ量取得部２０３とともに行うフレーム画像からの切出し領域の切出し位置と切出しサイズの決定処理（つまりは防振処理）を示している。前述したようにフレーム画像Ｆについてｍ番目（１≦ｍ≦Ｍ(ｎ)）のフレーム画像をＦ(ｍ)と表記するとき、Ｓ３０２におけるｍは１であり、Ｓ３１０におけるｍは１≦ｍ≦Ｍである。
【００４２】
Ｓ４０１では、動きベクトル量取得部２０１は、映像Ｖのフレーム画像Ｆ(ｍ)から先の所定期間分の動きベクトル量を取得する。また、角度振れ量取得部２０３は、メタデータ読み出し部２０２を介して、同様に映像ＶのフレームＦ(ｍ)から先の所定期間分の角度振れ量を取得する。手振れによるカメラ振れは通常は４〜９Ｈｚの周波数を持つため、所定期間とは、例えば４Ｈｚの約２周期分に相当する約０．５秒である。
【００４３】
次にＳ４０２では、振れ補正量決定部２０４は、所定期間内でカメラ１００のパンニングが行われたか否かを判定する。具体的には、振れ補正量決定部２０４は、Ｓ４０１にて取得された所定期間分の動きベクトル量または角度振れ量が該所定期間内において所定の閾値を超えて一方向に増加または減少している場合にパンニングが行われたと判定する。振れ補正量決定部２０４は、パンニングが行われたと判定した場合はＳ４０４に進み、パンニングが行われていないと判定した場合はＳ４０３に進む。パンニング時は一般に動きベクトル量および角度振れ量が大きくなるため、切出し領域の切出し位置が限界位置（切出し端位置）に達してしまう。このため、パンニングが行われたと判定した振れ補正量決定部２０４は、再生中の防振処理を停止する制御を行う。なお、パンニングには、カメラの１００水平方向の角度変位だけでなく、垂直方向の角度変位（チルティングともいう）を含めてもよい。
【００４４】
Ｓ４０３では、振れ補正量決定部２０４は、Ｓ４０１で取得した所定期間分の動きベクトル量または角度振れ量に基づいて、再生映像Ｖに対して防振処理を行うためのフレーム画像Ｆ(ｍ)における切出し領域の切出し位置Ｐ(ｍ)と切出しサイズＳ(ｍ)を決定する。
【００４５】
Ｓ４０４では、振れ補正量決定部２０４は、再生中の映像Ｖに対して防振処理を行わない（停止する）ようにフレーム画像Ｆ(ｍ)における切出し領域の切出し位置Ｐ(ｍ)と切出しサイズＳ(ｍ)を所定の切出し位置と所定の切出しサイズに決定する。本実施例では、振れ補正量決定部２０４は、フレーム画像Ｆ(ｍ)に対する切出し位置Ｐ(ｍ)と切出しサイズＳ(ｍ)を、その前のフレーム画像Ｆ(ｍ−１)に対する切出し位置Ｐ(ｍ−１)と切出しサイズＳ(ｍ−１)と同じに決定する。また、振れ補正量決定部２０４は、先頭フレーム画像Ｆ(１)については、該先頭フレーム画像Ｆ(１)の中心領域を切り出し領域として切り出すように切出し位置Ｐ(ｍ)を決定する。さらに、先頭フレーム画像Ｆ(１)については、Ｓ４０２で用いた閾値に相当する動きベクトル量または角度振れ量に基づいてフレーム画像Ｆ(ｍ)における切出し領域の切出しサイズＳ(ｍ)を決定する。これらの場合、フレーム画像Ｆ(ｍ)（先頭フレーム画像Ｆ(１)を含む）から切り出されて拡大されて生成される画像は非防振画像となる。
【００４６】
次に、図５（Ａ）〜（Ｃ）および図６（Ａ）〜（Ｃ）を用いて、本実施例における画像表示の例を従来と比較しつつ説明する。図５（Ａ）には従来における選択画像を、図５（Ｂ）には従来における停止画像を、図５（Ｃ）には従来において再生開始直後に表示される再生画像の例を示している。図５（Ａ）においては、記録メディアから読み出された映像の先頭フレーム画像がそのまま選択画像として表示される。つまり、この選択画像は、先頭フレーム画像から切り出されて拡大されたものではない。この選択画像を通じて映像が選択されると、図５（Ｂ）に示すように該映像の停止画像が表示されるが、このときも先頭フレーム画像から切り出されて拡大されることなく、先頭フレーム画像がそのまま停止画像として表示される。
【００４７】
そして、図５（Ｃ）に示すように、停止画像の表示状態から映像の再生の開始直後には、防振処理によって先頭フレーム画像からの切出し領域が拡大された画像としての再生画像が表示される。したがって、図５（Ｂ）に示した停止画像の画角と図５（Ｃ）に示した再生画像の画角が大きく変化する。
【００４８】
一方、図６（Ａ）には本実施例における選択画像を、図６（Ｂ）には本実施例における停止画像を、図６（Ｃ）には本実施例において再生開始直後に表示される再生画像の例を示している。図６（Ａ）においては、記録メディアから読み出された映像の先頭フレーム画像Ｆ（１）から防振処理により決定された切出し位置Ｐ（１）と切出しサイズＳ（１）で切り出された切出し領域の画像が拡大されて選択画像として表示されている。この選択画像を通じて映像が選択されると、図６（Ｂ）に示すように該映像の停止画像が表示される。ここでも、先頭フレーム画像Ｆ（１）から防振処理により決定された切出し位置Ｐ（１）と切出しサイズＳ（１）で切り出された切出し領域の画像が拡大されて停止画像として表示される。
【００４９】
そして、図６（Ｃ）に示すように、停止画像の表示状態から映像の再生の開始直後には、防振処理によって先頭フレーム画像Ｆ（１）から切出し位置Ｐ（１）と切出しサイズＳ（１）で切り出された切出し領域の画像が拡大されて再生画像が表示される。したがって、図６（Ｂ）に示した停止画像の画角と図６（Ｃ）に示した再生画像の画角とは変化がなく、同じである。
【００５０】
以上説明した本実施例では、記録済み映像の防振再生を行う場合において、映像をユーザに選択させるための選択画像および映像が選択されてから再生が開始されるまでに表示される停止画像を、再生開始直後に表示される再生画素と同じ画角の画像とする。このため、映像の再生開始前の停止画像の表示状態から再生開始直後にかけての不自然な画角の変化を防ぐことができる。
【００５１】
なお、本実施例では、再生される映像の先頭フレーム画像から生成した画像を再生開始画像とする場合について説明したが、再生開始画像は必ずしも先頭フレーム画像から生成された画像に限られない。例えば、映像の再生を先頭フレーム以外の中間フレームで停止させた場合は、中間フレームのフレーム画像から生成した画像を再生開始画像とし、これを停止画像や選択画像として用いてもよい。
【００５２】
ビデオカメラ１００における映像再生処理ついて説明した。しかし、同様の映像再生処理は、デジタルカメラ、パーソナルコンピュータ、ＰＤＡ、携帯電話、携帯画像ビューワ、ディスプレイ付きプリンタ、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダ等の映像再生機能を有する各種装置に適用可能である。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５３】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００５４】
２０１  動きベクトル量取得部
２０２  メタデータ読み出し部
２０３  角度振れ量取得部
２０４  振れ補正量決定部
２１０  マイクロコンピュータ
２２３  画像処理部
【図１】
2018046397.tif 000003
【図２】
2018046397.tif 000004
【図３】
2018046397.tif 000005
【図４】
2018046397.tif 000006
【図５】
2018046397.tif 000007
【図６】
2018046397.tif 000008