(57)【要約】      （修正有）【課題】画像の再生時に画像の振れを補正するための画像切り出し及び拡大表示を行う場合に、画像の切り出し範囲がユーザーの意図に反したものになることを抑制する。【解決手段】振れ補正部１０８は、動画像の撮影時に記録された撮像装置の振れを表す振れデータを取得する取得部と、振れデータの時間変化を表す振れグラフを生成する生成部と、振れグラフを表示するグラフ表示部と、振れデータを用いて動画像を振れ補正を行いながら再生する場合の、動画像を構成する各フレーム画像の切り出しサイズを算出するサイズ算出部と、切り出しサイズ及び検出手段により動画像から検出された被写体の動きベクトル量を用いて、各フレーム画像の切り出し位置を算出する位置算出部と切り出しサイズと切り出し位置に基づいて各フレーム画像を切り出して表示する画像表示部と、を備え、切り出しサイズと切り出し位置に基づいて各フレーム画像を切り出して動画像の再生する。【選択図】図２
2017212550.tif 000002
【特許請求の範囲】
【請求項１】
動画像の撮影時に記録された撮像装置の振れを表す振れデータを取得する取得手段と、
前記振れデータの時間変化を表す振れグラフを生成する生成手段と、
前記振れグラフを表示するグラフ表示手段と、
前記振れデータを用いて、前記動画像を振れ補正を行いながら再生する場合の、前記動画像を構成する各フレーム画像の切り出しサイズを算出するサイズ算出手段と、
前記切り出しサイズ、及び検出手段により動画像から検出された被写体の動きベクトル量を用いて、前記各フレーム画像の切り出し位置を算出する位置算出手段と、
前記切り出しサイズと前記切り出し位置に基づいて、前記各フレーム画像を切り出して表示する画像表示手段と、
前記切り出しサイズと前記切り出し位置に基づいて各フレーム画像を切り出して前記動画像の再生を開始する前に、前記振れグラフを前記グラフ表示手段に表示させるように制御する制御手段と、
を備えることを特徴とする画像再生装置。
【請求項２】
前記生成手段は、前記動画像の再生中に、現在の時刻を基準として所定の時間範囲の前記振れグラフを生成することを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記画像表示手段は、前記グラフ表示手段を兼ねることを特徴とする請求項２に記載の画像再生装置。
【請求項４】
前記画像表示手段は、再生中の前記動画像に重畳して前記所定の時間範囲の振れグラフを表示することを特徴とする請求項３に記載の画像再生装置。
【請求項５】
前記振れ補正の強度を変更する変更手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像再生装置。
【請求項６】
ユーザが前記振れ補正の強度を前記変更手段に入力するための入力手段をさらに備えることを特徴とする請求項５に記載の画像再生装置。
【請求項７】
前記変更手段は、前記入力手段に対するユーザの入力が無い場合には、所定の切り出しサイズで前記各フレーム画像を切り出し、前記入力手段に対するユーザの入力があった場合には、入力された振れ補正の強度に基づいた切り出しサイズで前記各フレーム画像を切り出すことを特徴とする請求項６に記載の画像再生装置。
【請求項８】
前記振れデータから振れの傾向が変化する時刻を検出する傾向変化検出手段をさらに備え、前記生成手段は振れの傾向が変化する時刻が前記振れグラフに表示されるように前記振れグラフを生成することを特徴とする請求項２に記載の画像再生装置。
【請求項９】
前記生成手段は、前記動画像を再生中に、所定時間後に前記振れの傾向が変化する場合に、前記所定の時間範囲を拡大した前記振れグラフを生成することを特徴とする請求項８に記載の画像再生装置。
【請求項１０】
前記動画像の撮影時に記録された撮影レンズの焦点距離を取得する焦点距離取得手段と、前記振れデータと前記焦点距離を用いて被写体の画面上での振れ量である画面振れ量を算出する画面振れ量算出手段と、前記振れグラフを生成する場合に用いるデータを前記振れデータと前記画面振れ量のデータとで切り替える切り替え手段とをさらに備え、前記生成手段は、前記動画像に前記焦点距離が記録されていない場合は前記振れデータを用いて前記振れグラフを生成し、前記焦点距離が記録されている場合は前記画面振れ量を用いて振れグラフを生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像再生装置。
【請求項１１】
動画像の撮影時に記録された撮像装置の振れを表す振れデータを取得する取得工程と、
前記振れデータの時間変化を表す振れグラフを生成する生成工程と、
前記振れグラフをグラフ表示手段に表示するグラフ表示工程と、
前記振れデータを用いて、前記動画像を振れ補正を行いながら再生する場合の、前記動画像を構成する各フレーム画像の切り出しサイズを算出するサイズ算出工程と、
前記切り出しサイズ、及び動画像から検出された被写体の動きベクトル量を用いて、前記各フレーム画像の切り出し位置を算出する位置算出工程と、
前記切り出しサイズと前記切り出し位置に基づいて、前記各フレーム画像を切り出して画像表示手段に表示する画像表示工程と、
前記切り出しサイズと前記切り出し位置に基づいて各フレーム画像を切り出して前記動画像の再生を開始する前に、前記振れグラフを前記グラフ表示手段に表示させるように制御する制御工程と、
を有することを特徴とする画像再生方法。
【請求項１２】
請求項１１に記載の画像再生方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１１に記載の画像再生方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を再生する場合に画像の振れを補正する機能を備えた画像再生装置に関するものである。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置で動画像を記録する場合、手振れ等による撮像装置本体の振れに起因して記録画像が振れる場合がある。このような振れを動画像の再生時に補正するために、画像の振れを表す動きベクトル量を取得し、動きベクトル量に応じて画像の切り出し位置と切り出しサイズを決定し、切り出して表示する技術が知られている。また、動画像の記録時に、撮像装置の振れを角速度センサで検出し、角速度に基づく振れ量を画像と共に記録し、動画像の再生時に、当該振れ量に応じて画像の切り出し位置と切り出しサイズを決定し、切り出して表示する技術が知られている。
【０００３】
こうした動画像の再生時に振れを補正する技術では、補正のために切り出した画像をモニタに拡大して表示する。このとき、切り出しサイズが大きい、すなわち画像の拡大率が小さいと、大きな振れを補正しきれず、切り出しサイズが小さい、すなわち画像の拡大率が大きいと画像の画質が低下してしまう。そのため、画像の振れに応じて切り出しサイズを適切に決定する必要がある。
【０００４】
例えば特許文献１においては、振れが閾値より大きいか否かに応じて切り出しサイズの大きさを２種類から決定し、再生時に切り出しサイズ変わる場合にはユーザーに違和感を与えないように滑らかに変化させる方法が提案されている。また、特許文献２においては、画像の構図の変化を検出し、同一構図区間ごとに画像の振れに応じた切り出しサイズを決定することで、それぞれの区間に適した振れの補正を行う方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−４４４１８号公報
【特許文献２】特開２０１５−２９２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来の技術では、画像再生装置が画像の振れ量に応じて画像の切り出し位置や切り出しサイズを自動的に決定するため、切り出した画像がユーザーの意図に合っていない場合があるという問題があった。例えば、振れが大きいシーンでは、画像再生時の振れの補正により画像の切り出しサイズが小さくなり、解像度の低下がユーザーの許容範囲を超えてしまう場合がある。また、画像の切り出し位置が不適切になり、映っていてほしい被写体が映っていないという場合もある。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、画像の再生時に画像の振れを補正するための画像切り出し及び拡大表示を行う場合に、画像の切り出し範囲がユーザーの意図に反したものになることを抑制することである。
【課題を解決するための手段】
【０００８】
本発明に係わる画像再生装置は、動画像の撮影時に記録された撮像装置の振れを表す振れデータを取得する取得手段と、前記振れデータの時間変化を表す振れグラフを生成する生成手段と、前記振れグラフを表示するグラフ表示手段と、前記振れデータを用いて、前記動画像を振れ補正を行いながら再生する場合の、前記動画像を構成する各フレーム画像の切り出しサイズを算出するサイズ算出手段と、前記切り出しサイズ、及び検出手段により動画像から検出された被写体の動きベクトル量を用いて、前記各フレーム画像の切り出し位置を算出する位置算出手段と、前記切り出しサイズと前記切り出し位置に基づいて、前記各フレーム画像を切り出して表示する画像表示手段と、前記切り出しサイズと前記切り出し位置に基づいて各フレーム画像を切り出して前記動画像の再生を開始する前に、前記振れグラフを前記グラフ表示手段に表示させるように制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像の再生時に画像の振れを補正するための画像切り出し及び拡大表示を行う場合に、画像の切り出し範囲がユーザーの意図に反したものになることを抑制することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置の第１の実施形態であるデジタルビデオカメラの構成を示すブロック図。
【図２】第１の実施形態における撮像装置の画像再生装置としてのブロック図。
【図３】振れ補正の概要を示す模式図。
【図４】動画像の再生前における振れ補正に関するフローチャート。
【図５】動画像の再生前に表示するグラフの模式図。
【図６】第１の実施形態における画像再生中の振れ補正に関するフローチャート。
【図７】第１の実施形態における画像に重畳して表示するグラフの模式図。
【図８】第２の実施形態における撮像装置の画像再生装置としてのブロック図。
【図９】第２の実施形態における画像再生前に表示するグラフの模式図。
【図１０】第２の実施形態における画像再生中の振れ補正に関するフローチャート。
【図１１】第２の実施形態における画像に重畳して表示するグラフの模式図。
【図１２】第３の実施形態における撮像装置の画像再生装置としてのブロック図。
【図１３】第３の実施形態における画像再生前の振れ補正に関するフローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、以下の実施形態では画像再生装置をデジタルビデオカメラに適用した場合について説明するが、本発明はこれに限定されるものではなく、画像再生装置単体でもよいし、一眼レフカメラやレンズ一体型カメラ、カメラ機能付き携帯電話に適用してもよい。
【００１２】
＜第１の実施形態＞
図１は、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラ１００の構成を示すブロック図である。なお、各機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアにより実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。もしくは、ハードウェアとソフトウェアが組み合わされて実現されてもよい。したがって、以下の説明において異なる機能ブロックが動作の主体として記載されている場合であっても、同じハードウェアが主体として実現される場合がある。
【００１３】
図１において、撮影レンズ１０１は複数のレンズ群からなる撮影レンズであり、便宜上１枚のレンズで表わされているが、実際にはズームレンズ、フォーカスレンズ、シフトレンズなどを備えている。シャッター１０２は絞り機能を備えるシャッターであり、撮像素子１０３に光を受光させる時間を調節する。撮像素子１０３は光電変換素子を有する画素が複数、二次元状に配列された構成を有する。撮像素子１０３は撮影レンズ１０１により結像された被写体光学像を各画素で電気信号に変換する。
【００１４】
Ａ／Ｄ変換器１０４は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１０４は撮像素子１０３から出力されるアナログの画像信号をデジタルの画像信号に変換し、画素単位の画像データを出力する。画像処理部１０５は、Ａ／Ｄ変換器１０４から出力された画像データに対して所定の画素補完処理、拡縮といったリサイズ処理、ＡＷＢ処理（オートホワイトバランス処理）といった色変換処理を行う。
【００１５】
Ａ／Ｄ変換器１０４から出力された画像データは、画像処理部１０５及びメモリ制御部１０６を介して、もしくは、メモリ制御部１０６を介してメモリ１１１に書き込まれる。メモリ１１１は、Ａ／Ｄ変換器１０４によりデジタル信号に変換された画像データや、表示部（画像表示部）１１０に表示するための画像データを格納する。そのためメモリ１１１は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。
【００１６】
ＧＰＵ１０７はデジタルビデオカメラ１００の各種情報表示やメニュー画面をＶＲＡＭに描画するレンダリングエンジンである。文字列や図形の描画機能のほか、拡縮描画機能、回転描画機能、レイヤ合成機能を備えている。表示用Ｉ／Ｆ部１０８は、メモリ制御部１０６を介して送られる画像処理部１０５からの画像データ及びＧＰＵ１０７で描画したＶＲＡＭ内のデータに対して重畳合成及びリサイズ処理を行い、Ｄ／Ａ変換器１０９へ出力する。Ｄ／Ａ変換器１０９は表示用Ｉ／Ｆ部１０８から出力された画像データをアナログ信号に変換して表示部１１０へ出力する。表示部１１０はＤ／Ａ変換器１０９から出力されたアナログ信号を表示するモニタやファインダなどからなる。
【００１７】
不揮発性メモリ１１３は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１１３には、システム制御部１１２の動作用の定数やプログラムなどが記録される。システム制御部１１２はデジタルビデオカメラ１００全体を制御する。不揮発性メモリ１１３に記録されたプログラムを実行することで本実施形態の各処理を実行する。また、メモリ１１１、表示用Ｉ／Ｆ部１０８、Ｄ／Ａ変換器１０９、表示部１１０を制御することにより表示制御を行う。
【００１８】
操作部１１４はユーザー操作を受け付け、システム制御部１１２に各種動作指示を入力する。操作部１１４は、物理的なボタンの他に表示部１１０に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部１１０とは一体的に構成することができ、タッチパネルにおける入力座標と表示部１１０上の表示座標を対応付けることで、あたかもユーザーが表示部１１０に表示された画面を直接操作可能であるかのようなＧＵＩを構成することができる。
【００１９】
電源制御部１１５は電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などで構成され、電池の装着の有無、電池の種類、電池の残量の検出を行う。また、電源制御部１１５は、その検出の結果及びシステム制御部１１２の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間デジタルビデオカメラ１００の各部へ提供する。電源部１１６はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプターからなる。
【００２０】
角速度センサ１１７はデジタルビデオカメラ１００に加わる振れの角速度を検出する。振れ補正部１１８は角速度センサ１１７により検出された角速度及び画像処理部１０５から出力された画像データについて算出した動きベクトル量から撮像装置の振れを算出する。そして、算出した振れを相殺するように撮影レンズ１０１内部のシフトレンズを制御する光学式像振れ補正処理、もしくは画像データの一部を切り出す電子像振れ補正処理を行う。算出した振れはメタデータとして画像と関連させて記録することにより、画像再生時に参照可能とする。
【００２１】
システムタイマー１１９は各種制御に用いる時間や、内蔵された時計の時間を計測する。システムメモリ１２０はシステム制御部１１２の動作用の定数、変数、不揮発性メモリ１１３から読み出したプログラムを展開するためのメモリであり、ＲＡＭが用いられる。
【００２２】
記録媒体Ｉ／Ｆ１２１は記録媒体１２２とデジタルビデオカメラ１００とを接続するインターフェースである。記録媒体１２２は撮影された画像及びメタデータを記録するためのメモリーカードやハードディスク、ＵＳＢメモリ等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００２３】
図２は、本実施形態のデジタルビデオカメラ１００の画像再生装置としての構成を示すブロック図である。図２において、記録媒体１２２には、デジタルビデオカメラ１００の撮影時の振れ量を含むメタデータが付加された画像が記録されている。ただし、メタデータおよび画像データの記録形式は、メタデータ及び画像データを取得可能である限りどのような形式であってもよく、例えばメタデータと画像データは別に記録されていてもよい。
【００２４】
記録媒体Ｉ／Ｆ１２１は、記録媒体１２２から画像データ及びメタデータを取得し、メモリ１１１へ出力する。メモリ１１１は、記録媒体Ｉ／Ｆ１２１から出力された画像データ及びメタデータを数秒分記憶しておく。メタデータ読み出し部２０１は、メモリ１１１に記憶されたメタデータを読み出し、振れデータ取得部２０２に出力する。振れデータ取得部２０２は、メタデータ読み出し部２０１から出力されたメタデータから、デジタルビデオカメラ１００の振れデータを取得する。
【００２５】
補正強度設定部２０３は、操作部１１４からの入力に応じて振れ補正強度を設定する。切り出しサイズ設定部２０４は、取得した振れデータ及び振れ補正強度に基づいて画像の切り出しサイズを決定し、画像処理部１０５に出力する。動きベクトル検出部２０５は、メモリに記憶された画像から動きベクトル量を検出し、切り出し位置設定部２０６に出力する。切り出し位置設定部２０６は、取得した動きベクトル量及び画像の切り出しサイズに基づいて画像の切り出し位置を決定して画像処理部１０５に出力する。なお、前述の振れ補正部１１８はメタデータ読み出し部２０１、振れデータ取得部２０２、補正強度設定部２０３、切り出しサイズ設定部２０４、動きベクトル検出部２０５、及び切り出し位置設定部２０６の機能を実装する。
【００２６】
振れグラフ生成部２０７は、取得した振れデータに基づいて振れの時間遷移を表した振れグラフを生成する。生成した振れグラフは表示用Ｉ／Ｆ部１０８で画像に重畳される。前述のＧＰＵ１０７は振れグラフ生成部２０７の機能を実装する。
【００２７】
メモリ１１１に記憶された画像は、画像処理部１０５で必要に応じて切り出し処理が施された後、表示用Ｉ／Ｆ部１０８、Ｄ／Ａ変換器１０９を通じて表示部１１０に表示される。
【００２８】
図３（ａ）、図３（ｂ）は本実施形態における画像の振れ補正の概要を示す模式図である。図３を用いて、画像再生時の振れ補正について説明する。メモリ１１１に展開された動画ストリームの画像データ（フレーム画像）３０１に対して、切り出しサイズ設定部２０４で切り出し枠３０２のサイズを決定し、切り出し位置設定部２０６で切り出し枠３０２の位置を決定する。そして、切り出し枠３０２内の画像を画像データ３０１と同じサイズになるように画像処理部１０５で拡大処理する。拡大された切り出し枠３０２内の画像である拡大画像３０３は、表示用Ｉ／Ｆ部１０８、Ｄ／Ａ変換器１０９を通じて表示部１１０に表示される。
【００２９】
また、画像データ３０１の次フレームの画像データを画像データ３０４とする。ここで、画像データ３０４内の領域３０５は切り出し枠３０２と撮像面上で同じ領域であるとする。しかしながら、画像データ３０１と画像データ３０４の撮影の間に生じた撮影者の手振れなどが原因となって、切り出し枠３０２内の画像と領域３０５内の画像とは互いに異なる。そのため、切り出し枠３０２と画像の類似度が最大になるような切り出し枠３０６を検出する。切り出し枠３０６の位置は画像データ３０１と画像データ３０４で一致する特徴点を抽出したりブロックマッチング方式などを利用して画像データ３０１に対する画像データ３０４の動きベクトル量を検出することで決定できる。そして、切り出し枠３０６内の画像は、切り出し枠３０２内の画像と同様に画像処理部１０５で拡大されて拡大画像３０７となり、表示部１１０に表示される。
【００３０】
図４は、動画像の再生前における振れ補正動作に関するフローチャートである。ステップＳ４０１において、メタデータ読み出し部２０１は再生する画像に記録されているメタデータを読み出す。なお、メタデータは再生する画像の全フレームから読み出すものとする。
【００３１】
ステップＳ４０２において、振れデータ取得部２０２はメタデータから振れデータを取得する。ステップ４０３において、振れグラフ生成部２０７は、取得した振れデータから、動画像撮影時のデジタルビデオカメラ１００の振れ（角度）を縦軸、時間を横軸として、振れの時間変化を表した振れグラフを生成する。
【００３２】
ステップＳ４０４において、表示用Ｉ／Ｆ部１０８は表示部１１０に振れグラフを表示させる（グラフ表示）。図５は振れグラフを示す模式図であり、曲線５０１はある時間範囲における振れの大きさを表している。
【００３３】
ステップＳ４０５において、補正強度設定部２０３は、振れ補正強度の変更要求があるか否かを判断する。振れ補正強度とは画像の振れを補正する強さのことであり、値が大きいほど補正できる振れの大きさが大きくなる。その一方で、画像データから切り出す切り出しサイズが小さくなり、それを拡大して画面全体に表示するので、表示した際の解像度が劣化する。図５における振れ補正強度５０２〜５０４は振れの大きさに対して補正可能かどうかを表す指標であり、それぞれの振れ補正強度に対して曲線５０１の示す値が小さければ補正可能であり、大きければ振れ残りが発生することを示す。ユーザーは振れ補正強度の初期値（図５では太線で示されている振れ補正強度５０３）に対して変更する必要があれば操作部１１４を操作し、振れ補正強度を５０２、もしくは５０４に変更する。操作部１１４の操作方法としては、例えばタッチパネルで振れ補正強度を表すアイコンをタッチすることが考えられる。振れ補正強度の変更要求がない場合はステップＳ４０６に進み、振れ補正強度の変更要求がある場合はステップＳ４０７に進む。
【００３４】
ステップＳ４０６においては、切り出しサイズ設定部２０４は画像の切り出しサイズを所定のサイズに設定する。ステップＳ４０７において、切り出しサイズ設定部２０４は振れ補正強度の変更に応じて画像の切り出しサイズを変更する（切り出しサイズ算出）。そして、ステップＳ４０８において、切り出し位置設定部２０６は画像の初期フレームに対する切り出し位置を設定する（切り出し位置算出）。ステップＳ４０８において、システム制御部１１２は画像の再生を開始する。
【００３５】
図６は、動画像の再生中における振れ補正動作に関するフローチャートである。ステップＳ６０１において、補正強度設定部２０３は振れ補正強度の変更要求があるか否かを判断する。振れ補正強度の変更要求がある場合はステップＳ６０２に進み、なければステップＳ６０３に進む。
【００３６】
ステップＳ６０２においては、切り出しサイズ設定部２０４は補正強度変更の要求がなかったことから、前フレームの画像の切り出しサイズを現在のフレームの切り出しサイズとして設定する。ステップＳ６０３においては、切り出しサイズ設定部２０４は振れ補正強度の変更に基づいて画像の切り出しサイズを変更する。
【００３７】
ステップＳ６０４において、動きベクトル検出部２０５は現在のフレームと前のフレームから動きベクトル量を検出する。ステップＳ６０５において、切り出し位置設定部２０６は前のフレームの画像の切り出し位置、ステップＳ６０４で検出した動きベクトル量及び画像の切り出しサイズから現在のフレームの画像の切り出し位置を決定する。
【００３８】
ステップＳ６０６において、画像処理部１０５は設定された切り出しサイズ、切り出し位置に基づいて画像を切り出す。ステップＳ６０７において、画像処理部１０５は切り出した画像を元の画像のサイズと同じ大きさになるように拡大処理する。ステップＳ６０８において、振れグラフ生成部２０７は画像に重畳して表示するための振れグラフを生成する。このとき、振れグラフの表示範囲は画像を妨げないように限られた領域が設定される。そのため、ステップ４０３で生成したグラフと異なり、グラフの横軸で表す期間は画像全体の長さではなくある一定の期間とする。
【００３９】
ステップＳ６０９において、表示用Ｉ／Ｆ部１０８は画像に振れグラフを重畳して表示する。図７は、画像に重畳して表示される振れグラフの模式図である。振れグラフ７０１は、再生時間を基準として、例えば１５秒後までの振れの変化を表している。補正強度７０２は現在の補正強度で補正可能な振れの大きさを表している。なお、図７において振れグラフの表示範囲を１５秒としたが、この時間は一例である。
【００４０】
ステップＳ６１０において、システム制御部１１２は画像ストリームが終了したか否かを判定し、終了した場合はステップＳ６１０に進み、終了していない場合はステップＳ６０１に戻って、処理を次のフレームに進める。
【００４１】
ステップＳ６１１において、システム制御部１１２は再生中に変更された振れ補正強度の遷移を再生した画像に関連付けて記録する。これにより、画像の２回目の再生時にはユーザーが操作しなくても１回目に設定した振れ補正強度を用いて画像を再生することが可能となる。
【００４２】
以上説明したように、本実施形態では、デジタルビデオカメラ１００は画像再生時に、画像のメタデータに記録された振れデータから振れグラフを生成し表示する。そして、ユーザーは振れグラフを見て振れ補正強度の変更が必要か否かを判断し、必要であれば振れ補正強度を変更する。これによって、ユーザーの好み（画像の画質、画像の切り出し範囲等）に合った振れ補正の強さで再生することが可能となる。
【００４３】
＜第２の実施形態＞
上述した第１の実施形態においては、振れデータに基づく撮像装置の振れの時間変化を振れグラフに示していた。本実施形態では振れデータの変化から撮像装置の振れの傾向が変化する時刻を検出し（傾向変化検出）、その時刻を振れグラフに表示する。また、画像再生中に振れの傾向が変化する時刻が近づいたら振れグラフに表示する時間範囲を長くする。これにより、ユーザーは振れ補正強度を変更する方がよい可能性があるタイミングを分かりやすく知ることが可能となる。加えて変更する際の入力の準備を余裕をもって行うことが可能となる。
【００４４】
本発明の第２の実施形態におけるビデオカメラ１００の構成は第１の実施形態の構成とほぼ同様であるため、構成の詳細な説明は省略する。以下、第１の実施形態との相違点について説明する。
【００４５】
図８は、第２の実施形態のデジタルビデオカメラ１００の画像再生装置としての構成を示すブロック図である。第１の実施形態との相違点として、振れ補正部１１８について説明する。振れデータ取得部２０２で取得した振れデータを振れグラフ生成部２０７に出力する前に、振れ変化検出部８０１を経由する。振れ変化検出部８０１は振れデータを解析して、振れの大小やパンニング、チルティング等による振れの傾向が変化する時刻である振れ傾向変化時刻を検出し、振れデータと合わせて振れ傾向変化時刻を振れグラフ生成部２０７に出力する。
【００４６】
振れグラフ生成部２０７は振れグラフに振れの時間変化だけでなく振れの傾向が変化する時刻を表示する。図９は第２の実施形態における動画像の再生前に表示するグラフの模式図である。この図において例えば縦線９０１のように振れ傾向変化時刻を表示することで、ユーザーに動画中の振れの傾向が変化する時刻を分かりやすく示す。
【００４７】
図１０は、第２の実施形態における動画像再生中の振れ補正動作に関するフローチャートにおいて、第１の実施形態のフローチャートとの相違点であるステップＳ６０８を示した図である。
【００４８】
ステップＳ６０８の処理におけるステップＳ１００１において、振れ変化検出部８０１は所定時間後に振れの傾向が変化するか否かを検出する。所定時間後に振れの傾向が変化しない場合はステップＳ１００２に進み、振れの傾向が変化する場合はＳ１００３に進む。
【００４９】
ステップＳ１００２においては、振れグラフ生成部２０７は振れグラフに表示する範囲を所定の時間範囲に設定する。ステップＳ１００３においては、振れグラフ生成部２０７は振れグラフに表示する時間範囲を所定の時間範囲から拡大する。すなわち、所定時間後に振れの傾向が変化しない場合は、図９の表示枠９０２に示した時間範囲の振れの変化を再生画面に重畳して表示する。これに対し、所定時間後に振れの傾向が変化する場合は、図９の表示枠９０３のように、表示枠９０２より長い時間範囲の振れの変化を再生画面に重畳して表示する。
【００５０】
ステップＳ１００４において、振れグラフを作成した後、ステップＳ１００５において振れグラフに振れ傾向変化時刻を含むか否かを判断する。振れグラフの表示範囲に振れ傾向変化時刻を含む場合はステップＳ１００６に進む。
【００５１】
ステップＳ１００６においては、振れグラフに振れ傾向変化時刻を表示する。図１１は第２の実施形態における動画像の再生中に画像に重畳して表示するグラフを示す模式図である。振れグラフ１１０１は再生時間を基準として３０秒後までの振れの変化を表しており、所定の時間範囲を表示範囲とする振れグラフ７０１（図７）より長い時間範囲を表示している。縦線１１０２は振れ傾向変化時刻を示している。これにより、ユーザーは現在の再生時刻に対していつ振れ傾向が変化するかを容易に判断することができる。
【００５２】
＜第３の実施形態＞
上述した第１の実施形態及び第２の実施形態においては、振れデータから動画像の撮影時の撮像装置の振れ（角度）を算出し、切り出しサイズの設定に用いるとともに、振れグラフの縦軸として用いた。本実施形態では撮像装置の振れではなく、画像の振れ（画面上の被写体の振れ）を算出し（画面振れ量算出）、切り出しサイズの設定に用いるとともに、振れグラフの縦軸として用いる。これにより、振れ補正や画像の見え方に合ったより正確な振れグラフの生成が可能となる。
【００５３】
第３の実施形態におけるデジタルビデオカメラ１００の構成は第１の実施形態の構成とほぼ同様であるため、構成の詳細な説明は省略する。以下、第１の実施形態との相違点について説明する。
【００５４】
図１のデジタルビデオカメラ１００の構成を表すブロック図において、第３の実施形態では、システム制御部１１２は記録中に撮影レンズ１０１の焦点距離を取得する。取得した焦点距離はメタデータとして画像と関連させて記録することによって、画像再生時に参照可能とする。
【００５５】
図１２は、第３の実施形態におけるデジタルビデオカメラ１００の画像再生装置としての構成を示すブロック図である。第１の実施形態との相違点として、振れ補正部１１８及びＧＰＵ１０７について説明する。
【００５６】
メタデータ読み出し部２０１はメモリ１１１に記憶されたメタデータを読み出し、振れデータ取得部２０２及び焦点距離取得部１２０１に出力する。焦点距離取得部１２０１はメタデータ読み出し部２０１から出力されたメタデータから、記録時のレンズの焦点距離を取得し、画面振れ算出部１２０２に出力する。
【００５７】
画面振れ算出部１２０２は振れデータ及び焦点距離から画面の振れ量を算出する。撮像装置の振れを表す振れデータは必ずしも記録された画像の振れ具合とは一致しない。すなわち、焦点距離がワイド側である場合は撮像装置の振れは記録される画像にあまり影響しない。しかしながら、焦点距離がテレ側である場合は撮像装置の振れは記録される画像に大きく影響する。そのため、振れデータ及び焦点距離から画面の振れに則した振れ量を算出し、振れ補正処理に用いる。これにより、撮像装置の振れデータのみを用いる場合と比べてより正確な像振れ補正が可能となる。
【００５８】
ＧＰＵ１０７内の 画面振れグラフ生成部１２０３は、取得した画面の振れ量（距離）を縦軸、時間を横軸としてグラフを生成する。画面の振れ量をグラフ化することにより、ユーザーは画像の振れ具合に合った振れの時間変化を確認することができる。
【００５９】
図１３は、第３の実施形態における画像再生中の振れ補正動作に関するフローチャートを示す図である。ステップＳ１３０１、Ｓ１３０２は第１の実施形態のステップＳ４０１、Ｓ４０２と同様である。ステップＳ１３０３において、焦点距離取得部１２０１はメタデータから焦点距離を取得する。
【００６０】
ステップＳ１３０４において、メタデータに焦点距離が記録されているか否かを判断する。記録されていればステップＳ１３０５に進み、記録されていなければステップＳ１３０７に進む。ステップＳ１３０５においては、画面振れ算出部１２０２は振れデータと焦点距離から画面振れ量を算出する。ステップＳ１３０６においては、画面振れグラフ生成部１２０３は画面振れ量を縦軸、時間を横軸として、画面振れ量の時間変化を表した振れグラフを生成する。
【００６１】
ステップＳ１３０７〜ステップＳ１３１３は、第１の実施形態のステップＳ４０３〜ステップＳ４０９と同様である。
【００６２】
以上説明したように、第１乃至第３の実施形態によれば、ユーザーが画像再生前に振れグラフを見て画像の再生時の振れ補正強度を決定することで、ユーザーの好みに応じた振れ補正強度を選択することが可能となる。また、画像再生中に画像再生前に選択した振れ補正強度が再生中の場面において不適切であった場合でも、再生時の画像と振れグラフを判断基準として必要に応じて振れ補正強度を変更することが可能となる。
【００６３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態の一部を適宜組み合わせてもよい。
【００６４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６５】
１００：デジタルビデオカメラ、１０１：撮影レンズ、１０２：シャッター、１０３：撮像素子、１０５：画像処理部、１０７：ＧＰＵ、１１０：表示部、１１２：システム制御部、１１７：角速度センサ、１１８：振れ補正部
【図１】
2017212550.tif 000003
【図２】
2017212550.tif 000004
【図３】
2017212550.tif 000005
【図４】
2017212550.tif 000006
【図５】
2017212550.tif 000007
【図６】
2017212550.tif 000008
【図７】
2017212550.tif 000009
【図８】
2017212550.tif 000010
【図９】
2017212550.tif 000011
【図１０】
2017212550.tif 000012
【図１１】
2017212550.tif 000013
【図１２】
2017212550.tif 000014
【図１３】
2017212550.tif 000015