(57)【要約】【課題】手振れが含まれる動画ファイルを再生するときであっても、手振れによる不鮮明な部分の動画の再生を回避する画像再生装置を提供する。【解決手段】手振れ解析部１２はシャッタ操作時を含む前後のフレームの画像を解析してシャッタ操作時の手振れ量を算出する。手振れ量が判定閾値以下の場合、画像再生制御部１３は通常通り動画ファイルを再生する。手振れ量が判定閾値より大きい場合、画像再生制御部１３は手振れがあると推定されたフレームを再生せずに、手振れがないと推定されたフレームを静止画として再生する。【選択図】図３
2012191383.tif 000002
【特許請求の範囲】
【請求項１】
シャッタを操作したタイミングが記録された動画ファイルを再生する画像再生手段と、
前記シャッタの操作時の手振れ量を解析する手振れ解析手段と、
前記手振れ解析手段の解析結果に基づいて前記画像再生手段による前記動画ファイルの再生を制御する画像再生制御手段と
を備えていることを特徴とする画像再生装置。
【請求項２】
前記画像再生制御手段は、前記手振れ解析手段で解析されたシャッタ操作時の手振れ量が所定の閾値以上のとき、前記動画ファイルを再生しないことを特徴とする請求項１記載の画像再生装置。
【請求項３】
前記画像再生制御手段は、前記手振れ解析手段で解析されたシャッタ操作時の手振れ量が所定の閾値以上のとき、シャッタ操作前後の手振れがないと推定されるフレームの画像を静止画として所定時間だけ再生することを特徴とする請求項２記載の画像再生装置。
【請求項４】
前記画像再生制御手段は、前記手振れ解析手段で解析されたシャッタ操作時の手振れ量が所定の閾値以上のとき、前記手振れ量の大きさに応じて静止画を再生する時間を決めることを特徴とする請求項２記載の画像再生装置。
【請求項５】
前記画像再生制御手段は、前記手振れ解析手段で解析されたシャッタ操作時の手振れ量の変動に応じて静止画を再生する時間を決めることを特徴とする請求項２記載の画像再生装置。
【請求項６】
前記画像再生制御手段は、前記手振れ解析手段で解析されたシャッタ操作時の手振れ量が所定の閾値以上のとき、シャッタ操作前後の手振れがないと推定される各フレームの再生時間を動画ファイルの全再生時間に合わせてフレーム毎に調整することを特徴とする請求項１記載の画像再生装置。
【請求項７】
前記手振れ解析手段は、前記シャッタ操作時に動画ファイルとともに生成された静止画ファイルに基づいてシャッタ操作時の手振れ量を解析することを特徴とする請求項６記載の画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像再生装置に関する。
【背景技術】
【０００２】
従来、動画とその動画の撮影中に撮像した静止画との再生において、ユーザが動画再生から静止画再生に切り替える操作をしなくても、動画撮像中に静止画を撮像したタイミングで、動画再生中に静止画を再生することができる画像記録再生装置が知られている（下記公報参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１４８２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記画像記録再生装置では、静止画撮像のシャッタ操作時に手振れが生じると、その結果として撮像された画像が不鮮明になり、動画再生時に不鮮明な動画、及び静止画がそのまま再生されることになる。
【０００５】
この発明はこのような事情に鑑みてなされたもので、その課題は動画ファイルを再生するとき、手振れによる不鮮明な部分の動画の再生を回避することができる画像再生装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため請求項１記載の発明は、シャッタを操作したタイミングが記録された動画ファイルを再生する画像再生手段と、前記シャッタの操作時の手振れ量を解析する手振れ解析手段と、前記手振れ解析手段の解析結果に基づいて前記画像再生手段による前記動画ファイルの再生を制御する画像再生制御手段とを備えていることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１記載の画像再生装置において、前記画像再生制御手段は、前記手振れ解析手段で解析されたシャッタ操作時の手振れ量が所定の閾値以上のとき、前記動画ファイルを再生しないことを特徴とする。
【０００８】
請求項３に記載の発明は、請求項２記載の画像再生装置において、前記画像再生制御手段は、前記手振れ解析手段で解析されたシャッタ操作時の手振れ量が所定の閾値以上のとき、シャッタ操作前後の手振れがないと推定されるフレームの画像を静止画として所定時間だけ再生することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項２記載の画像再生装置において、前記画像再生制御手段は、前記手振れ解析手段で解析されたシャッタ操作時の手振れ量が所定の閾値以上のとき、前記手振れ量の大きさに応じて静止画を再生する時間を決めることを特徴とする。
【００１０】
請求項５に記載の発明は、請求項２記載の画像再生装置において、前記画像再生制御手段は、更に前記手振れ解析手段で解析されたシャッタ操作時の手振れ量の変動に応じて静止画を再生する時間を決めることを特徴とする。
【００１１】
請求項６に記載の発明は、請求項１記載の画像再生装置において、前記画像再生制御手段は、前記手振れ解析手段で解析されたシャッタ操作時の手振れ量が所定の閾値以上のとき、シャッタ操作前後の手振れがないと推定される各フレームの再生時間を動画ファイルの全再生時間に合わせてフレーム毎に調整することを特徴とする。
【００１２】
請求項７に記載の発明は、請求項６記載の画像再生装置において、前記手振れ解析手段は、前記シャッタ操作時に動画ファイルとともに生成された静止画ファイルに基づいてシャッタ操作時の手振れ量を解析することを特徴とする。
【発明の効果】
【００１３】
この発明によれば、動画ファイルを再生するときに、手振れによる不鮮明な部分の動画の再生を回避することができる。
【図面の簡単な説明】
【００１４】
【図１】図１はこの発明の第１実施形態に係る画像再生装置の正面図である。
【図２】図２は画像再生装置の構成を説明するブロック図である。
【図３】図３はこの発明の第１実施形態に係る画像再生装置の動画ファイルの構成を示す図である。
【図４】図４はこの発明の第２実施形態に係る画像再生装置の動画ファイルの構成を示す図である。
【図５】図５はこの発明の第３実施形態に係る画像再生装置の動画ファイルの構成を示す図である。
【図６】図６はこの発明の第４実施形態に係る画像再生装置の動画ファイルの構成を示す図である。
【図７】図７はこの発明の第５実施形態に係る画像再生装置の動画ファイルの構成を示す図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面に基づいて説明する。
【００１６】
図１はこの発明の第１実施形態に係る画像再生装置の正面図、図２は画像再生装置の構成を説明するブロック図である。
【００１７】
画像再生装置１は、ＣＰＵ１０とディスプレイ（画像再生手段）２０と電源スイッチ３１、メニューボタン（図示せず）等の操作部材３０とを備えている。ディスプレイ２０は例えばＬＣＤである。
【００１８】
画像再生装置１は例えばデジタルフォトフレームである。
【００１９】
ＣＰＵ１０は、選択された再生対象の画像データのディスプレイ２０への出力を制御する画像データ出力制御部１１と、撮像装置のシャッタ（図示せず）の操作時の手振れ量を解析する手振れ解析部（手振れ解析手段）１２と、手振れ解析部１２の手振れ量の解析結果に基づいてディスプレイ２０による動画ファイルの再生を制御する画像再生制御部（画像再生制御手段）１３とを有する。
【００２０】
ＣＰＵ１０は、図示しないＲＡＭ、ＲＯＭに予め記憶された所定のプログラムを実行することにより画像出力制御部１１、手振れ解析部１２、画像再生制御部１３の機能を実現させる。
【００２１】
再生対象の画像データは、例えばデジタルフォトフレームの内蔵メモリに記録された画像データやメモリカード、撮像装置に記録された画像データの中から選択される。
【００２２】
手振れ解析部１２はメタデータ、閾値、参照テーブル等を記憶するメモリ（図示せず）を有する。
【００２３】
以下、画像再生装置１の動作を説明する。
【００２４】
図３はこの発明の第１実施形態に係る画像再生装置の動画ファイルの構成を示す図である。図３（ａ）はシャッタ操作のタイミングが記録された動画ファイルの１例を示し、図３（ｂ）はシャッタ操作時に手振れがあったときの処理を説明する動画ファイルの１例を示す。なお、図３（ｂ）以降の図では時間軸の表示を省略した。また、動画ファイルの範囲を明確にするため、フレームの上下に線を引いて示した。
【００２５】
この動画ファイルは１回のシャッタ操作（シャッタ押下時）の前後１秒間の動画を撮影できる撮像装置で撮像された動画ファイルである。この動画ファイルは１５ｆｐｓで２秒間の動画データである。この動画ファイルのメタデータにはユーザがシャッタ操作をしたタイミングが記録されている。図３ではシャッタ操作のタイミングは動画ファイルの先頭から１秒後（１５フレーム目）である。画像再生装置１はユーザ操作（例えばメニュー画面の表示を指示するメニューボタン（図示せず）を押す操作）又は選択された画像を順次切り換える、いわゆるスライドショー再生によって動画ファイル中の画像データを再生する。
【００２６】
撮像装置のシャッタ操作時に手振れがあった場合、手振れ解析部１２はシャッタ操作時の１フレームとその前後２フレームとの計５フレーム（１３〜１７フレーム）の画像を解析し、手振れ量を算出する。この手振れ量は、例えば画像のエッジ量（エッジの鮮明度）や、撮影時に撮像装置の角速度センサで測定され、動画ファイルのメタデータとして記録された値に基づいて算出される。
【００２７】
手振れ量が閾値以下の場合、画像再生制御部１３は通常通り動画ファイルを再生する。なお、閾値は例えば予め実験等に基づいて決められた値に設定されている。
【００２８】
手振れ量が閾値より大きい場合、画像再生制御部１３は動画ファイルを再生せず、手振れがないと推定されたフレームを静止画として再生する（図３（ｂ）参照）。この実施形態では静止画として再生されるフレームは、手振れがないと推定されたフレームのうちのシャッタ操作時のフレーム（図３（ｂ）の１５フレーム）に最も近いフレーム（図３（ｂ）の１フレーム）である。画像再生制御部１３は１フレーム目の静止画を、動画の再生時間に合わせて２秒間再生する。
【００２９】
この実施形態では、シャッタ操作時の手振れ量が大きく、５フレームの全てが閾値より大きく、しかも動画ファイルの再生時間が短い場合、画像再生制御部１３は動画ファイルを再生しないで、手振れがないと推定されたフレームを静止画として再生する。
【００３０】
この実施形態によれば、シャッタ操作時の手振れが生じた画像データを含む動画ファイルを再生するときに、手振れによる不鮮明な動画の再生を回避することができる。
【００３１】
図４はこの発明の第２実施形態に係る画像再生装置の動画ファイルの構成を示す図である。図４（ａ）はシャッタ操作のタイミングが記録された動画ファイルの１例を示し、図４（ｂ）はシャッタ操作時に手振れがあったときの処理を説明する動画ファイルの１例を示す。
【００３２】
この動画ファイルは１回のシャッタ操作の前後５秒間の動画を撮影できる撮像装置で撮像された動画ファイルである。この動画ファイルは１５ｆｐｓで１０秒間の動画データである。この動画ファイルのメタデータにはユーザがシャッタ操作をしたタイミングが記録されている。図４ではシャッタ操作のタイミングは動画ファイルの先頭から５秒後（７５フレーム目）である。画像再生装置１はユーザ操作又はスライドショー再生によって動画ファイル中の画像データを再生する。
【００３３】
撮像装置のシャッタ操作時に手振れがあった場合、手振れ解析部１２はシャッタ操作時のフレーム（７５フレーム）とその前後５フレームとの計１１フレーム（７０〜８０フレーム）の画像を解析し、手振れ量を算出する。
【００３４】
手振れ量が閾値以下の場合、画像再生制御部１３は通常通り動画ファイルを再生する。
【００３５】
７５〜８０フレームの手振れ量が閾値より大きく、シャッタ操作後に手振れ量のピークがある場合、画像再生制御部１３は動画ファイルを再生せず、手振れがないと推定されたフレームを静止画として再生する。詳述すると、画像再生制御部１３はシャッタ操作から２秒間手振れがあると推定し、７４フレーム目までは通常通り動画を再生し、７４フレームを静止画として７５フレームから２秒間再生する。その後、最終フレームまで通常通り動画を再生する。
【００３６】
なお、動画ファイルを再生しないで、手振れがないと推定されたフレームを静止画として再生するとき、静止画を再生する時間（動画ファイルから除くフレーム数）はシャッタ操作時の手振れ量やフレーム毎の手振れ量の変動に応じて変えるようにしてもよい。例えばシャッタ操作時の手振れ量に応じて静止画を再生する時間を変えるときには、手振れ量の閾値を超えた量とフレームの削除数とを関連付けたテーブルをデジタルフォトフレームのメモリに予め登録しておき、このテーブルに基づいて決まるフレームを削除して再生対象を動画から静止画に切り替える。また、フレーム毎の手振れ量の変動に応じて静止画を再生する時間を変えるときには、手振れ解析部１２でフレーム毎の手振れ量の変動曲線の傾きを計算し、傾きがゼロになるまでのフレームを削除して再生対象を動画から静止画に切り替える。
【００３７】
この実施形態によれば、第１実施形態と同様にシャッタ操作時の手振れが生じた画像データを含む動画ファイルを再生するときに、手振れによる不鮮明な部分の動画の再生を回避することができる。さらに、この実施形態では、シャッタ操作時の手振れによる不鮮明な部分の動画を手振れがないと推定される静止画に切替えて再生するため、ユーザの注目度が高いシーンの手振れ部分を回避して動画を再生することができる。また、シャッタ操作前後のフレームを対象として、手振れ解析を行うので、動画ファイルの全フレームに対して手振れ解析を行い、手振れが生じているフレームを回避して動画を再生する方法や動画ファイルの各フレームの手振れに関するメタデータ情報を参照して、手振れが生じているフレームを回避して動画を再生する方法に比べて端末の処理負担を軽くすることができる。
【００３８】
図５はこの発明の第３実施形態に係る画像再生装置の動画ファイルの構成を示す図である。図５（ａ）はシャッタ操作のタイミングが記録された動画ファイルの１例を示し、図５（ｂ）はシャッタ操作時に手振れがあったときの処理を説明する動画ファイルの１例を示す。
【００３９】
この動画ファイルは１回のシャッタ操作でその操作の前後５秒間の動画を撮影できる撮像装置で撮像された動画ファイルである。この動画ファイルは１５ｆｐｓで１０秒間の動画データである。この動画ファイルのメタデータにはユーザがシャッタ操作をしたタイミングが記録されている。図５ではシャッタ操作のタイミングは動画ファイルの先頭から５秒後（７５フレーム目）である。画像再生装置１はユーザ操作又はスライドショー再生により動画ファイル中の画像を再生する。
【００４０】
撮像装置のシャッタ操作時に手振れがあった場合、手振れ解析部１２はシャッタ操作時のフレーム（７５フレーム目）とその前後５フレームとの計１１フレーム（７０〜８０フレーム）の画像を解析し、手振れ量を算出する。
【００４１】
手振れ量が閾値以下の場合、画像再生制御部１３は通常通り動画ファイルを再生する。
【００４２】
７０〜８０フレームの手振れ量が閾値より大きく、シャッタ操作時に手振れ量のピークがある場合、画像再生制御部１３は動画を再生せず、手振れがないと推定されたフレームを静止画として再生する。詳述すると、画像再生制御部１３はシャッタ操作時の前後２秒間手振れがあると推定し、５９（７５−１６）フレーム目までは通常通り動画を再生し、５９（７５−１６）フレーム目を静止画として６０（７５−１５）フレームから２秒間再生する。その後、最終フレームまで通常通り動画を再生する。
【００４３】
この実施形態では５９（７５−１６）フレーム目を静止画として再生したが、手振れがないと推定される、５９フレーム目と同様にシャッタ操作時に最も近い９１（７５＋１６）フレーム目を静止画として再生してもよい。
【００４４】
なお、動画ファイルを再生しないで、手振れがないと推定されたフレームを静止画に切り替えて再生するとき、第２実施形態で述べたように、静止画を再生する時間はシャッタ操作時の手振れ量やフレーム毎の手振れ量の変動に応じて変えるようにしてもよい。
【００４５】
この実施形態によれば、第２実施形態と同様の効果を奏する。
【００４６】
図６はこの発明の第４実施形態に係る画像再生装置の動画ファイルの構成を示す図である。図６（ａ）はシャッタ操作のタイミングが記録された動画ファイルの１例を示し、図６（ｂ）はシャッタ操作時に手振れがあったときの処理を説明する動画ファイルの１例を示す。
【００４７】
この動画ファイルは１回のシャッタ操作で操作前後５秒間の動画を撮影できる撮像装置で撮像された動画ファイルである。この動画ファイルは１５ｆｐｓで１０秒間の動画データである。この動画ファイルのメタデータにはユーザがシャッタ操作をしたタイミングが記録されている。図６ではシャッタ操作のタイミングは動画ファイルの先頭から５秒後（７５フレーム目）である。画像再生装置１はユーザ操作又はスライドショー再生によって動画ファイルに記録されている画像を再生する。
【００４８】
手振れ解析部１２はシャッタ操作時のフレーム（７５フレーム）とその前後５フレームとの計１１のフレームの画像を解析して手振れ量を算出する。
【００４９】
７０〜８０フレームの手振れ量が閾値以下の場合、画像再生制御部１３は通常通り動画ファイルを再生する。
【００５０】
７０〜８０フレームの手振れ量が閾値より大きい場合、画像再生制御部１３はフレーム（７０〜８０フレーム）を再生せず、それらのフレーム以外の残りのフレームの再生時間を延ばしてスロー再生する。このとき、動画ファイルの全体の再生時間が１０秒になるように再生しないフレームを除く各フレームの再生時間を決定する。
【００５１】
この実施形態によれば、第１実施形態と同様にシャッタ操作時の手振れが生じた画像データを含む動画ファイルを再生するときに、手振れによる不鮮明な部分の動画の再生を回避することができる。さらに、この実施形態では、手振れがないと推定される各フレームの再生時間を延ばしてスロー再生を行うため、ユーザの注目度が高いシーンの手振れ部分を回避して動画を再生することができる。また、シャッタ操作前後のフレームを対象として、手振れ解析を行うので、動画ファイルの全フレームに対して手振れ解析を行い、手振れが生じているフレームを回避して動画を再生する方法や動画ファイルの各フレームの手振れに関するメタデータ情報を参照して、手振れが生じているフレームを回避して動画を再生する方法に比べて端末の処理負担を軽くすることができる。
【００５２】
図７はこの発明の第５実施形態に係る画像再生装置の動画ファイルの構成を示す図である。図７はシャッタ操作されたタイミングが記録された動画ファイルの１例を示す。
【００５３】
この動画ファイルは１回のシャッタ操作でその操作の前後５秒間の動画を撮影できる撮像装置で撮像された動画ファイルである。この動画ファイルには１５ｆｐｓで１０秒間の動画が記録されている。この動画ファイルのメタデータにはユーザがシャッタ操作をしたタイミングが記録されている。図７ではシャッタ操作のタイミングは動画ファイルの先頭から５秒後（７５フレーム目）である。
【００５４】
また、シャッタ操作時には動画ファイルの他に静止画ファイルが生成される。
【００５５】
画像再生装置１は動画ファイル及び静止画ファイルに記録されている画像をユーザ操作又はスライドショー再生する。
【００５６】
シャッタ操作時に生成された静止画を解析して手振れ量が算出される。静止画の解析は、メモリに予め登録された例えば静止画の手振れ量の閾値を超えた量とフレームの削除数とを関連付けたテーブルを用いて行われる。手振れ量は、上述の実施形態と同様に例えば画像のエッジ量（エッジの鮮明度）や、撮影時にカメラの角速度センサで測定され、静止画のメタデータとして記録された値に基づいて算出される。
【００５７】
手振れ量が閾値以下の場合、画像再生制御部１３は通常通り動画ファイルを再生する。
【００５８】
静止画の手振れ量が閾値より大きい場合、画像再生制御部１３は手振れ解析部１２で推定された７５フレームの前後の手振れ量の閾値を超えたと推定されるフレームを再生せず、それ以外の残りのフレームの再生時間を延ばしてスロー再生する。このとき、動画ファイルの全体の再生時間が１０秒になるように再生しないフレーム（７０〜８０フレーム）を除く各フレームの再生時間を決定する。
【００５９】
この実施形態によれば、第１実施形態と同様の効果を奏する。さらに、この実施形態では、１静止画だけを用いて手振れ量の解析を行うので、動画ファイルの複数のフレームを用いて手振れ量の解析を行う場合に比べて端末（フォトフレーム等の画像再生装置）の処理負荷を軽減させることができる。
【００６０】
なお、上記第１〜４実施形態では複数のフレームを用いて手振れ量を解析したが、動画ファイルのうちの１フレームを用いて手振れ量を解析してもよい。このようにすれば、第５実施形態と同様に端末（フォトフレーム等の画像再生装置）の処理負荷を軽減させることができる。
【符号の説明】
【００６１】
１：画像再生装置、１２：手振れ解析部（手振れ解析手段）、１３：画像再生制御部（画像再生制御手段）、２０：ディスプレイ（画像再生手段）。
【図１】
2012191383.tif 000003
【図２】
2012191383.tif 000004
【図３】
2012191383.tif 000005
【図４】
2012191383.tif 000006
【図５】
2012191383.tif 000007
【図６】
2012191383.tif 000008
【図７】
2012191383.tif 000009