(57)【要約】【課題】高いフレームレートで撮影された動画から、スロー再生に適したシーンのみ自動でスロー再生する際に、撮影フレームレートの増加に伴う処理量の増大を抑えながら、スロー再生に適したシーンを決定することを可能にする。【解決手段】所定の時間周期もしくは画像フレーム間隔の周期で動画像の時間方向の変化を検出し、変化の大きな画像フレームを含むシーンに対してスロー再生に適したシーンであることを示すメタデータを生成する。また、動画像の時間方向の変化を検出する際の、検出対象の画像フレームと参照するフレームとの時間間隔もしくはフレーム間隔を、上記検出の周期または動画像のフレームレートとは独立に決定する。【選択図】図１
2016201617.tif 000002
【特許請求の範囲】
【請求項１】
任意のフレームレートで撮影または記録された動画像データから、所定の時間周期または画像フレーム間隔の周期で、画像の特徴を検出する特徴検出手段と、前記特徴検出手段での検出結果に基づいて、検出対象の画像フレームごとに所定の特徴を備えるか否かを判定する特徴判定手段と、前記特徴判定手段での判定結果に基づいて、動画シーンがスロー再生対象であることを示すメタデータを生成するメタデータ生成手段と、前記メタデータに基づいて動画像の再生速度を制御する再生制御手段とを備える動画像再生装置。
【請求項２】
前記特徴検出手段は、特徴を検出する対象画像フレームに対して、特徴を検出する前記周期とは異なる時間間隔または画像フレーム間隔だけ離れた画像フレームを、参照画像フレームとして選択し、当該参照画像フレームと前記対象画像フレームとの間の変化を示す特徴量を検出することを特徴とする、請求項１に記載の動画像再生装置。
【請求項３】
前記特徴検出手段は、前記特徴量として、対象画像フレームと参照画像フレームとの間の動きベクトル群を検出し、画像フレーム単位で、少なくとも当該動きベクトルの大きさの平均値を含む、当該動きベクトルの傾向や分布を示す統計量を算出することを特徴とする、請求項２に記載の動画像再生装置。
【請求項４】
前記特徴判定手段は、前記特徴検出手段で算出された前記統計量から、対象画像フレーム単位で、画像の時間方向の変化がスロー再生に適する特徴を備えているか否かを判定することを特徴とする、請求項３に記載の動画像再生装置。
【請求項５】
前記メタデータ生成手段は、前記特徴判定手段でスロー再生に適すると判定された１つ以上の画像フレームで構成される動画シーンに関して、当該動画シーンを特定するための情報と、当該動画シーンがスロー再生対象であることを示す情報、を含んで構成されるメタデータを生成することを特徴とする、請求項１から４に記載の動画像再生装置。
【請求項６】
前記再生制御手段は、前記動画像データを再生する際に、前記メタデータで示される動画シーンの再生速度が、それ以外の動画シーンの再生速度よりも遅くなるように、前記動画像データの再生速度を制御することを特徴とする、請求項１から５に記載の動画像再生装置。
【請求項７】
任意のフレームレートで撮影または記録された動画像データから、所定の時間周期または画像フレーム間隔の周期で、画像の特徴を検出する特徴検出ステップと、前記特徴検出ステップでの検出結果に基づいて、検出対象の画像フレームごとに所定の特徴を備えるか否かを判定する特徴判定ステップと、前記特徴判定ステップでの判定結果に基づいて、動画シーンがスロー再生対象であることを示すメタデータを生成するメタデータ生成ステップと、前記メタデータに基づいて動画像の再生速度を制御する再生制御ステップとを備える動画像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データの特殊再生を行う機能を備える動画像再生装置および動画像再生方法に関する。
【背景技術】
【０００２】
デジタルカメラやスマートフォン等、静止画像や動画像の撮影・再生機能を有する映像機器の高性能化・高機能化が進んでいる。その高機能化のひとつとして、スローモーション動画機能が挙げられる。スローモーション動画機能は、撮影処理の高性能化を活かす機能であり、撮影する際には再生時よりも高いフレームレート（例えば120fps）で動画を撮影しておき、再生する際には再生時のフレームレート（例えば30fps）に合わせて再生することにより、実際の撮影時間よりも長い時間をかけて再生する、すなわち動画の動きが遅く見えるように再生する機能である。その際、撮影時のフレームレートが高くなればなるほど、再生時の見た目上の速度がより遅くなり、動きの速い被写体の形状や変化をじっくり観賞できるという利点がある。
【０００３】
このように、実際の撮影時間よりも長い時間をかけて再生する、つまりスロー再生する場合、元の動画像データが数秒から十数秒程度の短時間であれば特に問題ないが、例えば分単位以上の長時間の動画像データになると、スロー再生した場合に数分から十数分以上の長い時間、動きの遅い動画を観賞することになり、ユーザの負担になりかねない。
【０００４】
このような不都合を回避するためには、動画像データの中で特にスロー再生に適したシーンのみを部分的にスロー再生し、それ以外のシーンは通常速度で再生するようにして、トータルの再生時間の増加を抑えるようにすることが望ましい。例えば特許文献１には、動画像の入力に対し、画像フレーム単位で画像間の動きベクトルを監視して、動きベクトル評価が高い場合（より動きがある場合）は、画像表示時間を長くして画像表示を行い、動きベクトル評価が低い場合は、画像表示を省略もしくは短くする、動画像サーチの方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２１８３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、スローモーション動画機能の対象となる動画像データは、前述の通り高いフレームレートで撮影されたものであり、撮影フレームレートが高くなればなるほど単位時間あたりの画像フレーム数が増えていくため、動きベクトルの評価にかかる処理負荷が増大することになる。単位時間あたりの画像フレーム数が増えると、特に撮影や記録をしながら動きベクトルの評価を行う場合には、撮影・記録中の映像機器の処理負荷が大幅に増大することになり、映像機器の過度の発熱や反応低下などを招く原因となる。また、単位時間あたりの画像フレーム数が増えると、画像フレーム間の動きベクトルが微小になっていくため、動きベクトル評価における、ベクトル単位のノイズ（誤検出等）の影響が増大し、適切な動きベクトル評価に悪影響を及ぼしやすくなるという課題がある。
【０００７】
本発明は上記の点に鑑みてなされたものであり、高いフレームレートで撮影された動画像データから、撮影者が手動でシーン範囲を選択するような煩雑な操作なしに、スロー再生に適したシーンのみスローで再生される動画再生を楽しむことができる、動画像再生装置または方法を提供する。また、その際に、撮影フレームレートの増加に伴う処理量の増大や動き検出のノイズの悪影響を抑えながら、スロー再生に適したシーンを自動で決定することを可能にするものである。
【課題を解決するための手段】
【０００８】
前述の課題を解決するために、本発明による動画像再生装置および方法は下記の構成を備える。
（１）任意のフレームレートで撮影または記録された動画像データから、所定の時間周期または画像フレーム間隔の周期で、画像の特徴を検出し、検出結果に基づいて、検出対象の画像フレームごとに所定の特徴を備えるか否かを判定し、判定結果に基づいて、動画シーンがスロー再生対象であることを示すメタデータを生成し、メタデータに基づいて動画像の再生速度を制御することを特徴とする。
（２）前記画像の特徴を検出する際、特徴を検出する対象画像フレームに対して、特徴を検出する前記周期とは異なる時間間隔または画像フレーム間隔だけ離れた画像フレームを、参照画像フレームとして選択し、当該参照画像フレームと前記対象画像フレームとの間の変化を示す特徴量を検出することを特徴とする。
（３）参照画像フレームと対象画像フレームとの間の変化を示す特徴量を検出する際、特徴量として、対象画像フレームと参照画像フレームとの間の動きベクトル群を検出し、画像フレーム単位で、少なくとも当該動きベクトルの大きさの平均値を含む、当該動きベクトルの傾向や分布を示す統計量を算出することを特徴とする。
（４）算出された前記統計量から、対象画像フレーム単位で、画像の時間方向の変化がスロー再生に適する特徴を備えているか否かを判定することを特徴とする。
（５）スロー再生に適すると判定された１つ以上の画像フレームで構成される動画シーンに関して、当該動画シーンを特定するための情報と、当該動画シーンがスロー再生対象であることを示す情報、を含んで構成されるメタデータを生成することを特徴とする。
（６）動画像データを再生する際に、前記メタデータで示される動画シーンの再生速度が、それ以外の動画シーンの再生速度よりも遅くなるように、前記動画像データの再生速度を制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高いフレームレートで撮影された動画から、スロー再生に適したシーンのみ自動でスロー再生され、その他のシーンは通常速度で再生される特殊再生を簡便に楽しむことができる。また、当該スロー再生に適したシーンを決定する際の処理負荷を抑えながら、良好にスロー再生に適したシーンを決定することを可能にするものである。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る動画像再生装置の内部構成を示す図である。
【図２】特徴検出部による動画像の動き検出処理過程の一例を示す図である。
【図３】特徴判定部特徴判定部による動画像の動き判定処理過程の一例を示す図である。
【図４】本発明において生成されるメタデータの一例を示す図である。
【図５】動き検出の対象画像フレームの周期の例を示す図である。
【図６】動き検出時の対象画像フレームと参照画像フレームの関係を示す図である。
【図７】本発明における再生制御の一例を示す概念図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の実施形態について説明する。
【００１２】
図１は、本発明に係る第１の実施形態である動画像再生装置の構成を示すブロック図である。動画像再生装置１００は、再生制御部１０１、特徴検出部１０２、特徴判定部１０３、メタデータ生成部１０４、画像入力部１０５、画像出力部１０６を含んで構成される。
【００１３】
画像入力部１０５は、再生制御部１０１および特徴検出部１０２に対して動画像データを供給する。画像入力部１０５は、内部に撮像手段を備え、撮像した動画を画像フレーム単位で再生制御部１０１や特徴検出部１０２に供給する。または画像入力部１０５は、内部に記録メディアおよび動画像デコーダを備え、記録メディアに格納された動画像ファイルをデコードして、デコードされた動画像データを画像フレーム単位で出力する構成でもよい。なお、記録メディアに格納される動画像ファイルは、例えば、動画像符号化方式の国際標準である、ＭＰＥＧ−４，Ｈ．２６４／ＡＶＣ（Advanced video coding），Ｈ．２６５／ＨＥＶＣ（High efficiency video coding）等に従ってエンコードされた符号化データを含み、さらに符号化された音声データを含んでいてもよい。
【００１４】
画像出力部１０６は、再生制御部１０１から供給された動画像データを、所定のフレームレートに従って、表示または動画像再生装置１００から出力する。画像出力部１０６は、内部に映像表示手段を備え、供給された動画像データを表示する。または画像出力部１０６は、内部に動画像エンコーダおよび記録メディアを備え、供給された動画像データをエンコードして、動画像ファイルとして記録メディアに出力する構成でもよい。なお、画像出力部１０６が動画像エンコーダを備える構成の場合、前述のような動画像符号化方式のうち、少なくとも一つの符号化方式に従ってエンコードする機能を備えるように構成する。また、複数の符号化方式に従うエンコード機能を備えるように、画像出力部１０６を構成してもよい。
【００１５】
特徴検出部１０２は、画像入力部１０５から供給される動画像データから、画像フレームの特徴を表す特徴量を検出する。特徴検出部１０２は例えば、画像フレーム単位に動画の時間方向の変化を示す特徴量を検出するために動き検出を行う。図２に、特徴検出部１０２による動き検出処理の一例を示す。特徴検出部１０２は、動画像データを構成する画像フレーム２０１，２０２，２０３，…２１１に関して、所定の画像フレーム周期で、動き検出を行う。図２（ａ）では、画像フレーム周期＝５であり、画像フレーム２０１，２０６，２１１が検出対象である例を示している。動き検出をする際には、隣接する画像フレームを参照して、対象画像フレームと参照画像フレームの間の変化を抽出する。対象画像フレームが２０６である時、参照画像フレームは例えば２０７である。当明細書では、このような参照方法を、時間的に未来方向の一つ隣の画像フレームを参照するという意味で、「Ｒｅｆ（＋１）」と表す。なお、参照画像フレームは時間的に過去の方向から決定してもよく、例えば対象画像フレーム２０６が画像フレーム２０５を参照画像フレームとする時、この参照方法は「Ｒｅｆ（−１）」と表せる。
【００１６】
図２（ｂ）に、対象画像フレームと参照画像フレームとの間の、動き検出処理のイメージを示す。特徴検出部１０２は、対象画像フレーム２１に対して参照画像フレーム２２を参照して、画像間の動きを検出する。検出方法としては例えば、対象画像フレーム２１を図に示すような格子状の小領域に分割し、対象画像フレーム２１と参照画像フレーム２２との間で、ブロックマッチング法により小領域ごとの動きベクトルを算出する方法がある。図２（ｂ）では、対象画像フレーム２１における被写体２３が、参照画像フレーム２２において対応する被写体２４の位置から移動していることにより、対象画像フレーム２１内の小領域ごとに、点や矢印で表したような動きベクトルが得られる例を示している。なお、図２（ｂ）は、説明の都合上、画像フレーム内の小領域（ブロック）の分割数を少なくして図示しており、各ブロックのサイズが大きい例になっているが、実際に動きベクトルを検出するためのブロックサイズとしては、ブロックマッチングの精度を確保するために適度なサイズ（例えば、８ｘ８画素や１６ｘ１６画素程度）を用いる。画像間の動きを検出するその他の方法として、画像内の被写体のエッジ等に対応する特徴点を検出し、特徴集合に対するオプティカルフロー（動きベクトルの集合）を算出する方法を用いてもよい。いずれの検出方法においても、動きを検出する画像フレームの信号の内、輝度成分のみを検出の対象にしたり、画素値をグレースケール化してから検出したりすることにより、扱うデータ量を削減するように構成してもよい。
【００１７】
特徴検出部１０２は、このようにして得た動きベクトル群から、画像フレーム単位の動きの分布や傾向を表す統計量を算出する。例えば、動きベクトルの大きさの平均値、中央値、最大値、最頻値など、動きベクトルの大きさに関する画像フレーム単位の代表値、および、動きベクトルの水平・垂直方向それぞれの成分の分散、標準偏差など、動きベクトルの画像フレーム内でのばらつきを示す指標値を算出する。特徴検出部１０２は、動き検出対象のフレームごとに算出した統計量を、特徴判定部１０３へ出力する。
【００１８】
なお、図２（ａ）で示したような画像フレーム周期＝５での動き検出処理は一例であり、特徴検出部１０２は、画像フレーム周期ではなく、所定の時間周期で動き検出処理を実施してもよい。例えば、１秒周期で動き検出を実施する構成でもよい。その場合、動画のフレームレートが１２０であれば画像フレーム周期１２０、フレームレートが２４０であれば画像フレーム周期２４０で、動き検出処理を実施する。このように、動き検出周期を所定の時間単位にすることで、対象の動画のフレームレートが高くなっても、動き検出処理の負荷を一定に保つことができる。一般に、動画のフレームレートが高くなるにつれて、単位時間あたりに扱う画像フレーム数が増える画像入力部１０５をはじめ、動画像再生装置１００全体としての処理負荷が上がることになる。従って、上述のように、特徴検出部のみの部分的であっても、フレームレートに依存せずに処理負荷を一定に保つことのできる構成は、装置全体の処理負荷の増大を抑える意味で有効である。
【００１９】
特徴判定部１０３は、特徴検出部１０２で検出および算出された動きベクトルに関する統計量を利用して、画像フレーム単位の動きの指標値を決定し、その指標値に基づいて対象画像フレームの動画像全体における相対的な動きの大きさを判定する。図３は、特徴検出部１０２で検出および算出された動きベクトルから得られる、画像フレーム単位の動き指標値Ｖｉの変化を示すグラフである。図３の例は、動き指標値Ｖｉとして、画像フレーム単位の動きベクトルの大きさの平均値を用いる例であり、図中、動き指標値Ｖｉをひし形の点で、また、動きベクトルの大きさの動画像全体での平均値Ｖ＿ａｖｅを点線で示している。特徴判定部１０３は、動き指標値Ｖｉが、動画像全体での平均値Ｖ＿ａｖｅを上回るような画像フレームが、動画像全体の中で相対的に動きが大きいと判定する。図３の例では、時刻１、７〜９、および１３〜１５に対応する画像フレームが、動きが大きい画像フレームであると判定される。特徴判定部１０３は、動きが大きいと判定した画像フレームを示す時刻情報を、メタデータ生成部１０４へ出力する。
【００２０】
特徴判定部１０３はまた、図３の例で示したような動きベクトルの大きさの平均値以外の統計量を、判定に利用してもよい。例えば、平均値の代わりに、画像フレーム単位の最大値や最頻値や中央値を、動き指標値Ｖｉとして利用してもよい。さらに、動きベクトルの大きさだけでなく、動きベクトルのばらつきを示す統計量を判定に利用してもよい。例えば、動きベクトルの水平・垂直方向それぞれの成分の、画像フレーム単位の標準偏差Ｓｘｉ，Ｓｙｉを、各標準偏差の動画像全体の平均値Ｓｘ＿ａｖｅ，Ｓｙ＿ａｖｅと比較し、Ｓｘ＿ａｖｅ＜ＳｘｉまたはＳｙ＿ａｖｅ＜Ｓｙｉであるような画像フレームで、かつ動きベクトルの大きさの画像フレーム単位の平均値Ｖｉが動画像全体での平均値Ｖ＿ａｖｅより大きい（Ｖ＿ａｖｅ＜Ｖｉ）画像フレームを、動きが大きいと判定してもよい。これは、標準偏差が小さい時すなわち動きベクトルのばらつきが少ない時は、撮影時のカメラ自体が動いている等、画像フレーム内の動きが一様であると判断し、そうでないケースのみを、動きが大きいと判定するための判定方法である。なお、動きベクトルのばらつきを示す統計量として、標準偏差の代わりに分散を用いて判定してもよい。
【００２１】
メタデータ生成部１０４は、特徴判定部１０３で判定された情報に基づいて、スロー再生に適する画像フレームまたは動画シーンを示すメタデータを生成する。図４に、メタデータ生成部１０４が生成するメタデータの一例を示す。メタデータ４００は、図に記述した一行の情報単位で１つの動画シーンの情報を表しており、動画シーンの先頭を示す時刻情報４０１、動画シーンの終端を示す時刻情報４０２、およびシーンの特徴を示すタグ情報４０３を含んで構成される。それぞれの間に挿入される文字「；」はセパレータ（区切り文字）である。時刻情報４０１，４０２は、動画シーンを特定するための情報として、対象の動画の先頭からの経過時間をミリ秒単位の数値で表したものである。タグ情報４０３は、該当の動画シーンの特徴を示す文字列として生成され、例えば動きがあるシーンであることを示す文字列“ＭＯＶＥ”が与えられる。メタデータを構成する動画シーンは、画像フレーム１つもしくは、連続する２つ以上の画像フレームで構成され、動画シーンが画像フレーム１つである場合は、図４のメタデータ４００内の１行目で示したように、動画シーンの先頭を示す時刻と終端を示す時刻が同一になる。なお、メタデータ生成部１０４は、時刻情報４０１，４０２の代わりに、動画シーンに対応する画像フレーム番号で、動画シーンの先頭と終端を表してもよい。メタデータ生成部１０４は、生成したメタデータを、再生制御部１０１へ出力する。前記メタデータは、シーン単位で出力してもよいし、１つの動画像データ単位で出力してもよい。
【００２２】
再生制御部１０１は、メタデータ生成部１０４で生成されたメタデータに基づいて、動画を再生する際の再生速度を制御する。例えば、図３で示すような動きの変化を持ち、図４で示すようなメタデータが生成された動画像データが入力された時、再生制御部は、時刻１〜２，時刻７〜１０，時刻１３〜１６に対応する時刻の動画シーンに関しては、入力された画像フレームを全て画像出力部１０６へ与え、それ以外の時刻の動画シーンに関しては、再生用のフレームレートに合うように、入力された画像フレームを間引いた上で画像出力部１０６へ与える。ここで、入力される動画像データのフレームレートが例えば１２０ｆｐｓで、再生用のフレームレートが例えば３０ｆｐｓである場合、前記メタデータで示された時刻の動画シーンは、元の４分の１の速度で再生されることになり、それ以外の時刻の動画シーンは、通常の速度で再生されることになる。再生される動画は、画像出力部１０６が備える映像表示手段で表示されるか、もしくは画像出力部１０６が備える記録メディアに動画像ファイルとして記録される。
【００２３】
ここで、再生制御部１０１および画像出力部１０６による、動画の再生／出力制御方法の例を説明する。図７は、フレームレート１２０ｆｐｓで撮影された動画像データと、それを３０ｆｐｓで再生／出力する際に使用する画像フレームとの関係の一例を示す図である。図７（ａ）に示す動画像データ５０は、前述の説明で参照した図３および図４で示した特徴に対応する動画像データの構成例である。動画像データ５０は約２０秒分の動画である。その内、網掛けなしの時間範囲５０Ａは、図３で示した動き指標値が大きくない範囲であり、網掛けありの時間範囲５０Ｂは、図３で示した動き指標値が大きい範囲である。時間範囲５０Ｂに関しては、スロー再生に適する動画シーンとして、例えば図４に示したようなメタデータが与えられているものとする。再生制御部１０１は、動画像データ５０のうちの時間範囲５０Ａに関しては、３０ｆｐｓの通常速度で再生させるために（以降、通常速度で再生することをノーマル再生と記述する）、図７（ｂ）に示すように、１２０ｆｐｓの画像フレームを１／４に間引いて画像出力部１０６へ出力する。また、動画像データ５０のうちの時間範囲５０Ｂに関しては、３０ｆｐｓのスロー速度で再生させるために（以降、スロー速度で再生することをスロー再生と記述する）、１２０ｆｐｓの画像フレームを間引かずに全て画像出力部１０６へ出力する。再生制御部１０１は、このように、図４に例示したメタデータを参照しながら、再生する動画像データの先頭からの経過時間に応じて、ノーマル再生すべき時間範囲５０Ａであるか、スロー再生すべき時間範囲５０Ｂであるかを区別して、画像出力部１０６へ出力する画像フレームの間引きの有無を切り替える。そして、画像出力部１０６が、再生制御部１０１から供給された画像フレームを一定のフレームレート３０ｆｐｓで再生（表示）することにより、ノーマル再生とスロー再生が自動的に切り替わる。
【００２４】
図７に示した例および上述の説明は、１２０ｆｐｓで撮影された動画を３０ｆｐｓで再生する例であるが、それ以外のフレームレートの組み合わせでも同様の考え方を適用することができる。例えば、再生時のフレームレートが３０ｆｐｓである時に、撮影時のフレームレート、すなわち入力される動画のフレームレートは、２４０ｆｐｓ，３６０ｆｐｓ，４８０ｆｐｓ等であってもよい。入力される動画のフレームレートが高くなるに従って、スロー再生時の再生速度は、再生時のフレームレートが３０ｆｐｓ固定とすると、ノーマル再生時の再生速度の１／８，１／１２，１／１６…と遅くなり、ノーマル再生との変化がより大きくなるので、特殊再生としての効果が高まる。なお、上記の説明において、動画を再生（表示）する際のフレームレートは、入力される動画のフレームレートよりも低い値で固定とする構成を前提としている、しかし、本発明における動画像再生装置の構成は、それに限定されない。例えば、入力される動画のフレームレートが１２０ｆｐｓである時、再生制御部１０１および画像出力部１０６は、ノーマル再生する場合には、入力された画像フレームをそのまま１２０ｆｐｓで出力し、スロー再生する場合には、スロー再生する対象の各画像フレームを、ノーマル再生時の４倍の時間表示されるように出力する構成にしてもよい。この構成の場合、スロー再生する対象の画像フレームの表示時間を、４倍に限らず適宜変更することにより、入力動画のフレームレートの高さに依存せずにスロー再生の速度を変えることができ、スロー再生の特殊再生としての効果を高めることが可能になる。
【００２５】
なお、再生制御部１０１は、画像出力部１０６へ動画像データを出力する際に、前記メタデータを付加して出力してもよい。例えば、生成制御部は、動画像データの先頭部分にヘッダ情報としてメタデータを付加して、画像出力部１０６へ出力する。画像出力部１０６は、動画像データを動画像ファイルとして記録する際に、付加されたメタデータを含むようにファイルを生成して記録メディアに記録する。このような構成にすることで、動画像データごとにメタデータが保存されるため、再度、各動画像データを再生する際に、スロー再生に適したシーンを改めて検出・判定し直す必要がなくなり、動画像再生装置における動画再生時の処理負荷を低減させることができる。
【００２６】
以上のような構成を備えることにより、動画像再生装置１００で表示または出力される動画像データは、長い動画像データの一部のみがスロー再生されるように再構成されたものになり、ユーザは、手動でシーン範囲を指定するような煩雑な操作なしに、スロー再生に適したシーンのみ自動でスロー再生される動画再生を楽しむことができる。
【００２７】
なお、本実施形態の動画像再生装置においては、特徴検出部１０２および特徴判定部１０３は、動画の動き検出処理およびその検出結果に基づいてスロー再生に適したシーンの判定を行う構成であるが、他の特徴検出およびその検出結果に基づく判定を行ってもよい。例えば、動画の中から、人の顔、動物、その他特定の被写体が現れるような動画シーンを検出し、それらをスロー再生に適したシーンとして判定してもよい。さらに、メタデータ生成部１０４は、生成するメタデータの内、シーンの特徴を示すタグ情報として、上記の例で説明したような文字列以外を生成してもよい。例えば、特徴検出部１０２および特徴判定部１０３が、動画の中で人の顔が現れるシーンをスロー再生に適したシーンとして検出および判定した場合、メタデータ生成部１０４は、シーンの特徴を示すタグ情報として、前述したような、動きのあるシーンであることを示す文字列“ＭＯＶＥ”の代わりに、人の顔があるシーンであることを示す“ＦＡＣＥ”という文字列を含むようなメタデータを生成してもよい。
【００２８】
（動き検出の周期制御）
次に、特徴検出部１０２における、動き検出周期の決定方法に関して説明する。動き検出は通常、画像フレーム単位で行うが、対象動画のフレームレートが高くなると、フレームレートに比例して動き検出にかかる処理負荷が増大することになり、動画像再生装置全体のパフォーマンス低下を招く原因になる。そこで、特徴検出部１０２は、入力される動画像データに応じて、動きを検出する周期を決定する。
【００２９】
図５に、動画像データに含まれる画像フレームと動き検出の関係を示す。図５（ａ）は、あるフレームレートＦＲａで撮影された動画像データの一部を画像フレーム単位で図示したものである。動画像データは、画像フレーム５００１，５００２，５００３，…５０１１を含んで構成され、図示した範囲では、網掛けした画像フレーム５００１，５００６，５０１１が、動き検出の対象画像フレームである。この例では、画像フレーム間隔が５になるように動き検出の周期を決定している。
【００３０】
図５（ｂ）には、図５（ａ）の２倍のフレームレートＦＲｂで撮影された動画像データの例を示す。図５（ｂ）に示した画像フレーム５１０１，５１０２，５１０３，…５１２１の中で、動き検出を行う対象画像フレームは、濃い網掛けで示す画像フレーム５１０１，５１１１，５１２１である。もし図５（ａ）と同様に、フレーム間隔が５になるように動き検出の周期を決定すると、上記に加えて薄い網掛けで示した画像フレーム５１０６，５１１６も動き検出の対象となり、その分動き検出対象の画像フレームが増えて処理負荷が増大することになる。特徴検出部１０２は、動き検出の周期を決定する際に、例えばフレームレートがＦＲａである時に画像フレーム間隔＝５であることを基準として、フレームレートが２倍になれば（ＦＲｂ＝２＊ＦＲａ）、それに比例して画像フレーム間隔も２倍になるように動き検出の周期を決定する。このように動き検出の周期を決定することで、フレームレートの増大にかかわらず動き検出の処理負荷を一定に保つことができ、動画像再生装置全体としての処理負荷の増大を抑えることができる。
【００３１】
なお、特徴検出部１０２における動き検出の周期の決定方法として、フレームレートに応じて画像フレーム間隔を変更する代わりに、フレームレートに依存しない所定の時間間隔（例えば１秒）になるように、動き検出の周期を決定してもよい。
【００３２】
また、予め撮影・記録済みの符号化動画データを入力して動き検出する場合、符号化動画データ内に周期的に含まれるＩピクチャ（フレーム内符号化画像）のみを対象として動き検出してもよい。その場合、符号化動画データの復号処理をＩピクチャのみに限定することができるため、符号化動画データを読み出して復号する画像入力部１０５の処理負荷を軽減することができる。
【００３３】
（動き検出時の参照フレーム決定）
次に、特徴検出部１０２における、動き検出時の参照フレームの決定方法に関して説明する。動き検出は通常、対象の画像フレームの隣接フレームを参照画像フレームとして使用するが、対象動画のフレームレートが高くなると、対象画像フレームと参照画像フレームの間の時間間隔が短くなり、検出できる動きベクトルが微小になっていく。その結果として、動きベクトルの誤検出などノイズの影響が増大し、適切な動き検出が妨げられる可能性が高まる。そこで、特徴検出部１０２は、入力される動画像データに応じて、動き検出時の、対象画像フレームと参照画像フレームとの間隔を決定する。
【００３４】
図６に、動画の動きと、特徴検出部１０２による動き検出の関係の一例を示す。図６（ａ）は、あるフレームレートＦＲｃで撮影された動画像データを構成する画像フレーム６０１，６０２，６０３，６０４と、動き検出の様子を示している。動画の動きを所定の周期で検出する場合の、検出対象画像フレームが６０２であったとする。図６（ａ）の例では、画像フレーム６０２とその隣接フレーム６０３との間で大きな動きがあるため、隣接フレーム６０３を参照して画像フレーム６０２の動きを検出すると、大きな動きベクトルが得られることになる。その結果、特徴判定部１０３において、画像フレーム６０２もしくは画像フレーム６０２を含む一連の動画シーンを、動画像全体の中で動きの大きなシーンとして判定することができることになる。
【００３５】
ここで、同じ動画を２倍のフレームレートで撮影する場合を仮定する。図６（ｂ）は、図６（ａ）と同じ動画を、フレームレートＦＲｃの２倍のフレームレートＦＲｄで撮影した、動画像データを構成する画像フレーム６１１，６１２，６１３，…６１７と、動き検出の様子を示すものである。図６（ｂ）でも、図６（ａ）と同じ時間周期で動き検出を行うと仮定すると、画像フレーム６１３が動き検出対象の画像フレームになる。画像フレーム６１３は、図６（ａ）において動き検出の対象として示した画像フレーム６０２と同一の画像である。この時、参照フレームとして、図６（ａ）と同様に隣接フレームを用いると、隣接フレーム６１４を参照して、画像フレーム６１３の動き検出をすることになる。ところが、図６（ｂ）の例では、画像フレーム６１３とその２つ先の画像フレーム６１５（画像フレーム６０３と同一）との間では大きな差があるが、画像フレーム６１３と画像フレーム６１４の間ではほとんど差がないため、画像フレーム６１４を参照して画像フレーム６１３の動き検出をすると、動きの大きなシーンとして判定されないことになる。その場合、実際には動きの大きなシーンである、画像フレーム６１３から画像フレーム６１５（図６（ａ）の画像フレーム６０２および画像フレーム６０３に対応する）を含むシーンが検出されない結果になる。このようなケースは、前述したような処理負荷の低減を目的として動き検出の周期を広げるにつれて、起こりやすくなる。即ち、動画のフレームレートが高くなるほど、動きが速くかつ短時間でその動きが終わってしまうような動画シーンを検出しにくくなるという不都合を生じやすくなる。
【００３６】
そこで、特徴検出部１０２は、動画のフレームレートが高くなるにつれて、動き検出の対象画像フレームと参照画像フレームとのフレーム間隔を広げるように参照画像フレームを決定する。例えば、図６（ｂ）の例では、動き検出の対象画像フレーム６１３に対して、時間的に１フレーム先の画像フレーム６１４ではなく、時間的に２フレーム先の画像フレーム６１５を参照画像フレームとして決定する。つまり、参照画像フレームの決定方法として、フレームレートが半分であるようなケース（ＦＲｃ＝ＦＲｄ／２）と比較すると、動き検出対象の画像フレームと参照画像フレームとの間のフレーム間隔が２倍になるように、動き検出の対象画像フレームから離れた画像フレームを参照画像フレームとして決定する。このように参照画像フレームを決定することによって、動きが速くかつ短時間でその動きが終わってしまうような動画シーンを、フレームレートの大きさによらず、動きの大きなシーンとして検出および判定できる可能性を高めることができる。
【００３７】
特徴検出部１０２における参照画像フレームの決定方法としては、上記のようにフレームレートに応じて動き検出の対象画像フレームと参照画像フレームとのフレーム間隔を変更する代わりに、対象画像フレームと参照画像フレームとの間の時間間隔が、フレームレートに依存しない所定の時間間隔（例えば０．１秒）になるように、参照画像フレームを決定してもよい。
【００３８】
以上説明したような構成を備えることによって、本実施形態に係る動画像再生装置によれば、高いフレームレートで撮影された動画像データから、撮影者が手動でシーン範囲を選択するような煩雑な操作なしに、スロー再生に適したシーンのみスローで再生される動画再生を楽しむことができる。その際、撮影フレームレートの増加に伴う処理量の増大や動き検出のノイズの悪影響を抑えながら、スロー再生に適したシーンを自動で決定することができる、という効果が得られる。
【００３９】
なお、上述した実施形態における動画像再生装置１００の一部、例えば、再生制御部１０１、特徴検出部１０２、特徴判定部１０３、メタデータ生成部１０４、画像入力部１０５、および画像出力部１０６を、コンピュータで実現するようにしても良い。その場合、これらの各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画像再生装置１００に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、メモリカード、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク、ＳＳＤ、フラッシュメモリ等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んで良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００４０】
また、上述した実施形態における動画像再生装置１００の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現しても良い。動画像再生装置１００の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００４１】
以上、図面を参照してこの発明の複数の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【産業上の利用可能性】
【００４２】
本発明は、任意のフレームレートで撮影または記録された動画像を入力として、部分的に再生速度を変えた特殊再生をすることのできる動画像再生装置や再生ソフトウェアに好適に適用することができる。
【符号の説明】
【００４３】
１００…動画像再生装置
１０１…再生制御部
１０２…特徴検出部
１０３…特徴判定部
１０４…メタデータ生成部
１０５…画像入力部
１０６…画像出力部
【図１】
2016201617.tif 000003
【図２】
2016201617.tif 000004
【図３】
2016201617.tif 000005
【図４】
2016201617.tif 000006
【図５】
2016201617.tif 000007
【図６】
2016201617.tif 000008
【図７】
2016201617.tif 000009