(57)【要約】【課題】手振れで生じたコンテンツの画像の乱れによる視認性の劣化を軽減する。【解決手段】時間的に連続する複数のフレームで構成されるコンテンツを再生するコンテンツ再生装置１は、複数のフレームからフレーム間の動きベクトルを検出する動きベクトル検出部１１と、動きベクトルに基づき複数のフレームの中から手振れを有する手振れフレームを検出し、手振れフレームから手振れ期間を決定する手振れ期間決定部１２と、動きベクトルに基づき手振れ周期を検出し、手振れ周期に含まれるフレームから代表フレームを抽出する代表フレーム抽出部１３と、代表フレームに基づき手振れ周期における補間フレーム生成する補間フレーム生成部１４と、手振れ期間に基づき複数フレームまたは補間フレームから再生するフレームを選択するフレーム選択部１５と、を備える。【選択図】図２
2015195452.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する複数のフレームで構成されるコンテンツを再生するコンテンツ再生装置において、
前記複数のフレームからフレーム間の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルに基づき前記複数のフレームの中から手振れを有する手振れフレームを検出し、前記手振れフレームから手振れ期間を決定する手振れ期間決定部と、
前記動きベクトルに基づき手振れ周期を検出し、前記手振れ周期に含まれるフレームから代表フレームを抽出する代表フレーム抽出部と、
前記代表フレームに基づき前記手振れ周期における補間フレーム生成する補間フレーム生成部と、
前記手振れ期間に基づき前記複数のフレームまたは前記補間フレームから再生するフレームを選択するフレーム選択部と、
を備えるコンテンツ再生装置。
【請求項２】
前記代表フレーム抽出部は、
前記動きベクトルの向きが所定以上変化するフレーム、または、動きベクトルの大きさが所定以下のフレームを代表フレームとして抽出する
ことを特徴とする請求項１記載のコンテンツ再生装置。
【請求項３】
前記補間フレーム生成部は、
前記手振れ周期における全ての補間フレームを前記代表フレームとする
ことを特徴とする請求項１記載のコンテンツ再生装置。
【請求項４】
時間的に連続する複数のフレームで構成されるコンテンツを再生するコンテンツ再生方法において、
前記複数のフレームからフレーム間の動きベクトルを検出するステップと、
前記動きベクトルに基づき前記複数のフレームの中から手振れを有する手振れフレームを検出し、前記手振れフレームから手振れ期間を決定するステップと、
前記動きベクトルに基づき手振れ周期を検出し、前記手振れ周期に含まれるフレームから代表フレームを抽出するステップと、
前記代表フレームに基づき前記手振れ周期における補間フレーム生成するステップと、
前記手振れ期間に基づき前記複数のフレームまたは前記補間フレームから再生するフレームを選択するステップと、
を備えるコンテンツ再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンテンツ再生装置およびコンテンツ再生方法に関する。
【背景技術】
【０００２】
特許文献１は、動画の撮影時または連写撮影時に手ブレが生じた場合でも、画像を滑らかに再生表示する撮像装置を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−７７２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、手振れで生じたコンテンツの画像の乱れによる視認性の劣化を軽減するコンテンツ再生装置およびコンテンツ再生方法を提供する。
【課題を解決するための手段】
【０００５】
本開示のコンテンツ再生装置は、時間的に連続する複数のフレームで構成されるコンテンツを再生するコンテンツ再生装置において、前記複数のフレームからフレーム間の動きベクトルを検出する動きベクトル検出部と、前記動きベクトルに基づき前記複数のフレームの中から手振れを有する手振れフレームを検出し、前記手振れフレームから手振れ期間を決定する手振れ期間決定部と、前記動きベクトルに基づき手振れ周期を検出し、前記手振れ周期に含まれるフレームから代表フレームを抽出する代表フレーム抽出部と、前記代表フレームに基づき前記手振れ周期における補間フレーム生成する補間フレーム生成部と、前記手振れ期間に基づき前記複数のフレームまたは前記補間フレームから再生するフレームを選択するフレーム選択部と、を備える。
【発明の効果】
【０００６】
本開示のコンテンツ再生装置およびコンテンツ再生方法によれば、手振れで生じたコンテンツの画像の乱れによる視認性の劣化を軽減することができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１に係るコンテンツ再生装置の構成を示すブロック図。
【図２】実施の形態１に係るコンテンツ再生装置の動作を説明するためのフローチャート。
【図３】実施の形態１に係るコンテンツ再生装置の動作の第１例を説明するための図。
【図４】実施の形態１に係るコンテンツ再生装置の動作の第２例を説明するための図。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（実施の形態１）
［１−１．構成］
図１は、実施の形態１に係るコンテンツ再生装置１の構成を示すブロック図である。
【００１１】
図１において、コンテンツ再生装置１は、動きベクトル検出部１１、手振れ期間決定部１２、代表フレーム抽出部１３、補間フレーム生成部１４、フレーム選択部１５を備える。
【００１２】
コンテンツ再生装置１には、時間的に連続する複数のフレームで構成されるコンテンツが入力される。
【００１３】
動きベクトル検出部１１は、入力された複数のフレームからフレーム間の動きベクトルを検出し、手振れ期間決定部１２、代表フレーム抽出部１３に渡す。
【００１４】
手振れ期間決定部１２は、検出された動きベクトルに基づき複数のフレームの中から手振れを有する手振れフレームを検出する。手振れ期間決定部１２は、検出された手振れフレームから手振れ期間を決定し、決定した手振れ期間をフレーム選択部１５に通知する。
【００１５】
代表フレーム抽出部１３は、検出された動きベクトルに基づき手振れ周期を検出し、検出された手振れ周期に含まれるフレームから、補間フレーム生成部１４で生成する補間フレームを生成するための代表フレームを抽出する。代表フレーム抽出部１３は、抽出した代表フレームを補間フレーム生成部１４に通知する。
【００１６】
補間フレーム生成部１４は、抽出された代表フレームに基づき検出された手振れ周期における補間フレームを生成する。
【００１７】
フレーム選択部１５は、決定された手振れ期間に基づき入力された複数のフレーム、または、生成された補間フレームから再生するフレームを選択する。
【００１８】
［１−２．動作］
以上のように構成されたコンテンツ再生装置１について、その動作を以下に説明する。
【００１９】
図２は、実施の形態１に係るコンテンツ再生装置１の動作を説明するためのフローチャートである。
【００２０】
動きベクトル検出部１１は、入力された複数のフレームからフレーム間の動きベクトルを検出し（ステップＳ２１）、手振れ期間決定部１２、代表フレーム抽出部１３に渡す。
【００２１】
手振れ期間決定部１２は、検出された動きベクトルに基づき複数のフレームの中から手振れを有する手振れフレームを検出する。手振れ期間決定部１２は、検出された手振れフレームから手振れ期間を決定し（ステップＳ２２）、決定した手振れ期間をフレーム選択部１５に通知する。手振れフレームの検出は、検出された動きベクトルの大きさや向きの変化から閾値処理をして判定する。
【００２２】
代表フレーム抽出部１３は、検出された動きベクトルに基づき手振れ周期を検出し、検出された手振れ周期に含まれるフレームから、補間フレーム生成部１４で生成する補間フレームを生成するための代表フレームを抽出する（ステップＳ２３）。代表フレーム抽出部１３は、抽出した代表フレームを補間フレーム生成部１４に通知する。
【００２３】
ここで、手振れ周期とは、ビデオカメラなどの撮像装置で撮像した際に生じる手振れの振動周期のことである。手振れ周期の検出方法は、例えば、撮像装置が斜め方向（右上から左下）にぶれているとした場合、動きベクトルは、図２の１０１から１１１に示すような結果となる。すなわち、現在の入力フレームを２２とすると１フレーム前のフレーム２１に対しての動きベクトルは、１０１のようになる。この動きベクトルの統計をとると、周期的な変動があり、図２の場合では、動きベクトルの向きが左下から右上方向に変化した１０２を基準にとると、同じ変化が起こる１１０までの間隔を手振れ周期として検出できる。
【００２４】
具体的な検出方法としては、動きベクトルを座標にとるなら、第ｎ象限から第ｍ象限（ｎ、ｍは１〜４、ｎ≠ｍ）に移ったときを基準にして、次に同じ第ｎ象限から第ｍ象限に移ったときの期間を検出する。なお、この手振れ周期は、過去に計測した手振れ周期と平均を求めるなどの統計処理をして加工してもよい。この検出された手振れ周期を用いて、補間フレーム生成部１４で表示させるフレームを特定する。例えば、図２のように手振れ周期が９フレーム（フレーム２２からフレーム３０）の場合、９フレームの周期に含まれるフレームから代表フレームを抽出する。
【００２５】
補間フレーム生成部１４は、抽出された代表フレームに基づき検出された手振れ周期における補間フレームを生成する（ステップＳ２４）。例えば、補間フレーム生成部１４は、手振れ周期における全ての補間フレームを代表フレームとする、つまり、補間フレーム数分、代表フレームをリピートする。
【００２６】
フレーム選択部１５は、検出された手振れ周期に基づき入力された複数のフレーム、または、生成された補間フレームから再生するフレームを選択する（ステップＳ２５）。
【００２７】
これにより、手振れが生じているフレームは、手振れ周期でダウンサンプリングさせることにより、手振れによるフレームの画像のゆれが表示されなくなるので視認性の劣化を軽減させることになる。
【００２８】
なお、検出された手振れ周期に含まれるフレームから代表フレームを抽出する方法としては、例えば、代表フレーム抽出部１３は、手振れ周期に含まれるフレームから任意の位置のフレームを抽出すればよい（図２の場合は、フレーム２２からフレーム３０の内の任意の一フレーム）。
【００２９】
また、例えば、代表フレーム抽出部１３は、手振れ周期をそのまま使うのではなく、手振れ周期の１／２など演算加工した値を使用してもよい。手振れ周期の１／２で、かつ、フレーム２２からフレーム２６の内から一のフレームを代表フレームにすれば、手振れ周期を１／２にしない場合に対して使用できるフレームが２倍となり、かつ、手振れによる視認性の劣化を軽減させることができる。
【００３０】
また、例えば、代表フレーム抽出部１３は、手振れ周期を使用して代表フレームを抽出するのではなく、動きベクトルが第ｎ象限から第ｍ象限（ｎ、ｍは１〜４、ｎ≠ｍ）に移ったとき、もしくは、動きベクトルが０もしくは０に近い値をとるときのフレームを代表フレームとして抽出し（図２では、フレーム２２、フレーム２６、フレーム３０のいずれか）、抽出した代表フレームをリピートしてもよい。この場合、手振れによる動きが小さい画像を取り出すことになるので、動きぼけの少ない画像をリピート再生し、視認性の劣化を大きく改善することになる。
【００３１】
また、例えば、代表フレーム抽出部１３は、動きベクトルが第ｎ象限から第ｍ象限（ｎ、ｍは１〜４、ｎ≠ｍ）に移り、また次に同じく第ｎ象限から第ｍ象限（ｎ、ｍは１〜４、ｎ≠ｍ）に移るときのフレームを代表フレームとして抽出し（図２では、２２、３０のいずれか）、抽出した代表フレームをリピートしてもよい。これにより静止している画像を抽出できる、かつ、リピート再生した際のリピートの継ぎ目の位置もあわせることができる。
【００３２】
また、例えば、代表フレーム抽出部１３は、動きベクトルが第ｎ象限から第ｍ象限（ｎ、ｍは１〜４、ｎ≠ｍ）に移ったとき、もしくは、動きベクトルが０もしくは０に近い値をとるときのフレームを代表フレームとして抽出して（図２では、２２、２６、３０の内、２フレーム）、図３に示すようにあらたなフレームを生成し、当該フレームをリピートしてもよい。すなわち、例えばフレーム２２とフレーム２６から被写体“Ａ”の画面上の位置を中央に合わせるためにフレーム２２とフレーム２６のそれぞれ“Ａ”の中心座標から座標の平均を求め、フレーム２２とフレーム２６それぞれのフレームを座標の平均にあわせてフレーム６１を作成する。フレーム２２とフレーム２６が両方とも含まれる領域は、フレーム２２とフレーム２６のどちらかを採用する、もしくは、画素信号の平均値を採用するなどが考えられる。また、逆にフレーム２２とフレーム２６がいずれも含まれない領域についてはその領域を表示しないか、もしくは、その領域を含む水平領域はすべて表示しない、もしくは、その領域を含む垂直領域はすべて表示しない、などが考えられる。これにより、補間フレーム生成部１４では動きぼけの少ないフレーム、かつ、被写体を中央に位置あわせした状態でリピート再生することが可能となる。
【００３３】
また、例えば、代表フレーム抽出部１３において、あらかじめ手振れ周期がわかっている場合などは、手振れ周期を算出せず、外部から手ぶれ周期を与え、その周期で抽出されたフレームについてリピート再生してもよい。
【００３４】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００３５】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記実装を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００３６】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【００３７】
［１−３．効果等］
時間的に連続する複数のフレームで構成されるコンテンツを再生するコンテンツ再生装置１は、動きベクトル検出部１１、手振れ期間決定部１２、代表フレーム抽出部１３、補間フレーム生成部１４、フレーム選択部１５を備える。動きベクトル検出部１１は、複数のフレームからフレーム間の動きベクトルを検出する。手振れ期間決定部１２は、動きベクトルに基づき複数のフレームの中から手振れを有する手振れフレームを検出し、手振れフレームから手振れ期間を決定する。代表フレーム抽出部１３は、動きベクトルに基づき手振れ周期を検出し、手振れ周期に含まれるフレームから代表フレームを抽出する。補間フレーム生成部１４は、代表フレームに基づき手振れ周期における補間フレーム生成する。フレーム選択部１５は、手振れ期間に基づき複数フレームまたは補間フレームから再生するフレームを選択する。
【００３８】
本開示のコンテンツ再生装置及びコンテンツ再生方法によれば、手振れで生じたコンテンツの画像の乱れによる視認性の劣化を軽減することができる。
【産業上の利用可能性】
【００３９】
本開示は、コンテンツ再生技術として有用である。
【符号の説明】
【００４０】
１    コンテンツ再生装置
１１  動きベクトル検出部
１２  手振れ期間決定部
１３  代表フレーム抽出部
１４  補間フレーム生成部
１５  フレーム選択部
【図１】
2015195452.tif 000003
【図２】
2015195452.tif 000004
【図３】
2015195452.tif 000005
【図４】
2015195452.tif 000006