(57)【要約】【課題】映像中から強調したい動きの多い部分を自動的に検出する映像解析装置および該装置を用いたコンテンツ作成装置を提供する。【解決手段】この映像解析装置は、連続する複数のフレームで構成される映像に対して、該フレームの画像の動きを特徴付ける特徴量を算出して前記フレームごとに対応付けて記憶し、この記憶した隣接する該フレームごとの特徴量の差分に基づいて検出した動きの多い区間を出力する。また、コンテンツ作成装置は、この映像解析装置から検出した動きの多い映像を目立たせるようにして、映像と当該映像に対する説明画像とからなるコンテンツを作成する。【選択図】図１
2006050483.tif 000002
【特許請求の範囲】
【請求項１】
連続する複数のフレームで構成される映像に対して、該フレームの画像の動きを特徴付ける特徴量を算出する特徴量算出手段と、隣接する該フレームごとの特徴量の差分に基づいて動きの多い区間を検出して出力する変化区間検出手段と、を備えることを特徴とする映像解析装置。
【請求項２】
請求項１に記載の映像解析装置において、前記変化区間検出手段は、前記差分の計算には差分の絶対値を用い、該絶対値が所定の閾値を越える最初のフレームと最後のフレームとからなる区間を動きの多い区間として検出するようにしたことを特徴とする映像解析装置。
【請求項３】
請求項１または２に記載の映像解析装置において、前記変化区間検出手段は、検出した隣接する区間と区間との間にあるフレーム間の差分が所定の閾値以下であり、かつ、当該フレームの特徴量が所定の値より大きい場合には隣接する区間を統合した区間とすることを特徴とする映像解析装置。
【請求項４】
請求項１、２または３に記載の映像解析装置において、前記変化区間検出手段は、隣接する区間と区間との間隔が所定の時間以下であれば、当該隣接する区間を統合するようにしたことを特徴とする映像解析装置。
【請求項５】
請求項１、２、３または４に記載の映像解析装置において、前記変化区間検出手段は、区間が所定の時間以下であれば、動きの多い区間として検出しないようにしたことを特徴とする映像解析装置。
【請求項６】
連続する複数のフレームで構成される映像に対して、該フレームの画像の動きを特徴付ける特徴量を算出して前記フレームごとに対応付けて記憶し、この記憶した隣接する該フレームごとの特徴量の差分に基づいて検出した動きの多い区間を出力することを特徴とする映像解析方法。
【請求項７】
連続する複数のフレームで構成される映像と当該映像に対する説明画像とからなるコンテンツを作成するコンテンツ作成装置において、前記映像から動きの多い区間を検出して変化区間記憶手段に記憶させる請求項１乃至５のいずれかに記載の映像解析装置と、動きの多い映像とその説明画像とを表示させる第１レイアウトと、動きの少ない映像とその説明画像とを表示させる第２レイアウトを指定するレイアウト指定手段と、動きの多い映像を目立たせる表現方法を指定する表現方法指定手段と、前記変化区間記憶手段に記憶された動きの多い区間のフレームに対する映像とその説明画像には前記第１レイアウトを用い、動きの少ないフレームに対する映像とその説明画像には前記第２レイアウトを用いて、指定された前記表現方法により動きの多い映像を注目させるコンテンツを生成するコンテンツ生成手段と、を備えることを特徴とするコンテンツ作成装置。
【請求項８】
請求項７に記載のコンテンツ作成装置において、前記表現方法指定手段は、動きの多い映像を、動きの少ない映像の表示サイズより大きい表示サイズで表示するように指定することを特徴とするコンテンツ作成装置。
【請求項９】
請求項７または８に記載のコンテンツ作成装置において、前記表現方法指定手段は、動きの多い映像をその説明画像より明るく表示するように指定することを特徴とするコンテンツ作成装置。
【請求項１０】
請求項７、８または９に記載のコンテンツ作成装置において、前記表現方法指定手段は、動きの多い映像に対するその説明画像をより透明に表示するように指定することを特徴とするコンテンツ作成装置。
【請求項１１】
コンピュータに、請求項１乃至５のいずれかに記載の映像解析装置の機能、または、請求項７乃至９のいずれかに記載のコンテンツ作成装置の機能を実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像解析装置、映像解析方法およびコンテンツ作成装置、並びに、プログラムおよび記録媒体に関し、特に、映像とその説明画像とを組み合わせたコンテンツにおける、映像とその説明画像の見せ方に関する。
【背景技術】
【０００２】
近年、情報技術、情報通信技術の飛躍的な発展によって、映像、画像または音声のような視聴可能な情報と、例えば映画やテレビ放送、カラオケ等で多用されている字幕等の説明画像を組み合わせたコンテンツが極めて身近になってきている。
このようなコンテンツは、電子的なデータとして扱われるのが一般的で、例えばインターネットで配信されたり、光ディスクに収められて流通している。
【０００３】
このような映像とその説明画像を組み合わせたコンテンツでは、コンテンツ作成者は、映像全体を確認して、どのような表示サイズおよびどのような配置のレイアウトで映像とその説明画像を配置して表示するかを決定していた。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、コンテンツに使用する映像が長時間にわたるときには、かなりの労働負荷を強いられることになる。また、強調したい映像については、映像の表示サイズを大きくし、その他の場合には、説明画像の表示サイズを大きくするというような作業をする場合には、さらにきつい労働負荷を要することになる。
【０００５】
本発明は、上記の実情を考慮してなされたものであって、映像中から強調したい動きの多い部分を自動的に検出する映像解析装置、映像解析方法およびプログラム、記録媒体を提供することを目的とする。
さらに、本発明は、映像解析装置を用いて、映像とその説明画像を組み合わせたコンテンツのうち強調したい動きの多い部分を注目させるコンテンツを作成するコンテンツ作成装置、およびプログラム、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、連続する複数のフレームで構成される映像に対して、該フレームの画像の動きを特徴付ける特徴量を算出する特徴量算出手段と、隣接する該フレームごとの特徴量の差分に基づいて動きの多い区間を検出して出力する変化区間検出手段と、を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の映像解析装置において、前記変化区間検出手段は、前記差分の計算には差分の絶対値を用い、該絶対値が所定の閾値を越える最初のフレームと最後のフレームとからなる区間を動きの多い区間として検出するようにしたことを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１または２に記載の映像解析装置において、前記変化区間検出手段は、検出した隣接する区間と区間との間にあるフレーム間の差分が所定の閾値以下であり、かつ、当該フレームの特徴量が所定の値より大きい場合には隣接する区間を統合した区間とすることを特徴とする。
請求項４に記載の発明は、請求項１、２または３に記載の映像解析装置において、前記変化区間検出手段は、隣接する区間と区間との間隔が所定の時間以下であれば、当該隣接する区間を統合するようにしたことを特徴とする。
請求項５に記載の発明は、請求項１、２、３または４に記載の映像解析装置において、前記変化区間検出手段は、区間が所定の時間以下であれば、動きの多い区間として検出しないようにしたことを特徴とする。
【０００９】
請求項６に記載の発明は、連続する複数のフレームで構成される映像に対して、該フレームの画像の動きを特徴付ける特徴量を算出して前記フレームごとに対応付けて記憶し、この記憶した隣接する該フレームごとの特徴量の差分に基づいて検出した動きの多い区間を出力することを特徴とする。
【００１０】
請求項７に記載の発明は、連続する複数のフレームで構成される映像と当該映像に対する説明画像とからなるコンテンツを作成するコンテンツ作成装置において、前記映像から動きの多い区間を検出して変化区間記憶手段に記憶させる請求項１乃至５のいずれかに記載の映像解析装置と、動きの多い映像とその説明画像とを表示させる第１レイアウトと、動きの少ない映像とその説明画像とを表示させる第２レイアウトを指定するレイアウト指定手段と、動きの多い映像を目立たせる表現方法を指定する表現方法指定手段と、前記変化区間記憶手段に記憶された動きの多い区間のフレームに対する映像とその説明画像には前記第１レイアウトを用い、動きの少ないフレームに対する映像とその説明画像には前記第２レイアウトを用いて、指定された前記表現方法により動きの多い映像を注目させるコンテンツを生成するコンテンツ生成手段と、を備えることを特徴とする。
【００１１】
請求項８に記載の発明は、請求項７に記載のコンテンツ作成装置において、前記表現方法指定手段は、動きの多い映像を、動きの少ない映像の表示サイズより大きい表示サイズで表示するように指定することを特徴とする。
請求項９に記載の発明は、請求項７または８に記載のコンテンツ作成装置において、前記表現方法指定手段は、動きの多い映像をその説明画像より明るく表示するように指定することを特徴とする。
請求項１０に記載の発明は、請求項７、８または９に記載のコンテンツ作成装置において、前記表現方法指定手段は、動きの多い映像に対するその説明画像をより透明に表示するように指定することを特徴とする。
【００１２】
請求項１１に記載の発明は、コンピュータに、請求項１乃至５のいずれかに記載の映像解析装置の機能、または、請求項７乃至９のいずれかに記載のコンテンツ作成装置の機能を実行させるためのプログラムである。
請求項１２に記載の発明は、請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１３】
本発明によれば、映像中から強調したい動きの多い部分を自動的に検出することができ、この強調したい部分の表示サイズの大きさを変更可能としたコンテンツを作成することができる。
また、強調したい部分の明るさを変えたり、強調したくない部分を透明とすることによって強調部分を浮き立たせて、より注目しやすくいコンテンツを作成できる。
また、映像と、強調させたい部分の区間情報を別々に持つことにより、一旦作成したコンテンツにおいてもレイアウトや表現方法を変更して強調部分の注目のさせ方をいつでもやり直すことができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の好適な実施形態について説明する。
図１は、本発明の実施形態に係る映像解析装置の構成を示すブロック図である。図１に示したように、本映像解析装置１０は、映像取得手段１１、特徴量算出手段１２、変化区間検出手段１３とから構成されており、解析対象となる映像を記憶する映像記憶手段２０および映像解析装置１０からの結果を記憶する変化区間記憶手段３０が接続されている。
【００１５】
映像記憶手段２０は、解析対象となる映像を多数のフレームとして記憶するものであり、例えばハードディスクや光ディスク、半導体メモリ等により構成される。この映像記憶手段２０は、解析対象となる映像を出力できるものであればどのようなものでもよく、例えばビデオカメラや放送波チューナなどであってもよい。
【００１６】
映像取得手段１１は、映像記憶手段２０からフレーム単位で画像を取得し、このフレームを特徴量算出手段１２へ出力する。
特徴量算出手段１２は、映像取得手段１１で取り出したフレームを静止画像とみなし、この静止画像をあらわす種々のパラメータから特徴量を算出し、各フレームに対応して特徴量を一時的に記憶する。この特徴量は、例えば、静止画像についての色、テクスチャ、特殊効果、物体の位置、文字情報などの物理的特徴量や、既知の物理的特徴量から推定される特徴量の少なくともいずれかを含むものである。しかし、本実施形態では画像の動きを特徴付けるような特徴量であればよく、特定の特徴量に限定されるものではない。
例えば、静止画像の特徴量をこの画像の色合い明るさ等のパラメータから一意に算出してグラフ化したものの一例を図２に示す。図２において、横軸は時系列に並べられたフレームを、縦軸は各フレームの特徴量を現している。
【００１７】
変化区間検出手段１３は、まず、特徴量算出手段１２で算出した各フレームの特徴量をもとに、動きの多い映像の開始フレームと終了フレームとを検出し、これらのフレームの場所を変化区間記憶手段３０へ記憶させる。ここでは、動きの多い映像とは、各フレーム間の特徴量の差分が大きいほど変化の大きい映像と言う。
変化区間記憶手段３０は、動きの多い映像の区間ごとに、その区間の開始フレームと終了フレームを映像開始時点からの距離（時／分／秒／フレーム）で表現して記憶する。
【００１８】
この動きの多い映像の区間は、次のようにして検出する。
（１）各フレーム間の特徴量の差分の絶対値を算出する。
例えば、各フレーム間の輝度のヒストグラムの差分の総和、輝度のメディアン値の差分、輝度の平均値の差分、輝度の標準偏差の差分、色のヒストグラムの差分の総和、色のメディアン値の差分、色の平均値の差分、色の標準偏差の差分、これらの差分を正規化した値、フレーム間の色の相関値等の絶対値を用いることができる。
【００１９】
（２）この差分の絶対値が所定の閾値より大きくなる手前の時刻のフレームを開始フレームとし、この差分の絶対値が所定の閾値より小さくなる時刻のフレームを終了フレームとする。これにより、動きの大きいフレームの区間の候補が検出される。
例えば、図２のグラフに示した各フレーム間の差分の絶対値をグラフ化したものが図３である。図３において、特徴量の差分がある閾値を超えたフレーム（網点部分）が動きの多い部分であると判断する。
【００２０】
（３）検出した区間のうち、隣接する区間の間隔が所定の時間より短いときには、それらの隣接する区間を一まとめとする。
また、隣接する区間の間にあるフレームの特徴量が大きく、差分の絶対値が所定の値より小さいときには、それらの隣接する区間を一まとめの区間とする。
例えば、図４に示したような動きの多いフレーム群が２つあるグラフの場合、フレーム群１の差分は図５に示すようなグラフとなる。この場合は、区間１と区間２の間の間隔１においても動きが多いはずであるから、区間１、間隔１および区間２とをまとめてひとつの区間とする。
【００２１】
（４）このまとめた区間の開始フレームと終了フレームの間隔が所定の時間より短すぎる場合には、この区間を動きの多い区間とはしないようにする。
（５）このようにまとめられた各区間を変化区間記憶手段３０へ記憶させる。
【００２２】
次に、図６のフローチャートを用いて、映像解析装置の処理手順について説明する。
映像記憶手段２０からフレーム単位で画像を取得し（ステップＳ１０）、このフレームを静止画像とみなし、この静止画像をあらわす種々のパラメータから特徴量を算出し、各フレームに対応して特徴量を一時的に記憶する（ステップＳ１１）。これを処理対象となるフレームが無くなるまで繰り返す（ステップＳ１０，Ｓ１１，Ｓ１２）。
【００２３】
以上の構成により、映像中から強調したい動きの多い部分を自動的に検出できる。
【００２４】
算出した各フレームの特徴量をもとに、各フレーム間の特徴量の差分が所定の閾値を越えている区間の、開始フレームと終了フレームとを検出し、これらの開始フレームと終了フレームを映像開始時点からの距離（時／分／秒／フレーム）で表現して変化区間記憶手段３０へ記憶させる（ステップＳ１３）。
ここで、この検出した区間のうち、隣接する区間の間隔が所定の時間より短いときには、それらの隣接する区間を一まとめとしたり、また、隣接する区間の間にあるフレームの特徴量が大きく、差分の絶対値が所定の値より小さいときには、それらの隣接する区間を一まとめの区間とする。
【００２５】
次に、上記の映像解析装置を適用したコンテンツ作成装置について説明する。このコンテンツ作成装置の対象とするコンテンツは、映像とその説明画像を組み合わせたコンテンツである。本コンテンツ作成装置は、このようなコンテンツ中の強調したい映像を他より注目させることができるコンテンツを自動的に作成できるようにするものである。
【００２６】
図７は、本発明の実施形態に係るコンテンツ作成装置の構成を示すブロック図である。図７に示したように、本コンテンツ作成装置４０は、映像解析装置１０、変化区間記憶手段３０、レイアウト指定手段４１、表現方法指定手段４２、コンテンツ生成手段４３とから構成されており、解析対象となる映像やその説明画像を記憶する映像記憶手段２０およびコンテンツ作成装置４０で作成されたコンテンツを記憶するコンテンツ記憶手段５０とが接続されている。
【００２７】
レイアウト指定手段４１は、作成するコンテンツをどのように表示させたいかを指定する。この指定は、映像とその説明画像の表示装置上でのレイアウト（表示位置や表示サイズ）をあらかじめ用意しておき、その中から映像を強調したときに使用するレイアウトと強調しないときに使用するレイアウトとを選択する。
これにより、強調させたい映像をどれだけ大きな映像表示サイズとするかなどの設定をコンテンツ作成者があらかじめ設定することができる。
【００２８】
表現方法指定手段４２は、次のような選択肢の中から、強調させる部分をどのように注目させるかを指定する。
（１）通常の映像の表示サイズより強調する映像の表示サイズを大きくする。
（２）強調する映像の明度を明るく変化させて表示させる。
（３）注目させたくない画像を透明にするように透明度を変化させて表示する。
（４）上記（１）から（３）を適宜組み合わせて強調させたい映像を注目させるようにしてもよい。
【００２９】
コンテンツ生成手段４３は、次の手順で映像記憶手段２０に記憶された映像およびその説明画像を組み合わせたコンテンツを作成する。このコンテンツ生成については公知の技術によって実現できる。
まず、上述した映像解析装置１０を適用して、映像記憶手段２０に記憶された映像について強調したい動きの多い映像部分を検出し、この検出した区間を変化区間記憶手段３０に記憶させる。
次に、レイアウト指定手段４１で指定されたレイアウトおよび表現方法指定手段４２で指定された強調する映像の表現方法をもとに、映像記憶手段２０に記憶された映像やその説明画像をレイアウトして、作成された仮コンテンツをコンテンツ記憶手段５０へ出力する。
さらに、作成された仮コンテンツを表示させて、所望の状態でないときには、修正したい部分のレイアウトや表現方法を変更してコンテンツの生成を再度行う。これを仮コンテンツが所望のものとなるまで繰り返す。
【００３０】
以上のような構成により、映像中から強調したい動きの多い部分を自動的に検出することができ、この強調したい部分の表示サイズの大きさを変更可能としたコンテンツを作成することができる。
また、強調したい部分の明るさを変えたり、強調したくない部分を透明とすることによって強調部分を浮き立たせて、より注目しやすくいコンテンツを作成できる。
また、映像と、強調させたい部分の区間情報を別々に持つことにより、一旦作成したコンテンツにおいてもレイアウトや表現方法を変更して強調部分の注目のさせ方をいつでもやり直すことができる。
【００３１】
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００３２】
なお、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
【００３３】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
【００３４】
市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータの記憶装置に格納しておき、ネットワークを通じて他のコンピュータに転送することができる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
なお、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記録媒体にインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態に係る映像解析装置の構成を示すブロック図である。
【図２】映像の各フレームを静止画像と見た場合、この静止画像の特徴量をグラフ化した例である。
【図３】図２に示した各フレーム間の特徴量の差分の絶対値をグラフ化した例である。
【図４】他の映像の各フレームを静止画像と見た場合、この静止画像の特徴量をグラフ化した例である。
【図５】図４に示した各フレーム間の特徴量の差分の絶対値をグラフ化した例である。
【図６】映像解析装置の処理手順を示すフローチャートである。
【図７】本発明の実施形態に係るコンテンツ装置の構成を示すブロック図である。
【符号の説明】
【００３６】
１０…映像解析装置、１１…映像取得手段、１２…特徴量算出手段、１３…変化区間検出手段、２０…映像記憶手段、３０…変化区間記憶手段、４０…コンテンツ作成装置、４１…レイアウト指定手段、４２…表現方法指定手段、４３…コンテンツ生成手段、５０…コンテンツ記憶手段。
【図１】
2006050483.tif 000003
【図２】
2006050483.tif 000004
【図３】
2006050483.tif 000005
【図４】
2006050483.tif 000006
【図５】
2006050483.tif 000007
【図６】
2006050483.tif 000008
【図７】
2006050483.tif 000009