(57)【特許請求の範囲】
【請求項１】
動画像を複数のシーンに分割し、各シーンを代表する代表フレーム画像を抽出するフレーム画像抽出部と、
前記分割された各シーンの特徴量を計算するシーン特徴量計算部と、
前記計算された特徴量に基づいて前記分割された各シーンを複数のグループに分類するグループ生成部と、
前記生成されたグループ毎に表示領域を形成し、該表示領域内に対応するグループに含まれる全ての代表フレーム画像を、前記動画像内でのそのフレーム画像の出現時間に一致する場所に一覧表示し、かつ、１グループ内で連続して複数の代表フレーム画像が表示される場合、これら複数の代表フレーム画像の内の１個のみを表示する画像表示部と、を備え、前記画像表示部は、２つのグループ間で交互に連続して代表フレーム画像が表示される場合、１対の代表フレーム画像のみを表示する、動画像内容表示装置。
【請求項２】
動画像内容表示装置が、
動画像を複数のシーンに分割し、各シーンを代表する代表フレーム画像を抽出し、
前記分割された各シーンの特徴量を計算し、
前記計算された特徴量に基づいて前記分割された各シーンを複数のグループに分類し、
前記生成されたグループ毎に表示領域を形成し、該表示領域内に対応するグループに含まれる全ての代表フレーム画像を、前記動画像内でのそのフレーム画像の出現時間に一致する場所に一覧表示し、かつ、１グループ内で連続して複数の代表フレーム画像が表示される場合、これら複数の代表フレーム画像のうちの１個のみを表示し、前記表示する際、２つのグループ間で横軸上に交互に連続して代表フレーム画像が表示される場合、１対の代表フレーム画像のみを表示する、動画像内容表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の内容を把握し、または目的のシーンの検索を容易に行う為に、動画像の各シーンにおける代表フレーム画像を効果的に表示するための、動画像内容表示装置に関する。
【０００２】
【従来の技術】
動画像の内容を把握するためにその動画像を再生すると、その動画像の長さだけの時間がかかる。早送り再生をした場合でも、速くてその１／６程度である。そこで動画像を複数の静止画を利用して表現する方法が行われている。ここでいう静止画とは、動画像を複数のシーンに分割した場合の各シーンの代表フレーム、一般には先頭フレーム、の画像である。また、動画像の各シーンは、動画像を一定時間ごとに区切ったり、カットの切り替わりで区切ったりして構成される。
【０００３】
従来の装置では、この様にして得られた各シーンの代表フレーム画像を、表示画面（スクリーン）上に時間順に並べて表示する。したがって、このフレーム画像一覧を見ればその動画像内にどのようなシーンがあるかを、動画を再生することなく効率的に把握できる。
【０００４】
なお、このとき、フレーム画像に厚みを持たせて表示し、シーンの長さによって厚みを変化させることで、そのフレーム画像が表しているシーンの長さを直感的に把握できるようにする方法がある。また、シーンの長さや動きの変化、音量といった情報を利用してシーンの重要度を計算し、重要度の高いシーンのフレーム画像を大きく表示するような工夫もなされている。
【０００５】
【発明が解決しようとする課題】
上記従来の動画像内容表示装置によると、表示画面上に時間順に並んだフレーム画像を一つずつ見ていき、どのようなシーンがどのような順番で並んでいるかを把握することができる。しかし、動画像を分割して構成したシーンの数が多くなると、表示画面上に一覧表示されるフレーム画像数が多くなり、全てを見るのに時間がかかり、シーンの順序を頭の中で整理しきれずに混乱する場合がある。また、動画像からあるシーンを探し出したいといった場合、そのシーンが動画像のどのあたりにあるかを予め知らなければ、一覧表示されたフレーム画像を先頭から一つずつ見ていって目的のシーンを探さなければならず、効率が悪い。
【０００６】
本発明では、従来装置の上記問題点を解決する目的でなされたものであり、動画像内容を容易に把握できると共に、さらにどのようなシーンが何処にあるかを効率よく把握できる、新規な動画像内容の表示装置を提供するものである。
【０００７】
【課題を解決するための手段】
本発明の動画像内容表示装置は、上記課題を解決する為に、動画像を複数のシーンに分割し、各シーンを代表する代表フレーム画像を抽出するフレーム画像抽出部と、前記分割された各シーンの特徴量を計算するシーン特徴量計算部と、前記計算された特徴量に基づいて前記分割された各シーンを複数のグループに分類するグループ生成部と、前記生成されたグループ毎に表示領域を形成し、該表示領域内に対応するグループに含まれる全ての代表フレーム画像を、前記動画像内でのそのフレーム画像の出現時間に一致する場所に一覧表示し、かつ１グループ内で連続して複数の代表フレーム画像が表示される場合、これら複数の代表フレーム画像の内の１個のみを表示する画像表示部、を備え、前記画像表示部は、２つのグループ間で交互に連続して代表フレーム画像が表示される場合、１対の代表フレーム画像のみを表示するようにしている。
【０００８】
したがって、類似の特徴を有する複数のシーンは１グループとしてまとめられ、グループ中の各シーンを代表するフレーム画像が、動画像内でのそのフレーム画像の出現時間に一致する場所に一覧表示され、かつ１グループ内で連続して複数の代表フレーム画像が表示される場合、これら複数の代表フレーム画像の内の１個のみが表示されるので、動画像全体の場面の流れを把握する際に表示されるフレーム画像が少なくなり、全体の把握が容易となる。また、２つのグループ間で交互に連続して代表フレーム画像が表示される場合、１対の代表フレーム画像のみを表示することによって、所望のシーンの探索が効率的に行える。
【０００９】
本発明の動画像内容表示方法は、上記課題を解決する為に、動画像内容表示装置が、動画像を複数のシーンに分割し、各シーンを代表する代表フレーム画像を抽出し、前記分割された各シーンの特徴量を計算し、前記計算された特徴量に基づいて前記分割された各シーンを複数のグループに分類し、前記生成されたグループ毎に表示領域を形成し、該表示領域内に対応するグループに含まれる全ての代表フレーム画像を、前記動画像内でのそのフレーム画像の出現時間に一致する場所に一覧表示し、かつ、１グループ内で連続して複数の代表フレーム画像が表示される場合、これら複数の代表フレーム画像のうちの１個のみを表示し、前記表示する際、２つのグループ間で横軸上に交互に連続して代表フレーム画像が表示される場合、１対の代表フレーム画像のみを表示する。
【００１２】
これにより、動画像内での各シーンの位置をさらに容易に把握することが可能となり、目的のシーンの検索が容易となる。
【００１３】
【発明の実施の形態】
以下に、本発明の実施の形態を、図面を参照して説明する。
【００１４】
図１に、本発明の第１の実施形態にかかる動画像内容表示装置の構成を示す。図において、１１はフレーム画像抽出部であり、入力された動画像を複数のシーンに分割し、各シーンから動画像内容表示に使用する代表フレーム画像を抽出する。動画像の各シーンへの分割は、動画像を一定間隔ごとに分割する方法、カットの切り替わりを検出してそこで分割する方法等によって行われる。カットの切り替わりを検出する方法は、手動で行ってもよいし自動的に行ってもよい。
【００１５】
カットの切り替わりの抽出を自動的に行う場合の一形態として、連続したフレームの画像特徴量の差が一定値以上であるときにカットの切り替わりとみなす方法がある。この場合、カットの切り替わりの自動抽出処理においてすべてのフレーム画像の画像特徴量を計算する必要がある。
【００１６】
１２はシーン特徴量計算部であり、フレーム画像抽出部１１において分割した各シーンの特徴量を計算する。計算する特徴量はどのようなものでもかまわないが、例えばシーン先頭のフレーム画像の画像特徴量が考えられる。画像特徴量では、各画素の色の割合を計算する色ヒストグラム特徴や、画像を格子状に分割した個々の部分領域ごとに画素の平均値を計算する色レイアウト特徴や、画像の輝度値をウェーブレット（Ｗａｖｅｌｅｔ）変換し画像の大まかな形状成分や細かな模様成分、輪郭成分などに分離しそれぞれをベクトルとして組み合わせた画像の周波数成分を利用したウェーブレット特徴などが考えられる。また、シーン内の音響を解析し、音量特徴を利用したり、音種分類技術を利用して、音種特徴を利用することも可能である。さらに、動画像のフレームに付随するメタ情報を利用する方法も考えられる。
【００１７】
なお、フレーム画像抽出部１１で特徴抽出に基づいて動画像を複数のシーンに分割した場合は、その時点で得られた特徴量を、シーン特徴量の計算に利用することも可能である。
【００１８】
１３はグループ生成部であり、フレーム画像抽出部１１において抽出したフレーム画像を、シーン特徴量計算部１２において計算した特徴量を利用してグループ化する。グループ化の方法としては一般に知られているクラスタリング手法でかまわないが、例えばニューラルネットワークを用いた教師なし学習モデルである自己組織化マップを利用してグループ化する方法などが考えられる。
【００１９】
１４は画像表示部であり、グループ生成部１３においてグループ化された画像群を動画像の内容が把握しやすいように整形してディスプレイ装置１５に表示する。
【００２０】
以下に、図２および３を用いて、画像表示部１４におけるグループ化された画像群の表示方法の１例を示す。なお、この表示例では、フレーム画抽出部１１において動画像を一定時間で分割し、図２に示すＡ〜Ｘまでのシーンを構成した場合を例に挙げて説明するが、本表示例はこの様なシーンの分割方法に限定されるものでないことは勿論である。
【００２１】
今、各シーンＡ、Ｂ、…Ｘを代表するフレームは、各シーンの先頭フレームＡ１、Ｂ１、Ｃ１・・・Ｘ１としている。これら各シーンについて、シーン特徴量計算部１２において特徴抽出を行い、抽出された特徴量に基づいてグループ生成部１３においてグループ生成を行う。この結果、シーンＡ、Ｂ、Ｃ、Ｈで１グループが形成され、シーンＤ、Ｅで１グループ、シーンＦ、Ｇ、Ｋ、Ｏ、Ｐで１グループが形成されるものとする。以下、同様にして各グループが形成されるが、説明を簡略化するため図３では省略している。
【００２２】
画像表示部１４では、同じグループのシーンの代表フレーム、例えば第１のグループではフレーム画像Ａ１、Ｂ１、Ｃ１、Ｈ１をディスプレイ装置１５の１表示領域にまとめて表示する。
【００２３】
図３に、本実施形態にかかるディスプレイ画面を示す。図中、２１はディスプレイ画面の表示領域を示している。２２は画像表示領域であり、動画像から抽出したフレーム画像２３が表示される。画像表示領域２２は複数の行２２ａ、２２ｂ・・・に分割されており、それぞれの行にはひとつのグループに含まれるフレーム画像群が、現れる時間順に並べて表示される。
【００２４】
したがって、今、行２２ａには、フレーム画像Ａ１、Ｂ１、Ｃ１、Ｈ１がこの順で表示され、行２２ｂにはフレーム画像Ｄ１、Ｅ１がこの順で表示される。さらに、行２２ｃには、フレーム画像Ｆ１、Ｇ１、Ｋ１、Ｏ１、Ｐ１がこの順で表示される。なお、以下の行も同様に同じグループに属する各シーンの代表フレームが並んで表示されるが、前述したようにこれらは省略されている。
【００２５】
さらに、２４はスクロールバーであり、１グループに属するシーンの数が多く、全ての代表フレームが１画面に入りきらない場合に、画面を横方向にスクロールさせるためのものである。また、動画像のどの地点を表示しているかを視覚的に表現する機能も持っている。２５は再生ボタンであり、表示されている代表フレームを選択することにより、そのフレームが含まれるシーンから、そのグループに属するシーンだけが連続して再生される。これによって、見たいシーンだけをダイジェスト再生して視聴時間を短縮することもできる。
【００２６】
以上の様に、本実施形態では、特徴を同じくする各シーンの代表フレームがディスプレイ画面の同じ行に並んで表示される為、ユーザは動画内容を把握しやすくなり、また、より効率的に目的のシーンを探し出すことができる。
【００２７】
図４および５は、本発明の第２の実施形態を示す。この実施形態では、実施形態１とは異なって、画像表示部１４において、初期状態でグループ内のすべての代表フレーム画像をディスプレイ上に表示するのではなく、グループの先頭シーンの代表フレーム画像のみを表示する。したがって、ディスプレイ画面２１では、初期状態において、画面の左端に、フレーム画像Ａ１、Ｄ１、Ｆ１・・・Ｘ１が縦に並んで表示される。
【００２８】
ここでユーザは各グループに表示されている代表フレーム画像から探しているシーンに近いものを選び、その代表フレーム画像を選択して展開ボタン２６を押すと、図５に示す様に、そのグループに属するその他のシーンの代表フレーム画像が、例えば時間順に展開して表示される。図５に示す例では、初期状態（図４の状態）のフレーム画像Ｆ１を選択し、展開ボタン２６を押した場合を示している。
【００２９】
この様に、本実施形態では、初期状態においてグループを代表する１フレーム画像のみを表示し、その後ユーザの選択により特定のグループ内の各シーンを展開して表示する構成としているので、初期画面がさらに簡略化され、ユーザはより効率的に目的のシーンを探し出すことができる。
【００３０】
なお、展開された内の任意のフレーム画像を選択し再生ボタン２５を押すと、そのフレーム画像を含むシーンから、そのグループに属するシーンが時間順で再生されるので、これによって、見たいシーンだけをダイジェスト再生して視聴時間を短縮することもできる。
【００３１】
図６に第３の実施形態を示す。この例は、図３に示す実施形態１の変形であって、グループ毎にディスプレイ画面２１の同じ行に各シーンの代表フレーム画像を配置する点では実施形態１と同じであるが、各フレーム画像をディスプレイ画面の表示領域２２全体に渡って時間順に配置する点で異なっている。即ち、表示画面２１の横軸を時間軸とする場合、各フレーム画像は、動画像上でそのフレーム画像が現れる時間に一致した場所に表示されることとなる。このように全ての代表フレーム画像を時間順に表示することで、実施形態１の効果に加え、さらにグループ間の時間関係を把握することが容易となる。
【００３２】
なお、実施形態３において、初期状態では図４に示す場合と同様に各グループの代表フレームのみを表示しておき、任意のフレーム画像を選択して展開ボタン２６を押した場合に、そのグループについて図６に示すような時間順のフレーム画像の展開が行われるようにしても良い。
【００３３】
図６に示す実施形態３では、代表フレーム画像を時間順に画面上に配置するものであるので、動画像が長くなりシーン数が多くなると、往々にして全画面上に全てのフレーム画像を表示することができなくなる。そこで、全ての代表フレーム画像が１画面上に表示できるように横軸のスケールを変更する。
【００３４】
今、代表フレーム画像数をＮ、画面の表示領域２２の横幅をＷ、フレーム画像の横幅をＲとすると、先頭からｎ番目のフレーム画像を表示する横軸座標ｘは画面の画像表示領域２２の左端を原点とすると、
【００３５】
【数１】
0004067326.tif 000002
となる。多くのフレーム画像を表示すると、フレーム画像同士が重なる部分が現れるが、このときは重ねて表示する。どのように重ねてもよいが、以下に説明する図７の例では上から時間順に重ねている。
【００３６】
図７に、以上の様にして１画面上に全ての代表フレーム画像を動画像に現れる時間順に表示する実施形態４を示す。図７の幅Ｗ’は、もともと図８に示すように１画面の幅Ｗで表示されていたものであるが、全フレーム画像を１画面上に配置するために横軸のスケールを縮小したので、図示するようにその幅が縮小されている。この場合、フレーム画像の幅Ｒを同様に縮小すると画像が見難くなる為、幅Ｒは縮小せず複数のフレーム画像を重ねて表示する構成をとっている。例えば、図８で、連続して示されていた３枚のフレーム画像３０は、図７では、最初のフレーム画像の下に他の２枚のフレーム画像を重ねる形で表示している。
【００３７】
このように動画像全体の代表フレーム画像を１画面に表示することで、スクロールさせることなしに動画像の内容を一目で把握することができる。なお、図６および図７に示す実施形態において、初期状態では図４に示す様に各グループの代表フレーム画像１枚を縦一列に配置し、所望のフレーム画像の選択に続いて展開ボタン２６を押すことによって、図６または７に示す様に、各フレーム画像を時間順に展開する構成としてもよいことは勿論である。また、フレーム画像を重ねて表示する場合、必ずしも先頭のフレーム画像を最前面とする必要は無く、任意の画像を最前面とすることが可能である。
【００３８】
図９は、本発明の実施形態５を示す図である。この実施形態では、代表フレーム画像を時間順に表示する実施形態３において、同じグループ内で連続するフレーム画像があれば、それらのフレーム画像の内、最初のフレーム画像のみを表示するようにしたものである。例えば、図８に示す３枚のフレーム画像３０を図９においては先頭の１枚のフレーム画像３０’のみで示している。
【００３９】
１つのグループ内には特徴量が似ているシーンが集まっているため、グループ内の連続したシーンは似たようなシーンを表していると考えられる。よってこれらのシーンをひとつにまとめ、最初のシーンのフレーム画像だけで表現することが可能である。これにより、動画像の内容の把握しやすさを維持した状態で、表示する画像数を減らすことが可能となる。なお、この場合も、必ずしも先頭のフレーム画像を表示する必要は無く、連続しているフレーム画像の内の任意のものを選択して表示することができる。
【００４０】
図１０は、本発明の実施形態６を示す図である。この実施形態は、代表フレームを時間順に表示する実施形態３において、異なるグループ間で交互に連続して現れるフレーム対をまとめて、最初のフレーム対のみを表示するようにしたものである。例えば図８の２個のフレーム対５２、５３をまとめて図１０に示す様に、フレーム対５２’で表示する。
【００４１】
２つのグループに属しているフレーム画像が繰り返し出現している場合は、一方のグループに属しているそれぞれのフレーム画像は同じ内容のシーンを表し、最初の切換りと次の切換りは内容的に同じであると考えられる。よってこれらのシーンを１度の切換りだけで表現することが可能である。これにより、動画像の内容の把握しやすさを維持した状態で、表示する画像数を減らすことが可能となる。なお、この場合も、必ずしも先頭の切り替わりを表示する必要は無く、もう一方の切り替わりを表示してもよいことは勿論である。
【００４２】
なお、図９および図１０に示す各実施形態は、それらを組み合わせることによってさらに表示するフレーム画像数を削減することができる。またさらに、図９および図１０に示す実施形態とも、初期画面では、図２に示す様に、各グループ１枚のフレーム画像表示としてもよいことは勿論である。
【００４３】
本発明は、さらに以下の実施態様を有している。
【００４４】
（付記１）  動画像を複数のシーンに分割し、各シーンを代表する代表フレーム画像を抽出するフレーム画像抽出部と、
前記分割された各シーンの特徴量を計算するシーン特徴量計算部と、
前記計算された特徴量に基づいて前記分割された各シーンを複数のグループに分類するグループ生成部と、
前記生成されたグループ毎に表示領域を形成し該表示領域内に対応するグループに含まれる全ての代表フレーム画像を一覧表示する画像表示部、を備える、動画像内容表示装置。
【００４５】
（付記２）  付記１に記載の動画像内容表示装置において、前記フレーム画像抽出部は、前記動画像を構成する個々のフレーム画像の特徴量を計算し得られた特徴量に基づいて前記動画像を複数のシーンに分割するものであり、前記シーン特徴量計算部は、前記得られた個々のフレーム画像の特徴量に基づいて各シーンの特徴量を得るものである、動画像内容表示装置。
【００４６】
（付記３）  付記１または２に記載の動画像内容表示装置において、前記表示領域は表示画面を複数の行に分割して形成するものである、動画像内容表示装置。
【００４７】
（付記４）  付記３に記載の動画像内容表示装置において、前記画像表示部は、表示画面の横軸を時間軸とする場合、前記全ての代表フレーム画像を前記動画像内での出現時間に一致する場所に表示する機能を有する、動画像内容表示装置。
【００４８】
（付記５）  付記４に記載の動画像内容表示装置において、前記画像表示部は、前記表示画面に表示される全ての代表フレーム画像が１画面内に収まるように横軸のスケールを調整する機能を有する、動画像内容表示装置。
（付記６）  付記４に記載の動画像内容表示装置において、前記画像表示部は、１グループ内で横軸上に連続して複数の代表フレーム画像が表示される場合、これら複数の代表フレーム画像の内の１個ののみを表示する機能を有する、動画像内容表示装置。
【００４９】
（付記７）  付記４または付記６に記載の動画像内容表示装置において、前記画像表示部は、２つのグループ間で横軸上に交互に連続して代表フレーム画像が表示される場合、１対の代表フレーム画像のみを表示する機能を有する、動画像内容表示装置。
【００５０】
（付記８）  動画像を複数のシーンに分割し、各シーンを代表する代表フレーム画像を抽出するフレーム画像抽出部と、
前記分割された各シーンの特徴量を計算するシーン特徴量計算部と、
前記計算された特徴量に基づいて前記分割された各シーンを複数のグループに分類するグループ生成部と、
前記生成されたグループ毎に表示領域を形成し、該表示領域内に対応するグループに含まれる１個のシーンの代表フレーム画像を表示する画像表示部、を備える、動画像内容表示装置。
【００５１】
（付記９）  付記８に記載の動画像内容表示装置において、前記画像表示部は、表示されている所望の代表フレーム画像を選択することによって、選択された代表フレーム画像が属するグループ内の、他の全てのシーンの代表フレーム画像を一覧表示する機能を有する、動画像内容表示装置。
【００５２】
（付記１０）  付記１乃至９の何れか１項に記載の動画像内容表示装置において、前記画像表示部は、表示されている所望の代表フレーム画像を選択することによって、選択された代表フレーム画像が属するシーンの各フレーム画像を連続して再生する機能をさらに有する、動画像内容表示装置。
【００５３】
（付記１１）  動画像を複数のシーンに分割し、分割された各シーンの代表フレーム画像を一覧表示して動画像の内容を表示する方法において、
前記分割された各シーンの特徴量を計算し、
前記計算された特徴量を基に前記各シーンをグループ化し、
表示画面を各グループに対応した表示領域に分割し、
前記分割された表示領域内に、対応するグループ内の各シーンの代表フレーム画像を一覧表示する、各ステップを含む、動画像内容表示方法。
【００５４】
（付記１２）  付記１１に記載の動画像内容表示方法において、前記表示領域は表示画面を複数の行に分割して形成され、前記代表フレーム画像はグループ毎に独立して動画像に出現する順序で横軸方向に並んで表示される、動画像内容表示方法。
【００５５】
（付記１３）  付記１１または１２に記載の動画像内容表示方法において、前記表示された代表フレーム画像を選択することによって、この代表フレーム画像が属するシーンを構成する各フレーム画像が連続して再生される、動画像内容表示方法。
【００５６】
【発明の効果】
以上説明したように、本発明の動画像内容表示装置および表示方法によれば、動画像の内容をシーンの視覚的イメージで把握することができ、かつ、特定のシーンを探したい場合にグループ化されたうちの一部のグループだけを探せばよいので効率的に探し出すことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる動画像内容表示装置の構成を示すブロック図。
【図２】図１の装置における動画像のシーン分割方法を説明するための図。
【図３】図１の装置にかかるフレーム画像表示例を示す図。
【図４】本発明の第２の実施形態にかかるフレーム画像表示例を示す図。
【図５】図４の表示例における展開画面を示す図。
【図６】本発明の第３の実施形態にかかるフレーム画像表示例を示す図。
【図７】本発明の第４の実施形態にかかるフレーム画像表示例を示す図。
【図８】本発明の第５の実施形態にかかるフレーム画像表示例の説明に供する図。
【図９】本発明の第５の実施形態にかかるフレーム画像表示例を示す図。
【図１０】本発明の第６の実施形態にかかるフレーム画像表示例を示す図。
【符号の説明】
１１…フレーム画像抽出部
１２…シーン特徴量計算部
１３…グループ作成部
１４…画像表示部
１５…ディスプレイ装置
２１…表示領域
２２…画像表示領域
２３…フレーム画像
２４…スクロールバー
２５…再生ボタン
２６…展開ボタン
【図１】
0004067326.tif 000003
【図２】
0004067326.tif 000004
【図３】
0004067326.tif 000005
【図４】
0004067326.tif 000006
【図５】
0004067326.tif 000007
【図６】
0004067326.tif 000008
【図７】
0004067326.tif 000009
【図８】
0004067326.tif 000010
【図９】
0004067326.tif 000011
【図１０】
0004067326.tif 000012