(57)【要約】本発明は少なくとも動画像を含み、複数のシーンに分割可能な映像から、各シーンに含まれる２画像以上のキー画像群を抽出し、該キー画像群を含む当該映像のダイジェスト画面を構成する映像内容の提示方法である。本方法は、シーン毎に分割するシーン分割ステップ、各シーンについてキー画像抽出ステップ、キー画像の時系列で前及び／又は後の少なくとも１静止画像を抽出する前後キー画像抽出ステップ、キー画像に対して所定の尺度に係る重み付けを行うキー画像重み付けステップの３ステップを行うと共に、キー画像の隣接した近傍に前後キー画像を配置し、かつキー画像を重みに応じて表示・非表示の切替や拡大縮小してダイジェスト画面を構成する画面構成ステップ、ダイジェスト画面を表示する画面表示ステップを少なくとも有することを特徴とする。
2005050986.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも動画像を含み、複数のシーンに分割可能な映像から、各シーンに含まれる２画像以上のキー画像群を抽出し、該キー画像群を含む当該映像のダイジェスト画面を構成する映像内容の提示方法であって、
該映像を、シーン分割手段によりシーン毎に分割するシーン分割ステップ、
各シーンについて、
キー画像選択手段により、キー画像となる、ある時刻の１静止画像を抽出するキー画像抽出ステップ、
前後キー画像選択手段により、該キー画像の時系列で前及び／又は後の少なくとも１静止画像を抽出する前後キー画像抽出ステップ
キー画像重み付け手段により、当該キー画像に対して所定の尺度に係る重み付けを行うキー画像重み付けステップ、
の３ステップを行うと共に、
画面構成手段により、各シーンのキー画像を時系列的に配置すると共に、該キー画像を該重みに応じて拡大縮小し、かつ該キー画像の隣接した近傍に該前後キー画像を配置可能なダイジェスト画面を構成する画面構成ステップ、
画面表示手段により、該ダイジェスト画面を表示する画面表示ステップ
を少なくとも有することを特徴とする映像内容の提示方法。
【請求項２】
キー画像重み付けステップにおいて、キー画像重み付け手段が、各前後キー画像に対しても所定の尺度に係る重み付けを行うと共に、
画面構成ステップにおいて、画面構成手段が、該前後キー画像を該重みに応じて表示・非表示の切替及び、表示時の拡大縮小を行って、ダイジェスト画面を構成する
請求の範囲１に記載の映像内容の提示方法。
【請求項３】
前記映像内容の提示方法において、
前記ダイジェスト画面からキー画像又は前後キー画像が指定された時に、
キー画像選択手段により、該指定されたキー画像又は前後キー画像を含むシーンから、少なくとも２つ以上の静止画像を、詳細キー画像として抽出する詳細キー画像抽出ステップ、
前後キー画像選択手段により、該詳細キー画像の時系列で前及び／又は後の少なくとも１静止画像を抽出する前後詳細キー画像抽出ステップ、
キー画像重み付け手段により、当該詳細キー画像に対して所定の尺度に係る重み付けを行う詳細キー画像重み付けステップ
を行い、
画面構成手段により、当該シーン中の詳細キー画像を時系列的に配置する一方、該詳細キー画像の隣接した近傍に該前後詳細キー画像を配置し、かつ該詳細キー画像を該重みに応じて拡大縮小して新たなダイジェスト画面を構成する画面構成ステップ、
画面表示手段により、該新たなダイジェスト画面を表示する画面表示ステップ
を含む請求の範囲１又は２に記載の映像内容の提示方法。
【請求項４】
詳細キー画像重み付けステップにおいて、キー画像重み付け手段が、各前後詳細キー画像に対しても所定の尺度に係る重み付けを行うと共に、
画面構成ステップにおいて、画面構成手段が、該前後詳細キー画像を該重みに応じて拡大縮小してダイジェスト画面を構成する
請求の範囲３に記載の映像内容の提示方法。
【請求項５】
前記映像内容の提示方法において、
各シーンについて、テキスト定義手段により、各シーンにおけるキー画像及び前後キー画像、若しくは詳細キー画像及び前後詳細キー画像に、該各静止画像の属するシーン又は当該静止画像に係るテキストを定義するテキスト定義ステップを有し、
画面構成ステップにおいて、該テキストを所定の尺度によって拡大縮小し、該静止画と共にダイジェスト画面を構成する
請求の範囲１ないし４に記載の映像内容の提示方法。
【請求項６】
少なくとも動画像を含み、複数のシーンに分割可能な映像から、各シーンに含まれる２画像以上のキー画像群を抽出し、該キー画像群を含む当該映像のダイジェスト画面を構成する映像内容の提示装置であって、
該映像の入力手段と、
該映像を、シーン毎に分割するシーン分割手段と、
キー画像となる、ある時刻の１静止画像を抽出するキー画像選択手段と、
該キー画像の時系列で前及び／又は後の少なくとも１静止画像を抽出する前後キー画像選択手段と、
当該キー画像に対して所定の尺度に係る重み付けを行うキー画像重み付け手段と、
各シーンのキー画像を時系列的に配置すると共に、該キー画像を該重みに応じて拡大縮小し、かつ該キー画像の隣接した近傍に該前後キー画像を配置可能なダイジェスト画面を構成する画面構成手段と、
該ダイジェスト画面を表示する画面表示手段と
を少なくとも備えることを特徴とする映像内容の提示装置。
【請求項７】
前記映像内容の提示装置において、
キー画像重み付け手段が、各前後キー画像に対しても所定の尺度に係る重み付けを行うと共に、
画面構成手段が、該前後キー画像を該重みに応じて表示・非表示の切替及び、表示時の拡大縮小を行ってダイジェスト画面を構成する
請求の範囲６に記載の映像内容の提示装置。
【請求項８】
前記映像内容の提示装置において、
前記ダイジェスト画面からキー画像又は前後キー画像を指定するキー画像指定手段を備えると共に、
キー画像選択手段が、該指定されたキー画像又は前後キー画像を含むシーンから、少なくとも２つ以上の静止画像を、詳細キー画像として抽出し、
前後キー画像選択手段が、該詳細キー画像の時系列で前及び／又は後の少なくとも１静止画像を抽出し、
キー画像重み付け手段が、当該詳細キー画像に対して所定の尺度に係る重み付けを行い、
画面構成手段が、当該シーン中の詳細キー画像を時系列的に配置する一方、該詳細キー画像の隣接した近傍に該前後詳細キー画像を配置し、かつ該詳細キー画像を該重みに応じて拡大縮小して新たなダイジェスト画面を構成し、
画面表示手段が、該新たなダイジェスト画面を表示する
請求の範囲６又は７に記載の映像内容の提示装置。
【請求項９】
キー画像重み付け手段が、各前後詳細キー画像に対しても所定の尺度に係る重み付けを行うと共に、
画面構成手段が、該前後詳細キー画像を該重みに応じて拡大縮小してダイジェスト画面を構成する
請求の範囲８に記載の映像内容の提示装置。
【請求項１０】
前記映像内容の提示装置において、
前記各シーンにおけるキー画像及び前後キー画像、若しくは詳細キー画像及び前後詳細キー画像に、該各静止画像の属するシーン又は当該静止画像に係るテキストを定義するテキスト定義手段を備えると共に、
画面構成手段が、該テキストを所定の尺度によって拡大縮小し、該静止画と共にダイジェスト画面を構成する
請求の範囲６ないし９に記載の映像内容の提示装置。
【発明の詳細な説明】
【技術分野】  本発明は、画像処理の方法及び装置に関するものであり、より詳しくは動画像を含んで複数のシーンに分割可能な映像から、その映像内容を効率よく伝えるダイジェスト画面を構成するための映像内容の提示方法と装置に関するものである。
従来背景
近年、インターネットをはじめとする情報通信技術の進歩に伴い、さまざまな分野におけるデジタル映像情報等の映像コンテンツが急速に増加している。
映像コンテンツはウェブブラウザなどにより閲覧することができるが、これらの映像は、ファイルを映像が記録してあるサーバーからダウンロードして閲覧する場合と、ストリーミングサーバーから受信しながら対応ウェブブラウザ等を用いて閲覧する場合がある。
いずれにしても、配信される映像コンテンツは時系列的なデータであり、映像の必要な部分を見つけたり確認したりするには、ウェブブラウザ等の閲覧ソフト上で早送りや巻き戻しを行う必要がある。
前者の場合には、まず一括して映像をダウンロードする必要があるため、近年普及したブロードバンド接続を用いても、ファイルを受信し終えるまで映像の一部でも閲覧することはできない。また、後者の場合には、一定のバッファが蓄えられた時点で閲覧を開始することができるが、任意の時刻からの映像を閲覧するには、再びバッファを蓄えなければならない。
従って、映像内容を確認するために時間と手間がかかる問題があり、映像の全体概要を確認するために、従来から大きくわけて２つの技術が研究されている。
第１の技術は、映像をウェブページ上に分かりやすく提示する技術であり、例えばウェブ上に縮小した画像セグメントとテキスト情報を併置し、縮小表示された映像を拡大することにより、オリジナル映像をシームレスに再生できるインターフェースなどが提案されている。
また、第２の技術は、映像のダイジェストを指定時間内で生成・再生する技術であって、例えばスポーツ映像の場合には同点、逆転、サヨナラ勝ちといった索引を映像と直接対応づけて目的に応じたダイジェストを生成したり、自動索引付け技術を用いてダイジェストを生成することが知られている。
これら技術に加えて、ストーリー展開の把握方法や、個別の重要シーンの選択方法、ダイジェストの生成方法など、個別の要素技術も研究されている。
例えば、国際公開番号ＷＯ００／１７７７８では、動画像の内容を縮約した形の静止画像である索引画像を、ビデオブラウザ技術を用いて多種多様に生成する技術が開示されている。また、国際公開番号ＷＯ００／１７７７９では、この索引画像だけでは内容把握が困難な、動きの早い動画像や、短いカットの動画像の内容を正確に把握できる画像表示装置および方法が開示され、この技術によると、ユーザが見たいシーンからの途中再生を可能にする、としている。
また、日本特許公開２００２−３３５４７３号公報では、インターネット上の動画コンテンツから各シーンに分割した上で、各シーンの代表静止画を選定してサムネイルを作成し、動画検索情報データベースに保存する動画コンテンツの検索情報抽出システム他を提案している。
さらに、日本特許公開２００１−３０９２６９号公報は、デジタル方式の放送により配信される映像コンテンツからチャンネル単位、番組単位、規定時間単位のセグメントに分割し、それに対応するアイコンの集合を分類配置結果の位置に配置したときの特定の視点に応じて表示できるデジタル映像コンテンツ閲覧装置及び方法を開示している。
【発明の開示】
本発明は、このような従来の背景から創出されたものであり、次のような手段を提供する。
請求の範囲１に記載の発明は、少なくとも動画像を含み、複数のシーンに分割可能な映像から、各シーンに含まれる２画像以上のキー画像群を抽出し、該キー画像群を含む当該映像のダイジェスト画面を構成する映像内容の提示方法であって、次の各ステップを有するものである。
（１）該映像を、シーン分割手段によりシーン毎に分割するシーン分割ステップ
次いで、各シーンについて、
（２）キー画像選択手段により、キー画像となる、ある時刻の１静止画像を抽出するキー画像抽出ステップ、
（３）前後キー画像選択手段により、該キー画像の時系列で前及び／又は後の少なくとも１静止画像を抽出する前後キー画像抽出ステップ
（４）キー画像重み付け手段により、当該キー画像に対して所定の尺度に係る重み付けを行うキー画像重み付けステップ、
の（２）〜（４）のステップを行った後、
（５）画面構成手段により、各シーンのキー画像を時系列的に配置すると共に、該キー画像を該重みに応じて拡大縮小し、かつ該キー画像の隣接した近傍に該前後キー画像を配置可能なダイジェスト画面を構成する画面構成ステップ、
（６）画面表示手段により、該ダイジェスト画面を表示する画面表示ステップ
を少なくとも有する。
また、請求の範囲２に記載の発明は、上記のキー画像重み付けステップにおいて、キー画像重み付け手段が、各前後キー画像に対しても所定の尺度に係る重み付けを行うと共に、  画面構成ステップにおいて、画面構成手段が、該前後キー画像を該重みに応じて表示・非表示の切替及び、表示時の拡大縮小を行って、ダイジェスト画面を構成することを特徴とするものである。
請求の範囲３に記載の発明は、前記映像内容の提示方法において、
（Ａ）前記ダイジェスト画面からキー画像又は前後キー画像が指定された時に、キー画像選択手段により、該指定されたキー画像又は前後キー画像を含むシーンから、少なくとも２つ以上の静止画像を、詳細キー画像として抽出する詳細キー画像抽出ステップ
（Ｂ）前後キー画像選択手段により、該詳細キー画像の時系列で前及び／又は後の少なくとも１静止画像を抽出する前後詳細キー画像抽出ステップ
（Ｃ）キー画像重み付け手段により、当該詳細キー画像に対して所定の尺度に係る重み付けを行う詳細キー画像重み付けステップ
を行って、指定したキー画像のシーンをさらに詳細に閲覧できるようにするものである。
詳細キー画像を抽出した後には、画面構成手段により、当該シーン中の詳細キー画像を時系列的に配置する一方、該詳細キー画像の隣接した近傍に該前後詳細キー画像を配置し、かつ該詳細キー画像を該重みに応じて拡大縮小して新たなダイジェスト画面を構成する画面構成ステップ、画面表示手段により、該新たなダイジェスト画面を表示する画面表示ステップの各処理を行う。
さらに、請求の範囲４に記載の発明によると、上記の方法に加えて、詳細キー画像重み付けステップにおいて、キー画像重み付け手段が、各前後詳細キー画像に対しても所定の尺度に係る重み付けを行うと共に、画面構成ステップにおいて、画面構成手段が、該前後詳細キー画像を該重みに応じて拡大縮小してダイジェスト画面を構成する映像内容の提示方法を提供する。
また、請求の範囲５に記載の発明では、各シーンについて、テキスト定義手段により、各シーンにおけるキー画像及び前後キー画像、若しくは詳細キー画像及び前後詳細キー画像に、該各静止画像の属するシーン又は当該静止画像に係るテキストを定義するテキスト定義ステップを有し、画面構成ステップにおいて、該テキストを所定の尺度によって拡大縮小し、該静止画と共にダイジェスト画面を構成する。
本発明は次のような映像内容の提示装置を提供することができる。すなわち、請求の範囲６に記載の装置は、映像の入力手段と、該映像を、シーン毎に分割するシーン分割手段と、キー画像となる、ある時刻の１静止画像を抽出するキー画像選択手段と、該キー画像の時系列で前及び／又は後の少なくとも１静止画像を抽出する前後キー画像選択手段と、当該キー画像に対して所定の尺度に係る重み付けを行うキー画像重み付け手段と、各シーンのキー画像を時系列的に配置すると共に、該キー画像を該重みに応じて拡大縮小し、かつ該キー画像の隣接した近傍に該前後キー画像を配置可能なダイジェスト画面を構成する画面構成手段と、該ダイジェスト画面を表示する画面表示手段とを少なくとも備える。
また、請求の範囲７に記載の映像内容の提示装置は、キー画像重み付け手段が、各前後キー画像に対しても所定の尺度に係る重み付けを行うと共に、画面構成手段が、該前後キー画像を該重みに応じて表示・非表示の切替及び、表示時の拡大縮小を行ってダイジェスト画面を構成することを特徴とするものである。
請求の範囲８に記載の発明では、前記ダイジェスト画面からキー画像又は前後キー画像を指定するキー画像指定手段を備えて、キー画像選択手段が、該指定されたキー画像又は前後キー画像を含むシーンから、少なくとも２つ以上の静止画像を、詳細キー画像として抽出する。さらに、前後キー画像選択手段が、該詳細キー画像の時系列で前及び／又は後の少なくとも１静止画像を抽出すると共に、キー画像重み付け手段が、当該詳細キー画像に対して所定の尺度に係る重み付けを行う。
このようにして決定された詳細キー画像、前後詳細キー画像、その重みから、画面構成手段が、当該シーン中の詳細キー画像を時系列的に配置し、さらに該詳細キー画像の隣接した近傍に該前後詳細キー画像を配置し、かつ該詳細キー画像を該重みに応じて拡大縮小して新たなダイジェスト画面を構成する。そして、画面表示手段が、該新たなダイジェスト画面を表示する。
請求の範囲９の発明によれば、キー画像重み付け手段が、各前後詳細キー画像に対しても所定の尺度に係る重み付けを行うと共に、画面構成手段が、該前後詳細キー画像を該重みに応じて拡大縮小してダイジェスト画面を構成する映像内容の提示装置を提供する。
請求の範囲１０の発明は、前記各シーンにおけるキー画像及び前後キー画像、若しくは詳細キー画像及び前後詳細キー画像に、該各静止画像の属するシーン又は当該静止画像に係るテキストを定義するテキスト定義手段を備えると共に、画面構成手段が、該テキストを所定の尺度によって拡大縮小し、該静止画と共にダイジェスト画面を構成することを特徴とするものである。
【図面の簡単な説明】  第１図は、本発明による映像内容の提示方法の処理フローチャートである。
第２図は、本発明による映像内容の提示装置の構成図である。
第３図は、本発明による第１の実施形態に係る処理フローチャートである。
第４図は、本発明による第２の実施形態に係る処理フローチャートである。
第５図は、本発明による映像内容の提示画面の説明図である。
第６図は、本発明による第３の実施形態に係る映像内容の提示装置の構成図である。
第７図は、本発明による第３の実施形態に係る処理フローチャートである。
符号の指示部位は次の通りである。１０：シーン分割ステップ、１１：キー画像抽出ステップ、１２：前後キー画像抽出ステップ、１３：キー画像重み付けステップ、１４：画面構成ステップ、１５：画面表示ステップ
発明を実施するための好ましい形態
本発明の好ましい実施方法を以下に、図面に示しながら説明する。なお、本発明の実施形態は以下に限定されず、適宜変更可能である。
第１図に本発明の映像内容の提示方法のフローチャートを、第２図には本発明による同装置（以下、本装置と呼ぶ。）の構成をそれぞれ示す。
【実施例１】  本装置（１）は、公知のパーソナルコンピュータによって構成することができ、演算処理を司るＣＰＵ（２）と共にＲＡＭ／ＲＯＭのメモリ（３）、ハードディスク等の外部記憶装置（４）の他、キーボードやマウス等の入力装置（５）、表示出力を行うモニタ（６）等から構成されている。
本装置（１）においてはその他に、映像を入力するための映像取込部（７）をＣＰＵ（２）に接続して、ビデオカメラ（８）やインターネット上の映像配信サーバ（９）からの映像信号を外部記憶装置（４）に記録するようになっている。本発明では取り込まれた映像信号は、いずれも時系列的なデータであって、ある時刻における静止画像を公知の映像処理方法により取得できることを前提とする。
そして、第１図に示すように、映像取込部（７）で取り込まれた映像は、ＣＰＵ（２）のシーン分割部（２１）で公知の手法によりシーン分割（１０）される。シーンは独立して意味をもつ一続きの画像群を指し、例えばカメラアングルの変わり目、被写体の変化、時間的な区切り、などにより互いに分割されている。
シーン分割は映像をモニタで表示しながら入力手段（５）でシーンの切れ目をユーザが直接指定してもよいが、自動的にシーン分割を行う方法、例えば映像中のある画像とその１つ前の画像についてヒストグラムをとり、その差の絶対値が閾値以上となるときに分割するような、色の変化量を基にする方法や、連続する画像間の特徴量を比較して切れ目を検出する方法（日本特許公開平３−２１４３６４号公報）を用いてもよい。
また、日本特許公開平６−３３３０４８号公報、又は特開２００３−２４４６２８号公報に開示されているような技術を用いてより高精度に分割を試みることもできる。
分割された各シーンは外部記憶装置（４）に格納する。
そして、キー画像選択部（２２）において各シーンを外部記憶装置（４）から読み出し、各シーン毎にキー画像を抽出（１１）する。該キー画像は各シーンを最も代表する静止画であることが望ましい。これらの静止画はフレームやピクチャとして動画から抽出できる。
各シーンからキー画像を抽出する場合にも、入力手段（５）によりユーザが各キー画像を指定し、該静止画像を外部記憶装置（４）に記録してもよいが、自動的に抽出することもできる。
各シーンからのキー画像の自動抽出する方法としては、公知のいかなる手法を用いてもよいが、例えば各シーンの時区間中心に最も近いフレームをキー画像とする方法や、各シーンの先頭フレームをキー画像とする方法などは複雑な処理を要さずに抽出できる方法である。その他、シーン中の各フレームの色ヒストグラムの平均に最も近い色ヒストグラムを有するフレームをキー画像とする方法なども好適である。
また、複数のシーンからより重要なシーンを選択することもでき、この時には、各シーンに対する重み設定を行う。この方法としては、例えばシーン長がより長く、他のシーンと類似していないほど重みを増すように設定する方法や、シーンに付加された意味的インデックスの時系列的な変動（例えば、スポーツ映像における得点変化や各時刻におけるイベント発生状況など）を解析し、映像全体のストーリー展開をある程度把握した上でそのシーンの重みを決定する方法などが好ましい。
次に、前後キー画像選択部（２３）において、キー画像選択部（２２）で抽出されたキー画像の同シーン内における時系列で前及び後の各１静止画像を前後キー画像として抽出（１２）する。抽出された前後キー画像も同じく外部記憶装置（４）に格納する。
これらの処理により、各シーンに対して、そのシーンを代表するキー画像と、そのキー画像の前後１枚ずつ前後キー画像が抽出される。
本発明では、キー画像と前後キー画像について、ＣＰＵ（２）のキー画像重み付け部（２４）で、該画像の重要度について重み付け（１３）を行う。ここで重要度とは、映像全体における当該静止画像の持つ重要度であり、ユーザによって入力手段（５）から定義する。例えば、野球試合を撮影した映像を例に説明すると、１試合全体の映像において、ホームランを打つシーンがあるとする。該シーンではホームランを打った瞬間が代表画像であってキー画像になるが、この前後には打席に立つ場面が前キー画像、打った後の場面が後キー画像となる。この試合において、ホームランを打った画像は極めて重要度が高いと判断される場合、ユーザはこれを例えば５段階評価で５と重み付けを行う。
また、本発明では第３図に示すように、キー画像重み付け処理（１３）の後に、前後キー画像重み付け処理（３０）を含ませて、キー画像重み付け部（２４）において上記同様に前後キー画像についても重み付けを行い、ダイジェスト画面を構成することができる。
すなわち、前後キー画像についても、そのホームランのシーンが極めて重要である場合には、その前後もそれぞれ３と重み付けする。その他、ヒットを打ったシーンのキー画像には例えば４、前後キー画像には２などと重み付けすることが考えられる。
このような重み付け処理は、上記キー画像抽出処理（１１）において、特徴量などを用いて自動的にキー画像抽出を行う構成では、該特徴量などから自動的に重み付けするようにしてもよい。これらの技術は代表画像を抽出する技術などにおいて公知である。
そして、本発明の要部である画面構成処理（１４）に進む。該処理はＣＰＵ（２）の画面構成部（２５）により処理される。
本発明では、従来提供されていなかった映像内容の提示方法を提供するものであり、上記キー画像、前後キー画像、各画像に対する重みからモニタ（６）において、図５に示すようなダイジェスト画面（５０）を表示する。
該画面において、左側には時系列で下方に向けて進行するタイムライン（５１）を配し、その左欄には該映像の時刻（５２）を表示する。時刻（５２）は映像の開始時を０とした時間表示でもよいし、撮影した絶対的な時刻でもよい。
そして、タイムラインをシーン毎に分割し、特に重み付け結果の高いシーン（５３）（５４）（５５）（５６）に対してタイムライン（５１）の右側にキー画像及び前後キー画像を配置する。
このとき、本発明の特徴としてキー画像及び前後キー画像の大きさを上記重み付けの結果に従って拡大縮小し、例えばシーン（５３）では、キー画像（５３ａ）を重み５に従って最大の大きさのサムネイルに拡大すると共に、その前後キー画像（５３ｂ）（５３ｃ）についてはそれぞれ重み２、重み１に従って縮小表示する。
本発明では、必ずしも前後キー画像を時系列の前・後ともに抽出する必要はなく、また、上記の重み付けの結果として重要でない場合には重み０として表示しなくても良い。このような例がシーン（５５）であり、この場合キー画像（５５ａ）が重み４で前キー画像は非表示、後キー画像（５５ｂ）が重み３としてそれぞれ拡縮されて表示されている。なお、前後キー画像の表示・非表示については、重み０の場合のみ非表示とする構成に限らず、一定の閾値以下の重みの場合には非表示とする構成、或いは閾値以上の場合にのみ表示する構成などでもよい。
以上のように、本発明では映像をシーンに分割してキー画像と前後キー画像を抽出し、これらの重要度に応じて重み付けした後、画面構成部（２５）の作用により時系列に従ってキー画像と前後キー画像を配置し、しかもキー画像、前後キー画像を重みに応じて表示・非表示を切り換えたり拡縮することを特徴とする。この結果、映像の中から、適当なシーンを瞬時に選択することが可能であると共に、重要なシーンは拡大されて表示されるので、ユーザに知覚しやすい提示方法を提供することができる。
なお、ここで重要度は、任意の尺度を用いることが可能であって、映像内容に応じて適宜設定することができる。例えば、スポーツ映像であっても、試合の流れを中心にしたダイジェスト画面では、好プレーやエラーのシーンについて重要度を高く設定する必要があるが、選手の表情や観客の雰囲気を伝える場合には、それらが特徴的に写っているシーンが重要となる。従って、これらはキー画像選択部（２２）およびキー画像重み付け部（２４）によるユーザの設定方法や、自動処理の処理方法により変化するものである。
画面構成部（２５）で配置されたダイジェスト画面（５０）はモニタ（６）から画面表示（１５）される。
【実施例２】  本発明は上記第１の実施形態に加えて、次のような構成を加えることができる。本処理を第４図に示す。すなわち、前後キー画像抽出（１２）の後、キー画像重み付け処理（１３）で重み付けを行う一方、ＣＰＵ（２）のテキスト定義部（２６）では当該キー画像や前後キー画像を説明するテキストを定義（４０）する。これらのテキストはユーザが入力手段（５）から入力してもよいし、また予め映像に対して時間に応じたテキストが割り当てられている場合にはそれらをテキストとして自動的に定義してもよい。後者の例としては映像に字幕情報を含ませたクローズドキャプションなどが知られている。該情報を用いる場合、テキスト定義部（２６）はクローズドキャプション情報を読み出し、表示中のシーン又は静止画像に対して割り当てを行う。定義されたテキストはシーン又は静止画像と共に、外部記憶装置（４）に記録される。
そして、画面構成部（２５）では、外部記憶装置（４）から静止画像を読み出す際に、テキストを共に読み出し、ダイジェスト画面（５０）におけるキー画像（５３ａ）（５３ｂ）（５３ｃ）や（５５ａ）（５５ｂ）の直下方にテキスト（５３ｄ）（５５ｄ）を挿入する。
これにより、ユーザが閲覧する際に、サムネイル化して静止画像が読みにくい場合でも、容易に画像内容を知ることができ、効率的な提示方法に寄与する。
また、テキストについても、その大きさを適宜拡縮して表示することが可能であり、例えば予めテキストに対して重みを設定しておいて該重みに応じて文字を拡縮したり、或いは対応するキー画像の重みに応じて拡縮して表示することもできる。
【実施例３】  本発明では、第６図に示すようにキー画像指定部（２７）を設け、ユーザが閲覧する際に、キー画像又は前後キー画像を入力手段（５）から指定すると、該キー画像を含むシーンのより詳細な内容を表示するように構成することができる。
この場合、実施例１において、シーン分割部（２１）がシーン分割した後にキー画像選択部（２２）でキー画像を選択する際、該シーンを代表する第２、第３、・・・の詳細キー画像を抽出し、外部記憶装置（４）内に格納しておく。これらは手作業で設定する場合には１つのシーンの中で最も特徴的なものをキー画像とし、その他の特徴的な画像を詳細キー画像とする。自動処理による場合には、例えば特徴量の最も高いものをキー画像、その他一定の閾値以上の画像を詳細キー画像とすればよい。
また、前後キー画像選択部（２３）においても同様に前後詳細キー画像として各詳細キー画像に定義する。
キー画像重み付け部（２４）において、これらの詳細キー画像・前後詳細キー画像に重み付けを行い外部記憶装置（４）に記録しておく。ここで、必要に応じてテキスト定義部（２６）で説明のテキストを定義してもよい。
このような処理の結果、キー画像指定部（２７）においてユーザがキー画像を指定すると、画面構成部（２５）で当該シーンの詳細画像と前後群細画像をそれらの重みに従って、上記同様にダイジェスト画面（５０）を再構成し、モニタ（６）で表示する。
以上は、あらかじめ詳細キー画像等を定義した処理方法であり、第７図に示すようにキー画像の指定（７０）があったときに、画面構成（１４）に進む（７１）方法であるが、キー画像抽出（１１）から前後キー画像重み付け（３０）を全て自動処理により行う場合には、フロー（７２）のように、キー画像指定（７０）の後、改めてそのシーン内においてキー画像抽出（１１）、前後キー画像抽出（１２）、キー画像重み付け（１３）、前後キー画像重み付け（３０）の各処理をＣＰＵ（２）で行い、画面を再構成してもよい。この場合、上述したように特徴量の閾値を変化させることで、詳細キー画像や前後詳細キー画像を抽出することができる。
本処理は、キー画像等を指定した場合に限らず、タイムライン（５１）の特定の場所を入力手段（５）から指定することで、該時刻近傍の映像について詳細キー画像を表示するようにしてもよい。
さらに、第３の実施形態の方法では、詳細キー画像を選択すると、さらにその詳細なキー画像を表示するように階層的な構造でキー画像、詳細キー画像を外部記憶装置（４）に記録しておき、ユーザの指定に従って、適宜閲覧するようにすることもできる。本方法によれば、ユーザは映像全体からキー画像等を見てシーンを指定し、さらに１シーン内の詳細な画像を閲覧することができる。
以上説述したように、本発明は、映像内容の全体概要を素早く理解できること、興味のある個別シーンを必要な詳細度で素早く理解できること、を共に実現可能なインターフェースを提供するものである。
これらの実現のために、あるシーンの意味のまとまりを表す複数のキー画像および複数の説明テキストを１つの単位として表示できるようにすると共に、タイムラインおよびこれらの単位の詳細度を適宜変化できるようにすることに特徴がある。
【図１】
2005050986.tif 000003
【図２】
2005050986.tif 000004
【図３】
2005050986.tif 000005
【図４】
2005050986.tif 000006
【図５】
2005050986.tif 000007
【図６】
2005050986.tif 000008
【図７】
2005050986.tif 000009
【国際調査報告】
2005050986.tif 000010
2005050986.tif 000011
2005050986.tif 000012
2005050986.tif 000013