(57)【要約】【課題】ユーザの意図に近い映像区間を自動的に収集して，映像要約として全体構成を把握しつつ，要約映像を作成できるようにする。【解決手段】指定されたユーザが映像区間に付与したコメントを取得し（Ｓ１−Ｓ２），そのコメントからトピックとその意味属性等を抽出して，映像区間ＩＤとともにユーザ毎関心トピックセットとして蓄積する（Ｓ３）。ユーザ毎関心トピックセットから，ユーザに指定されたトピックまたは意味属性に関連する映像区間群を関連映像区間セットとして抽出する（Ｓ４−Ｓ５）。映像区間群数やトピック数に応じて要約テンプレートパターンを決め（Ｓ６−Ｓ７），その要約テンプレートパターンに従って映像区間を連結して要約映像を生成する（Ｓ８）。【選択図】図１
2011041164.tif 000002
【特許請求の範囲】
【請求項１】
映像区間毎に複数ユーザのコメントまたはマーク付きコメントが付与された状態の映像に対して，コンピュータが要約映像を作成する方法であって，
映像区間毎に，ユーザが付与したコメントまたはコメントに対するマーク情報が映像区間識別子とともに格納されているコメント情報記憶手段から，指定されたユーザの入力コメントまたはマーク付きコメントを関心コメントとして取得する手順と，
前記関心コメントを分析し，関心コメントに含まれる名詞をトピックとして抽出するとともに，そのトピックの意味属性をシソーラスを用いて抽出し，前記トピックとその意味属性と対象映像区間識別子，またはさらに前記トピックと同一コメントに現れる共起単語を含む情報を関心トピックセットとして，ユーザ毎関心トピックセット記憶手段に蓄積する手順と，
前記関心トピックセットに含まれるトピックまたは意味属性をユーザに指定させ，その指定入力を受け付ける手順と，
前記指定されたトピックまたは意味属性をもとに，前記ユーザの関心コメントの中から同一トピック，同一意味属性，またはさらに同一共起単語と，それらの対象となる映像区間識別子のセットとを関連映像区間セットとして抽出する関連映像区間セット抽出手順と，
前記指定されたトピックまたは意味属性を含む映像区間群を基点映像区間群として，基点映像区間群と前記関連映像区間セットとして抽出された関連映像区間群との数およびトピック数に応じて，それらの映像区間群の関係を表す予め定められた要約テンプレートパターンの中から該当する１または複数の要約テンプレートパターン候補を選択し，選択した要約テンプレートパターン候補を出力してユーザに提示する要約テンプレートパターン提示手順と，
前記提示した要約テンプレートパターン候補から，ユーザからの指示入力により要約テンプレートパターンを決定する要約テンプレートパターン決定手順と，
前記決定した要約テンプレートパターンに従って，前記基点映像区間群と前記関連映像区間群に含まれる映像区間の映像区間識別子を連結し，連結された一連の映像区間識別子によって指定される映像区間から要約映像を作成する手順とを有する
ことを特徴とする映像要約方法。
【請求項２】
請求項１に記載の映像要約方法において，
前記関連映像区間セット抽出手順は，
トピックが指定された場合に，まずトピックが属する意味属性を取得し，その意味属性に属する対象ユーザの関心トピックセットの中から同一トピックを抽出し，抽出したトピックを含む映像区間識別子のセットと，指定トピック以外のトピックを含む映像区間識別子のセットと，指定したトピックと共起するトピックを含む映像区間識別子のセットとを抽出する
ことを特徴とする映像要約方法。
【請求項３】
請求項１または請求項２に記載の映像要約方法において，
前記関連映像区間セット抽出手順は，
意味属性が指定された場合に，対象ユーザの関心トピックセットの中から指定された意味属性のトピックを含む映像区間識別子のセットを抽出する
ことを特徴とする映像要約方法。
【請求項４】
請求項１から請求項３までのいずれか１項に記載の映像要約方法において，
前記要約テンプレートパターン提示手順は，
ユーザからトピックが指定された場合に，その指定されたトピックと同一のトピックを含む映像区間識別子のセットを基点映像区間群とし，同一意味属性の他トピックを含む映像区間識別子のセットをそれぞれ関連映像区間群とし，関連映像区間群が１つの場合と複数の場合とで要約テンプレートパターンを分けて提示する
ことを特徴とする映像要約方法。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の映像要約方法において，
前記要約テンプレートパターン提示手順は，
ユーザから意味属性が指定された場合に，その指定された意味属性と同一の意味属性を含む映像区間識別子のセットのうち，同一の意味属性を持つ全トピックを含む映像区間識別子のセットを関連映像区間群とし，映像区間群の関係として前記指定された意味属性が設定された要約テンプレートパターンを提示する
ことを特徴とする映像要約方法。
【請求項６】
請求項１から請求項５までのいずれか１項に記載の映像要約方法において，
前記要約テンプレートパターン決定手順は，
基点映像区間群，関連映像区間群中のトピックにおける１映像区間内の影響度を，映像区間群における前記ユーザに指定されたトピックまたは意味属性から得られる関連トピックと共通する共通トピックの数をもとに算出し，算出した影響度が大きい降順に基点映像区間群内，関連映像区間群内の映像区間をソートし，規定の要約映像時間に近くなるように映像区間削除候補として提示し，削除を指定する入力があった場合に指定された映像区間を各映像区間群から除外する
ことを特徴とする映像要約方法。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の映像要約方法を，コンピュータに実行させるための映像要約プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，映像要約方法に関し，特に映像区間（映像シーン）毎に複数ユーザのコメントやマーク付きコメントが付与されている場合に，ユーザが注目している複数映像区間のコメント等から得られるトピック（名詞）によって，要約映像を作成するためのテンプレートを提示し，作成手間を減らしながら，効果的な要約映像を構成する方法に関する。
【背景技術】
【０００２】
従来は，コメント参照情報と関連する映像区間を手動で対応づけて要約映像を作成する方法がある（特許文献１参照）。コメント入力と同時に参照情報を手動で追加する方法は，コメント入力と直接関係する参照先映像区間をそのタイミングで付与するため，ユーザの意図を反映した要約映像を作成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２３６５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では，１つの基点映像区間から要約映像を作成することになるが，ユーザの意図で要約映像を作成する場合，要約したいテーマとなるトピックが複数映像区間に跨るようなケースで，関連するトピックも含めて，要約映像としたい場合，全ての映像参照区間について手動で参照先を指定することは大変である。また，現状の方法は複数の映像区間の関係を付けることには良いが，映像要約として，テーマトピックや映像要約の構成を考える場合には簡単であるとは言えない。そこで，（１）ユーザの意図視点で，ある程度関連映像区間を自動的に収集すること，および（２）映像要約の全体構成を考えやすくすることを支援することが課題となる。
【０００５】
本発明は，以上の課題を解決し，映像区間毎に複数ユーザのコメントやマーク付きコメントが付与されている場合に，指定トピックに関するユーザが関心ある映像区間を収集し，その収集した映像区間に対して要約映像の全体構成をテンプレートとして提示する形で要約映像を作成する方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明の概要を説明する。本発明では，映像のシーン（映像区間という）に付与されたユーザコメントを利用して映像の要約作成を支援するにあたって，ユーザコメントに含まれる名詞をトピックとして抽出し，そのトピックに対する共起単語および意味属性を得て，関心トピックセットとして蓄積しておく。
【０００７】
ここで，コメントからトピックとして抽出する名詞とは，形式名詞，動詞性名詞（サ変名詞），固有名詞，普通名詞の全体を表すものとする。また，意味属性とは，日本語語彙体系（参考文献１参照）のような一般名詞意味体系の意味属性を意味しており，このような意味属性の情報が格納されたシソーラス等のデータベースから得ることができる。
［参考文献１］池原悟，宮崎正弘，白井諭，横尾昭男，中岩浩巳，小倉健太郎，大山芳史，林良彦：日本語語彙体系，岩波書店，ISBN4-00-130101-6 C3881 ，1997．
ユーザが指定したユーザＩＤにより，そのユーザに関する関心トピックセットを蓄積データから抽出し，ユーザに要約に利用したいトピックや意味属性を選ばせる。選ばれたものと共起する，つまり関連が深い関心トピックセットの映像区間を要約候補とする。この要約候補を予め定められた映像区間群間の関係を示す何種類かの提示パターン（要約テンプレートパターンという）により提示する。ユーザは提示されたものを選択または削除することができる。ユーザが選択／削除した結果から映像の要約を自動生成する。
【０００８】
また，要約テンプレートパターンを表示するときに，トピックの映像区間内における影響度を算出して，ユーザが映像区間を選択／削除するときの参考にできるようにする。
【発明の効果】
【０００９】
上述のように，本発明によれば，ユーザが映像に対して付与したコメントやコメントマークをもとに，対象ユーザが指定した関心トピック，関心意味属性を用いることで，自動的に関係する映像区間を要約候補の映像区間群としてまとめ，それらの映像区間群間の関係をテンプレート的に位置付けて，要約映像を作成することができる。これにより，ユーザは自分の意図に合った要約映像を半自動的に作成でき，構造的に分かり易い要約映像の作成が可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の基本的な処理手順の例を示す図である。
【図２】本発明の実施形態におけるシステム構成図である。
【図３】コメント情報記憶部のデータ構造の例を示す図である。
【図４】ユーザ毎関心トピックセット記憶部のデータ構造の例を示す図である。
【図５】映像インデックス情報記憶部のデータ構造の例を示す図である。
【図６】意味属性と共起単語の例を示す図である。
【図７】トピック一覧・意味属性一覧の画面例を示す図である。
【図８】要約テンプレートパターンルールの例を示す図である。
【図９】要約テンプレートパターン例を示す図である。
【図１０】要約テンプレートパターン例を示す図である。
【図１１】要約テンプレートパターン決定手順のフローを示す図である。
【図１２】要約映像再生画面の例を示す図である。
【図１３】コメントおよびコメントマーク付与に関する事前処理を示す図である。
【発明を実施するための形態】
【００１１】
以下，図面を用いながら，本発明の実施の形態を説明する。図１に，本発明による基本的な処理手順の例を示す。
【００１２】
映像の要約は，次のような手順で実行する。ユーザ指定手順Ｓ１では，ログイン等の管理ユーザのユーザＩＤの指定などの本方法で一意にユーザを規定できるもので指定させる手段によって，ユーザＩＤを特定する。関心コメント取得手順Ｓ２は，指定されたユーザＩＤなどをキーにその対象ユーザが入力したコメントや対象ユーザがマークしたマーク付きコメントを関心コメントとして取得することを行う。
【００１３】
ユーザ毎関心トピックセット蓄積手順Ｓ３は，関心コメントを解析してその関心コメントに現れる名詞をトピックとして抽出し，そのトピックが属する意味属性，そのトピックと同一コメント中に共起して現れる単語，その関心コメントが付与されている映像区間識別子をセットでユーザトピックセットとして，ユーザ毎関心トピックセット記憶部１７に蓄積する。
【００１４】
トピック・意味属性指定手順Ｓ４は，ユーザ毎関心トピックセット蓄積手順Ｓ３で蓄積された全トピックおよび意味属性から，ユーザが指定した一つもしくは複数のトピックまたは意味属性を選択する。
【００１５】
関連映像区間セット抽出手順Ｓ５は，指定されて選択したトピックまたは意味属性から，同一トピック，同一意味属性，同一共起単語とそれらをコメントに持つ映像区間識別子を関連映像区間セットとして抽出する。
【００１６】
要約テンプレートパターン提示手順Ｓ６は，指定されて選択したトピックまたは意味属性を含む映像区間群を基点映像区間群として，前記抽出したトピック，意味属性を含む関連映像区間群の数と関連タイプとにより基点映像区間群と少なくとも１つ以上の関連映像区間群の関連タイプを表した要約テンプレートパターン候補を入出力装置に提示する。
【００１７】
要約テンプレートパターン決定手順Ｓ７は，提示された要約テンプレートパターンからユーザが指定した要約テンプレートパターンを１つ選択し，かつ要約テーマタイトル，基点映像区間群と関連映像区間群の中の映像区間を決定する。最後の要約映像提示・出力手順Ｓ８は，基点映像区間群と少なくとも１つ以上の関連映像区間群から一連の映像区間識別子を連結し要約映像を作成する。
【００１８】
本実施形態は，上記手順を順に行うことで，要約映像作成が可能となる。また手順Ｓ２，Ｓ３により対象ユーザが関心あるトピックとその意味属性と映像区間が関連付けられて保持されることで，対象ユーザの意図が反映されるものに自動的に絞り込みが可能となる。また手順Ｓ６，Ｓ７により映像要約の構造がテンプレートで示されながら，要約映像を作成することが可能となり，映像要約の構成が考えやすくなる。
【００１９】
図２は，本発明の実施形態におけるシステム構成図である。本システムは，映像の要約を作成するサーバ装置１０と要約作成者であるユーザが使用するクライアント装置２０とが接続された構成となっている。サーバ装置１０およびクライアント装置２０は，それぞれＣＰＵおよびメモリ等と図１に示す手順をＣＰＵに実行させるためのソフトウェアプログラムとから構成される装置であるが，本発明は，必ずしもこのようなサーバ・クライアントの構成でなくても実施可能である。
【００２０】
サーバ装置１０の映像インデックス情報記憶部１８には，要約作成の対象となる映像の各映像区間に対するインデックス情報などがあらかじめ記憶されている。また，コメント情報記憶部１６には，映像区間毎にユーザが入力したコメントや，コメントに対するマーク情報が記憶されている。なお，映像区間は，映像を複数の映像シーンに分割する既存の技術によって得られたものでよい。
【００２１】
サーバ装置１０は，ユーザが指定したユーザＩＤとコメント情報記憶部１６と映像インデックス情報記憶部１８とから，関心コメントを取得する関心コメント取得処理部１１と，取得した関心トピックセットをユーザ毎関心トピックセット記憶部１７に蓄積するユーザ毎関心トピックセット蓄積処理部１２と，ユーザの指定により選択したトピックや意味属性をもとにユーザ毎関心トピックセット記憶部１７から関連映像区間セットを抽出する関連映像区間セット抽出処理部１３と，抽出した関連映像区間セットの映像区間群の関連タイプを表した要約テンプレートパターンをクライアント装置２０に提示する要約テンプレートパターン提示処理部１４と，決定された要約テンプレートパターンに従って，要約映像を作成し，クライアント装置２０へ提示・出力する要約映像提示・出力処理部１５を備える。
【００２２】
クライアント装置２０は，ログイン等によりユーザを一意に識別するユーザＩＤをサーバ装置１０へ送るユーザ指定部２１と，映像の要約を作成したいトピックや意味属性をサーバ装置１０へ送るトピック・意味属性指定部２２と，提示された要約パターンテンプレートの中から要約作成に用いる要約テンプレートパターンの決定要求をサーバ装置１０へ送る要約テンプレートパターン決定要求部２３と，サーバ装置１０から送られてきた要約映像を表示装置（図示省略）に出力する要約結果出力部２４とを備える。
【００２３】
コメント情報記憶部１６に記憶されているコメント情報に関するデータの構造は，例えば図３に示すようになっている。各コメント毎に，そのコメントを識別するコメントＩＤと，そのコメントを入力したユーザを識別する入力ユーザＩＤと，コメントが付けられた映像区間を識別する映像区間ＩＤと，コメントの内容とが格納される。また，ユーザが既に入力されているコメントに対してマークを付けると，そのマークが付けられたコメントのコメントＩＤがマーク付きコメントＩＤとして格納され，マークを付けたユーザのユーザＩＤがマークユーザＩＤとして格納される。
【００２４】
ユーザ毎関心トピックセット記憶部１７に格納されるユーザ毎関心トピックセットのデータ構造の例を，図４に示す。ユーザ毎関心トピックセット記憶部１７には，図４に示すように，ユーザ毎のトピックセット，トピックと意味属性セットの情報が格納される。
【００２５】
ユーザ毎関心トピックセット記憶部１７に格納されるユーザ毎のトピックセットは，ユーザＩＤと，トピックを識別するトピックＩＤと，そのトピックが現れる映像区間ＩＤと，トピックと同一文内に現れる共起単語を識別する共起単語ＩＤと，トピックの意味属性を示す意味属性ＩＤである。なお，共起単語ＩＤは，トピックと共起する単語が名詞の場合にはトピックＩＤであり，共起する単語が用言の場合には，それを識別する用言ＩＤである。なお，これらのＩＤは，それぞれ最初にユーザ毎関心トピックセット記憶部１７に格納するときにシーケンス番号などにより一意に付与される。
【００２６】
また，ユーザ毎関心トピックセット記憶部１７に格納されるトピックと意味属性セットは，トピックＩＤと，トピックと，コメントＩＤと，意味属性ＩＤであり，また，トピックに対応する用言（共起単語）としては，用言ＩＤ，用言，コメントＩＤ，意味属性ＩＤの一覧情報である。
【００２７】
映像インデックス情報記憶部１８に格納される映像インデックス情報のデータ構造の例を，図５に示す。映像インデックス情報記憶部１８には，あらかじめ映像区間を識別する映像区間ＩＤと，その映像区間がその映像のものであるかを示す映像ＩＤと，映像区間の開始時間，終了時間の情報が格納されている。なお，映像をシーンチェンジの検出などにより，複数の映像シーン（映像区間）に分割し，各映像区間の開始時間，終了時間などを管理する方法は，従来の一般的に知られている方法を用いることができるので，その詳細な説明は省略する。
【００２８】
次に，図２に示すシステムの動作について説明する。まず，クライアント装置２０において，ユーザＩＤをユーザが入力すると，そのユーザＩＤがサーバ装置１０の関心コメント取得処理部１１へ通知される。
【００２９】
関心コメント取得処理部１１は，コメント情報記憶部１６で管理されているデータに対して，指定されたユーザＩＤをキーに検索し，映像ＩＤ, 映像区間ＩＤ（映像区間識別子）, コメント，マークユーザＩＤを取得する。
【００３０】
取得したコメントに対して，ユーザ毎関心トピックセット蓄積処理部１２において，次の処理を行う。まず，コメントを形態素解析し，一般名詞，固有名詞などをトピックとして抽出し，そのトピックと同一文内にある共起する単語（トピック・用言）も同時に抽出する。さらに，トピックや用言をシソーラスとして保持されているデータ（図６参照）を使って，トピックの１つ上の階層にある上位概念である意味属性を抽出する。
【００３１】
このような意味属性を抽出するシソーラスとしては，例えば図６に示す日本語語彙体系［例：日本語語彙体系 ISBN4-00-130101-6 C3881］のような階層化された語彙体系の情報が格納されたデータベースを用いることができる。
【００３２】
これらの抽出結果から，図５に示すような映像インデックス情報記憶部１８を参照して，トピックＩＤ，映像区間ＩＤ，共起単語ＩＤ，意味属性ＩＤのセットを，ユーザＩＤと関連付けて，図４に示すようなデータ構造のユーザ毎関心トピックセット記憶部１７に蓄積する。蓄積すると同時に指定ユーザのトピック一覧，意味属性一覧をクライアント装置２０へ送り，クライアント装置２０に提示する。
【００３３】
図７は，トピック一覧・意味属性一覧画面の例を示している。クライアント装置２０に提示されるトピック一覧・意味属性一覧画面には，図７に示すように，要約作成対象となる映像毎に，その映像代表画像や各映像区間の情報および映像区間毎の興味話題一覧が表示される。興味話題一覧は，意味属性と話題（トピック）であり，ユーザがこの興味話題一覧の中の項目をマウスクリックなどにより選択し，話題指定ボタン３０を押下すると，その選択されたトピックまたは意味属性が，トピック・意味属性指定部２２から関連映像区間セット抽出処理部１３へ送られる。
【００３４】
関連映像区間セット抽出処理部１３では，トピック一覧・意味属性一覧画面からトピックが指定された場合と，意味属性が指定された場合とで，それぞれ以下の処理を行う。
【００３５】
（ａ）トピックが指定された場合
関連映像区間セット抽出処理部１３は，トピックが指定されると，ユーザ毎関心トピックセット記憶部１７に記憶されているユーザ毎関心トピック情報のデータを，まずトピックをキーに検索する。この検索により，図４（Ｂ）に示すデータから意味属性ＩＤの一覧セットを取得する。その取得した意味属性ＩＤと対象ユーザＩＤをキーとして，図４（Ａ）に示すユーザ毎のトピックセットを検索し，指定トピックと同一トピックＩＤを持つ映像区間ＩＤのセットを基点映像区間群として，指定トピックと異なるトピックＩＤを持つ映像区間ＩＤのセットを関連映像区間群として抽出して保持する。
【００３６】
さらに，図４（Ａ）に示す，指定トピックと共起する共起単語ＩＤのトピックＩＤをキーとしてユーザ毎のトピックセットを検索し，共起トピックと同じトピックＩＤを含む映像区間ＩＤを関連映像区間群としてさらに追加する。トピックの指定は複数指定してもよく，その場合は前記の処理をトピック数分繰り返す。
【００３７】
（ｂ）意味属性一覧が指定された場合
関連映像区間セット抽出処理部１３では，指定意味属性の意味属性ＩＤと対象ユーザＩＤをキーとして，図４（Ａ）に示すユーザ毎のトピックセットを検索し，結果を関連映像区間群として抽出して保持する。このようにして抽出される映像区間群は，例えば図１０（Ｃ）に示すように，ともに共通トピックａ１と，共通トピックを含む映像区間のセットで構成されることとなる。意味属性は複数指定してもよく，その場合には前記の処理を意味属性数分繰り返す。
【００３８】
保持されたトピックまたは意味属性に関連付いた基点映像区間群や関連映像区間群は，要約テンプレートパターン提示処理部１４に渡され，トピック数，基点映像区間群の数，関連映像区間群の数により，要約テンプレートパターンを変えて提示する。
【００３９】
要約テンプレートパターンは，要約作成の候補となる映像区間の関係を示すための予め用意された提示パターンであって，どのような要約テンプレートパターンを提示するかについては，例えば図８に示すような要約テンプレートパターンルールに従って定められる。なお，各種の要約テンプレートパターンの例を図９および図１０に示す。なお，要約テンプレートにおける「関係説明」には，各映像区間群がどのような関係を有しているかの説明情報が表示される。
【００４０】
〔ルールＲ１〕基点映像区間群と関連映像区間群の数の合計が１つの場合には，１つの映像区間群しかないため，１テーマテンプレートが選ばれる。そして，図９（Ａ）のような１テーマテンプレートの関係説明に関連付いたトピック，または意味属性が自動で入力される。
【００４１】
〔ルールＲ２〕基点映像区間群と関連映像区間群の数の合計が２つの場合には，２つの映像区間群があるため，比較テンプレートまたは収斂テンプレートが選ばれる。そして，図９（Ｂ），（Ｃ）のような比較テンプレートまたは収斂テンプレートの関係説明に関連付いたトピック，または意味属性が自動で入力される。
【００４２】
〔ルールＲ３〕トピック数が０の場合には，意味属性と関連付いているため，中心のテーマに意味属性を入力した発展テンプレートが選ばれる。図９（Ｄ）のように発展テンプレートの中心のテーマから放射線上に映像区間群が置かれる。
【００４３】
〔ルールＲ４〕トピック数が１の場合には，トピックが１つと関連付いた収斂テンプレートが選ばれる。収斂テンプレートの関係説明にトピックが自動的に入力される。
【００４４】
〔ルールＲ５〕トピック数が２の場合，トピックが２つあり，トピックを各軸とした図１０（Ａ）に示すような相関テンプレートが選ばれる。相関テンプレートの各軸にトピックが１つずつ自動で入力され，トピックの軸で区切られた事象に映像区間群が順に配置される。
【００４５】
〔ルールＲ６〕トピック数が３以上の場合には，トピック一つずつに対して〔ルールＲ１〕の１テーマテンプレートが繰り返し適用される。
【００４６】
ルールＲ１からＲ６までのルールの判定処理に従って，要約テンプレートパターンの提示処理が行われ，クライアント装置２０へ要約テンプレートパターンが提示される。
【００４７】
クライアント装置２０では，その提示された要約テンプレートに対して，ユーザは提示されたテンプレートの中から１つの要約テンプレートを選択し，次のような編集操作を行うことができる。すなわち，ユーザ操作による映像区間群の編集処理として，図１０（Ｂ）に示すように，そのテンプレートの映像区間群の２つを指定して映像区間群の位置を入れ替える操作，映像区間群を指定して削除する操作，映像区間群内の映像区間を削除する操作，テーマタイトルやトピックや関係説明の文字編集操作の処理などがある。
【００４８】
この関係説明の編集操作において，関係説明に自動で関係性のあるトピック，意味属性が入ることになるが，この自動設定により，ユーザは各映像区間の相互の関係性の編集入力が容易になる。
【００４９】
さらに各映像区間群内の各映像区間のトピックの影響度によるソートと削除対象映像区間の提示を，図１１に示す要約テンプレートパターン決定手順によって支援する。
【００５０】
まず，ステップＳ１０では，ユーザ毎関心トピックセット記憶部１７中の図４（Ａ）に示すユーザ毎のトピックセットに対して，対象ユーザのユーザＩＤをキーとすることで，対象ユーザの関心のある総トピックを抽出し，数をカウントする。
【００５１】
ステップＳ１１では，映像区間群毎に次の処理を行う。まず，ユーザに指定されたトピックまたは意味属性から得られる関連トピックを，ユーザが関心を持つ共通トピックとする。映像区間群内の各映像区間に関連する共通トピックの出現頻度を図４（Ａ）に示すユーザ毎のトピックセットに対して，映像区間ＩＤと共通トピックＩＤをキーとして抽出することで，各映像区間のトピック出現頻度を算出できる。その結果とステップＳ１０の総トピック数から，影響度を，以下の計算式で算出する。
【００５２】
影響度＝トピック出現頻度／総トピック数
この影響度の算出を指定テンプレートに含まれる全映像区間群に対して実行する。
【００５３】
ステップＳ１２では，映像区間群毎にステップＳ１１で算出した影響度の降順（高い影響度が上位となる）にソートする。
【００５４】
ステップＳ１３では，各映像区間群の影響度の一番高い映像区間のみ，要約映像区間候補として保持し，要約映像区間候補の総時間を映像インデックス情報記憶部１８から取得して算出する。
【００５５】
ステップＳ１４では，要約映像作成の規定時間をユーザにセットしてもらい，そのユーザがセットした時間とステップＳ１３の要約映像区間候補の総時間とを比較して，総時間が大きい場合にはステップＳ１６へ，総時間が小さい場合にはステップＳ１５へ遷移する。
【００５６】
ステップＳ１５では，要約映像区間候補以外の各映像区間群の影響度の一番高い映像区間のうち，最も影響度の高いものを要約映像区間候補に加えて設定し，ステップＳ１４を繰り返す。
【００５７】
ステップＳ１６では，要約映像区間候補以外の映像区間を削除候補として，ユーザに提示する。
【００５８】
ステップＳ１７では，要約映像区間候補以外を削除対象として，ユーザからの削除指示があった映像区間を映像区間群から除外する。
【００５９】
これで要約テンプレートパターンの決定がなされ，図９および図１０に示した要約テンプレートパターンの中のいずれか１つの要約テンプレートパターンと各映像区間群内の映像区間が影響度降順に設定された状態となる。
【００６０】
最後に要約映像提示・出力処理部１５は，以上で決定された要約映像区間候補となった１番目の映像区間群の映像区間から順に影響度降順に映像区間を連結して映像化することで，要約映像を生成する。生成した要約映像は，クライアント装置２０へ送られ，要約結果出力部２４によって出力される。
【００６１】
クライアント装置２０では，要約結果出力部２４で要約映像を再生し，それ以外はどういったテンプレートでどこが再生されているかなどを確認できる再生画面にて提示する。これにより，ユーザはどういった意図の要約映像なのかを確認しながら，要約映像を閲覧できることになる。
【００６２】
図１２に，要約映像再生画面の例を示す。要約映像再生画面には，図１２に示すように，映像再生エリアに要約映像として連結された映像区間が順番に表示され，そのトピックや関連コメントの一覧が提示される。また，要約映像として利用された各映像区間群に対する共通トピックなどが提示される。この再生映像に対しては，映像再生エリアの下に配置された再生制御ボタンによって，早送り，一時停止，巻戻しなどの再生操作が可能である。
【００６３】
次に，本システムにおける事前処理にあたるコメントとコメントマーク付与手順について図１３に示し，以下で説明する。
【００６４】
ユーザによる映像の再生や一時停止などの操作に対して，その操作に応じた映像の再生制御を行う（ステップＳ２０）。再生制御された映像中で，ユーザがアノテーションを入力したい場所を指定してコメントを入力すると，その入力を受け付け（ステップＳ２１），そのコメントが入力された対象映像時間情報から，対象映像，対象映像時間，映像区間情報を求め，ユーザが入力したコメントとともに，図３（Ａ）に示すような形式でコメント情報記憶部１６に記憶し，蓄積する（ステップＳ２２）。
【００６５】
また，コメントマーク付与については，再生制御されている映像の時間を取得し（ステップＳ２３），蓄積されたコメントの中から，取得した時間を含む対応映像区間のコメントを取得し（ステップＳ２４），映像区間に対応付いたコメントを映像再生と連動して表示する制御を行う（ステップＳ２５）。その表示されたコメントに対して，ユーザが関心あるコメントにマークを付与すると，付与したユーザと対象コメントの情報を，図３（Ｂ）に示す形式でコメント情報記憶部１６に記憶し，蓄積する（ステップＳ２６）。
【００６６】
これらの手順により映像を再生しながらコメント付与やコメントマーク付与を映像時間と関連付けて行うことができる。
【００６７】
以上の映像要約の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００６８】
１０  サーバ装置
１１  関心コメント取得処理部
１２  ユーザ毎関心トピックセット蓄積処理部
１３  関連映像区間セット抽出処理部
１４  要約テンプレートパターン提示処理部
１５  要約映像提示・出力処理部
１６  コメント情報記憶部
１７  ユーザ毎関心トピックセット記憶部
１８  映像インデックス情報記憶部
２０  クライアント装置
２１  ユーザ指定部
２２  トピック・意味属性指定部
２３  要約テンプレートパターン決定要求部
２４  要約結果出力部
【図１】
2011041164.tif 000003
【図２】
2011041164.tif 000004
【図３】
2011041164.tif 000005
【図４】
2011041164.tif 000006
【図５】
2011041164.tif 000007
【図６】
2011041164.tif 000008
【図７】
2011041164.tif 000009
【図８】
2011041164.tif 000010
【図９】
2011041164.tif 000011
【図１０】
2011041164.tif 000012
【図１１】
2011041164.tif 000013
【図１２】
2011041164.tif 000014
【図１３】
2011041164.tif 000015