(57)【要約】【課題】利用者に指定された長さの要約映像若しくは指定された長さの要約映像を得るための要約映像情報を生成する。【解決手段】映像属性情報及び要約作成情報を用いて、映像属性情報に含まれるイベント毎に重要度を算出する重要度算出部１０４と、算出された重要度に従って、要約映像に含める元映像の区間（選択区間）を選択する区間選択部１０５と、選択区間の合計時間が、要約作成情報で指定された合計時間と合致するように、各選択区間の長さを調整する選択区間調整部１０６と、調整された選択区間の情報を用いて要約映像情報１０３を生成する要約映像情報生成部１０７とを備える。【選択図】  図１
2004289513.tif 000002
【特許請求の範囲】
【請求項１】
映像中のイベントの記述を含む映像属性情報を入力する映像属性情報入力部と、
利用者の嗜好に関する情報及び利用者が希望する要約映像の時間長に関する情報を含む要約作成情報を入力する要約作成情報入力部と、
前記映像属性情報及び前記利用者の嗜好の情報を用いて、映像中の各イベントの重要度を算出する重要度算出部と、
映像中で、前記重要度の高いイベントが映っている区間を選択区間とする区間選択部と、
前記要約映像の時間長を参酌して、前記選択区間それぞれの時間長を調整する選択区間調整部と、
を備える映像要約装置。
【請求項２】
さらに、
調整された前記選択区間に基づいて、映像中で要約映像を指し示す情報を生成する要約映像情報生成部を備える請求項１記載の映像要約装置。
【請求項３】
さらに、
映像を入力する映像入力部と、
調整された前記選択区間に基づいて、前記映像入力部に入力された映像から要約映像を抽出する要約映像抽出部と、
を備える請求項１記載の映像要約装置。
【請求項４】
前記区間選択部は、
前記重要度の高い順にイベントを選択し、選択したイベントに対応する区間を選択区間とする請求項１記載の映像要約装置。
【請求項５】
前記選択区間調整部は、
前記要約映像の時間長と前記選択区間の合計時間との差に対応する調整時間を、前記選択区間それぞれに均等に割り当てる手段と、
前記割り当てられた調整時間に応じて、前記選択区間それぞれを延長あるいは短縮する手段とを備える請求項１記載の映像要約装置。
【請求項６】
前記選択区間調整部は、
前記要約映像の時間長と前記選択区間の合計時間との差に対応する調整時間を、
（Ａ）前記選択区間それぞれの時間長、及び、
（Ｂ）前記選択区間それぞれに対応するイベントの重要度、
のうちのいずれかに応じて比例配分する手段と、
前記比例配分された調整時間に応じて、前記選択された区間それぞれを応じて延長あるいは短縮する手段とを備える請求項１記載の映像要約装置。
【請求項７】
映像中のイベントの記述を含む映像属性情報を入力する映像属性情報入力部と、
利用者の嗜好に関する情報及び利用者が希望する要約映像の時間長に関する情報を含む要約作成情報を入力する要約作成情報入力部と、
前記利用者の嗜好の情報に基づいて、映像中の各イベントの重要度を表すイベント重要度関数を求める重要度算出部と、
前記イベント重要度関数を用いて、映像中で重要度の高いイベントが映っている区間を選択区間とする区間選択部と、
前記要約映像の時間長を参酌して、前記選択区間それぞれの時間長を調整する選択区間調整部と、
を備える映像要約装置。
【請求項８】
前記区間選択部は、
前記イベント重要度関数を合成して映像全体の重要度の時間推移を求める手段と、
映像全体のうちで重要度が第１の閾値以上となる区間を選択区間とする手段と、を備える請求項７記載の映像要約装置。
【請求項９】
前記選択区間調整部は、
前記要約映像の時間長と前記選択区間の合計時間との差に応じて前記第１の閾値を変更する手段と、
前記変更された第１の閾値に基づいて、一部の前記選択区間を延長あるいは短縮する手段と、
を備える請求項８記載の映像要約装置。
【請求項１０】
前記選択区間調整部は、
前記要約映像の時間長と前記選択区間の合計時間との差に応じて前記第１の閾値を変更する手段と、
前記変更された第１の閾値に基づいて、前記選択区間それぞれを延長あるいは短縮する第１の調整手段と、
前記第１の調整手段によって、前記選択区間の合計時間の変化量が第２の閾値以上となった場合に、一部の前記選択区間のみを延長あるいは短縮して調整をやり直す第２の調整手段と、
を備える請求項８記載の映像要約装置。
【請求項１１】
利用者の嗜好に基づいて、コンピュータに映像を要約させる映像要約方法であって、
外部から映像中のイベントの記述を含む映像属性情報と利用者の嗜好及び利用者が希望する要約映像の時間長の情報を含む要約作成情報とを入力し、
前記映像属性情報と前記利用者の嗜好とを用いて、映像中の各イベントの重要度を算出し、
前記重要度の高いイベントが映っている区間を選択区間として選択し、
前記要約映像の時間長に基づいて前記選択区間それぞれの長さを調整する映像要約方法。
【請求項１２】
利用者の嗜好に基づいて、コンピュータに映像を要約させる映像要約方法であって、
外部から映像中のイベントの記述を含む映像属性情報と利用者の嗜好に関する情報及び利用者が希望する要約映像の時間長に関する情報を含む要約作成情報と入力し、
前記利用者の嗜好の情報に基づいて、映像中の各イベントの重要度を表すイベント重要度関数を求め、
前記イベント重要度関数を用いて、映像中で重要度の高いイベントが映っている区間を選択区間として選択し、
前記要約映像を参酌して、前記選択区間それぞれの長さを調整する映像要約方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は要約された映像情報を作成する映像要約装置並び方法に関する。
【０００２】
【従来の技術】
従来、映像の中のイベントについて記述したメタデータを含む映像を、予め登録しておいたユーザの嗜好とのマッチングに応じて、ユーザが指定した時間長内に収まるように自動的に要約する手法が提案されている。
【０００３】
例えば、特許文献１の手法は、映像中のイベント毎に重要度を求め、ユーザの嗜好にマッチする区間を要約映像として選択するというものである。
【０００４】
【特許文献１】
特許第３１７６８９３号公報
【０００５】
【発明が解決しようとする課題】
しかし、特許文献１の手法では、要約映像に含める区間をイベント毎に選択するだけなので、作成できる要約映像の時間がイベントの区間の長さの組み合わせに依存し、必ずしも指定された長さの要約映像を得ることが出来ないという問題があった。
【０００６】
そこで、本発明では、利用者が所望する時間長の要約映像若しくは指定された長さの要約映像を作成するための、若しくは外部から指定された要約映像を得るための要約映像情報を生成することができる装置及び方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために本発明の映像要約装置は、映像中のイベントの記述を含む映像属性情報を入力する映像属性情報入力部と、利用者の嗜好に関する情報及び利用者が希望する要約映像の時間長に関する情報を含む要約作成情報を入力する要約作成情報入力部と、前記映像属性情報及び前記利用者の嗜好の情報を用いて、映像中の各イベントの重要度を算出する重要度算出部と、映像中で、前記重要度の高いイベントが映っている区間を選択区間とする区間選択部と、前記要約映像の時間長を参酌して、前記選択区間それぞれの時間長を調整する選択区間調整部とを備える。
【０００８】
また、前記選択区間調整部は、前記選択区間の合計時間が前記要約映像の時間長と等しくなるように、前記選択区間それぞれの時間長を調整しても良い。あるいは、前記選択区間の合計時間と前記要約映像の時間長との誤差が一定の範囲内となるように調整しても良い。
【０００９】
本発明の映像要約装置は、映像中のイベントの記述を含む映像属性情報を入力する映像属性情報入力部と、利用者の嗜好に関する情報及び利用者が希望する要約映像の時間長に関する情報を含む要約作成情報を入力する要約作成情報入力部と、前記利用者の嗜好の情報に基づいて、映像中の各イベントの重要度を表すイベント重要度関数を求める重要度算出部と、前記イベント重要度関数を用いて、映像中で重要度の高いイベントが映っている区間を選択区間とする区間選択部と、前記要約映像の時間長を参酌して、前記選択区間それぞれの時間長を調整する選択区間調整部とを備える。
【００１０】
また、前記選択区間調整部は、前記選択区間の合計時間が前記要約映像の時間長と等しくなるように、前記選択区間それぞれの時間長を調整しても良い。あるいは、前記選択区間の合計時間と前記要約映像の時間長との誤差が一定の範囲内となるように調整しても良い。
【００１１】
本発明の映像要約方法は、利用者の嗜好に基づいて、コンピュータに映像を要約させる映像要約方法であって、外部から映像中のイベントの記述を含む映像属性情報と利用者の嗜好及び利用者が希望する要約映像の時間長の情報を含む要約作成情報とを入力し、前記映像属性情報と前記利用者の嗜好とを用いて、映像中の各イベントの重要度を算出し、前記重要度の高いイベントが映っている区間を選択区間として選択し、前記要約映像の時間長に基づいて前記選択区間それぞれの長さを調整する。
【００１２】
また、前記選択区間の選択では、前記重要度の高い順にイベントを選択し、選択したイベントに対応する区間を選択区間としても良い。
【００１３】
また、前記長さの調整では、前記要約映像の合計長と前記選択区間の合計時間との差に対応する調整時間を、前記選択区間それぞれに均等に割り当て、前記割り当てに応じて、前記選択区間それぞれを延長あるいは短縮しても良い。
【００１４】
また、前記長さの調整では、前記要約映像の合計時間と前記選択区間の合計時間との差に対応する調整時間を、（Ａ）前記選択区間それぞれの時間長、及び、（Ｂ）前記選択区間それぞれに対応するイベントの重要度、のうちのいずれかに応じて比例配分し、前記比例配分された調整時間に応じて前記選択区間それぞれを延長あるいは短縮しても良い。
【００１５】
また、前記長さの調整では、前記選択区間の合計時間が前記要約映像の時間長と等しくなるように、前記選択区間それぞれの時間長を調整しても良い。あるいは、前記選択区間の合計時間と前記要約映像の時間長との誤差が一定の範囲内となるように調整しても良い。
【００１６】
本発明の映像要約方法は、利用者の嗜好に基づいて、コンピュータに映像を要約させる映像要約方法であって、外部から映像中のイベントの記述を含む映像属性情報と利用者の嗜好に関する情報及び利用者が希望する要約映像の時間長に関する情報を含む要約作成情報と入力し、前記利用者の嗜好の情報に基づいて、映像中の各イベントの重要度を表すイベント重要度関数を求め、前記イベント重要度関数を用いて、映像中で重要度の高いイベントが映っている区間を選択区間として選択し、前記要約映像を参酌して、前記選択区間それぞれの長さを調整する。
【００１７】
また、前記選択区間の選択では、前記イベント重要度関数を合成して映像全体の重要度の時間推移を求め、重要度が第１の閾値以上となる区間を選択区間としても良い。
【００１８】
また、前記長さの調整では、前記要約映像の時間長と前記選択区間の合計時間との差に応じて前記第１の閾値を変更し、前記変更された第１の閾値に基づいて、一部の前記選択区間を延長あるいは短縮しても良い。
【００１９】
また、前記長さの調整では、前記要約映像の時間長と前記選択区間の合計時間との差に応じて前記第１の閾値を変更し、前記変更された第１の閾値の変更に基づいて、前記選択区間それぞれを延長あるいは短縮して調整を行い、前記調整よって前記選択区間の合計時間の変化量が第２の閾値以上となった場合に、一部の前記選択区間のみを延長あるいは短縮して調整をやり直しても良い。
【００２０】
また、前記長さの調整では、前記選択区間の合計時間が前記要約映像の時間長と等しくなるように、前記選択区間それぞれの時間長を調整しても良い。あるいは、前記選択区間の合計時間と前記要約映像の時間長との誤差が一定の範囲内となるように調整しても良い。
【００２１】
【発明の実施の形態】
（第１の実施形態）以下、図面を参照して本発明の第１の実施形態について説明する。
【００２２】
本実施形態の映像要約装置は、映像の各シーンで発生している事象についての説明や様々な属性情報を記述したメタデータを外部から受け取り、予め登録しておいた利用者の嗜好情報・要約映像の時間などを含む要約作成情報に基づいて、指定された時間長の要約映像を指し示す要約映像情報を生成する。
【００２３】
前述のメタデータを記述する方式としては、例えばＭＰＥＧ−７方式が挙げられる。
【００２４】
要約映像情報とは、映像中で参照すべき区間の情報、具体的には映像中に含まれる１または複数のイベントに対応する区間を指し示す情報（例えば、開始点の時刻、終了点の時刻）を記述した情報である。要約映像情報は、例えばＭＰＥＧ−７やＳＭＩＬ等の記述言語を用いて表現する。
【００２５】
尚、以下、要約映像に対する元の映像を「元映像」と呼ぶ。
【００２６】
（構成）図１は本実施形態の映像要約装置の概略構成を説明する図である。
【００２７】
本装置は、元映像に関するメタデータである映像属性情報と、映像の要約を作成する時に参酌する、ユーザの嗜好（ユーザプリファレンス）及びユーザが希望する要約映像の時間長（ユーザ指定合計時間）等を含んだ情報である要約作成情報とを受け取る。
【００２８】
そして、元映像中で要約映像として再生すべき区間について記述した情報である要約映像情報１０３を出力する。
【００２９】
本装置は、以下の構成を含んで構成される。
・映像属性情報を外部から入力する映像属性情報入力部１０１。
・要約作成情報を外部から入力する要約作成情報入力部１０２。
・映像属性情報及び要約作成情報を用いて、映像属性情報に含まれる各イベントの重要度を算出する重要度算出部１０４。
・算出された重要度が高い順にイベントを選択し、選択されたイベントに対応する元映像中の区間を、要約映像に含める区間（選択区間）として選択する区間選択部１０５。
・選択区間の合計時間が、要約作成情報で指定されたユーザ指定合計時間と合致するように、選択された各選択区間の長さを調整する選択区間調整部１０６。
・調整した各選択区間の情報を用いて要約映像情報１０３を生成する要約映像情報生成部１０７。
【００３０】
各部の説明の前に、まず、本装置から出力する情報について説明しておく。
【００３１】
（要約映像情報１０３）要約映像情報１０３は各選択区間について記述した情報である。例えば、各選択区間の開始・終了点の時刻情報を含む情報がＳＭＩＬやＭＰＥＧ−７等の記述言語で記述されたものである。
【００３２】
以下、本装置の各部について説明する。
【００３３】
（映像属性情報入力部１０１）映像属性情報入力部１０１は映像属性情報を入力する。
【００３４】
映像属性情報とは、元映像のメタデータである。映像属性情報には、元映像内で発生した事象をイベントとして列挙した「イベント列」というデータが含まれる。イベント列は、人物や物体の名称や動きなどのイベントを記述するイベント情報と、そのイベントの発生時刻（発生時刻と終了時刻との両方でも良い）を含んだ情報である発生時刻情報とを含むデータである。
【００３５】
このような映像属性情報は、例えば、外部のコンテンツプロバイダ等（図示せず）から受信することにより入力できる。あるいは、磁気ディスクや光ディスク等（図示せず）に蓄積されたデータを読み込むことにより入力を行う。
【００３６】
図２は映像属性情報の一例を示す図である。例えば「１時００分４５秒」に起こったイベントとして、「前半３０分４０秒」に「チームＢ」の選手（名前は「選手名２」）が「ゴール」を決めた旨が、発生時刻２０１及びイベント情報２０２として記述されている。また「１時０５分３０秒から１時２０分２２秒」まで「雷雨で試合中断」になった旨が、発生時刻２０３及びイベント情報２０４として記述されている。
【００３７】
本実施形態では、イベント発生時刻の前後所定時間（例えば、前後５秒）の映像を、イベントが映っている区間とする。
【００３８】
イベント情報２０２としては、この他に、スポーツの種目、対戦チーム名、日時、場所、出場選手、試合結果など、映像の中の特定の時間に関連しない情報を含んでいても良い。
【００３９】
また、例としてスポーツの試合を挙げたが、ドラマや情報番組についても登場人物やトピックのタイトルを用いることで同様に記述できる。
【００４０】
（要約作成情報入力部１０２）要約作成情報入力部１０２は要約作成情報を入力する。
【００４１】
要約作成情報とは要約を作成する時のユーザの嗜好（ユーザプリファレンス）とユーザが指定した要約映像の長さ（ユーザ指定合計時間）とを含む情報である。
【００４２】
ユーザプリファレンスとは、映像中でユーザが優先的に視聴したい部分及び視聴したくない部分を求める際に参酌する情報であり、メタデータを用いて検索を行う際のキーワード、その関心度及び視聴したいか否かを含む情報である。
【００４３】
例えば、スポーツの試合であれば、好みのチーム名や選手名などの情報と、その関心度（非常に好きなら高い関心度になり、そこそこ好きなら中程度の関心度になるであろう）と、視聴したいか否かを表す情報とを含む情報がユーザプリファレンスに該当する。
【００４４】
「視聴したいか否かを表す情報」は、単純に映像中に映っている対象（例えば選手やチーム）が嫌いな場合に「視聴したくない」と指定することもできる。あるいは複数の好みの中からある特定の対象だけに着目したい場合に、特定の対象のみを「視聴したい」と指定して後は「視聴したくない」と指定しておいても良い。
【００４５】
例えば、選手Ａと選手Ｂとのうち、選手Ａだけが映っている要約映像が必要な場合に、選手Ａは「視聴したい」と指定し、選手Ｂは「視聴したくない」と指定する、という使い方をしても良い。
【００４６】
このような要約作成情報は予め外部の記憶装置等（図示せず）に記憶させておき、入力はそこから読み出すことにより行う。
【００４７】
（重要度算出部１０４）重要度算出部１０４は入力された映像属性情報及び要約作成情報に基づいて、映像属性情報に含まれるイベント毎の重要度を算出する。
【００４８】
イベントの重要度は、要約作成情報に含まれるキーワード毎の関心度を用いて算出する。例えば、ｊ番目のイベントにおける重要度ｗｊを、キーワードの総数をＮとし、要約作成情報で指定されたｋ番目のキーワードについての関心度をａｋとして、次式で計算する。
【００４９】
【数１】
2004289513.tif 000003
【００５０】
また、重要度の算出とともに、各イベントに対して発生順に識別子を付与する。例えばｊ番目に発生したイベントであれば「ｊ」という番号を識別子として付与する。
【００５１】
（区間選択部１０５）区間選択部１０５は、算出された重要度が高い順にイベントを選択し、選択されたイベントに対応する元映像中の区間を要約映像に含める区間（選択区間）として選択する。そして、選択区間のリストである選択区間リストを生成する。
【００５２】
選択区間リストは、各選択区間の、識別子と始点時刻・終点時刻の情報とを含むものである。
【００５３】
区間選択部１０５は、選択区間の合計時間が、ユーザ指定合計時間を超えない限り、イベントを選択する処理を続ける。ただし、映像中の全てのイベントが選択された場合はその時点で選択を終了する。
【００５４】
図３は区間選択部１０５における処理の流れを説明する図である。
【００５５】
（ステップＳ１１）まだ要約映像として選択されていないイベントの中で、重要度ｗｊが最大のイベントを検索する。ここで見つかったイベントをイベントｉと呼ぶ。
【００５６】
（ステップＳ１２）既存の選択区間の合計時間とイベントｉに対応する区間の時間とを加算して予測合計時間を求め、予測合計時間とユーザ指定合計時間とを比較する。
【００５７】
予測合計時間よりもユーザ指定合計時間の方が短いか、若しくは等しい場合は、次の処理に進む。
【００５８】
（ステップＳ１３）イベントｉに対応する区間を選択区間して選択し、選択区間リストに追加する。そして、次に重要度が高いイベントを探して同様な処理を繰り返す。
【００５９】
そして、ステップＳ１２において、予測合計時間よりもユーザ指定合計時間の方が長い場合は、イベントの選択処理を終了する。
【００６０】
（選択区間調整部１０６）選択区間調整部１０６は、選択区間の合計時間がユーザ指定合計時間と等しくなるように調整を行う。
【００６１】
図１０に示すように、選択されるイベント数の増加に伴って、選択区間の合計時間は階段状に増加する。合計時間は不連続に変化するため、イベントの追加や選択済みのイベントの削除だけではユーザ指定合計時間通りの要約映像を作成することは極めて難しい。例えば、図１０の破線部分に相当する時間の要約映像は、イベントの追加・削除だけでは作成不能である。
【００６２】
そこで、選択区間調整部１０６は、各選択区間の時間長を調整して、選択区間の合計時間がユーザ指定合計時間通りになるように調整する。
【００６３】
図１２は、調整処理の流れを説明する図である。図面及び以下の説明では、選択区間の総数をｎ個とし、ｋ個目の選択区間の時間長をｔｋ秒とする。また、ユーザ指定合計時間をＴ秒とする。
【００６４】
（ステップＳ３１）まず、平均的な調整時間ｔｉ’を次式で求める。
【００６５】
【数２】
2004289513.tif 000004
【００６６】
次に、各選択区間の時間長をｔｉ’秒ずつ延長する。具体的には、各選択区間を、前後ｔｉ’／２秒ずつ延長するように、選択区間リストに登録された各選択区間の始点・終点時刻を修正する。
【００６７】
（ステップＳ３２）ステップＳ３１における各選択区間の延長により、近接する選択区間に重複部分が生じていないかを調べる。
【００６８】
選択区間リストに登録された各選択区間の始点・終点時刻の情報を、イベントの発生順に調べていく。本実施形態では識別子がイベントの発生順に割り当てた番号であるので番号順に調べればよい。
【００６９】
そして、あるイベントに対応する選択区間の終点時刻Ａが、その次に発生したイベントに対応する選択区間の始点時刻Ｂよりも前になっているかを調べる。終点時刻Ａが始点時刻Ｂより後になっていれば２つの選択区間は重複していることになる。
【００７０】
全ての選択区間を調べた結果、重複が発見されなかった場合は調整処理を終了する。
【００７１】
全ての選択区間を調べた結果、重複する部分が存在する場合はステップＳ３３の処理を行う。
【００７２】
（ステップＳ３３）重複する部分を持つ選択区間同士を合併する。
【００７３】
重複する部分を持つ全ての選択区間を合併したら、合併により短くなった分を再度調整するためにステップＳ３１に戻る。
【００７４】
（要約映像情報生成部１０７）要約映像情報生成部１０７は、選択区間リストにおける始点・終点時刻の情報を用いて、要約映像情報１０３を生成し、外部に出力する。
【００７５】
（本実施形態の効果）以上に説明したように、本実施形態の映像要約装置では、利用者の嗜好に応じて選択したイベントに対応する区間を選択区間とし、選択区間の合計時間に応じて各選択区間の時間長を調整しているので、利用者に指定された長さの要約映像を得るための要約映像情報を生成することができる。
【００７６】
（変形例１）本装置では、区間選択部１０５で選択区間の合計時間がユーザ指定合計時間以下に収まるようにイベントを選択し、選択区間調整部１０６において各選択区間を延長して、要約映像全体の合計時間を調整していた。
【００７７】
これとは逆に、区間選択部１０５で選択区間の合計時間がユーザ指定合計時間より長めになるようにイベントを選択し、選択区間調整部１０６において各選択区間を短縮して、要約映像全体の合計時間を調整しても良い。
【００７８】
（変形例２）本装置では、要約映像情報１０３を最終出力としているが、要約映像情報１０３を用いて映像から要約映像を抽出する要約映像抽出部を備えるように構成しても良い。
【００７９】
尚、要約映像情報生成部１０７の代わりに前述の要約映像抽出部を備えるようにしても良い。この場合、要約映像生成部は前述の選択区間リストを用いて映像から要約映像を抽出する。
【００８０】
（変形例３）本実施形態では、イベント発生時刻の前後所定時間（例えば、前後５秒）をイベントが映っている区間としたが、選択区間の時間長は全イベントで共通にする必要はない。
【００８１】
例えば、イベントの重要度に比例して時間長を決めても良い。或いは、重要度に応じて時間長を決める関数を用いても良いし、重要度を閾値でランク付けし、ランクに応じて時間長を決めるなど、当該イベントの重要度に応じて長くしたり短くしても良い。
【００８２】
また、各選択区間においては、必ずしもイベント発生時刻を中心にしなくても良い。例えば、イベント発生時刻の前３秒と後１０秒という時間配分でも良い。
【００８３】
（変形例４）本実施形態の映像要約装置は、コンピュータで動作するプログラムとして構成しても良い。すなわち、コンピュータに、映像属性情報入力部１０１、要約作成情報入力部１０２及び重要度算出部１０４〜要約映像情報生成部１０７の各部として機能させるためのプログラムとして構成しても良い。
【００８４】
尚、映像属性情報入力部１０１、要約作成情報入力部１０２及び重要度算出部１０４〜要約映像情報生成部１０７のうちの一部を半導体素子等のハードウエアで構成し、残りの部分をプログラムモジュールとしてソフトウエアで構成しても良い。
【００８５】
（変形例５）本実施形態では、選択区間調整部１０６において、ユーザ指定合計時間と選択区間の合計時間との差に応じて各選択区間に配分する調整時間は、均等な値（差を区関数で均等に分配）であったが、選択区間によって異なる調整時間を配分しても良い。
【００８６】
例えば、各選択区間に対応するイベントの重要度に応じて調整時間を決めても良い。あるいは、変形例３に示したように各選択区間の時間長が均一でない場合は、各選択区間の時間長に応じて調整時間を決めても良い。
【００８７】
（変形例６）本実施形態では、要約作成情報を予め外部の記憶装置等（図示せず）に記憶させておくとしたが、要約を実行する毎に外部の入力装置等（例えば、キーボードやポインティングデバイス）を用いて入力するようにしても良い。
【００８８】
（変形例７）本実施形態では、選択区間調整部１０６では、選択区間の合計時間がユーザ指定合計時間と等しくなるように選択区間それぞれの時間長を調整するとしたが、選択区間の合計時間とユーザ指定合計時間との誤差が一定の範囲内となるように調整しても良い。
【００８９】
許容する誤差の範囲は、例えば「±５秒」「−２秒から＋５秒」等と絶対的に定めても良いし、「前記要約映像の時間長の３％以内」等と相対的に定めても良い。あるいは時間そのものの代わりに「フレーム３枚分」等とフレーム数で指定しても良い。
【００９０】
許容する誤差の範囲は、設計段階で決めておいても良いし、利用者が指定できるようにしても良い。
【００９１】
（第２の実施形態）以下、本発明の第２の実施形態について説明する。
【００９２】
本実施形態の映像要約装置の構成は第１の実施形態と同様である。異なる部分を中心に説明を行う。
【００９３】
（概要）本実施形態の要約映像装置の動作の概略を説明する。
【００９４】
本実施形態の映像要約装置は、各イベントの重要度を時間の関数（イベント重要度関数）で表し、各イベント重要度関数を合成して元映像全体の重要度の時間関数（重要度曲線）を求める。そして、重要度曲線において、重要度が閾値以上となる区間を要約映像に含める区間（選択区間）として選択する。
【００９５】
選択区間の合計時間の調整は、主に閾値の調整で行う。閾値の調整だけでは対応できない場合には、区間の選択・非選択による調整も行う。
【００９６】
第１の実施形態と本実施形態とでは以下の点が異なる。
・第１の実施形態では、重要度が高いイベントから順に選択し、当該イベントに対応する区間を選択区間としていた。これに対し、本実施形態では映像全体の重要度の時間変化を求め、重要度が閾値以上となる区間を選択区間として選択する。
【００９７】
図４は本実施形態の要約映像装置における処理の流れを説明する図である。各ステップの処理の詳細に関する説明は、各々の処理を行う各部の説明において行う。
【００９８】
（ステップＳ２１）イベント毎の重要度の時間変化を表すイベント重要度関数を算出する。
【００９９】
（ステップＳ２２）元映像全体にわたる重要度の時間変化を表す重要度曲線を算出する。
【０１００】
（ステップＳ２３）ユーザ指定合計時間を満たす閾値を算出する。このステップの処理の説明は区間選択部１０５の説明において行う。
【０１０１】
本実施形態では、閾値を基準にして元映像から選択区間を選択する。そこで、選択区間の合計時間がユーザ指定合計時間に最も近くなる閾値を求める。
【０１０２】
（ステップＳ２４）重要度が閾値以上となる区間を選択区間として選択する。
【０１０３】
（ステップＳ２５）時間の調整を行う。
【０１０４】
理想的には、ステップＳ２３で閾値を求めた時に選択区間の合計時間とユーザ指定合計時間とが等しくなることが望ましい。しかし、例えばイベント重要度関数が平坦な部分を含む関数（例えば図５（Ｄ））の場合は、必ずしも等しくならないことがある。
【０１０５】
そこで、このステップでは選択区間の合計時間とユーザ指定合計時間とが等しくなるように調整する。
【０１０６】
本実施形態では、ステップＳ２１の処理は重要度算出部１０４が行う。また、ステップＳ２２〜ステップＳ２４の処理は区間選択部１０５が行う。ステップＳ２５の処理は区間選択部１０５が行う。
【０１０７】
以下、入力情報において異なる部分を中心に説明する。
【０１０８】
（要約作成情報）要約作成情報は要約を作成する時のユーザの嗜好（ユーザプリファレンス）と、ユーザが指定した要約映像の長さ（ユーザ指定合計時間）とを含む情報である。
【０１０９】
ユーザプリファレンスとは、映像中でユーザが優先的に視聴したい部分及び視聴したくない部分を求める際に参酌する情報であり、メタデータを用いて検索を行う際のキーワード、その関心度及び視聴したいか否かの情報を含むものである。
【０１１０】
ユーザプリファレンスは、この他に、時間重要度曲線及び重要度関数の数式を指定する識別子も含む。
【０１１１】
時間重要度曲線とは、例えばスポーツの試合で「試合の前半よりも後半が重要」というような、時間による重要度変化の要素を盛り込むために用いる曲線である。尚、時間重要度曲線は「広義の曲線」であるので直線も含む。
【０１１２】
重要度関数とは、各イベントの重要度の時間変化を定義する関数である。例えば、図５（Ａ）のような、イベント発生時刻ｔを重要度のピークとする関数が考えられる。これ以外の時間にピークを持つような関数や、図５（Ｃ）のような、平坦な部分を含む関数でも良い。尚、本実施形態では重要度関数として最大値が１となる関数を用いる。
【０１１３】
また、本実施形態では、時間重要度曲線及び重要度関数に関する数式とその識別子とを予め区間選択部１０５で複数種類記憶しておき、ユーザは記憶されたものの中から識別子を指定することで選択する。
【０１１４】
以下、本装置各部について第１の実施形態と異なる部分を中心に説明する。
【０１１５】
（重要度算出部１０４）重要度算出部１０４は入力された映像属性情報及び要約作成情報に基づいて、映像属性情報に含まれる各イベントのイベント重要度関数を算出する（ステップＳ２１）。
【０１１６】
元映像でｉ番目に発生したイベントのイベント重要度関数Ｅｉ（ｔ）は、要約作成情報で指定されたｋ番目のキーワードについての関心度ａｋ及び重要度関数ｆｉ（ｔ）を用いて次式で表される（キーワードはＮ個とする）。
【０１１７】
【数３】
2004289513.tif 000005
【０１１８】
これにより求められたイベント重要度関数Ｅｉ（ｔ）が表す曲線は図５（Ｂ）及び図５（Ｄ）のようになる。すなわち、元の重要度関数が表す曲線（図５（Ａ）及び図５（Ｃ））を重要度方向（図中では上下方向）に伸縮させた曲線となる。
【０１１９】
（区間選択部１０５）区間選択部１０５は、映像全体にわたる重要度の時間変化を表す重要度曲線を求め、重要度が閾値以上となる区間を選択区間として選択する（ステップＳ２２〜ステップＳ２４）。
【０１２０】
まず、重要度算出部１０４で算出した、元映像で発生した各イベントのイベント重要度関数Ｅｉ（ｔ）と、要約作成情報で指定された時間重要度曲線Ｔ（ｔ）とを合成して、元映像全体にわたる重要度の時間変化を表す重要度曲線ＥＲ（ｔ）を求める。本実施形態ではＥＲ（ｔ）を次式で求める（ステップＳ２２）。
【０１２１】
【数４】
2004289513.tif 000006
【０１２２】
図６は、重要度曲線３０３を、イベント重要度関数３０１と時間重要度曲線３０２とを加算して求めた場合の一例である。
【０１２３】
次に、選択区間の合計時間が、要約作成情報で指定されているユーザ指定合計時間に最も近くなる閾値を求める（ステップＳ２３）。
【０１２４】
本実施形態では、重要度曲線３０３において閾値以上になる区間を選択区間とする。従って、図９に示すように、高い閾値（閾値９０１）では選択区間は少なくなり、低い閾値（閾値９０２）では選択区間は多くなる。
【０１２５】
従って、閾値と選択区間の合計時間との関係は図８に示すように、閾値が高くなるほど選択区間の合計時間が短くなり、閾値が低くなるほど選択区間の合計時間が長くなる。
【０１２６】
そこで、閾値を変化させながら、選択区間の合計時間がユーザ指定合計時間に最も近くなる値を求める。尚、本実施形態の区間選択部１０５は、選択区間の合計時間がユーザ指定合計時間を上回らない範囲で閾値を求めるものとする。
【０１２７】
そして、重要度が求めた閾値以上になる区間を選択区間として選択する（ステップＳ２５）。
【０１２８】
（選択区間調整部１０６）選択区間の合計時間の調整を行う（ステップＳ２６）。
【０１２９】
前述したように、イベント重要度関数が平坦な部分を含む関数の場合、すなわち重要度関数が平坦な部分を含む関数（例えば図５（Ｃ））の場合は、選択区間の合計時間とユーザ指定合計時間とが等しくできないことがある。
【０１３０】
図１１は、重要度関数として平坦な部分を含む関数を用いた場合に、閾値の変化に対して選択区間の合計時間が不連続になる場合の一例を表すグラフである。ギャップ１１０１及びギャップ１１０２の部分で選択区間の合計時間が不連続となっているため、閾値を調整しても、選択区間の合計時間を値域１１０３及び値域１１０４の範囲とすることができない。
【０１３１】
選択区間調整部１０６では、このようなケースでも選択区間の合計時間がユーザ指定合計時間と等しくなるように調整を行う。
【０１３２】
図１３は選択区間調整部１０６で行う処理の流れを説明する図である。以下、図１４及び図１５を一例として処理の流れを説明する。
【０１３３】
図１４及び図１５は重要度関数として平坦な部分を含む関数を用いた場合に、閾値の変化に対して作成される選択区間の合計時間が不連続になる場合について説明する図である。
【０１３４】
図１４は映像の時間に対する重要度の変化を示している。重要度の閾値を変えたときに選択される区間を太線で表してある。閾値１４１１の場合は区間１４０２及び区間１４０５が選択され、閾値１４１２の場合は区間１４０１及び区間１４０４が選択され、そして閾値１４１３の場合は区間１４０３が選択される。
【０１３５】
図１５は、図１４の場合おける選択区間の合計時間と閾値との関係を表すグラフである。図１４の区間１４０１は、閾値１４１２を境に、これより低い閾値（例えば閾値１４１１）では要約映像に含まれるが、これより高い閾値（例えば閾値１４１３）では要約映像に含まれなくなる。
【０１３６】
この影響により図１５でもギャップ１５０１が生じ、閾値１４１２を境に選択区間の合計時間が不連続となっているため、合計時間がギャップ１５０１の範囲内となる要約映像は閾値の調整だけでは作れない。
【０１３７】
（ステップＳ４１）要約映像に含める区間を拡張するために重要度の閾値を引き下げる。例えば、図１４において閾値１４１３から閾値１４１２へ引き下げる。
【０１３８】
（ステップＳ４２）重要度に関する新たな閾値に基づいて、閾値以上の区間を選択区間とする（選択区間リストに登録する）。
【０１３９】
（ステップＳ４３）前の閾値で選択区間になっておらず、かつ、重要度曲線が平坦な部分を含む選択区間を、選択区間リストから除外する。
【０１４０】
前の閾値では選択区間でなかった選択区間については、重要度曲線における傾きを調べる。そして、重要度曲線が平坦な部分を含む選択区間については、選択区間リストから除外する。
【０１４１】
例えば、図１４において、閾値を閾値１４１３から閾値１４１２に引き下げると、区間１４０１が新たに閾値以上となりステップＳ４２で選択区間として選択される。しかし、区間１４０１では重要度曲線の傾きが０で平坦になっているので、本ステップ（ステップＳ４３）で選択区間リストから除外する。
【０１４２】
従って、図１６に示すように、選択区間の合計時間（要約映像の時間長）は、区間１４０３から区間１４０４に拡張された分だけ延長される。区間１４０３から区間１４０４は連続的に変化するので、選択区間の合計時間は図１７に示すように、ギャップ１５０１の部分でも連続的に変化する。
【０１４３】
（ステップＳ４４）選択区間の合計時間がユーザ指定合計時間未満かを調べる。
【０１４４】
選択区間の合計時間がユーザ指定合計時間未満の場合はステップＳ４１へ戻り、さらに閾値を引き下げて要約映像に含める区間を拡張する。選択区間の合計時間がユーザ指定合計時間以上の場合は次のステップの処理を行う。
【０１４５】
（ステップＳ４５）選択区間の合計時間がユーザ指定合計時間より大きいかを調べる。
【０１４６】
選択区間の合計時間がユーザ指定合計時間より大きい場合はステップＳ４６の処理を行う。
【０１４７】
選択区間の合計時間がユーザ指定合計時間より大きくない場合は、ステップＳ４４の結果と合わせると、選択区間の合計時間とユーザ指定合計時間とが等しくなったことを意味するので、合計時間の調整処理を終了する。
【０１４８】
（ステップＳ４６）閾値の上下幅を小さくするとともに、閾値を引き上げる。
【０１４９】
選択区間の合計時間がユーザ指定合計時間より大きくなってしまったので、閾値を高くして選択区間の合計時間を減らす。この時、閾値を上下幅を小さく、例えば半減しておく。
【０１５０】
（ステップＳ４７）閾値の上下幅が下限より小さいか調べる。
【０１５１】
閾値の上下幅に下限を設けておき、下限より小さくなったら合計時間の調整処理を終了する。閾値の上下幅が下限以上ならば、その上下幅を用いてステップＳ４２に戻って処理を続行する。
【０１５２】
（本実施形態の効果）以上に説明したように、本実施形態の映像要約装置では、イベントの重要度を利用者の嗜好をより反映しやすい時間の関数として評価した場合、特に、平坦な部分を含む関数で評価した場合でも、利用者に指定された長さの要約映像を得るための要約映像情報を生成することができる。
【０１５３】
（変形例１）本実施形態では、数３で表されるように、イベント重要度関数を重要度関数に関心度を乗じて算出したが、これに限らず、例えば、重要度関数を時間方向（裾の広がりなど）に変化させたものをイベント重要度関数としても良い。また、乗算と時間方向の変化とを組み合わせても良い。
【０１５４】
さらに、関心度に対して補正項を設けても良い。これは、キーワードのマッチング以外の要因で重要度を変化させるためのものである。例えばスポーツの試合での逆転シーンなど試合展開上重要なイベントや、連続安打等で活躍した選手に関するシーンの重要度を高める等の処理に用いるものである。
【０１５５】
（変形例２）本実施形態では、数４で表されるように、重要度曲線３０３を、イベント重要度関数３０１と時間重要度曲線３０２との和で求めているが、これに限らず、時刻ｔにおけるイベント重要度関数Ｅｉ（ｔ）及び時間重要度曲線Ｔ（ｔ）の最大値を用いても良い。数式で表すと次式のようになる。
【０１５６】
【数５】
2004289513.tif 000007
【０１５７】
この場合の重要度曲線は、図７の重要度曲線４０１のようになり、イベントが集中した部分で重要度が高くなりすぎるのを抑えることができる。
【０１５８】
（変形例３）本実施形態では、前の閾値で要約映像に含まれておらず、かつ、重要度曲線が平坦な部分を含む区間を要約映像から除外している。しかし、そのような区間であっても、図１８のように、適宜要約映像に含めてるようにしても良い。
【０１５９】
例えば、閾値１８００のから徐々に閾値を下げていく場合を考える。閾値１８００では要約映像に含まれる区間は区間９００だけである。
【０１６０】
ここから閾値を引き下げて要約映像に含める区間を拡張していくと、閾値１８０１の時に突然平坦部９０１が閾値以上となる。しかし、平坦部９０１を要約映像に含めてしまうと選択区間の合計時間が不連続に変化してしまうので、この部分を要約映像に含めないでおく。
【０１６１】
さらに閾値を引き下げると、閾値１８０２の時に突然平坦部９０２のが閾値以上となる。しかし平坦部９０２を要約映像に含めてしまうと選択区間の合計時間が不連続になってしまうので、この部分も要約映像に含めないでおく。
【０１６２】
さらに閾値を引き下げ、閾値１８０３の時の区間９０３の長さが、区間９０４と平坦部９０５とを合わせた長さと等しくなったとする。
【０１６３】
この場合、区間９０３からさらに閾値を下げて区間を拡張しても良い。あるいは、閾値を一旦閾値１８０２に引き上げて、新たに平坦部９０５を要約映像に含めるようにしても良い。
【０１６４】
（変形例４）本実施形態で、重要度曲線の傾きが「平坦」と表現したものは、必ずしも傾きが０である必要はなく、傾きが小さい場合を含む。重要度の閾値の上下幅に比べて、重要度曲線の傾きが小さいために選択区間の合計時間が急激に変化する場合は「平坦」とみなしても良い。急激に変化したか否かは、例えば、重要度の閾値を変える前と後とで要約映像の合計時間の変化量を適宜設定した変化量の閾値と比較すればよい。
【０１６５】
（変形例５）また、映像にオブジェクト情報が含まれ、ここのオブジェクトごとに存在区間を求める場合であっても、同様な処理をオブジェクトごとに行うことにより調整をおこなうことができる。
【０１６６】
（変形例６）本実施形態では映像について説明を行ったが、メタデータ等が与えられていれば音声情報の要約に対しても同様に処理を行うことが出来る。
【０１６７】
（変形例７）第１の実施形態の変形例３と同様、本実施形態の最終出力を要約映像そのものにしても良い。
【０１６８】
（変形例８）尚、本実施形態のステップＳ４４において「選択区間の合計時間がユーザ指定合計時間以上」と判定された場合には合計時間の調整処理を終了し、ステップＳ４５、ステップＳ４６及びステップＳ４７の処理を行わないように構成しても良い。
【０１６９】
（変形例９）本実施形態では、選択区間調整部１０６では、選択区間の合計時間がユーザ指定合計時間と等しくなるように選択区間それぞれの時間長を調整するとしたが、選択区間の合計時間とユーザ指定合計時間との誤差が一定の範囲内となるように調整しても良い。
【０１７０】
許容する誤差の範囲は、例えば「±５秒」「−２秒から＋５秒」等と絶対的に定めても良いし、「前記要約映像の時間長の３％以内」等と相対的に定めても良い。あるいは時間そのものの代わりに「フレーム３枚分」等とフレーム数で指定しても良い。
【０１７１】
許容する誤差の範囲は、設計段階で決めておいても良いし、利用者が指定できるようにしても良い。
【０１７２】
（第３の実施形態）本実施形態では、映像要約装置をネットワーク経由で使用した要約映像配信システムについて説明する。
【０１７３】
図１９は本実施形態の要約映像配信システムについて説明する図である。このシステムにはネットワーク１９３０を介して映像要約装置１９１０と利用者端末１９２０とが接続されている。
【０１７４】
映像要約装置１９１０は、利用者端末１９２０から、ネットワーク１９３０を介して、要約映像に関する利用者の希望を受け取る。映像要約装置１９１０は、利用者の希望に基づいて要約映像を生成し、利用者端末１９２０に要約映像を送信する。
【０１７５】
映像要約装置１９１０は、映像及びメタデータを蓄積する蓄積部１９１３と、要約映像を生成する要約映像生成部１９１２とネットワークを介して通信を行う通信部１９１１とを備える。
【０１７６】
利用者端末１９２０は映像やＧＵＩ等を表示する表示部１９２３と、利用者がＧＵＩ等を操作するための操作部１９２４と、ネットワーク１９３０を介して通信を行う通信部１９２１とを備える。さらに、ＧＵＩの生成・制御、映像の再生処理等を行うプロセッサに相当する制御部１９２２を備える。
【０１７７】
利用者端末１９２０はＧＵＩを表示して利用者からの命令を受け取る。利用者は操作部１９２４を介して、例えば「要約映像の取得」「再生開始」「再生終了」等の命令を与える。
【０１７８】
利用者端末１９２０は利用者から要約映像の取得を命令されると、ＧＵＩを表示して利用者に取得する映像のタイトルと嗜好情報と要約映像の時間長とを入力するように促す。入力された情報をネットワークを介して映像要約装置１９１０に送信する。
【０１７９】
映像要約装置１９１０は利用者端末１９２０から受信した情報に基づいて要約映像を生成する。映像要約装置１９１０は、指定されたタイトルの映像並びにメタデータを蓄積部１９１３から読み出し、要約映像生成部１９１２で利用者が希望する時間長の要約映像を生成する。映像要約装置１９１０は生成した要約映像を利用者端末１９２０へ送信する。
【０１８０】
利用者端末１９２０は受信した要約映像を制御部１９２２において再生して表示部１９２３に表示する。
【０１８１】
（変形例）本実施形態では映像要約装置１９１０で映像の要約を行っているが、この構成に限らない。
【０１８２】
例えば、利用者端末１９２０が予め取得（例えば、ネットワーク１９３０を介して他のサーバ等から取得）したメタデータを用いて要約映像情報を生成し、要約映像情報に基づいてネットワークを介して映像配信サーバ等から映像を取得しても良い。この場合、要約映像情報に基づいて要約映像の部分の映像のみを取得する。
【０１８３】
あるいは、映像要約装置で要約映像情報のみを生成して利用者端末１９２０に送信しても良い。利用者は要約映像情報を用いてローカル若しくはネットワーク経由で要約映像を取得しても良い。
【０１８４】
【発明の効果】
以上、本発明によれば、利用者に指定された長さの要約映像若しくは指定された長さの要約映像を得るための要約映像情報を生成することができる。
【図面の簡単な説明】
【図１】第１の実施形態の映像要約装置の構成を説明する図。
【図２】映像属性情報の一例を説明する図。
【図３】第１の実施形態における区間選択手法を説明する図。
【図４】第２の実施形態における区間選択手法を説明する図。
【図５】重要度関数とイベント重要度関数の例を説明する図。
【図６】イベント重要度関数と時間重要度関数とを合成して映像全体の重要度曲線を求める図。
【図７】イベント重要度関数と時間重要度関数とを合成して映像全体の重要度曲線を求める図。
【図８】重要度の閾値と選択区間の合計時間との関係を表す図。
【図９】重要度の閾値と要約映像に選択される区間の関係を表す図。
【図１０】選択する区間の数と選択区間の合計時間との関係を表す図。
【図１１】重要度の閾値と選択区間の合計時間との関係を表す図。
【図１２】選択区間の合計時間を調整する一手法について説明する図。
【図１３】選択区間の合計時間を調整する一手法について説明する図。
【図１４】選択区間の合計時間の変化が不連続になる例について説明する図。
【図１５】選択区間の合計時間の変化が不連続になる例について説明する図。
【図１６】選択区間の合計時間の変化を連続的にさせる手法について説明する図。
【図１７】選択区間の合計時間の変化を連続的にさせる手法について説明する図。
【図１８】選択区間の合計時間の変化を連続的にさせる手法について説明する図。
【図１９】第３の実施形態の要約映像配信システムの構成を説明する図。
【符号の説明】
１０１  映像属性情報入力部
１０２  要約作成情報入力部
１０３  要約映像情報
１０４  重要度算出部
１０５  区間選択部
１０６  選択区間調整部
１０７  要約映像情報生成部
【図１】
2004289513.tif 000008
【図２】
2004289513.tif 000009
【図３】
2004289513.tif 000010
【図４】
2004289513.tif 000011
【図５】
2004289513.tif 000012
【図６】
2004289513.tif 000013
【図７】
2004289513.tif 000014
【図８】
2004289513.tif 000015
【図９】
2004289513.tif 000016
【図１０】
2004289513.tif 000017
【図１１】
2004289513.tif 000018
【図１２】
2004289513.tif 000019
【図１３】
2004289513.tif 000020
【図１４】
2004289513.tif 000021
【図１５】
2004289513.tif 000022
【図１６】
2004289513.tif 000023
【図１７】
2004289513.tif 000024
【図１８】
2004289513.tif 000025
【図１９】
2004289513.tif 000026