(57)【特許請求の範囲】
【請求項１】
複数の映像と，各映像に付帯するメタデータとにより構成される映像群が与えられたとき，これらの映像群に対する要約映像を生成する映像要約装置であって，
前記映像群に含まれる各映像を映像区間に分割する映像区間分割手段と，
前記映像区間ごとに特徴量を抽出する映像区間特徴量抽出手段と，
前記映像に付帯するメタデータと前記映像区間の分割情報と各映像区間ごとの特徴量とを記憶する記憶手段と，
要約生成要求を受け付け，前記記憶手段を参照して，受け付けた要求に対応する一つ以上の前記映像区間を選定する映像区間群選定手段と，
前記選定された映像区間群に含まれる映像区間が属する映像のメタデータもしくは前記抽出した特徴量，またはその双方の情報を用いて，一つ以上の前記映像区間を選択し，その時間順序を定めた順序付き映像区間集合に対する所定の評価関数により算出される評価値を最大とする順序付き映像区間集合を求める評価関数最適化手段と，
前記求められた順序付き映像区間集合を結合して要約映像を生成する要約映像生成手段とを備え，
前記評価関数は，順序付き映像区間の視聴しやすさを求める項であって，映像区間の順序付き集合について隣り合う映像区間に付与されたメタデータの類似性もしくは隣り合う映像区間の特徴量の類似性，またはその双方の類似性を評価する項を含む
ことを特徴とする映像要約装置。
【請求項２】
請求項１記載の映像要約装置において，
前記特徴量が，前記映像区間に含まれる所定の位置にある画像フレームから，明るさ特徴，色特徴，動き特徴，テクスチャ特徴，コンセプト特徴，景観特徴のうち，少なくとも一つを抽出することによって構成されるベクトルである
ことを特徴とする映像要約装置。
【請求項３】
請求項１または請求項２記載の映像要約装置において，
前記特徴量が，前記映像区間に含まれる所定の位置にある音信号から，音高特徴，音圧特徴，スペクトル特徴，リズム特徴，発話特徴，音楽特徴，音イベント特徴のうち，少なくとも一つを抽出することによって構成されるベクトルである
ことを特徴とする映像要約装置。
【請求項４】
請求項１，請求項２または請求項３記載の映像要約装置において，
前記映像区間群選定手段は，ユーザからのキーワードによる要約生成要求を受け付け，当該キーワードと前記記憶手段に記憶された映像のメタデータとの適合を判定することによって，当該キーワードと映像との関連性を判断し，関連した映像から分割された前記映像区間を選定する
ことを特徴とする映像要約装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の映像要約装置において，
前記評価関数は，さらに，
順序付き映像区間集合の要求に対する適合性を求める項，順序付き映像区間集合に含まれる映像区間の意味内容の網羅性を求める項，順序付き映像区間集合に含まれる映像区間の特徴の網羅性を求める項，順序付き映像区間の時間長を求める項のうち，少なくとも一つを加えて構成される
ことを特徴とする映像要約装置。
【請求項６】
複数の映像と，各映像に付帯するメタデータとにより構成される映像群を記憶する記憶手段を備え，これらの映像群に対する要約映像を生成する，映像要約装置が実行する映像要約方法であって，
前記映像群に含まれる各映像を映像区間に分割し，記憶手段に記憶する映像区間分割処理と，
前記映像区間ごとに特徴量を抽出し，前記記憶手段に記憶する映像区間特徴量抽出処理と，
要約生成要求を受け付け，前記記憶手段を参照して，受け付けた要求に対応する一つ以上の前記映像区間を選定する映像区間群選定処理と，
前記選定された映像区間群に含まれる映像区間が属する映像のメタデータもしくは前記抽出した特徴量，またはその双方の情報を用いて，一つ以上の前記映像区間を選択し，その時間順序を定めた順序付き映像区間集合に対する所定の，順序付き映像区間の視聴しやすさを求める項であって，映像区間の順序付き集合について隣り合う映像区間に付与されたメタデータの類似性もしくは隣り合う映像区間の特徴量の類似性，またはその双方の類似性を評価する項を含む評価関数により算出される評価値を最大とする順序付き映像区間集合を求める評価関数最適化処理と，
前記求められた順序付き映像区間集合を結合して要約映像を生成する要約映像生成処理とを実行する
ことを特徴とする映像要約方法。
【請求項７】
請求項６記載の映像要約方法において，
前記特徴量が，前記映像区間に含まれる所定の位置にある画像フレームから，明るさ特徴，色特徴，動き特徴，テクスチャ特徴，コンセプト特徴，景観特徴のうち，少なくとも一つを抽出することによって構成されるベクトルであり，さらに，所定の位置にある音信号から，音高特徴，音圧特徴，スペクトル特徴，リズム特徴，発話特徴，音楽特徴，音イベント特徴のうち，少なくとも一つを抽出することによって構成されるベクトルである
ことを特徴とする映像要約方法。
【請求項８】
請求項６または請求項７記載の映像要約方法において，
前記映像区間群選定処理では，ユーザからのキーワードによる要約生成要求を受け付け，当該キーワードと前記記憶手段に記憶された映像のメタデータとの適合を判定することによって，当該キーワードと映像との関連性を判断し，関連した映像から分割された前記映像区間を選定する
ことを特徴とする映像要約方法。
【請求項９】
請求項６，請求項７または請求項８記載の映像要約方法において，
前記評価関数は，さらに，
順序付き映像区間集合の要求に対する適合性を求める項，順序付き映像区間集合に含まれる映像区間の意味内容の網羅性を求める項，順序付き映像区間集合に含まれる映像区間の特徴の網羅性を求める項，順序付き映像区間の時間長を求める項のうち，少なくとも一つを加えて構成される
ことを特徴とする映像要約方法。
【請求項１０】
請求項６から請求項９までのいずれか１項に記載の映像要約方法をコンピュータに実行させるための映像要約プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，一つ以上の映像を含む映像群から，映像の意味的な網羅性と見た目の多様性を評価して，一つの短い要約映像を生成する映像要約装置，映像要約方法および映像要約プログラムに関する。
【背景技術】
【０００２】
通信を利用した映像の配信と共有が活発化し，オンラインで流通する映像の数は膨大な量となっている。ある動画共有サイトでは，現在，１分当たり２４時間分の映像が新規公開されていると報告されている。動画共有サイトでは，１本当たりの動画は平均約２分３０秒程度であるといわれている。仮に，１分当たり２４時間分の映像が公開されているとすると，５００本／分を超える映像が公開され続けている計算である。
【０００３】
視聴者は，非常に多くの映像の中から，視聴したいと思うような興味のある映像を探し出す必要がある。映像を探すプロセスは大まかに次の通りである。
（１）何らかの方法で映像を検索する。通常はキーワード検索が行われる。
（２）検索結果として提示されたものの中から，興味に合致しそうなものを再生・試聴する。
（３）興味に合ったものであれば視聴を続け，そうでない場合には（１）または（２）に戻る。
【０００４】
このプロセスは，非常に時間がかかるものであり，特に，（２）と（３）にかかる時間が大きい。映像は，時間軸を持ったメディアであるため，実際に再生し，時間をかけて視聴・試聴しなければ，内容がわからない。このため，本当に興味のあるものであったのか，視聴したいものであったのかを判断するためにも，必要となる時間は大きくなってしまうのである。
【０００５】
このような，映像の内容を確認・試聴するための時間を削減すべく，従来から映像要約に関する技術が発明されてきた。例えば特許文献１記載の技術では，映像中の音声の強調状態を判定し，より強調された発話を含む映像区間を要約に含める技術が開示されている。この技術では，映像中の盛り上がっている映像区間を効率的に試聴できるため，効率的な試聴が可能となっている。
【０００６】
また，特許文献２には，映像中の画像，音声に見られる特徴的な変化を重要なイベントであると仮定して検知し，イベントが少数しか検知されなかった区間をより高速に（スキップ）再生することで，重要でない区間をスキップする映像要約技術について開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２５９３１１号公報
【特許文献２】特開２０１０−３９８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上に述べた従来の映像要約技術は，一つの映像から一つの要約映像を生成することを目的としていた。すなわち，仮に１０本の映像を要約したとすると，１０本の要約映像が生成されることになるのである。これらは，要約すべき対象となる映像が少数である場合には，短い時間で内容を確認できるため，効率的かつ効果的な解決策となり得る。しかしながら，対象となる映像が非常に多数存在するような場合，このような技術だけでは，現実的に有効な要約映像を提供できない。
【０００９】
前述の通り，現在の動画共有サイトには，毎分５００本もの映像が新規公開されている。これら新規映像すべてを要約し，ユーザに新着映像を要約で確認できるシステムを構成したいとする。前述の技術では，一本の映像につき一本の要約映像を生成するため，生成される要約映像の数は，５００本／分になってしまう。
【００１０】
また，仮に映像一本当たり１０秒の要約映像を生成したとすると，生成される要約映像の総時間長は，５００本／分×１０秒＝５０００本・秒／分，すなわち，総時間約１時間２０分にも及ぶ要約映像が生成されることとなる。１分当たりに１分を遥かにしのぐ時間の要約映像が生成されるのである。一本ずつ要約映像を生成する技術では，原理的に，本質的な解決を与えないことは明らかである。
【００１１】
本発明は，この課題を解決すべく，一本の映像から一本の要約映像を生成するのではなく，複数の映像から一本の要約映像を生成する映像要約技術の提供を目的とするものである。
【課題を解決するための手段】
【００１２】
本発明の着眼点を説明する。大量の映像の中には，別々の映像であっても，意味内容や見た目が同一，あるいは，非常に類似したものが数多く含まれているといわれている。例えば，ある動画共有サイトでは，特定のキーワードを用いて検索を実施した際に，検索結果にリストアップされた映像のうち，平均的には１４％程度，多いものでは７０％以上が完全，あるいは，部分的に重複する区間を持つ映像であるといわれている。
【００１３】
本発明の基本的な着眼点の一つは，この「複数の映像は似たような意味内容・見た目となる映像区間を有している」ことを利用し，複数の映像をまとめて要約することである。すなわち，異なる映像ファイルのうち，似たような区間はなるべく重複しないように要約映像を生成するのである。
【００１４】
例を挙げる。ある２本の映像があるとする。簡単のため，それぞれの時間長は６０秒とする。仮に，これら２本の映像ファイルの中で，１０秒分の類似する映像区間が含まれており，さらに，この映像区間が，要約映像に含まれてしかるべき重要な映像区間であったとしよう。従来の「一本ずつ個別に要約する方法」では，一本あたり１０秒の要約映像を生成するとすれば，２本×１０秒，合わせて２０秒分の要約映像を生成することになる。この２０秒の要約映像は，２本の映像からそれぞれ１０秒分，互いに類似する映像区間２０秒から構成される要約映像となってしまう。
【００１５】
一方で，本発明による「複数の映像をまとめて要約する方法」では，２つの映像が持つ類似区間をなるべく含まないように要約映像を生成するため，どちらか一方の類似区間のみを含む，計１０秒分の要約映像を，２本の映像をまとめた要約映像として出力するのである。
【００１６】
以上の点を踏まえて，前記課題を解決すべく，第一の発明は，複数の映像と，各映像に付帯するメタデータとにより構成される映像群が与えられたとき，これらの映像群に対する要約映像を生成する映像要約装置であって，前記映像群に含まれる各映像を映像区間に分割する映像区間分割手段と，前記映像区間ごとに特徴量を抽出する映像区間特徴量抽出手段と，前記映像に付帯するメタデータと前記映像区間の分割情報と各映像区間ごとの特徴量とを記憶する記憶手段と，要約生成要求を受け付け，前記記憶手段を参照して，受け付けた要求に対応する一つ以上の前記映像区間を選定する映像区間群選定手段と，前記選定された映像区間群に含まれる映像区間が属する映像のメタデータもしくは前記抽出した特徴量，またはその双方の情報を用いて，一つ以上の前記映像区間を選択し，その時間順序を定めた順序付き映像区間集合に対する所定の評価関数により算出される評価値を最大とする順序付き映像区間集合を求める評価関数最適化手段と，前記求められた順序付き映像区間集合を結合して要約映像を生成する要約映像生成手段とを備え，前記評価関数は，順序付き映像区間の視聴しやすさを求める項であって，映像区間の順序付き集合について隣り合う映像区間に付与されたメタデータの類似性もしくは隣り合う映像区間の特徴量の類似性，またはその双方の類似性を評価する項を含むことを特徴とする。
【００１７】
第一の発明によれば，複数の映像に含まれる映像区間を対象に，その映像群をまとめた一つの要約映像を自動生成することができる。
【００１８】
第二の発明は，前記第一の発明において，前記特徴量が，前記映像区間に含まれる所定の位置にある画像フレームから，明るさ特徴，色特徴，動き特徴，テクスチャ特徴，コンセプト特徴，景観特徴のうち，少なくとも一つを抽出することによって構成されるベクトルであることを特徴とする。
【００１９】
第三の発明は，前記第一または第二の発明において，前記特徴量が，前記映像区間に含まれる所定の位置にある音信号から，音高特徴，音圧特徴，スペクトル特徴，リズム特徴，発話特徴，音楽特徴，音イベント特徴のうち，少なくとも一つを抽出することによって構成されるベクトルであることを特徴とする。
【００２０】
第二，第三の発明によれば，映像区間の画像，音特徴に基づいて，見た目の類似性を精度よく測ることができるため，より効果の高い要約映像を生成することができる。
【００２１】
第四の発明は，前記第一，第二または第三の発明において，前記映像区間群選定手段は，ユーザからのキーワードによる要約生成要求を受け付け，当該キーワードと前記記憶手段に記憶された映像のメタデータとの適合を判定することによって，当該キーワードと映像との関連性を判断し，関連した映像から分割された前記映像区間を選定することを特徴とする。
【００２２】
第四の発明によれば，ユーザが要約映像を得たい際，キーワードという簡単な形式の要求のみによって，それに適合した要約映像を生成できるようになる。
【００２３】
第五の発明は，前記第一から第四の発明までのいずれかの発明において，前記評価関数は，さらに，順序付き映像区間集合の要求に対する適合性を求める項，順序付き映像区間集合に含まれる映像区間の意味内容の網羅性を求める項，順序付き映像区間集合に含まれる映像区間の特徴の網羅性を求める項，順序付き映像区間の時間長を求める項のうち，少なくとも一つを加えて構成されることを特徴とする。
【００２４】
前記第五の発明によれば，映像の意味的な網羅性，見た目の多様性といった，要約映像として満たすべき性質を適当に評価する評価関数となるため，利用しやすく，効果の高い要約映像を生成することができる。
【００２５】
また，以上の映像要約装置が実行する映像要約方法も本発明の特徴である。
【００２６】
この本発明に係る映像要約方法は，コンピュータプログラムでも実現できるものであり，このコンピュータプログラムは，適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり，ネットワークを介して提供されたりしてもよく，本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【発明の効果】
【００２７】
以上示したように，本発明によれば，複数の映像を，意味的な網羅性と見た目の多様性を保持した，一つの要約映像にまとめる映像要約装置，映像要約方法，映像要約プログラムを提供することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係る映像要約装置の構成例を示す図である。
【図２】映像要約処理のフローチャートである。
【図３】記憶部に格納された映像区間情報の一例を示す図である。
【図４】評価関数最適化処理の一例を示す図である。
【発明を実施するための形態】
【００２９】
以下，実施の形態に従って本発明を詳細に説明する。
【００３０】
図１に，本発明に係る映像要約装置の装置構成の一例を図示する。この図に示すように，映像要約装置１は，映像入力部１００と，記憶部１０１と，映像区間分割部１０２と，映像区間特徴量抽出部１０３と，映像区間群選定部１０４と，評価関数最適化部１０５と，要約映像生成部１０６とを備える。
【００３１】
本実施形態の一例として，映像入力から映像区間分割，および映像区間特徴量抽出までを，前処理として事前に行っておき，後に，ユーザからの要求に応じて，要約映像を生成する要約処理のみを行う例について説明する。
【００３２】
映像入力部１００は，複数の映像からなる映像群２を入力して，それを記憶部１０１に格納する。この際，映像のタイトルなどのメタデータも合わせて格納しておく。
【００３３】
映像区間分割部１０２は，記憶部１０１に格納されている各映像それぞれを，複数の映像区間に分割する。本実施形態の一例では，分割した映像区間の時刻情報（開始点，終了点）を，記憶部１０１に格納しておく。
【００３４】
映像区間特徴量抽出部１０３は，映像区間の持つ画像情報や音情報を分析し，各映像区間の持つ特徴量を抽出して出力する。本実施形態の一例では，抽出した映像区間ごとの特徴量を記憶部１０１に出力し，格納しておく。
【００３５】
ここまでの処理を以て，記憶部１０１には，予め入力された映像に対して，その映像のメタデータ，分割された映像区間の時刻情報（開始点，終了点），および，各映像区間の特徴量が関連づけられて記憶されることとなる。誤解が生じない場合，この記憶された情報を映像区間情報と呼ぶことがある。
【００３６】
映像区間群選定部１０４は，要約生成処理の対象となる映像の映像区間を選定し，付帯する映像区間情報を記憶部１０１から読み込む。評価関数最適化部１０５は，読み込んだ映像区間情報群に対して，予め設計した評価関数が最大となるような映像区間群を選定し，出力する。最後に，要約映像生成部１０６は，評価関数最適化部１０５が出力した映像区間群を結合し，要約映像３を生成して出力する。
【００３７】
このようにして，本発明の映像要約装置では，複数の映像を，人手を介することなく，一つの要約映像３に要約して出力する。
【００３８】
図２に，このように構成される映像要約装置１の実行する映像要約処理のフローチャートを図示する。このフローチャートを用いて，本実施形態の一例において実行される映像要約処理について詳述する。
【００３９】
本映像要約の処理は，大別して図２（Ａ）に示す前処理と図２（Ｂ）に示す要約処理とからなる。前処理では，入力された映像群２に対して映像区間分割処理を施し，必要な映像区間情報を抽出して記憶部１０１に登録しておく。要約処理では，ユーザからの要求に応じて，要約処理の対象となる区間情報を，記憶部１０１から読み出し，要約生成処理を実施する。以降，前処理と要約処理について，その処理内容を詳述する。
【００４０】
〔前処理〕
図２（Ａ）のフローチャートに示すように，前処理では，ステップＳ２０１〜Ｓ２０３までの３段階の処理を経る。
【００４１】
まず，ステップＳ２０１では，映像入力部１００によって，処理対象となる映像群２を入力する。これらの映像群２は，全て同時に入力されるものとしても構わないし，一つ一つ異なるタイミングで入力されるものであってもよい。入力された各映像は，映像のメタデータと共に，記憶部１０１に記憶される。メタデータとは，映像に関連する情報を記載したデータであり，例えば，映像のタイトル，概要文，時間長，フォーマット，映像内容を表現したキーワードなどを含むものである。本実施形態の一例においては，映像内容を表現したキーワード，タイトル，概要文のうち，少なくともいずれか一つを含んでいる場合について述べる。記憶部１０１がリレイショナルデータベースシステムである場合には，このようなメタデータを映像と関連づけて記憶できるため，好適である。
【００４２】
続いて，ステップＳ２０２では，記憶部１０１に格納された映像それぞれに対して，映像区間分割部１０２によって映像区間分割処理を施す。この映像区間分割は，予め決定しておいた一定の間隔で分割するものとしてもよいし，例えば下記の参考文献１に記載される方法など，映像が不連続に切れる点であるカット点によって分割するものとしてもよい。
［参考文献１］：Y. Tonomura, A. Akutsu, Y. Taniguchi, and G. Suzuki,“Structured Video Computing”, IEEE Multimedia, pp.34-43, 1994 。
【００４３】
望ましくは，後者の方法を採用する。映像区間分割処理の結果として，区間の開始点（開始時刻）と終了点（終了時刻）が得られるが，この時刻情報も，映像区間情報として記憶部１０１に記憶しておく。
【００４４】
次に，ステップＳ２０３では，映像区間特徴量抽出部１０３によって，映像区間中の画像・音情報から，映像区間特徴量の抽出を行う。映像区間特徴量は，画像から抽出するものと，音から抽出するものがある。いずれも，例えば５０ｍｓなどの微小な区間（フレーム）から抽出する。
【００４５】
画像から抽出する特徴としては，例えば，明るさ特徴，色特徴，動き特徴，テクスチャ特徴，コンセプト特徴，景観特徴などがある。
【００４６】
明るさ特徴は，ＨＳＶ色空間におけるＶ値を数え上げることで，ヒストグラムとして抽出することができる。
【００４７】
色特徴は，Ｌ＊ａ＊ｂ＊色空間における各軸（Ｌ＊，ａ＊，ｂ＊）の値を数え上げることで，ヒストグラムとして抽出することができる。各軸のヒストグラムのビンの数は，例えば，Ｌ＊に対して４，ａ＊に対して１４，ｂ＊に対して１４などとすればよく，この場合，３軸の合計ビン数は，４×１４×１４＝７８４となる。
【００４８】
動き特徴は，例えば一定のインターバルの２枚の画像フレーム間で，動きベクトルを計算し，そのベクトルの大きさと角度の値を数え上げることで，ヒストグラムとして抽出することができる。大きさと角度のヒストグラムのビンの数は，例えば大きさに対して２５，角度に対して８などとすればよく，この場合，２軸の合計ビン数は２５×４＝１００となる。
【００４９】
テクスチャ特徴としては，濃淡ヒストグラムの統計量（コントラスト）やパワースペクトルなどを求めればよい。あるいは，局所特徴量を用いると，色や動きなどと同様，ヒストグラムの形式で抽出することができるようになるため好適である。局所特徴としては，例えば下記の参考文献２に記載されるＳＩＦＴ（Scale Invariant Feature Transform ）や，下記の参考文献３に記載されるＳＵＲＦ（Speeded Up Robust Features）などを用いることができる。
［参考文献２］：D.G. Lowe,“Distinctive Image Features from Scale-Invariant Keypoints ”，International Journal of Computer Vision, pp.91-110, 2004 。
［参考文献３］：H. Bay, T. Tuytelaars, and L.V. Gool, “SURF: Speeded Up Robust Features”, Lecture Notes in Computer Science, vol. 3951, pp.404-417, 2006。
【００５０】
これらによって抽出される局所特徴は，例えば１２８次元の実数値ベクトルとなる。このベクトルを，予め学習して生成しておいた符号長を参照して，符号に変換し，その符号の数を数え上げることでヒストグラムを生成することができる。この場合，ヒストグラムのビンの数は，符号長の符号数と一致する。符号数は任意のものを用いてよいが，例えば５１２あるいは１０２４などとしてもよい。
【００５１】
続いて，コンセプト特徴について説明する。コンセプトとは，画像中に含まれる物体や，画像が捉えているイベントのことである。任意のものを用いてよいが，例を挙げれば，「海」，「山」，「ボール」などのようなものである。もし，ある画像に「海」が映っていた場合，その画像は「海」コンセプトに帰属する画像であるという。その画像が，各コンセプトに帰属するか否かは，コンセプト識別器を用いて判断することができる。通常，コンセプト識別器はコンセプト毎に一つ用意され，画像の特徴量を入力として，その画像があるコンセプトに帰属しているか否かを帰属レベルとして出力する。コンセプト識別器は，予め学習して獲得しておくものであり，決められた画像特徴，例えば先に述べた局所特徴と，予め人手によって，その画像がどのコンセプトに帰属しているかを表した正解ラベルとの関係を学習することによって獲得する。学習器としては，例えばサポートベクターマシンなどを用いればよい。コンセプト特徴は，各コンセプトへの帰属レベルをまとめてベクトルとして表現することで得ることができる。
【００５２】
景観特徴は，画像の風景や場面を表現した特徴量である。例えば参考文献４に記載のＧＩＳＴ記述子を用いることができる。
［参考文献４］：A. Oliva and A. Torralba, “Building the gist of a scene: the role of global image features in recognition”，Progress in Brain Research, 155, pp.23-36, 2006 。
【００５３】
一方，音情報から抽出する特徴量としては，音高特徴，音圧特徴，スペクトル特徴，リズム特徴，発話特徴，音楽特徴，音イベント特徴などがある。
【００５４】
音高特徴は，例えばピッチを取るものとすればよく，下記の参考文献５に記載される方法などを用いて抽出することができる。
［参考文献５］：古井貞熙, “ディジタル音声処理, ４. ９ピッチ抽出”, pp.57-59, 1985。
【００５５】
音圧特徴としては，音声波形データの振幅値を用いるものとしてもよいし，短時間パワースペクトルを求め，任意の帯域の平均パワーを計算して用いるものとしてもよい。
【００５６】
スペクトル特徴としては，例えばメル尺度ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstral Coefficients ）を用いることができる。
【００５７】
リズム特徴としては，例えばテンポを抽出すればよい。テンポを抽出するには，例えば下記の参考文献６に記載される方法などを用いることができる。
［参考文献６］：E.D. Scheirer,“Tempo and Beat Analysis of Acoustic Musical Signals ”，Journal of Acoustic Society America, Vol.103, Issue 1, pp.588-601, 1998 。
【００５８】
発話特徴，音楽特徴は，それぞれ，発話の有無，音楽の有無を表す。発話・音楽の存在する区間を発見するには，例えば下記の参考文献７に記載される方法などを用いればよい。
［参考文献７］：K. Minami, A. Akutsu, H. Hamada, and Y. Tonomura, “Video Handling with Music and Speech Detection”，IEEE Multimedia, vol.5, no.3, pp.17-25, 1998。
【００５９】
音イベント情報としては，例えば，笑い声や大声などの感情的な音声，あるいは，銃声や爆発音などの環境音の生起などを用いるものとすればよい。このような音イベントを検出するには，例えば下記の参考文献８（特許文献）に記載される方法などを用いればよい。
［参考文献８］：国際公開ＷＯ／２００８／０３２７８７
ここに挙げたもの以外にも，任意の特徴量を用いても構わない。以上，抽出した特徴量をまとめて，記憶部１０１に格納しておく。
【００６０】
以上の前処理によって，記憶部１０１に格納された映像区間情報の格納形式について，その一例を図３に示す。この例では，映像毎に，唯一に識別可能な映像ｉｄが付与されており，対応するメタデータとしてタイトルとキーワードが格納されている場合について示している。また，ステップＳ２０２の映像区間分割処理によって得られた映像区間に対し，唯一に識別可能な映像区間ｉｄが付与されており，対応する開始時刻，終了時刻が記載されている。さらに，各映像区間について，ステップＳ２０３の映像区間特徴量抽出処理によって抽出された特徴量を格納したファイルへのパスが，特徴量ファイルのカラムに記載されている。
【００６１】
〔要約処理〕
続いて，要約処理について述べる。要約処理は，ユーザから要約の要求が生じた際に，前処理によって得た映像のメタデータおよび特徴量に基づいて，要約映像３を生成する処理である。
【００６２】
要約処理は，図２（Ｂ）に示すステップＳ２０４〜ステップＳ２０６の処理である。それぞれの処理について説明する。
【００６３】
まず，ステップＳ２０４では，映像区間群選定部１０４が，ユーザからの要求に合わせて，要約に含まれる映像区間の候補となる，映像区間群を選定する。これには，いくつかの方法があるが，本実施形態における例においては，ユーザがキーワードを指定して，要約の要求を行う場合の例について述べる。ユーザが視聴したい映像を探すために検索エンジンに対して，キーワードクエリによる問い合わせを行う場合が多い。この例は，これと同様，キーワードクエリによる問い合わせを受け，関連する映像群に対する要約を生成し，提供する場合において利用可能なものである。
【００６４】
この場合の映像区間群選定は，映像区間情報に含まれるメタデータとのマッチングによって実施する。ユーザからキーワードが指定された際に，映像区間情報のメタデータを参照し，当該キーワードとマッチするメタデータを持つ映像の映像区間のみを，映像区間群として選定する。使用するメタデータとしては，記憶部１０１に格納したもののうち，何を利用してもよいが，通常のキーワード検索と同様，タイトルや概要文，映像内容を表現したキーワードなどを利用すればよい。
【００６５】
続いて，ステップＳ２０５では，評価関数最適化部１０５が，ステップＳ２０４で選定された映像区間群から，評価関数の最適化に基づいて，要約映像に用いる映像区間の選定と，一つの要約映像にまとめる際に，映像区間群をつなぎ合わせる順序を決定する。
【００６６】
要約映像は，映像区間が時間方向に複数結合されたものであるから，順序付きの映像区間集合であるとみなすことができる。評価関数は，順序付き映像区間集合を入力とし，その順序付き映像区間集合の，要約映像としての良さを求める関数である。
【００６７】
評価関数のフォーマルな定義を記載する。ステップＳ２０４において，選定された映像区間の集合を，Ｓ＝｛ｓ1 ，ｓ2 ，…，ｓn ｝と表す。このとき，Ｓの部分集合に対して，さらに順序を入れた順序付き集合を，Ｓ′＝｛ｓ1 →ｓ2 →…→ｓm ｝（ｍ＜ｎ）と表すとする。このとき，評価関数ｆは，順序付き集合Ｓ′の空間Ξから，スカラー空間Ｒへの写像ｆ：Ξ→Ｒである。
【００６８】
もし，仮に，この評価関数ｆが，順序付き集合Ｓ′の良さを表現しているとすると，このｆの関数の値が最大になるような順序付き集合Ｓ′を選ぶことによって，要約として最適な映像区間群と，その順序を決定することができる。以降，簡単のため，評価関数ｆの値を，要約映像の良さと表現する。
【００６９】
ここで重要なのは，評価関数ｆが順序付き集合Ｓ′の良さを表現するように設計することである。以下，本実施形態の一例における評価関数ｆの設計について説明する。評価関数ｆは，以下の５つの点を考慮して，要約映像の良さを評価する。
【００７０】
（１）ユーザの要求に対する適合性：本実施形態の一例では，ユーザからの要求はキーワードクエリによって与えられている。このクエリに，よくマッチした映像の映像区間を多く含む要約映像ほど，ユーザの求める要約映像に近く，よい要約映像であると考えることができる。
【００７１】
（２）意味的な網羅性：要約というからには，多様な内容を，網羅的に短くまとめた  内容であることが求められる。（１）でユーザの要求に対する適合性を評価しているが，要約という観点で考えた場合，同じような内容を扱った映像の映像区間ばかりが出てきてしまうと，要約としてよいものであるとはいえない。そこで，要約に現れる映像の意味的な内容が，多様であればあるほどよい要約であると考えることができる。
【００７２】
（３）見た目の網羅性：（２）と同様，“見た目”（画像あるいは音）が同じような映像区間や，重複した映像区間が出現してしまうと，網羅性の観点でよい要約であるとは言えない。そこで，“見た目”としてなるべく重複のない，多様な映像区間を含む要約映像であるほど，よい要約であると考えることができる。
【００７３】
（４）視聴しやすさ：本技術は，複数の映像から一つの要約映像を生成するものであ  るため，生成される要約映像には，内容の異なる映像が含まれる。（２）の観点で，意味的な内容がなるべく多様になるような要約映像を生成するという要請があるが，再生したときに，内容の劇的に異なる映像が，次々出てきてしまうと，これを視聴するユーザの観点からは，理解しやすい映像であるとはいえない。また，同様に，“見た目”が劇的に異なる映像区間が連続再生されたりするような場合，例えば，急に暗い映像区間から，明るい映像区間に切り替わると，強い視覚刺激を生んでしまうため，視聴しやすい映像とはならない。そこで，映像を再生して，順次映像区間を視聴していくユーザにとって，意味的な内容が近いものは，なるべく近い位置に配置されるように，また，“見た目”がなるべくスムースにつながるように生成された要約映像は，よい要約であると考えることができる。
【００７４】
（５）時間長：要約映像の基本的な観点として，短くまとめられたものほどよい。そ  こで，生成された映像の要約時間長が短ければ短いほど，よい要約であると考えることができる。
【００７５】
以上の観点を考慮し，評価関数を設計する。本実施形態の一例では，下記のような評価関数ｆを設計する。
【００７６】
【数１】
0005600040.tif 000002
【００７７】
この評価関数は，５つの項からなるが，各項は，前述の５つの評価尺度（１）〜（５）にそれぞれ対応している。λ1 〜λ5 は，スケーリングパラメータである。各項について，詳細に説明する。
【００７８】
まず，評価尺度（１）に対応する第一項のｒｅｌ（ｓi ）についてである。キーワードクエリと，映像のメタデータとの適合性を評価する。これには，キーワードのクエリと，各映像区間の（対応する映像の）メタデータとの意味的な近さを測る必要がある。これには，例えば参考文献９に記載の，Normalized Google Distance（ＮＧＤ）などを用いることができる。
［参考文献９］：R.L. Cilibrasi and P.M.B. Vitanyi,“The Google Similarity Distance”，IEEE Transactions on Knowledge and Data Engineering, Vol. 19, No. 3, pp.370-383, 2007 。
【００７９】
ＮＧＤは，二つのキーワードｔ1 ，ｔ2 の意味的な近さを数値として計算する。これを用いて，ｒｅｌ（ｓi ）は，例えば下記のように定義することができる。
【００８０】
【数２】
0005600040.tif 000003
【００８１】
ただし，Ｔは映像区間（の映像）のメタデータに出現するキーワードの集合，ｔk はその要素，ｑはユーザによって与えられたキーワードクエリである。これによって，［数１］式の第一項が定義できる。
【００８２】
続いて，［数１］式の第二項のｓｅｍ（ｓi ，ｓj ）について説明する。第二項は，要約に含まれる映像の意味的な多様性を評価するものであり，要約に含まれる，任意の２つの映像区間（を含む元映像の）の意味的な類似度を評価するように設計すればよい。
【００８３】
第一項と同様の考えの下，映像区間の意味的な内容は，メタデータの概要文などから読み取ることができると考える。このとき，２つの映像区間の意味的な内容の類似度は，ＮＧＤを利用して評価することができる。２つの映像区間ｓi ，ｓj があるとし，これに付与されたメタデータ中のキーワード集合を，それぞれＴi ，Ｔj とおく。このとき，２つの映像区間ｓi ，ｓj の意味的な類似度を，例えば次のように定義する。
【００８４】
【数３】
0005600040.tif 000004
【００８５】
このように定義されたｓｅｍ（ｓi ，ｓj ）は，２つの映像区間ｓi ，ｓj のキーワード集合が似ていれば似ているほど大きい値となり，逆に似ていなければ似ていないほど小さい値となる。
【００８６】
続いて，［数１］式の第三項のａｐｐ（ｓi ，ｓj ）について説明する。この第三項は，“見た目”として多様な映像区間を含むか否かを評価する項であり，要約に含まれる任意の２つの映像区間（を含む元映像の）の“見た目”の類似度を評価するように設計すればよい。
【００８７】
前述の通り，“見た目”は，視覚的（画像）な近さだけではなく，聴覚的（音）な近さも含む。映像区間の“見た目”は，映像区間の特徴量を用いて評価することができ，２つの映像区間の“見た目”の類似度は，映像区間の特徴量の類似度として定義することができる。映像区間の特徴量は，前処理のステップＳ２０３にて，画像特徴，音特徴の双方について，様々な種類の特徴量を抽出している。映像区間ｓi の特徴量群を，Ｖ＝｛ｖ1 ，ｖ2 ，…，ｖP ｝と表すことにする。ｖk は，各特徴量（ベクトル）であり，例えば，ｖ1 は色，ｖ2 はテクスチャ，ｖ3 はピッチ，などとして対応するものとする。
【００８８】
各特徴量には，それぞれ同特徴量の距離ｄｖk （ｋ＝１，２，…，ｐ）を定義しておく。例えば，色（Ｌ＊ａ＊ｂ＊ヒストグラム）に対しては，ヒストグラム同士の距離を測るカイ二乗距離や，参考文献１０記載のEarth Mover's distance（ＥＭＤ）などを用いることができる。
［参考文献１０］：S. Peleg, M. Werman, and H. Rom. A unified approach to the change of resolution: Space and gray-level. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 11, pp.739-742, 1989。
【００８９】
また，例えば，ＧＩＳＴなどのベクトル型の特徴量については，ユークリッド距離などを用いることができる。
【００９０】
以上，与えられた条件の下，２つの映像区間ｓi ，ｓj があるとし，これらの特徴量をＶi ＝｛ｖk i ，ｖk i ，…，ｖk i ｝，Ｖj ＝｛ｖk j ，ｖk j ，…，ｖk j ｝とおく。このとき，２つの映像区間ｓi ，ｓj の“見た目”の類似度を，例えば次のように定義する。
【００９１】
【数４】
0005600040.tif 000005
【００９２】
ここで，θk はスケーリングパラメータである。
【００９３】
続いて，［数１］式の第四項のｓｍ（Ｓ′）について説明する。第四項は，要約全体の視聴しやすさを評価するものである。より具体的には，映像区間の順序付き集合について，隣り合う映像区間の意味的な内容もしくは“見た目”の類似性，またはその双方の類似性を評価する。
【００９４】
意味的な内容の繋がりについては，第二項と同様の方法で算出できる。隣り合う２つの映像区間ｓi ，ｓi+1 の意味的な内容の繋がりを，例えば，［数３］式を利用して次のように定義する。
【００９５】
【数５】
0005600040.tif 000006
【００９６】
“見た目”の繋がりについても，第三項と同様の方法で算出できる。隣り合う２つの映像区間ｓi ，ｓi+1 の“見た目”の繋がりを，例えば，［数４］式を利用して次のように定義する。
【００９７】
【数６】
0005600040.tif 000007
【００９８】
以上の定義を基に，要約映像全体の意味的な内容，および，“見た目”の繋がりの良さを次式のように定義することができる。
【００９９】
【数７】
0005600040.tif 000008
【０１００】
最後に，［数１］式の第五項のｄｕｒ（ｓi ）について説明する。第五項は，要約に含まれる映像の時間長を評価するものであり，ｄｕｒ（ｓi ）は，ｓi の負の時間長とすればよい。
【０１０１】
あるいは，ｄｕｒ（ｓi ）を用いる代わりに，別の評価項を導入してもよい。例えば，希望する要約映像の時間長がある場合には，その時間長に近い要約映像ほど，よい評価値を得るように設計する場合がある。希望する要約映像時間長をτ，ｓi の要約映像時間長をｄｕｒ（ｓi ）とし，例えば下記の式によって定義する。
【０１０２】
−｜τ−ｄｕｒ（ｓi ）｜
以上が，評価関数の設計の一例である。ここに挙げた各項の定義は一例であり，この他，先に述べた要請を満たす限り，任意の形態をとっても構わない。
【０１０３】
さらに，ステップＳ２０５では，設計した評価関数を最大化する要約映像を発見する。順序付き集合を求める組合せ最適化問題の一種であり，一般的に効率的な解法は存在しない。そこで，本実施形態の一例では，これを近似的に求める。組合せ最適化問題の近似解法としては，Ｇｒｅｅｄｙ−Ｓｅａｒｃｈや，遺伝的アルゴリズムなどがあるので，これらを適用することによって，最適なＳ′を求めればよい。
【０１０４】
例として，図４に，Ｇｒｅｅｄｙ−Ｓｅａｒｃｈを用いた場合の最適化処理の流れを示す。
（ａ）映像区間数が２となる全ての順列を列挙する。
（ｂ）全ての順列に対して，評価関数ｆの値を計算する。
（ｃ）評価関数ｆの値が最大になった順列を一つの映像区間としてマージする。
（ｄ）映像区間が一つになるまで，（ａ）以降の処理を繰り返す。
以上が，ステップＳ２０５の処理詳細の一例である。
【０１０５】
最後に，ステップＳ２０６で，ステップＳ２０５において出力された要約映像を，映像としてつなぎ合わせ，要約映像３として出力する。
【０１０６】
以上が，本実施形態の一例における映像要約装置，および，そこで実施される映像要約方法の説明である。この映像要約方法で実施される処理プロセスを，コンピュータで読み取り可能なプログラムとして記述することも可能であることはいうまでもない。
【０１０７】
以上，本実施形態の一例における映像要約装置について詳細に説明した。本発明は説明した実施形態の一例に限定されるものでなく，特許請求の範囲に記載した技術的範囲において各種の変形を行うことが可能である。
【符号の説明】
【０１０８】
１    映像要約装置
２    映像群
３    要約映像
１００  映像入力部
１０１  記憶部
１０２  映像区間分割部
１０３  映像区間特徴量抽出部
１０４  映像区間群選定部
１０５  評価関数最適化部
１０６  要約映像生成部
【図１】
0005600040.tif 000009
【図２】
0005600040.tif 000010
【図３】
0005600040.tif 000011
【図４】
0005600040.tif 000012