(57)【要約】      （修正有）【課題】関連するコンテンツを保持しつつ、ビデオをレビューでき、コンテンツを分類でき、ビデオを要約できるビデオ要約システムを提供する。【解決手段】ビデオを要約するシステムは、ビデオの入力信号を受信し、前記ビデオから複数の特徴を抽出し、前記ビデオを前記複数の特徴にもとづいてセグメントに分割し、セグメントの各々は前記複数の特徴の一つにもとづいて分割され、前記ビデオのセグメントを前記複数の特徴にもとづいて分類し、類似する分類されたビデオセグメントをクラスタにグループ分けし、要約セグメントを含むように、前記クラスタから複数のセグメントを選択し、前記要約セグメントを要約ビデオにまとめる。【選択図】図１
2009095013.tif 000002
【特許請求の範囲】
【請求項１】
ビデオを要約するシステムであって、
ビデオの入力信号を受信する受信手段と、
前記ビデオから複数の特徴を抽出する抽出手段と、
前記ビデオを前記複数の特徴の一つにもとづいてセグメントに分割する分割手段と、
前記ビデオのセグメントを前記複数の特徴にもとづいて分類する分類手段と、
類似する分類されたビデオセグメントをクラスタにグループ分けするグループ分け手段と、
要約セグメントを構成するために、前記クラスタから複数のセグメントを選択する選択手段と、
前記要約セグメントを要約ビデオにまとめる要約ビデオ生成手段と、
を備えるビデオ要約システム。
【請求項２】
前記抽出手段は動きおよび外観にもとづいて前記複数の特徴を抽出する請求項１に記載のビデオ要約システム。
【請求項３】
前記外観の特徴がビデオセグメントのフレーム各々のカラーヒストグラムである、請求項２に記載のビデオ要約システム。
【請求項４】
前記動きの特徴がビデオセグメントにおけるカメラの動きの種類を含む、請求項２に記載のビデオ要約システム。
【請求項５】
前記カメラの動きの種類がカメラのパンまたはカメラのズームである、請求項４に記載のビデオ要約システム。
【請求項６】
前記抽出される複数の特徴が音声から導出された特徴を含む、請求項２に記載のビデオ要約システム。
【請求項７】
前記分割手段は、前記ビデオを音声に基づいてビデオセグメントに分割するために、抽出される前記音声の特徴を使用する、請求項６に記載のビデオ要約システム。
【請求項８】
前記分割手段は、類似する外観の特徴や動きの特徴を持つセグメントに前記ビデオを分割するために、前記抽出手段により抽出される前記動きの特徴および外観の特徴を使用する、請求項２に記載のビデオ要約システム。
【請求項９】
前記分割手段は、ビデオを外観の特徴にもとづいてセグメントに分割することと、ビデオを動きの特徴にもとづいてセグメントに分割することと、を別個に実行する、請求項８に記載のビデオ要約システム。
【請求項１０】
前記分類手段は、前記ビデオセグメントを、ダイナミックビデオセグメント、スタティックビデオセグメント、無視するビデオセグメントとして分類する、請求項１に記載のビデオ要約システム。
【請求項１１】
前記分類手段によるビデオセグメントの分類が、外観の特徴にもとづいて分割されたセグメントと、動きの特徴にもとづいて分割されたセグメントと、を組み合わせることを含む、請求項１０に記載のビデオ要約システム。
【請求項１２】
前記分類手段は、前記ダイナミックビデオセグメントと前記スタティックビデオセグメントとをクラスタに別々にグループ分けする、請求項１１に記載のビデオ要約システム。
【請求項１３】
前記分類手段は、前記ダイナミックビデオセグメントを、外観の特徴と動きの特徴との両方を使用してクラスタにグループ分けする、請求項１２に記載のビデオ要約システム。
【請求項１４】
前記分類手段による、前記ダイナミックビデオセグメントのクラスタへのグループ分けが、次元削減とスペクトラルクラスタリングとを含む、請求項１３に記載のビデオ要約システム。
【請求項１５】
前記分類手段は、前記スタティックビデオセグメントを、外観の特徴を使用してクラスタにグループ分けする、請求項１４に記載のビデオ要約システム。
【請求項１６】
前記分類手段による、前記スタティックビデオセグメントのクラスタへのグループ分けが、凝集型クラスタリングを使用する、請求項１５に記載のビデオ要約システム。
【請求項１７】
更に、前記クラスタにある全てのビデオセグメントについて類似度行列を計算する類似度行列計算手段を備える、請求項１に記載のビデオ要約システム。
【請求項１８】
前記選択手段による前記クラスタからの複数のビデオセグメントの選択が、前記類似度行列にもとづく、請求項１７に記載のビデオ要約システム。
【請求項１９】
前記選択手段は、クラスタ毎に１つのビデオセグメントを選択する、請求項１８に記載のビデオ要約システム。
【請求項２０】
前記要約ビデオ生成手段は、要約ビデオが時系列になるように、前記要約セグメントをセグメントの各々の開始時間による順番でまとめる、請求項１に記載のビデオ要約システム。
【請求項２１】
前記要約ビデオ生成手段は、前記要約セグメントに関する情報が前記要約ビデオにさらに表示されるように前記要約ビデオを生成する、請求項１に記載のビデオ要約システム。
【請求項２２】
コンピュータにビデオを要約する機能を実現させるためのプログラムであって、
コンピュータに、
ビデオの入力信号を受信し、
前記ビデオから複数の特徴を抽出し、
前記ビデオを前記複数の特徴にもとづいてセグメントに分割し、
セグメントの各々は前記複数の特徴の一つにもとづいて分割され、
前記ビデオのセグメントを前記複数の特徴にもとづいて分類し、
類似する分類されたビデオセグメントをクラスタにグループ分けし、
要約セグメントを構成するために、前記クラスタから複数のセグメントを選択し、
前記要約セグメントを要約ビデオにまとめる、
ことを実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ要約（video summarization）システムおよびプログラムに関し、より詳細には、要約ビデオを作成するためにビデオからのデータを分割し分類するシステムに関する。
【背景技術】
【０００２】
「歴史」
ビデオカメラはより安価になり、携帯電話やデジタルカメラを含む種々の技術に埋め込まれるようになるにつれ、ますます普及してきている。インターネットへのビデオ投稿が一般的になったことが証明するように、一般の人が簡単にビデオを作成したり発表したりできるようになった。入手可能なビデオの量の増加に伴って、レビューされたり分類されたりしていない、体系化されていないビデオの量も対応して増えている。ユーザが知らないかまたは体系化されていない大量のビデオを分類しなければならない場合、ビデオを分類するプロセスは時間がかかる。ユーザは単純に全てのビデオを手作業で見ればよいが、各ビデオをリアルタイムでロードして見るには時間がかかる。
【０００３】
さらに、編集前のビデオ映像は、最終的な視聴に望ましい映像またはビデオの内容を判断するための映像よりも多くの映像を含む。これが、「バッドショット」という形で表れたり、動きのないシーンが多過ぎたりするという形で表れるかもしれない。ビデオを通して観て、興味のあるショットを含むかまたは興味のあるトピックをカバーしているかを迅速に判断することは、うんざりする作業である。興味のあるショットが短ければ、ビデオのスクラビングを利用する場合ユーザは冗長なビデオと思われるものを短時間でスクラビングしてしまうために、そのショットを逃してしまうかもしれない。オブジェクトの動きまたはカメラ動きによる動作も、あまりに早くスクラビングしてしまうと逃してしまうかもしれない。
【０００４】
多数のビデオ要約システムが文献で説明されている。
【０００５】
非特許文献１において、ナム（Nam）らは、「意味的に重要な２つのイベント、すなわち感情を表現する会話と暴力的な特徴の動作」を要約に含めるべく識別するためにアダプティブな非線形サンプリングと音声分析を使用し、抽出ビデオ要約を作成することについて説明している。彼らの方法は特定の種類のビデオに限定されており、大部分のドキュメンタリーや教育的なビデオなどの他のジャンルには適さない。
【０００６】
ビデオ要約方法は、非特許文献２や非特許文献３でも説明されている。こういった方法はジャンルに依存し、動作量が大きく変動せず、発話が主にナレーションである旅行のビデオといった種々のビデオには適用できない。
【０００７】
非特許文献４では、ウチハシ（Uchihashi）らが、ビデオ要約を作成するためにショットの重要度を測定する方法について説明している。彼らはカメラの動きでビデオを分析しない。この場合、カメラの動きのある、繰り返されるショットの類似度は静止カメラによるショット類似度よりも低いのが一般的なので、ショットの繰り返しの識別はうまくいかないであろう。
【０００８】
非特許文献５は、ビデオセマンティック要約システムの一部の要約システムである。しかしながら彼らの方法は、ユーザアノテーションを要するかまたは単一のサブサンプリング速度を使用してコンテンツの変動を考慮せずに自明な要約を作成する。
【０００９】
非特許文献６では、ペイラード（Peyrard）らは、ビデオ要約で使用するための動きベースのビデオセグメンテーションとセグメント分類の方法を提示している。しかしながら、この分類はアイススケートのビデオジャンルに適応するように定義されている。したがってペイラードらによる方法も特定の種類のビデオに限定されており、オブジェクトの動きに焦点を当てている。
【００１０】
非特許文献７では、ンゴ（Ngo）らは、ショットのクラスタ間の時間関係を表す時間のグラフを使用している。この方法は、漫画、コマーシャル、またはホームビデオなどの制作ビデオのように、ショットが大体順序通りに記録されているビデオのために開発された。この方法は、各クラスタをシーンにグループ化できることを想定している。この方法は、間にシーンを介在したシーンの繰り返しは処理しない。また、カメラの動きのあるシーンをカメラが静止しているシーンとは別に処理しない。
【００１１】
最後に、非特許文献８では、ヤヒアウイ（Yahiaoui）らはフレームベースの要約方法を提示している。彼らの方法は、各ビデオフレームの色ベースの分析に限定されている。さらにこの方法は全てのフレームをクラスタリングするため、計算コストが高い。
【特許文献１】米国特許第６，５４２，８６９号明細書
【特許文献２】米国特許第６，６８７，６９６号明細書
【非特許文献１】ナム（Nam）ら、「動的なビデオの要約化および視覚化（Dynamic video summarization and visualization）」、マルチメディアに関する第７回ＡＣＭ国際会議抄録（Proceedings of the seventh ACM international conference on Multimedia）、１９９９年、巻２、頁５３〜５６
【非特許文献２】ディヴァカラン（Divakaran）ら、「ビデオマイニング：パターン発見対パターン認識（Video mining: Pattern discovery versus pattern recognition）」、画像処理に関するＩＥＥＥ国際会議抄録（ＩＣＩＰ）、２００４年１０月、巻４、頁２３７９〜２３８２
【非特許文献３】ディヴァカラン（Divakaran）ら、「ビデオマイニング、ＭＰＥＧ−７モーションアクティビティおよびオーディオデスクリプタを用いたチャプタビデオ要約（Video Mining, Chapter Video Summarization Using MPEG-7 Motion Activity and Audio Descriptors）、クルワーアカデミックパブリッシャ（Kluwer Academic Publishers）、２００３年
【非特許文献４】ウチハシ（Uchihashi）ら、「ショット重要度計測およびフレームパッキングアルゴリズムを用いたビデオ要約（Summarizing video using a shot importance measure and a frame-packing algorithm）、ＩＥＥＥ  ＩＣＡＳＳＰ、１９９９年、巻６、頁３０４１〜３０４４
【非特許文献５】ベレ（Belle）ら、「普及しているモバイルデバイスのためのビデオの要約化および個人化（Video summarization and personalization for pervasive mobile devices）」、２００２年ＳＰＩＥ電子画像形成（メディアデータベースの蓄積および検索）抄録（Proc. SPIE Electronic Imaging 2002？ Storage and Retrieval for Media Databases）
【非特許文献６】ペイラード（Peyrard）ら、「ビデオ要約のための関連ビデオセグメントのモーションにもとづく選択（Motion-based selection of relevant video segments for video summarization）」、マルチメディアツールおよび応用（Multimedia Tools and Applications）、２００５年、巻２６、頁２５９〜２７５
【非特許文献７】ンゴ（Ngo）ら、「グラフモデリングによる自動ビデオ要約（Automatic video summarization by graph modeling）」、コンピュータビジョンに関する第９回ＩＥＥＥ国際会議抄録（Proc. Ninth IEEE International Conference on Computer Vision （ICCV'03））、２００３年、巻１、頁１０４
【非特許文献８】ヤヒアウイ（Yahiaoui）ら、「自動ビデオ要約（Automatic Video Summarization）、マルチメディアコンテンツにもとづく索引付けおよび検索ワークショップ（Multimedia Content-Based Indexing and Retrieval Workshop（MMCBIR））、２００１年
【発明の開示】
【発明が解決しようとする課題】
【００１２】
関連するコンテンツを保持しつつ、ビデオをレビューでき、コンテンツを分類でき、ビデオを要約できるビデオ要約システムを提供する。
【課題を解決するための手段】
【００１３】
本発明はビデオ要約のためのシステムおよび方法に関し、より詳細には、関連するコンテンツを保持し要約した要約ビデオを作成するために、ビデオからのデータを分割し分類するためのシステムに関する。実施形態の一つでは、本システムは最初にビデオから外観、動き、音声の特徴を抽出し、抽出された特徴に対応するビデオセグメントを作成する。そして、このビデオセグメントを、各ビデオセグメントから抽出された外観ベースの特徴と動きベースの特徴に応じてダイナミックにまたはスタティックに分類する。分類されたビデオセグメントをクラスタにグループ分けし、冗長的なコンテンツを排除する。各クラスタからの選抜ビデオセグメントを要約セグメントとして選択し、この要約セグメントをまとめて要約ビデオを作成する。ビデオの要約におけるいずれのステップのパラメータも、ユーザが本システムをあらゆる種類のビデオに適用できるように変更可能であるが、本システムは内容が分からず体系化されていないビデオを要約するために設計されている。別の態様では、幾つかの音声特徴を有するビデオをさらに要約するために音声特徴も使用できる。
【００１４】
本発明の第１の態様は、ビデオを要約するシステムであって、ビデオの入力信号を受信する受信手段と、前記ビデオから複数の特徴を抽出する抽出手段と、前記ビデオを前記複数の特徴の一つにもとづいてセグメントに分割する分割手段と、前記ビデオのセグメントを前記複数の特徴にもとづいて分類する分類手段と、類似する分類されたビデオセグメントをクラスタにグループ分けするグループ分け手段と、要約セグメントを構成するために、前記クラスタから複数のセグメントを選択する選択手段と、前記要約セグメントを要約ビデオにまとめる要約ビデオ生成手段と、を備える。
【００１５】
本発明の第２の態様は、第１の態様のビデオ要約システムであって、抽出手段により前記抽出される複数の特徴が動きおよび外観にもとづく。
【００１６】
本発明の第３の態様は、第２の態様のビデオ要約システムであって、前記外観の特徴がビデオセグメントのフレーム各々のカラーヒストグラムである。
【００１７】
本発明の第４の態様は、第２の態様のビデオ要約システムであって、前記動きの特徴がビデオセグメントにおけるカメラの動きの種類を含む。
【００１８】
本発明の第５の態様は、第４の態様のビデオ要約システムであって、前記カメラの動きの種類がカメラのパンまたはカメラのズームである。
【００１９】
本発明の第６の態様は、第２の態様のビデオ要約システムであって、前記抽出される複数の特徴が音声から導出された特徴を含む。
【００２０】
本発明の第７の態様は、第６の態様のビデオ要約システムであって、前記分割手段は、前記ビデオを音声に基づいてビデオセグメントに分割するために、抽出される前記音声の特徴を使用する。
【００２１】
本発明の第８の態様は、第２の態様のビデオ要約システムであって、前記分割手段は、類似する外観の特徴や動きの特徴を持つセグメントに前記ビデオを分割するために、抽出される前記動きの特徴および外観の特徴を使用する。
【００２２】
本発明の第９の態様は、第８の態様のビデオ要約システムであって、前記分類手段は、ビデオを外観の特徴にもとづいてセグメントに分割することと、ビデオを動きの特徴にもとづいてセグメントに分割することと、を別個に実行する。
【００２３】
本発明の第１０の態様は、第１の態様のビデオ要約システムであって、前記分類手段は、前記ビデオセグメントを、ダイナミックビデオセグメント、スタティックビデオセグメント、無視するビデオセグメントとして分類する。
【００２４】
本発明の第１１の態様は、第１０の態様のビデオ要約システムであって、前記分類手段によるビデオセグメントの分類が、外観の特徴にもとづいて分割されたセグメントと、動きの特徴にもとづいて分割されたセグメントと、を組み合わせることを含む。
【００２５】
本発明の第１２の態様は、第１１の態様のビデオ要約システムであって、前記分類手段は、前記ダイナミックビデオセグメントと前記スタティックビデオセグメントとをクラスタに別々にグループ分けする。
【００２６】
本発明の第１３の態様は、第１２の態様のビデオ要約システムであって、前記分類手段は、前記ダイナミックビデオセグメントを、外観の特徴と動きの特徴との両方を使用してクラスタにグループ分けする。
【００２７】
本発明の第１４の態様は、第１３の態様のビデオ要約システムであって、前記ダイナミックビデオセグメントのクラスタへのグループ分けが、次元削減とスペクトラルクラスタリングとを含む。
【００２８】
本発明の第１５の態様は、第１４の態様のビデオ要約システムであって、前記分類手段は、前記スタティックビデオセグメントを、外観の特徴を使用してクラスタにグループ分けする。
【００２９】
本発明の第１６の態様は、第１５の態様のビデオ要約システムであって、前記分類手段は、前記スタティックビデオセグメントのクラスタへのグループ分けが、凝集型クラスタリングを使用する。
【００３０】
本発明の第１７の態様は、第１の態様のビデオ要約システムであって、前記クラスタにある全てのビデオセグメントについて類似度行列を計算する類似度行列計算手段を更に備える。
【００３１】
本発明の第１８の態様は、第１７の態様のビデオ要約システムであって、前記選択手段による前記クラスタからの複数のビデオセグメントの選択が、前記類似度行列にもとづく。
【００３２】
本発明の第１９の態様は、第１８の態様のビデオ要約システムであって、前記選択手段は、クラスタ毎に１つのビデオセグメントを選択する。
【００３３】
本発明の第２０の態様は、第１の態様のビデオ要約システムであって、前記要約ビデオ生成手段は、要約ビデオが時系列になるように、前記要約セグメントをセグメントの各々の開始時間による順番でまとめる。
【００３４】
本発明の第２１の態様は、第１の態様のビデオ要約システムであって、前記要約ビデオ生成手段は、前記要約セグメントに関する情報が前記要約ビデオに表示されるように前記要約ビデオを生成する。
【００３５】
本発明の第２２の態様は、コンピュータにビデオを要約する機能を実現させるためのプログラムであって、コンピュータに、ビデオの入力信号を受信し、前記ビデオから複数の特徴を抽出し、前記ビデオを前記複数の特徴にもとづいてセグメントに分割し、セグメントの各々は前記複数の特徴の一つにもとづいて分割され、前記ビデオのセグメントを前記複数の特徴にもとづいて分類し、類似する分類されたビデオセグメントをクラスタにグループ分けし、要約セグメントを構成するために、前記クラスタから複数のセグメントを選択し、前記要約セグメントを要約ビデオにまとめる、ことを実行させるためのコンピュータプログラムである。
【発明の効果】
【００３６】
本発明によれば、関連するコンテンツを保持しつつ、ビデオをレビューでき、コンテンツを分類でき、ビデオを要約できる。
【発明を実施するための最良の形態】
【００３７】
本明細書に組み込まれその一部をなす添付図面は、本発明の実施形態を例示し、詳細な説明と共に本発明の原理を説明し例示する役目を果たす。図面は、例示の実施形態の主な特徴を概略的に例示することを目的としている。この図面は、実際の実施形態の全ての特徴を表すことや描かれている要素の相対的な寸法を表すことを目的としていないため、縮尺通りに描かれていない。
【００３８】
本発明の一態様におけるシステムは、内容の分からないビデオの大量のカタログといった体系化されていないビデオを要約する場合に特に利点をもたらす。カチンコ（動画の撮影時にシーン、カット、テイク等の区切りとして利用する映像及び/または音を挿入するための撮影道具）検出器などの本システムのコンポーネントの幾つかは、以下でさらに詳細に説明する１実施形態のために特別に開発されたが、本システムの一般的な構造を他の種類の構造化されていないデータを要約するためにより広く利用できる。
【００３９】
一態様では、要約システムは、ユーザがビデオのシーンの全幅をすぐに判断できるように支援する多数の機能を実行する。このシステムは冗長的なショットを削除し、カメラの動きのあるシーンとないシーンを重み付けし、シーン内の動きの量に基づいて要約ショットセグメントを選択し、ショットと共にメタデータを表示してそのショットのコンテキストを提供する。
【００４０】
一態様では、本システムは動きのある冗長的でないセグメントを識別しようと試みることにより、ビデオセグメントの短い抜粋を選択する。この動きは、ビデオ中を移動するオブジェクトまたはシーンにわたるカメラのパンもしくはズームによるものである。本システムは、カラーバー、ブルースクリーン、カチンコ、そしてうっかりカメラのレンズを覆ってしまった手、腕、背中などのオブジェクトを含む興味のないセグメントを除去しようとする。
【００４１】
本発明の一態様のビデオ要約システムは、ビデオの入力信号を受信する受信手段と、前記ビデオから複数の特徴を抽出する抽出手段と、前記ビデオを前記複数の特徴にもとづいてセグメントに分割する分割手段と、前記ビデオのセグメントを前記複数の特徴にもとづいて分類する分類手段と、類似する分類されたビデオセグメントをクラスタにグループ分けするグループ分け手段と、要約セグメントを含むように、前記クラスタから複数のセグメントを選択する選択手段と、前記要約セグメントを要約ビデオにまとめる要約ビデオ生成手段と、を備える。セグメントの各々は前記複数の特徴の一つにもとづいて分割される。
【００４２】
ビデオ要約システムは、たとえば、汎用コンピュータ、パーソナルコンピュータ、ワークステーションなどのコンピュータであってもよい。前記受信手段は、該コンピュータの入力部または通信部であってよく、抽出手段、分割手段、分類手段、グループ分け手段、選択手段、要約ビデオ生成手段は、該コンピュータのプロセッサであってよい。該コンピュータは、処理を実行する際の作業領域を形成すると共にプログラムや処理対象としてのデータを格納する記憶部、処理内容や処理結果を表示画面上に表示する表示部（ディスプレイ）、及びデータを通信網などに出力する出力部などを含む。プロセッサは、プログラム（ソフトウェア）を読み出し実行することにより、処理対象のビデオ（データ等）に対し当該プログラムの手順に対応した処理をする。
【００４３】
図１は、本発明の一態様に係るビデオ要約システム１００の概要であり、ビデオ信号の入力（ステージ１０２）で始まる。ビデオは、圧縮ビデオ信号としてシステムに入力され、そして処理のためにデコードされる（ステージ１０４）。入力ビデオは、非限定的な一例としてＭＰＥＧ−１を含めた多数のビデオ圧縮フォーマットのいずれでもエンコードできる。デコードによって、ビデオの各フレームを圧縮されていない生のカラー画像データとして次の処理に利用できる。入力ビデオ信号は、音声を含んでいてもよい。本実施形態では、デコードされた入力ビデオ信号から計算した三種類の特徴は、色（ステージ１０６）、画像の動き（ステージ１０８）、音声（ステージ１１０）である。色と動きの特徴は、入力ビデオを分割する（ステージ１１２、ステージ１１４）ために使用し、そしてその（分割による）セグメントは、動きの特徴や色ベースの特徴に基づいてダイナミックな動きのカメラや静止したカメラとして分類される（ステージ１１８）かまたは無視される。ダイナミックセグメントおよびスタティックセグメントは別々にクラスタリングされ、冗長性を識別する（ステージ１２０、ステージ１２２）。一態様では、音声特徴はカチンコの「カチン」という音を識別するために使用され（ステージ１１６）、カチンという音声が識別されたセグメントを処理して要約セグメントの選択時（ステージ１２４）にカチンコの箇所を削除する。また、要約セグメントの選択時に、要約が短すぎる場合にはデフォルトの要約モードを代わりに使用する。最後に、要約セグメントを順序付け（ステージ１２６）、これを使用してユーザが要約をよりよく理解できるように手助けをするメタデータを伴った要約ビデオを作成する（ステージ１２８）。
【００４４】
「１．特徴」
ビデオ要約システムの一態様の抽出手段では、ビデオから三種類の特徴を抽出する。こういった特徴は色、動きといった外観情報をビデオから取得し、音声信号から音のレベルを取得する。ビデオベースの特徴は、ビデオを似たような色と動きを持つセグメントに分割するために使用する。ビデオベースの特徴は、カラーバーなどの無視してもよいセグメントの識別を助けるためにカメラの動きの種類によってセグメントを分類するため、また類似するセグメントを識別するためにも使用する。ここで説明する実施形態では、音声ベースの特徴は、「カチン」という音が存在するカチンコを識別するために使用する。
【００４５】
「１．１  色の特徴」
色の特徴を決定するために、フレーム毎の単純なカラーヒストグラム特徴を抽出する。各フレームについて、ＹＵＶ色空間における３チャンネルカラーヒストグラムを抽出する。均一な４×４の空間格子を使用してグローバルな画像ヒストグラムとブロックヒストグラムの両方を抽出する。Ｎ個のフレームについて、フレームインデックスの付いた色の特徴ベクトルをＸ(C)＝[Ｘn(C)：ｎ＝１，．．．，Ｎ]で表す。全ての後続の処理では、Ｘn(C)を完全なフレーム毎のグローバルおよびブロックヒストグラムデータの連結と見なす。
【００４６】
「１．２  動きの特徴」
動きベースの特徴は、点ベースの追跡アルゴリズムを使用してビデオの各フレームについて抽出される（ステージ１０８）。当業者なら、他の画像処理システム手法の適用も可能なことを理解するであろう。追跡すべき候補点の位置は、広く知られている方法にしたがって局所的な画像コントラストの測定値に基づいて１つのフレーム内で選択する。候補点は、関数で返される点の数の最大限度、追跡におけるその点の適合性判断の閾値、最低限必要な点同士の距離を条件に選択する。適合性の制約の副次的な影響の一つが、検出された候補点の数が画像コンテンツによって大きくばらつくことであり、よりきめの細かい画像にはより多くの点が配分される。開始点があるフレームで選択されると、この点の位置は、第１のフレーム内の点周辺の領域に最もマッチする第２のフレーム内の領域を検出することで、後続のフレームで決定される。当業者なら、説明した点の選択とフレーム間の追跡は種々の実施例で広く実施されていることを理解するであろう。うまく追跡できた各点について、フレーム間の変位に相当するベクトルを計算する。すなわち、第１のフレームにおける候補点の位置番号ｋについてｐk＝（ｘk，ｙk）となり、第２のフレームにおける推定位置はｐ’k＝（ｘ’k，ｙ’k）となり、運動ベクトルを計算するとｍk＝（ｘk−ｘ’k，ｙk−ｙ’k）となる。フレーム間でうまくマッチできなかった点は、単純に無視される。
【００４７】
図２は、フレーム間の動きを示すトレール(trail)１３４を伴った追跡位置１３２を示すビデオフレーム１３０を例示している。自転車に乗っている人１３６の上にある点はほとんど動きを示していないが、背景１３８は右から左へのパンによるシステマティックな画像のシフトが示されている。
【００４８】
動きの追跡の結果が運動ベクトルの集合である。本発明の一態様では、運動ベクトルの大きさは１４個のビンの非線形空間ヒストグラムに集約される。方向情報を獲得するために、各ビン内に入るベクトルの平均角度も計算する。このことによって、ヒストグラムの各ビンにおいて１対のベクトル量、すなわち大きさのヒストグラムと運動ベクトルの平均方向を含むベクトルが得られる。１実施形態では、大きさのヒストグラムの境界を次のように（ピクセル単位で）選択した：０．０、０．５、１．０、１．５、２．０、３．０、４．０、５．０、６．０、８．０、１０．０、１２．０、１５．０、１８．０、無限(inf.)。
【００４９】
カメラのパンやズームなどのカメラの動きを取得するために、運動ベクトルを大きさによって順序付け、最も大きいものの７５％を捨てる。得られた大きさの小さいベクトルを平均化し、この平均変位のｘ成分とｙ成分をその分散と共に取得する。ズーム情報を獲得するために、各運動ベクトルの動径成分（第１の点と画像の中心を結ぶ直線上に射影されるベクトル）を計算し、この射影の平均と分散は特徴ベクトルに含まれる。最終的に得られる動きベースの特徴ベクトルは、１＋６＋１４＋１４＝３５個の要素を含む。
【００５０】
「１．３  音声特徴」
音声特徴を抽出する（ステージ１１０）ために、本発明の一態様では、短期間での音声エネルギーを各ビデオについて測定する。元の音声を抽出し、これをモノラルな１６ｋＨｚのｐｃｍ信号に変換し、第３次バターワースフィルターを使って４ｋＨｚで広域フィルター処理し、フィルター処理された音声のログエネルギーを５ｍｓの窓で計算する。この表現はカチンコの音が鳴ったことを識別するのを手助けするために後で使用するが、当業者なら種々の音を分類できることを理解するであろう。
【００５１】
「２．分割（セグメンテーション）」
特徴が抽出されると、ビデオは複数の特徴に基づいてセグメントに分割される。分割手段において、色に基づく分割（セグメンテーション）（ステージ１１２）と動きに基づく分割（セグメンテーション）（ステージ１１４）を別々に実行する。色ベースの分割（セグメンテーション）は、ビデオフレームの色分布に大きな変化が生じた境界を識別する。動きベースのセグメンテーションは、パンまたはズームの動きの特徴が生じたセグメントと普通はほとんど動きのないカラーバーを識別する。
【００５２】
「２．１  色ベースの分割（セグメンテーション）」
一態様では、視覚的な分割（セグメンテーション）は、ペアワイズのフレーム間類似度特徴とカーネル相関の使用に基づき、極大値が有力なショット境界候補となるフレームインデックスの付いた新規スコアを作成する。その基本的なシステムは、特許文献１に記録されており、３つの主要な構成要素がある。第１の構成要素は、色ベースの特徴の抽出について既に説明した低レベルの特徴抽出である。これによって、特徴ベクトルＸ(C)のフレームインデックスの付いたセットが作成される。第２の構成要素は、不完全なフレーム間類似度行列の生成である。最大ラグ(lag)Ｌ＝３６フレームのとき、ラグ領域の距離行列を次式で計算する。
【００５３】
【数１】
2009095013.tif 000003
【００５４】
式中、ｂは、ｎ番目のフレームの色の特徴のベクトルであるＸn(C)におけるヒストグラム特徴の要素（ビン）を示す。ＤXは対称でＳ（ｎ，ｎ）＝０であるため、Ｎ×Ｎの距離行列全体の僅かな部分しか計算しない。
【００５５】
分割（セグメンテーション）システムの最後の構成要素は、カーネル相関である。このプロセスでは、急峻なショット境界の理想的な外観を表す小さな正方形のカーネル行列Ｋを計算する。そして、カーネルの中心がｉ＝１，．．，Ｎ全てについて要素Ｓ（ｉ，ｉ）の上に重なるように、カーネルをＳの主対角線に沿って相関させる。このカーネルは市松模様に似ているため、異なるショットからのフレームを比較する要素は正に重み付けられ、同じショットからのフレームを比較する要素は負に重み付けられる。この相関は単純な線形相関であるかまたは整合フィルタリング動作である。
【００５６】
【数２】
2009095013.tif 000004
【００５７】
処理を早めるために、カーネルをラグ領域表現に変換する。一貫してＬ＝３６である。相関または新規スコアを各フレームについて計算すると、閾値とνの第１の差分の分析を利用して単純なピーク検出を行う。当業者なら理解するように、セグメントの持続時間の制約を利用したさらなるピーク後処理も実行可能である。
【００５８】
「２．２  動きベースの分割（セグメンテーション）」
本発明の一態様では、動きベースの分割（セグメンテーション）成分は、カメラの動きが生じたビデオセグメントを識別する。ｘ方向とｙ方向のパンやズームは、別々に識別される。そして、ｘ−パンとｙ−パンの結合を組み合わせてパンセグメントとする。全ての動きの特徴は、分析開始前に平滑化される。
【００５９】
カメラの動きの量は、通常パンまたはズーム時に変動し、開始と終了はよりゆっくりとしている。したがって、パンまたはズームが生じるのに必要な動きの最小量を表す閾値を使用し、パンおよびズーム候補を識別する。動きの値が閾値よりも大きい各領域について、その領域の終点を、選択された閾値よりも小さく、動きの大きい領域から前方および後方にある第１の位置として識別する。閾値は、２０００フレームのウィンドウ内の移動平均として計算される。移動平均を使用すると、カメラが通常よりも不安定な場合に役立つ。動きのセグメントを、そのセグメントにおける動きの量の絶対値のトリムされた平均としてスコアリングする。
【００６０】
本発明の一態様では、動く点がほとんどなく大きな動きもほとんどない領域を検出することで、カラーバーセグメントを識別する。詳細には、ｘ方向とｙ方向における大きな（グローバル）な動きの大きさを計算し、動く点の数についての閾値を使用してカラーバーセグメント候補を識別する。各セグメントにおける動きのピーク値と動きの平均値の閾値は、大きな動きが大きすぎるセグメントを除去するために使用する。
【００６１】
要約のためにより詳細な動作を取得するためにオプションの追加処理を実行し、スタティックセグメント（動きの少ないセグメント）における局所的な動きの期間を分割できる。このことは、ある人物が立って話している時と部屋へと歩いたり飲み物を注いだりしている時を区別する助けとなるであろう。当業者ならば、種々のレベルの動きを取得するために種々のパラメータを使用できることを理解するであろう。
【００６２】
「３．音声検出」
一実施形態では、カチンコは制作ビデオでは普通に登場するが、ビデオ要約では一般には望ましくない。普通カチンコが登場すると、カチンコを閉じるときに聞こえる瞬間的な「カチン」という音が伴う（そのために、「カチンコ」という名前がつけられている）。この瞬間的な音は、ビデオに見られる一般的な音声の殆どとはっきり区別でき、音声信号の短期ログエネルギーの履歴の簡単な分析で（上記の音声特徴の抽出の説明を参照のこと）、カチンコの事例の多くを検出できる。
【００６３】
図３は、ビデオセグメント１４２と相関する、カチンコの登場を含む音声波形１４０を示す。１．３秒のセグメントからの最初のフレーム１４４、中間フレーム１４６、最終フレーム１４８が、音声波形１４０の上に示されている。中間フレーム１４６におけるカチンという音１５０の瞬間的な特徴が、はっきりと分かる。
【００６４】
実際には、カチンコ検出器のパラメータは試行錯誤によって決定されるが、検出パラメータの勾配探索または格子探索(grid search)を含めた種々の方法で自動的に簡単に決定できる。同様に、ログエネルギー特徴またはメルスケールケプストラム(mel-scale cepstra)などの他の特徴を、検出規則を学習するためのサポートベクターマシーンまたはニューラルネットワークなどの任意の数の機械学習システムへの入力として使用できる。
【００６５】
この音声ベースの検出器の特徴は、カチンコと衝撃的な出だしの他の音（車のぶつかる音、ハンマー、銀製品のカチャカチャいう音）とを区別できないことである。偽のアラームの傾向は、分析されているマテリアルに大きく依存する。しかしながら、本実施形態で使用するソースマテリアルは冗長度が大きいために、たまに起こる偽のアラームのペナルティは極めて低かった。当業者なら、必然的に音声検出方法を調整し自動化できることを理解するであろう。
【００６６】
説明した音声ベースの検出器は、計算複雑度が低い場合には魅力的であるが、大部分のカチンコの登場が非常に似かよっていて幾らか際立っているならば、視覚的なカチンコ検出器のほうが非常に実用的である。（よく知られているヴィオラ−ジョーンズ（Ｖｉｏｌａ−Ｊｏｎｅｓ）検出器のような）オブジェクト検出システムを、カチンコの肯定的な例と否定的な例を使って訓練できる。音声ベースの検出器と比較すると、オブジェクト検出システムのほうが計算コストは高いが、システム単体でも音声検出と融合しても（例えば、音がない場合に）よりよい結果を得ることができる。
【００６７】
「４．セグメント分類」
色ベースの分割（セグメンテーション）と動きの分割（セグメンテーション）は、二種類のセグメントを要約で表示する候補として分類し識別するために使用する（ステージ１１８）。本発明の一実施形態の分類手段で分類するセグメントの種類とは、カメラの動きを含むもの、すなわちダイナミックビデオセグメントと、カメラが比較的静止しているセグメント、すなわちスタティックビデオセグメントである。要約から除外される第３のクラスのセグメント、すなわち無視されるビデオセグメントも作成される。
【００６８】
一態様では、セグメントの分類は、最初に、色ベースの分割（セグメンテーション）ステップで作成されたセグメントと動きベースの分割（セグメンテーション）ステップで作成されたセグメントとを組み合わせることから始まる。動きベースのセグメントをフィルター処理し、要約に含めるのに適さないと思われるセグメントを除去する。こういったセグメントには、非常に短いセグメント（一実施形態では、最小で２０フレームを使用する）や動きの特徴が非常に早い動きを示すセグメントが含まれる。早い動きは、カメラをスイッチオンもしくはスイッチオフしたり、別のオブジェクトに焦点を合わせるためにカメラを素早く動かしたりすることによって生じることが多い。カラーバーとして識別されたセグメントは無視されるビデオセグメントとして分類され、検討から除外される。残った動きベースのセグメントをダイナミックセグメントと見なす。スタティックセグメントは、動きベースのセグメントでもカラーバーでもないセグメントとして識別される。
【００６９】
動きベースの分割（セグメンテーション）は、隣接するショット同士が類似する動きを含むため、境界を誤る可能性がある。この問題に対応するために、色ベースのセグメントを動きベースのセグメントと組み合わせる。色ベースのセグメントは、ショット境界にほぼ対応するフレームを識別する。ショット境界がダイナミックセグメントまたはスタティックセグメント内で生じると、必ずその境界でセグメントを２つのセグメントに分割する。境界によって短すぎるセグメントが作成されてしまう場合には、そのショット境界を信用し、短いセグメントを検討から除外する。
【００７０】
「５．セグメントのクラスタリング」
セグメントを分類すると、グループ分け手段は、クラスタにグループ分けする。セグメントのクラスタリングは、冗長なショット（セグメント）を除去するために使用する。代替例として、ショット間の最小距離に閾値を設定し同じものとして分類することもできるが、ショット間の類似度は本実施形態で使用するビデオ間で相当なばらつきがあった。
【００７１】
一実施形態では、ダイナミックセグメントとスタティックセグメントを区別し、別々にクラスタリングする。スタティックセグメントは、背景が変化するダイナミックセグメントに比べて背景が比較的静止しているために、互いにより類似している傾向がある。したがって、異なる特徴をダイナミックセグメントのクラスタリングで使用できる。
【００７２】
カメラが動くショットの特徴とカメラが比較的静止しているショットの特徴が異なるために、異なる特徴とクラスタリング方法を使用した。本態様では、色の特徴と動きの特徴を使用してダイナミックセグメントをクラスタリングし、色の特徴のみに基づいてスタティックセグメントをクラスタリングする。
【００７３】
「５．１  ダイナミックセグメントのクラスタリング」
ダイナミッククラスタリングプロセスは、ダイナミックセグメントの境界とフレーム毎に抽出した色と動きの特徴を入力として用いる。ダイナミッククラスタリングプロセスは、次元削減(dimension reduction)とスペクトラルクラスタリングという２つの主な構成要素を含む。
【００７４】
次元削減については、確率的潜在意味解析（probabilistic latent semantic analysis：ＰＬＳＡ）を使用する。これはもともとテキストドキュメントのカテゴリー化やインデックス作成に使用されている技術で、特許文献２に説明されている。これは、期待値最大化（ＥＭ）を使用して高次元の多変量データから低次元の潜在変数分布を推定する教師なし技術(unsupervised technique)である。この手法を、色の特徴と動きの特徴に対して別々に適用する。ヒストグラム（カウント）データについては、チャンネルごとのヒストグラムとブロックごとのヒストグラムのそれぞれを正規化して１つに合計する。次いで動きのセグメンテーション境界を使用して、正規化したカウントをセグメント全体にわたって累積する。同じ正規化プロセスと累積プロセスを、動きの特徴のヒストグラムデータに対して別々に適用する。このようにして動きのセグメントは、ＰＬＳＡの本来の使用状況におけるテキストドキュメントと同じように使用される。
【００７５】
動きのセグメントそれぞれについてベクトルが与えられると、ＰＬＳＡはＥＭを使用し、次式にしたがってデータの生成モデルを学習する。
【００７６】
【数３】
2009095013.tif 000005
【００７７】
式中、ｉ番目のセグメントはｓiによって示され、ｊ番目のビンはｃjによって示される。変数ｚkによって示されるＫ次元の潜在変数空間が構成される。注目する分布は、事後分布（posterior）Ｐ（ｚk／ｓi）である。この分布はＭステップの再推定でアップデートされ、モデルの学習後に簡単に得られる。この分布は、セグメントクラスタリングプロセスへのＫ個の要素のヒストグラム入力として使用される。一貫してＫ＝９である。
【００７８】
クラスタリングについては、動きのセグメントそれぞれにおける動きの特徴と色の特徴の両方に９次元潜在変数分布を使用する。こういった特徴を使用し、ＮS×ＮSの類似度行列を構築する。この行列において、ＮSは動きのセグメントの数である。このプロセスでは、各推定変数分布をヒストグラムとして扱い、バタチャリヤ（Bhattachraya）係数を使用して比較する。
【００７９】
【数４】
2009095013.tif 000006
【００８０】
この距離を、分布Ｐm（ｚk／ｓi）とＰc（ｚk／ｓi）をそれぞれ使用して動きの特徴と色の特徴の両方について計算する。ここで、ｚkは各潜在部分空間の指数である。
【００８１】
時間項を類似度尺度に加える。時間項は、時間的に離れたセグメントを持つクラスタにペナルティを課す。
【００８２】
【数５】
2009095013.tif 000007
【００８３】
式中、＜ｓi＞はｉ番目のセグメントの平均フレーム数で、Ｎはビデオのフレーム数である。上記の３つの距離尺度を組み合わせて一つの指数関数的なセグメント間の類似度行列にする。
【００８４】
【数６】
2009095013.tif 000008
【００８５】
式中、σm＝σc＝０．２５で、σvを、ソースビデオにおいて９セグメント離れたセグメント間のフレームの平均距離に設定した。
【００８６】
セグメント間の類似度行列を、スペクトラルクラスタリングアルゴリズムへの入力として使用する。このアルゴリズムは、多数の問題に対して優れたクラスタリングを提供することが示されており、スペクトラルクラスタリングアルゴリズムの多くの他のバリエーションに密接に関連する。ＳSを処理し、スケーリングし、その固有ベクトルを計算する。固有値は粗いランク推定を行うために使用され、ランク推定では固有スペクトルにおける総エネルギーの４５％を表す固有値の数を求め、これのみを保持する。これによって、クラスタの数が決まる。
【００８７】
セグメントのクラスタリングについては、固有ベクトルを、ｋ平均を使って上記のランク推定で求めたクラスタの数にクラスタリングする。そうすることで、各セグメントは保持されている各固有ベクトルに対応する値にしたがってクラスタに割り当てられる。
【００８８】
要約すると、これが動き、色、時間の情報を一緒に使用してセグメントをクラスタリングするための原理的な手法である。このフレームワークは、類似度尺度や低レベルの特徴の種々の選択に対して柔軟性がある。ＰＬＳＡとスペクトラルクラスタリングは両方とも実質的に分析されて厳密に動機付けされているが、これらをここで適用することによって、パフォーマンスに影響を与えると見込まれる多数のパラメータも導出される。こういったバリエーションの幾つかは既に研究されており、パラメータをより徹底して最適化することによってパフォーマンスをより向上できるとされている。
【００８９】
「５．２  代替法」
質的にみても妥当なクラスタを作成すると思われる代替法を、ダイナミックセグメントのクラスタリングで試みたが、最終的なシステムでは使用しなかった。こういった試みでは、代替法はクラスタリングでさらなる処理を一切していないブロックヒストグラム特徴を使用した。ただし、潜在変数分布などの他の手法を使用することもできる。変形例の目的は、似たようなセグメントの識別を試みることであったが、ある１つのセグメントが、別のセグメントが含むフルレンジのカメラ動きを含まなければ、例えば、１回のパンで他のセグメントよりも広い角度をスイープできる。この方法によると、各セグメントは固定速度、例えばＮ個（ここでは２０を使用した）のフレーム毎にサンプリングされる。１個のセグメントからのサンプルごとに別のセグメントからのサンプルと比較する。より短いセグメントにおける各サンプルのベストマッチを使用して類似度スコアを計算する。これによって、より長いセグメントにおけるビデオがより短いセグメントをカバーすると暗黙のうちに推定できる。類似度スコアを距離に変換する。詳細には、−１〜１の範囲を類似度スコアとするコサイン類似度を使用する。これは、０〜１の距離に次のように変換される。
【００９０】
【数７】
2009095013.tif 000009
【００９１】
式中、ｃｏｓＳｉｍはコサインベースの類似度である。
【００９２】
各セグメント対間の距離を計算し、距離行列を求める。類似度スコアはより短いセグメントに関連するため、距離行列は対角線で対称となり、行列の半分よりも少ない（要素について）スコアを計算すればよくなることに注目されたい。距離行列を単一リンククラスタリングで使用し、類似するセグメントのクラスタを識別する。クラスタツリーからのクラスタを定義するために、閾値を使用する。
【００９３】
「５．３  スタティックセグメントのクラスタリング」
本発明の一態様では、スタティックセグメントと見なしたセグメントを、単一リンクの凝集型クラスタリングを使用してクラスタリングする。特徴については、各セグメントのブロックヒストグラム値の平均を使用する。ユークリッド距離やコサイン類似度から導出した距離などの種々の距離尺度を使用できる。幾つかの尺度を試したが、クラスタリングの種類と比較するとそれほど違いはなかったので、簡単にするためにユークリッド距離を使用した。時間情報も使用できるが、これもダイナミックセグメントのクラスタリングに対する効果と比べると大きな違いはなかった。
【００９４】
凝集型クラスタリングでは、クラスタの定義方法が必要である。２つのよく知られている方法が、望ましいクラスタの数を予め定義したり閾値を設定したりする。本実施形態では、セミアダプティブ閾値を使用した。数個よりも多いセグメント（好適な実施形態では２０個より多くと定義する）がある場合、セグメントの幾つかは同じショットからのものかまたはショットの繰り返しであることが多いと分かった。こういった冗長セグメント間の距離は比較的短く、クラスタツリーでは、こういったショットの高さが最も低い。各セグメントが凝集型のツリーに追加されるときの高さを、ソートされるリストに入れる。一般に、最小距離は同じショットからのセグメントに対応する。理想を言えば、ソートされたリストの膝（ｋｎｅｅ：急な屈曲部）を識別できるとよい。２５番目のパーセンタイルの高さに１．５を乗算することによる安易な近似値を使用した。この高さを、類似のショットのクラスタを識別するための閾値として使用する。数個（２０個以下と定義する）しかセグメントがない場合には、セグメントが少なすぎて類似のセグメントが検出された距離を確実に推定できないため、クラスタを定義するために固定した閾値を使用する。
【００９５】
「６．セグメントの選択」
セグメントをクラスタにグループ分けすると、選択手段によりそのクラスタからの複数のセグメントを要約セグメントとして選択する。そして、この要約セグメントを要約ビデオにまとめる。
【００９６】
「６．１  標準的な選択」
スタティックセグメントとダイナミックセグメントを検出する本発明の一態様ではダイナミックセグメントを選択するが、他のアプリケーションでは別の処理も可能である。本実施形態では、ダイナミックセグメントのクラスタ毎に１つの代表を選択する。代表的なクラスタを選択するために、現在のクラスタ内の各セグメント対の類似度を計算する。上述のクラスタリングプロセス時に、ダイナミックセグメントのクラスタリングについて上述したように、単一の指数関数的なセグメント間の類似度行列の尺度を使用して、類似度行列を求める。この行列を使用し、セグメントクラスタＣのセグメント｛ｓc：ｃ∈Ｃ｝についてクラスタ内の類似度スコアを計算する。
【００９７】
【数８】
2009095013.tif 000010
【００９８】
同じように類似度行列を使用し、要約に含めるために既に選択したセグメントとの類似度が高いセグメントを選択しないようにする。セグメント候補とセグメント｛ｓp：ｐ∈Ｐ｝とのセグメント間類似度スコアを計算する。ここで、Ｐは要約において既に選択されているセグメントについて設定した指数を示す。最後に指数ｃ*∈Ｃを次式として、代表的なセグメントを選択する。
【００９９】
【数９】
2009095013.tif 000011
【０１００】
このプロセスを繰り返し、ダイナミックセグメントの各クラスタから代表的な１つのセグメントを選択する。一態様では、選択されたセグメントは、６秒までの最長持続時間ならばそっくりそのまま含まれる。ダイナミックセグメントが６秒よりも長い場合には、そのセグメントを切り、６秒間を残すようにセグメントの始めを削除する。当業者ならば、ユーザの好みまたは要約されるビデオ固有の特徴に応じて選択されたセグメントの長さをカスタマイズできることを理解するであろう。
【０１０１】
ダイナミックセグメントを選択した後、スタティックセグメントが含まれる。第１のステップでは、スタティックセグメントが選択されたダイナミックセグメントに重なったり、検出されたカチンコを含んだり、独特な（unique(singleton)）クラスタに属したりする場合には、そのスタティックセグメントを対象から除外する。残ったスタティックセグメントクラスタを全持続時間順にソートする。全持続時間の最も長いスタティックセグメントクラスタから始めて降順に進めることで、１つのセグメントが各クラスタから選択される。この選択は、すぐ上で説明した代表的なセグメントを選択するための式にしたがって進められる。ここで使用する類似度行列は、凝集型クラスタリングで使用したものと同じ距離行列（セグメントのブロックヒストグラムの平均同士のユークリッド距離）である。
【０１０２】
本実施形態では、選択されたスタティックセグメントそれぞれについて３秒の抜粋を選択する。セグメントの抜粋は、フレームインデックスの付いたアクティビティスコアを使用して決定する。このスコアは、上述した動きの特徴から計算する。アクティビティスコアは、最初にフレーム毎の大きさのヒストグラムをビン指数に対して積分し、次に７３フレームメディアンフィルターをかけるという２つのステップで計算される。具体的に言うと、フレームｆの１４個のビンの大きさのヒストグラムをｍf（ｂ），ｂ＝１，．．．，１４とした場合、内積は次式のように計算される。
【０１０３】
【数１０】
2009095013.tif 000012
【０１０４】
アクティビティスコアは、フレーム範囲ｆ−３６，．．．，ｆ＋３６にわたってこのスコアにかけたメディアンフィルターの出力となる。このスコアの目的は、オブジェクトまたは人物がフレームに出入りするときのような高レベルのアクティビティを伴うフレームに対応する極大を示すことである。最後にこのスコアは後処理され、ショット境界付近のピークが除去される。
【０１０５】
要約のために、最も高い平均アクティビティスコアを持つ選択されたスタティックセグメントの３秒間部分を抜粋する。全てのスタティックセグメントが表示されるかまたは最長要約持続時間一杯になるまで、さらなるスタティックセグメント、可能ならば同じクラスタからの抜粋セグメントを含めるべくこのプロセスを繰り返す。
【０１０６】
「６．２  クラスタリングされていないビデオの選択」
本実施形態では、クラスタリングベースの要約に修正できないコンテンツのビデオを自動的に検出しようと試みた。これを、ダイナミックセグメントが検出されなかった全てのビデオに適用した。さらに、９個より少ないスタティックセグメントが検出された場合には、そのビデオは長いスタティックショットばかりを含むものとした。この場合、要約は各セグメントの中央から取った３秒間の抜粋からなる。一態様では、要約を構成するためにこういったセグメントを通常の速度の１．５倍の速度で再生する。この手法によって、感知できる動きをなさない種々のオブジェクトベースのイベントを除外した短い要約が作成された。種々のセグメントからの均一なサンプリングに基づく別の手法のほうが、全体的な要約の持続時間に制約があっても、より多くのコンテンツを含める簡単な方法であろう。セグメント当たりの要約時間は、そのセグメントが占めるソースビデオの比率に応じて割り当てられる。
【０１０７】
「７．要約の表示」
要約セグメントを選択すると、要約ビデオ生成手段がこれを要約ビデオにまとめる。一態様では、選択されたセグメントそれぞれが属するクラスタで時間的に一番早いセグメントの開始時間によって、選択されたセグメントを順序付ける。これは任意であるが、他のシーンと交互に配置されるシーンのショットが多数存在する本実施形態では実行した。ユーザまたは評価者がショットまたはセグメントをショットのグランドトルースリスト(ground truth list)と突き合わせ易くなるだろうという前提による。より普通の順序付けならば、各セグメントの開始時間によって要約セグメントを並べるだろう。
【０１０８】
本発明の一態様では、要約ビデオをレンダリングすると、視覚的な合図がビデオに重なって要約セグメントのコンテキストに関する情報を観察者に提供する。図４は、タイムライン１５４と他の情報が重なって示されているビデオ要約からのフレーム１５２を示す。オリジナルビデオにおける現在再生しているセグメントの時間１５６が、オリジナルビデオの全長１５８の横に示されている。オリジナルビデオを表すタイムライン１６０も、要約に含まれるオリジナルビデオ部分を示すシェーディング１６２と共に示されている。現在再生しているセグメント１６４は、同じタイムライン上でハイライトされる。現在の再生速度１６６（セグメント毎に変えられる）、現在のセグメントの再生時間１６８、現在のセグメントうちのどのくらいの部分が再生されたかを示すプログレスバー１７０も示されている。
【０１０９】
当業者ならば、ユーザが要約ビデオを評価するのを手助けするために、要約セグメントに関する種々の情報を要約ビデオに表示できることを理解するであろう。
【０１１０】
「８．評価」
本発明の一実施形態では、２つのベースラインシステムを評価のために定義した。すなわち、２５秒毎に１秒間のビデオを選択し、色の特徴に対するｋ平均クラスタリングを使用してショットをＫ個のクラスタにクラスタリングする（ここで、Ｋは１秒間の要約の個数に等しい）ものと、各クラスタの重心（centroid）に最も近いショットから中央の秒を選択するものである。
【０１１１】
本実施形態の方法は２番目のベースラインに近いが、多数の点で異なっている。本実施形態の方法は、色に基づくビデオの分割と動きに基づくビデオの分割を別個に行う、より細かい分割（セグメンテーション）を実行する。現在のところ、このシステムは、総合的なパンとズームの動きの特徴に基づいてカメラの動きを分割するが、より細かい動きが要約に求められるならば、色ベースのセグメントとカメラの動きベースのセグメントのより細かい分割（セグメンテーション）を、動きのヒストグラムに基づいて実行できる。全てのセグメントを１回だけクラスタリングするのではなく、カメラの動きのあるセグメントを、カメラが比較的静止しているセグメントとは別にクラスタリングするため、異なる特徴や類似度尺度を使用できる。さらに、このシステムによって、ユーザがカメラの動きのある代表的なセグメントとオブジェクトの動きを含む代表的な静止セグメントを選択する優先順位を指定できる。このシステムは音声情報も使用し、スピードアップしたセグメントで音声を処理してピッチを元に戻し、オリジナルビデオへのインデックス付けのためにメタデータを要約に表示する。
【０１１２】
このシステムは、早く再生できる種類の要約を作成する。スポーツまたはニュースなどの特定のジャンルのための要約を含めた、作成可能な他の種類の要約が存在する。
【０１１３】
単独であれ本発明の他の態様との組み合わせであれ、本発明の種々の態様をＬＳＢ２．０リナックス環境で動作するコンピューティングプラットフォームで実行されるＣ＋＋コードで実施できる。ただし、ここに提供した本発明の態様は、他のオペレーティングシステム環境で動作するように構成された他のプログラミング言語でも実施できる。さらに、限定しないが、パーソナルコンピュータ、ミニコンピュータ、メインフレーム、ワークステーション、ネットワークもしくは分散コンピューティング環境、充電されたパーティクルツール（particle tools）とは別個の、もしくはこれと一体化した、もしくはこれと通信するコンピュータプラットフォームなどを含むあらゆる種類のコンピューティングプラットフォームで、この方法論を実施できる。さらに、リムーバブルであるかコンピューティングプラットフォームと一体化しているかに関わらず、ハードディスク、光学式読み取りおよび／または書き込み記憶媒体、ＲＡＭ、ＲＯＭなどの任意の記憶媒体に提供される機械可読コードで本発明の態様を実施できる。さらに、機械可読コードまたはその一部を有線または無線ネットワークで伝送できる。
【０１１４】
本発明の種々の代表的な実施形態をある程度詳細に上で説明してきたが、当業者であれば、本明細書と特許請求の範囲で説明した本発明の主題の趣旨または範囲から逸脱することなく、開示の実施形態に対して多数の変更を施すことができるであろう。ここで直接的または間接的に説明した方法論では、種々のステップや動作を考えられる１つの動作順序で説明したが、当業者なら本発明の趣旨や範囲から必ずしも逸脱することなくステップおよび動作を並べ替えたり、取り替えたり、削除したりできることを認識するであろう。上記の説明に含まれるかまたは添付図面に示される全ての事柄は限定ではなく単なる例示として解釈すべきものであることが意図されている。
【図面の簡単な説明】
【０１１５】
【図１】本発明の一態様のビデオ要約システムを示すブロック図である。
【図２】本発明の一態様に係る、動きベースの特徴を計算する一つの方法を示すビデオフレームである。
【図３】本発明の一態様に係り、音声ベースのカチンコ検出器を示す、対応する音声波形を伴った一連のビデオフレームである。
【図４】本発明の一態様に係るビデオ要約表示を示す。
【符号の説明】
【０１１６】
１５６  オリジナルビデオ内の時間
１５８  オリジナルビデオの全長
１６０  タイムライン
１６２  含まれているセグメント
１６４  再生しているセグメント
１６６  再生速度
１６８  セグメント内の時間
１７０  セグメントの進行
【図１】
2009095013.tif 000013
【図２】
2009095013.tif 000014
【図３】
2009095013.tif 000015
【図４】
2009095013.tif 000016