(57)【要約】  オーディオ及びビジュアル特性をもつ複数の連続するフレームを有するオーディオ／ビジュアルデータストリームのサマリを生成する方法が提供される。オーディオ／ビジュアルデータストリームの複数のショットが検出される（ステップ２０４）。各セグメントが類似のビジュアル特性をもつ前記データストリームの複数のショットを有する、前記オーディオ／ビジュアルデータストリームの複数のセグメントが決定される（ステップ２０６）。決定された複数のセグメントのうちの一のセグメントが選択される（ステップ２０８）。前記データストリームの選択されたセグメントの各ショットに対して、当該ショットの終了後に生じる複数の連続するフレーム中のオーディオが抽出される（ステップ２１０）。抽出されたオーディオに基づいて前記ショットのうちの少なくとも１つのショットが選択される（ステップ２１２）。前記ショットのうちの選択された少なくとも１つのショットを含めるためにサマリが生成される（ステップ２１４）。
2011523291.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ及びビジュアル特性をもつ複数の連続するフレームを有するオーディオ／ビジュアルデータストリームのサマリを生成する方法であって、
オーディオ／ビジュアルデータストリームの複数のショットを検出するステップと、
各セグメントが類似のビジュアル特性をもつ前記データストリームの複数のショットを有する、前記オーディオ／ビジュアルデータストリームの複数のセグメントを決定するステップと、
決定された複数のセグメントのうちの一のセグメントを選択するステップと、
前記データストリームの選択されたセグメントの各ショットに対して、当該ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出するステップと、
抽出されたオーディオに基づいて前記ショットのうちの少なくとも１つのショットを選択するステップと、
前記ショットのうちの選択された少なくとも１つのショットを含めるためにサマリを生成するステップとを有する、方法。
【請求項２】
前記抽出されたオーディオに基づいて前記ショットのうちの少なくとも１つのショットを選択するステップは、前記ショットのうちの少なくとも１つのショットの終了後に生じる複数の連続するフレーム中の前記抽出されたオーディオが予め決められた閾値を超える、前記ショットのうちの少なくとも１つのショットを選択するステップを有する、請求項１に記載の方法。
【請求項３】
オーディオ／ビジュアルデータストリームの複数のショットを検出するステップは、
前記データストリームの各フレームのビジュアル特性を、前記データストリームのそれぞれの後続するフレームのビジュアル特性と比較するステップと、
比較されたビジュアル特性が類似する複数の連続したフレームを各ショットが有する複数のショットを検出するステップとを有する、請求項１に記載の方法。
【請求項４】
オーディオ／ビジュアルデータストリームの複数のセグメントを決定するステップは、
前記データストリームの各ショットのビジュアル特性を比較するステップと、
比較されたビジュアル特性が類似する複数のショットを有する複数のセグメントを決定するステップとを有する、請求項１に記載の方法。
【請求項５】
決定された複数のセグメントのうちのセグメントを選択するステップは、
前記決定された複数のセグメントのうち最も長いセグメントを選択するステップを有する、請求項１に記載の方法。
【請求項６】
前記ビジュアル特性は、前記ショットのそれぞれの内容を含み、
当該方法は、前記ショットのそれぞれの内容を検出及び解析するステップを更に有する、請求項１に記載の方法。
【請求項７】
前記ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出するステップは、
前記データストリームの選択されたセグメントの各ショットに対して、予め規定された周波数帯域に対する前記ショットの終了後に生じる複数の連続するフレームのオーディオ出力を計算するステップを有し、
抽出されたオーディオに基づいて前記ショットのうちの少なくとも１つのショットを選択するステップは、
前記予め規定された周波数帯域に対する前記ショットの終了後に生じる前記複数の連続するフレームの前記オーディオ出力が閾値を超える、前記ショットのうちの少なくとも１つのショットを選択するステップを有する、請求項１に記載の方法。
【請求項８】
前記予め規定された周波数帯域は、周波数スペクトル全体として予め規定される、請求項７に記載の方法。
【請求項９】
前記予め規定された周波数帯域は、周波数スペクトルの一部として予め規定される、請求項７に記載の方法。
【請求項１０】
前記ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出するステップは、
前記データストリームの第１の予め決められた長さに渡って前記データストリームのオーディオ出力の第１の移動平均を計算するステップと、
前記データストリームの前記第１の予め決められた長さとは異なる、前記データストリームの第２の予め決められた長さに渡って前記データストリームのオーディオ出力の第２の移動平均を計算するステップと、
前記第１の移動平均と前記第２の移動平均とを比較するステップとを有する、請求項１に記載の方法。
【請求項１１】
前記ショットのうちの少なくとも１つを選択するステップは、
前記第１の移動平均と前記第２の移動平均との間の差が閾値を超える各ショットを選択するステップを有する、請求項１０に記載の方法。
【請求項１２】
前記データストリームは、ラケットスポーツを表し、選択されたセグメントはラリーに対応する、請求項１に記載の方法。
【請求項１３】
請求項１〜１２のうちいずれか一項に記載の方法を実行するための複数のプログラムコード部分を有する、コンピュータプログラム。
【請求項１４】
オーディオ及びビジュアル特性をもつ複数の連続するフレームを有するオーディオ／ビジュアルデータストリームのサマリを生成する装置であって、
オーディオ／ビジュアルデータストリームの複数のショットを検出するショット検出部と、
各セグメントが類似のビジュアル特性をもつ前記データストリームの複数のショットを有する、前記オーディオ／ビジュアルデータストリームの複数のセグメントを決定する決定手段と、
決定された複数のセグメントのうちの一のセグメントを選択する第１の選択部と、
前記データストリームの選択されたセグメントの各ショットに対して、当該ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出する抽出部と、
抽出されたオーディオに基づいて前記ショットのうちの少なくとも１つのショットを選択する第２の選択部と、
前記ショットのうちの選択された少なくとも１つのショットを含めるためにサマリを生成するサマリ生成部とを有する、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ／ビジュアルデータストリームのサマリを生成するための方法及び装置に関する。
【背景技術】
【０００２】
放送スポーツイベントの視聴は、増加しているスポーツチャンネルに反映されるように、ますます普及している。しかしながら、膨大な量の利用可能なコンテンツは、ユーザがその全てを観ることを不可能にしている。
【０００３】
一の既存の解決策は、主なハイライトを示すイベントのサマリをユーザに提供することである。既存のサマリ化システムは、典型的には、予め規定された時間間隔に適合するビデオシーケンスの最良のセグメントを選択しようとする。例えば、ユーザが５分のサマリを要求する場合には、システムは、５分のサマリに適合する最良のセグメントがどれかを検出する。
【０００４】
非常に広く観られたスポーツはテニスであり、大抵、同時に放送される試合は３つ又は４つに過ぎないが、その試合の数は、（特に試合の一回戦の間において）ユーザが全ての試合を観ることができないほど十分に多い。更に、ラリー及び小休止の交互のシーケンスに対応するテニスの構造は、非常にしばしばコマーシャルで満たされる。結果として、特に、結末のために関心のある、見応えのある又は重要なラリーを観るために、ユーザが完全な試合とは対照的にハイライトを観ることができることが望ましい。
【０００５】
米国特許公開第２００７／０２９２１１２号明細書は、テニスゲームの映像中のハイライトを探す方法を開示している。複数の長視野ショット（long-field view shot）が映像において検出され、この長視野ショットのオーディオエネルギが、ハイライトに属している所望の長視野ショットを決定するために用いられる。例えば、オーディオエネルギは、ハイライトを決定するために長視野ショットの間の拍手喝采を識別するために用いられる。
【０００６】
しかしながら、米国特許公開第２００７／０２９２１１２号明細書の方法では、最も重要な（例えば最も関心のある）ハイライトを決定することはできない。更に、拍手喝采を識別するために用いられたオーディオエネルギは、解説者の声、又は、悲鳴やボールが当たる等の選手により発せられた音のような望ましくないノイズを含む可能性があるので、特に正確というわけではない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、オーディオ／ビジュアルデータストリームの最も重要なハイライトを含むサマリが生成される方法を提供しようとする。本発明は、更に、最も重要なハイライトを検出する精度を向上させようとする。
【課題を解決するための手段】
【０００８】
これは、本発明の一態様によれば、オーディオ及びビジュアル特性をもつ複数の連続するフレームを有するオーディオ／ビジュアルデータストリームのサマリを生成する方法であって、オーディオ／ビジュアルデータストリームの複数のショットを検出するステップと、各セグメントが類似のビジュアル特性をもつ前記データストリームの複数のショットを有する、前記オーディオ／ビジュアルデータストリームの複数のセグメントを決定するステップと、決定された複数のセグメントのうちの一のセグメントを選択するステップと、前記データストリームの選択されたセグメントの各ショットに対して、当該ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出するステップと、抽出されたオーディオに基づいて前記ショットのうちの少なくとも１つのショットを選択するステップと、前記ショットのうちの選択された少なくとも１つのショットを含めるためにサマリを生成するステップとを有する、方法により達成される。
【０００９】
これは、本発明の他の態様によれば、オーディオ及びビジュアル特性をもつ複数の連続するフレームを有するオーディオ／ビジュアルデータストリームのサマリを生成する装置であって、オーディオ／ビジュアルデータストリームの複数のショットを検出するショット検出部と、各セグメントが類似のビジュアル特性をもつ前記データストリームの複数のショットを有する、前記オーディオ／ビジュアルデータストリームの複数のセグメントを決定する決定手段と、決定された複数のセグメントのうちの一のセグメントを選択する第１の選択部と、前記データストリームの選択されたセグメントの各ショットに対して、当該ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出する抽出部と、抽出されたオーディオに基づいて前記ショットのうちの少なくとも１つを選択する第２の選択部と、前記ショットのうちの選択された少なくとも１つを含めるためにサマリを生成するサマリ生成部とを有する、装置により達成される。
【００１０】
この態様において、関心のあるショットが識別されて元のオーディオ／ビジュアルデータストリームから分離され、これによりサマリを形成するので、サマリ（例えば、テニスのハイライトのようなハイライト）を観るユーザの体験が高められる。有利には、サマリは、データストリーム中の各ショットがどれくらい関心のあるものかに依存するだろう。更に、"どれくらい関心のある"ショットであるかの基準が適合されてもよい。本願では、小さいか又は大きいサマリを適宜得るために閾値を下げるか又は上げてもよい。この制御は、ユーザに対して非常に簡素な手法で提供され得る。この制御の結果として、生成されたサマリは、オーディオ／ビジュアルデータストリームの最も重要な（例えば最も関心のある）ハイライトを含む。それ故、検出されたイベントは、組み合わせられ、よりカスタマイズされたフォーマットのサマリで提示される。更に、重要なハイライトは、ショットの直後のフレームのオーディオを抽出し、そのオーディオのレベルに基づいてショットを選択するだけで、正確に検出される。換言すれば、データストリームの選択されたセグメントのショットの間のオーディオは無視される。これは、解説者の声又は選手により発せされた音等の不所望なノイズによりもたらされ得るオーディオの読み込みについてのエラーを取り除く。更に、ショットの後のオーディオを抽出し、そのオーディオのレベルに基づいてショットを選択することにより、重要なイベントに反応する観衆の自然遅延が得られる。この方法は、例えば観衆が試合中に騒ぐのを禁止されており、各ポイントがプレイされた後、即ち各ラリー後にのみ反応することができるようなテニスに関して用いられるときに特に効果的である。
【００１１】
オーディオ／ビジュアルデータストリームの複数のショットを検出するステップは、データストリームの各フレームのビジュアル特性を、データストリームのそれぞれの後続するフレームのビジュアル特性と比較するステップと、比較されたビジュアル特性が類似する複数の連続したフレームを各ショットが有する複数のショットを検出するステップとを有する。これは、例えばフレームのビジュアル特性が長視野ショットから短視野ショット（short field view shot）に変化するときに、連続するフレームのビジュアル特性の変化を解析することにより、同一のイベントにフォーカスしているショットを提供する効果的な態様を提供する。類似のビジュアル特性を含むフレームは、同一の視野ショットである可能性が高く、それ故に、容易に決定され得る。この手法において、ショット間の遷移が識別され、それ故、データストリームにおける異なるショットを検出する、簡素であるが依然として効果的な手法を提供する。
【００１２】
オーディオ／ビジュアルデータストリームの複数のセグメントを決定するステップは、データストリームの各ショットのビジュアル特性を比較するステップと、比較されたビジュアル特性が類似する複数のショットを有する複数のセグメントを決定するステップとを有し得る。結果として、類似のビジュアル特性を含むショットは、セグメントを規定する。これは、特定のイベントがハイライトとして決定されるのを可能にする。例えば、重要なイベントがデータストリーム内に存在するときには、重要なイベントが複数の視覚的に類似のショットによりカバーされるので、重要なイベントを含むショットが同一のビジュアル特性を含む可能性が高い。例えば、テニスの試合において、重要なイベントはラリーであり、ラリーを含むショットの視覚的特徴は類似する可能性が高い。ラリーが終わったときには、視覚的特性は、特定のショットにおいて変化する可能性が高く、従って、このショットは、当該セグメントに含まれない。これは、データストリームの重要なイベントが簡素であるが効果的な手法で決定されることを可能にする。
【００１３】
ビジュアル特性は、支配色、色構造、色レイアウト、色調ヒストグラム、ルマ（luma）ヒストグラム、エッジヒストグラム、平均ヒストグラムの変化及び平均画素の変化のうち少なくも１つを有し得る。例えば、２つの連続したフレーム間のヒストグラムの変化は、フレームのビジュアル特性の変化を示し、それ故に、同一のイベントを含むフレーム（即ち、同一のビジュアル特性をもつフレーム）が容易に決定され得る。
【００１４】
決定された複数のセグメントのうちのセグメントを選択するステップは、決定された複数のセグメントのうち最も長いセグメントを選択するステップを有する。結果として、最も関心のあるセグメント、例えば全てのテニスラリーを含むものが、関心の少ないセグメントから区別され得る。
【００１５】
また、ビジュアル特性は、複数の連続するフレームのそれぞれの内容を含み、本方法は、複数の連続するフレームのそれぞれの内容を検出及び解析するステップを更に有し得る。これは、関心のあるフレームのより洗練された決定を可能にする。例えば、フレーム内に存在するコートラインは、重要なセグメントのより正確な決定を可能にするために検出及び解析され得る。代わりに、ボールの動きは、最も関心のあるセグメントを抽出するために検出及び解析され得る。
【００１６】
一実施形態によれば、ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出するステップは、データストリームの選択されたセグメントの各ショットに対して、予め規定された周波数帯域に対するショットの終了後に生じる複数の連続するフレームのオーディオ出力を計算するステップを有し、抽出されたオーディオに基づいて少なくとも１つのショットを選択するステップは、予め規定された周波数帯域に対するショットの終了後に生じる複数の連続するフレームのオーディオ出力が閾値を超える少なくとも１つのショットを選択するステップを有する。
【００１７】
予め規定された周波数帯域は、周波数スペクトル全体又は周波数スペクトルの一部として規定され得る。
【００１８】
この手法における抽出されたオーディオをフィルタリングする周波数の結果として、オーディオ／ビジュアルデータストリーム中の異なるタイプのオーディオの影響が良好に解析される。例えば、低い周波数帯域は、一般的なオーディオ出力を伝達し、僅かに高い周波数をもつ帯域は、典型的には、人間の声（例えば、解説者の声）に関する情報を伝達し、更に高い周波数は、観衆により発せられた一般的なノイズに関する情報を伝達する。
【００１９】
代替実施形態によれば、ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出するステップは、データストリームの第１の予め決められた長さに渡ってデータストリームのオーディオ出力の第１の移動平均（moving average）を計算するステップと、データストリームの第１の予め決められた長さとは異なる、データストリームの第２の予め決められた長さに渡ってデータストリームのオーディオ出力の第２の移動平均を計算するステップと、第１及び第２の移動平均を比較するステップとを有する。
【００２０】
少なくとも１つのショットを選択するステップは、第１の平均と第２の平均との間の差が閾値を超えるような各ショットを選択するステップを有し得る。
【００２１】
この手法において、ハイライト検出アルゴリズムは、放送、イベント、観衆、解説者等の特性から、より独立している。例えば、各周波数帯域（又は代わりに全体のオーディオスペクトル）に対するオーディオ出力は、典型的には、特定の時間期間続くオーディオフレームのグループを解析する実行窓（running window）に渡って計算される。しかしながら、オーディオ出力は、しばしば、放送、イベント、観衆、解説者等の特性に依存する。例えば、スタジアムが満員である場合に、全体のオーディオレベル又は出力は、スタジアムが半分しか埋まっていないが必ずしも試合にあまり関心がないことを意味するものではない場合よりも高くなるだろう。第２の平均窓は、ハイライト検出アルゴリズムが斯様な特性からもっと独立するように、そのオーディオを正規化する。
【００２２】
閾値は、予め決められた閾値であってもよい。
【００２３】
データストリームは、ラケットスポーツを表し、決定された複数のセグメントはラリーに対応してもよい。この手法において、ユーザは、例えばパーソナルビデオレコーダで、テニスの試合を録画し得る。そして、本デバイスは、最も関心のあるラリーを表すことができ、観衆の注目を集めない、それ故に高い関心のものではないと見なされるものをスキップする。更に、本技術は、個別のラリーを介してナビゲーションを提供し、コマーシャル及びラリー間の中断をスキップすることができ、又は、実際の試合のポイントを提供し、実際のテニスに属さない読み込みの最初及び最後をスキップすることができる。
【００２４】
本発明のより完全な理解のために、添付図面と組み合わせて以下の説明が参照される。
【図面の簡単な説明】
【００２５】
【図１】オーディオ／ビジュアルストリームのサマリを生成するための装置の簡素化された図である。
【図２】オーディオ／ビジュアルデータストリームのサマリを生成する方法のフローチャートである。
【発明を実施するための形態】
【００２６】
図１によれば、装置１００は、ショット検出部１１０へのオーディオ／ビジュアルデータストリームの入力のための入力端子１０２を有する。ショット検出部１１０の出力は、決定手段１１２に接続される。決定手段１１２の出力は、第１の選択部１１３の入力に接続される。第１の選択部１１３の出力は、抽出部１１４の入力に接続される。抽出部１１４の出力は、第２の選択部１１６の入力に接続される。第２の選択部１１６の出力は、サマリ生成部１１８の入力に接続される。サマリ生成部１１８は、出力端子１２０を介して、テレビ又は他の表示手段等のディスプレイにサマリを出力する。
【００２７】
図１の装置の動作が、図２を参照して詳細に説明されるだろう。オーディオ／ビジュアルストリームが入力端子１０２で受信され（ステップ２０２）、ショット検出部１１０に入力される。オーディオ／ビジュアルデータストリームは、オーディオ及びビジュアル特性をもつ複数の連続するフレームを有する。オーディオ／ビジュアルデータストリームは、ローカル格納部上か、放送チャンネルから受信されるか、又は、インターネットからダウンロードされるかのいずれかで利用可能であり、例えば、テニス、バドミントン、スカッシュ、卓球等のラケットスポーツを表す。
【００２８】
ショット検出部１１０は、オーディオ／ビジュアルデータストリームの複数のショットを検出する（ステップ２０４）。これは、ショット検出部１１０が、オーディオ／ビジュアルデータストリームの各フレームのビジュアル特性を、データストリームの関連する後続するフレームのビジュアル特性と比較し、比較されたビジュアル特性が類似である複数の連続するフレームを有する複数のショットを決定することにより実現される。換言すれば、ショット検出部１１０は、連続するフレームのビジュアル特性の突然の変化を検出するためにフレームのビジュアル特性を用いる。ビジュアル特性の突然の変化は、例えば、元のＹＣｂＣｒ色空間（ビデオシーケンスで用いられた色空間群。ここで、Ｙは輝度成分であり、Ｃｂ及びＣｒは青及び赤のクロミナンス成分である。）の突然の変化のような、元の色空間のヒストグラムのセットの突然の変化であり得る。ビジュアル特性の突然の変化は、データストリーム中のショット間の遷移に対応する。
【００２９】
ショット検出部１１０は、オーディオ／ビジュアルデータストリームの検出された複数のショットを検出手段１１２に出力する。
【００３０】
決定手段１１２は、オーディオ／ビジュアルデータストリームの複数のセグメントを決定する（ステップ２０６）。各セグメントは、類似のビジュアル特性をもつデータストリームの複数のショットを有する。複数のショットは、必ずしも全てが連続している必要はない。換言すれば、決定手段１１２は、セグメントを形成するために視覚的に類似するショットをクラスタ化する。例えば、決定手段１１２は、２つのショットのビジュアル特性の間の差がセグメントを形成するための予め決められた値よりも低い場合には、データストリームの２つのショットをクラスタ化する。
【００３１】
ビジュアル特性は、例えば、支配色、色構造、色レイアウト、色調ヒストグラム、ルマヒストグラム、平均ヒストグラムの変化及び平均画素の変化のうち少なくとも１つである。また、ビジュアル特性は、ショットのそれぞれの内容を含み、決定手段１１２は、複数のショットのそれぞれの内容を検出及び解析する。内容は、例えば、フレームにおいて検出されたコートライン、フレームにおいて検出されたテニスボールの落下、フレームにおいて検出された顔、又は、任意の他の内容を含む。
【００３２】
決定手段１１２は、決定された複数のセグメントを第１の選択部１１３に出力する。
【００３３】
第１の選択部１１３は、決定された複数のセグメントのうちの一のセグメントを選択する（ステップ２０８）。例えば、第１の選択部１１３は、決定された複数のセグメントのうちの最も長いセグメントを選択する。この手法において、第１の選択部１１３は、類似のショットの最も大きなクラスタを選択する。場合によっては、最も長いセグメントは、より関心のあるもの又はより重要なものを示し得る。ラケットスポーツを表すデータストリームの場合において、選択されたセグメントは、例えば、ラリーに対応し得る。ラリーに対応するショットが、視覚的に非常に類似し、ラケットスポーツの放送において最も頻繁に現れるショットでもあるからである。
【００３４】
第１の選択手段１１３は、選択されたセグメントを抽出部１１４に出力する。
【００３５】
抽出部１１４は、データストリームの選択されたセグメントの各ショットに対して、ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出する（ステップ２１０）。抽出部１１４は、ショットの間のオーディオを無視する。換言すれば、抽出部１１４は、選択されたセグメントのショット間の間隔におけるオーディオ出力特性を抽出する。ショットの終了後に生じる複数の連続するフレーム中のオーディオを抽出することにより、抽出部１１４は、各間隔の開始と拡張された終了との間のオーディオだけを抽出する。これは、例えば、観衆の反応の自然遅延を得る。
【００３６】
一実施形態において、抽出部１１４は、データストリームの選択されたセグメントの各ショットに対して、予め規定された周波数帯域に対するショットの終了後に生じる複数の連続するフレームのオーディオ出力を計算することによりオーディオを抽出する。予め規定された周波数帯域は、周波数スペクトルの特定の部分（例えば、１〜５ｋＨｚの周波数帯域）として規定され得る。この場合において、抽出部１１４は、周波数スペクトルの前記部分に対するショットの終了後に生じる複数の連続するフレーム中のオーディオだけを計算する。この手法において抽出されたオーディオを周波数フィルタリングすることにより、オーディオ／ビジュアルデータストリームにおける異なるタイプのオーディオの影響が良好に解析される。例えば、低周波数帯域は一般的なオーディオ出力を伝達し、僅かに高い周波数をもつ帯域は、典型的には、人間の声に関する情報（例えば、解説者の声）を伝達し、より高い周波数をもつ帯域は、観衆より発せられた一般的なノイズに関する情報を伝達する。代わりに、周波数帯域は、周波数スペクトル全体（即ち、全ての周波数）として予め規定されてもよい。この場合において、抽出部１１４は、周波数スペクトル全体（即ち、全ての周波数）に対するショットの終了後に生じる複数の連続するフレーム中のオーディオを計算する。この計算されたオーディオは、全体的オーディオ出力である。
【００３７】
抽出部１１４は、抽出されたオーディオを第２の選択部１１６に出力する。
【００３８】
第２の選択部１１６は、抽出されたオーディオに基づいてショット群のうちの少なくとも１つのショットを選択する。例えば、第２の選択部１１６は、予め規定された周波数帯域に対するショット群のうちの少なくとも１つのショットの終了後に生じる複数の連続するフレームのオーディオ出力が閾値を超えるような、ショット群のうちの少なくとも１つのショットを選択する。
【００３９】
この手法において、より強い反応を誘発したショットが決定される。これらのショットは、観衆又は解説者にとってより関心のある可能性が最も高い。閾値は、予め決定され、ユーザにより設定されるか、又は、ユーザの反応に応答して、多かれ少なかれ関心のあるハイライトを含むために望まれるレベルに自動的に調節されてもよい。
【００４０】
代替実施形態において、抽出部１１４は、データストリームの２つの異なる長さに渡るオーディオ出力の２つの移動平均を計算することによりオーディオを抽出する。換言すれば、抽出部１１４は、データストリームの第１の予め決められた長さに渡ってデータストリームのオーディオ出力の第１の移動平均を計算し、データストリームの第２の予め決められた長さに渡ってデータストリームのオーディオ出力の第２の移動平均を計算する。データストリームの第１の予め決められた長さは、データストリームの第２の予め決められた長さとは異なる。例えば、抽出部１１４は、データストリームの短い窓（例えば１秒）に対する第１の移動平均を計算し、データストリームの長い窓（例えば２０秒）に対する第２の移動平均を計算する。第２の平均窓は、典型的には、（大抵１０のオーダで）第１のものよりも大きく、オーディオの"全体的な"特性を取得する。それ故、抽出部１１４は、例えばテニスの試合のコートでの出来事に対する観衆の応答を分類するために、データストリームの選択された間隔におけるオーディオ出力特性を処理する。そして、抽出部１１４は、第１及び第２の移動平均を比較する。
【００４１】
抽出部１１４は、各ショットに対するオーディオ出力の比較された第１及び第２の移動平均を第２の選択部１１６に出力する。
【００４２】
第２の選択部１１６は、第１の移動平均と第２の移動平均との間の差が閾値を超える各ショットを選択する。換言すれば、第１の窓に対して計算されたオーディオ出力を第２の窓に対して計算されたオーディオ出力と比較することにより、選択部１１６は、一般的な特性よりも高いオーディオ出力の任意の急上昇を検出する。第１の移動平均と第２の移動平均との間の差が閾値を超える場合には、観衆の反応は、ハイライトを反映しているものと見なされる。この場合も同様に、閾値は、予め決定され、ユーザにより設定されるか、又は、ユーザの反応に応答して、多かれ少なかれ関心のあるハイライトを含むために望まれるレベルに自動的に調節されてもよい。
【００４３】
第２の選択部１１６は、ショット群のうちの選択された少なくとも１つのショットをサマリ生成部１１８に出力する。サマリ生成部１１８は、ショット群のうちの選択された少なくとも１つのショットを含めるためにサマリを生成し（ステップ２１４）、例えばテレビ又は任意の他の表示手段によるディスプレイのための出力端子１２０を介してサマリを出力する。
【００４４】
本発明の実施形態は、添付図面において示され、先の詳細な説明において説明されたが、本発明は、開示された実施形態に限定されず、特許請求の範囲に記載された本発明の範囲から逸脱することなく多くの修正が可能であることが理解されるだろう。
【００４５】
"手段"は、当業者にとって明らかであるように、単独で又は他の機能と組み合わせて、分離して又は他の要素と協働して、動作中に再生するか、又は、特定の機能を再生するように設計される、（分離又は一体化された回路又は電子要素のような）任意のハードウェア、又は、（プログラム又はプログラムの部分のような）ソフトウェアを含むことを意味する。本発明は、幾つかの別個の要素を有するハードウェアにより、及び、適切にプログラムされたコンピュータにより実施され得る。幾つかの手段を列挙する装置に係る請求項において、これらの手段の幾つかは、ハードウェアの一及び同一のアイテムにより具現され得る。"コンピュータプログラムプロダクト"は、フロッピディスク、インターネット等のネットワークを介してダウンロード可能なもの、任意の他の態様において市場性のあるもののような、コンピュータ読み取り可能な媒体に格納された任意のソフトウェア製品を意味することが理解されるべきである。
【図１】
2011523291.tif 000003
【図２】
2011523291.tif 000004
【国際調査報告】
2011523291.tif 000005
2011523291.tif 000006
2011523291.tif 000007