(57)【要約】  ビデオシーケンス中のスローモーションの出現が、ビデオシーケンスの複数のフレームのそれぞれについて光度の特徴を抽出し（ステップ１０３）、前記抽出された光度の特徴の間の差を決定し（ステップ１０５）、前記決定された差に対して周波数解析を実行し（ステップ１０９）、前記差の間の周波数変化が所定の閾値を超える場合に前記ビデオシーケンス中にスローモーションの出現を検出することにより、検出される。
2010509828.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンス中のスローモーションの出現を検出するための方法であって、
ビデオシーケンスの複数のフレームのそれぞれについて、光度の特徴を抽出するステップと、
前記抽出された光度の特徴の間の差を決定するステップと、
前記決定された前記抽出された光度の特徴の間の差に対して、周波数解析を実行するステップと、
前記差の間の周波数変化が所定の閾値を超える場合、前記ビデオシーケンス中にスローモーションの出現を検出するステップと、
を有する方法。
【請求項２】
前記抽出された光度の特徴の間の差を決定するステップは、
或るフレームの前記抽出された光度の特徴を、先行する又は後続するフレームの前記抽出された光度の特徴から減算するステップ
を有する、請求項１に記載の方法。
【請求項３】
前記決定された差に対して周波数解析を実行するステップは、前記決定された差のフーリエ分解を含む、請求項１に記載の方法。
【請求項４】
前記ビデオシーケンス中のスローモーションの出現を検出するステップは、
前記フーリエ分解により生成された周波数スペクトル中のピークを検出するステップ
を有する、請求項３に記載の方法。
【請求項５】
前記光度の特徴は、前記フレーム中の平均輝度を有する、請求項１に記載の方法。
【請求項６】
前記ビデオシーケンスは圧縮されたものであり、前記ビデオシーケンス中のスローモーションの出現を検出するステップは更に、
前記決定された前記抽出された光度の特徴の間の差をノイズについて補償するステップと、
前記補償された差の間の周波数変化が所定の閾値を超える場合、前記ビデオシーケンス中にスローモーションの出現を検出するステップと、
を有する、請求項１に記載の方法。
【請求項７】
前記光度の特徴を抽出するステップは、
前記ビデオシーケンスをデコードするステップと、
前記デコードされたビデオシーケンスのＹヒストグラムを計算するステップと、
を有し、前記抽出された光度の特徴の間の差を決定するステップは、
前記Ｙヒストグラムの連続する要素間の絶対差の合計を決定するステップ
を有する、請求項６に記載の方法。
【請求項８】
請求項１乃至７のいずれか一項に記載の方法を実行するための複数のプログラムコード部分を有する、コンピュータプログラム。
【請求項９】
ビデオシーケンス中のスローモーションの出現を検出するための装置であって、
ビデオシーケンスの複数のフレームのそれぞれについて光度の特徴を抽出するための特徴抽出器と、
前記抽出された光度の特徴の間の差を決定し、前記決定された差に対して周波数解析を実行するための解析器と、
前記差の間の周波数変化が所定の閾値を超える場合、前記ビデオシーケンス中にスローモーションの出現を検出するための処理手段と、
を有する装置。
【請求項１０】
前記解析器は、
或るフレームの前記抽出された光度の特徴を、先行する又は後続するフレームの前記抽出された光度の特徴から減算するための減算器
を有する、請求項９に記載の装置。
【請求項１１】
前記決定された差をフーリエ分解するための高速フーリエ変換を更に有する、請求項９に記載の装置。
【請求項１２】
前記フーリエ分解により生成された周波数スペクトル中のピークを検出するための手段を更に有する、請求項１１に記載の装置。
【請求項１３】
前記ビデオシーケンスは圧縮されたものであり、前記処理手段は更に、
前記抽出された光度の特徴の間の差をノイズについて補償するための補償器
を有し、前記処理手段は、前記補償された差の間の周波数変化が所定の閾値を超える場合、前記ビデオシーケンス中にスローモーションの出現を検出する、請求項９乃至１２のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオシーケンス中のスローモーションを検出するための方法及び装置に関する。
【背景技術】
【０００２】
今日の大量の放送が、スポーツコンテンツである。ＨＤＤレコーダ、TiVo（登録商標）又はMicrosoft社のMedia Center PCのような現在の及び新しい消費製品が、ユーザに多くのスポーツコンテンツを録画する機能を与えているが、それらは録画されたものの「迅速且つ容易な」閲覧を提供せず、スポーツ放送を要約する又は短縮するための手段を提供しない。
【０００３】
ユーザが既にスポーツイベントの結果を知っている場合、録画されたイベントの放送を見ることは退屈なものになり得、かくして、録画されたものを高速に閲覧するための、又はイベントの興味深い部分だけを含む短縮されたバージョンを見るための、ニーズをもたらす。しかしながら、このことは、既存の、従来のレコーダを用いては可能ではない。
【０００４】
１つの既知の手法は、ハイライト（例えばフットボールにおけるゴール、テニスにおける長いラリー、ファウル、等）を自動抽出することである。大部分のスポーツで、ディレクターは通常複数の角度からスローモーションで面白いアクションを表示することを決めるため、スローモーションのシーケンス（リプレイ）はハイライトの示唆とみなされ得る。かくしてビデオシーケンスにおけるスローモーション部分の位置を探すことは、特にスポーツのハイライトを、自動抽出する一方法である。
【０００５】
放送者は、スローモーションシーケンスを生成するための２つの異なる手法を用いる。第１のもの、即ち補間は、スローモーションシーケンスを、後処理ステップとして生成する。通常のカメラの出力は、典型的に毎秒２５又は３０個のフレームのフレーム速度を持ち、繰り返された又は補間されたフレームを挿入することによって減速される。第２の手法においては、放送者は、毎秒７５及び９０個に達するフレーム速度でビデオを捕捉することが可能な高速度カメラを用いる。ビデオが次いでフレームをスキップすることなく毎秒２５又は３０個のフレームの速度で放送されると、その結果はスローモーションシーケンスとなる。
【０００６】
高速度カメラで生成されるスローモーションシーケンスは、補間によって生成されるスローモーションシーケンスよりも好ましい。高速度カメラは同じ時間でより多くのオブジェクトのサンプルをとるので、その結果は該オブジェクトがより滑らかに見えることとなる。
【０００７】
人間は、シーケンスにおけるオブジェクトが予想通りに振る舞わないことを観測することによって、容易にスローモーション部分を検知する。それ以前の体験から、人間は特定のオブジェクトが特定の質量、弾力性、摩擦等を持つことを知っており、それに従って該オブジェクトが振る舞うことを予想する。例えば、ビリヤードボールが特定の速度で衝突するとき、それらが跳ね返る予想される速度がある。人間は、これらオブジェクトが予想される振る舞いの規則を破っていることに気付くことによって、スローモーションを認識する。
【０００８】
例えば、V. Kobla及びD. Doermannによる、「Detection of Slow-Motion Replays for Identify Sports Videos」（Proceedings of IEEE Third Workshop for Multimedia Sport Processing、135-140頁、1999年）及び V. Kobla、D. DeMenthon 及びD. Doermannによる「Identification of sports video using replay text, and camera motion features」（Proc. of the SPIE Conference on Storage and Retrieval for Media Database、Vol. 3972、2000年１月、332-343頁）のように、補間により生成されたスローモーションのビデオシーケンスを検出する既知のシステムがある。これらのシステムは通常、繰り返された又は補間されたフレームを探す。例えば、L. Wungt、X. Liut、S. Liut、G. Xui及びH. -Y. Shumtによる「Generic Slow-Motion Replay Detection in Sports Video」（2004 International Conference on Image Processing （ICIP）、1585-1588頁）のように、高速度カメラを用いて生成されたスローモーションのビデオシーケンスを検出することができる他のシステムが開示されている。これら手法の使用は、人間がスローモーションを認識する方法から着想を得たものである。スローモーションの場面及びスローモーションでない場面の動き特徴を用いてアルゴリズムが学習させられ、該アルゴリズムがこれらの間の違いを学習することを可能とする。これらシステムは通常、特定の（検出された）カメラショットにおける、又は特定のスポーツについての、スローモーションシーケンスを検出するために専門化されている。この方法は非常にエラーの影響を受け易いため、幾つかのシステムは付加的に、ワイプ遷移を探すか、又は（特にサッカーの放送において）リプレイシーケンスの前に放送者が導入した手選択された遷移ロゴとのテンプレートマッチングを実行する（例えば、X. Tong、H. Lu, Q. Liu及びH. Jinによる「Replay Detection in Broadcasting Sports Video」、Proceedings of the Third International Conference on Image and Graphics (ICIG'04)）。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
補間により生成されたスローモーションシーケンスを検出することは非常に正確に動作するが、高速度カメラを用いて生成されたスローモーションシーケンスを認識するシステムを構築することはエラーの影響を受け易く、各タイプのスポーツについて大量の且つ実際的でない学習を必要とする。ワイプ及びロゴ検出器に頼ることも不可能である。なぜなら、信頼性の高いワイプ及びロゴ検出器を構築することは、非常に困難であるからである。既知の最良のシーケンスは、全てのスローモーションのうち７０乃至８０％を見つけ出すが、これらシステムが学習した特定のスポーツにおいてのみであり、精度も低い（６０％以下）。
【００１０】
高速度カメラが安価になってきており、放送者は番組の品質を向上しようと試みるため、高速度カメラを用いて作成されたスローモーションシーケンスが、いまや大半のスポーツ放送のために用いられており、補間によるスローモーションはあまり用いられていない。
【００１１】
本発明は、高速度カメラによりとられたスローモーションの正確で自動的な検出を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本目的は、本発明の第１の態様によれば、ビデオシーケンス中のスローモーションの出現を検出するための方法であって、ビデオシーケンスの複数のフレームのそれぞれについて、光度の特徴を抽出するステップと、前記抽出された光度の特徴の間の差を決定するステップと、前記決定された前記抽出された光度の特徴の間の差に対して、周波数解析を実行するステップと、前記差の間の周波数変化が所定の閾値を超える場合、前記ビデオシーケンス中にスローモーションの出現を検出するステップと、を有する方法により達成される。
【００１３】
本目的はまた、本発明の他の態様によれば、ビデオシーケンス中のスローモーションの出現を検出するための装置であって、ビデオシーケンスの複数のフレームのそれぞれについて光度の特徴を抽出するための、特徴抽出器と、前記抽出された光度の特徴の間の差を決定し、前記決定された差に対して周波数解析を実行するための、解析器と、前記差の間の周波数変化が所定の閾値を超える場合、前記ビデオシーケンス中にスローモーションの出現を検出するための、処理手段と、を有する装置により達成される。
【００１４】
本発明は、ハロゲンランプのちらつきが、高速度カメラにより撮られたショットにおけるビデオの輝度に対して、測定可能な影響を与えるが、この効果は通常のカメラでは起こらないという、物理的な効果に基づくものである。それ故、抽出される光度の特徴間の差が閾値を超える場合、即ち大きい場合にスローモーションを検出することは、高速度カメラにより生成されたスローモーションを検出するための正確で単純な手法を提供する。結果として、スポーツ放送のハイライトが、容易且つ正確に検出されることができ、スポーツを要約するために利用されることができ、ディジタルビデオレコーダにおける内容ベースの閲覧アプリケーションのために利用されることができる。
【００１５】
本発明のより完全な理解のため、添付図面と共に為される以下の説明が参照される。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施例による方法のステップのフロー図である。
【図２】本発明の第２の実施例による方法のステップのフロー図である。
【図３】本発明の実施例による装置の簡略化された模式的な図である。
【発明を実施するための形態】
【００１７】
図１を参照しながら、本発明の第１の実施例が詳細に説明される。ステップ１０１において、複数のフレームを有するビデオシーケンスが入力される。ステップ１０３において、各フレームｉについて、光度特徴ＬＦｉ（当該フレームの平均輝度、又は代替として、輝度ヒストグラムの少なくとも一部）が抽出される。ステップ１０５において、後続する光度特徴が減算される。即ちΔＬＦ＝ＬＦｉ−ＬＦｉ−１である。結果のΔＬＦは、ステップ１０７において、ＦＩＦＯバッファに保存される。ステップ１０９において、該バッファに保存されたΔＬＦに対して周波数解析（例えばフーリエ分解）が実行され、サンプルΔＬＦの周波数スペクトルを与える。ステップ１１１において、該スペクトルが優位周波数（即ち他のものよりも著しく高いスペクトル中のピーク）を持つ場合、スローモーションが検出される。
【００１８】
本発明のシステムは、時間的エイリアシング（temporal aliasing）として知られる、物理的な効果の検出に基づくものである。時間的エイリアシングの２つの例は、以下のとおりである。
【００１９】
太陽は東から西へと空を移動し、日の出の間隔は２４時間である。２３時間毎に空の写真を撮ると、太陽は西から東へと移動しているように見えることとなり、日の出の間隔が２４×２３＝５５２時間となる。両方の場合において、１時間毎に写真を撮ることと、２３時間毎に写真を撮ることとは、同じ写真に帰着することとなる。Ｎ＊２４時間毎に（Ｎは整数）写真を撮ると、太陽は静止して見えることとなる。
【００２０】
同様の現象は、蛍光灯、ＣＲＴ若しくはストロボ光のような点滅する光源により撮影又は照明されたときに、誤った速度で又は誤った方向に回転する、スパイクを打ち付けられたような輪（spiked wheel）をもたらす。
【００２１】
この効果は、スポーツイベントにおいて以下のように利用される。スポーツイベントが、ハロゲンランプを用いて照明される。該ランプは、これらランプに電源供給するために用いられる交流電流のため、１００Ｈｚ（又は国によって１２０Ｈｚ）の周波数でちらつく。該ちらつきは、人間の目には見えない。
【００２２】
通常のカメラは、ちょうど毎秒２５フレームの速度で録画する。このことは、カメラは４０ミリ秒毎に１スナップショットを撮っていることを意味する。該ランプは、１０ミリ秒の周期でちらつく。該カメラの周期が該ランプの周期のちょうど整数倍であるため、斯かるカメラについては該ちらつきは可視とならない。
【００２３】
しかしながら、高速度カメラが７５又は９０Ｈｚで該イベントを録画する場合、この周期はもはや該ランプの周期の整数倍ではなくなり、録画されたものにおいて、ちらつきが可視となる。
【００２４】
ランプが周波数ｆｌでちらつくものとする。該ちらつきは、ｆｌの倍数ではないフレーム速度ｆｃで動作するカメラにより場面が録画された場合にのみ、知覚及び測定されることができる。即ち：
ｆｌ≠ｎ・ｆｃ
【００２５】
ナイキスト−シャノン基準（２ｆＨ＜ｆｓａｍｐｌｅ）が満たされないという事実のため、該ランプのちらつきの真の周波数は取得され得ない。高速度録画において、より低い周波数が代わりに測定可能である。それ故、より低い優位周波数が、スローモーションの正確な示唆を与える。
【００２６】
図２を参照すると、ＭＰＥＧエンコードの特殊性を考慮に入れた第２の実施例が、詳細に説明される。放送は典型的に、ＭＰＥＧ−２ビデオ圧縮規格を用いてエンコードされる。しかしながら、エンコーダが、誤った優位周波数が生じるような方法で入力を乱す。この問題を説明するため、例えばＩＢＰＢＰＢＰＢＰＢのＧＯＰ構造のビデオシーケンスを考える。平均輝度は、各Ｉ及びＰフレームについて増大し、各Ｂフレームについて減少する。その結果のパターンは、
Ｉ  Ｐ  Ｐ  Ｐ  Ｐ
Ｂ  Ｂ  Ｂ  Ｂ  Ｂ
となる。
【００２７】
エンコーダのノイズは、該ＧＯＰ構造に依存する周波数を持つ、平均輝度のちらつきを生じる。このことは、誤ったスローモーション検出を発生させてしまい得る。第２の実施例の方法は、これらの誤検出を排除する。
【００２８】
図２に示されるように、入力ＭＰＥＧ−２ビデオシーケンスは、複数のフレームにセグメント化されて、デコードされる。ステップ２０１において、デコードされた入力シーケンスのＹヒストグラムが、各フレームについて計算される。該Ｙヒストグラムは、ビン毎に減算され、ベクトル中の連続する要素間の絶対差の合計を与える：
Ａｉ＝Δｈｉｓｔ＝Σ｜ｈｉｓｔｉ−ｈｉｓｔｉ−１｜
【００２９】
代替として、該差は、ヒストグラム交差により計算されても良い。次いでステップ２０５において、値Ａｉがバッファに保存される。示された特定の例においては、ステップ２０７において、２５フレーム毎に高速フーリエ変換（ＦＦＴ）により解析され、優位周波数及び位相を計算する。本例においてはコンテンツのＦＦＴが２５フレーム毎に実行されたが、全てのフレームに実行されても良い。しかしながら、理解され得るように、このことは計算を低速化させる。それ故、説明されたように、２５フレーム毎にシフトされた例えば１００個のサンプルのウィンドウに対して、ＦＦＴを実行する。更に、ステップ２０９において、エンコーダの優位周波数及び位相が決定される。ステップ２１１において、第１の実施例に関して上述したようにＡｉの優位周波数が大きく、且つステップ２１３において、優位周波数及び位相がエンコーダのものと対応しない場合には、スローモーションが示唆される。それ故、本実施例においては、エンコーダのノイズの周波数及び位相が決定され、シーケンスをスローモーションとして宣言する前に、大きな周波数がエンコーダにより生成されたものであってスローモーションの結果ではないものであるか否かを確認する。
【００３０】
ビデオシーケンス中のスローモーションを検出するための装置３０１が、図３に示される。
【００３１】
本装置は、入力端子３０３においてビデオシーケンス入力を受信するための手段３０５に接続された入力端子３０３を有し、該ビデオシーケンスは複数のフレームを有する。受信手段３０５は、各フレームについて光度特徴を抽出するための特徴抽出器３０７に接続される。抽出手段３０７は減算器３０９に接続され、該減算器３０９は、特徴抽出器３０７により抽出されたフレームの光度特徴を、後続するフレームの光度特徴から減算し、連続する光度特徴の差ΔＬＦを生成する。次いで該差が出力され、ＦＩＦＯバッファのような記憶手段３１１に保存される。該保存された差は、バッファ３１１から取得され、高速フーリエ変換（ＦＦＴ）３１３により解析される。次いで、フーリエ分解されたサンプルがプロセッサ３１５により処理され、大きな周波数変化が生じている否かを決定する。生じている場合には、スローモーションが検出され、このことが出力端子３１７に出力されてユーザに対してスローモーションの出現を示すか、若しくは自動要約生成のための手段に供給されるか、又は再生の間のユーザによる後の取得のために若しくはビデオシーケンスの要約を自動的に生成するための手段による使用のために当該情報を保存する。
【００３２】
スローモーションシーケンスはハイライトの示唆であるため、本発明は、スポーツコンテンツの自動要約生成（例えばsports-in-a-minute）、ハイライトへのザッピングによる知的な閲覧、並びに見応えのある場面の検索及び取得のような、ディジタルビデオレコーダのための多くの用途において、改善を提供する。
【００３３】
本発明は、計算コストの点で低コストの実装を提供し、即座のスローモーションリプレイのような、ディジタルビデオレコーダにおけるリアルタイム用途のために、非常に有益なものである。
【００３４】
本発明の好適な実施例が添付図面において示され以上の記載において説明されたが、本発明はこれら実施例に限定されるものではなく、請求項に示される本発明の範囲から逸脱することなく多くの変更が可能であることは、理解されるであろう。本発明は、それぞれの及び全ての新規な特徴及び特徴のそれぞれの及び全ての組み合わせに存する。請求項における参照番号は、請求の範囲を限定するものではない。動詞「有する（comprise）」及びその語形変化の使用は、請求項に記載されたもの以外の要素の存在を除外するものではない。要素に先行する冠詞「１つの（a又はan）」は、複数の斯かる要素の存在を除外するものではない。
【００３５】
当業者には明らかであるように、「手段（means）」は、単独の又は他の要素と協働する、いずれのハードウェア（別個の又は集積された回路又は電子素子のような）又は、特定の機能を動作時に実行する若しくは実行するように構成されたソフトウェアをも含むことを意図している。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記した装置請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。「コンピュータプログラム」は、フロッピー（登録商標）ディスクのようなコンピュータ読み取り可能な媒体に保存されたもの、インターネットのようなネットワークを介してダウンロード可能なもの、又は他のいずれかの態様で入手可能な、いずれのソフトウェアをも意味するものと理解されるべきである。
【図１】
2010509828.tif 000003
【図２】
2010509828.tif 000004
【図３】
2010509828.tif 000005
【国際調査報告】
2010509828.tif 000006
2010509828.tif 000007
2010509828.tif 000008