(57)【特許請求の範囲】
【請求項１】
少なくとも２つのビデオ・シーケンスにおいて異なる時間に得られた異なるオブジェクト又は同一のオブジェクトの動きを分析するための装置であって、
前記少なくとも２つのビデオ・シーケンスのうちの第１ビデオ・シーケンスの個々のフレームにおける前記オブジェクトの動きベクトルを計算するための動き推定器、
前記第１ビデオ・シーケンスのフレーム・レートをアップ・スケーリングするために、計算された前記動きベクトルに基づいて、中間フレームを生成して、前記第１ビデオ・シーケンスに挿入するフレーム補間器、及び
前記アップ・スケーリングされた第１ビデオ・シーケンスのフレームと前記少なくとも２つのビデオ・シーケンスのうちの第２ビデオ・シーケンスのフレームとの空間的及び時間的なアライメントを実行するためのフレーム・アライナ、
前記装置により処理された前記第１及び第２ビデオ・シーケンスのオブジェクトの動きの差異を含む第３ビデオ・シーケンスを生成するためのビデオ生成器、
を有する装置。
【請求項２】
前記少なくとも１つのオブジェクトの前記動きを視覚化するためのビジュアライザをさらに有する、請求項１に記載の装置。
【請求項３】
前記ビジュアライザが、動きの方向、動きの大きさ及び加速度のうちの少なくとも１つに関する情報を追加することによって、前記オブジェクトの前記動きを視覚化する、請求項２に記載の装置。
【請求項４】
前記ビジュアライザが、前記第１及び第２ビデオ・シーケンス中の予め定められた関心のあるオブジェクトを検出する、請求項２に記載の装置。
【請求項５】
請求項１に記載の装置を有する表示装置。
【請求項６】
請求項５に記載の表示装置を有するゲーム機。
【請求項７】
少なくとも２つのビデオ・シーケンスにおいて異なる時間に得られた異なるオブジェクト又は同一のオブジェクトの動きを分析するための方法であって、
前記少なくとも２つのビデオ・シーケンスのうちの第１ビデオ・シーケンスの個々のフレームにおける前記オブジェクトの動きベクトルを計算し、
前記第１ビデオ・シーケンスのフレーム・レートをアップ・スケーリングするために、計算された前記動きベクトルに基づいて、中間フレームを生成して、前記第１ビデオ・シーケンスに挿入し、
前記第１ビデオ・シーケンスのフレームと前記少なくとも２つのビデオ・シーケンスのうちの第２ビデオ・シーケンスのフレームとの空間的及び時間的なアライメントを実行し、
前記第１及び第２ビデオ・シーケンスのオブジェクトの動きの差異を含む第３ビデオ・シーケンスを生成する、方法。
【請求項８】
コンピュータ上で実行されたときに当該コンピュータに請求項７に記載の方法を実行させるコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ・シーケンス中の動きを比較するための装置、方法及びシステムに関する。
【背景技術】
【０００２】
さまざまな改良技術が、スポーツ・ビデオ放送のために活用されている。この改良は、視聴者により良好な観察経験を与えることができる。例えば、自動車レースにおいて、ビデオは、自動車のドライバを特定するグラフィクス、及び、(例えば、グローバル・ポジショニング・システム(GPS)によって得られる)自動車の速度のような表示情報によって拡張されることができる。第１の例は、フットボール試合のビデオ・シーケンスであり、オフサイドのラインが仮想現実的に挿入されることができ、それは、観察者が、正確にいつどのようにファウルが犯されたかを見ることを可能にする。他の例は、ゴルフのビデオ・シーケンスであり、ヤード数ポイント、危険区域、傾斜したフェアウェイ及び偽前線が特定されて、ビデオに追加されることができる。
【０００３】
US7042493及びWO 01/78050A2は、ビデオからスポーツ・イベントのストロボスコープ・シーケンスを生成するための動き分析システムを開示する。そのようなシステムは、観察者が時間及び空間において展開された競技の動きを見ることを可能にし、動くオブジェクトは、オブジェクトの軌跡に沿った静止画像の系列として知覚される。
【０００４】
さらに、EP1247255及びWO01/39130A1は、画像処理システムを開示し、このシステムは、２つのビデオ・シーケンスを所与として、適切に同期して選択された焦点面に表示される所与のシーケンスの各々からのビジュアル要素を含む複合ビデオ・シーケンスを生成することができる。例えば、同じ下り坂のコースを個別に競走する異なる競技者を各々が表示する２つのビデオ・シーケンスを所与として、複合シーケンスは、競争者が同時に競走しているように表示するために所与のシーケンスの各々からの要素を含むことができる。
【０００５】
さらに、WO 2007/006346 A1は、特定のスポーツのための複数の不規則に分布するキー・ポジションを定めることによって運動選手の動きを分析するための方法を開示する。この方法は、入力ビデオからキー・ポジションに対応する静止画を抽出して、抽出された静止画をスクリーンに同時に表示する。静止画の抽出は、事前に決められたテンプレートによってトリガされることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の既存のシステムでは、運動選手の動きは、静止画/フレームのシーケンスとしてビデオを展開することによって分析され、事前に決められたテンプレート/ルールは、キー・ポジションに対応する静止画を抽出するために用いられる場合がある。だが、観察者にとって、運動選手が各々の時点/フレームにおいてどのように動くかについて見ることは依然として可能でない。例えば、それぞれの運動選手が異なる速度及び運動方向で同じキー・ポジションを実行する可能性がある。
【０００７】
２つのビデオを比較するとき、空間的及び時間的なアライメントが既存のシステムにおいて考慮される。しかしながら、これは、単にビデオ中の既存の画像/フレームを調整することによって実行される。(異なる対象からの)２つの異なる動作を所与として、動きの異なる実行(例えば異なる速度又は振幅)のために、既存のフレームに基づく時空間的アライメントは難しい場合があり、時には不正確なアライメントにつながる。
【０００８】
US7602301及びUS6567536は、体表上のセンサに基づく動作分析のためのソリューションを開示するが、これらは追加のマーカ及びセンサが体に取りつけられることを必要とする。
【課題を解決するための手段】
【０００９】
ビデオを通した目立たないデータ収集を維持しつつ、より良好な動き分析及び比較のためのソリューションを提供することが本発明の目的である。
【００１０】
この目的は、請求項1に記載の装置、請求項8に記載の方法、及び、請求項9に記載のコンピュータ・プログラム製品によって達成される。
【００１１】
したがって、ビデオ・シーケンス中のオブジェクトの任意の種類の動きが、いかなるユーザの手動の描画/クリックなしで、さらにいかなる体表上のマーカ又はセンサも用いずに、動き推定技術を適用することによって、定量的かつ自動的に分析されることができる。
この動き推定結果は、ビデオを通した目立たないデータ収集を維持しつつ、特にスポーツにおいて、より良好な動き分析及び比較を可能にする。計算された動きベクトルによって、より良好なアライメントを可能にするために中間フレームが生成されて挿入されることができる。例えば、２人の運動選手の短距離競走を比較するときに、中間フレームは、より速い競走選手のために挿入されることができる。他のアプリケーションは、異なるフレーム・レートのカメラで取得された２つのビデオを比較するときである。例えば、いくつかのケースにおいて、１つの再符号化が高速カメラによって行われる場合がある。低いフレーム・レートで行われる他の再符号化は、より良好な動き比較のために中間フレームで拡張される必要がある。
【００１２】
第１の態様によれば、ビジュアライザ又は視覚化段階が、少なくとも１つのオブジェクトの動きを視覚化するために提供されることができる。
【００１３】
第１の態様と組み合わせられることができる第２の態様によれば、ビデオ生成器又はビデオ生成段階が、提案された方法又は装置によって処理される第１及び第２ビデオ・シーケンスのオブジェクトの動作の差異を含む第３ビデオ・シーケンスを生成するために、提供されることができる。したがって、２つのビデオ・ストリームの比較に基づいて、２つのストリーム間の動きの差異の注釈が作成される、分析のための特別な情報ビデオを生成することも可能である。例えば、水泳選手と理想的なモデル(又は以前の記録)との間の膝のストレッチングにおける差異を考えることができる。したがって、２つの整列配置されたビデオ・ストリームを提供して、ユーザ(例えばコーチ又は運動選手)によってその解釈を行わせることに加えて、差異を確かめる際にユーザを援助するために、動きの差異によって拡張された又は動きの差異に単純化された第３のストリームを生成することが可能である。
【００１４】
第１及び第２の態様のうちの少なくとも１つと組み合わせられることができる第３の態様によれば、ビジュアライザ又は視覚化段階は、動きの方向、動きの大きさ及び加速度のうちの少なくとも１つに関する情報を追加することによって、オブジェクトの動きを視覚化するように適応されることができる。特定の例示的な実施態様において、ビジュアライザ又は視覚化段階は、色符号化として情報を追加するように適応されることができる。
【００１５】
上記の第１から第３の態様のうちの少なくとも１つと組み合わせられることができる第４の態様によれば、ビジュアライザ又は視覚化段階は、少なくとも１つのビデオ・シーケンス中の予め定められた関連するオブジェクト(例えば体の部分)を検出するように適応されることができる。
【００１６】
上記の装置は、１つのチップ又はチップセットに集積化されるかあるいは回路基板に有線で接続されるハードウェア回路として実施されることができる。変形例として、装置の少なくとも一部は、コンピュータ・プログラムが装置を制御するコンピュータ上で実行されるときに、プロセッサ又は電算機装置に上記の方法のステップを実行するように制御するコンピュータ・プログラム又はソフトウェア・ルーチンとして実施されることができる。
【００１７】
本発明の好ましい実施形態は、それぞれの独立請求項と従属請求項との任意の組み合わせであることもできることが理解されるべきである。
【００１８】
本発明のこれらの及び他の態様は、以下に記述される実施の形態から明らかであり、それらを参照して説明される。
【図面の簡単な説明】
【００１９】
【図１】第１の実施の形態による動き比較手順又は装置の概略処理図。
【図２】動き比較の実施例を示す図。
【図３】第２実施の形態による動き比較手順又は装置の概略処理図を示す図。
【発明を実施するための形態】
【００２０】
本発明は、ここでは、運動選手又は他のオブジェクトの動きがビデオ・シーケンス（例えばスポーツ・ビデオ）において定量的に分析される実施の形態に基づいて説明される。より具体的には、ビデオ分析は、動きデータを抽出するように拡張される。動きの異なる実施（例えば、異なるスピード及び/又は動き方向）を伴う(異なる対象による)異なる動作の場合であっても、フレーム同期は達成されることができる。
【００２１】
図１は、個々のビデオ・フレームの動きベクトルが動き推定又はビデオ・フレーム間の対応関係を見つけ出すことができる他の技術を用いて計算される、第１の実施の形態による処理フロー又はチェーンの概略図を示す。個々のビデオ・フレームにおいて計算される動きベクトルは、より適切に動きを比較するために用いられることができる。ステップ又は段階110において、動きベクトルは、少なくとも２つのビデオ・シーケンスの個々のフレームに対して計算される。そして計算された動きベクトルは、中間フレームを生成して挿入するために、ステップ又は段階120において用いられる。ステップ又は段階120に関して、中間フレームの生成は、ビデオ・ドメインからのインタリーブ技術に基づくことができ、それは、第１フレーム・レートから第２フレーム・レートへの(例えば50Hzから200Hzへの)アップ・スケーリングのために例えば用いられる。このスケールアップは、非整数係数を用いて実行されることができる。(異なる人又は異なる時刻で同じ人によって実行される)少なくとも２つのビデオ・シーケンスにおいて、あるいは、ビデオ・シーケンスと基準シーケンスとの間で、動きを比較するために、２つのシーケンスは、ステップ130において、空間的及び時間的に揃えられる。動きの異なる実施(例えば異なる速度又は大きさ)に起因して、既存のフレームに基づく時空間的アライメントは難しい可能性がある。しかしながら、計算された動きベクトルによって、より良好なアライメントを可能にするために中間フレームが生成されて挿入されることができる。例えば、２人の運動選手の短距離競走を比較するときに、取り扱われる距離の間の画像を整列配置するときに、中間画像は、より高速なランニング運動選手のために構成されることができる。
【００２２】
さらに、より高速なカメラのマスター・ビデオに対して記録フィールドを比較するときに、記録フィールドは、比較性能を最適化するために拡張されることを必要とする場合がある。
【００２３】
例えば、いくつかの場合において、再符号化が高速カメラによって行われる。低フレーム・レートで行われた再符号化は、より良好な動き比較のために中間フレームで拡張される必要がある。最後に、ステップ140において、ターゲット・オブジェクト又はターゲット部分の動きパラメータは、より良好な比較のために視覚化される。
【００２４】
したがって、ステップ又は段階110において計算された動きベクトルは、動きを比較するために用いられることができる。例えば、これらの動きベクトルに基づいて、中間フレームが、ステップ130におけるより良好な空間的及び時間的アライメントを可能にするために、ステップ又は段階120において挿入されることができ、改善された動き比較をもたらす。
【００２５】
各々のフレームにおける動きベクトルは、動き推定技術によって導き出されることができる。異なる動き推定アルゴリズムが文献中に存在する。それらのうちの１つは、三次元再帰的検索ブロック・マッチング(3DRS)である。そして、計算された動きベクトルが、ビデオ・シーケンスを改良するために用いられる。動きは、ユーザ又はターゲット視聴者(例えば、運動選手、コーチ、ファン)の要求に従って選択されることができる異なる態様で、ステップ又は段階140において視覚化されることができる。一例として、動きを視覚化するために色符号化が用いられることができる。一方をベースライン/基準として２つのビデオにおける動きを比較するときに、異なる(又は同じ)動きを示すために、色が追加されることができる。
【００２６】
さらにまた、ターゲット・オブジェクト又はオブジェクト部分の動きをより正確に測定するために、他の手がかりが考慮されることができる。例えば、水泳選手のために、皮膚の色が、体以外の領域における動きベクトルを除去するために用いられることができる。いくつかの場合において、人々は、特定の体の部分(例えば腕)の動きを見ることに関心がある。その場合、コンピュータビジョン技術が、自動的に関心のある体の部分を検出するために利用されることができる。
【００２７】
さらなる情報が、推定された動きベクトルから導き出されることができ、ビデオを改良するために用いられることができる。例えば、加速度(すなわち、運動速度の速度)が導き出されることができる。
【００２８】
図2は、２人のゴルフ・プレーヤーによるゴルフ運動の実施例を示す。これらの例において、キー・フレームは、ゴルフ・クラブがボールに接触するときに定められる。両方のプレーヤーがこのキー・ポジションを実行するが、彼らは異なる動きをする可能性がある。このキー・フレームにおける動き推定結果は、色符号化を用いて両方のプレーヤーのために視覚化され、色強度が動きの大きさを示す一方、異なる色が異なる動き方向を示すために用いられる。図2では、色符号化は、異なるハッチング・パターンC1〜C4によって単純化される。提案された動き推定は、２人のプレーヤーが異なる態様で、すなわち、異なる動き速度及び方向で実行することを示す。図2のハッチング・パターンC1〜C4から推測されることができるように、２人のプレーヤーの右の腕の動きが非常に異なる。
【００２９】
図3は、第２の実施の形態による処理フロー又はチェーンの概略図を示し、２つの入力ビデオ・シーケンスV1及びV2の２つのターゲット・オブジェクト間の動き差分を含むビデオ・シーケンスが生成される。ステップ又は段階210A及び210Bにおいて、動きベクトルは、前記入力ビデオ・シーケンスV1及びV2の個々のフレームのために計算される。ステップ又は段階220において、中間フレーム構成の中間フレームが、計算された動きベクトルに基づいて、入力ビデオ・シーケンスV1, V2の少なくとも１つのために生成されて、挿入される。そして、ステップ又は段階230において、少なくとも一方が挿入された中間フレームによって改良された２つのビデオ・シーケンスV1, V2が、空間的及び時間的に揃えられる。第２の実施の形態において、２つのビデオ・シーケンスV1, V2の比較に基づいて、２つのビデオ・シーケンスV1, V2間の動きの差異が追加されるか又はこの差異に単純化された特別な情報のビデオが、分析のためにステップ又は段階240において生成される。一例として、そのような差異は、泳ぎ手と理想的なモデル(又は前の記録)との間の膝ストレッチングにおける差異であることができる。したがって、２つの揃えられたビデオ・シーケンスを提供して、ユーザ（例えばコーチ又は運動選手）にこれを解釈させることに加えて、動きの差異によって改良された又は動きの差異に単純化された第３のビデオ・シーケンスが生成され、ユーザがその差異を特定して評価することを援助する。
【００３０】
要約すると、本発明は、各々のフレームにおける動きベクトルを決定するために動き推定を実行することによって、ビデオ・シーケンス(例えばスポーツ・ビデオ)中のオブジェクトの動きを分析することを提案する。計算された動きベクトルによって、オブジェクト(例えば運動選手)の動きは、定量的に測定されることができる。これに基づいて、２つのビデオ中の動きは、ビデオ・シーケンスで個々のフレームそれぞれにおいて比較されることができる。異なるアプローチ(例えば色符号化)が、動きを視覚化して比較するために用いられることができる。動き推定によって、２つの所与のビデオにおけるより良好な動き比較を可能にするために、中間フレームが挿入されることができる。
【００３１】
本発明は、(スポーツ)ビデオ放送のための改良として活用されることができる。パフォーマンス・フィードバックのための態様として、本発明は、トレーニング目的のためにコーチ又は運動選手によって用いられることができる。それは、改善された観察者経験のために、スポーツ放送に用いられることもできる。本発明は、例えばスポーツを観察するためのTVの更なる機能として、表示装置(例えばテレビ(TV)又は他のディスプレイ)において実施されることができる。それは、放送のためのテレビ・スタジオにおいて実施されることができる。他のアプリケーションは、例えば、WO 01/26760に記載されるゲーム及びギャンブル、又は、例えば、US6567536によって示唆される監視及び軍隊である。パフォーマンス・フィードバックのための態様として、それは、トレーニング目的のためにコーチ又は運動選手によって用いられることもできる。他のアプリケーションはゲーム又はエンターテイメントであり、本発明は、ゴールデン基準モデル又は現実の人に関する差異の分析を改良する。例は、ビデオ・サポート・ゲームであることができ、プレーヤーの動きを記録するためにカメラが用いられ、システムはここで言及されるフィードバックを提供する。
【００３２】
図面、開示及び添付の請求の範囲の検討から、開示された実施の形態に対する他のバリエーションは、請求された発明を実施する際に、当業者によって理解され、遂行されることができる。
【００３３】
請求の範囲において、「有する」「含む」等の用語は、他の要素又はステップを除外せず、単数表現は複数を除外しない。
【００３４】
１つのユニット又は装置が、請求項中に列挙されるいくつかのアイテムの機能を実現することができる。単に特定の手段が相互に異なる従属請求項中に列挙されているからといって、これらの手段の組み合わせが有効に用いられることができないことを意味しない。
【００３５】
図1及び3のステップ又は段階は、１つのユニットによってあるいは他の任意の数の異なるユニットによっても実行されることができる。提案された動き分析及び/又は比較の計算、処理及び/又は制御は、コンピュータ・プログラムのプログラムコード手段として及び/又は専用のハードウェアとして実施されることができる。
【００３６】
コンピュータ・プログラムは、他のハードウェアと共に又はその一部として供給される、適切な媒体(例えば光学記憶媒体若しくは固体素子媒体)上で格納/配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介するような他の形態で配信されることもできる。
【００３７】
請求の範囲におけるいかなる参照符号も、その範囲を制限するものとして解釈されるべきでない。
【００３８】
本発明は、各々のフレームにおける動きベクトルを決定するために動き推定を実行することによって、ビデオ・シーケンス(例えばスポーツ・ビデオ)中のオブジェクトの動きを分析することを提案する。計算された動きベクトルによって、オブジェクト(例えば運動選手)の動きが定量的に測定されることができる。これに基づいて、２つのビデオ中の動きは、ビデオ・シーケンスで個々のフレームの各々で比較されることができる。異なるアプローチ(例えば、色符号化)が、動きを視覚化して比較するために用いられることができる。動き推定によって、中間フレームが、２つの所与のビデオにおけるより良好な動き比較を可能にするために挿入されることができる。
【図１】
0006030072.tif 000002
【図２】
0006030072.tif 000003
【図３】
0006030072.tif 000004