(57)【要約】【課題】自動的に編集可能な機能を付加して人手による労力を軽減した編集方法を提供すりこと。【構成】サッカー等の球技の試合を１又は複数のビデオカメラで撮影した撮影画像からプレーヤの動きを解析するための画像を編集する方法において、プレイフィールドの背景画像を抽出するステップと、該背景画像を利用してプレイフィールド内のプレーヤを検出するステップと、該検出されたプレーヤの動きを追跡するステップと、該追跡結果から前記試合におけるプレーヤの動きの流れを合成するステップとを含むことを特徴とする。【選択図】    図１
2004221870.tif 000002
【特許請求の範囲】
【請求項１】
サッカー等の球技の試合を１又は複数のビデオカメラで撮影した撮影画像からプレーヤの動きを解析するための画像を編集する方法において、プレイフィールドの背景画像を抽出するステップと、該背景画像を利用してプレイフィールド内のプレーヤを検出するステップと、該検出されたプレーヤの動きを追跡するステップと、該追跡結果から前記試合におけるプレーヤの動きの流れを合成するステップとを含むことを特徴とする画像の編集方法。
【請求項２】
前記背景画像を抽出は、自動的に背景画像を更新するステップを含むことを特徴とする請求項１に記載の画像の編集方法。
【請求項３】
前記背景画像を抽出は、プレイフィールド内の点又は部分の画像が一定時間以上同一か又はその変化が閾値よりも小さいときに、その点又は部分の画像を背景画像としたことを特徴とする請求項１又は請求項２の何れか１に記載の画像の編集方法。
【請求項４】
前記プレーヤの検出は、撮影画像の色ヒストグラムと背景画像の色ヒストグラムの差を利用したことを特徴とする請求項１〜請求項３の何れか１に記載の画像の編集方法。
【請求項５】
前記プレーヤの動きの追跡は、該プレーヤの足元の動き又は股部分の動きを基準にしたことを特徴とする請求項１〜請求項４の何れか１に記載の画像の編集方法。
【請求項６】
前記プレーヤの動き追跡は、複数のプレーヤの接近、前後の交叉等により該プレーヤの識別が困難になったときは、その部分を修正する修正ステップを含むことを特徴とする請求項１項１〜請求項５の何れか１に記載の画像の編集方法。
【請求項７】
前記プレーヤの動き追跡は、各追跡経路に符号を付して識別したことを特徴とする請求項１項１〜請求項６の何れか１に記載の画像の編集方法。
【請求項８】
前記プレーヤの動き追跡は、プレーヤが前記プレイフィールドから出たときは追跡を中止し、プレーヤが前記プレイフィールド内に入ってきたときは別の識別符号を付して追跡を開始することを特徴とする請求項１項１〜請求項７の何れか１に記載の画像の編集方法。
【請求項９】
前記合成ステップは、各プレーヤのデータベースを利用して、前記プレーヤの追跡経路を選択して接続し、プレーヤの試合における動きの流れを求めたことを特徴とする請求項１項１〜請求項８の何れか１に記載の画像の編集方法。
【請求項１０】
前記撮影画像が複数のビデオカメラにより前記プレイフィールドを複数の領域に分割して撮影した撮影画像である場合において、前記プレーヤの動き追跡は分割された領域ごとに行え、前記合成ステップにおいて領域ごとの追跡経路を合成してプレーヤの試合における動きの流れを求めたことを特徴とする請求項１項１〜請求項９の何れか１に記載の画像の編集方法。
【請求項１１】
前記撮影画像が複数のビデオカメラにより前記プレイフィールドを複数の領域に分割して撮影した撮影画像である場合において、分割された領域ごとの画像を合成して該プレイフィールド全体の画像を表示可能に編集したことを特徴とする請求項１項１〜請求項１０の何れか１に記載の画像の編集方法。
【請求項１２】
前記プレイフィールド全体の画像にボールの軌跡を追加表示可能にしたことを特徴とする請求項１〜請求項１１の何れか１に記載の画像の編集方法。
【請求項１３】
前記編集画像は、シュート等の特別な場合の画像を拡大して追加可能にしたことを特徴とする請求項１〜請求項１２の何れか１に記載の画像の編集方法。
【請求項１４】
前記方法により編集した画像を記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、サッカーゲーム等の球技ゲームにおけるプレーヤの動きを解析できるように画像を編集する技術分野に属する。
【０００２】
【従来の技術】
サッカー等の球技の試合においてビデオカメラで撮影した撮影画像からだけでは各プレーヤの動きを解析することは困難である場合が多い。特にサッカーの試合ではボールを中心とした個人のプレイだけでなく、プレーヤの連携プレイが重要視されるために局部的な個人プレイの撮影画像だけでは各プレーヤの動きを解析することは困難な場合がある。また、フィールド全体を撮影すると各プレーヤの識別が困難になったりする。さらに、ボールの速度が速いためにボールの位置が不明瞭となり、各プレーヤの動きも不明瞭となるという問題が起きる。そこで、従来はその試合を観戦していた解説者の解説を同時に聴取して補助にしたり、或いは試合中に解説者のコメントを画面上で文字表示したりすることが行われていた。しかし、解説者の意見が入るとその意見に左右される傾向が生じるという問題が生じる。特にビデオを見る者が解説者の意見と異なる見解を持っている場合は問題となる。
【０００３】
上記した問題を解決するためにサッカー試合の動きをデータベース化する方法が公開特許公報、特開平６−３１９８４３号に提案されている。以下、この従来方法を図に基づいて簡単に説明する。図１１（Ａ）で、サッカー競技場５１のフィールド５３の上方にテレビカメラ５２が設置され、撮影画像は離れて配置されているビデオレコーダ５６に記録される。なお、図１１（Ｂ）は編集装置を示す図で、ビデオレコーダ５６はＡ／Ｄコンバータ６１を介して表示画面５７を備えたコンピュータ５９に接続され、コンピュータ５９は更に、タイマー６３、操作盤６４、ライトペン６５及び外部記憶装置７１が接続されている。外部記憶装置７１には区割りプログラム７２、数値化プログラム７３、データファイル７５が記録される。
【０００４】
編集は試合終了後に行われる。ビデオレコーダ５６からの映像（動画像）が表示画面５７に表示される。このときに操作盤６４の所定のキーを押すと、押した瞬間の動画のビデオ画像がディジタル化されて１枚の静止画像になって表示される。次に静止画像のフィールド５３の４角をライトペン６５で指示するとフィールド５３に小枠６７に区画された枠が図１２に示すように表示される。小枠６７内に居る選手、小枠位置、ボール位置、選手の行ったアクション（シュート、フリーキック等）等を鑑定人が判断しながらライトペンを使用して文字データとして外部記憶装置７１に記録する。この記録作業は１秒ごとに、９０分の試合では５４００（＝９０分ｘ６０秒）コマのプレイフィールドの静止画像について作成する。
【０００５】
この従来の方法はサッカーの試合について文字データベースが作成されるので、サッカーチームの戦力について客観的な評価を何時でも誰でも入手できるということができる。これによって、データを引き出してゲームを楽しむこともでき、各種の角度から見た選手のプレイを解析できる等の効果が得られる。
しかし、本方法は大部分が鑑定人（人手）によって作成されるので、編集に大変な労力が必要であるという問題がある。更に、データが全て文字化されるのでゲームの流れを楽しむこともできず、プレーヤの微妙な動きが視覚的に判断しにくくなるという問題点がある。
【０００６】
【発明が解決しようとする課題】
本発明は、上記事実に鑑みなされたものであり、自動的に編集可能な機能を付加して人手による労力を軽減すると共に動画像を主体として試合の流れを楽しめるだけでなくプレーヤの動きの解析に役立つような編集方法提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は上記の課題を解決するための手段として以下の構成を採用している。即ち、
請求項１に記載の発明は、サッカー等の球技の試合を１又は複数のビデオカメラで撮影した撮影画像からプレーヤの動きを解析するための画像を編集する方法において、プレイフィールドの背景画像を抽出するステップと、該背景画像を利用してプレイフィールド内のプレーヤを検出するステップと、該検出されたプレーヤの動きを追跡するステップと、該追跡結果から前記試合におけるプレーヤの動きの流れを合成するステップとを含むことを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１記載の発明において、前記背景画像を抽出は、自動的に背景画像を更新するステップを含むことを特徴とする。
また、請求項３に記載の発明は、請求項１または請求項２の何れか１に記載の発明において、前記背景画像を抽出は、プレイフィールド内の点又は部分の画像が一定時間以上同一か又はその変化が閾値よりも小さいときに、その点又は部分の画像を背景画像とした背景画像としたことを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１〜請求項３の何れか１に記載の発明において、前記プレーヤの検出は、撮影画像の色ヒストグラムと背景画像の色ヒストグラムの差を利用した特徴とする。
【００１０】
請求項５に記載の発明は、請求項１〜請求項４の何れか１に記載の発明において、前記プレーヤの動きの追跡は、該プレーヤの足元の動き又は股部分の動きを基準にしたことを特徴とする。
また、請求項６に記載の発明は、請求項１〜請求項５の何れか１に記載の発明において、前記プレーヤの動き追跡は、複数のプレーヤの接近、前後の交叉等により該プレーヤの識別が困難になったときは、その部分を修正する修正ステップを含むことを特徴とする。
また、請求項７に記載の発明は、請求項１〜請求項６の何れか１に記載の発明において、前記プレーヤの動き追跡は、各追跡経路に符号を付して識別したことを特徴とする。
また、請求項８に記載の発明は、請求項１〜請求項７の何れか１に記載の発明において、前記プレーヤの動き追跡は、プレーヤが前記プレイフィールドから出たときは追跡を中止し、プレーヤが前記プレイフィールド内に入ってきたときは別の識別符号を付して追跡を開始することを特徴とする。
【００１１】
請求項９に記載の発明は、請求項１〜請求項８の何れか１に記載の発明において、前記合成ステップは、各プレーヤのデータベースを利用して、前記プレーヤの追跡経路を選択して接続し、プレーヤの試合における動きの流れを求めたことを特徴とする。
【００１２】
請求項１０に記載の発明は、請求項１〜請求項９の何れか１に記載の発明において、前記撮影画像が複数のビデオカメラにより前記プレイフィールドを複数の領域に分割して撮影した撮影画像である場合において、前記プレーヤの動き追跡は分割された領域ごとに行え、前記合成ステップにおいて領域ごとの追跡経路を合成してプレーヤの試合における動きの流れを求めたことを特徴とする。
【００１３】
請求項１１に記載の発明は、請求項１〜請求項１０の何れか１に記載の発明において、前記撮影画像が複数のビデオカメラにより前記プレイフィールドを複数の領域に分割して撮影した撮影画像である場合において、分割された領域ごとの画像を合成して該プレイフィールド全体の画像を表示可能に編集したことを特徴とする。
【００１４】
請求項１２に記載の発明は、請求項１〜請求項１１の何れか１に記載の発明において、前記プレイフィールド全体の画像にボールの軌跡を追加表示可能にしたことを特徴とする。
また、請求項１３に記載の発明は、請求項１〜請求項１１の何れか１に記載の発明において、前記編集画像は、シュート等の特別な場合の画像を拡大して追加可能にしたことを特徴とする。
請求項１４に記載の発明は、請求項１〜請求項１３の何れか１に記載した方法により編集した画像を記録したことを特徴とする記録媒体。
【００１５】
【発明の実施の形態】
以下本発明の実施形態を図に基づいて説明する。図２はサッカーゲームを撮影するために設置されたビデオカメラの配置図を示す。図２において、プレイフィールド１２の両側端にゴール１３ａ、１３ｂが配置されている。サッカーは、１１人のプレーヤ１４から構成される２つのチームが争って相手方のゴール１３ａ（１３ｂ）にサッカーボール１５を入れることにより得点を争うゲームである。サッカーボール１５がプレイフィールド１２の外側に出た場合はゲームが一時中断する。ここでは、４台のビデオカメラ（１１ａ〜１１ｄ）がプレイフィールド１２全体を撮影できるように配置されている。なお、プレイフィールド１２を分割して各ビデオカメラの撮影範囲１２ａ〜１２ｄを定めておき、撮影範囲の一部が重複するようにし、同時にプレイフィールド１２全体をカバーするように配置して固定する。また、設置固定されたビデオカメラ１１ａ〜１１ｄに対してキャリブレーションを行え、２次元画像と３次元世界を対応つけるために、カメラパラメータを求めるようにしてもよい。又、ビデオ撮影は毎秒２０〜３０コマ程度を撮影する。
【００１６】
図３はビデオの編集装置の構成例を示す図である。図３において、編集装置２０の入力側にはゲームを撮影したビデオテープ（又はビデオテープを内蔵しているビデオカメラ）２７ａ〜２７ｄが接続されている。編集装置２０には操作盤２１が接続され、この操作盤２１はビデオテープの操作、及び編集操作が可能になっている。編集装置２０はコンピュータ、種々の入出力端を有し、例えば時分割方式で複数のデータを同時に取り込み、同時に出力可能に構成されている。なお、編集を複数人のオペレータで行う場合にはオペレータの数に合わせて操作盤を操作可能になるように構成してもよい。編集装置２０には記憶装置２３、ビデオテープ１７ａ〜１７ｄの画像を個別に表示する表示装置２４ａ〜２４ｄ、編集した画像を表示する表示装置２５、補助データの内容を表示させる補助表示装置２６が接続されている。
【００１７】
図１は編集手続きの流れを示すフローチャートである。編集手続きは分割されたプレイフィールド（以下、分割フィールドという）毎に編集して最後に合成してもよいし、編集手続きの進行と同時に合成手続きを行ってもよい。ここでは、前者の立場にたって説明する。即ち、図１のステップＳ１〜Ｓ４は分割フィールド毎に編集を行う。図１において、ステップＳ１では、画像処理する部分をプレイフィールド１２に限定して処理の高速化を図るためにマスクを作成する。即ち、マスクからはみ出ている部分の画像は編集しないことにする。マスクの作成は各ビデオテープ２７ａ〜２７ｄに対して作成することとし、編集者がライトペン等を使用してプレイフィールド１２（または分割フィールド、以下同様とする）上の４角の点を指定してマスクを作成する。原画像と対応するマスクとの関係の１例を図４に示す。図４（Ａ）は原画像で、４個の点Ｐ１〜Ｐ４が時計回りに指定されている。図４（Ｂ）は４個の指定点Ｐ１〜Ｐ４を４角とするマスクの例である。
【００１８】
ステップＳ２では、プレイフィールド１２の背景画像、即ち、プレイフィールドから選手等の人物を取り除いた画像を抽出する。このために先ず原画像にマスクを作用させて特定範囲の画像を切り出す。次に切り出した画像から選手等の人物を取り除く。人物は常に動き回っており、背景は大部分の時間で画像として現れていること、背景の空間的変化は小さいこと、背景の占有面積は大きいこと等を利用して原画像の数コマから背景画像を抽出する。実際には切り出された画像に対して色のヒストグラムを求めて背景画像を決定する。背景画像の抽出は定期的に、例えば１０分毎に抽出する。これは太陽の移動や照明の変化によって明るさや色の変化に対応させるためである。
【００１９】
ステップＳ３ではプレーヤの検出を行う。このために切り出された画像のピクセルごとに色のヒストグラムと作成し、この画像のヒストグラムと背景のヒストグラムをピクセルごとに比較する。図５はヒストグラムの相違の１例を示す。図５（Ａ）は背景のヒストグラムで、緑（Ｇ）部分の強度が大きく、図５（Ｂ）はあるチームのプレーヤのヒストグラムで、赤シャツを着ているため赤（Ｒ）部分の強度が大きい。又、図５（Ｃ）は他のプレーヤのヒストグラムで、青シャツを着ているため青（Ｂ）部分の強度が大きい。背景とヒストグラムの異なるピクセルの集合が所定の大きさの範囲に入るものをプレーヤとして判定する。ピクセル集合の底部をプレーヤの位置とする。プレーヤの位置を正確に表示するためである。場合によっては底部から約（１／３）の高さの股部に相当する点をプレーヤの位置としてもよい。両足の部分は一致していないので位置の確定が複雑になるためである。なお、審判も同様に検出してもよい。
【００２０】
ステップＳ４ではプレーヤの動き（移動）を追跡する。コマごとの各プレーヤの位置を検出して、１つの画面に重ねて表示する（或いは直線で結ぶ）ことにより、プレーヤの動きが表示できる。或いは、処理を早くするために数コマごとのプレーヤの動きを検出するようにしてもよい。図６にプレーヤの追跡結果の１例を示す。図では連続した実線で表示しているがコマごとの位置を点で表示してもよい。図６に示すように追跡は分割フィールド１２ａ〜１２ｄごとに時間間隔を指定して行う。なお、分割フィールド（１２ａ〜１２ｄ）の外側に接続代（点線で表示した部分）３１ａ〜３１ｄを設けて、軌跡をこの部分についても求めておくと分割フィールド（１２ａ〜１２ｄ）を合成する作業が容易になる。図６は時刻ｔ１〜時刻ｔ２における追跡経過を示し、黒丸印は時刻ｔ２にプレーヤが居る位置を示し、白丸印は時刻ｔ１に居た位置を示す。又、三角印はその分割フィルード（１２ａ〜１２ｄ）に進入した位置を示し、ばつ印（ｘ）はその分割フィルード（１２ａ〜１２ｄ）から退出した位置を示す。
【００２１】
追跡した軌跡に軌跡番号等を自動的に付して各軌跡を識別可能にする。なお、プレーヤの個人認識を自動的に行うのは複雑な認識手段を必要とするので、ここでは編集者２２がプレーヤのデータ表を見ながら区別して、各追跡軌跡をプレーヤを特定するための番号（例えば、背番号）に変更する。プレーヤのデータ表は予め記録装置２３に記録されており、編集者２２が必要に応じて表示装置２６に表示させる。プレーヤのデータの１例を図７に示す。図７において、プレーヤデータ表には、両チームのプレーヤ全員の背番号、守備位置、その他の情報データ及び行為データ等が記録されている。行為データ欄には、プレーヤが行った行為、例えば出場（Ｉ）、待機（Ｏ）、シュート、反則行為等が時間の経過と共に記載されている。
【００２２】
また、複数のプレーヤが交叉してプレーヤの自動認識ができなくなった場合、例えば図６の中央の図に示すように、プレーヤＰ５とプレーヤＰ６が交叉してどちらのプレーヤ５（又はプレーヤ６）かの自動認識できなくなった場合、交差後のプレーヤに対して例えばＰ５６，Ｐ６５等の別の番号を付して追跡を実行し、追跡後の適当な時期（分離した直後でもよい）に編集者が他の情報（例えば分離した後で背番号を見た等の情報）に基づいてプレーヤＰ５６、Ｐ６５の番号をＰ５、Ｐ６（又は、Ｐ６、Ｐ５）に訂正する。又プレイフィールド１２の外側から進入してきたプレーヤに対して識別できない場合も同様に仮の番号を付しておいて、適当な時期に訂正する。
【００２３】
分割フィールドのプレーヤの動きを確定した後に、その分割フィールドの動きを合成して元のプレイフィールド１２における時刻ｔ１〜時刻ｔ２におけるプレーヤの動きの軌跡（プレーヤの位置の時間変化）を求める。合成した動きの軌跡の１例を図８に示す。このプレーヤの動きの軌跡をゲームを行っている時間全体にわたって作成すれば最初から最後までの各プレーヤの動きが表示可能になる。
【００２４】
ステップＳ５では、図８に示すプレーヤの動きの軌跡に（或いは別の図に）時刻ｔ１〜時刻ｔ２間のボールの移動軌跡を記録する。ボールは小さくて動きが速いのでそのまま表示した場合は見難いこともある。先ずボールをコマごとに前述した色のヒストグラムを利用して検出する。ボールの像が小さすぎて判別できないときは編集者が推測して軌跡を補充してもよい。また、ボールの軌跡は強調して表示するようにした方がよい。例えば、ある時間の軌跡を点線で表示するとか、点滅表示してもよいし、実際より少し大きめに表示するようにしてもよい。なお、ボールの表示は現在の時点における位置にボールを表示し、過去の一定時間又は一定の関連する動作における時間の軌跡を点線表示するようにしてもよい。
【００２５】
ステップ６ではゲームの進行に深く関連するプレーヤの行為等を表示するためのデータを作成する。例えば、オフサイド、ファール（イエローカード、レッドカード）、キーパチャージ等の反則行為が行われた場合にはこれを明示して、ゲームの進行を分かりやすくするようにしてもよい。又、サッカーゲームは団体の競技であると共に個人の競技が重要な場合も多く、特に得点に絡む場面は少数人の連携プレー或いは個人技が大きく影響している。従って、このような場合はその場面の静止画像又は動画像を挟むようにしてもよい。例えば、図９（Ａ）、（Ｂ）のようなシュート場面の画像を挟むことによってゲーム自体が明白になり、興味あるものになる。
【００２６】
ステップＳ７では全体の編集を行う。即ち、ゲーム全体の流れを平面図、鳥瞰図（斜視図）または、その他の表示方法により各プレーヤの位置、ボールの位置、審判の位置を実現可能な範囲でリアルに表示する。また、必要に応じて（例えば、シュートした場面等の）拡大した部分的な動画像を挿入するようにしてもよい。
【００２７】
以上に説明したように、本実施形態の方法によれば、自動的に編集する部分を多くして、自動編集が困難な部分のみを人手による編集としたので、簡単に編集できるだけでなく正確に編集できるという特徴がある。又動画像表示を主体としているので観者はゲームを視覚的に判断し、流れを容易に把握し、プレーヤの微妙な動きも判断ができるという効果がある。
【００２８】
以上本発明の実施形態を図面に基づいて詳述してきたが、本発明の技術的範囲はこれに限られるものではない。例えば１台のビデオカメラで撮影した場合であってもよいし、又、ステップＳ１からＳ７までのすべてのステップを含む必要はない。また、本方法によって編集したビデオテープ等の記録媒体も本発明の技術的範囲に属する。
【００２９】
【発明の効果】
以上に説明したように、本発明はプレイフィールドの背景や選手の位置等を自動抽出可能にすると共に、判断が困難な場合には人手（編集者等）による訂正を可能にし、プレーヤの動きの流れをほぼ自動的に把握可能としたので、編集作業が容易になると共に正確に編集できるという効果が得られる。又、プレイフィールドを複数の領域に分割し、領域ごとにビデオカメラで撮影し、領域ごとに編集作業を行え、最後に合成しているので、編集手続きが容易になるという効果が得られる。
【図面の簡単な説明】
【図１】本実施形態の方法における手順の流れを示すフローチャートである。
【図２】本実施形態におけるビデオカメラの配置構成を示す図である。
【図３】本実施形態における装置を示す図である。
【図４】本実施形態のマスクの例を示す図である。
【図５】本実施形態の色ヒストグラムの例を示す図である。
【図６】本実施形態のプレーヤの動きの追跡例を示す図である。
【図７】本実施形態のプレーヤのデータ表の例を示す図である。
【図８】本実施形態の追跡経過の合成例を示す図である。
【図９】本実施形態の拡大画像の追加例を示す。
【図１０】従来例のカメラ配置（Ａ）、装置構成（Ｂ）を示す。
【図１１】従来例の編集方法を説明する図である。
【符号の説明】
１１ａ〜１１ｄ        ビデオカメラ
１２                  プレイフィールド
１２ａ〜１２ｄ        分割フィールド
１３ａ、１３ｂ        ゴール
１４                  プレーヤ
１５                  サッカーボール
２０                  編集装置本体
２１                  操作盤
２２                  編集者
２３                  記録装置
２４ａ〜２４ｄ        表示装置
２５                  編集後の画像の表示装置
２６                  補助表示装置
２７ａ〜２７ｄ        ビデオテープ
【図１】
2004221870.tif 000003
【図２】
2004221870.tif 000004
【図３】
2004221870.tif 000005
【図４】
2004221870.tif 000006
【図５】
2004221870.tif 000007
【図６】
2004221870.tif 000008
【図７】
2004221870.tif 000009
【図８】
2004221870.tif 000010
【図９】
2004221870.tif 000011
【図１０】
2004221870.tif 000012
【図１１】
2004221870.tif 000013