6L-03 サッカー映像からのオブジェクト抽出・追跡に関する研究∗内海 慎久† 浜田 玲子† 井手 一郎†† 坂井 修一‡ 田中 英彦‡†
東京大学大学院工学系研究科 †† 国立情報学研究所 ‡ 東京大学大学院情報理工学系研究科

1

はじめに
近年、放送・医療・娯楽などのさまざまな分野におい現性のよい結果が報告されている。しかしブレやフラッシュ等による色の変化に弱いという問題がある。て、ディジタル化技術が急速な発展をとげている。最近

また、背景領域は画像中に占める範囲が広く、色情報

ではマルチメディアデータがインターネットやディジタも比較的固定 されていることから、領域分割・併合にル放送を通して家庭内に配信され、また、映像データがよって選手領域を抽出する手法も提案されている [1] 。

データベースとして蓄積されつつある。これに伴い、膨領域分割に関する研究は数多いが、共通の問題点として大な映像データから利用者の必要な映像を精度良く効率は、計算コストが大きいことや面積が必要以上に小さく的に提供するための映像検索技術が求められている。

分割されること、初期に与えるクラスタの形状が結果に

スポーツ映像は数あるテレビ番組の中でも人気が高い番組であり、利用者の検索要求は多岐にわたると考えら影響して本来の領域境界以外の部分で分割されることなどがある。

れる。もっとも一般的な検索要求は、ハイライトシーンの検索であろう。これについては、イベントが発生するときのカメラワークや特有な画像を検出するなどの比較的単純な処理によって映像を検索する研究例が多い。

3提案システム
まずサッカー画像を構成する領域の定義をする。サッ

一方、シュートやホームランなどの特定動作や、利用カー画像は大きく分けて不要領域とグランド領域に分け者の指定する特定の選手に対する検索要求もある。これられる。不要領域とは観客席やピッチ外の領域を指す。

らは、ダイジェスト番組の製作支援などに応用が可能でグランド領域は芝領域と局所領域に分けられ、局所領域あり、有用性があるが、実現するには映像中の移動オブはグランド領域内のオブジェクトの存在する領域を指ジェクトを検出し追跡する技術が必要となる。

す。さらに局所領域は選手・ライン・ボールの各領域にオブジェクトのなかでも特に選手は検索対象としての分けられる。

利用価値が高い。試合中の選手の動きを把握できれば、選手の行動パターンやチーム戦略を自動的に解析することが可能になる。そこで本稿ではスポーツ映像の内容解
析の基礎研究として、サッカー中継映像から選手を検出し、追跡するシステムを提案する。

2

関連研究
スポーツ映像は検出対象の変動 (形状や色、動き方) や環境の変動 (照明条件や背景) のバリエーションが様々であるため、移動物体の検出は困難な問題である。従来
は、選手のテンプレートを用意してマッチングをとる手法がよく用いられてきたが、大幅に形状 (姿勢) が変化するために大量のテンプレートを用意せねばならなかっ

図 1: システム構成た。また、照合に膨大なコストがかかるという問題もある。一方、色情報は対象物体の変形や重なりなどに安定であり、色空間のクラスタリングの精度にもよるが、再∗ “Object Detection and Tracking for Soccer Videos”† Okihisa

UTSUMI, † Reiko HAMADA, †† Ichiro IDE, ‡ Syuichi
SAKAI, ‡ Hidehiko TANAKA
E-Mail: utsumi@mtl.t.u-tokyo.ac.jp† Graduate School of Engineering, The University of Tokyo†† The National Institute of Informatics‡ Graduate School of Information Science and Technology, The University of Tokyo

我々の提案するシステムの概要を図 1に示す。本シス
テムでは、画像の色相と輝度に基づいてトップダウンに処理を行う。これにより、計算コストを抑えロバストに選手領域を検出する。全フレームに対し検出処理を行った後、テンプレートマッチングを用いて選手の追跡 (同定) を行う。

3.1

グランド領域検出表 1: 平均検出率 (%)

まず、各画素の色相が θH1 以上 θH2 以下である画素(緑成分) を取得する。次に、取得した緑成分領域から最大領域を抽出し、領域の輪郭内を全てグランド領域とす

フレーム数

グランド検出率

選手検出率

6030

99.687.2

表 2: 平均追跡率 (%)

る。一般に、グランド領域は画像の大半を占めるので、不要領域に緑成分が含まれる場合でも適切にグランド領ショット数選手追跡率3363.2域を検出することができる。

3.24

局所領域検出

実験と結果得られたグランド領域で 2×2 ピクセルの矩形領域を走システムの有効性を測るため、 5 種類のサッカー映像査させ、その都度矩形領域内の輝度分散値を算出し、閾に対して実験を行った。各映像は約 3 分間で、 10 フレー

値 σlcl と比較する。 σlcl 以上ならば矩形領域を局所領域

ム / 秒で取得した 320×240 画素の 24bit カラー画像を用とする。さらに微少領域は雑音部分 (照明等による輝度変いている。天候条件はいずれも晴天であり、 CM 画像や選手の UP 画像、選手同士の重なりが発生している画像化) として消去する。

3.3は今回実験対象としていない。

選手領域検出

表 1 に実験の結果を示す。グランド検出率と選手検出はじめに選手判定を行う。具体的には、領域面積が一率は、検出が成功したフレーム数の割合を求めた。表 1定値より小さく、前フレームで得られたテンプレートのからグランド領域は高精度で検出できていることが分か大きさを満たす局所領域を選手領域と判定する。得られる。ここでは、カメラの高速回転が生じて芝の一部がグた選手領域はテンプレートとして保存し、ユニフォームランド外にブレてしまったときに検出が失敗している。

色からチーム判別を行う。

一方、選手領域 に関しても良好な結 果が得られてい選手と判定されなかった局所領域については隠れ判定る。選手 が倒れた ときや、カ メラの関 係上、画面 上方を行う。隠れのパターンとしては、ラインと選手及び選タッチライン沿いの選手がグランド領域外にはみ出すと手同士の隠れが考えられるが、ここでは前者について考きに検出が失敗した。また、 2 値化 (判別閾値法) の精度える。まず、以前のフレームで取得したテンプレート大が低いときも検出が失敗している。これについては、照の矩形領域を走査させ、矩形領域内の輝度値を判別分析

明条件にロバストな閾値決定法を検討する必要がある。

法で 2 値化する。矩形領域内に占める HIGH 値が σthbi

選手追跡率は、ショット (画像的に連続なフレーム群)

より小さければ、その矩形領域をライン領域として除去中に現れる選手数に対して、追跡が成功した選手の数のする。次に、得られた領域に対して輝度値によるテンプ割合を求めた。結果を表 2 に示す。精度が落ちた原因とレートマッチングを行い、選手領域の有無を判断する。

しては、テンプレートがライン上で止まること、選手の同様にテンプレートを取得した後、チーム判別を行う。

検出自体が失敗していたことがあげられる。一方、隠れ3.4のない場合では約 8 割の確率で追跡に成功した。

選手追跡

本システムではテンプレートマッチングで選手を追跡5むすびする。照合回数が増大する問題に対しては、テンプレー

本稿ではサッカー中継映像から選手検出・追跡を行う

トの位置情報と前回の照合の類似度を用いて無駄な照合システムを提案し、実験を通してその有効性を確認しを抑えるアクティブ探索法 [2] で計算時間を短縮する。

た。今後の課題としては、天候の変化にロバストな検出

テンプレートと選手領域の相関は、 3 次元色ヒストグ
ラムを利用した類似値 [3] を用いる。モデルのヒストグラ
ムを Mi 、入力画像中から抽出された領域のヒストグラム
を Hi とすると、正規化された類似度 SM H はl

SM H =min(Mi , Hi )

i=1l

(1)
Mii=1によって与えられる。 SM H は 0 から 1 の値を取る。

手法と高精度な追跡手法の検討があげられる。

参考文献[1] 越後冨夫, 宮森恒, 飯作俊一, “GMRF とオプティカルフ
ローを利用したサッカー映像のオブジェクト抽出” 第 4 回
知能情報シンポジウム, pp.443-448, 1998.
[2] V. V. Vinod, Hiroshi Murase, Chie Hashizume, “Focussed Color Intersection with Eﬃcient Searching for
Object Detection and Image Retrieval” Proceedingsof MULTIMEDIA 96, pp.229-233,1996.
[3] Swain, M.J. and Ballard, D.H., “Color Indexing”
IJCV, 7, pp. 11-32, 1991.