FIT（情報科学技術フォーラム）2003

LI-012
オブジェクト追跡と背番号認識の連携による動画像用スポーツ選手同定手法
Identification of Moving Athletes Based on
Cooperation of Object Tracking and Number Recognition
三須 俊彦 †Toshihiko Misu

1.

苗村 昌秀 †
Masahide Naemura

まえがき

スポーツ番組等において映像オブジェクトに関連する情報を提供できる新しいデータ放送サービス [1] や，映像効果を効率的に提供するシステムの開発を行なっている．映像中においていつどこに誰が映っているかといったメタデータを自動的に生成するため，オブジェクト追跡 [2][3] と背番号認識を組み合わせた人物同定手法を開発した．追跡結果によって探索領域を限定し，時間方向の統計処理を行うことで背番号認識の効率化・高精度化が可能になる．本稿では，追跡と認識の連携方法，ガウス混合モデルに基づく背番号文字領域の抽出方法について述べ，サッカー映像を用いた実験結果を報告する．

2.

本手法の構成高橋 正樹 †
Masaki Takahashi

和泉 吉則 †
Yoshinori Izumi

景を 0 とする 2 値画像）及び位置を抽出する．シルエッ
トはクロマキーもしくは背景差分法により検出する．続
いて，オブジェクトの色，テクスチャ，動き場，シルエット領域の各情報に基づきテンプレートマッチングを行い，その結果を拡張 Kalman フィルタをベースとする手法によって情報融合することで，オブジェクトの重心位置を推定する．詳細は文献 [3] を参照されたい．

2.2 背番号候補領域の切り出し
追跡部によって得られる各オブジェクト位置のワールド座標を，カメラ位置，姿勢，焦点距離に基づいてカメラ座標系へ投影する．続いて，投影された座標近傍に存在するシルエットの連結領域を抽出する．その連結領域のバウンディングボックスにおける上下 20% 〜50% の方形領域内であって，かつシルエット上である領域を背番号候補領域 B とする．

Prediction

Silhouette
Extraction

Matching (Region)
Matching (MV)
Matching (Texture)
Matching (Color)

本手法は，図 1 に示すように追跡部 (Tracking) と認
識部 (Recognition) の 2 部で構成されている．追跡部は，2.3 文字色とユニフォーム色の抽出
オブジェクト（選手）の色，テクスチャ，動きといった本手法では，背番号候補領域が文字色とユニフォーム特徴量に基づく複数のテンプレートマッチング手法を用（文字背景）色との2 色で構成される場合を考え，色ベい，頑健にオブジェクトの位置を追跡する．
クトルcの分布の確率密度関数
p(c) が基底要素数 2 の認識部は，追跡部によって推定される選手の位置情報
ガウス混合モデルに基づいておおよその背番号領域を切り出し（方形領域），文字とユニフォームの領域分割，文字認識，多数
p(c) = w1 N (c; µ1 , Σ1 ) + w2 N (c; µ2 , Σ2 ) (1)
決処理を行って，各オブジェクトの所属チーム，背番号，名前を認識する．以下では，動作について順を追って説に従うと仮定する．ここに，µm ，Σm は色の平均及び共明する．
分散であって，文字色は m ∈ {1, 2} のいずれか一方，ユニフォーム色はその他方に対応する．また，N (c; µ, Σ)
は平均 µ，共分散 Σ の多変量ガウス分布，w1 ，w2 はガウス混合モデルの混合重みである．なお，同一チームの選手は同じユニフォームを着用していると考えられるが，照明条件の違いなどの影響を排除するため，本手法
では選手ごとに色分布をモデル化することとした．
ObjectTemplates
EM アルゴリズムにより，第 m の基底要素から色ベ
MemberList
クトル c が出力される確率
&%

%

%!

Name Resolution!
Screening

OCR

Majority Filtering

ColorMatching

Segmentation

GMM-based Color
Discrimination

Window Clipping

2.X(k)(k) (k)(k)(k)(k)
ζm(c) = wm
N(c;µ(k),Σ)
wi N(c;µi , Σi ) (2)mmi=1"#$$を用いて，下記漸化式の繰返計算により混合重み wm =(k)lim wm，平均色ベクトル µm = lim µ(k)m ，共分散行k→∞

図 1: Block diagram of the system

k→∞

(k)
列 Σm = lim Σ(k)m ，確率 ζm (c) = lim ζm (c) を求め
k→∞

k→∞

ることができる．

2.1 追跡部追跡部は，1 台〜複数台のカメラ画像に基づき時々刻々のオブジェクトのシルエット（オブジェクト領域を 1，背† 日本放送協会, NHK(k+1)
wm=Xx∈Bµ(k+1)=mXx∈B

187(k)
ζm(c(x))

.X

1

(3)

x∈B.X(k)(k)ζm(c(x)) · c(x)ζm(c(x))x∈B(4)

FIT（情報科学技術フォーラム）2003

Σ(k+1)=mX(k)(k) Tζm(c(x)) · {c(x) − µ(k)m }{c(x) − µm }

x∈B.

X(k)
ζm(c(x))

表 1: Member List
H: Home (Red)
A: Away (Blue)
Number Name Number Name
9
松村
3
吉野
12
中村
6
永龍
16
小沢
8
安田
18
真壁
12
芝
22
寺内
15
横山(5)

x∈B

続いて，m ∈ {1, 2} のいずれが文字色及びユニフォーム色に対応するかを推定する（その値を mnum 及び muniとおく）．文字色とユニフォーム色の各領域を比較すると，文字色の領域の方が空間的に拡がりが小さいと考えられる．そこで，ζm (c(x)) (m = {1, 2}) の空間分布（水平方向）の 2 次モーメントを比較し，小さい方が文字であると見なすこととした．
X1 X
nm =
ζm (c(x)) , am =xζm (c(x))
nmx∈Bx∈B·¸
1 X
W m Cm=xxT ζm (c(x)) − am aTm
Cm Hm
nm

表 2: Example of Numeral Candidates
Tens
UnitsPosition

1st Candidate
2nd Candidate
3rd Candidate

NumeralConfidence

NumeralConfidence

7196560405327055
45x∈B

mnum = arg min Wm ,m∈{1,2}muni = 3 − mnum

(6)

最後に，背番号候補の中から信頼度最大のものを認識結果として出力する．この例では背番号 15 が認識結果となる．

2.4 文字とユニフォームの領域分割
ζmnum (c) は，色ベクトル c が文字色であるときに大きな値をとる．そこで，下式の閾値処理（閾値 θ）により文字領域が 1，その他の領域が 0 である 2 値画像 T 0 (x)を得る．
½1 (ζmnum (c(x)) ≥ θ)
T 0 (x) =(7)0 (otherwise)for x ∈ B
続いて，2 値画像 T 0 (x) の文字領域のバウンディング
ボックスの縦横比から数字が 1 桁であるか 2 桁であるかを判別する．2 桁である場合には，2 値画像 T 0 (x) を垂直投影したヒストグラムの極小点に基づき，2 桁の境界を検出する．最後に，各桁の領域に対する面積フィルタリングによってノイズを除去し，最終結果 T (x) を得る．

2.5 光学文字認識 (OCR)
認識エンジンには，エー・アイ・ソフト株式会社様製「読ん de!!ココ TM 活字文書 OCR ライブラリ」を使用した（認識対象の文字セットは数字のみとした）．このライブラリでは，各文字につき複数の認識文字候補を信頼度とともに得ることができる．
多くの場合，スポーツにおいては参加選手が予め既知であるため，出現し得る背番号集合を限定することができる．そこで，本手法では，表 1 に示すようなメンバリストを用い，認識精度の向上を図った．
例えば，ある選手に関する 2 値画像 T (x) の OCR の結果，表 2 に示す 2 桁の数字候補群が得られたとする．
まず，表 1 のメンバリストに存在する背番号全てについて，OCR 結果の候補に存在するか（桁の組み合わせによりその背番号を作れるか）否かを調べる．この例の場
合，12 と 15 が背番号候補となる．
次に，全ての背番号候補について信頼度を求める．2桁の場合，うち最小の信頼度をもって全体の信頼度とする．この例では，背番号 12 は信頼度 45，背番号 15 は信頼度 60 となる．

2.6 チーム分類
本手法では，ユニフォームの色情報によってチームの分類を行う．予め，各チームのユニフォームの色分布の平均（ホーム側チーム µH ，アウェイ µA ）と共分散（ホーム ΣH ，アウェイ ΣA ）を求めておく．
上記各統計量と，2.3 で求めたユニフォーム色の平均µmuni とのマハラノビス距離を比較し，距離のより近いチームを求めることで分類を行う．
½(Team) =Home (dΣH(µH , µmuni )≤dΣA(µA , µmuni ))(8)
Away (otherwise)dΣ (µ, c) = (c − µ)T Σ−1 (c − µ)(9)2.7 名前の解決
背番号の歪みやオクルージョンなどにより誤認識が生ずる可能性があるため，時間方向の多数決を行う．多数決においては，2.5 で述べた信頼度の重み付けを行う．その結果に基づき，表 1 に示したメンバリストを参照し，背番号とチーム分類から選手名を求める．

3.

実験結果

図 2 に示すサッカーのテスト映像を用い，本手法による選手同定の実験を行った．
同図 (a) は第 14 フレームにおける選手位置と背番号認識の結果を原画像上に重ねて表示したものである．計
6 名の選手のうち，背を向けているのは <5> 及び <6>の 2 名である．表 3 の 2 値画像に示すように，これら 2名の選手に関しては，背番号領域が正しく抽出できている．他の選手に関しては，セグメンテーションの段階において文字領域が存在しないと判断され，OCR 以降の処理がスキップされている．
これら 2 値画像に対し OCR 及びチーム分類を行った結果を表 3 の Recognition 欄に示す．それぞれホーム側

188

FIT（情報科学技術フォーラム）2003(a) Frame # 14

図 3: Time-Line Visualization of Numbers

一方，選手 <3>（図 3 の上から 3 番目）は「松村」となっているがこれは誤りである．表 3 の第 58 フレームの結果にも示したが，この選手は長期間に渡って横を向いており，完全な形で 2 桁の数字が見える機会に乏しかったことが，誤認識の原因であると考えられる．
こうした誤認識を防ぐためには，今回導入したような信頼度を考慮するだけでは未だ不十分である．例えば，選手のシルエット形状に基づいて選手姿勢を検出し，背番号の正しく見える可能性のあるシーンだけを OCR にかけるといった工夫が必要であると考えられる．

(b) Frame # 58
図 2: Tracked positions and recognized numbers

4.

表 3: Result of Number Recognition

14

Frame #Object #Binarized
ImageRecognition
ResultConfidence

<1>–
<4>

–––0.0

58

<5>

<6>

H18

A15

True

True

58.0

47.8

<1>,
<3>
<2>

–––0.0

<6>

H9

A15

False

True

47.1

67.5

18 番とアウェイ側 15 番というように正しい認識結果が得られた．また，表 3 の Confidence 欄を見ると，選手<5> のように鮮明な 2 値画像が得られた場合には，信頼度が高くなることがわかる．
一方，第 58 フレーム（図 2(b)）においては，選手 <3>の番号認識に失敗している．この選手の背番号はセルフオクルージョンと歪みによって完全には見えていない．
この不完全な画像を認識したため，表 1 のメンバリスト中にある最も類似した数字 9 を出力している．ただ，表3 の Confidence 欄の信頼度の値から，この認識結果が信頼できないこともわかる．
図 3 は背番号認識の結果をカラーコードによりタイムライン表示 [4] したものである．時間軸方向に信頼度を重みとする多数決を行い，表 1 のメンバリストを参照して選手名の自動補完を行った．その結果を図 3 の左端のNames 欄に示す．
「真壁」及び「横山」については正解である．

まとめ

オブジェクト追跡と背番号認識を連携させたスポーツ選手の同定手法を提案した．本構成により，移動する選手の背番号位置を絞り込むことができ，OCR をかけるべき探索範囲を限定することができる．また，ガウス混合モデルによる色分布のモデリングにより，文字色とユニフォーム色のさまざまな組み合わせに対し，無調整で背番号の 2 値画像を得ることができるようになった．また，メンバーリストを利用し，背番号の探索空間を絞り込むことで，背番号認識の頑健化を図っている．
今後は，選手姿勢に応じて背番号の見えないシーンを排除し，誤認識の低減を目指したい．また，背番号認識結果を追跡部へフィードバックすることで，追跡処理の誤り（交差した選手が入れ替わって追跡されてしまう誤りなど）を自動的に修正することを考えている．

参考文献[1] 苗村，鄭，三須，和泉，金次：映像オブジェクトに連動した放送サービス「情報ナビゲーション型未来放送」，2001 年映像情報メディア学会冬季大会，4-10，
p. 80，2001．
[2] T. Misu，M. Naemura，W. Zheng，Y. Izumi，K.
Fukui：Robust Tracking of Soccer Players Basedon Data Fusion，ICPR 2002，vol. 1，pp. 556–561，
2002．
[3] 三須，苗村，境田，鄭，金次：複数情報の融合によるサッカー選手のロバストな追跡法，信学技報 IE200147，pp. 23–30，2001．
[4] 三須，鄭，苗村，和泉，金次：情報ナビゲーション型未来放送のオーサリングツール，映情メ技報 BCS20023，pp. 13–18，2002．

189