FIT2007（第6回情報科学技術フォーラム）H-064

パーティクルフィルタを用いたティーショットシーンでのゴルフボール追跡
Golf ball tracking in tee-shot scenes using particle filter
高橋 正樹†
Masaki Takahashi

苗村 昌秀†
藤井 真人†
八木 伸行†
Masahide Naemura
Mahito Fujii
Nobuyuki Yagi

１． まえがき
ゴルフのショートホールでは，第一打（ティーショット）の成否がスコアを大きく左右する．そのためショット軌道に対する視聴者の関心は高い．しかしゴルフ中継ではボールを狭い画角で追いながら撮影することが多く，軌道全体を把握することが困難である．そこで我々はこれまでにティーショット軌道を放送カメラ映像上へ合成するシステムを開発した[1]．このシステムではカメラからボールへ向かう視線ベクトルをフレーム毎に計測し，同カメラ映像上へプロットすることで軌道を表現している．
視線ベクトルを求めるためにはカメラ映像内からボール領域を抽出し，その位置を計測する必要がある．しかしバウンド時には高速移動による動きボケや急激な方向転換が発生するため，安定した抽出が困難である．しかし後に再抽出できれば内挿補間で軌道を埋めることができることから，バウンド後の再抽出がこれまでの課題であった．
そこで今回，追跡処理にパーティクルフィルタ[2]を利用した．パーティクルの分布に応じてボール探索領域の位置，サイズ，形状を更新することにより，着地時のボール追跡精度が向上したので報告する．

2 ．ボール領域の抽出・追跡手法
2.1 追跡処理の流れ
物体の移動軌跡を表示するには，一般に複数台のカメラで物体を撮影（追尾）し，3 角測量の原理で 3 次元位置を遂次算出する手法が用いられる．ただしボールを追尾するカメラと軌道を表示するカメラが同一の場合，追尾中にカメラからボールへ向かう視線ベクトルを逐次記録しておき，後に同カメラ映像上へプロットすることで，カメラ 1 台での軌道表示を実現できる．
ボールへの視線ベクトルは，カメラの姿勢情報（パン，チルト，ズーム，フォーカス）とカメラ画像内のボール位置座標をフレーム毎に計測することで算出できる．カメラ

放送カメラ

カメラ画像 It

探索領域の決定探索領域
画像 Ist期待値ε[xt]

パーティクルフィルタ

図1

候補領域 zt

シルエット抽出

過去の抽出点

図2

上空でのボール追跡状況の姿勢情報は雲台・レンズに取り付けられたエンコーダから取得する．ボールの位置座標はカメラ映像中からボール領域を抽出・追跡して求める．図 1 にボール追跡処理の流れを示す．
放送カメラ映像 It は高解像度のため処理負荷が高い．そこで図 2 に示すようにボールを探索する領域を限定する（Ist）．これにより抽出処理の高速化，および誤抽出の軽減を図る．
ボール領域と背景領域では輝度および色に差が生じることが多い．そこで Y, Cb, Cr 値を 256×256×256 に分割した3 次元ルックアップテーブル（LUT）を用い，探索領域内の各画素が背景であるか否かを判定する．LUT は予め画像内のボール領域をマウスで指定することにより作成するが，上空と地上では背景の輝度・色が大きく異なる為，上空用・地上用 2 種類の LUT を用意する．LUT の切り替えは探索領域内の輝度ヒストグラムを参照して自動的に行う．
LUT に適合する領域を 1，適合しない領域を 0 と 2 値化したシルエット画像を Ict とする．
Ict にはボール以外のオブジェクトも含まれている可能性がある．そこで各前景領域の画像特徴（面積，円形度）を算出し，各画像特徴の目標値から大きく外れている領域を候補から除外する．画像特徴の目標値は過去に抽出したボール領域から動的に定めるため，カメラ操作による特徴変化にも対応できる．残った候補領域のうち，予測位置（次項参照）に最も近いものをボール領域と選定する．

2.2 パーティクルフィルタによる追跡処理
次フレーム画像内のボール位置を予測し，その場所へ探索領域をシフトすることでボールを自動追跡する．今回，予測処理にはパーティクルフィルタを用いた．
画像特徴フィルタ後に残った M 個のボール候補領域の重心座標列 zt={zt(m); m=1,…,M}をパーティクルフィルタの観測値とする．パーティクルフィルタは，時刻 t までの観測データ集合 zt を用いて，状態量の真値を表す確率変数 xt

シルエット
画像 Ict画像特徴
フィルタ

探索領域 Ist

ボール
位置座標

ボール追跡処理の流れ†NHK 放送技術研究所

155

FIT2007（第6回情報科学技術フォーラム）の 事 後 確 率 分 布 p(xt|zt) を N 個 の 重 み 付 き 標 本 集 合{(st(n), πt(n)); n=1,…, N} で近似的に表現する．ここで st(n)はxt 上でのサンプル，πt(n)はその重みを表す．パーティクルの総数は N=1000 個とした．
観測値に応じて選択，予測，測定ステップを標本集合に施し，新たな事後確率を推定する．
選択ステップでは，集合{st-1(n)}から，重みπ t-1(n) に基づき，N 回ランダムサンプリングする．得られた標本集合を{s’t(n)}とする．
予測ステップでは下式に基づく状態遷移 p(xt|xt-1=s’t(n))を施し，{st(n)}を生成する．
nn(1)

ここで F は状態遷移行列，G は外力行列，wt は正規乱数ベクトルである．本件では状態遷移に等速直線運動を用いた．
測 定 ス テ ッ プ で は ， st(n) そ れ ぞ れ の 標 本 に 対 し てπt(n) = p(zt|xt=st(n)) により重みを求める．

|

11√2πσαexp,

3．実験
提案手法の有効性を確認するため，ティーショット映像で実験を行った．図 3 に，従来手法ではバウンド後の追跡に失敗した映像で，検証した結果を示す．曲線状の点群が過去に抽出したボール位置を示している．着地タイミングでパーティクルを初期化することにより，バウンド後も自動追跡を継続できた．
図 3 と同じショットでの，上空から静止するまでのボール抽出点を図 4 に示す．落下直前にボールを見失っている
ものの，バウンド後に再抽出し，静止するまで追跡できていることが分かる． 抽出に失敗した区間は，内挿補間により軌道を埋めることが可能である．
なお本手法の処理時間は，3.2GHz のデュアルプロセッ
サ搭載ＰＣ使用で 1 フレームあたり約 0.04 秒であり，フレームレートに近い処理速度を実現できた．

再抽出開始点(2)2σここでα，σ を定数とし，d(·,·)は画像座標上での 2 点間の距離を表すこととする．各標本の重みは合計が 1 になるよう正規化する．この処理により，候補領域に近い標本の重みは高く，遠い標本の重みは低く設定される．
以上で事後確率を表す集合{(st(n), π t(n))}が求められる．
このとき期待値は以下の式で算出できる．

図3

着地後のボール追跡状況(3)

この期待値を次フレームでのボール領域の予測位置とし，その位置へ探索領域を移動する．
また本手法では標本分布の水平・垂直方向の分散値を探索領域のサイズ，アスペクトに反映させ，抽出状況に応じて最適な探索領域を決定している．

2.3 パーティクルの初期化
バウンド時はボールの速度・方向が急変するため，安定した追跡が困難である．抽出失敗後の探索領域拡大により再抽出できる場合もあるが，時間を要することが多い．そこで，より頑健な追跡を実現するため，着地のタイミングに合わせてパーティクルを初期化する．
着地のタイミングは 3 次元実空間でボール位置を逐次予測することで推定できる．今回は処理速度が速く，従来[1]から利用している拡張カルマンフィルタを用いた．カメラの姿勢情報とカメラ映像内のボール位置・面積を利用し，3 次元実空間でのボール位置を逐次予測する．ボールが落下し，地面と仮定した平面と交わった瞬間を着地タイミン
グとし，パーティクルの位置，重み (st(n), πt(n)) を初期化する．

156

図4

上空から静止までのボール抽出点

4．まとめ
ティーショットのボール軌道を可視化するため，パーティクルフィルタを用いたボール追跡手法を提案した．パーティクルフィルタを用いることにより，従来では困難であったバウンド後の再抽出が改善された．
落下地点や気象状況，カメラ操作などの影響で抽出が不安定となる場合もあるため，ボール選定閾値の最適化・自動化を今後も検討する．また精度・頑健性の評価も今後の課題である．
参考文献[1] 高橋ほか, “移動体の抽出および動き予測に基づくゴルフのティーショット軌道表示システム”, 映情学技報, Vol.30, No.41, pp.17-20,(Jul. 2006)[2] M. Isard, A. Blake, “CONDENSATION”, Int. J Computer Vision,
Vol.29, No.1, pp.5-28, (1998)