四国地区

教育システム情報学会 2023年度学生研究発表会

プレイヤー検出による実映像からの上面図アニメーション生成
Generating Top-Down View Animations
from Real Footage Using Player Detection
漆原 和輝*1, 松浦 健二*1, 竹内 寛典*1, 和田 智仁*2
Kazuki URUSHIHARA*1, Kenji MATSUURA*1, Hironori TAKEUCHI*1, Tomohito WADA*2*1 国立大学法人 徳島大学
*1Tokushima University*2 国立大学法人 鹿屋体育大学*2NATIONAL INSTITUTE of FITNESS and SPORTS in KANOYAEmail: c612201924@tokushima-u.ac.jp
あらまし：戦術ゲームでは，試合内容を振り返り悪かった部分を改善していく必要がある．試合内容を分かりやすく振り返るために，バスケットボールの試合映像を上面図アニメーションに変換することを目的としている． また，複数の角度から撮影された映像を高精度かつ低コストで変換する方法について説明する．
キーワード：マルチオブジェクトトラッキング，バスケットボール，戦術，学習

1.

はじめに

現在のテクノロジーは，チームスポーツにおけるパフォーマンスの向上に役立つ．例えば，Seshadri
ら（2）による研究では，ウェアラブルデバイスやリアルタイムデータ分析技術の進歩により，トレーナー，コーチが選手の身体的要求を理解し，適切なトレーニングや回復戦略を立てることが可能になっていると述べている．
従来は斜めから撮影された試合映像を用いて試合の振り返りを行っていたが，斜めからの映像では選手の位置が重なったり遠くの選手は小さく映ったりしてプレイヤーの位置を正確に把握することが難しい．しかし，上面図アニメーションは，斜めからの映像のように選手どうしが完全に重なり合うことがない．また，カメラからの距離によって選手の大きさが変わらないので選手の位置を把握しやすい．上
面図アニメーションは選手が完全に見えて，遠近感を気にしなくてよいため選手の実際の位置を把握しやすいというメリットが挙げられる．
また，アナリストを対象にしたアンケート（1）では困っていることの中で「環境を整備するための資金が十分ではない」という回答が最も多かった．
本研究では高精度かつ低コストで上面図アニメーションを生成する方法について提案する．

2.

は 1 つの角度からの撮影しかできないため重なり合う可能性が高くなる．複数のカメラを用いることで様々な角度から撮影でき，オクルージョンの発生する可能性が低くなる．
2 つ目は，ノイズが発生することである．撮影時の環境ノイズを完全に除去することはとても難しい
が，環境ノイズ自体も小さく上面図アニメーション生成には大きな影響がなかった．大きく影響するノ
イズはジャンプ運動の上面図変換ノイズで，上面図アニメーションを作成した際にガクガクとしたアニメーションになることが分かった．
3 つ目は，チームの分類ができないことである．
マルチオブジェクトトラッキングを用いると同じ「person」として分類されるためチームの情報が失われてしまう．

マルチオブジェクトトラッキングの課題本研究では，4 つのカメラで撮影した映像を使用してマルチオブジェクトトラッキングを行う．4 つのカメラを使った理由は 1 つのカメラを使用した場合と比べて，以下の 3 つの課題を解決できると検討したからである．
1 つ目は，検出する対象どうしが重なり合うオクルージョンが発生することである．1 つのカメラで

図1

4 つのカメラを設置したイメージ

本研究ではこれら 3 つの課題に対して改善策を提案する．まず，オクルージョン対策のため複数の角度から試合を撮影する設計について論じる試合動画を撮影するために図 1 のように 4 つのカメラを配置

163四国地区

教育システム情報学会 2023年度学生研究発表会した．コート全体を撮影するカメラを長辺に設置すると，コートの一部が見切れてしまう．そこで，コート全体を撮影する 2 つのカメラは左右の斜めに設置した．残りの 2 つのカメラは左右それぞれのコートだけが大きく映るようにコートの横にカメラを設置して撮影を行った．

3.

課題の解決手法

この章では 3 つの課題についての解決手段ついて論じる．
3.1 複数カメラを用いた実装
2 台のカメラを用いた上面図アニメーションの変換には，近いカメラの情報を採用するという方法を用いた．
4 台のカメラの情報を用いる方法は 2 つの方法を検討した．
1 つ目の方法は，近い点の中点に新たな点を生成することである．この手法を用いることで近くの点同士が１つの点として表示され，4 つの点を 1 つにまとめることを目指した．しかし，この手法ではプレイヤーが実際には 10 人しかいないのに対して常に 15 個以上の中点が生成されていた．
2 つ目の方法は，k-means 法を用いて点のグループ分けを行う方法である．図 2 はグループ分けした時の様子である．まず，フレームごとに 4 台のカメラから変換した点をグループ分けする．そして，グループごとの重心に選手がいると推測し，上面図アニメーションを作成した．しかし，この手法では点の組み合わせが変わり，ガクガクのアニメーションになった．
これらの 2 つの手法は実際の人数と描画される人数が異なることが多かったため，評価実験には使用していない．

図 3 補正前後のデータを示したグラフ
バスケットボールのジャンプ動作は上に飛び上がるため上面図アニメーションには不要な動きになる．
また，マルチオブジェクトトラッキングも常に正確なわけではなく，選手どうしが入れ替わることがある．これらの動きは上面図アニメーションに変換した際にガクガクとした動きになる．そこで，トラッキングを行った後の時系列データから 0.5 秒ごとの指数荷重移動平均をとることでなめらかなアニメーションになるように補正した．
3.3 チームの判別ができない
図４のようにバウンディングボックス内の色からチームの分類を行った．色の抽出には RGB 色空間と HSV 色空間の 2 つを用いた．本研究では，青チームと白チームと審判（黄色）の 3 色に分かれているため，3 グループに分類する．

4.

おわりにこれらの手法を用いて，今後 2 つの実験を試みる．
1 つ目は，上面図アニメーションの精度実験である．上面図アニメーションが正しく選手の位置を示しているか確認する．
2 つ目は，チーム分類の精度実験である．チーム分類がどの程度の精度でできているか確認する．
謝辞
本研究は JSPS 科研費 JP22K12314，JP22K12293 の助成を受けたものです．また，ゲームデータ作成に際しては鹿屋体育大学女子バスケットボール部にご協力いただきました．ここに謝意を表します．

参考文献
図2

(1) 廣澤聖士, 橋場智子, 鈴江智彦, 高林諒一, 久永啓,永野智久, 千葉洋平, 渡辺啓太: “スポーツ現場における国内情報戦略専門スタッフの実態調査”, スポー
ツパフォーマンス 研究, Vol. 15, pp. 69–82 （2023）(2) Dhruv R. Seshadri, Colin K. Drummond, John Craker, J.
Rowbottom, and J. Voos.:“Wearable devices for sports:
New integrated technologies allow coaches, physicians,and trainers to better understand the physical demands ofathletes in real time”, IEEE Pulse, Vol. 8, pp. 38–43（2017）

k-means 法のイメージ図

3.2 観測ノイズが発生する課題の改善
試合映像の撮影時や映像から上面図アニメーションに変換する際に必ずノイズが発生する．ノイズをそのまま放置してしまうとガクガクとした動きの上面図アニメーションになる．図 3 は観測したままのグラフと補正を加えたグラフである．

164