情報処理学会研究報告
IPSJ SIG Technical Report

特徴点追跡を用いたサッカーの俯瞰映像生成
長嶺 和紀 1

井村 匠杜 1

筒口 拳 1

概要：本稿では少ない操作でサッカーのビデオ映像を俯瞰映像に変換する手法について述べる．ユーザはビデオ映像中の 4 点と，俯瞰映像合成用のピッチ画像中の対応する 4 点を指定することで，射影変換により当該シーン（フレーム）の俯瞰画像を生成する．ビデオ映像中の 4 点に対し追跡処理を行うことで連続した俯瞰画像を自動生成し，リアルタイムで俯瞰映像を作成することが可能となる．また，ビデオ映像中の 4 点が映像の枠外に出てしまった時点で射影変換ができなくなるが，ピッチ画像中の指定位置（ランドマーク）を逆射影変換した点の中から新たに 4 点を選定することで継続して俯瞰映像を生成することを可能とした．また，いくつかの追跡処理を比較し，射影変換の精度向上をはかった．
キーワード：サッカー，俯瞰映像，追跡処理，インタフェース

Overhead View Generation of Soccer Game using Feature Point
Tracking
KAZUKI NAGAMINE†1 TAKUTO IMURA†1KEN TSUTSUGUCHI†1
Abstract: In this paper, we describe a method to convert a soccer video image into a bird's-eye view image with few operations.
The user specifies 4 points in the video image and the corresponding 4 points in the pitch image for synthesizing the bird's-eyeview image, and a bird's-eye view image of the scene (frame) is generated by projective transformation. Continuous bird's-eyeview images are automatically generated by tracking four points in the video image, and it is possible to create bird's-eye view
images in real time. In addition, projective transformation becomes impossible when the four points in the video image go out of
the frame of the image. By selecting it, it is possible to continuously generate the bird's-eye view image. In addition, we
compared several tracking processes to improve the accuracy of the projective transformation.
Keywords: soccer, overhead view, tracking, interface

1. はじめにサッカーの試合では様々な状況解析システムが導入され（あるいは画面タップ）のみで実行できるインタフェースを実装する．
ユーザは原動画像中の矩形をなす 4 点と，俯瞰映像を合ており, 代表的なものとして VAR（Video Assistant

成するためのピッチ画像中の対応する 4 点を指定することReferee）やゴールラインテクノロジーなどがある. 近年でで射影行列を生成し，射影変換により当該シーン（フレーは，試合だけでなく練習時に使用するシステムも増加してム）の俯瞰画像を生成する．ビデオ映像中の 4 点に対し追おり, システムを使うことで選手個人の動き方や試合の状跡処理を行うことで連続した俯瞰画像をリアルタイムで自況を客観的なデータで見ることができ，戦術を考えながら動生成することが可能となる．あわせて，原動画像中で選練習を行うことができる. しかし，このようなシステムの手位置を指定し，その位置も追跡することで俯瞰映像上に使用には一定の専門知識や技術が必要であり, 一般の方に選手位置を表すマーカーを表示し，状況把握に役立てる．

とっては操作が難しいものとなっている．そこで，本研究原動画像中で指定した 4 点がフレームの枠外に出てしま

では, 機器操作に不慣れなユーザでも少ない操作でコートうと射影変換ができなくなるが，ピッチ画像中にあらかじの状況確認ができるシステムを提案する．

め設定されたランドマークを逆射影変換した点の中から新本稿で提案するシステムは，ユーザとしてアマチュアのたに 4 点を選定することで，継続して俯瞰映像を生成するプレイヤーや指導者を想定し，特殊な機器を用意しなくてことを可能とした．また，射影変換を行うための 4 点，おも，デジタルカメラ等で撮影されたサッカーの動画（原動よび選手位置の特徴点検出と特徴量記述に AKAZE[1]を適画像）を PC（あるいはタブレット）上で再生しながら試用することで追跡処理の精度向上をはかった．

合の状況確認を行いやすい俯瞰画像を同時に生成し，原動以下, 第 2 章で関連する手法とその課題について述べ,画像と俯瞰画像を並べて閲覧できるものである. その際，第 3 章で提案手法の説明を行う．第 4 章で追跡処理実験にできるだけ少ない操作で実現するため, マウスクリックついて述べ，第 5 章で考察を加え第 6 章でまとめる.

1 崇城大学 情報学部
Faculty of Computer & Information Sciences, Sojo Universityⓒ2023 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report

2. 従来手法とその課題SPLYZA 社の SPLYZA TEAMS では，スマートフォンやビデオカメラで撮影した試合映像を, システム内にあるアップロード機能でクラウド上に映像をアップロードし，選手や監督がその映像にパスの送り方などの戦術を直接書き込むことができる. 書き込んだ映像は共有可能であるため, 書き込みをしながら選手同士や監督と対話をすることで戦術理解度を高められるという特徴がある[2]．
hudl 社の Hudl Sportscode では, 撮影された試合映像の中から重要な局面だけを抜き出し，その映像をショートクリップとして保存することが出来るため，場面ごとに戦略を簡潔に伝えられるという特徴がある[3]．また，木下らは一台のビデオカメラを用いて試合を撮影し，射影変換を用

い領域は CG 画像で補う. また, 逆射影変換を行い CG 画像に設定していたランドマークを原動画像に描画する.
次に, 図 3 のようにマウスクリックで選択した選手を追跡し, 俯瞰画像に反映する. 最後に, 図 4 のように原動画像と俯瞰映像を並べる. これにより, 選手やコートの状況が確認しやすい画面を作成できると考える. また, 使用者の操作は, 射影変換をする際の基準となる 4 つの点の選択,射影変換をする領域が CG 画像のどの領域にあたるかを指定するための 4 点の選択, 動きを見たい選手の選択, 映像の再生, 停止のみとなっており, 使用者はパソコンであればキー入力やマウスクリック, スマートフォンであれば画面のタッチのような簡単な操作のみで出力結果を確認することが可能となる.

いて 1 人の選手の動きをトラッキングした後, そのデータをコート平面上に復元するという手法を提案している.
これにより, コート上の選手 1 人の動きをトレースしたデータを, 実際のピッチ上の位置座標に変換し，その選手の動き方を図として表すことを可能にしている[4]．
SPLYZA 社の手法では, 上から見下ろすような形で撮

図 1 射影変換の例．左：射影変換前，右：変換後影した映像を用いないとピッチ全体が見えず, 正確な状況分析ができない．そのため, 撮影している場所と同サイドの戦術理解度は高められるが，逆サイドに関しては難しいため総合的な戦術理解度を高められないという課題がある. 次に hudl 社の手法は, 試合映像の中から重要な局面だけを抜き出して再生できるため， 局面ごとの戦術を簡潔に検討できるが, 重要な局面を抜き出すためにはある程度

図 2 アルファブレンドの例．左：処理前，右：処理後の戦術の知識が求められるため, 一般の方には難しいという課題がある. また, 木下らの手法は選手個人の動きを客観的なデータで把握出来るが, 全体の選手のデータが得られないため, 試合の中でどのような効果的な動きをしたのかが捉えられないという課題がある.

3. 提案手法
3.1 操作手順
先述した先行研究に対し, 本研究では試合映像とそれに図 3 選手の位置描画の例．赤：味方，青：相手同期した俯瞰映像を並べて表示し, これらを同時に比較することで使用者が試合の状況を捉えやすくなるシステムを提案する. また, 使用者が特殊な機器を用いなくても, できるだけ少ない操作によってこれらの画面を得ることができる入力インタフェースを提案する．
まず, 「試合を撮影した動画像」と「CG のピッチ画像にランドマークを設定したもの」を用意する. 次に, 図 1 のように射影変換を行うための 4 点をマウスクリック（あるいはタッチ）で選択した後に射影変換を行い，ピッチを真上から見た俯瞰画像を作成する. その後, 俯瞰画像に図 3のようにアルファブレンドを施し，原動画像に写っていなⓒ2023 Information Processing Society of Japan

図 4 利用イメージ2

情報処理学会研究報告
IPSJ SIG Technical Report
3.2 射影変換，逆射影変換
本研究で実装しているプログラムでは, 原動画像の 4 点（図 1 左）と，ピッチ画像の対応する 4 点から射影変換行列 M を算出する．その後，原同画像の領域全体を変換してピッチ画像にマッピングする.
本研究では, 射影変換を行う際に 4 点を指定するが，原動画像において 1 つでも見えなくなる（フレームアウト）

図5

実験状況と射影変換ができなくなるため，4 点を再度指定する必要がある．このため，ピッチ画像の白線上にいくつかの固定また，選択した選手の場所に点が描画され, 映像が再生さ点（ランドマーク）を設定しておき，射影変換を行った際れると選手を追跡して点が動くという結果が得られ, 変換にそれらの点を原動画像に逆射影変換する．射影変換に用前では捉えづらかった逆サイドの選手を含め, 映像に写るいる 4 点のいずれかがフレームアウトした際は，原動画像選手の状況を連続して確認することができた．

フレーム内に存在するランドマークの逆射影点から矩形とLucas-Kanade による選手の追跡の様子を図 6 に，なる 4 点を適当に選定することで, 俯瞰画像生成を自動的AKAZE 特徴量を用いた追跡の様子を図 7 に示す．に継続することができる．ランドマークの逆射影点は後述する手法で追跡処理を行う．
3.3 追跡処理
本研究においては，上記の射影変換用の 4 点に加え，選手位置も追跡処理を行う．選手の初期位置は原動画像においてマウスクリック等により指定する．原動画像が動くにつれて毎フレームごとに追跡処理と射影変換を行い，ピッチ画像に俯瞰映像として選手位置のマーカー表示を行う．追跡処理は Lucas-Kanade 法[5]と AKAZE[1]を用いたマッチングの 2 種類で実装を行なった．LucasKanade 法では指定された特徴点を画像のピラミッドを用

図 6 Lucas-Kanade による追跡処理

いて追跡する手法である．AKAZE は特徴点の検出と特徴量記述を行う手法であり，非線形で非局所的なスケールスペースで特徴量を検出しているため，局所的な特徴も抽出することができる. そのため，回転や拡大縮小等の画像の変化にロバストであり，安定したマッチングが可能である. 本手法では，AKAZE による特徴検出のあと，k 近傍を用いて追跡処理を行なった．
それぞれの追跡処理の比較は次章で説明する．

4.

追跡処理実験

本章では 2 つの処理による追跡処理の比較について実験

図7

AKAZE と k 近傍追跡を用いた追跡処理を行った結果を説明する. 本実験では，カメラレンズの歪みやノイズによる影響を除外するため，サッカーゲームの図 6，図 7 からも AKAZE を用いた追跡処理の方が良好

CG 映像を用いた. 俯瞰映像描画用には，サッカーのピッに追跡できていることがわかる．

チをそのまま縮小した CG 画像を用いた．実験状況を図 5

図 8 は選手 10 名のうち，時間の経過とともに何名が追に示す．図 5 左の矩形は初期設定した射影変換用の 4 点で跡できているかを表したグラフである．横軸がフレームあり，図 5 左の上下に表示されている等間隔のマーカーは数，縦軸が追跡できた人数を示している．選手と，選手ピッチ画像で指定したランドマークの逆射影点である．

位置を示すマーカーが一定の距離を越えると「追跡失敗」としてその人数をカウントから除外している．

ⓒ2023 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report

6.

まとめ

本研究では，少ない操作でピッチの状況確認ができるシステムの生成を目的として, 簡易な操作による原動画像からの俯瞰映像生成について述べた．原動画像から俯瞰映像を生成する際の射影変換を得るために原動画像の 4 点と俯瞰映像用のピッチ画像中の 4 点を一度指定すれば，当初指定した 4 点が原動画像からフレームアウトしても自動補正
図 8 選手の追跡処理の比較
図 8 から，AKAZE 特徴量を用いた追跡処理の方が良好に追跡できていることがわかる．ただし，AKAZE を用いた追跡でも，選手が交差するよう場面においては追跡がうまくいかないため，選手を指定し直すなどの手順が生じてしまう．
また，矩形領域を形成する原動画像中の 4 点についても，AKAZE を用いた追跡処理の方が良好であることを目する手法を提案し，動作を確認した．また，原動画像中の特徴点処理に AKAZE を用いることで選手位置の追跡処理の精度向上をはかった．しかし, 適切な 4 点の自動選択を行う方法や複数の選手が重なった際の追跡処理に課題が残されている. 今後は追跡処理のさらなる精度向上や定量的評価を行うとともに，実際のサッカーの試合の撮影動画に対する実験を行う予定である．

参考文献
[1]

視で確認できた．
[2]

5.

考察

[3]

本手法により，矩形領域を形成する 4 点の指定，および選手の指定により，ほぼリアルタイムで俯瞰映像を作成す[4]ることが可能となった．これにより，ピッチ上での選手位置などの状況確認を原動画像と俯瞰映像とを見比べながら行うことができた. また，AKAZE 特徴量を用いることに[5]

P. F. Alcantarilla, J. Nuevo, A. J. Davison: "Fast Explicit Diffusion
for Accelerated Features in Nonlinier Scale Spaces", British
Machine Vision Conference (BMVC), September 2013.
株式会社 SPLYZA Team: "チーム全員で目指す勝利"，
https://products.splyza.com/teams/future/（2022/4 閲覧）．
Hudl Sportscode："パフォーマンス分析": （2022/12 閲覧）．
https://jp.hudl.com/ja/services/performance-analysis
木下 修一, 友枝 明保: "ある視点から撮影したフットサル選
手の動きを平面上へ復元する方法の実践"，武蔵野大学数理工学センター紀要，4 号，P27-32（2019）.
G. Bradsski，A. Kaebler 著，松田晃一 訳："詳解 OpenCV"，
オライリージャパン（2009）．

より，選手位置などの追跡処理や矩形領域の追跡処理が良好に行えることがわかった．
本手法においては原動画像で撮影されていないフレーム外の選手位置を俯瞰映像に表示することができないが，それ以外にも以下の技術的な課題がある：(1) 原動画像，およびピッチ画像のランドマークについて
は試合をおこなうコートごとに異なるため，自動でのランドマーク設定は難しい(2) 重なった選手の追跡が難しい(3) フレームが進むにつれて，ランドマークの追跡などのズレが蓄積すると，射影変換がうまくいかなくなる可能性がある(1) については，できるだけピッチ上のコーナーやペナルティエリアなどを選定することが望ましく，初期画像から射影行列を作成することができれば，逆射影変換を用いることで解決できると考えられる．(2) については選手のユニフォームの色などを用いる手法が考えられる．(3) については射影行列ができるだけ連続して変化することが望ましいため，たとえば行列式のように射影行列を代表する値がなめらかに変化するように射影行列を補正することなどが考えられる．
本提案手法の限界としては以下のようなものがある：ⓒ2023 Information Processing Society of Japan

4