情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B20
2018/3/5

ラグビー映像解析システムの開発とその応用
小林大祐†1中洲俊信†1大内一成†1青木義満†2

概要：近年，スポーツ界では ICT を活用したトレーニングや戦術分析の導入が進んでおり，画像認識技術を用いた試みも行われている．筆者らは，選手の数が多く，密集や接触プレーが多いため画像による解析が困難であったラグビーを対象に，これまで人手で手間と時間をかけて行われていたタグ付け作業の省力化を目指した映像解析システムを開発した．本システムにより，一つのカメラ映像のみを入力として，ボールと選手の位置を追跡するとともに，主要なプレーの自動分類を可能にした．本システムで開発した技術は，ラグビーに限らず様々なスポーツへの活用が可能であるだけでなく、防犯カメラを用いた作業分析など産業分野への応用が期待される．

1. はじめに本論文で対象としているラグビーについては，上述のとおり，映像解析の対象としては技術的な課題が多いため，ICT (Information and Communication Technology) の発展

限定的なシーン推定に取り組んだ事例[3]を除いては，これにより，スポーツ界では ICT を活用したトレーニングや戦まで殆ど取り組まれてこなかった．しかしながら，トップ術分析の導入が進んでいる．筆者らは，2019 年ワールドカ

チームでは， ICT を活用したチーム強化の試みが積極的にップの日本開催や，2020 年東京オリンピックでも競技種目進められている．ラグビー日本代表チームは GPS データをとなるため注目度が上がっているラグビーを対象に，画像積極的に活用して 2015 年ワールドカップで好成績を収め認識技術を活用したラグビー映像解析システムの開発を進た[4]．ただし，GPS の位置精度が十分でなく，また，デーめている．

タを取得するためには一旦デバイスを取り外してクレード

ラグビーは，選手の数が 1 チーム 15 人と多く，接触プル経由で取り込む必要があるため，チーム全体の戦略分析レーや密集プレーが頻繁に発生するため，映像による分析には活用できておらず，サッカーと同様に，スポーツ専用には技術的な課題が多く，これまで積極的に取り組まれて分析ソフトでタグを手動で入力して戦術分析を行っているこなかった．選手にセンサを装着すること無く，カメラでのが現状である．また，相手チームの GPS データは取得でプレーの様子を撮影するだけで選手やボールの動き，プレきないため，相手チームの分析には利用できない．これら

ーの自動分類を行うことができれば，練習や試合の現場でに対し，筆者らは，センサを装着せずに映像のみからラグ

手軽かつ詳細な戦術分析が可能になる．さらに，技術的なビーのプレーを解析し，戦術分析に役立てることが可能な課題の多いラグビーを対象に画像認識の基盤技術を強化す映像解析システムの開発を目的としている．

ることにより，その技術を他のスポーツ，さらにはスポーツ以外の産業分野へ幅広く応用することが期待される．

2. 従来手法

3. ラグビー映像解析システム
3.1 システム概要
入力映像

チームスポーツでは，個人のログだけでなく，試合にお仮想二次元フィールドけるチームとしてのフォーメーション，戦術を把握し，統計データに基づいた戦略立案が求められている．例えば，欧州サッカー，J リーグなどで導入されている ChyronHego
社の TRACAB[1]というトラッキングシステムは，複数台のカメラをフィールド全体が撮影できるように設置し，選手，ボールの動きを追跡しデータ化するものであるが，価格が高く，あらかじめ同システムを設置した競技場でしか利用できない．また，追跡結果やフォーメーションの特徴を用いたプレーの認識などには対応しておらず，アナリストが映像を見ながら，例えば SPORTSCODE[2]などのスポーツ

図 1

ラグビー映像解析システム

専用分析ソフトを使って必要なタグを手動で入力（あるいは手動入力したデータを購入）して，戦術分析を行っているのが現状である．

開発したラグビー映像解析システムのメイン画面例を
図 1 に示す．入力は左側に表示されている 1 台のカメラで撮影した試合映像のみで，他のセンサは使用しない．この†1 (株)東芝
Toshiba Corporation†2 慶應義塾大学
Keio University© 2018 Information Processing Society of Japan

例では，一般的なチームでも使用されている家庭用ビデオカメラで撮影した HD 映像（1280×720pixels，30fps）を用

938

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B20
2018/3/5

いた．本システムで実現した各機能の概要は，以下の通り

イルに示す 3 つのシーンが検索された例を示している．尚，である．

この機能は，手書きタブレット向けの手書きスケッチによる資料検索技術[5]を活用した．

選手／ボールの移動軌跡記録機能
入力映像から両チームの選手（チームも識別）とボール手書きの検索条件を検出して追跡し，その位置を推定して図 1 右側の仮想二次元フィールド上にマッピングすることにより，プレー中の両チーム選手とボールの動きを連続的に記録することを可能にした．また，ボール保持チームの推定も行い，どちらのチームが攻撃しているかも合わせて記録する．


プレー推定による自動タグ付け機能
入力映像からその時点その時点のプレー内容を推定し，推定結果の尤度が高い場合は自動でタグとして記録する機能を開発した．プレー推定処理は毎秒 1 回行い，推定結果と尤度は，画面左下に上位 2 候補を表示して確認できるよ
図 3

うにした．尚，必要とされるタグは，チームの強化方針，ボール移動軌跡に基づく手書き検索

アナリスト個人によって異なる場合があることが事前のヒヤリングで確認されたため，ユーザ毎のカスタマイズを容易にすることが今後求められる．
タグに基づくプレー検索機能走行距離・スピード推定機能
選手の検出と追跡，およびその位置推定において，現時点では個人の識別までは行っていないが，着目したい選手

自動タグ付け機能によりつけられたタグを手がかりに，を選択した場合に，その選手を追跡している間は，二次元所望のプレーを検索することを可能にした．図 2 は「ライフィールド上の推定位置のフレーム間の差分をもとに，走ンアウト」のシーンを検索した結果の一例である．これま行距離と現在のスピードを推定する．図 4 にその一例を示

ではタグ付け作業を手動で行うか，手動入力したデータをす．画面左下に着目した選手の走行距離とスピードが表示

購入するしかなかったため，試合の現場で試合中にタグをされている．

使った分析を行うことは困難であった（現場で手動タグ付けを行うことは負荷が高く，作業中は他の分析ができなくなるため，試合後に作業することが多い）が，これを自動化することで手間を省くだけでなく，例えばハーフタイムに前半の気になるプレーを重点的に確認し，後半の戦略に活用することなども可能になる．

図 4

走行距離・スピード推定

3.2 これまでの課題
上述の機能の実現に際して，一つのカメラ映像のみを入力として，特徴量設計方式によるボール検出と，ディープ
図 2

タグに基づくプレー検索ラーニング方式による選手検出を行うハイブリッド型映像解析技術を開発し，ボールと選手を精度良く検出可能にし

ボール移動軌跡に基づく手書き検索機能た．また，それらの動きを高精度に追跡し，移動軌跡を仮

選手／ボールの移動軌跡記録機能により，ボール保持チ

想 2 次元フィールド上にマッピングすることで，動きを俯ームを推定した上でボール移動軌跡を記録する．この移動瞰して分析可能にした．さらに，自動的なプレー分類をデ軌跡から，図 3 右上のように「赤チームがこのあたりをこィープラーニングによって行い，これまで人手で行われての方向に攻めたシーン」のような直感的な検索を手書きのいた主要プレーのタグ付け作業の省力化を可能にした[6]．

クエリーで行うことを可能にした．赤チームが自陣右側付

しかし，これまでのシステムでは，選手検出とボール検近を矢印の方向に攻めたシーンとして，図 3 右下のサムネ出を別の方式で行っていたことと，フィールド上にマッピ© 2018 Information Processing Society of Japan939

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B20
2018/3/5

ングするための座標変換処理において射影変換行列の更新

ドへのマッピングには，カメラの動きに対応する必要があに繰り返しの処理が必要だったため，実際の現場で活用する．入力映像と仮想二次元フィールドの対応関係を推定するには処理時間が課題だった．選手とボールを安定して追る際，従来は，カメラの動きがズームを含めて自由度の高跡するためには，毎秒 5 フレーム以上のフレームレートがいものであったため，繰り返し計算が必要となり処理時間必要であることがわかり，リアルタイム処理を実現するたがかかっていた．そこで，現場で許容可能な制約として，めには 1 フレームあたり 0.2 秒以内での処理が求められる．

ズーム無しで左右の横振りのみで映像を撮影する条件を導そこで，ディープラーニングで同時に選手とボールを検出入し，繰り返し計算を不要とする方式にすることで処理のできるようにするとともに，カメラの撮影に現場で許容可高速化を図った．具体的には，フィールド内のラインの角能な制約条件を導入して計算量を削減することで処理全体度を推定し，図 6 のように奥側と手前側のライン交点（4の高速化を検討した．

点）とそれらに対する射影変換行列を事前に複数箇所登録

3.3 ディープラーニングによる選手とボールの同時検出しておくことで，実際の処理時にはラインの角度を推定す

これまでは，ディープラーニングによる物体検出手法のるだけで射影変換行列を取得できるようにした．

一つである Faster R-CNN(Region Based Convolutional NeuralNetworks)[7]を用いて選手検出を行い，ボールは特徴量設計方式による検出を行っていた．さまざまな体格差や姿勢の変化がある選手の検出には，それらに対応可能なディープラーニングを用い，大きさ，色，形状が一定のボールはその検出に適した特徴量を設計することでそれぞれ精度良く検出していました．しかし，この方式では別々の処理が必

図 6

入力映像と仮想 2 次元フィールド上の対応する 4 点要になるため，これを統合することによる処理量削減を検の対応付け例討した．
今回導入した，選手・密集領域およびボールを同時に検選手とボールの同時検出と合わせて，従来手法と処理時出するネットワークの構造を図 5 に示す．ボールは映像中間の比較を行った結果を表 1 に示す．従来手法における二で小さく映るため，従来の Faster R-CNN のネットワーク構

次元マッピングは，カメラの移動が少ない場合は表 1 にあ造のままでは CNN 最終層の出力は解像度が低くなるためる通り 0.3 秒程度で動作するが，移動が大きい場合は誤差検出精度が低下する，そこで，CNN の複数の浅い層の解像量最小化のための繰返し処理回数が増えるため 1 秒以上か度の高い出力も結合して対象候補領域の推定，クラス識別かる場合もあった．これに対し提案手法では，カメラの移および矩形回帰を行うことで，小さい対象物体に対する検動量に関わらず 0.035 秒で処理可能となり，大幅な高速化出精度の向上を図った．その結果，完全に見えているボーを実現した．さらに，選手・密集領域検出とボール検出をルの検出精度（適合率）を従来手法（特徴量設計方式）の同時に行うと共に，実行速度とメモリ効率に優れている深66.7%から 89.1%に大きく改善した．

層学習フレームワークである MXNet[8]で実装することで，検出処理全体の処理時間をほぼ半減した．これらの処理の高速化により，全体で毎秒 5 フレーム以上で安定して処理可能となり，実際の試合の現場で活用できる目処が立った。
表 1

図 5

1 フレームあたりの処理時間（秒）選手・密集領域とボールを精度良く同時検出するネットワーク構造

3.4 仮想 2 次元フィールド座標変換処理の高速化
本システムでは，一つのカメラ映像のみを解析対象としているため，検出した選手とボールの仮想二次元フィール© 2018 Information Processing Society of Japan

4. 他のスポーツへの応用
1 章に述べたとおり，ラグビーは試合に出場する選手の数が 1 チーム 15 人と多く，接触プレーや密集プレーが頻繁

940

情報処理学会 インタラクション 2018
IPSJ Interaction 2018に発生するため，画像による分析は技術的にハードルが高いとされてきたが，今回開発したラグビー映像解析システムによりそれを可能にした．ラグビーを対象に精度良く解析可能な基盤技術を開発することにより，他のスポーツへ

3B20
2018/3/5

第 23 回画像センシングシンポジウム（SSII2017），DS2-03,2017.
[7] S. Ren, et al., Faster R-CNN: Towards Real-Time Object Detection
with Region Proposal Networks, In arXiv:1506.01497, 2015.
[8] MXNet, https://mxnet.incubator.apache.org/.の活用も期待される．
ラグビー同様にフィールド上の球技であるサッカーを対象に，本システムで開発した各要素技術を適用してみた．
選手とボールの検出に際して，サッカー選手の新たな教示は行わずにそのまま適用した結果の一例を図 7 に示す．

図 7

サッカー映像への応用例

サッカー映像に対しても精度良くボールと選手を検出・追跡し，位置推定できていることがわかる．上述の通り，サッカーでは複数カメラを用いた映像解析が導入され始めているが，本システムは 1 台のカメラで同様の映像解析が実現できるため，サッカーをはじめ，さまざまなスポーツへの応用が期待される．

5. まとめラグビーを対象にした映像解析の基盤技術として，ディープラーニングを用いた選手とボールの同時検出，および仮想二次元フィールド座標変換処理の高速化に取り組んだ．
その結果，仮想二次元フィールド上でのプレー分析とタグ付け作業の省力化が可能なラグビー映像解析システムの現場適用に目処をつけた．ラグビー向けに強化したこれらの基盤技術は，サッカーなどの他のスポーツはもとより，店舗や工場内の業務効率化など，スポーツ以外の産業分野への幅広い活用を検討していく．

参考文献
[1]
[2]
[3]

ChyronHego TRACAB，http://chyronhego.com/tracab/.
SPORTSCODE，http://sportscode.jp/.
尾山匡浩，“ラグビー映像を対象としたシーンの自動推定，”
ViEW2016 ビジョン技術の実利用ワークショップ，pp.128-131,
2016.
[4] 廣瀬俊朗，“GPS データの効果，”情報処理，Vol.57, No.9,pp.822-823, 2016.
[5] 中洲俊信，山地雄土，柴田智行，井本和範，“手書きスケッチによる直感的な資料検索システム，” ヒューマンインタフェース学会論文誌，Vol.18, No.3, pp.141-152, 2016.
[6] 小林大祐 他，“ラグビー映像解析による戦術分析の効率化，”© 2018 Information Processing Society of Japan

941