姿勢情報を用いた Attention Pairwise Ranking によるスポーツ動作の優劣判定
指導教授：山下隆義

EP18110 三宅陸斗
1. はじめに4.2.APR-GCN

Skill Assessment は，動画内の特定の動作に着目して，スキルの優劣を評価する手法である．Skill Assessment の手法
として，Pairwise Deep Ranking (PDR) [1] や Attention
Pairwise Ranking (APR) [2] が提案されている．APR は，入力する動画の中から重要となる領域を獲得し，スキルの優劣判定に用いる．しかし，スポーツのような複雑な動作の優劣判定には，人の姿勢も重要となる．そこで本研究では，骨格情報をグラフとして入力した Skill Assessment として，Attention Pairwise Ranking GCN を提案する．

APR の Superior Network と Inferior Network の各
Ranking branch に Graph Convolution を追加する．そして図 2 のように，画像から取得した関節位置の座標からグラフを作成し，Graph Convolution に入力する．これにより，姿勢情報を考慮できるようになる．Graph Convolution から出力される特徴マップを FC 層へ入力する．その出力を ResBlock の Convolution layers から出力される特徴マップと結合し，FC 層へ入力する．

2.Attention Pairwise Ranking
APR は，スキルの優劣判定だけでなく，PDR の出力結果に対する判断根拠を可視化できる手法である．動画を 3 つの Segment に等分し，各 Segment からランダムで 1 枚を選択する．そして，選択した画像を Feature extracter 入力する．APR では PDR に Attention 機構を導入し，獲得した注視領域を Ranking branch に与える．タスクを行う動作には，優れた動作と劣った動作がそれぞれ含まれている．
このことから APR には，優れた動作を評価する Superior
Network と，劣った動作を評価する Inferior Network の 2つを用い，学習させることでそれぞれの動作に対する注視領域を別々に獲得する．

3. データセットの作成
PDR で提案された EPIC-Skills2018 Dataset では，スポーツのような複雑な動作を行うタスクを含まないため，スポーツにおける技術の優劣の判定を行うことは困難である．そこで新たに卓球のサーブを打ち返す動画のデータセッ
トを作成する．被撮影者を正面から捉えるために撮影者の頭に付けたカメラを Head camera，天井に設置することで頭上から被撮影者を捉えるカメラを Top camera，横から被撮影者の動きを捉えるカメラを Side camera とする．それぞれのカメラの配置と各カメラでの撮影例を図 1 に示す．

図 1 : カメラの配置場所と各カメラの視点作成した卓球データセットの詳細を表 1 に示す．スポー
ツにおいて，専門的なスキルを持った人がいなければスキルの優れた動画を集めることは難しい．そのため，スキルの劣った動画の比率が高い不均一なデータセットになる可能性がある．よって，データの均一さによる影響を確認するため，データの不均一なデータセットとデータが均一なデータセットを作成した．サーブを打ち返す動作の動画を卓球経験者により上手，普通，下手に分類するアノテーションを行った．
表 1 : データセットの動画数
不均一均一

train
test
train
test

上手1346525

普通702365
25

下手178
6165
25

Superior Network
Attention branch
ResBlock

動画数
261
88
195
75

ペア数
14774
1647
12675
1875

4. 提案手法
4.1. 姿勢情報
本データセットに対して，2 次元の姿勢推定手法である
Evopose2D [3] を使用し，姿勢情報を追加した．ここで姿勢情報は，鼻の推定座標からの 12 か所の関節位置の相対座標である．

動画

WGP

MinMax𝑆
𝑓𝑎𝑡𝑡(𝑝𝑖 )ΣRanking branch
Featureextractor

𝑝𝑖GCN×Convolutionlayers

ConcatFCTanh𝑆𝑓𝑟𝑎𝑛𝑘(𝑝𝑖 )Inferior Network

𝑆𝑐𝑜𝑟𝑒(𝑝𝑖 )Attention branch
ResBlock

WGP

MinMax𝐼𝑓𝑓𝑎𝑡𝑡𝐼 (𝑝𝑖 )(𝑝 )𝑎𝑡𝑡𝑖ΣRanking branch
GCN×

姿勢情報Convolutionlayers

ConcatFC

Tanh𝐼𝑓𝑟𝑎𝑛𝑘(𝑝𝑖 )図 2 : APR-GCN の構造

4.3. 学習方法
損失関数には，APR と同じ Log Ranking Loss を使用する．提案手法の損失 L は式 (1) のようになる．Superior Network では，pi − pj を最大化するように，InferiorNetwork では，pj − pi を最大化するように学習する．

L = log(1 + exp(−f (pi ) + f (pj )))(1)

5. 実験結果
本研究で作成したデータセットを用いて APR を評価した結果を表 2 に示す．実験は Head，Side，Top の 3 視点の画像を使用し，各視点で 5 回ずつ学習して精度の平均を比較する．表 2 より被撮影者側が常に映っている Top の精度が比較的高い傾向にある．そして，カメラのブレが大きい Head や体で打つ際の右腕が隠れてしまう Side では，精度が Top に比べ低い．また，データセットのデータ数を不均一の場合よりも均一にした方が高い精度である．また，最も高精度である Top に姿勢情報を追加し APR-GCN で学習した結果，精度の向上は見られなかった．
表 2 : 実験結果
train
不均一
均一
均一
均一

test
不均一
不均一
均一
均一

姿勢情報なし
なしなし
あり

Head
74.1
92.3
92.3
-

Side
65.5
75.9
85.2
-

Top
93.5
94.8
93.5
71.7

6. おわりに本研究では，Skill Assessment タスクに適したのスポーツのデータセットの作成を行った．また，データセットにおけるデータの均一さによる精度の比較と姿勢情報の有無による精度の比較を行った．評価実験の結果，卓球におけるスキルの優劣を高い精度で判別することが可能であり，提案手法によりスポーツの技能獲得への利用が期待できる．

参考文献[1] H.Doughty, et al., “Who’s better? who’s best? pairwise deep ranking for skill determination”, CVPR,
2018.
[2] 高田雅之等, “Attention Pairwise Ranking によるス
キル優劣判定における視覚的説明と高精度化”, MIRU,
2020.
[3] W.McNally, et al., “EvoPose2D: Pushing theBoundaries of 2D Human Pose Estimation Using
Accelerated Neuroevolution With Weight Transfer”,
IEEE Access, Vol. 9, pp. 139403-139414, 2021.