複数の深層学習モデルによるスキル優劣判定とその判断根拠に関する研究
指導教授：藤吉弘亘

TR20007 高田雅之

SRM と IRM の内部構造は同一であり，その構造を図 2に示す． 各モジュールは，3 層の全結合層と Attention sub

スキル優劣判定は，スキルを評価する手法であるため，医療やスポーツ等を対象とした研究が行われている．動画共有サービスによって様々なスキルが含まれた動画が溢れる現在では，様々な動作に使用できるスキル優劣判定の研究が必要となる．様々な動作に使用できるスキル優劣判定手法の中で Rank-aware Attention Networks (RAAN) [1]は，比較的長い動画に対してスキル優劣判定を行う手法である．この手法では，Temporal Attention を導入し，動画内における優れたセグメントと劣ったセグメントを識別することができる．

3. 提案手法
本研究では，優劣の差があるセグメントに着目するためのスキル優劣判定手法である Skill MIL を提案する．

3.1 Skill MIL
提案手法の構造を図 1 に示す．まず，動画を K 個のセグメントに分割する．それぞれのセグメントから連続する 16フレームをランダムに選択する．提案手法では MIL を導入するために，1 つのセグメントをインスタンス k とし，K 個のインスタンスの集合体をバッグ β = {kx |x = 1, . . . , K}と定義する．インスタンスにはラベルを付与せず，バッグにのみラベルを付与して学習を行う．入力は，優れたスキルを表す動画を pi と，劣ったスキルを表す動画を pj のペアとする．動画は pi > pj の関係であり，pi から構成されるバッグをポジティブバッグ β p ，pj から構成されるバッグをネガティブバッグ β n とする．β p ，β n に含まれるインスタンス kxp ，kxn を Feature extractor に入力する．Superior
Feature extractor
かInferior
Instance scoresInstance scores
らの出力を，それぞれ Superior ranking
Superior module (SRM)
InferiorInstance scoresInstance scoresと Inferior ranking module (IRM) に入力する．その後，SRM と IRM の出力を演算することで最終的なスコアを獲得し，優劣判定を行う．

⋅⋅⋅⋅⋅⋅⋅⋅⋅>

400 セグメント
16 フレーム⋅ ⋅ ⋅pj⋅⋅⋅⋅⋅⋅f′I(kxp)f′S(kxn)f′I(kxn)

S
Lavg

I
Lavg

ReLU

FC×

Attention sub module

FC

FC

f(x)

f′(x)

×

FC

Ax

図 2 : Ranking module の構造

module で構成する．Feature extractor の出力 x を入力としたとき，Attention sub module はインスタンスの重要度 Ax = {ak |k = 1, . . . , K} を出力する．各インスタンスの重要度 ak の算出方法を式 (1) に示す．
exp{wT tanh(VxTk )}ak = ∑K
T tanh(VxT )}exp{wjj=1(1)

ここで，w, V は学習するパラメータを表す．獲得したインスタンスの重要度 Ax は，式 (2) に示すように 3 層の全結合層からの出力である特徴マップ f (x) に重み付けとして乗算し，重み付け前の特徴を加算する．これにより，特徴マップの消失を抑制し，インスタンスの重要度を優劣判定に反映させることができる．

f ′ (x) = f (x) + (Ax · f (x))(2)

3.3 損失関数と学習
Skill MIl で使用する損失関数について説明する．SRMSpnの損失関数 LS
top と Lavg は，β > β の関係になるよう学習することで，動画内の優れた動作に焦点を当てた学習ができる．Ltop は，バッグ内の最大値を比較する損失関数であり，Lavg は，バッグ内の平均値を比較する損失関数でSある．LS
top と Lavg を，式 (3)，(4) に示す．
LSfS′ (kxp ) + max
f ′ (kxn )) (3)
top = max(0, 1 − maxpnn Skx ∈β pkx ∈βββ∑ ′ n1 ∑ ′ p((fS (kx )) + (fS (kx )))) (4)LSavg = max(0, 1 −βnp
ここで，fS′ は SRM の出力を表す．LStop は，β より βSnの方が最大値が高くなるよう学習し，Lavg は，β より β pの方が平均値が高くなるよう学習する．
一方で，IRM の損失関数 LItop と LIavg は，β n > β p の関係になるよう学習することで，動画内の劣った動作に焦点を当てた学習が可能となる．LItop と LSavg I を，式 (5)，(6) に示す．

LItop = max(0, 1 − max
f ′ (kxn ) + max
fI′ (kxp )) (5)pnn Ikx ∈βkx ∈β p

∑ ′ p
1 ∑ ′ nLIavg = max(0, 1 − ((fI (kx )) + (fI (kx )))) (6)βββ

ここで，fI′ は IRM の出力を表す．LItop は，β p より β n の方が最大値が高くなるよう学習し，LIavg は，β p より β nの方が平均値が高くなるよう学習する．
Skill MIL 全体の損失関数を，式 (7) に示す．
ISIL = LS
top + Ltop + λLavg + λLavg(7)￼￼￼⋅⋅⋅I
Ltop

ReLU￼400 セグメント

ネガティブバッグ β nSLtop

Maxpif′S(kxp)

Average⋅ ⋅ ⋅Feature extractor

16 フレーム

Superior
Ranking module

インスタンス kx

Inferior
Ranking module

ポジティブバッグ β pFC

Softmax

2. 関連研究xTanh￼

3.2 Ranking module

スキル優劣判定は，動画内の動作の優劣判定を行うタスクであり，これまでに Rank-aware Attention Networks(RAAN) [1] が提案されている．RAAN の学習には，優劣の 2 値ラベルが付与された 2 つの動画を入力して，Ranking
Loss により重みの更新を行う．このとき，動画を K 個のセグメントに分割し，全てのセグメントが正解になるよう学習する．優劣の 2 値ラベルは動画全体を見てラベルが付与されており，動画内に含まれる全てのセグメントが該当するわけではない．しかし RAAN は，優劣の差が無いセグメントに対して全体に付与されたラベルを使用するため，誤った優劣判定を誘発するという問題がある．本研究では，この問題を解決するアプローチとして，Multiple Instance
Learning (MIL) を用いて，優劣の差があるセグメントに着目したスキル優劣判定法を提案する．提案手法は，動画をバッグ，動画から切り出したセグメントをインスタンスとし，バッグのみにラベルを付与して優劣判定を行う．これにより，優劣の差があるインスタンスのみに着目した学習が可能となる．また，優れた動作と劣った動作を個別に判定することで，それぞれの時間情報に関する判断根拠の獲得を目指す．

Sigmoid

1. はじめに

図 1 : 提案手法の構造

ここで，λ は寄与率を調整するための係数であり，λ = 0.5を用いる．

IIⅢ

IIⅣI

Ⅳ

インスタンスの重要度

インスタンスの重要度

ⅤⅢIⅤtt(a) SRM(b) IRM

図 3 : 高いスキルレベルの動画に対するインスタンスの重要度 (Origami タスク)
II

インスタンスの重要度

インスタンスの重要度ⅤⅢ ⅣIIIIⅤⅢ
Ⅳtt(a) SRM(b) IRM

図 4 : 低いスキルレベルの動画に対するインスタンスの重要度 (Origami タスク)

3.4 優劣判定
本研究では．対応するインスタンスの優秀かどうかを表す
スコア scorehigh と，劣悪かどうかを表すスコア scorelowを比較することでスキル優劣判定を行う．それぞれ式 (8)，(9) により求める．

fS′ (kxp ) + max
f ′ (kxn )scorehigh = max
pnn I

(8)

scorelow = max
f ′ (kxn ) + max
fI′ (kxp )
pnn S

(9)

kx ∈β

kx ∈β pkx ∈β

kx ∈β p

4.2 インスタンスの重要度の有効性

scorehigh と scorelow を比較し，スコアの高い方を判定結果とする．

4. 評価実験

表 2 : インスタンスの重要度 反転時の精度変化 [%]Apply

BraidEyeliner

Hairbefore

83.4

75.2

80.7

after

53.6

63.9

52.8

Inversion

提案手法の有効性調査を行う．比較する手法には RAANを用いる．データセットには BEST Dataset を使用する．
Best Dataset は，YouTube から取得した動画で構成され，Apply Eyeliner，Braid Hair，Origami，Scramble Eggs，Tie Tie の 5 つのサブセットで構成されるデータセットである．RAAN と実験条件を揃えるため，公開されている Best
Dataset の I3D 特徴を使用する．本 I3D 特徴は，Kinetics
400 データセットで事前学習したモデルを使用して抽出されている．また，使用する際は過学習を抑制するためにノイズ {z|0 < z < 1} を I3D 特徴に加算してから実験を行う．最適化手法には Adam を用い，学習率は 0.0001，バッ
チサイズを 128，K = 400 とし，試行回数を 2000 エポックとした．

4.1 実験結果
表 1 : 従来手法との比較 [%]Methodみではなく動画の終盤に対しても強く重要視している．これはこの動画の終盤で，綺麗に折られた折り鶴をカメラに写している (図中 V) ためだと考えられる．一方で，IRM
では，図 3 (b) と図 4 (b) に示すように動画の序盤や終盤を強く重要視していることが確認できる．スキルレベルの低い動画は，折り直す動作を複数回行うことが多い．序盤を重要視する原因は，複数回行う折り目を付ける動作を折り直す動作と判定しているからだと考えられる．また終盤を重要視する原因は，完成した折り鶴を見せている動画が多いからだと考えられる．

Apply

Braid

Eyeliner

Hair

OrigamiScrambleEggs

Tie Tie

Average

RAAN

84.3

74.4

78.8

84.4

87.1

81.8

Ours

83.4

75.2

80.790.3

87.1

83.3

従来手法である RAAN と比較した結果を表 1 に示す．
表 1 より，提案手法は平均して 1.5pt 従来手法より精度が向上した．特に Scramble Eggs タスクでは，5.9pt 向上した．次に，インスタンスの重要度の可視化例を図 3，4 に示す．図 3 (a) と図 4 (a) に示すように，SRM では，動画の中盤部分を強く重要視していることが確認できる．これは中盤部分の作業が折り鶴の完成度に大きく影響を与えている為だと考えられる．また，図 3 (a) では，中盤部分のOrigami

Scramble

Tie Tie

Average

90.3

87.1

83.3

51.1

78.1

59.9

Eggs

提案手法で獲得したインスタンスの重要度 Ax の有効性を評価する．評価方法として，インスタンスの重要度を反転させて推論を行う．反転する前と反転した後での精度を比較することで精度がどれだけ低下するかを調査する．表 2にインスタンスの重要度の反転時の精度変化を示す．表 2より，インスタンスの重要度の反転により大幅に精度が低下することが確認できた．特に，Scramble Eggs タスクでは 39.2pt の低下が確認できた．よって，スキル優劣判定に有効なインスタンスの重要度を得られる事が確認できる．

5. おわりに本研究では Skill MIL を提案し，優劣の差があるセグメントに着目する学習を行い従来手法より高精度を獲得した．
また，インスタンスの重要度を獲得し，ネットワークに応用することで，精度の向上と時間情報の判断根拠が獲得可能なこと示した．今後は，空間情報に対する重要度を獲得し，更なる精度向上を検討する．

参考文献[1] H. Doughty. et al.: “The Pros and Cons: Rankaware Temporal Attention for Skill Determinationin Long Videos”，CVPR．2019.

研究業績[1] 高田雅之, 等,“Attention Pairwise Ranking によるス
キル優劣判定における視覚的説明と高精度化”, 第 23
回 画像の認識・理解シンポジウム, 2020.