大乱闘スマッシュブラザーズの対人対戦におけるコントローラー操作音からのキャラクター識別 ∗○ 齋藤 佑樹 (東大)，矢田部 浩平 (早稲田大)，Shogun (スマブラプレイヤー)

1

はじめにSound

大乱闘スマッシュブラザーズ（スマブラ）は非常に人気の高いゲームシリーズであり，最新作のスマブラ

SP は全世界で 2600 万本を売り上げている．近年で図–1

Acousticfeature
extraction

Features

DNN

提案フレームワークの概念図

は，世界各地で様々な大会が開催されており，競技としても注目を集めている．
スマブラなどの対人対戦ゲームでは，勝敗のみでは語れない駆け引きや読み合いがあり，それを支える特殊な操作やテクニックも多数存在する．これらの多くは上級者のみが理解でき，ユーザの大多数を占める初心者がその醍醐味を知るには，上級者による解説が不可欠である．もし機械がこの解説を代替できれば，対戦や観戦の楽しみをより手軽に増幅できる．
本研究では，ゲームの対戦状況の情報として，対戦中のコントローラー操作音に着目した．コントロー

操作音からのキャラクター識別2

本研究では，コントローラー操作音の音響特徴量からキャラクターを識別するタスクを DNN を用いて学習する．図–1 に提案フレームワークの概念図を示す．まず，分析対象となるコントローラー操作音から音響特徴量の時系列を得る．その後，この時系列から固定長のセグメントを切り出し，DNN に入力してキャラクター識別結果を得る．この DNN の学習を行う際の損失関数は，識別結果とキャラクターラベルのラー操作音とは，コントローラーのボタンやスティッ

softmax cross-entropy を用いる．

クを操作した際に生じる音であり，プレイに関係する2.1情報を含んでいる．また，スマートフォンなどによる録音も容易であるため，コントローラーから出力されるコマンドそのものや，背景やエフェクトなどの操作に無関係な情報も含むプレイ動画と比較すると，一般のユーザも利用しやすいという利点がある．
しかし，コントローラー操作音にプレイに関する情報がどれほど含まれているかは明らかでない．コントローラーは類似した形状を持つ複数のボタンとスティックから構成されるが，同種のボタンは類似した音を発し，スティック音は操作の方向を反映しない．
さらに，無音でスティック操作をする場合もあり，音DNN アーキテクチャ

音響シーン分類や音響イベント検出における弱ラベル学習との類似性に基づいて，DCASE2021 Task4 [3]のベースラインモデル [4] を参考に，Convolutional

Recurrent Neural Network (CRNN) [2] の RNN を全結合層で置換した DNN をキャラクター識別に用いた．モデルの入力は平均 0, 分散 1 になるように正規化された対数メルフィルタバンク特徴量に ∆, ∆∆ を結合させた 3 チャネル，2048 フレームのセグメントであり，CNN の出力に対してフレーム方向に global

average pooling を適用した後に，全結合層を通って 5キャラクターの事後確率を予測するように構成した．に含まれるプレイの情報は大幅に欠落していると考えられる．そこで，本研究では初期検討として，機械2.2

スマブラ対戦時のコントローラー操作音の収録

学習によりコントローラー操作音からキャラクターキャラクター識別のために，ウルフ，ジョーカー，を識別するフレームワークを提案する．スマブラではフォックス，ポケモントレーナー，ホムラ&ヒカリのキャラクターごとに技が異なり，それに伴ってプレイ5 キャラクターを最終著者が操作し，その音を 3 日にスタイルが変わるため，その違いをコントローラー分けて収録した．対戦相手のキャラクターはスネーク

操作音から識別できれば，操作音はプレイに関するとし，スマブラの上級者に操作を依頼した．ルールは情報を含むといえる．また，プレイ中の操作キャラクアイテム・切り札なしの 2 ストック先取とし，各キャターは対戦単位で固定されるため，個々の操作音とラクターについて 8 戦ずつ収録した．相手の操作音比較してラベル付けが容易という利点もある．実験が混入するのを防ぐために対戦はオンラインで行い，的評価では，5 種類のキャラクターを識別する Deep

前方に設置した超指向性マイクロホンによってコンNeural Network (DNN) を学習し，操作音のみからトローラーが発する音のみを録音した．ゲーム音は精度 79 % の識別が可能であることを示す．

イヤホンで聴取し，雑音が混入しないように注意を∗Classiﬁcation of SSBU characters from sounds generated by a controller while playing. By Yuki Saito(Tokyo University), Kohei Yatabe (Waseda University), and Shogun (Smash Player).

表–1

実験的評価に用いた音響信号の長さ [分]キャラクター
ウルフ
ジョーカー
フォックス
ポケモントレーナー
ホムラ&ヒカリ

(WOL)
(JOK)
(FOX)
(POK)
(H&H)

学習検証

評価

合計

23.7
18.1
14.3
14.7
18.0

1.6
2.9
2.1
3.0
3.6

1.8
2.5
1.6
1.3
2.5

27.1
23.5
18.0
19.0
24.1

表–2 コントローラー操作音からのキャラクター識別結果．
表中の (a) と (b) はそれぞれ「ウルフ」の学習データ量を調整しなかった場合/した場合を意味する．
キャラクター
ウルフ
ジョーカー
フォックス
ポケモントレーナー
ホムラ&ヒカリ

払った．サンプリング周波数は 44.1 kHz とし，モノマクロ平均
重み付き平均ラル 16 bit の WAVE ファイルとして記録した．

実験的評価

3

適合度
(a) (b)0.66 0.57
0.84 0.99
0.00 0.23
0.77 0.81
0.97 0.99
0.65 0.72
0.69 0.75

再現度
F値(a) (b)(a)(b)
0.98 0.52 0.79 0.54
0.98 0.91 0.91 0.94
0.00 0.27 N/A 0.24
0.78 0.96 0.78 0.88
0.84 1.00 0.90 1.00
0.72 0.73 0.67 0.72
0.79 0.74 0.73 0.74(a) imbalanced(b) WOL-FOX balanced

JOK 0.00 0.98 0.00 0.02 0.00

0.00 0.91 0.00 0.09 0.00

テストデータは表–1 に示すとおりに分割した．前処理

FOX 0.97 0.02 0.00 0.00 0.01

0.73 0.00 0.27 0.00 0.01

としてカットオフ周波数 250 Hz の 3 次 Butterworth

POK 0.00 0.22 0.00 0.78 0.00

0.00 0.03 0.00 0.96 0.01

フィルタによるハイパスフィルタを適用した．STFT

H&H 0.00 0.08 0.00 0.08 0.84

0.00 0.00 0.00 0.00 1.00

L
JOK

WO

長はそれぞれ 256, 64, 128 とした．メルフィルタバン
ク抽出時の周波数レンジは 500–22050 Hz とし，メル図–2

Predicted

WO

True

分析には Hann 窓を使用し，FFT 長，シフト長，窓FO
X
POK
H&
H

する DNN を学習した．各キャラクターの学習・検証・収録した音データを用いて，5 キャラクターを識別

L
JOK

0.52 0.00 0.48 0.00 0.00

FOX
POK
H&
H

WOL 0.98 0.00 0.00 0.00 0.02

Predicted

キャラクター識別結果の混同行列

フィルタバンクの次数は 16 とした．DNN 学習時のOptimizer には Adam を使用し，学習率，β1 , β2 はそ互いに誤認識されるようになった．また，シードを変れぞれ 0.0001, 0.99, 0.999 とした．ミニバッチサイズ

えて再学習すると結果が変わることも確認され，初期と学習エポック数はそれぞれ 32, 10 とした．

値依存性が無視できないこともわかった．これらは，

3.1

評価結果

テストデータのすべてのセグメントに対する各キャラクターの識別結果の適合度，再現度，F 値を計算した．表–2 の (a) に結果を示す．F 値のマクロ平均とデータが音として単純である分，学習データの取り扱いや学習法に注意を要することを示唆している．

おわりに

4

重み付き平均はそれぞれ 0.67 と 0.73 であり，識別結

本研究では，対人対戦ゲームのプレイ状況分析の果全体の精度は 79 % であった．手軽に収録可能なコ新たなアプローチとして，容易に収録可能なコント

ントローラーの操作音のみからスマブラ対戦時のキャローラーの操作音の利用に着目し，その初期検討とラクターが概ね識別できており，操作音は対戦に関すしてスマブラの対戦におけるキャラクター識別実験る有効な音響特徴である可能性を示唆した．

を行った．結果から，操作音を利用したプレイ状況

ただし，個々のキャラクター識別結果に着目する分析の実現可能性が示唆されたが，現状は相手のキャと，この実験では「フォックス」の識別結果の適合度，ラクターを固定させた限定的な対戦状況のみを考慮再現度はともに 0 となった．識別結果の混同行列を作しているため，今後はさらに多様なデータを収集し，成したところ，図–2(a) に示すように，「フォックス」

提案フレームワークの有効性をより詳細に検証する．

がすべて「ウルフ」に誤識別されていた．スマブラに謝辞

おいてこれらの 2 キャラクターは技の構成などが類

Ike 氏，のまち氏，チャック氏に感謝を述べる．

対戦相手としてデータ収録に協力して頂いた似しており，また立ち回りで空中攻撃を多用する点も似ているため，それに伴って操作音のパターンも似た傾向になりやすいということが考えられる．
一方で，表–1 に示すように，「ウルフ」のデータ数に対して「フォックス」のデータ量は少ないため，多数を占める「ウルフ」の予測に対してモデルが過適合した可能性も考えられる．そこで，ウルフの学習デー
タを 12.97 分に削減して学習したところ，表–2(b) と図–2(b) に示すように，「フォックス」と「ウルフ」が参考文献[ 1 ] S. H. Bae et al., “Acoustic scene classiﬁcation using
parallel combination of LSTM and CNN,” Proc. DCASE,
pp. 11–15, Budapest, Hungary, Sep. 2016.
[ 2 ] E. Çakir et al., “Convolutional recurrent neural networks for polyphonic sound event detection,” IEEE/ACM
TASLP, vol. 5, no. 6, pp. 1291–1303, Jun. 2017.
[ 3 ] N. Turpault et al., “Sound event detection in domestic environments with weakly labeled data and soundscapesynthesis,” Proc. DCASE, New York, U.S.A., Oct. 2019.
[ 4 ] https://github.com/DCASE-REPO/DESED_task