WISS 2022

SoundsHIIT: 音楽生成を活用した高強度インターバルトレーニング支援システム
大森 功太郎 ∗森 達哉 †Lu Li‡

暦本 純一 §¶

概要.
本研究では，運動時間に合わせた長さの生成音楽を使用した高強度インターバルトレーニング支援システムである SoundsHIIT を試作した．音楽コンテンツはビデオゲームではユーザの没入感を高めるために使用されており，フィットネスジムでも音楽が利用されている．SoundsHIIT は音楽生成 API である
Mubert を利用した，ユーザの好みのタグと運動時間に合わせた音楽を運動中に再生することのできるシステムである．また，ユーザの運動動作を取得し，今の動作速度では設定した目標回数を達成できないと判断した場合には場合には音楽のテンポをアップさせる機能を実装した．

1

はじめに

図 1. SoundsHIIT のインターフェースの概要図． (a)カメラ入力のフィードバックと，現時点での動作回数を表す数字．(b) ユーザは好みのタグ (左)，一回の運動時間の長さ (中央) を入力し，音楽を生成することができる．また，一回の運動時間で目標とする動作回数の設定 (右) が可能である.（c）ボタンを押すことでワークアウトが開始され，運動時間分の音源再生，その後インターバルをおいてまた音源再生がレップ分繰り返される．

高強度インターバルトレーニング (HIIT) とは，トレーニング方法の一種であり，高い強度の運動の間に休息を挟むものである．本研究の中では，「タバタトレーニング」を基にしたトレーニング方法に着目する．タバタトレーニングは，「20 秒間の自転車エルゴメータ運動を 10 秒間の休息を挟んで間欠的に行い，6 から 7 セット目の運動で疲労困憊に至るよ
うな HIIT」とされている [5]．これを基にして，自転車エルゴメータ運動だけでなく，多くの種目においてこのタバタ式でのトレーニングが行われている．
音楽はビデオゲームでユーザの没入感を高めるために使用されており，車の運転といった実世界のタスク中にもたらす効果についても研究されている[2]．フィットネスジムでも広く利用されており，運動中の主観的な楽しさを増すことが可能であると言われている [4]．Keesing らの研究は，ゲームプレイと音楽が HIIT においてユーザの知覚とパフォーマンスに与える影響について調査している．その結果，音楽が双方に影響を与えたことを報告している [3]．
我々の研究においては，生成する音楽のタグ (ジャンル, ムード，アクティビティ) と長さを自由に規定することのできる Mubert API[1] を活用して，音楽生成が HIIT 支援について与える効果について研究するためのプロトタイピングを行なった (図 1)．
また，ユーザの動作を取得し，動作反復のペースが目標よりも遅い場合には，音楽のテンポをアップさせる機能を実装した．

2
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗東京大学
†東京大学
‡東京大学
§東京大学
¶Sony CSL Kyoto

SoundsHIIT

音楽の生成を Mubert API，動作の取得を MediaPipe の 3 次元ポーズ認識，UI を p5.js，サーバー側の処理を ﬂask を用いて実装した (図 2)．
ユーザは好きなタグと時間を入力し，音楽を生成する. 但し，このタグは Mubert が想定しているタグの中に含まれている必要がある．入力されたタグは

WISS 2022

図 2. SoundsHIIT のシステム概要図．ユーザは p5,jsで実装されたインターフェースに対する入力と，カメラから取得された画像情報をシステムに提供する．

クライアント側からサーバー側に送られ，Mubert
API にリクエストが送られ，ループ音源が生成される． Mubert はテキストからタグを生成し，音楽を生成する形式での使用が想定されているが，今回は本来テキストから生成されるタグをユーザが入力する形で使用した．生成された音源の再生，テンポ変更には p5.sound を使用した．

予定である．短期的な楽しさやパフォーマンスの増加に関する調査に加えて，現在継続してエクササイズを行う習慣がないユーザに運動習慣をつけることが可能かといった長期的な視点でのユーザ調査も重要である．
また，動作の反復回数の測定は現在骨格推定デー
タから算出した関節角度情報を用いたルールベースとなっており，この部分はより汎用的で頑健な手法の検討及び実装の改善が必要である．
加えて，今後より bpm や音楽の細かい特徴を操作することのできる音楽生成モデルが登場した場合には，そのモデルを使用して本システムの改善を行うことを考えている．

謝辞
本研究は JST ムーンショット型研究開発事業グラント番号 JPMJMS2012, JST CREST グラント番号 JPMJCR17A3, および東京大学ヒューマンオーグメンテーション社会連携講座の支援を受けたものです．

参考文献

図 3. 音楽再生速度の操作部分のアルゴリズムの概略.

動作の反復回数の取得には，MediaPipe から得た 3 次元骨格の推定データを用いて算出した関節の角度を使用した．現在の実装は判定をルールベースで行なっている．例えば腕を挙上させる動作の場合，胴体と上腕の角度が一定の閾値以上になり，その後一定の閾値以下になった時点で一回動作が反復されたとしてカウントしている．一定時間の経過後にその時点で行なっているべき回数が達成されているかを反転し，もし達成されていない場合には，それ以降運動時間 (デフォルトでは 20 秒) が終了するまでのループ音源の再生速度が上昇する. 運動時間が 20秒の場合は，4 秒間のループトラックが生成され，２回再生された時点で回数の判定を行う．そして，達成されている場合にはそのまま 3 回再生し，達成していない場合には速度を 4/3 倍速にして 4 回再生するようになっている (図 3)．1 回の運動時間の終了後には回数はリセットされ，インターバルを置いてまた次の運動時間の開始から回数がカウントされる．

3

議論と今後の課題

今回実装した機能について，今回のデモも含め今後実際にユーザが行う HIIT にどのような主観的・パフォーマンス的な影響を及ぼすのか調査していく[1] Mubert-Text-to-Music.
https://github.com/MubertAI/Mubert-Text-toMusic.
[2] M. Kari, T. Grosse-Puppendahl, A. Jagaciak,
D. Bethge, R. Schütte, and C. Holz. SoundsRide: Aﬀordance-Synchronized Music Mixing
for In-Car Audio Augmented Reality. In The 34th
Annual ACM Symposium on User Interface Software and Technology, UIST ’21, p. 118–133, New
York, NY, USA, 2021. Association for Computing
Machinery.
[3] A. Keesing, M. Ooi, O. Wu, X. Ye, L. Shaw, andB. C. Wünsche. HIIT With Hits: Using Music and Gameplay to Induce HIIT in Exergames.
In Proceedings of the Australasian Computer Science Week Multiconference, ACSW 2019, New
York, NY, USA, 2019. Association for Computing
Machinery.
[4] P. C. Terry, C. I. Karageorghis, A. M. Saha,Shaun D Auria. Eﬀects of synchronous music on
treadmill running among elite triathletes. Journal of Science and Medicine in Sport, 15(1):52–57, 2012.
[5] 田畑 泉. タバタトレーニング. 日本音響学会誌,76(2):117–122, 2020.