WISS 2021

音楽のラウドネス変化によるトレーニングにおける動作フィードバック
王瑞贇 ∗志築文太郎 †

川口一画 †高橋伸†

概要. トレーニング中のユーザを音により指導する音インタフェースが多く提案されてきた．その中で，音楽を利用した音インタフェースの多くは，トレーニングをする人の動きに対応するメロディにより，動作の正確さを提示している．本研究では，音楽のラウドネスを活用したトレーニングにおけるフィードバックを提案する．具体的には，日常でよく聞かれるポップ・ミュージックの各パートのラウドネスを体の動きに連動して変化させることで，リアルタイムに動作の正確さをフィードバックとして提示する．予備実験を通して，ユーザが歌声の線形型のラウドネス変化をどのぐらい感じられるかを調査し，ラウドネスによる体の一部の動きを支援する可能性を検討した．結果として，歌声の大きさの変化の持続時間が比較的に長い場合，ユーザが線形型のラウドネスの変化を感じられることが分かった．

1

はじめに動作認識や人体識別技術の発展に伴い，日常のトレーニングを支援するシステムが多く提案されてきた．従来の支援システムの多くは，視覚，振動，聴覚などのインタラクション手法を採用し，トレーニング中のユーザにトレーニングの状態を提示している[1][2][3] ．視覚による提示の場合，ユーザがディスプレイを見ることが困難である場合がある．また，振動によるインタラクション手法はユーザの体にデバイスを取り付る必要があり，ユーザに伝えられる情報量が少ないなどの欠点がある．音のみを利用したインタラクションは，トレーニングを妨げない，体にデバイスを取り付ける必要がないなどの利点が挙げられる．音による支援手法として，姿勢に応じたメロディの変化により，姿勢の正確さを提示する研究が多く行われてきた [7][8][9]．しかし，音楽はラウドネス，音調，テンポなどの要素があり，トレーニング支援にそれらの要素を利用する可能性と方法についての研究は少ない．
本研究では，音楽のラウドネスによりトレーニングを支援するフィードバック手法を提案する．提案手法では，ユーザは音楽の各パート（例: 歌声，ベース，ドラム，ギター）のラウドネスの変化により，トレーニング動作の正確さを把握する．例えば，スクワットをするユーザは膝の位置に応じて変化する
ギターの音の大きさにより膝の位置を把握し，正しい腰の位置を歌声のラウドネスにより把握する（図1）．本研究では，提案フィードバックによる，現在の動作の把握，標準動作との差の把握，動作調整方法の把握と，モチベーションを上げる効果の実現を
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
筑波大学情報理工学位プログラム†筑波大学システム情報系目標にしている．
本稿では，体の一部分の動作支援を目的に実施した歌声のラウドネス変化の感知に関する予備実験について述べる．

図 1. 音楽のラウドネスによるスクワット支援

2

関連研究

音を用いたトレーニング支援の研究としては，言葉，音楽，ホワイトノイズを利用した例が挙げられる．任天堂から発売されたフィットネスソフトであるリングフィットアドベンチャー [4] とフィットボク
シング [5] は，バーチャルコーチの言葉により指示や励ましを行う．Ghai [6] らはホワイトノイズを使い，膝の角度を提示している．音楽のメロディを利用した手法として，Khan [7] らは MIDI 音を使った視覚障害者向けの音楽運動プラットフォームを開発した．Newbold [8] らは不安定なメロディを利用し，安全範囲を超えた過度のストレッチに対して注意を促した．

3

予備実験

本実験では，音楽の歌声の部分のラウドネス変化をどのぐらい感じられるかを調査し，歌声のラウドネスによるトレーニング支援を実現する可能性を検WISS 2021討する．本実験では，体の部分的な動作に対応して徐々にラウドネスを上げることを想定し，歌声のラウドネスが上がっていく音楽刺激を被験者がどの程度感知できるかを分析する．
実験用音楽

実験用音楽はリズムが比較的明快的なポップ・ミュージック，女性歌手の South Of The Water1 と男性歌手の I’m Alright2 を 2 曲選択した (原曲ラウドネス: -23LUFS）．各音楽から，15 個の 15 秒以下のセグメント（0-5 秒，5-10 秒，10-15 秒各 5 個）を抽出した．各セグメントの歌声のラウドネスを線形に原曲の 0% から 149.8%（+3.5dB）まで徐々に上げた後，5 秒の無音段落を追加することで，合計 30個の実験用音楽刺激を得た．30 個の実験用音楽刺激の内，24 個（0-5 秒，5-10 秒，10-15 秒各 8 個）が本実験用の刺激で，6 個（0-5 秒，5-10 秒，10-15 秒各 2 個）が練習用の刺激である．

3.2

結果と考察

表 1 は歌声ラウドネス最大時の平均感知値（8 人の被験者の感知値の平均）を持続時間の異なる音楽刺激毎に示している．音楽刺激が 5 秒以下の場合，感知された最大ラウドネスの平均値が 69.8% であった．音楽刺激の持続時間が比較的に短い場合，ラウドネスを正しく予測するのが難しいことが分かった．
被験者によると，ラウドネスを正しく感知できない
原因は，速いスピードで変化するラウドネスの感知が難しいことである．
音楽刺激の持続時間の増加に伴い，ラウドネスの感知精度が高くなる傾向が見られた．5-10 秒の刺激の平均感知値が 96.9% であり，10-15 秒の平均感
1

平均感知値

67.8
96.9106.3

知値は 106.3% であった．多くの被験者が，ラウドネスが原曲の 30% 以上になった後に歌声を認識し，50% 以上になった後線形型の変化を感じた（r>0.91,p<0.001）. 例として，一名の被験者（P7）の 14 秒の音楽刺激に対する感知結果を図 2 で示す．歌声はラウドネスが約 26.8% （-41LUFS, -27dB）を超えた後感知され，53.5% （-36LUFS, -26dB）を超えた後線形型の変化を感じた．

実験参加者および実験手順

被験者は 24 歳から 29 歳までの 8 名の音楽専攻以外の大学院生（男性 4 名，女性 4 名）である．
実験を行う前に，実験用音楽に慣れるための時間を取った．被験者に実験用音楽ファイルを渡し（2曲合計聴取時間約 7 分），二曲を最低 1 日 2 回，4日以上聴くように依頼した．感知実験は，被験者が実験用音楽に慣れたことを確認できた後に行った．
実験中，24 個の本実験用の音楽刺激が各三回ランダ
ムに提示され，被験者はマウスにより実験用ソフトウェアのスライダーバーを操作することで感知した
ラウドネスの倍率 (感知値) を回答した．実験用ソフトウェアに慣れるため，練習時間が実験を行う前に設置された．練習時間内には，実験参加者は本実験と違う練習用の 6 個の音楽刺激を聞き，実験用ソフトウェアに慣れるまで歌声の大きさをスライダーバーにより回答した．

3.3

音楽刺激の持続時間（秒）
0-5 （平均:3.9）
5-10 （平均:8.0）
10-15 （平均:12.8）

South Of The Wate, ACTIONS!, 2012.
2I am Alright, Angels in Ampliﬁers, 2014.

140

Loudness of vocal (%)

3.1

表 1. 歌声ラウドネス最大時（原曲の 149.8%）の平均
感知値．

120

10080604020002468101214Time (s)図 2. 14 秒音楽刺激に対するラウドネス感知

4

おわりに予備実験により，線形型の変化が感知できる音楽の持続時間とラウドネス区間が確認された．今後は具体的なトレーニング支援のためのラウドネス調整手法を検討する．また，ラウドネスが明確に把握できない場合に対して，言葉と音楽を併用する手法を検討する予定である．

謝辞
本研究は，JST 次世代研究者挑戦的研究プログラ
ム JPMJSP2124 の支援を受けたものです．

参考文献[1] Steﬀen D, Bleser G, Weber M, et al. A personalized exercise trainer for elderly. In Proceedings of the International Conference on Pervasive音楽のラウドネス変化によるトレーニングにおける動作フィードバック

Computing Technologies for Healthcare (PervasiveHealth) and Workshops, pp. 24–31. 2011.
[2] Elvitigala D S, Matthies D J C, David L, et al.
GymSoles: Improving Squats and Dead-Lifts by
Visualizing the User’s Center of Pressure. In Proceedings of the 2019 CHI Conference on Human
Factors in Computing Systems, pp. 1–12. 2019.
[3] Keesing A, Ooi M, Wu O, et al. Hiit with hits:
Using music and gameplay to induce hiit in exergames. In Proceedings of the Australasian Computer Science Week Multiconference, pp. 1–10.
2019.
[4] Nintendo,RingFit
Adventure.
https://www.nintendo.co.jp/ring.
[5] Nintendo, FitBoxing. https://ﬁtboxing.net/.
[6] Ghai S, Schmitz G, Hwang T H, et al. Auditory proprioceptive integration: Eﬀects of realtime kinematic auditory feedback on knee proprio-ception. Frontiers in neuroscience, Vol.12, No.142.
2018.
[7] Khan R A, Jeon M, Yoon T. ”Musical Exercise”for people with visual impairments: A preliminary study with the blindfolded. In Proceedings of the International Conference on Auditory
Display, pp. 204–211. 2018.
[8] Newbold J W, Bianchi-Berthouze N, Gold N E,et al. Musically informed soniﬁcation for chronic
pain rehabilitation: Facilitating progress & avoiding over-doing. In Proceedings of the CHI Conference on Human Factors in Computing Systems,pp. 5698–5703. 2016.
[9] Singh A, Klapper A, Jia J, et al. Motivating
people with chronic pain to do physical activity:
opportunities for technology design. In Proceedings of the SIGCHI conference on human factors
in computing systems, pp. 2803–2812. 2014.