情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-410-69
2017/3/2

スマートフォンセンサーを用いた即興合奏のための身体動作認識機構の試作
水野創太†1

一ノ瀬修吾†1

白松俊†1

北原鉄朗†2

概要：本研究では，演奏経験の少ないユーザでも即興合奏を可能にするシステムの実現を目指している．演奏未経験者にとってコード進行に合う音高を決めるのは困難だが，旋律概形すなわち音高の上下動なら身体動作により表出可能である．我々のこれまでのシステムでは，モーションセンサーカメラを用いてユーザの身体動作を認識していた．
本稿では，スマートフォンセンサーを用いて，ユーザの身体動作を認識する手法を開発し，より手軽に即興合奏に参加できるシステムを目指す．既存楽曲に合わせてスマートフォンを動かした際のセンサデータを訓練データとして収集し，背景楽曲のコード進行に合う音高を決定するベイジアンネットワークのモデルを獲得する実験を行った．

Prototyping a Function to Recognize Users’ Body Motion
for Improvisational Ensemble Using Smartphone Sensors
Souta MIZUNO†1
Shugo ICHINOSE†1Shun SHIRAMATSU†1 Tetsuro KITAHARA †2
Abstract: We aim to develop a system enabling non-experts of musical performance to play improvisational
ensemble． Although non-experts of music cannot determine a pitch suitable for a particular chord， they can
express pitch contour by their body motion． Our previous system recognizes users’ body motion on the basis of asensor camera． In this paper， we aim to develop a method for recognizing users’ body motion on the basis ofsmartphone sensors in order to enabling multiple users to easily join improvisational ensemble． We collectedtraining data of correspondence between melody and body motion． Moreover， we developed three Bayesian
Network models for estimating pitch name， vertical movement of pitch， and attack time．

1. はじめにしてユーザの動き，その際に出力するべき音高を推測する手法を提案する．また，本稿では予備段階として背景楽曲

本研究ではこれまで，演奏経験の少ないユーザを対象ととして流れている曲とのセッションを目指し，流れているし，手の上下動によって背景楽曲との即興合奏が可能なシ曲に合わせてスマートフォンを動かすことで背景楽曲のコステムを開発してきた[1]．従来は，モーションセンサーモード進行，ユーザの動きに適した音が出力されることを目ジュール「Intel RealSense 3D」カメラを用いてユーザの手的とし，スマートフォンに搭載されたセンサーからユーザの上下動を入力してきたが，特別なデバイスを必要とする，の動きをトレースする手法，トレースしたユーザの動きかカメラの認識範囲内でしか行えないなど，多人数が容易にらベイジアンネットワークによって出力するべき音高を推参加するのが困難になるという問題があった．そこで本稿測する手法について述べる．

では，より手軽に参加できる即興合奏支援システムを目指し，スマートフォンのセンサーを用いて同様のシステムを2. ポジショントラッキング実現する手法を検討する．手軽な参加を可能にすることで，

図 1 にシステム構成図を表す．本システムは，ユーザが例えば初対面の人間が多数集まるワークショップなどにお動 か す ス マ ー ト フ ォ ン の 上 下 動 か ら 旋 律 概 形 (pitch

いて場を和ませるアイスブレイクと呼ばれる用途にも使えcontour) を決定し，コード進行と整合する音高へ補正する．

る可能性がある．

スマートフォンの上下動をトレースするにあたって本研究

加速度センサーをはじめとした各種センサーによって基

では，スマートフォンに搭載された加速度センサー，ジャ準点からの高さを認識することでユーザの動きをトレースイロセンサー，重力加速度センサーの 3 種類のセンサーをするプログラムを作成し，高さに基づいて音高を決定する用いたポジショントラッキングプログラムを作成した．

システムを用いたところ，人間の小さな動きを判定するこ

このプログラムでは，スマートフォンに加速度センサー，とが難しいことが課題となったため，本研究では，北原ら

ジャイロセンサーによって計測した加速度 a と経過時間をの手法[2]を参考に，ベイジアンネットワークの確率モデル用いて，速度 v，移動距離 p を求める．さらに，重力加速推定を用いて，トレースした動きのデータを訓練データと度センサーによって重力加速度 g の値を計測する．また，
現在速度 v の前回の計測からの変化量を vc とする．

†1 名古屋工業大学
Nagoya Institute of Technology．
†2 日本大学
Nihon University．

© 2017 Information Processing Society of Japan903

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-410-69
2017/3/2

1.

シェイク動作: スマートフォンを振るシェイク動作
によって発音タイミングを指定（加速度，ジャイロセンサー等）

2.

手拍子動作: スマートフォンを持ちながら手拍子をして発音タイミングを指定（照度センサー）

3.

タッチ動作: スマートフォンの画面内に配置されたボタンにタッチして発音タイミングを指定
これらの実験をそれぞれ被検者 5 人に対して行い約65000 サンプルを用意し，モデル作成のための訓練データ
図 1

システム構成図Figure 1 System Architectureを作成した．機械学習ソフトウェア Weka を用い，作成した訓練データを学習し，同じデータを用いて，発音タイミングにおいてデータと同じ種類の音を予測できているかど

3. ベイジアンネットワーク

うかを表した結果を表 1 に示す．
表 1 では原曲と全く同一の音を予測した精度を示したが，本研究では，センサーによって計測された値を入力値と本研究の目的は原曲と同一の音を予測することではなく，したベイジアンネットワークを用いて出力する音高を推測

コード進行と不協和にならない音高を出力することである．

する．

よって，本来はコードと不協和にならない音高を正解とす

3.1 ベイジアンネットワークによる出力音推測べきであり， 精度も表 1 の値より高いはずであるが，これ

図 2 に本稿において用いているベイジアンネットワーク

については今後の課題とする．

モデルを表す．このモデルは，ポジショントラッキングにこの実験の結果から，精度の向上を目的として音の出力よって求めた加速度 a，速度 v，速度の変化量 vc，移動距を以下の 3 つの要素に分け，3 つのベイジアンネットワー

離 p，重力加速度 g，加えて背景楽曲のコード進行を表す c，クモデルを用いる手法を新しく提案する．

1 つ前の出力すべき音を表す ni-1 を入力値として出力する

発音タイミング

べき音 ni を推測するモデルとする．音の種類には，音の出

出力する音の種類力なしを示す値も含まれているものとする．



音高の上下動3.2 発音タイミングの推測
図 3 に発音タイミングを推測するベイジアンネットワー
クモデルを表す．このモデルでは，ポジショントラッキン
グによって求めた加速度 a，速度 v，速度の変化量 vc，重力加速度 g を入力値として音を出力するタイミングを表す
t を{1，0}によって推測する．正しい発音タイミングから±
図 230ms のサンプルを発音タイミングとして扱うものとする．
音名予測のためのベイジアンネットワーク(1)なお，ボタンにタッチして発音タイミングを指定する方法

Figure2 BayesianNetwork for Predicting Pitch Notation(1)については，センサーを用いておらず確実にタイミングを推定できるため，発音タイミングを予測する必要がないも

本稿では予備実験として，実際に背景楽曲に合わせてユのとする．

ーザがスマートフォンを動かした際，約 5ms ごとの加速度a，速度 v，速度の変化量 vc，移動距離 p 重力加速度 g を取得する実験を行った．実験を行う際，発音タイミングの指定方法として以下の 3 つの方法を仮定した．
表1

音名予測の精度

Table 1 Accuracy of Predicting Pitch Notation
原曲と同一の音が出力されるノート数/全体のノート数
シェイク動作手拍子動作
タッチ動作

0.49(131/270)
0.49(133/270)
0.55(148/270)© 2017 Information Processing Society of Japan図 3

発音タイミングのためのベイジアンネットワークFigure 3 BayesianNetwork for Timing of Note Attack904

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3.3 出力する音の種類の推測

3-410-69
2017/3/2

表2

発音タイミングについての再現率と適合率

図 4 に，出力する音の種類を推測するベイジアンネット

Table2 Recall and Compliance Rate about

ワークモデルを表す．このモデルでは，図 2 に表されていTiming of Note Attack

るモデルを基にさらに，発音タイミングモデルの予測結果となる t と直前 n サンプルの予測結果から一番多く予測された結果を表す rn を入力値として用いている．本稿では，n=10 と仮定して用いている．

再現率0.07(18/270)
0.03(8/270)

シェイク動作手拍子動作

適合率0.26(18/70)
0.31(8/26)

スマートフォンの画面内に配置されたボタンを押す演
表3

奏方法の場合，発音タイミングを予測するモデルを用いていないため，発音タイミングの予測結果を表す t は用いな

音名予測の精度

Table3 Accuracy of Predicting Pitch Notation

いとする．

原曲と同一の音が出力されるノート数/全体のノート数
シェイク動作手拍子動作
タッチ動作
表40.49(133/270)
0.54(147/270)
0.66(178/270)
音高の上下動予測の精度

Table4 Accuracy of Predicting Pitch Contour

正しい上下動予測がされるノート数/全体のノート数
図 4

シェイク動作
音名予測のためのベイジアンネットワーク(2)Figure4 BayesianNetwork for Predicting Pitch Notation(2)

手拍子動作
タッチ動作

0.56(152/270)
0.65(175/270)
0.68(184/270)

3.4 音高の上下動の推測
図 5 に音高の上下動を推測するベイジアンネットワーク

発音タイミングについてモデルが判定したノートの数のモデルを表す．このモデルでは，発音タイミングに関する再現率と適合率を表 2 に示す．本稿における再現率とは，モデルと同様に，加速度 a，速度 v，速度の変化量 vc，重発音タイミングから±30ms を 1 つのノートの発音タイミ

力加速度 g，加えて移動距離 p を入力値として用いて，前ングとして，システムが予測した発音タイミングと本来のに出力するべき音よりも音高が上がっているか，下がって発音タイミングが一致している数と本来の発音タイミングいるかを表す h を推測する．この音高の上下動の推測結果の割合とする．と出力するべき音の推測結果から出力する音のオクターブを決定する．

表 2 における再現率の低さには，瞬間ごとのデータが用いられていることが関係していることが予測され，これを解消するには，連続性をもつデータによる予測によってユーザの動きを推測する必要があると考えられる．
また，適合率とは，システムが予測した発音タイミングから 60ms までを 1 つの発音タイミングとして，システムが予測した発音タイミングと本来の発音タイミングが一致している数とシステムが予測した発音タイミングの数の割合とする．出力する音の種類についてモデルが判定した原

図 5

音高の上下動予測のためのベイジアンネットワーク

Figure5 BayesianNetwork for Predicting Pitch Contour

曲と同一の音が出力されるノート数の割合を表 3 に示す．
本稿では，発音タイミングの最初のサンプルが原曲と同一の音を判定している場合，そのノートは原曲と同一の音

4. 評価
作成した図 3，4，5 の 3 種類のベイジアンネットワーク
について図 2 のベイジアンネットワークと同様に同じ訓練データを用いてそれぞれの予測精度について確認した．

が判定されているものとして扱う．
表 3 では表 1 と同様に原曲と全く同一の音を予測した精度を示したが，こちらも表 1 の場合と同様に原曲と同一の音を予測することではないため，表 3 の値より高い精度となるはずである．
音高の上下動についてモデルが本来の音高の上下動と© 2017 Information Processing Society of Japan905

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3-410-69
2017/3/2

同じ上下動の判定を行うノート数の割合を表 4 に示す．
本稿では，発音タイミングの最初のサンプルが正しい上下動を判定している場合，そのノートは正しい上下動が判定されているものとして扱う．

5． おわりに
本稿では，スマートフォンのセンサーとベイジアンネッ
トワークを利用した直感動作による演奏支援システムについて提案した．実際に背景楽曲に合わせたユーザの動きから得たセンサーの値を利用した訓練データを用いたベイジ
アンネットワークによって出力する音高をどの程度正しく推定できるかわかった．
今後は，出力する音高が完全に一致しているかどうかではなく，コード進行にあった音高が出力されているかどうかに着目し，さらなる精度の向上を目指す．また，瞬間ごとの単一データを用いた手法だけでなく HMM などの連続性を持つデータによる推測を用いた手法を利用していく予定である．
謝辞

本 研 究の 一 部 は ， 科研 費 若 手 (B)（ 25870321，16K16180），JST CREST の支援を受けた．

参考文献
1)

一ノ瀬修吾，白松俊: 調性判断の不要な身体動作入力による即興合奏支援システムの試作．情報処理学会第 78 回全国大会，1Y-04 ，2016.

2)

北原鉄朗，戸谷直之，徳綱亮輔，片寄晴弘: BayesianBand:ユーザとシステムが相互に予測し合うジャムセッションシス
テム．情報処理学会論文誌，50(12) ，pp. 2949-2953, 2009.

© 2017 Information Processing Society of Japan906