情報処理学会 インタラクション 2017
IPSJ Interaction 20173-406-59
2017/3/2

身体的コミュニケーションにおけるリズム同調を促進する
インタラクティブ音楽演奏システム
中川友貴†1楠見茉耶†2

前田佳史†1

服部託夢†2

中田一紀†1

概要：身体的コミュニケーションを伴うスポーツトレーニングやリハビリテーションでは，相互インタラクションを介してパートナー間の同調傾向を高めることでより高い効果が得られることが期待される．そこで本研究では，複数の奏者が協調的に演奏することで同調度を高めることを目的とした，ウェアラブルセンサーと無線通信モジュールを組み合わせたインタラクティブな音楽演奏システムを提案する．提案システムでは，学習者となる奏者が教示信号にトップダウン的に引き込まれるのではなく，パートナー間の協調的な演奏により互いのジェスチャーを手がかりとしてボトムアップ的に音楽を奏でることでリズム同調を高める．それぞれの奏者は，身体性コミュニケーションを介してリズムを同期させるように演奏する．このときリズムが同期したイベントの割合によって同調度を評価して，視覚的・聴覚的情報としてリアルタイムに提示することで，奏者間のリズム同調を効果的に促進されることを示した．

An Interactive Music Performance System for Enhancing
Rhythmic Synchrony in Embodied Communication
YUKI NAKAGAWA†1
MAYA KUSUMI†2
YOSHIFUMI MAEDA†1†2
KAZUKI NAKADA†1
TAKUMU HATTORI
Abstract: In sports training and rehabilitation with embodied communication, it is expected that their effects can be increased
with increasing synchrony between partners through mutual interaction. In this study, we propose an interactive music
performance system equipped with wearable sensors and wireless communication modules, in which multiple players
cooperatively playing music games together for increasing their synchrony. In our system, a player as a trainee is never forced tobe synchronized with any teaching signal in a top-down manner, and the players become in synchronization with each otherthrough collaborative music performance and synchronous rhythm can be generated in a bottom-up manner. Each player makes
efforts to adjust the timing of the sounds of the music through their embodied communication. The rhythmic synchrony isevaluated as the ratio of the number of synchronized events to the cumulative events, and the degree of the rhythmic synchrony isreflected in visual and auditory information presented on a computer in real-time, enhancing the rhythmic synchrony among theplayers effectively.

1. は じ め にから心理的同調が誘発されることが示されている．たとえば，リズム同調の効果により幼児間において類似度や親密「息があっている」，「呼吸をあわせる」，「阿吽の呼吸」

度が高まることが示されている[3]．また，親子間におけると表現されるように，人と人とが協調的タスクを遂行する

同調は，社会的・情動的・認知的発達を促すための重要な際にはシンクロニー（同調）が高まることが知られている．

鍵であることが示唆されている[4]．さらに，リズム同調は，親しい家族や友人間のように，心理的距離の近さから心理体の動きや音声を伴う身体的コミュニケーションにおいて，的同調が高まり，その結果として身体的同調が生じること情報伝達効率を向上することが示されている[5]．このようは，ボディシンクロニー（姿勢反響）として知られているなリズム同調は，引き込み現象（エントレインメント）(図[1]．このときの身体的同調は，話し方や表情のパターン，１)として知られており，ダイナミカルシステムアプローチ

相槌のタイミング，呼吸のリズム，さらには心臓の鼓動とにより非線形物理学の観点からも研究されている[6]-[8]．

いった行動レベルから細胞活動レベルに至るまで広い階層

これらのことは，身体的同調，特にリズム同調を高めるにわたり観測される．会話を伴う対人コミュニケーション

ことは，スポーツトレーニングやリハビリテーションのよにおいては，話者間の同調傾向が高まり発話の生起時間やうに，身体的コミュニケーションを伴う訓練の効果を向上

生起頻度，発話形態が類似してくる[2]．また，身体的同調するうえで望ましいものであることを示唆している．関連研究において，運動覚同調インタラクションのための装着†1 広島市立大学
Hiroshima City University†2 広島工業大学
Hiroshima Institute of Technology© 2017 Information Processing Society of Japan型運動覚入出力デバイスが提案されている[9]．この研究は運動感覚を体性感覚経由で同調させるインタラクションにより，運動感覚を教示者と学習者間で共有することを目的

864

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-406-59
2017/3/2

示することで現在の入力が完了したことを確認させて，次の入力を可能とする．一方，PC によるリズムを提示せずにリズムを強制することなく複数の奏者で協奏することで，ヒト－ヒト間のインタラクションによるリズム同調を必然的に高めることができると考える．つまり，互いの身振り手振りを確認しながらまるでジャズのセッションのようにボトムアップ的に音楽を奏でることを狙える．また，単にリズムを合わせるのみでなく，演奏中に次々に音階を変化させることで，協調して１つの楽曲を演奏することによる一体感の創出も狙う．

3. シ ス テ ム 構 成
ここでは，提案する演奏システム全体の構成と演奏方法，システムのセッティング方法，さらに同期判定および同調度の算出方法について説明する．
3.1 シ ス テ ム 全 体 の 構 成
図 1 身体的コミュニケーションにおけるリズム同調

図２にシステム全体の構成を示す．Player: A と Player: B（引き込み現象）．話し方，表情のパターン，相槌や拍手のは各々加速度センサーを搭載したウェアラブルデバイス

タイミング，呼吸のリズムのように，行動レベルから細胞（Accelerometer Devise）を手首に装着する．ウェアラブル活動のレベルに至るまで，幅広い階層で観測される現象．

デバイスは，Arduino 互換機能を持つ無線通信モジュール

Figure 1

Rhythmic Synchrony (Entrainment) in Embodied

Communication.

である ESP-WROOM-02 を搭載した ESPr Developer ボードと９自由度慣性センサーシールドを組み合わせたものである．ウェアラブルデバイスの加速度センサーから得られたとしたものであり，同調度そのものは明示的に定義も評価

データは，OSC（Open Sound Control）Protocol による UDPもされていない．また，コミュニケーションにおける同調通信によって Wi-Fi Router を通してホスト PC に送信され傾向を評価するために多様な同調度が定義されておりそれる．PC 側ではオープンソースプログラミング言語であるらを測定するための手法も多く提案されている[10]-[15]．

Processing を用いて，デバイスからのデータを受信し Sound

しかし，それらの同調度を実時間で計算しシステムに反映（音）と Visual（画面表示）の処理を行う．Sound と Visualさせて学習者に提示するようなものはほとんどない．

によって，同調度に関する情報がフィードバックされる．

そこで本研究では，楽しみながら身体的同調を高める訓
練をすることでパートナー間の心理的同調を促し，身体的再生される音は，予めテキストデータに定義しておき，行動確定時に順番に再生される．

コミュニケーションを向上させるためのインタラクティブな音楽演奏システムを提案する．

2. デ ザ イ ン コ ン セ プ ト
本システムのコンセプトは，ヒトが強制されたリズムに合わせるのではなく，ヒトとヒト間のボディシンクロニーを明らかにすることである．本研究では「息があっている」「呼吸をあわせる」といったボディシンクロニーを客観的に評価するために，PC によりリズムを提示せずに，行動のフィードバックのみ行う．ここで，行動のフィードバックとは，任意の端末を振る行為による入力の結果を特定の順番で設定した音の高さで提示することである．たとえば，鍵盤を押下するのと音が鳴るのと同様に，任意の音階を提© 2017 Information Processing Society of Japan

図 ２
Figure 2

提案システム全体の構成

The configuration of the proposed system.

865

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-406-59
2017/3/2

3.2 プ レ イ （ 演 奏 ） 方 法
まず準備として加速度センサーを搭載したウェアラブルデバイス（Accelerometer Devise）を手首に装着する．次に，行動を確定するために加速度検出の閾値を決める．PC 上でゲームを起動後，Player: A，Player: B の順にデバイスを振り，加速度の最大値を取得する．取得した加速度の最大値の半分を閾値とし，これを超えると行動（振った）とする．
演奏は，図 3 に示すようにお互いの腕の動作（ジェスチャー）を手がかりとしてタイミングを合わせてデバイスを図４

振る．各奏者は相互に同調度を高めるように，協奏して音を鳴らしていく．
ただし，Player: A，Player: B 両方の行動が終了後に次の音階へ進めるようにした．これより，一方が先に進みすぎ

Figure 4

同期判定

Detection of Synchronized Events.

4. 実 演 結 果て現在どの音階が示されているのかが判別しにくくなるこ

演奏中（図 5）の加速度波形と判定結果の一例を図 6 にとを防ぎ，同じ音階を同時に鳴らすという行動をとりやす示す．図 6 の縦破線は各音階の区切りを示す．ここでは，くすることで，同調することに集中できるようにした．

MISS の例として，Player: B の１回目と６回目が，Player: Aと同じタイミングで波形が出ているにも関わらず「MISS」となっている場合について示している．これは，Player: Bの波形が閾値を超えていないため，2 回入力していることを示している．つまり，位相がずれている状態を表している．このように，演奏後に，それぞれの加速度の波形から同期の位相の状態を確認することができた．
ESPr Developer ボードで OSC による UDP 通信する際の送信間隔を 1ms に設定したところ，Processing での描画速度を 60 fps と高速にしてもなめらかな波形が得られた．

図３ 提案システムの概念図
Figure 3

Conceptual illustration of the proposed system.

3.3 同 期 判 定 お よ び 同 調 度 の 算 出 方 法
ここで，同期判定および同調度の算出方法について説明する．
図 4 は，同期の判定方法を示したものである．図中の横線は経過時間を示しており，Player: A，Player: B のそれぞれがウェアラブルデバイスを振り，行動が確定したタイミングを縦棒線で示す．縦棒線の時刻をそれぞれ tAn，tBn とし，tAn，tBn の差をΔtn とする．n はイベント番号を表す．
この，Δtn が100ms 未満であれば「SUCCESS」と判定し，100 ms 以上であれば「MISS」と判定する．
また，同調度は「同期イベント数／累積イベント数」として算出する．ここで，同期イベント数とはある時刻までの「SUCCESS」数である．同調度は，リアルタイムに更新され PC の画面に表示される．演奏終了後には，トータルでの同調度をスコアとして提示する．

図５
Figure 5© 2017 Information Processing Society of Japan

演奏中の様子Music Performance.

866

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-406-59
2017/3/2

謝辞

本研究は，文部科学省大学間連携共同教育推進事

業「臨床情報医工学に卓越した地域の先進医療をチームで担う人材育成」臨床情報医工学プログラムにおける学生の自主的な取り組みから発展したものであり，その支援に対して，ここに関係各位に深く感謝する．また，研究を進めるうえでの貴重なご示唆ご助言をいただいた広島市立大学
情報科学部医用情報科学科の福田浩士先生に心から感謝す
る.

参考文献
1)
2)

図６

演奏中の加速度センサーからの波形

Figure 63)

Waveforms of Acceleration Data.

5. ま と め と こ れ か ら の 展 望

4)

本研究では，複数の奏者が協調的に音楽を奏でることで同調度を高めることを目的としたインタラクティブな音楽演奏システムを提案した．提案システムでは，学習者とな

5)る奏者が教示信号にトップダウン的に引き込まれるのではなく，奏者間の協奏により互いのジェスチャーを手がかり

6)としてボトムアップ的にリズムを生成することで同調度を高める．また，実時間で同調度を評価しシステムの動作に反映させるために，複数の奏者の演奏が同期したイベント数に着目したシンプルで高速な評価アルゴリズムを実装し7)8)ている．同調度はスコアとして視覚情報により提示されるとともに聴覚情報（音階）としてフィードバックされるも9)のの，身振り手振りを直接的な手がかりとすることで，身体性インタラクションを妨げないようにしている．
今回は，行動レベルでの同期イベントに着目して同調度10)を定義し評価したが，将来的には生体信号の時系列を信号解析することにより同調度を評価してシステムにフィード

11)バックすることも検討している．さまざまな階層にわたる同調度をシステムの動作に効果的に反映することで，奏者間の身体的コミュニケーションをより向上することが期待12)できる．また，これからの研究として，人体近傍通信技術であるボディエリアネットワークを導入しシステムを構成13)するウェアラブルデバイスのバリエーションを増やすことで，異なる楽器での演奏のようなマルチモーダルな身体的同調を高めるシステムを構築したい．そのために，加速度

14)センサーから得られた情報だけでなく筋電信号により演奏することも考えている．さらに，個人（奏者）間の身体的同調だけでなく個人の協調運動を訓練するためのシステムを構築し，スポーツトレーニングやリハビリテーションに応用したいと考えている．

© 2017 Information Processing Society of Japan15)

Morris, D. : Manwatching, Elsevier (1977) 藤田統 訳：マンウォッチング 人間の行動学，小学館 (1980)
大坊郁夫：しぐさのコミュニケーション：人は親しみをどう
伝 え あ う か セ レ ク シ ョ ン 社 会 心 理 学 14 ， サ イ エ ン ス 社(1998)
Rabinowitch, T. C. and Knafo-Noam, A. : Synchronous Rhythmic
Interaction Enhances Children’s Perceived Similarity andCloseness Towards Each Other, PloS One, Vol. 10, No. 4,e0120878 (2015)
Leclère, C., Viaux, S., Avril, M., Achard, C. Chetouani, M.,
Missonnier, S., and Cohen, D. : Why Synchrony Matters During
Mother-Child Interactions: A Systematic Review, PLoS One, Vol.9,
No. 12, e113571 (2014)
Gill, S. P. : Rhythmic Synchrony and Mediated Interaction:
Towards a Framework of Rhythm in Embodied Interaction, AI &Society, Vol. 27, No. 1, pp. 111-127 (2012)Haken, H. : Synergetics: An Introduction Nonequilibrium Phase
Transitions and Self-organization in Physics, Chemistry andBiology. Springer Series in Synergetics (1978)
Kelso, J. A. S. : Dynamic Patterns: The Self-Organization of Brainand Behavior, MIT Press (1995)
渡辺富夫：身体的コミュニケーションにおける引き込みと身
体性 〜心が通う身体的コミュニケーションシステム
E-COSMIC の開発を通して〜．ベビーサイエンス，Vol. 2,pp.
4-12 (2003)
Nishida, J. and Suzuki, K. : bioSync: Wearable Haptic I/O Device
for Synchronous Kinesthetic Interaction, Proc. of IEEE VirtualReality, pp. 243-244 (2016)
Schmidt, R. C., Morr, S., Fitzpatrick, P., and Richardson, M. J. :Measuring the Dynamics of Interactional Synchrony, Journal ofNonverbal Behavior, Vol. 36, No. 4, pp. 263-279 (2012)
Delaherche, E., Chetouani, M., Mahdhaoui, A., Saint-Georges, C.,
Viaux, S., and Cohen, D. : Interpersonal Synchrony: A Survey of
Evaluation Methods across Disciplines, IEEE Trans. on Affective
Computing, Vol. 3, No. 3, pp. 349-365 (2012)
宮崎陽平，伊藤雄一，藤原健，高嶋和毅，尾上孝雄：SenseChair
による会話者間の同調傾向検出，情報処理学会 インタラクシ
ョン 2015 論文集，pp. 47-53 (2015)
Chu, W. S., Zeng, J., De la Torre, F., Cohn, J. F., and Messinger, D.
S. : Unsupervised Synchrony Discovery in Human Interaction,
Proc. of IEEE International Conference on Computer Vision, pp.
3146-3154 (2015).
Watanabe, K. : Teaching as a Dynamic Phenomenon withInterpersonal Interactions, Mind, Brain, and Education, Vol. 7, No.
2, pp. 91-100 (2013)
續毅海，伊藤雄一，藤原健，高嶋和毅，尾上孝雄：演奏者の重心移動を用いた演奏連携度と演奏に対する評価，ヒューマンインタフェース学会研究会研究報告集, Vol. 18, No. 5, pp.
15-18 (2016)

867