WISS2007

ダンスパフォーマンスのための加速度センサを用いたウェアラブル楽器シス
テム
A Wearable Musical Instrument using Acceleration Sensors for Dance Performance藤本実

藤田直生

細見心一

塚本昌彦∗

Summary. 近年，コンピュータ技術の進化に伴い，音楽エンターテインメントのあり方が大きく変化してきた．人の動きと音を連携させたモーション系の楽器が出現し，新しい音楽表現の方法が注目されている．しかしこれらの楽器は，演奏の再現性や，表現力が不十分であるなどの問題を抱えている．本研究では，小型無線加速度センサモジュールを用いて，複数人の動きの連携による音楽を生成するシステムの提案と開発を行う．ユーザはスクリプトにより，音の選択などの動作を設定することができる. このシステムにより，ウェアラブルコンピューティング環境におけるダンスと音が融合した新たなショーの形を提案する．

1

はじめに

近年，コンピュータ技術の進化にともない，音楽エンターテインメントのあり方が大きく変化してきている [1]．例えば，数年前アーケードゲームで，ダンスダンスレボリューションなどの新しい体感型音楽エンターテインメントが一世を風靡した．これらのゲームは音楽自体の楽しさと身体活動のゲーム性，爽快感を併せ持つ，新しい遊びのジャンルを確立したといえる．また，コンピュータにより，人と音楽のインタラクションが実現され，コンピュータを利用した楽器の研究が進められてきている [2]．YAMAHAMIBURI をはじめとする様々なモーション系の楽器により，身体情報で音を表現する，新しい音楽表現の方法が注目された．しかしこれらは音楽とモーションを直接かつ固定的に関連付けており，楽器としては操作が難しい．これらの楽器は，演奏の再現性が低いものや，表現力が不十分なものがあり，現状では多くの人に受け入れられるまで成長していない．
これまで動きにより音を出し，演奏する装置は存在したが，ダンスのステップに直接結びつけたものはない．本研究では，音を出すために動くのではなく，「ダンスを踊ることによって音を奏でる」という踊ることを主体とした装置を提案する．

2

システム概要システムの概要を図 1 に示す．本システムは，ユーザが自ら設定を行い，ダンスをすることにより音楽を奏でることができる．これによりダンスの構成をユーザが作ることで，ユーザ自身の動きに合わせた自由な演奏が実現される．ダンスの構成には展開がCopyright is held by the author(s).
∗Minoru Fujimoto, Naotaka Fujita and Masahiko
Tsukamoto, 神戸大学大学院 工学研究科, Shinichi Hosomi, 大阪大学大学院 情報科学研究科

図 1. システムの概要

あり，一つのショーを構成するには，曲の雰囲気，曲のテンポを変えてアクセントをつける必要がある．
本研究では，これを実現するためにスクリプト記述とマッチングを採用した．スクリプト記述により，簡単なプログラムを記述することで，音の選択，音と動きの組み合わせ，音源のパターンの変更方法などの動作記述を自由に変更することが可能となる．
マッチングにより動きを認識し，それを動作パターンとして取り扱える．マッチングには DP マッチン
グを採用する．センサから加速度データを取得し，DP マッチングにより，ユーザひとりひとりに対応させるシステムである．システムの利用手順を以下に示す.

1. ダンシングスクリプト記述言語でシステム全体を制御する．
2. 左右の足の 3 軸加速度センサデータを取得する．
3. 取得した加速度センサデータをスクリプトに基づいて解析する．
4. 解析結果と音源の組み合わせをスクリプトに基づいて，音楽を奏でる．

WISS 2007

表 1. スクリプトの概要

関数

setplayfor X times
change tomusic tempo
music eﬀect
after

説明
イベントグループを定義
再生する音源を指定
イベントの連続した回数を定義
ブロックを変更
音のテンポを変更
音にエフェクトを追加
後に続くサンプルの動作を定義

表 2. スクリプトの記述例

set block 1 ...(1)Right Sample 1 play Music 1 ...(2)Right Sample 2 play Music 2
Left Sample 1 change to block 2 ...(3)set block 2
Right Sample 1 play Music 5
Left Sample 1 play Music 6
Both Sample 1 change to block 1

雑なダンスのステップパターンを認識するには DPマッチングを用い，加速度センサの時系列のデータを解析する．事前に登録したサンプルデータ全てと，現在の加速度センサからのデータをリアルタイムでDP マッチングを行う．DP マッチングを行った結果をどのように扱うかは，スクリプトによって定義される．

4

提案システムのハードウェア構成については，本研究室で開発している小型加速度無線センサモジ
ュールを靴に装着した．アプリケーション開発環境
は Windows C ＃ .Net2.0 である．
音源はあらかじめ作成した wave 音源を 20 種類用意し，コンガの音源を 10 種類，ドラムの音源を10 種類用意した．動きのサンプルは左右 30 種類ずつと，両足同時に 30 種類取得可能である．閾値の判別は，両足の Z 軸の値のみを現在用いて判別している.

5
3
3.1

システム構成ダンシングスクリプト言語

スクリプト記述の構文解析は，改行までを 1 文として評価を行う. スクリプトの概要を表 1 に示す．
これらの関数群が定義されており，関数を用いることで，ダンスの動きに合わせた自由な演奏を実現することができる．スクリプトの記述例を表 2 に示す.
(1) はブロック 1 というイベントグループを作成し，次のブロックが記述されるまでに記述された動作記述を一つのグループとする.
(2) は DP マッチングにより取得した右足のサンプル 1 が動きとマッチングすると，音源 1 を出力するという動作を定義する.
(3) は動きが左足のサンプル 1 とマッチングすると，ブロック 2 へ移動するという動作を定義する.
関数 play によってダンスのステップに対応する音を決定し，様々な効果を加えることが可能となる.
関数 set によってイベントグループを定義すること
で，ショーの前半はドラムの音を演奏し，ショーの後半はベースの音を演奏するといった区別が可能となる．関数 after により一つ前の動きに従い音を変更できるため，流れがある動きに対応した演奏を実現している.

3.2

加速度データ解析

加速度センサからのデータ解析には閾値による解析と DP マッチングによる解析を用いた．1 軸の反応だけを解析する場合は閾値により判別を行う．複システムの実装

おわりに本研究により，ユーザがスクリプトを記述し，動きのサンプルを自ら取得して演奏を行うことが可能となり，動きと音を連携した新しいエンターテインメントを提案した．他の関連研究では身体情報を利用した演奏を可能とするシステムを構築することに焦点を置いているが，本研究では，動き，表現の多様性を考慮に入れ，ただ演奏できるシステムを構築するだけでなく，設定に自由度を持ち，ユーザの立場に立ったシステムを実現した．これにより，ダンスのジャンルに関わらず適用できる．さらに構成をユーザが作れることは，実際のダンスパフォーマンスでも有用性が高いと考えられる．

謝辞
本研究の一部は，財団法人中村隼雄科学技術文化財団の研究開発助成を受けた．ここに記して深謝する．

参考文献[1] 塚本昌彦: PocketMusician:両手入力による携帯型コード演奏システム, 情報処理学会研究報告 (音楽情報科学研究会 2001-MUS-40), Vol. 2001, No. 3,
pp. 15-20, 2001.
[2] Paradiso, J., Hsiao, K., Hu, E.: Interactive Music for Instrumented Dancing Shoes: Proc. of theInternational Computer Music Conference, October, pp. 453-456, 1999.