音楽音響と映像信号を対象としたジェスチャによる指揮システム
鈴木 健

嗣†

金尚泰 ††

小 尾正 和 †††橋本周 司 †††A gestural conducting of music using audio and video signal rendering
Kenji Suzuki,† Kim Sangtae,†† Masakazu Obi†††and Shuji Hashimoto†††1. は じ め にBluetooth による無線通信機，及びバッテリからなる．
加速度センサはグローブに固定されており，体躯から我々は，ジェスチャによる演奏情報により音楽を制

右腕に対し前後方向をＸ軸，左右方向をＹ軸，上下御することで，誰もが気軽に音楽を指揮することがで方向がＺ軸となる．センサによって得られる加速度きるシステムの構築を試みている．これまで，計算機データは，10bit で A/D 変換され，計測時刻とともによる指揮システムは，MIDI による音響生成，及びに Bluetooth 通信を介して，約 60Hz の間隔で制御

CG による演奏の視覚的提示が主な手法であり，CD用 PC へ送信される．制御用 PC では，受信したデーなどの音響信号を対象とし，実時間で人間の指揮に追タを解析しテンポを抽出することで，音楽の音量や時従した音響生成を実現したシステムは少ない1),2) ．そ間伸張，及び映像の再生速度を同期して制御する．処

こで本稿では，ユーザの指揮動作による音響信号の制理された音響信号はスピーカを通じ，また映像信号は御だけでなく，オーケストラ等の演奏映像を用いて映ディスプレイを通じてユーザに提示される．

像の再生制御と音響制御を同時に行なうことで，より臨場感の高い演奏制御を実現するシステムを提案する．

3. 演奏情報の取得と音響・映像制御

また，ジェスチャ取得のために手首部に装着する無線

図 2 に，ジェスチャ認識による演奏情報の取得と，デバイスを開発した．これより，指揮棒による制約を音楽・映像制御の概要を示す．図 3 は，開発した無線

越えて，自由に音量・テンポといった演奏情報を制御デバイスの概要である．ここでは，オーケストラ及びできる音楽指揮システムについて報告する．

カルテットの演奏映像を対象とし，その演奏制御とは，

2. システム概要
本システムの構成を図 1 に示す．提案する指揮シス

センサによって得られた加速度の情報により，演奏の主音量とテンポ，及び映像再生の時間制御を指す．

3.1 主音量の制御

テムでは，ユーザは，加速度センサと通信機器が内蔵主音量の制御には，加速度の強度を利用する．三軸されたセンサグローブを右手首部に装着し，予め定め方向の加速度の絶対値により，演奏の主音量を調整すられた指揮動作により，音響・映像制御を行なうことることとした．これにより，ユーザのジェスチャの大ができる．音響・映像制御，及びセンサデータ解析に小が，直接演奏の音量の大小に反映される．

は，Max/MSP と EyesWeb を用いている．音楽音響

3.2 テンポ抽出とその演奏映像データからなる MPEG ファイルは，テンポ制御には，Ｚ軸方向の加速度の変化から抽出

それぞれ音響部・映像部に分離し，演奏制御のためにした拍点の位置から求めたテンポを用いる．指揮法にシステムバッファに取り込んでおく．さらに，楽音・おいて，演奏者にテンポの指示をするのに用いられる映像データに加え，予め楽音データから作成した拍点拍点は，基本的には鉛直方向の加速度の変曲点によっの位置を表す拍点データを利用することも可能である．
装着するセンサグローブは，三軸加速度センサとɄɼȾȹɶʁɟ⿃⟹‫פ‬⢧ಐɄɼȾk⿂ᠫἡ⢢ЉᒀࠕⱯⱷʀᆊқխ‫ן‬ᙊᇌɐȬɂɠɵȭ† 筑波大学 大学院システム情報工学研究科
Graduate School of Systems and Information Engineering, University of Tsukuba†† 筑波大学 大学院人間総合科学研究科（芸術学系）
Institute of Art and Design, University of Tsukuba††† 早稲田大学 理工学術院／理工学研究科
School of Science and Engineering, Waseda University֞൨᧹ȼɼɝɮʁɈ,QWHO&RUH'XR 0D[063ʀ(\HV:HEɁȰɂɊɬ◝⚄ʀྛ᠋ྏխⱯⱷ⾿ᆊқᆤ⫼Ηഀʀ۵ቄՙ᥵

図 1 システム構成：音響映像制御システム
Fig. 1 System Overview: A music conducting system情報処理学会 インタラクション 2007

音響・映像データを見ながら拍点の位置を入力するこ࿁၇ؕα⾸ɁȰɂɊɬ⾹‫פ‬⢧ಐɄɼȾɐʁɈ⾸ᠫἡ⢢Љ⾹ംಐ╺ᚭྛ᠋ྏխとで作成する．つまり，曲の先頭から各拍点までの時ɏɼɦ╺ᚭ間が１ミリ秒単位で記録されたデータである．演奏時ⱯⱷɐʁɈəɌɞȪⱯⱷΗഀ˪Ɐ⦗֞൨۵ቄ03(*ɜɐȳɞȪȭɴᆊқɐʁɈəɌɞȪԚ᧰ᆤ֣֞൨Ɐⱷʀᆊқխ‫ן‬

図 2 ジェスチャ認識と音響・映像制御のフローFig. 2 Gesture recognition and audio/video renderingに拍点データを用いる場合，ユーザの指示する拍点の位置と実際の演奏の拍点の位置を常に合わせながら音楽・映像を再生する．再生時間の伸張により，記録された拍位置と演奏の拍位置にズレがある場合は，同期制御時に拍点合わせの処理を行なう1) ．

ʀˀ⟹‫פ‬⢧ಐɄɼȾʀɸɼɊɌɠɧȭȸɶɠɶɄɌȾ
Ƹ⾸$'ঃ၂⾼ɐʁɈɠɶɑȼɴ᧰༕⾹əɌɏɳ⾸‫⿄ٹ‬k⿂⾹⢢ЉɫɁɮʁɴ

3.5 指揮動作の開始・中断・再開
本システムでは，演奏を始める際，センサを上下に振る動作より開始テンポを指定し，ユーザの指揮動作（ここでは上下運動）から抽出されたテンポが楽曲本図 3 AccGlove：センサグローブの構成
Fig. 3 AccGlove：Overview of sensor glove

来のテンポの 70 ％〜130 ％の間になった時にシステ
ムは再生を始めることとした．一方，ユーザが途中で指揮動作を中断し，演奏に対して二拍以上の遅れが生Δt

じた場合は，最後に得られたテンポに基づいて引き続き演奏を行なうこととした．また，途中でユーザが再びジェスチャ動作を始め，拍点が認識されると，最も図 4 加速度データと拍点抽出（左から各 xyz 軸に相当）
Fig. 4 Acceleration data and beat extraction (x,y,z axis
from the left figure)て示される．そこで今回はセンサを上から下へ振り下近い拍点の位置から音楽とジェスチャを同期させ，再びテンポ制御を行なうことを可能とした．

4. まとめと今後の課題ろした瞬間（最下点）を拍点と定めた．指揮動作の最本稿では，開発した無線デバイスによるジェスチャ

下点においては，Ｚ軸方向の加速度値が極大値となる取得に基づき，身近にある CD などの音楽音響の再生ため，加速度変化に伴い局時的に閾値を定めるように制御だけなく，音楽演奏映像の再生制御も同時に行な工夫することでピーク検出を行い，拍点を検出するこうことで，臨場感の高い演奏制御を実現するシステムとができる．図 4 に，拍点抽出の例を示す．予備実験でについて報告した．これより，オーケストラや弦楽四は，例外動作を除いた全ての点で拍点抽出に成功して重奏の演奏映像を用いて良好な演奏制御を実現した．

おり，被験者は若干の練習により操作が可能であった．

既開発システム1) を用いて行なった被験者実験より，

3.3 再生速度制御

初めて使った人でも比較的簡単に楽しめることが示さ

再生速度は，拍点の時間間隔の逆数から求められるれているが，本システムは入力デバイスの開発と映像テンポに応じて定められる．抽出されたテンポに基づ情報を含めた拡張と言え，より多くの人が手軽に音楽き，時間伸張された音楽音響データと演奏映像データ表現を楽しむことのできるシステムを目指した．今後，を同期させて再生する．しかしながら，MIDI データ

再生音響の更なる改善とともに，ユーザの多様な動による演奏とは異なり，音響信号の制御では，再生速作をパート別の演奏制御へ関連付けるなど，シリアス度に応じてピッチ変調が生じる．本システムでは，音ゲームとして演奏指揮の学習への応用も検討したい．

響信号の時間伸張のために，固定時間長に分割された

謝辞 本研究は，JST CREST の研究課題「人を引音響データの一部を削除・重ね合わせを行なう代表的き込む身体性メディア場の生成・制御技術」，及び中な手法である CUT&SPLICE 法に基づく手法を応用

山隼雄科学技術文化財団の支援によるものである．

し，さらに時間伸張を行なった波形を 1/4 周期ずつずらして重ね合わせることでノイズ低減を行うことで，

参 考 文 献実時間にて良好な品質の音響再生制御を実現した．

1) 小尾 正和，鈴木 健嗣，橋本 周司，”音楽音響信号を3.4 拍点追従制御演奏の”間”を実現するするため，拍点データを利用した再生制御を可能とした．拍点データは，予め演奏前にユーザがセンサグローブを用い，時間伸張のない対象としたジェスチャによる音楽指揮システム”，情報処理学会第 68 回全国大会，工学院大学，2L-6，2006．
2) E. Lee, et al., Toward a Framework for Interactive Systems to Conduct Digital Audio and Video
Streams, Comput. Music J., 30(1), pp.21–36, 2006.