情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C46
2016/3/3“MO-LIVE” & “ぼっちセッション”– 身体動作とスキンシップでサウンドを生成するシステム
松末千佳1

水野慎士1

概要：本研究では身体動作とスキンシップに基づいてサウンドを生成システム “MO-LIVE” と “ぼっちセッション” の開発を行う．“MO-LIVE” は手で各関節に触れたり，足踏みすることにより音とオブジェクトを生成するシステムである．本システムでは複数人で体験することも可能であり，複数人でスキンシップやシンクロ動作を行うと，1 人のときとは違った音が生成される．“ぼっちセッション” は身体動作によって楽器演奏を仮想的に体験出来るシステムである．ユーザがポーズをとると楽器が選択でき，仮想の楽器演奏が可能となる．また，後で記録したデータを合成し，仮想のセッションをすることも可能である．

“MO-LIVE” & “One-person Session”– Sound Generation Systems based on Body Motion and ContactChika Matsusue1

1. はじめにShinji Mizuno1

ザーは，表示された検索結果に触れることで文書を作成することができる．

近年 Kinect や LeapMotion を始めとする安価で高性能

このように多種多様な身体動作を伴ったデジタルコンテなモーションキャプチャデバイスが発達，普及したことにンツが存在する中でも我々は音を用いたデジタルコンテンより，マーカーレスで身体動作を取得することが容易にツに注目した．

なってきた．それにより，身体動作を伴ったデジタルコンテンツが増加している．

音楽を聴いて楽しむだけでなく，演奏して楽しむためには楽器を準備する必要があり，様々な種類の楽器の演奏を例えば谷本らは，Kinect を用いたブレイクダンスの支援行うことは困難である．打楽器などであれば楽譜等が読めシステムを開発している [1]．このシステムはブレイクダなくても音を出して楽しむことは可能であるが，様々な音ンスの模範動画を再生後に自分の動きを録画し，その動き色を楽しむためにはそれに応じた楽器の種類が必要となる．

を模範のダンスと比較することでダンスの上達を支援する

さらに複数人での合奏はより難易度の高いものとなる．そシステムである．録画をする際に kinect で骨格の動きをこで，仮想空間内の楽器と身体動作による演奏を実現する

保存しており，その動きを模範と比較してアドバイスを表ことで，楽器演奏の敷居が下がり，多くの人にとってより示している．ダンス関連のその他の研究例として，千田ら身近なものになることが考えられる．同様のコンセプトをは，ダンサーの動きに応じて背景画像をリアルタイムで生持つ研究として，加速度センサーや振動センサーを搭載し成するシステムを開発している [2]．萩原らは，空中でのたスティックを用いて仮想的にドラム演奏を体験するシス

手書きジェスチャに基づく日本語入力システムを提案してテム（図 1）[4] や，Leap Motion, Kinect, AR マーカなど

いる [3]．システムではユーザーはアルファベットの形をの各種センサを用いたエア楽器演奏システム [5] が提案さ空中に描き，kinect によって認識をさせ，かな漢字変換をれている．また，実際の指揮者に近い状況で仮想オーケス経て，その結果をユーザーの肩に円形状に表示する．ユートラの指揮を実現する研究が提案されている [6]．

1

そして，本研究では楽器や道具を用いずに身体動作のみ
愛知工業大学情報科学部
Faculty of Information Science, Aichi Institute of Technology© 2016 Information Processing Society of Japan

で音楽の演奏を体験出来る 2 種類のシステムを開発した．

668

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C46
2016/3/3

HeadNeck

Left Shoulder

Right Shoulder
Torso

Left Elbow
Left Hip
Left Hand

図 1

Augmented Reflection of Reality

Right Elbow
Right Hip
Right Hand

Left Knee

Right Knee

Left Foot

Right Foot図 3

kinect によって取得する関節を映したビデオ映像に合成される．次に，選択した楽器にkinect

応じた身体動作を行うことで，選択した楽器を仮想的に演処理用 PC奏することが可能となる．演奏結果は記録することができるため，各楽器を演奏したあとにシステムで同時再生することで仮想的なバンドセッション演奏も可能である．

3. 実現方法
図 2 システム構成

本研究で開発したシステムは，Microsoft Kinect を用いてユーザ 1 人に対して図 3 に示す 15 カ所の関節点の三次

これらシステムでは自分の身体を動かしたり触ったりする元座標を取得して，ユーザの身体動作を認識する．

ことで，様々な打楽器音を生成することができる．また，複数人でハイタッチなどのスキンシップをとることでも3.1 MO-LIVE様々なサウンドを生成する．さらに，バンド演奏で用いら“MO-LIVE” では手による関節への接触と足踏みによっれる楽器を身体動作で仮想的に演奏することも可能であて音とエフェクト画像を出力する．手による関節の接触でり，一人で仮想的にバンドセッションを体験することも可

音を出力可能な箇所は図 3 の赤色で記した箇所である．ま能である．

た足踏みは青色の関節の座標を元に足踏みの判定を行って2. システムの概要いる．また，システムではユーザの身長に基づいて性別を子供，女性，男性の 3 種類に分類しており，ユーザの頭上に本研究で開発したシステムは，身体動作とスキンシップそれぞれの性別を表すマークを表示している．複数人モーによって音とエフェクトを生成するものである．本システ

ドでは性別の組み合わせによって生成する音やエフェクト

ムは処理用 PC，ユーザの全身の三次元的な関節座標を取が変化する．

得するために用いる Microsoft Kinect，ユーザやエフェク

3.1.1 身体動作の認識

ト，楽器を表示するディスプレイによって構成される．図2 にシステムの構成を示す．

手の接触判定は手と各関節との距離によって行っている．Kinect で取得した各関節点座標には，図 4 のように開発システムは大きく 2 種類に分けることができる．1

サウンド開始距離とサウンド再開始可能距離を設定していつは，手で身体の様々な部位に触れたり足踏みをしたりする．システムは関節点と左右の手との距離を逐次計算してることで，様々な打楽器音を生成する “MO-LIVE” システ

おり，フラグが ON の状態で距離が十分に大きい状態からムである．シンバルやトムなど 22 種類が用意されており，

サウンド再開始可能距離を下回ったとき，システムは打楽

触れる部位や動作によって生成される音が変化する．そし器音の生成を一度だけ行って，フラグを OFF にする．そて，システムのディスプレイには様々な映像エフェクトがのあとで引き続き手と関節の距離がサウンド再開始可能距生成される．また，本システムは複数人の体験を可能とし離よりも小さい場合でも，フラグが OFF の場合には新たており，互いの関節に触れたり，シンクロした動作を行うな打楽器音生成は行わない．そして，距離がサウンド再開と 1 人のときと違った音が出力される．

始可能距離を上回ったときにフラグが ON となり，再びサ

もう 1 つは，身体動作によって楽器演奏を仮想的に体験

ウンド開始距離を下回ったとき打楽器音の生成を行うこと出来る “ぼっちセッション” システムである．始めにユーができる状態になる．以上の処理を逐次行うことで，まるザがポーズを取ることで，使用できる楽器を選択する．こで身体の関節点が様々な打楽器であるような感覚で， 手でのとき，システムの画面には選択した楽器の画像がユーザ

身体を触りながらサウンドを生成することができる．

© 2016 Information Processing Society of Japan669

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C46
2016/3/3

サウンド再開始可能距離

サウンド開始距離

手座標

関節座標

手座標

フラグ ON

フラグ OFF

フラグ ON(a) 手によるオブジェクト発生
図 4 接触判定における手座標としきい値の設定

足踏みの判定は，膝関節の座標に基づき足の上げと踏みの判定を組み合わせることで行う．足の上げ判定は，一方の足の膝関節が他方の足の膝関節に比べて閾値以上高い位置にあった場合とする．そして足上げの状態から，両膝座標間の距離が閾値以下になった場合に足踏みがされたと判定して，打楽器音の生成を一度だけ行う．この処理を逐次行うことで足踏みをしながら打楽器音を連続的に生成することができる．
(b) 足踏みによるオブジェクト発生

ジャンプの判定は，両足関節点と床面の距離に基づいて

図 5 オブジェクト発生の様子行う．両足の高さの平均が閾値以上の場合に跳躍判定を行い，跳躍音を生成する．その後，両足の高さが閾値以下の場合着地判定を行い，着地音を生成する．この処理を逐次変化させることにより，メロディを作ることができる．ま行うことでジャンプ音を生成することができる．

た，全員で同時に両手を挙げたときにはシンクロモードと3.1.2 音とエフェクトの出力なり，ギターのメロディが流れ始め，その曲に合わせて体3.1.1 節で述べた手法で手の関節点への接触，足踏み，でのドラム演奏をすることができる．

ジャンプなどの身体動作が行われたと判定されると，あらまた，複数人モードではユーザの組み合わせによってエかじめ用意された音源ファイルを再生することでサウンドフェクトが変化する．例えば男女の組み合わせで体験したの生成を行う．音源は，クラッシュシンバル，スネア，ト場合には，エフェクトが花に変化する．ユーザの中に子供ムなど主にドラムで用いられる打楽器音やトランペットなが含まれている場合には背景が森のイラストに変化し，動どの管楽器音である．関節ごとに異なる音源が設定されて物の観客が出現する．図 6 に複数人モードでのエフェクト

おり，体の異なる部位に触れたり足踏みしたりジャンプすの変化の様子を示す．

ることで，様々な打楽器音を生成することができる．
システムの画面には音の発生と同時に CG オブジェクトも生成される．オブジェクトの種類と色と大きさはランダ

3.2 ぼっちセッション
3.2.1 概要

ムで決定しており，発生後には平行移動と回転移動をしな

バンド演奏仮想体験システム “ぼっちセッション” では，がら徐々に消えていく．足踏みの場合には踏んだ場所からバンド楽器のドラム，ギター，ベース，キーボードの各演同様のエフェクトと円筒形のオブジェクトが出現する．図奏を身体動作で仮想的に体験できる．

5 にオブジェクト発生の様子を示す．
3.1.3 複数人モード

初めに，ユーザはシステムの前でポーズを取ると，関節点の位置に基づいてポーズを認識して楽器が選択され，シ本システムは 1 人の身体動作による打楽器音の生成に加ステムで構築した三次元仮想空間に表示される．そして，えて，複数人での身体動作によるサウンドを生成すること各楽器に応じた身体動作によって楽器を仮想的に演奏するができる．複数人の場合にそれぞれのユーザが自身の関節ことができる．各楽器の演奏結果は記録することができ，に触れる場合には，1 人は打楽器音，それ以外はトランペッすべての演奏記録を同時再生することで，仮想的なバンドトのメロディの生成を行う．

セッション演奏も体験することができる．

一方，お互いの関節を触れ合う場合には自身の関節を3.2.2 楽器の選択

触れた場合とは異なるピアノ和音を生成する．このとき，楽器の選択は，Kinect で取得した関節点の座標を用いてユーザ同士が触れた高さを取得して，高さに応じて音高をユーザのポーズを認識する．楽器選択におけるポーズと楽© 2016 Information Processing Society of Japan670

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C46
2016/3/3(a) 男女の場合(a) ギター/ベース(b) 子供が含まれる場合
図 6

複数人モードにおけるエフェクトの変化器の関係を以下に示す．

• ドラム : 両手を頭部より上に挙げたポーズ(b) ドラムセット• ギター : 左手のみを肩の高さに挙げたポーズ• ベース : 左手のみを頭部より上に挙げたポーズ• キーボード : 両手を胸の高さに挙げたポーズ
楽器が選択されると，仮想空間内にユーザと選択された楽器が表示される．楽器の位置はユーザの位置やポーズに応じて変化する．例えばギターとベースは左手でネック部を持っている状態のため，ユーザの左手の位置の応じて楽器の角度も変化する．
ユーザが両手を胴体に沿わせて直立姿勢をとると選択された楽器が解除され，その後新たに楽器を選択し直すことが可能である．

(c) キーボード
図 7

仮想バンド演奏における各楽器の仮想空間での音源配置

3.2.3 楽器の演奏
各楽器にそれぞれの音源ファイルが用意されている．用いる音源の種類は以下の通りである．

• ドラムセット : シンバル 3 種，ドラム 5 種• ギター : C を基音とする和音• ベース : 低い単音 C• キーボード : 単音 C，C を基音とする和音
音源は各楽器に応じた場所に配置されている．各楽器の音源位置を図 7 に示す．

サウンドを出力する．キーボードの場合，右手と左手が音源に達したとき，その位置によって音高を変化しながらサウンドを出力する．

3.2.4 バンドセッション演奏の実現
仮想的にバンドセッション演奏を行うために，各楽器の演奏中に取得した全身の関節座標を逐次保存している．保

演奏方法は各楽器によって異なるが，基本的には Kinect

存した各楽器演奏中の関節座標ストリームを用いて 3.2.3で取得した右手や左手の位置が音源に達したときに音源節の手法を用いて楽器を同時に演奏することで，セッショファイルを再生してサウンドを出力する．ドラムセットのンの様子を再現することができる．また，セッション画面

場合，右手と左手がそれぞれ音源に達したときにサウンド

時にユーザの手にはマイクが表示され，セッションにボーを出力する．ギターとベースの場合，左手と腹部との距離カルとして参加することが可能である．

によって音高を変化しながら，右手が音源に達したときに© 2016 Information Processing Society of Japan671

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C46
2016/3/3

4. 実験
4.1 実装環境
本システムを実装するにあたって，使用した機材は以下の通りである．

• MacBook Pro– OSX 10.10.3– 2.8GHz, Intel Core i7(a) 個別のサウンド生成– 8GB MM• Microsoft Kinect

4.2 MO-LIVE
1 人で行った場合，提案手法によって身体動作に応じて様々な打楽器音が生成されることを確認した．またシステ
ムの画面にはサウンド生成と同時に様々なオブジェクトが発生することを確認した．ただし，素早い動きには対応できない場合があった．

2 人で行った場合でも，それぞれの身体動作に応じて様々(b) 2 人のスキンシップによるサウンド生成な打楽器音とオブジェクト発生ができることを確認した．
そして，お互いに様々な位置でハイタッチなどのスキンシップを行うことで，音高を変化させながら和音を生成できることを確認した．そしてお互いが両手を挙げるとシンクロモードとなり，ギターメロディに合わせて身体動作で打楽器音を生成できることを確認した．ただし．ユーザが移動しながらすれ違った場合には，ユーザの関節点追跡に失敗して，正しくサウンドが生成されない場合もあった．
図 8 に 2 人で様々なサウンドを生成している様子を示す．
また，本システムは 2015 年 7 月に開催された愛知工業(c) 2 人でのシンクロ動作によるサウンド生成

大学オープンキャンパス及び，11 月に開催されたせとまるっとデジタルまつりにてデモ展示を行った．システム体

図 8

2 人のユーザによる身体動作に基づく打楽器音生成の様子

験者に任意でアンケートへの記入を行ってもらい，合計で30 名からの回答を得た．システムは楽しかったかどうかが正しく動作することを確認した．ギターやベースはユー尋ねたところ，97 ％が楽しかったと回答した．ところが，ザの移動や左手の動きに応じて正しく対応している．そし自分の思ったような演奏ができたか尋ねたところ，64 ％はて，ユーザの身体動作によって選択した楽器を仮想的に演できた，30 ％はどちらともいえないと回答した．自分の奏できることを確認した．複数の音源を配置しているドラ思った通りの演奏ができたという回答が伸びなかった理由

ムやキーボードでの両手による複数のサウンドの同時出として，周りに体験者でない人が多く立っていた場合に，力，ギター，ベース，キーボード演奏時における身体動作周りの人を誤検知したことや，体験者が小さい子供だったに応じた音高変更も適切に行われていることを確認した．

場合に上手く関節点を取得できなかったことなどが挙げら

図 9 ではユーザが仮想的にギターを演奏している．

れる．また，日光の入る展示スペースでデモを行った場合

そして，各楽器の演奏中の関節座標を逐次保存して，演に，日光によって Kinect によるユーザ情報の取得が阻害奏終了後に関節座標ストリームを用いてすべての楽器の演された場合もあった．

奏を同時に再現することで，バンドセッション演奏を仮想的に行うことができることを確認した．図 10 に仮想的な4.3 ぼっちセッションシステムを用いてユーザが演奏している様子を図 9 に示
す．ユーザ認識後，姿勢による楽器選択，楽器の切り替え

バンドセッション演奏の様子を示す．

5. おわりに
本論文では，楽器や道具を用いずに身体動作のみで音楽© 2016 Information Processing Society of Japan672

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C46
2016/3/3[4][5][6]

図 9

次大会発表論文集, 2013.
Hongdo Fu, Wing Ho Andy LI, Augmented Reflection ofReality, SIGGRAPH 2012, Emerging technology, Article
No. 3, 2012.
岩谷亮明, 澤田秀之, VR エンタテイメントに向けたエア楽器演奏システム, 情報処理学会 インタラクション 2014
論文集, C1-4 pp. 587–592, 2014.
洲崎美里, 砂川宗一郎, 森谷友昭, 高橋時市郎, 仮想オーケストラを指揮するための演奏記号を考慮した楽器の自動生成, 情報科学技術フォーラム講義論文集, 11(3), pp.
355–356, 2012.

仮想的にギターを演奏している様子

図 10

仮想バンドセッションの様子の演奏を体験出来るシステムを開発した．まず MO-LIVE
では 1 人，もしくは複数人で関節に触れたり，足踏みをしたり，シンクロ動作を行うことで音やエフェクトを表示させるというインタラクティブコンテンツを実現した．ぼっちセッションでは仮想楽器での演奏と，最大 4 種類の楽器による個人でのセッション体験が可能なシステムを実現した．
実験では音とエフェクトの表示を確認できたが，素早い動作に反応できていない場合があり，音やエフェクトが生成できない場合や，人が交代するときに正しく人を認知することができない場合があった．また，アンケート結果により自分の思った通りの演奏をできたと感じられるようにする必要があると考えられる．今後の課題としてエフェク
トを増やしたり，複数人ならではの効果を増やすことで，よりコンテンツとして楽しいものになるように改善を行う．また，大人数での体験を可能にし，大人数でも人の入れ替わりをスムーズにできるように改良したい．
謝辞

本研究を進めるにあたり，システムの基盤技術を開発した小畑翔太郎氏に感謝する．本研究の一部は科研費（26330420）による．
参考文献
[1]

[2]

[3]

谷本祐一 : Kinect を利用することによるダンス支援シス
テムの提案, 早稲田大学大学院基幹理工学研究科 2012 年
度修士論文, 2013.
千田真弓, 小原悠太郎, 菅野駿哉, 本村健太, 千葉則茂, ダンスパフォーマンスを拡張表現する高さを活かしたインスタレーション, NICOGRAPH2013, pp.121–122, 2013.
萩原 正人, 益子 宗 : KooSHO - 空中での手書きジェス
チャーに基づく日本語入力環境, 言語処理学会 第 19 回年© 2016 Information Processing Society of Japan673