情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-36
2023/3/1

観客がリアルタイムで音色を変えることができるシンセサイザを用いたインタラクティブな演奏形態の提案
山野井学史†1

青木裕作†1 上山愛奈†1

栗原渉†2

韓旭†2

有山大地†2

串山久美子†2

概要： 音楽ライブパフォーマンスにおいて演者が用いるシンセサイザの音色を，観客がリアルタイムに変化させることができるデバイスを用いて，演者と観客が即興音楽的にその場限りの楽曲を作り上げるシステムを制作した．これまで視覚媒体を用いた音楽ライブでのインタラクションについての研究が多いが，我々は視覚媒体より聴覚媒体を用いる手法を使うことで，より直接的な新たなインタクティブな演奏形態を提示する．

1. はじめにションを支援する研究を報告している．また，寺内ら[4]によると，複数名の演者により行われる集団即興演奏の最中

これまでにもインタラクティブな音楽ライブパフォーに，スマートフォンの通信機能によって聴衆から演奏者へマンスは日々行われてきた。観客が演者の演奏に介入できの要望をリアルタイムで会場のスクリーンに表示させ，演るシステムを持つライブパフォーマンスの例として，奏者と聴衆の双方向のコミュニケーションだけでなく，聴WebAR とジェスチャ制御を用いたもの[1]や観客がステー衆同士のコミュニケーションもリアルタイムに介入し多方ジ上のスクリーンに映し出される映像や文字によって表現向に関係性を構築する試みが報告されている．小原ら[5]は，されるストーリーの分岐を，発声などのレスポンスで選択

深層学習による音源分離技術を用いて，観客からリクエスしてゆき，演奏される楽曲の内容が変化していくものがあトされた楽曲を Bass，Drum，Vocal，Other の四つの楽器にる[2]．しかしこれらのパフォーマンスは音楽の進行や音量分離することによって，即興で複数の楽曲を編集，重ね合を変化させるものであり，変化がわかりやすい音色についわせてリミックスすることを可能とした．ては触れられていない．

これらの関連研究では，音楽ライブの観客と演者の媒介

そこで我々は，音楽ライブの音色に注目し，観客がウェシステムとして音楽とは直接関係のないライブ配信，コメアラブルデバイスを振ることによって，演者の演奏するシントなどが用いられているが，我々は楽譜などの決め事にンセサイザのパラメータにリアルタイムに干渉し，シンセ依らず音楽を演奏するような手段を用いて，観客と演者をサイザの音色を変えることを可能にするシステムを開発し直接媒介する音楽の構築を共有するシステムを制作するこた．また，観客が音楽を作るライブに参加していることがとにより，これらの先行研究とはまた違った形での演者とわかる様に，観客のアクションによるシンセサイザのパラ観客とのインタラクティブな演奏形態を新たに提示するこメータの変化を映像により可視化した．とができる．

このシステムを用いた音楽ライブで，観客が演者と同じ演奏に参加し一つの瞬間的な音楽を作り上げることは，観客にとって音楽の知識無しにその場限りのその時だけのオ

3. 実装

リジナルの楽曲を演者と制作し，曲の一部として参加でき3.1 システム構成る新しい体験を生み出す．また，このようなシステムは，即興演奏ライブに観客からのインタラクションを反映した一つの演奏形態としても提案できるものであろう．

今回のシステムでは，ソフトウェアにシンセサイザやサンプラ，リズムマシンを作るなど，音声処理に特化したプ
ログラミング環境である Pure Data，ORPHE TRACK Hub，リアルタイムにインタラクティブな映像作品が作ることが2. 関連研究可能な TouchDesigner を使用し，ハードウェアに ORPHE

これまでの関連研究でも，新たな音楽ライブにおける観CORE，シンセサイザ， プロジェクタ， スピーカーを用い客と演者のコミュニケーションを支援するシステムが提案た．ORPHE CORE は株式会社 ORPHE[6]が開発した，6 軸されている．

モーションセンサ（3 軸加速度，3 角速度）が搭載されたデAyneto ら[3]は，腕に装着したウェアラブル端末によってバイスであり，ORPHE TRACK Hub は，ORPHE CORE で音楽ライブコンサートのステージ上の映像編集にリアルタ取得したデータを Bluetooth で受け取るソフトウェアであイムで参加することで観客と演者の双方向のコミュニケーる．

†1 東京都立大学システムデザイン学部†2 東京都立大学院システムデザイン研究科© 2023 Information Processing Society of Japan921

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-36
2023/3/1図 1 のように演者の演奏に Pure Data，観客のデバイスとして ORPHE CORE，背景へのオーディオビジュアライ
ズと，シンセサイザのパラメータの値がどの様に変わっているのかをビジュアライズするために TouchDesigner を使用した．また，観客がデバイス(ORPHE CORE)から送った加速度の値の変化

数値を ORPHE TRACK Hub で受け取り，そこから Pure
Data と TouchDesigner の 2 つのソフトウェアにリアルタイムで送信するように設計した．
手首を右に捻った際の四元数の値
演奏

MIDI データ⼊⼒

図3

⾳源出⼒

手首を左に捻った際の四元数の値

ORPHE TRACK Hub での値の表示

図 3 に示すように，加速度も四元数も Y 座標を軸にした

OSC 通信値が大きく変化する．これらの絶対値を用いてデバイスを操作

動きデータ⼊⼒

ビジュアル⼊⼒

縦に振る，手首を左右に捻るモーションの検知が可能である．
3.3 ORPHE TRACK Hub から Pure Data, TouchDesignerへの通信

図 1 システム図
3.2 入力デバイスとしての ORPHE CORE
本研究のシステムを用いた音楽ライブの観客は一人一人リストバンド型のウェアラブルデバイス(図 2)を持つことができ，手を縦に振る，手首を左右に捻ることにより演者の演奏するシンセサイザに値を送り，パラメータの値を変化させることで音色を変えることができる．
ZY

ORPHE TRACK Hub から Pure Data，TouchDesigner への通信は OSC 通信を用いた．それぞれのソフトウェアでネットワークポートを合わせることによって１台の ORPHE
CORE から Pure Data,

TouchDesigner 2 つのソフトウェアにデータを送信する．
3.4 Pure Data によるリアルタイムでの音色変化
Johan Eriksson の開発した Pure Data 用アセットファイルである“Automatonics”[7]という Pure Data のアセットファ
イルを用いて，8 つの異なる音色を設定する．それぞれの音が同時に鳴ることはなく，1 つの音色のみが MIDI データ

Xに対して音を鳴らす．デバイスの Y 軸を中心に一定速度以上の回転量がかかったときに，Pure Data 側で回転を検知し，

図 2 デバイスの外観予め用意されている変数に対して，右回転なら次の音色，左回転なら前の音色という計算処理をさせる．変数には範音楽ライブにおいて手を振る行為は普遍的に行われて囲を指定し，0 から 7 の間を移動することになる．この変いる行為であり，観客の反応を数値に反映する為に検知し数に対応する音色以外の音色の音量を 0 にすることで，リやすいため，手を縦に振る，手首を左右に回す動作を採用

アルタイムでの音色変化が可能になっている．また同様に，した．手を縦に振る際の加速度を検出し，手首を捻る際のデバイスの Y 座標を軸にした加速度を検知し，腕を振った動作として四元数(Quaternion)の値を用いた．加速度と四元ときに音色の時に用いた変数とは別の変数に加算処理をさ数の値を ORPHE TRACK Hub で表示したものを図 3 に示せる．変数は値が一定数を超えたとき，0 に戻るようになす．っており，この値に対応して各音色にかかっているカットオフの数値を 8 段階で調節することができる．変数が 0 か
ら 3 までの間は，変数の値に比例してカットオフ周波数が大きくなり，ローパス・フィルタとして設定した周波数以上の帯域で周波数成分を減衰させる．一方で 4 から 7 までの間は，ハイパス・フィルタとして設定した周波数以下の帯域で周波数成分を減衰させる．これによって，音のこもり具合が変化し，変数が大きくなるごとに音色の印象が明© 2023 Information Processing Society of Japan922

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-36
2023/3/1

るくなる．

[3]

3.5

[4]

TouchDesigner によるビジュアライズ
Pure Data で制御する 8 つの音色に対応した円柱状の 3Dオブジェクト(図 4)を用意し，それぞれの円柱の高さが Pure
Data で制御しているカットオフの 8 段階の数値に対応す[5]

る．また，自分が今どの音色のカットオフの数値を変更しているのかわかるためにオブジェクトの下に白い円が表示
[6]

される.
OSC In CHOP を用いて ORPHE CORE から四元数の値を取得することで，ORPHE CORE を右に捻ると， 今選択し[7]

Ayneto Pou Marc, 小林香絵, 土屋雅人, 音楽コンサートにおける双方向コミュニケーション支援システムの研究,日本デザイン学会研究発表大会概要集.2016,vol.62,pp.36-．
寺内大輔. 聴衆からの要望をリアルタイムで可視化するシス
テムを用いた即興演奏におけるコミュニケーションに関する一考察―「即興に即興でオーダーする II」の実践を手がかりに.日本音楽即興学会誌.2018,no.2,pp.30-43．
小原開, 長谷川遼, 西門亮, 髙梨大, 徳井直生. 音源分離技術を用いた, 観客からのリクエスト楽曲を即興でリミックスするシステムの制作.情報処理学会インタラクション
2022.pp.171-175．
“株式会社 ORPHE”．
https://orphe.io/about,(参照 2022-12-01).
“Automatonism”
https://www.automatonism.com/,(参照 2022-12-21).ているオブジェクトの一つ右のオブジェクトを選択でき，左に捻ると一つ左のオブジェクトを選択できる．
また，OSC In CHOP で ORPHE CORE を縦に振った際の加速度の値を取得し，加速度の絶対値が一定の値を超えた
時に Count CHOP でカウントすることで，デバイスを振ってオブジェクトの高さを 8 段階変化させることができる.

図 4 TouchDesigner によるビジュアライズ

4. 今後の展望と課題
本研究では，リアルタイムで観客がシンセサイザの音色を変化させるシステムを実装した．今後は実際のライブ演出として使用したのちに，観客がライブ演出として演者と一緒に曲を作り上げる感覚になったのか，また，観客と演者のインタラクティブ性を感じられたかなど，評価実験を計画している.
加えて，本稿における実装では変更可能な音色は 8 つであるが，さらに増やすことによって作り上げられる楽曲の自由度を広げたりストーリー性を付け加えたりする必要があると考えられる．

参考文献
[1]

西田 騎夕, 城 一裕. Border: webAR とジェスチャー制御による仮想楽器を用いたライブパフォーマンス. 研究報告音楽情報科学(MUS). 2019,vol.123,no.46,pp.1-5．
[2] “Susumu Hirasawa Interactive Live 2013 "NOMONOS andIMIUM"”．
https://susumuhirasawa.com/archives/interactivelive/2013_nomonos/,(参照 2022-12-01)．

© 2023 Information Processing Society of Japan923