情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B172021/3/10

テブリン：3 次元モーションセンサーを用いた楽器としてのサウンドおよびインタラクティブ CG 生成システムの開発
小林悠人†1児玉幸子†2

概要：近年，モーションセンサーを用いて音楽を奏でるデジタル技術による楽器が開発されている．しかしその多くが，単音のみ演奏可能など複雑な演奏を想定していない．本研究では 9 軸センサー（3 軸加速度，3 軸角速度，3 軸地磁気）を組み込んだデバイスを身体に装着して動かすことで入力とし，感覚的に「メロディ」「ハーモニー」を制御できる，視覚的にも楽しめる楽器としてのサウンド生成システムを開発する．

1. 背景とで実現したい．
システムでは，無線の 9 軸モーションセンサー（3 軸加太古の昔より人類は，生活のため，娯楽のために音を鳴速度，3 軸角速度，3 軸地磁気）を利用し，即興の動作によらしてきた．一般的に人類最初の楽器は打楽器だといわれって複雑な音楽を展開できるようにする．テルミンのようている．多くの民族音楽に打楽器がみられることからも，に「手の動作」を入力として用いることで，繊細かつ感覚打楽器が最も原始的な楽器の形態と考えられている．

的な操作を実現できると考えられ，手の動きから多次元のその後，弦楽器や管楽器などのより複雑な楽器が誕生しデータを得て，リアルタイムに楽器のように使用しながらた．西洋では鍵盤楽器が開発されるなど，よりシステマテサウンドを生成して音楽を奏でることができるものとする．

ィック・かつ機構的な楽器が生まれていった．音楽理論的エンターテインメント用途で利用するため，音楽を生成すには「十二平均律」という音律が考案された．響きの美しると同時に，グラフィックにも連動させるアプリケーショさを犠牲にする代わりにシステムとしての合理性を持たせンとして開発する．

た音律である．平均律はバッハを筆頭とする作曲家・音楽家によって徐々に普及していき，西洋音楽では一般的な概3. サウンド生成システム「テブリン」の開発念となった．

3.1 コンセプト

そのような音楽は特に西洋で大きな発展を遂げ，現代で「テブリン」は，9 軸センサーを持ち「手振り」することは「メロディ」「ハーモニー」「リズム」の 3 つの要素を核によって，即興的な演奏を可能とする楽器としてのインタとする西洋音楽が世界（より限定的には先進国）の主流とラクティブシステムである。

なり様々な楽器による演奏がなされている．
20 世紀以降は，電気電子回路を利用した楽器が開発された．電子回路を利用した世界初の楽器として「テルミン」

センサーの振り方によって，発声される音の音声的・音楽的な性質が変化する。
3.2 システム構成（1920 年）が挙げられる．[1]「テルミン」は，2 つのアン「テブリン」のシステム構成図を図 1 に示す．本システ

テナ（音量を制御するアンテナ，音高を制御するアンテナ）

ムはワイヤレス 9 軸モーションセンサー（GeoMotion）[5]，にそれぞれ手を近づける・遠ざけると，生成される単音のBluetooth 受信プログラム，Unity アプリケーションからな性質を変える楽器である．この後も，エレキギターやエレる．Unity 内部では大きく分けて，「センサーデータ分析部」，クトリックピアノ，メロトロン，アナログ／デジタルシン「楽譜生成部」，「音声合成処理部」の 3 部で構成される．

セサイザー，オンドマルトノ，電子ピアノ，エレクトーンなどの楽器が開発されていった．近年では，オタマトーン[2]やテノリオン[3]，ケロミン[4]など，視覚的にも演奏を楽しむエンターテインメント寄りの楽器が開発されている．

2. 目的
楽器の演奏では，一般的に，自由に，そして即興的に演奏するためには長期にわたる習練が必要である．
本研究ではそのような即興的な音楽の演奏を，3 次元モーションセンサーを利用する楽器デバイスとインタラクテ
ィブ CG で構成されるサウンド生成システムを開発するこ

図1

システム構成図†1 電気通信大学大学院†2 電気通信大学© 2021 Information Processing Society of Japan579

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3.3 センサーデータ分析部

3B172021/3/10「動きの速さ」がある一定値を超えると，「転調」モード

センサーデータ分析部では，「Bluetooth 受信プログラム」に移行する．「転調」中は，「進行」，「擾乱」の機能を受けから受け取った 9 軸センサーの生データの値（9 次元）を付けない．
「転調」に入る際の「動きの速さ」の値が，どの評価し，3 次元の値に変換する処理を行う．その 3 次元の程度転調するかを決定する．その量は五度圏（図 3）に従それぞれの値の意味合いは，「動きの速さ」，「動きの形（直って決められる．
（五度圏とは，調同士の関係を表したもの線的か曲線的か）」，「センサーの向き」である．基本的に「動であり，隣り合った調ほど関係が近い＝転調しやすい．）

きの速さ」は楽譜に，「動きの形」は音色に，「センサーの向き」は生成される楽譜がメジャー系かマイナー系かに，それぞれ作用する．
3.4 楽譜生成部
楽譜生成部では，分析されたセンサーデータに基づいて発声される周波数を決める．なお本研究では簡略化のため，演奏されるデータを最大 4 声の和音+1 声のメロディ，合わせて 5 声とした．そのため，「音声合成処理部」で決定される周波数は 5 つである．
渡されるセンサーデータのうち，主に「動きの速さ」によって演奏信号が決定される．
「動きの速さ」の値の大小によって，スケール，アルペジオ，進行，擾乱，転調の 5 つ
図3の機能が喚起される．
「スケール」と「アルペジオ」はメロ五度圏

ディに関するもの，「進行」，「擾乱」，「転調」はコードに関する．
「スケール」と「アルペジオ」は持続的に機能し，「進行」と「擾乱」は瞬間的に機能する．
「転調」は一定時間にわたって効果を及ぼす．
「スケール」は，そのときのスケール（ハ長調，イ短調）

3.5 音声合成処理部
音の 3 大要素として，「音量」，「音高」，「音色」の 3 つがある．音声合成処理部では，その 3 つの要素を考慮して音声を合成し，サウンドを生成する．に応じて，発声されるメロディの音階を高低させる機能，「音量」は一般的に図 4 のようにモデル化される．それ「アルペジオ」は，そのときのコードの構成音を順次沿う

ぞれ，アタック，ディケイ，サスティン，リリース，そしよう発声されるメロディの音階を高低させる機能である．てアマウントである．本研究ではリリースを除いた 4 つの「進行」は，そのときの和音を和声進行の理論（図 2）に量を定義している．

従って進行させる機能である．それぞれ「トニック」，「サブドミナント」，「ドミナント」という 3 つの段階があるが，1 つ上の段階へ遷移するか，同じ段階の別の和音へ遷移す
るかは「動きの速さ」の値の大きさによる．
「擾乱」は，その時の和音の構成音のいずれかの音を，根音を除いたいずれかの音が半音上がる，または半音下がるようにする．

図4

一般的なエンベロープのモデル（ADSR）「音高」は「楽譜生成部」より得られた周波数を用いる．
「音色」は，設定された倍音の割合をもとに合成する．
ある周波数𝑓が与えられた際の単音の生成の模式図を図 5に示す．一般的にあらゆる音声は，任意の正弦波の組み合わせによって表現できる原理を応用している．また，その他にもローパスフィルタによって音色に変化が加えられる．
ローパスフィルタのパラメータについても前述した ADSR
図2

一般的なコード進行の模式図（図 4）によって制御する．倍音の割合は，センサーデータに基づいて動的に変化するようにした．

© 2021 Information Processing Society of Japan580

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3B172021/3/10

転させたり手を傾けたりする動作によって音の大きさ，メロディ，音色を変更できる．合成する音色の種類を選択できるようにし，参加者が主体的にサウンドをデザインできるようにしたところ，初めてシステムを触った中学生は 2時間程度のワークショップで演奏できるようになったが，小学生にはセンサーを動かして音楽のようにメロディを奏でることが難しい様子が見られた．

図5

単音の生成

4. Unity によるインタラクティブ CG アプリケーション
Unity を用いて，9 軸モーションセンサーから BLE 通信
で 1 秒間に 100 回程度取得したデータからリアルタイムに

図 7

ワークショップの様子

サウンドを生成すると同時にインタラクティブ CG を表示

現在，以下の課題に取り組んでいる．

する基本的なアプリケーションを開発した．

①センサーを組み込むデバイスを楽器として使いやす「テブリン」では単音の「大きさ」，「高さ」，「ローパスフィルタのカットオフ周波数」といったプロパティに3D モーションデータの 3 方向の回転を対応させ，80 面体の 3D モデルの形状の頂点座標と 3D モデルに当たる照明の色を変化させるようにした．3D モデルの各頂点は物理

くデザインする．
②様々な動きのデータを記録してデータベースとして機械学習に利用し，どのような動作を行っても，演奏したい音楽に対して最適なサウンド生成ができる機能を付加していく．

的な特性を持ち，慣性的な挙動を示す．発声される音声の③手振りだけでなく，身体の様々な箇所に取り付けて利各帯域の周波数に応じて，3D モデルの各頂点に力が加え用できるため，多様な動きを演奏とインタラクティブられる．各頂点は球体の半径方向にのみ動く．ある頂点にCG の表現に対応させやすくデザインする．[6]ある変位が発生した時，隣り合った頂点にその変位に応じた力が加えられ，結果として 80 面体の各頂点が波打つように変位が伝播する．

④レコーディングされたサウンドデータをインタラクティブに再生できるようにする．
電子楽器として使いやすいシステムを開発し，CG アーテ
ィスト，音楽家とのコラボレーションも行っていきたい．

図 6「テブリン」での Unity による CG 画面

5. 考察および結論
映像をスクリーンに投影して，センサーを手に持って音楽を演奏する実験的なワークショップを府中市美術館にお参考文献[1]TL Ssergejewitsch- Method of and apparatus forthe generation of sounds, US Patent 1,661,058,
1928[2]Otamatone
https://www.maywadenki.com/biography/bio_en/[3]TENORI-ON
https://www.yamaha.com/ja/about/design/synapses/
id_005/[4]ケロミン開発日誌
http://keromin.jugem.jp/?page=1[5]児玉幸子，小林悠人，横山大希，浅間裕貴，猪原拓実，岡崎仁志，千田竜也：センサーを使って身体の動きで変化する映像を制作する，府中市美術館公開制作 78 ワークショップ，2020 年 8 月 20・21 日[6]武川貴史， 支倉孝光， 寺内翼， 古里春菜， 細井一成，児玉幸子:小型ワイヤレスモーションセンサを小道具に組み込んだインタラクティブパフォーマンスシステ
ムによるダンスパフォーマンスの構築，
Entertainment Computing 2018 予稿集，2018/09/13.

いて開催した．[5] 参加者がセンサーを取り付けたペットボトルの蓋を利用したプラスチック製容器を持って腕を回© 2021 Information Processing Society of Japan581