情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-222023/3/1

楽器未経験者のための弦管打複合楽器の開発を目指した
IoT ヴァイオリンの制作
矢田 絵理奈 ,a)

岩井 将行 ,b)

概要：楽器未経験者にとって，楽器自体に触れる機会は極めて少ないといえる．たくさんの種類の中から選ばなければならず知識も必要となり，気軽に買うことができる価格ではないこと，楽譜を読めなければならないなど，楽器未経験者が楽器を演奏することは非常にハードルが高いといえる．そこで我々は，複数の演奏方法を取り入れた一つの楽器を提供できれば，楽器未経験者が楽器を知るきっかけになると考えた．本研究では第一歩としてヴァイオリンの演奏方法を，M5Stack-Core2，超音波センサ，加速度センサ，JOYSTICK を用いて表現した IoT ヴァイオリンシステムを提案する．加速度センサでヴァイオリンの 4
つの弦を角度によって選び，超音波センサで音程を定め，JOYSTICK を動かすと音が出るように設定した．音声は Bluetooth で M5Stack-Core2 からパソコンやタブレットに接続し，デバイス内の DAW ソフトの音源を使用した．楽器未経験者，経験者含め 20 名ほどに試してもらい，アンケートを行った．アン
ケート結果としては音を出すことは容易に行えるが，音程がうまく定まらないとの意見が多かった．今後問題点を調整し，また，管楽器や鍵盤楽器などの演奏方法をセンサで表現し，一つの楽器にまとめていく．

1. はじめにが購入を考える商品である．本研究はその前段階における楽器への興味を引きだすための楽器という位置付けで進め

楽器未経験者にとって，楽器に触れる機会は極めて少なていく．本稿では，実際のヴァイオリンの機構をもとにセい．たくさんの種類の中から選ばなければならず，多くがンサで置き換えた IoT ヴァイオリンシステムを提案する．

気軽に買うことができる価格ではないこと，楽譜を読めなければならないなど，楽器を演奏することは一般的にハードルが高い．

2. 関連研究
楽器の研究は多方面に渡る．未経験者でも簡単に演奏で楽器には，鍵盤，弦，管，打など，多様な種類があり様々きるようにという視点や，体の不自由な人でも演奏できるな演奏方法がある．具体的には，押す，叩く，弦を弾く，という視点．持ち運びやすいようにとコンパクトを目指しキーを押さえながら息を吹き込むなどである．そこで我々たもの，作曲や編曲を手助けするためや，自動演奏 [2] なは，複数の演奏方法をまとめることができれば，一つの楽ど，幅広く研究が進んでいる．VR エンタテイメントに向器で様々な演奏方法を知ることができると考えた．本稿でけたエア楽器演奏システム [3] では VR 上での触覚提示をは，その第一歩として，ヴァイオリンをセンサで表現する行っている．こちらはギターモードとピアノモードとあことにした．

り，複数の演奏方法を行うことができる．本システムのよ

鍵盤楽器や打楽器などはボタンを押すなどの動作で置き

うにマイコンやセンサを用いた電子楽器の作成は盛んに行換えが可能である．管楽器はマウスピースやリードの機構われている．例えば川島らによるだれでもソロイスト G[4]を気圧センサ，ピストンやキーに当たる部分をタッチセン

は Arduino を用いた電子ギターの作成，評価を行なってサやボタンに置き換えれば可能である．今後実現させていおり，金井らによる PocoPoco [5] は数種のセンサを用いきたい項目だ．しかし，ヴァイオリンをセンサで置き換えた楽器演奏インタフェースを作成した．本研究の目的は，た例はなかなかない．エレクトリックヴァイオリン，サイ

安価であり，簡単に音が出る，様々な演奏方法を備えた楽レントヴァイオリン [1] などヴァイオリンの電子楽器は存在器を開発することだ．ここでは，安価でコンパクトな全くするが，それらはヴァイオリンを始めようと考えている層

新しい管楽器というコンセプトの venova(ヴェノーヴァ)[6]a)b)

東京電機大学未来科学部情報メディア学科
erina@cps.im.dendai.ac.jp
iwai@cps.im.dendai.ac.jp© 2023 Information Processing Society of Japanと，楽器未経験者に向けた知育玩具としてのヴァイオリン，evio(エヴィオ)[7] を紹介する．

207

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-22
2023/3/1

2.1 venova(ヴェノーヴァ)
venova(ヴェノーヴァ) とは 2017 年に発売された楽器だ．
指使いはリコーダーと似ており，サクソフォンのような音で，3 モデルが販売されている．180〜293g と軽量かつコンパクト，耐水・耐久性に優れた楽器である．アコース
ティックな楽器は，高価なこととメンテナンスが必要なことによりハードルが高くなる．その 2 点をクリアした楽器であること，また，「分岐管構造」によりサクソフォンなどの円錐形管楽器の音響特性を実現したことによる音の再現

図 1 ヴァイオリンの仕組み(YAMAHA 楽器ページ [9] より引用)

度の高さが特徴である．新しい楽器に求められる要素は気軽に始められることに加え，メンテナンスが必要ないなどの継続しやすさが重要ということがわかった．

2.2 evio(エヴィオ)
evio(エヴィオ) とは 2003 年に発売された電子ヴァイオリンである．弦に当たる部分の光学センサーによってスリットが印刷された弓を読み込む仕組みで，弓を動かすと音が出るというシステムだ．弓の速さによって曲のテンポも変わるので，自分で演奏できている実感が持てるのが特徴である．しかし，音程の操作はできない．また，evio(エ図 2システム構成図

図 3

IoT ヴァイオリンヴィオ) の他にもたくさんの玩具であるヴァイオリンが存在しており，evio(エヴィオ) 同様弓を動かすと曲が進んでいくという仕組みだが，弓の接触部分が光学センサではなくスイッチのように左右に動かすことによって判定している仕組みのものだった．それらを参考に，本研究ではJOYSTICK を使うことにした．

3. ヴァイオリンとはシステムの説明をするにあたって，ヴァイオリンの構造などを紹介する．ヴァイオリンは図 1 のような形をしており，4 本の弦を弓で振動させることにより音を出す楽器である．弦はテールピースから駒を介してペグに巻き取られリンは構え方や弓と弦の触れさせ方など初心者が音を出すており，これを調整することで弦の音程を調整 (チューニことが難しい楽器の 1 つであると言える．

ング) できる．ボディの中には魂柱と呼ばれる柱があり，これがあることで裏板に音が伝わり，効果的に音が響くようになっている．弦を張っていることにより高い圧力がかかっているボディは，魂柱が倒れてしまうと潰れてしまう．
次に演奏方法について紹介する．4 本ある弦を左手の親

4. IoT ヴァイオリンシステム
本システムは図 2 に示す．また，実物を図 3 に示す．使用する機材は以下である．

• M5Stack-Core2

指を除いた 4 つの指で押さえることによって音程を変え• 超音波センサモジュール

ることができ，右手の弓の動き (ボウイング) により音色，• 加速度センサモジュール

音量などを操作する．音の低い弦からドイツ音名 [8] で G• JOYSTICK モジュール線，D 線，A 線，E 線という．弦を押さえないで鳴らす音• groveHUB モジュールを開放弦という．音程は大体指一つ分ずらしていくと半音• 3D プリンターで作成した部品上がっていく．弓の動かし方はダウン (弓の付け根から先• 50cm 定規にかけて動かすこと) とアップ (弓の先から付け根にかけて• (弓に見立てた) 棒動かすこと) があり，これを切り替えていくことを弓を返す，と表現する．弓で弦を移動することを移弦という．
ピアノは鍵盤を押すだけで音自体は出せるが，ヴァイオ© 2023 Information Processing Society of Japan

4.1 M5Stack-Core2 について
M5Stack-Core2 とは esp32 を搭載した M5stack 社のマイ208

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 41B-22
2023/3/1

本システムと実際のヴァイオリンの比較画像

コンボードである．タッチパネル対応の液晶画面，タッチボタンが 3 つある．3 軸加速度センサ，マイク，スピーカー，バッテリーが内蔵されており，有線通信の I2C，UART，SPI，無線通信の WiFi，Bluetooth に対応している．様々なセンサが用意されており，grove 端子によって簡単に接続が可能となっていることからプロトタイプの制作に向い

図 5

ヴァイオリンの指づかい

図 6

弦と弓の角度についてている．画面があることによってデバイスの操作や，演奏時のフィードバックにも役立てると考えこちらを使用した．音声は M5Stack-Core2 から Bluetooth 通信でパソコンやタブレットと繋ぎ，DAW ソフトの音を MIDI データによってやりとりを行うようにした．

4.2 実装ネックからボディにかけてを定規で置き換えた．ヴァイ
オリンの通常サイズである 4/4 サイズは約 60cm である．
ペグ，スクロールを除くと大体 50cm ほどになるので 50cm定規を活用した．比較画像を図 4 に記す．弓は，突っ張り棒で代用した．

4.2.1 超音波センサ

ヴァイオリンの弦を張っている駒に注目した．
図 6 のように駒を横から見てみると，弦の位置が直線で超音波センサとは超音波を発し，壁にぶつかって戻ってはないことがわかる．ここに弓を当てると，それぞれの弦きた時間を計測することによって距離を測れるセンサでごとに一定の角度が生まれる．図の色付きの印はそれぞれある．の弦と垂直な線である．加速度センサは重力加速度から軸先述したとおり，弦を押さえると音程が変わる．指板はがどれだけ傾いているかを算出し、角度を求めることがで

大体 30cm であり，超音波センサを根本側に設置し，指板きる．この角度を弓に見立てた棒に設置した加速度センサを再現した．ヴァイオリンの指づかいは図 5 のようになっによって読み取るようにし，弦の区別を可能にした．ている．距離によって音程を設定し，距離が 30cm 以上だ

4.2.3 JOYSTICKと開放弦が鳴るようにした．

音の発生を判定するものとして JOYSTICK を用いた．

センサは根本から外側へ向いているため低い音の方が距

JOYSTICK は図 7 のように X 座標と Y 座標の値を 0〜255離の値が大きくなる．センサの向きを楽器の端から内側にの範囲で出力する．X 座標で音の発生の判断を行う．X 座向けておくことも可能だったが，弦を押さえる際，例えば 2標が 120〜130 の値を取るとき音を止めており，JOYSTICK番の指を押さえるとき 1 番の指は通常離さないので，距離が動くと加速度センサによって弦が判定され，超音波センを測る位置をペグ側にしてしまうと音程が変わらなくなっサにより音程が定まり，音が出るようになっている．ヴァてしまう．そのためセンサの向きを外側に向けて距離を測

イオリンを構えたとき，ボディは床と平行ではない．加速るように設置した．

度センサは重力から算出しており，地面との角度になって4.2.2 加速度センサいるので，構えた時の本体の角度を 30°に設定し，あらか加速度センサとは物体の向いている方向がわかるセンサ

じめ角度に加えた．

である．距離によって音程を定めることができるように

4.2.4 3D プリンターなったが，4 本ある弦を区別しなくてはならない．そこで，© 2023 Information Processing Society of JapanJOYSTICK はヘッド部分はゲームのコントローラーの209

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 7

1B-22
2023/3/1

JOYSTICK が出力する値
表 1
弦

弦の角度
角度

G線

35〜45°

D線

15〜25°

A線-25〜-15°

E線-45〜-35°

図 93D プリンターで作成した部品

図 10IoT ヴァイオリンを構えた様子

した部品の上にのせ動かす．すると DAW ソフトへ MIDIが送られ，用意したデバイスから音が鳴るようになっている．また，今後 IoT 楽器として演奏情報を保存できる機能を追加したい．その試験として，Node-RED[11] による
図 8

3D モデル

ため，置き換えた弓があっても乗せる場所がない．また，角度を判定する術がない．そこで 3D プリンターを用いて
図 8 の 3D モデルを作成した．

mqtt 通信によって音程とどの弦なのかを送れるようになっている．

6. アンケート
本システムの評価のため，楽器未経験者，経験者合わせまず，弦の区別のために実際のヴァイオリンの角度を計て 23 名にアンケートを行った．楽器演奏の経験の有無や測した．図 6 の角度は，表 1 にまとめた．どの傾斜がどの

本システムの第一印象について，音程や音の出るタイミン

弦にあたるかを色で印をつけ，滑り止めをつけることによっグが適切かどうか，ヴァイオリンに興味を持ったかを 5 段て，弓に見立てた棒が引っ掛かるようにした．JOYSTICK

階評価で問い，さらに改善点を聞いた．結果を図 11〜14に取り付けた状態を図 9 に表す．に表す．楽器の経験についてはやはりピアノを弾いたこと

5. 演奏方法のある方が一番多く，その次に学校などで習った経験のみという方が多かった．第一印象としては，実物に近いと感

まず本システム以外に，パソコンやタブレットなどのデじたという意見をいただいた．しかし，重さや厚さに違和バイスに，Bluetooth MIDI connect[10] と DAW ソフトを感を持つ方も少数いた．発声のタイミングについては 5 段インストールしておく．M5Stack-Core2 の電源をつける．

階中 5 だと答えた方が半数を超えたが，音程については，Buletooth 接続し，DAW ソフトを起動する．IoT ヴァイ

5 段階中 3 と答えた方が半数を超えた．本システムの試奏

オリンを図 10 のように構え，左手は定規の上，弓に見立によりヴァイオリンに興味を持てたかについては 5 段階中てた棒を JOYSTICK に被せている 3D プリンターで作成5 と答えた方が多かった．

© 2023 Information Processing Society of Japan210情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-22
2023/3/1

歩として，IoT ヴァイオリンを作成し評価を行った．アンケート結果から，楽器未経験者でもヴァイオリンに興味を持ってもらえ，気軽に演奏ができることが期待できる．音を出す仕組みを確立することはできたが，正確性はまだ劣るため，音程の精度や弓の返しの再現，持ちやすさなどを改良していく．今回は超音波センサによって距離で音程を判定したが，接触位置センサなども検討して音程の精度を高めていく．3D プリンターを用いて部品を作ったが，定規や棒で置き換えた部分も 3D プリンターで作成できれば，制作コストの面も考慮できると考えられる．今後は，弦楽器だけでなく，管楽器や打楽器の実装を考えるとともに，
図 11

アンケート結果: 楽器の経験があるかできたシステムを統合することで弦管打楽器の複合楽器の作成を目指す．また，楽器未経験者に限らず，既存の楽器を演奏できないような方へのアプローチも考えて開発を進めていきたい．さらに，楽器を演奏するだけでなく，作曲に活かせるようなアプリやシステムの開発によって IoT 楽器として完成させる．
謝辞 本研究のきっかけである貴重な音楽体験をさせていただいた関東学院中学校高等学校オーケストラ部に感謝申し上げます．
参考文献

図 12

アンケート結果: 音の発生のタイミングについて

[1]

[2]

[3]

[4]
図 13

アンケート結果: 音程について

[5]

[6]

[7]
図 14

アンケート結果: ヴァイオリンに興味を持ったか[8]

7. まとめと展望
本研究では楽器未経験者への新たなる楽器体験への第一© 2023 Information Processing Society of Japan

YAMAHA サ イ ト ペ ー ジ ，’ エ レ ク ト リ ック ヴ ァ イ オ リ ン’，’ サ イ レ ン ト ヴ ァ イ オ リン’，入 手 先 ⟨https://jp．yamaha．com/products/musicali nstruments/strings/electrics trings/indexΓhtml⟩麻布学園物理部無線班，’22 式弦楽器自動演奏装置「空震」’，入手先 ⟨https://twitter．com/butumubutumu/status/1575238403192287232⟩
岩 谷 亮 明 ，澤 田 秀 之 ，’VR エ ン タ テ イ メ ン トに 向 け た エ ア 楽 器 演 奏 シ ス テ ム’，情 報 処 理 学会
インタラクション2014 論 文 集 ，pp．
587-592． 2014 入手先 ⟨http://www．interaction-ipsj．
org/proceedings/2014/data/20140220/C1-4．pdf⟩
川島奨大，美馬義亮，柳英克，’ 豊かな表現に着目した演奏装置の提案愉しく演奏「だれでもソロイスト」’，情報処理学会 インタラクション
2019 論 文 集 ，pp． 341-345． 2019 入手先 ⟨https://www.interactionipsj.org/proceedings/2019/data/pdf/1B-40.pdf⟩金 井 隆 晴 ，菊 川 裕 也 ，鈴 木 龍 彦 ，馬 場 哲 晃 ，串山 久 美 子 ， ’PocoPoco：実 物 体 の 動 き を 利 用 した 楽 器 演 奏 イ ン タ フ ェ ー ス’，情 報 処 理 学 会 論文誌
2012， pp． 1050 ‒ 1060． 2012 入 手 先⟨https://cir.nii.ac.jp/crid/1050282812878498944⟩
YAMAHA サ イ ト ペ ー ジ ，’ ヴ ェ ノ ー ヴ ァ’，入 手 先⟨https://jp．yamaha．com/products/musicali nstruments/winds/casualw indi nstruments/venova/indexΓhtml⟩
トミー（現: タカラトミー）， ’evio リリース’ pp．1-2，
2003 ，入手先 ⟨https://www．takaratomy．co．jp/productr elease/pdft omy/03/p20030 07Γpdf ⟩ドイツ音名について，島村楽器，’ 今さら聞けないドイツ音
名【超入門シリーズ吹奏楽部編】’，入手先 ⟨https://www．
shimamura．co．jp/shop/fukuoka/product/20200809/28011⟩

211

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

[9]

[10]

[11]

1B-22
2023/3/1

YAMAHA サイトページ， ’ 楽器解体全書’， ’ ヴァイオリン’，入手先 ⟨https://www．yamaha．com/ja/musicali nstrumentg uide/violin/mechanism/⟩Bluetooth MIDI Connect，入手先 ⟨https://apps．
apple．com/jp/app/bluetooth-midiconnect/id1074606480⟩
Node-RED，入手先 ⟨https://nodered．org/⟩© 2023 Information Processing Society of Japan212