情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-40
2019/3/6

豊かな表現に着目した演奏装置の提案
愉しく演奏「だれでもソロイスト」
川島 奨大1,a)

美馬 義亮1

柳 英克1,b)

概要：音楽による表現は，作曲（楽譜による記述）と演奏（楽器演奏や歌唱などによる発音）に分けられる．演奏者は楽譜の音符記号に基づいて発音し，演奏記号を解釈して音に変化をつけ，楽曲を再現する．
このような楽譜を瞬時に解釈し意図通りに表現する演奏は，高度な演奏技術が求められる．初学者は，音符記号の再現に集中しすぎて「弾くだけ」の状態になってしまったり，演奏技術不足により意図した表現が行えなかったりする．しかし，音符記号に基づく発音をシステムが行い，音に変化をつける行為に専念できる演奏装置が実現できれば，技術を持たない人が楽曲を意図通りに再現できると考えられる．そこで
本研究では，正しい音階の演奏を支援することで，音量などの表現演奏に集中できる演奏装置「だれでもソロイスト」を提案する．また，類似する研究のほとんどはピアノのみを対象にしていることに着目し，様々な楽器に対応できる演奏装置の条件を明らかにし，それらすべてを制御できる演奏装置の開発を目指している．開発している演奏装置「だれでもソロイスト」のプロトタイプ評価実験では，「演奏したというインタラクションを感じる」「意図通りの演奏を行えた」という評価が得られている．

1. はじめに音楽による表現は，作曲（楽譜による記述）と演奏（楽器演奏や歌唱などによる発音）に分けられる．作曲者は創造した楽曲を楽譜に記述することで記号化する．楽譜には音程と音の長さを示す音符記号と，演奏方法（例：だんだん早く，音を切り離して）や感情的表現（例：燃え上がるように，歌うように）などの比喩的表現を示す演奏記号が含まれる．演奏者は楽譜の音符記号に基づいて発音し，演奏記号を解釈して音に変化をつけ，楽曲を再現する．ここで，演奏記号を解釈することによって生まれる音の変化は「演奏表情」と呼ばれる．また，音符記号に基づいた発音における旋律の音程の再現は，失敗してしまうと楽曲に大きな影響を与える重要な要素である．そのため，楽譜を瞬時に解釈し意図通りに表現する演奏は高度な演奏技術が求められる．また，初学者は音符記号の再現に集中しすぎて「弾くだけ」の状態になってしまったり，演奏技術不足により意図した表現が行えなかったりする．しかし，音符記号に基づく発音をシステムが行い，演奏者が音に変化をつける行為に専念できる演奏装置を実現できれば，技術を持たない人が楽曲を意図通りに再現できると考えられる．

2. 関連研究，事例演奏支援や演奏表情の表現支援を目的とした事例や研究は数多く存在する．

KAOSSILATOR[1] は指を滑らせるだけで破綻のない音程で演奏できる板型の演奏装置である．また，Mountain

Guitar[2] はデバイスの物理的な高さと音程が連動したギター型の演奏装置である．これらは共に演奏技術を持たない人が演奏を楽しめるが，主に即興演奏を支援しており，特定の旋律を再現し演奏することは難しい．

Fukuya ら [3] は，間違った鍵盤を押しても正しい音がなるシステムを用いたピアノ演奏学習支援を提案している．
このシステムは演奏技術が十分でなくても正しい音程を奏でることができるため，学習に対するモチベーションを維持できるが，演奏表情に関してはほとんど考慮されていない．また，この研究は学習支援を目的としているが，本研究は提案するシステムを通した他の楽器の演奏技術学習を想定せず，楽器として完結する新たな演奏装置の開発を目指す．
楽器として完結しており，かつ演奏表情の表現に優れた事例として Seaboard[4] が挙げられる．この演奏装置は，一般的な鍵盤楽器の形状に加えデバイスを操作する指の圧1a)b)

公立はこだて未来大学
g2117015@fun.ac.jp
yanagi@fun.ac.jp© 2019 Information Processing Society of Japan

力や揺らしなどの動きを入力として様々な表現が可能である．しかし，演奏には一般的な鍵盤楽器以上の演奏技術が341

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-40
2019/3/6

必要であり，習得は困難である．
演奏表情を含む演奏の技術支援研究として，谷井らの研究 [5] や大島らの研究 [6] が挙げられる．谷井らは誤りと思われる演奏をコンピュータによって正しい演奏に変換するピアノシステムを提案している．しかし，これはコンピュータによる変換をユーザが制御できないため，演奏しているというインタラクションを感じられない瞬間があると考えられる．また，大島らは強制的に正しい音階を再現することで表現演奏に集中できるピアノシステムを開発し，有用性を確認している．しかし，この研究の目的は理想的

図 1 「一本指ソロイスト」を使用する様子

演奏の教示であるが本研究の目的は技術を持たないユーザが演奏できることであるため，根本的に求められる機能やタイミングで押すことで，「発音の間隔」を入力できる．こインタフェースが異なる．の際に，音程は予め設定された旋律が自動で再現される．

本研究では，従来の楽器を演奏するように特別な技術をまた，Trackpad を押す強さで「音の強弱」と「音量の変持たないユーザが常に演奏しているというインタラクショ化」，Trackpad での指の揺らしで「音程の変化」と「音色ンを感じられ，かつ「意図通り」に演奏できるような演奏の変化」を入力できる．

装置の開発を目指す．

3. 音の「豊かな表現」の要素

4.2 「一本指ソロイスト」評価「一本指ソロイスト」の有用性の評価のため，音楽を好本研究では様々な楽器に対応した豊かな表現に着目したんで鑑賞する大学生 6 名を対象に評価実験を行った．被験

演奏装置の開発を目指しているため，音の「豊かな表現」

者に「一本指ソロイスト」の使用方法を説明し，3 分間のの要素について整理する．以前，演奏表情の入力インタ練習時間を設けた後，本演奏を行わせた．楽曲はリズムがフェースに関する研究において，様々な楽器によって発音単純だが音のひとつひとつが長い「威風堂々」を用いた．

される「音」の特徴について分類した [7]．本稿では，用語

本実験では操作内容と発話を記録し分析した．

を再整理し「豊かな表現」の要素を以下の 5 つに分類した．

その結果，6 名中 5 名から「音量の制御が困難」「複数パ• 「音の強弱」：発音の瞬間の音量による表現ラメータの同時制御が困難」という意図の発言が見られた．

• 「発音の間隔」：発音のタイミングや音の長さをずら

これは，既存楽器と異なる形状のインタフェースであるこすことによる表現• 「音量の変化」：発音後の無断階な音量の増加や揺らしなどの表現• 「音程の変化」：発音後の無断階な音程の揺らしなどの表現とと，1 つの指で同時に制御するパラメータが多いことが原因であると考えられる．
また，「一本指ソロイスト」は 1 つの Trackpad を連打するという特性上，「ひとつひとつの音が必ず途切れる」「発音直後の音量の制御が難しい」といった特徴のある音しか• 「音色の変化」：道具や奏法による表現

演奏できない．すなわち，全ての楽器の「豊かな表現」に現存する全ての楽器は再現演奏に上記の 5 要素の一部ま対応した演奏装置として不十分であることが分かった．

たは全てを付与することによって豊かな表現が成されていると言える．

4. 試作「一本指ソロイスト」の開発と評価

5. 豊かな表現の研究のための楽器分類「一本指ソロイスト」の実験から，様々なパラメータを同時に入力するインタフェースは使用者に本来の楽器と同様々な楽器の「豊かな表現」に対応した演奏装置の試作等の負担を与えてしまうことがあることが分かった．そこ

として，5 要素の全てを同時に制御するためのプロトタイで，提案するインタフェースの基準とするために，音の「豊プ「一本指ソロイスト」を開発した（図 1）．このシステかな表現」の要素を基準として既存の楽器を分類する．こムは，Interaction 2018 にて未評価であったデモを発表しれは，本研究におけるインタフェース考察において，楽器

た [7]．の特徴に応じたインタフェースの考察の足がかりになる．
さらに，この分類は豊かな表現（演奏表情）に関する研究

4.1 「一本指ソロイスト」概要全般のための指標として扱うことが出来ると考えられる．

「一本指ソロイスト」は MacBook の Trackpad と専用

豊かな表現の研究のための楽器分類は，以下の 4 つにアプリケーションから成る．使用者は Trackpad を任意のよって構成される（図 2）．ここで用いる分類用語は，本分類のための独自用語として用いる．また，例に上げる楽器© 2019 Information Processing Society of Japan342情報処理学会 インタラクション 2019
IPSJ Interaction 2019

図 2

1B-40
2019/3/6

豊かな表現の研究のための楽器分類概要
図 3 「だれでもソロイスト Proto」

は特殊な奏法や道具によって他の要素を扱える場合があるが，ここでは一般的な奏法による表現のみを扱う．

5.1 打楽器類
打楽器類は「音の強弱」と「発音の間隔」のみを扱える楽器を指す．ドラムなどのパーカッションのほか，ピアノ，木琴，鉄筋などが含まれる．

5.2 管楽器類
管楽器類は「音の強弱」，「発音の間隔」に加えて「音量の変化」と「音色の変化」を扱える楽器を指す．一般的に空気によって発音されるサックスやアコーディオンなどが含まれる．

図 4 「だれでもソロイスト Proto」で演奏する様子

6.1 「だれでもソロイスト Proto」概要
図 3 が開発した「だれでもソロイスト Proto」である．
使用者は，図 4 のようにボタン部（右上）を左手，スライダ部（左下）を右手に持つ．そして，左手でいずれかのボ

5.3 弦楽器類タンを任意のタイミングで押すことで予め設定された旋律

弦楽器類は「音の強弱」，「発音の間隔」に加えて「音程が自動で再現される．また，筐体の傾きで「音程の変化」，の変化」と「音色の変化」を扱える楽器を指す．一般的に右手のスライダで「音の強弱」を入力できる．「音程の変弦を弾いた振動によって発音されるギターや三味線などが化」の操作は発音時の筐体の傾きを基準として，右手のボ含まれる．

タンを押しながら左手を上げると音程が上がり，左手を下げると音程が下がるというものである．「音の強弱」はス

5.4 複合楽器類

ライダの絶対位置によって入力する．

複合楽器は音の「豊かな表現」の要素の全てである「音の強弱」，「発音の間隔」，「音量の変化」，「音程の変化」，「音色の変化」を扱える楽器を指す．無断階な音程操作が可能

6.2 「だれでもソロイスト Proto」システム構成「だれでもソロイスト Proto」は筐体のみで構成されてな管楽器であるトロンボーンや，弦を擦ることよって無断おり，PC に接続することで USB ケーブルを介して MIDI階な音量操作が可能なバイオリン，また電気信号によって信号を送信することが出来る．図 5 は「だれでもソロイス発音する電子楽器などが含まれる．
これらの分類は，それぞれにおいて演奏表情付け研究や豊かな表現に着目した演奏装置の研究の足がかりにできる．

6. 「だれでもソロイスト Proto」の開発と評価
本研究では，この中から弦楽器類に注目して研究を行った．正しい音階の演奏をシステムによって支援し，弦楽器類にて表現される「音の強弱」，「発音の間隔」，「音程の変化」の表現を容易に行える演奏装置として「だれでもソロイスト Proto」を開発した．

© 2019 Information Processing Society of Japan

図 5 「だれでもソロイスト Proto」システム構成図343

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-40
2019/3/6「だれでもソロイストト Proto」のシステム構成図である．

楽器類では操作されない要素である「音量の変化」が容易

Proto」は各種センサと Arduino を用いて実装した．センに操作できる可能性を発見した．そこで，現在「だれでもサはボタン，スライダ，加速度センサを用いており，これソロイスト Proto」の欠陥を修正しつつ，複合楽器類に対らの情報を Arduino によって管理する．Arduino 本体内部応した演奏装置として「だれでもソロイスト G」の制作をに Moco という変換プログラムを設置することで，センサ行っている．実際に演奏装置として扱えるような機能と外群の数値を元に MIDI 信号を送信し，受信したデバイスが装を実装し，Interaction2019 にてデモを行う．”弦”楽器類

MIDI 信号をもとに発音する．

を参考に制作しているため，「G」と命名した．

また，単純にセンサ群を接続すると，ボタンを押した際の衝撃に加速度センサが反応してしまい音程が大きく外れ7.1 「だれでもソロイスト G」概要てしまう問題が発生した．そこで，プログラム上でローパ「だれでもソロイスト G」の基本的な操作方法と構造はスフィルタを実装しノイズを軽減することでこの問題を解「だれでもソロイスト Proto」と同じである，「だれでもソ消した．

ロイスト Proto」との差異は以下のとおりである．

7.1.1 「音量の変化」の入力の対応
6.3 「だれでもソロイスト Proto」評価「だれでもソロイスト Proto」ではスライダで「音の強「だれでもソロイスト Proto」の有用性の評価のため，音弱」を入力していたが，そのスライダを用いて「音量の変楽を好んで鑑賞する大学生 12 名を対象に評価実験を行っ化」の入力に対応する．送信する MIDI 信号は，「音の強た．被験者に「だれでもソロイスト Proto」の操作方法を弱」は「Velocity」，「音量の変化」は「Expression」とし，説明し，3 分間の練習時間を設けた後，本演奏を行わせこれらを Arduino から制御する．

た．楽曲は有名かつリズムが単純なギター楽曲「1090 〜

7.1.2 インタフェースの改善

Thousand Dreams」を用いた．本演奏にて演奏された音と図 6 は「だれでもソロイスト G」で使用するセンサ郡で発話を記録し，その後インタビューを行った．「だれでもソある．
「だれでもソロイスト Proto」において，発音直前のロイスト Proto」は MacBook に接続して使用した．MIDI「音程の変化」に対応できないという欠陥があった．この信号によって発音する音はエレキギターの音を用いた．エ

原因は「音程の変化」を操作する筐体の傾きの入力が発音

レキギターの音は，MacBook でデジタル・オーディオ・時を基準とした相対的なもののみであることである．そこワークステーション（DAW）[8] を起動し，ギター音源 [9]で，ジョイスティックによる絶対的な入力インタフェースとエフェクタ [10] を入力し再現した．インタビューでは，を追加し，筐体の傾きとの両方で「音程の変化」を制御で「演奏したというインタラクションを感じるか」，それぞれきるよう開発する．のセンサについて「意図通りの演奏を行えたか」，「演奏やまた，「だれでもソロイスト Proto」は筐体の操作で楽曲操作でどのような問題点があったか」を主に調査した．の変更が行えなかった．そこで，「だれでもソロイスト G」

その結果，12 名中 12 名から「演奏したというインタラでは切り替えるためのロータリエンコーダと情報を表示すクションを感じる」，12 名中 11 名から「意図通りの演奏る 7 セグメントディスプレイを追加し，機能を開発する．

を行えた」といった評価を得られた．また，ボタンによる7.1.3 立体デザイン「発音の間隔」の入力，筐体の傾きによる「音程の変化」の「だれでもソロイスト Proto」では，マイクロコンピュー入力は直感的に操作できたという意見が多く見られた．

タやセンサ群を板に貼り付けたのみの簡略的なものを制作

しかし，このプロトタイプは発音直前の「音程の変化」した．「だれでもソロイスト G」は演奏装置として扱いやに対応できていないことがわかった．また，参加者のスラすく，かつ使いたくなるような形状にデザインして制作すイダの操作に難しいという意見が少なかったことから，使用していたスライダを用いることで「音量の変化」を容易に操作できると考えられる．
また，本演奏にて記録した演奏を評価実験に参加していない大学生 6 名に鑑賞させ，「豊かな表現を感じるかどうか」「上手な演奏であるか」について 5 段階評価 (1 5) のアンケートを行った．その結果，それぞれの平均は「豊かな表現を感じるかどうか」が 4.16，「上手な演奏であるか」が3.67 であった．

7. 本制作「だれでもソロイスト G」「だれでもソロイスト Proto」の評価実験において，弦© 2019 Information Processing Society of Japan

図 6 「だれでもソロイスト G」で使用するセンサ郡

344

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-40
2019/3/6

8.2 「だれでもソロイスト K」の開発
本研究では音符記号に基づく発音をシステムが行い，演奏者が音に変化をつける行為に専念できる演奏装置という目標に対して弦楽器類からアプローチした．そして，本論文で弦楽器類から提案した「だれでもソロイスト G」は「音程の変化」が直感的に行える演奏装置である．しかし，豊かな表現の研究のための楽器分類における管楽器類もまたこの目標に対するアプローチとなりうる．すなわち，管楽器類から提案した「だれでもソロイスト K」は「音量の変図 7 「だれでもソロイスト G」造形プロトタイプの一例化」をより直感的に行える装置が実装できると考えられる．

9. まとめる．制作にはスタイロフォームで形状を作成しパテで硬化

演奏は楽譜の音符記号に基づいて発音し，演奏記号を解させる手法を用いる．現在，立体デザインのプロトタイプ釈して音に変化をつけ，楽曲を再現する行為である．そしとして図 7 などを制作している．形状の決定後，内部を削て，楽譜の音符記号に基づいた発音のためには様々な演奏りマイクロコンピュータやセンサを設置する．

技術が求められるため，楽器演奏そのものが難しく敷居の高いものであった．しかし，誰もが直感的に行える「演奏」

7.2 「だれでもソロイスト G」評価
「だれでもソロイスト G」の評価項目は．以下の 3 点を予定している．

である「歌唱」のためのカラオケが広く普及していることから，難易度の低い楽器の演奏体験が有用であることは明らかである．そこで本研究では，正しい音階の演奏を支援• 演奏者が演奏したというインタラクションを感じるかすることで音量などを表現する演奏に集中し楽しめる演奏• 演奏者が意図通りの演奏を行えるかどうか装置のインタフェースについて研究を行ってきた．その結• 第三者が演奏を聞いて豊かな表現を感じるかどうか

果，特別な技術を持たないユーザが豊かな表現を含む意図

これらを検証するため，12 名の演奏とその様子を記録する演奏を行えるプロトタイプが開発できた．

し，演奏者へのインタビューと第三者による演奏データのただし，本研究で提案する演奏装置は，従来の楽器より評価を予定している．

単純ではあるものの演奏技術が求められる．演奏者は，少8. 今後の展望なくとも演奏する旋律のリズムを記憶し，そのリズムに合わせてボタンを押しつつデバイスを傾けたりスライダを操

8.1 J5 による設定の簡略化作したりする必要がある．これらより，使用者によって演現状のシステムでは機能の変更や楽曲の変更を行うため奏の質に差が生まれ，評価実験に置いても演奏しているとには Arduino 内部のプログラムをその都度書き換える必いうインタラクションを強く感じられたと考えられる．

要があるため，音源によって多様な音色の変化の設定が困

本研究では，そういった演奏装置を考察する足がかりを難である．そこで，Arduino 内部のプログラムを書き換え示しつつ，弦楽器の特徴を持つ音に対応した演奏装置「だることなくコンピュータ内のプログラムで制御できる技術

れでもソロイスト Proto」を制作し，有用性を確認した．

「Johnny-Five」を用いた再設計を検討している（図 8）．従さらに，現在全ての旋律を奏でる楽器に対応した演奏装置

来の Moco 式に比べ，コンピュータ側でソフトウェアを立「だれでもソロイスト G」を開発している．

ち上げる負担が発生するものの，発展性や設定の自由度の向上が見込まれる．

参考文献
[1]

[2]

[3]

[4]
図 8

Johnny-Five を用いた場合のシステム構成図© 2019 Information Processing Society of Japan

JAPAN, K.: KAOSSILATOR PRO+, (online), available from ⟨https://www.korg.com/jp/products/dj/
kaossilator_pro_plus/⟩ (visited on 2018-12-20).
Kanebako, J.: Mountain Guitar, (online), available
from ⟨http://kanejun.com/works_mg.html⟩ (visitedon 2018-12-20).
Fukuya, Y., Takegawa, Y. and Yanagi, H.: International
Computer Music Conference Proceedings, Vol. 2013 (online), available from ⟨http://hdl.handle.net/2027/
spo.bbp2372.2013.007⟩ (2013).
ROLI: Seaboard RISE, (online), available from ⟨https://www.mi7.co.jp/products/roli/seaboardrise/⟩(visited on 2018-12-20).

345

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

[5]

[6]

[7]

[8]

[9]

[10]

1B-40
2019/3/6

谷 井 章 夫 ，片 寄 晴 弘： 音 楽 知 識 と 技 能 を 補 う ピ ア ノ
演奏システム”INSPIRATION”，情報処理学会論文誌，Vol. 43, No. 2, pp. 256–259（オンライン），入手先 ⟨https://ci.nii.ac.jp/naid/110002726176/⟩ (2002).
大島千佳，宮川洋平，西本一志： Coloring - in Piano：
表情付けに専念できるピアノの提案，情報処理学会研究
報告音楽情報科学（MUS），Vol. 2001, No. 103, pp. 69–74（オンライン），入手先 ⟨http://ci.nii.ac.jp/naid/110002935768/ja/⟩ (2001).
川島奨大，柳英克，美馬義亮： コンピュータ・ミュー
ジックを豊かな表現にするための入力支援システムの提案，IPSJ Interaction 2018, pp. 732–735（オンライ ン ），入 手 先 ⟨http://www.interaction-ipsj.org/proceedings/2018/data/pdf/2B52.pdf⟩ (2018).
Cockos: REAPER — Old Versions, (online), available
from⟨https://www.cockos.com/reaper/
download-old.php?ver=0x⟩ (visited on 2018-12-20).
AMPLESPUND: Ample Guitar P II, (online), available
from ⟨https://www.amplesound.net/en/pro-pd.asp?
id=3⟩ (visited on 2018-12-20).
Native Instruments:
Komplete :ギ タ ー :
Guitar Rig 5 Player，（ オ ン ラ イ ン ），入 手先⟨https://www.native-instruments.com/jp/products/komplete/guitar/guitar-rig-5-player/⟩(visited on 2018-12-20).

© 2019 Information Processing Society of Japan346