情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B52
2018/3/5

コンピュータ・ミュージックを豊かな表現にするための入力支援システムの提案
川島奨大†1柳英克†1

美馬義亮†1

概要：従来の楽曲は，作曲家が作成した楽譜を，演奏家が解釈し再現することで表現してきた．コンピュータ・ミュージックは，作曲家が作成した楽譜データをコンピュータに入力し，コンピュータが演奏する．その際には，従来の楽曲のような演奏家による楽曲の解釈と再現が行われないため，作曲家はそれらの厳密な数値による各種パラメータ入力が求められる．しかし，演奏家が行なっていた解釈して再現するために必要なパラメータを数値化することは，特別な機材やそれを扱う技術がなければ困難である．そのため，一般的なコンピュータと周辺機器のみで制作するコンピュータ・ミュージックは単調で機械的になりがちである．本研究では，演奏家が行なっていた解釈して再現するために必要なパラメータを，音の強弱・速度の変化・発音後の音程変化・発音後の音量変化・音色に分類した．また，それらを入力するための支援システムとして，専用のソフトウェアと一般的なトラックパッドを用いた支援システムを提案する．

Proposal of input support systemfor expressing computer music abundantly
SHOTA KAWASHIMA†1 HIDEKATSU YANAGI†1YOSHIAKI MIMA†1
Abstract: Conventional songs have been expressed by the musicians interpreting and reproducing the musical scores created bycomposers. In computer music, musical score data created by a composer is input to a computer, and the computer plays. In thatcase, interpretation and reproduction of music by the musicians like traditional music are not performed, so composers are required
to input various parameters by their exact numerical values. However, it is difficult to digitize the parameters necessary forinterpreting and reproducing the performer that the performer was doing, without special equipment and techniques for dealing
with it. Therefore, computer music produced only with general computers and peripheral devices tends to be monotonous andmechanical. In this research, we classified the parameters necessary for interpreting and reproducing by the musicians into soundintensity, speed change, pitch change after sound generation, volume change after pronunciation, tone color. In addition, we propose
support system using dedicated software and general trackpad as a support system for inputting them.

1. はじめに
近年，パーソナル・コンピュータの発達により，コンピcantabile（歌うように）やenergico（力強く），pesante（重々しく）のように，音の強さや速さなどを具体的に示さず，演奏者の解釈を想起させるようなものである．

ュータ・ミュージックが普及している．しかし，コンピュータ・ミュージックは，従来の作曲環境で生まれる音楽に比べ単調で機械的になりがちである．はじめに，その原因について述べる．
図 1 は従来の音楽活動の流れの図解である．従来の作曲環境において，作曲家は楽譜を制作する．演奏家は，その楽譜に記された音の情報を理解し，演奏方法を決定する．
その際，楽譜からその楽曲がどのような雰囲気・表情であ

図 1
Figure 1

従来の音楽活動の流れ
Conventional music activity flow.

るかを自身の経験と照らし合わせながら解釈し，楽器演奏技術を駆使して再現する（色付き部）．作曲家は，リズム・コンピュータを用いる作曲環境において，従来の演奏家

音高・音長を示す音符記号の他に，それだけでは表せないの役割はコンピュータが担う．コンピュータは与えられた表現を演奏者に伝えるため，表現記号と呼ばれる記号を記楽譜データを必ず忠実に再現することができる．しかし，述する．表現記号には，強弱や速度の変動を示すもののほコンピュータは従来の作曲家が行なっていたような表現記か，より曖昧な比喩的表現の発想記号が存在する．例えば，号の解釈とそれを元にした再現（図 1 色付き部）を行うこ†1 公立はこだて未来大学
Future University Hakodate© 2018 Information Processing Society of Japan732

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B52
2018/3/5とはできない．そこで，作曲家は楽譜データに曖昧なままこのような表現は，まとめると音量・音程・音色・リズ表記されていたようなそれぞれの音のリズム・音高・音長ムの 4 つに分類することができる．本研究では，これらのなどの情報を厳密に入力する必要がある．しかし，演奏家入力を柔軟に行える入力支援を目標とする．

が行なっていた解釈を数値化することは難しい．そういった表現を支援するための機材として，MIDI キーボードや2.2 現存するファイルシステム・インタフェース

MIDI ギター，ウインド MIDI コントローラなどのインタフ

2.2.1 SMF

ェースが存在する．これらは，実在する楽器の演奏操作をSMF(Standard MIDI File)は，一般的な楽譜データ形式で数値に変換し入力することができるが，演奏するための技ある．非常に多くの作曲環境で用いられており，ほとんど術が求められる．一般的なコンピュータと周辺機器のみでの OS 上において無料で再生することができる．また，複入力する場合，現存するファイルシステムやユーザインタ数の楽器を同時に再生することができる．SMF に含まれるフェースではこれらの入力が困難であるため，コンピュー情報は，それぞれの音符の発音時の音程・音長・発音時のタ・ミュージックは従来の音楽環境に比べ単調になりがち音量・タイミングと，楽器全体の発音後の音程・音量であである．

る．そのため，発音後の音量・発音後の音程の変化の表現

本研究では，こういった問題に対し，特別な機材を扱う技術を持たない作曲家が，コンピュータの理解できる形式を行うためには複雑な工夫が必要であり，音色は大まかな種類以上の細かな制御が不可能である．

で豊かな表現を入力することの支援を目的とし，直感的に様々な表現ができるような入出力支援システムの開発を目

2.2.2 ピアノロール
ピアノロールは，コンピュータを用いる作曲活動のため指す．に独自に発展・最適化された入力ユーザインタフェース形式である[図 2]．音程と音長を可視化することにより，視覚2. 豊かな音楽表現と現存の環境について的に楽曲構成を入力することができる．しかし，それぞれ2.1 演奏者の音楽表現技術の音の音量を一つずつ入力する必要があるなど，音程と音演奏者が演奏を感情豊かに表現するために意識している長以外の入力は困難である．

要素として，ディナーミクとアゴーギグが挙げられる[1]．
ディナーミクとは，発音時の音の強弱の表現を指し，アゴーギクはそれ以外の表現を指す．アゴーギクの具体例として，速度の変化，発音後の音程の変化，発音後の音量の変化，音色の変化が挙げられる．発音後の音程の変化とは，ビブラート，チョーキング，プリング，ハンマリングなどの表現を指し，ギターなどの楽器において表現に強い影響を与えている[2]．音色の変化は，使用する道具の違いや演奏方法の違い，エフェクトの調整などによって生まれる表
現を指す．
これらの表現の種類は，楽器の種類によって使用できる

図 2

ものとできないものがある．本研究では，打楽器，鍵盤楽

Figure 2

ピアノロールの例
Example of a piano roll.

器，弾く弦楽器，擦る弦楽器，管楽器に分類し，表 1 のように分析できた．
表 1
Table 1楽器

3. 先行事例
音楽表現技術の制限分析

3.1 先行研究

Restriction analysis of music expression technology.
音の強弱

速度の変化

発音後の音程

発音後の音量

音色

打楽器

○

○

○

鍵盤楽器

○

○

△

弦楽器
(弾)

○

○

○

弦楽器
(擦)

○

○

○

○

○

管楽器

○○

△

△△

○

コンピュータが演奏する楽譜データに対して，表情の豊かさや自然性を付加するための研究分野として，「演奏表情付け」が挙げられる．演奏表情付け研究は，コンピュータが自動的に楽譜を判断し表現を付加する手法を研究する自律システム研究と，演奏主体を人間においてインタフェースや処理の自動化の手法などを研究する表情付け支援研究に分けられる．本研究は表情付け支援研究に分類できる．
表情付け支援研究の事例として，VirtualPhilharmony[3]が挙げられる．これは，指揮者経験者が両手にセンサーを装着© 2018 Information Processing Society of Japan733

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B52
2018/3/5

した状態で，両手を振ることで，リアルタイムにテンポの抑揚や音量の変化などの情報を付加するものである．しかし，このシステムは手の振る大きさと速さを入力としているため，先に挙げた 4 つの表現要素を入力するには不十分である．
また，音程の制御を試みている事例の一つである GuitarCase Maker[4]は，ギターソロにおける音量・音程の制御を行うものであり，実際の運指を推定することでより人間の演奏に近い表現を目指している．しかし，これは事例によるデータベースを用いた自動制御を行なっている自律シス
テム研究であり，作曲者の意図を反映するものではない．
図 4
3.2 先行事例

Figure 4

KAOSSILATOR PRO+ [8]KAOSSILATOR PRO+.

コンピュータ・ミュージックの入力支援製品事例として，Seaboard[5]が挙げられる（図 3）．これは，一般的なキーボードの鍵盤部分が一体型の柔らかい素材になってお4. 本研究で提案するシステム

り，鍵盤それぞれの圧力・縦揺れ・横揺れとタイミングを本研究では，音程と音長のみが入力された SMF データ入力として受け付けることができる．しかし，鍵盤上であと，一般的なノートパソコンに搭載されているトラックパることと，触り心地が独特であることから，入力は容易でッドによるリアルタイム操作を入力とし，演奏表情が埋めなく，練習が求められる．

込まれた楽譜データを出力するようなシステムを提案する．
提案するシステムのユーザフローは以下の通りである．
ユーザは，制作した SMF データをシステムに読み込ませたのち，登録されている楽器の中から一つを選ぶ．その後，トラックパッドを押すと，SMF データ内の音程が順番に鳴る．つまり，トラックパッドをリズムよく押すことで，その SMF データ内の音をリアルタイムに擬似演奏することができる．また，押している指をそのまま上下左右に動かすことで，発音後の音量や音程を細かく操作することができる．満足のいく演奏が完成すれば，その演奏時の表現が埋め込まれた SMF データを出力できる．

図 3

Seaboard [6]Figure 3

Seaboard.

これにより，これまで入力が困難だった細かい音程・音量・リズムの入力を直感的に行うことができる．また，操作する場所は一ヶ所なため練習コストもほとんどない．

また，KAOSSILATOR PRO+[7]は，パッドに指を置いて撫開発するうえで注意しなければいけない点は，トラックでるだけで様々な表現を入力することが可能である．横軸

パッドとパラメータの連携における数値変化のマッピング

は音程，縦軸は楽器によって音量か音色，またはその両方と，出力する SMF ファイルの構成である．z（注意する必が対応している．操作は Seaboard に比べ直感的であるが，要性については 2.2.1 を参照．前提条件として，同時に 2 つ入力できる動作は平面上の移動のみであるため Seaboard に以上の音が鳴らない楽譜である必要がある．）

劣る．また，これらの製品は高価であり，利用できる作曲者は限られる．

現在，このプロトタイプとして，1 つの音に対して音量と音程をトラックパッドで操作できるシステムを制作・評
価実験中である．指の動く距離とパラメータの変動させる値の割合の検証や技術の検証を行っている．
4.1 提案するシステムの展望先に述べたシステムとそのプロトタイプは，一般的なノートパソコンでの動作を前提としている．これは，作曲者の負担をより減らすための考慮である．しかし，一般的なノートパソコンに搭載されているトラックパッドでは，押© 2018 Information Processing Society of Japan734

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B52
2018/3/5

すタイミングと，押しながらの上下左右の移動の 3 次元的入力しか行えない．また，一般的な SMF データ形式では音色の変化を記録できない．そのため，表現の要素である音量・音程・音色・リズムの 4 次元的入力には対応していない．そこで，展望の一つとして Apple Magic Trackpad2[9]の活用を視野に含めている．これは，一般的なトラックパッドのような物理ボタン式ではなく，トラックパッドにかかっている圧力をセンサリングして操作を判定している． また，同様の機能を持つトラックパッドが 2015 年以降のMacBook Pro に搭載されている．トラックパッドに入力された圧力の値は，最大 5 段階まで分解し取得することが可能である[10]．これにより，擬似的に 4 次元的入力が可能になるため，実装難易度や効果について分析・検討する予定である．

参考文献“ピアノ演奏の表情を豊かにするデュナーミクとアゴーギク”. https://www.youtube.com/watch?v=Mj0rUenVvAU, (参照2017-10-22).
[2] “ギターレッスン【感情豊かなギターを弾くには】音色に魂を吹き込む練習法”.
https://www.youtube.com/watch?v=sfAqZKKBR2s, (参照 201710-22).
[3] 馬場 隆 ,橋田 光代 ,片寄 晴弘 . 指揮システム：“VirtualPhilharmony”楽器ごとの個別タイムラインによるスケジューラ管理. 研究報告音楽情報科学, 2012, MUS-94, vol. 26,p. 1-6.
[4] 水本 直希, 馬場 隆, 北原 鉄朗, 片寄 晴弘 . エレキギターの表情付け支援システム「Guitar-Case Maker」. 研究報告音楽情報科学, 2012, MUS-94, vol. 30, p. 1-8.
[5] “Seaboard: The Future Of The Keyboard | ROLI”.
https://roli.com/products/seaboard/, (参照 2017-11-14).
[6] “Seaboard(image) ”.
https://static.keymusic.com/products/237237/XL/roli-seaboardrise-25-6.jpg,(参照 2017-12-24).
[7] “KAOSSILATOR PRO+ - DYNAMIC PHRASESYNTHESIZER/LOOP RECORDER | KORG (Japan)”.
http://www.korg.com/jp/products/dj/kaossilator_pro_plus/, (参照2017-11-14).
[8] “KAOSSILATOR(image)”.
http://cdn.korg.com/jp/products/upload/
ded2b7f55674c7b39d65b6dbaf927f19_pc.jpg,(参照 2017-12-24).
[9] “Magic Trackpad 2 - Apple（日本）”.
https://www.apple.com/jp/shop/product/MJ2R2J/A/magictrackpad-2, (参照 2017-11-20).
[10] “NSMultiLevelAcceleratorButton - AppKit | Apple Developer
Documentation”.
https://developer.apple.com/documentation/appkit/nsmultilevelacceleratorbutton, (参照 17-11-20).
[1]© 2018 Information Processing Society of Japan735