情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-05
2019/3/6

旋律概形と筆圧感知を用いた作曲支援システム
安原茜1

藤井潤子1

北原鉄朗1

概要：本論文では, 誰でも気軽に作曲ができるようにタブレット画面に入力された旋律概形と筆圧を用いた自動作曲支援システムについて述べる. 北原らによる旋律概形からメロディ生成するシステム JamSketchに, 旋律概形に応じてリズムを付け, 筆圧の強さを用いて音の強弱を付ける機能を追加する. これにより,音楽未経験者でもリズムの変更や音の強弱の変更を直感的に行うことができ, JamSketch よりも作曲の幅を広げることが可能となった. システムにより生成される演奏は, 機能を使いこなせば使いこなす程, ユーザの意思を反映させることができていることが確認された.

1. はじめに作曲支援における研究は数多く行われてきた. 旋律概形を用いて作曲するものとして, 北原らによる旋律概形からメロディ生成するシステム Jamsketch[1] やスマートフォンに搭載されたセンサーを用いてリズムと旋律概形の入力により背景楽曲のコード進行, ユーザの動きに適した作曲が行われる, 水野らによる演奏未経験者のためのスマートフォンセンサーを用いた即興合奏支援システムの試作 [2] が図 1 JamSketch の画面側あげられる. ピアノを用いて作曲するものとしては, ピアノにテンポや音の強弱, 音の高低, 同時入力音数などユーザのおおまかな演奏意図を保持し, 音楽知識, 技能を補完することによって演奏を楽しむことができる, 谷井らによる音楽知識と技能を補うピアノ演奏システム”INSPIRATION”[3]があげられる. 加速度センサを用いる作曲として, 靴に無線加速度センサを取り付け, ダンスを踊ることで, 音楽を演奏することができる藤本らによるウェアラブルダンシング
演奏システムの設計と実装 [4] があげられる.

図 2

旋律概形から生成されるメロディ

この中でも, 既存研究の JamSketch は, 描いた旋律概形を考慮したメロディが出来上がるので, 直観的に作曲することができ, 専門的な知識を必要としないため, 誰でも簡単に作曲を楽しむことができる. しかし, 現在のシステムで分に波線を書くことで, 波線の大きさによってリズムを定は, ユーザの意思が作曲に反映される部分は, 旋律概形によめることとする. 音の強弱の変更については, 筆圧の感知る音の高低差のみである. そのため, ユーザの作曲に対すが可能なタブレットを使うことを前提とし, 筆圧により強る自由度が低いので, 改善したい.

弱を決めることとする. 出口の液晶タブレットを使用して本研究ではユーザがリズムを変更したり音に強弱を付け旋律を生成するシステムに関する研究 [5] において, 入力中ることができるよう JamSketch を拡張する. ここで, 重要の筆圧値を表示せずとも, ユーザは強い/弱いの 2 段階であなことは, 直観的に操作できることである. 本稿では, リズ

れば筆圧の強さを使い分けられることが明らかになっていム変更について, 旋律概形におけるリズムを変更したい部る. そこで, 筆圧の強さを音の強さ (ベロシティ) に反映させることで音の強弱の制御を可能にする.

1日本大学文理学部© 2019 Information Processing Society of Japan483

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

表 1s

2A-05
2019/3/6

表 2 音の強弱の変更

リズムの変更

音符密度

1 小節あたりに入る音符数

0〜10

高い

11〜50
51〜

12

筆圧の強さ

筆圧

ベロシティ

強い3000〜

127

2000〜2999

80

1000〜1999

50〜999

30

6
低い

2

弱い

2. システム概要
2.1 JamSketch
横軸を時間, 縦軸を音の高さとするピアノロール画面 (図1) にマウスやタッチスクリーンを用いて旋律概形を描画す

3. システム内部処理
3.1 旋律概形によるリズムの変更

ると, 即座にその概形に沿ったメロディが生成される (図JamSketch のリズムは, 旋律概形の傾きとデーターベー2). 12 小節分が 1 画面に表示され, 左から 12 小節分曲が再スと 1 小節あたりに入る音符数を考慮し, 決定する. 本シス

生されると新しい画面に変わる.

テムでは, 入力された旋律概形とそれを平滑化したものの差を求めることで, 音符密度の制御を目的とした微細変動を抽

2.2 本稿における 2 つの拡張
本稿では, JamSketch にユーザが意図的にリズムを変更出する. いま, 旋律概形を y(t) とし, それに対して移動平均∑τ −1により平滑化を行ったものを ȳ(t) = τ10 τ0=0 y(t + τ )(現する. どちらの機能についても, ユーザが直観的に行って在の実装では, τ√0 = 50) とする. 両者の差 δ(t) = ȳ(t) − y(t)∑T −112に対して, s =t=1 (δ(t + 1) − δ(t)) (T :1 小節あT −1もらうために, 音の高低差を決めるために描く旋律概形をたりの要素数) を求め, この値により音符密度を決定する.

描きながら指定することができるようにする. さらに, 描リズムの決定の範囲は, 1 小節ごととする. s と音符密度のいた線が視覚的にもどのような演奏になるか推測できるよ

対応関係を表 1 に示す.

できる機能と音の強弱を変更することができる機能を追加うにする. そこで, リズムの変更機能は, リズムを変更した
い箇所に波線を描いてもらうことで, 波線の大きさに応じて, リズムを変更することとする. 音の強弱の変更機能は,

3.2 筆圧による音の強弱の変更
本システムでは, 描いている箇所の筆圧を取得するため旋律概形を描いているときの筆圧に応じて音の強弱をつけに, ペン先が触れている x 座標, y 座標, 筆圧を出力してくることとし, 筆圧に応じて描いた線の太さを変更することれるライブラリ「JWinPointer」[3] を用いた. 音の強弱ので, 視覚的に音の強弱が分かるようにする.

変更は, ベロシティを変更することとした. 筆圧と線の太2.2.1 旋律概形によるリズムの変更

さとベロシティの対応関係を表 2 に示す.

メロディのリズムを自由に制御するのは困難であるため,ここではメロディの音符密度のみを制御する. 音符密度が4. システム実行例

高い場合は符点 8 分音符のような短い音符が数多く配置さリズムの変更を実際に行った実行例を図 3 に示す. 前半

れ, 音符密度が低い場所には 2 分音符のような長い音符がに描いたい小さい波線の箇所が, ピアノロールを見てみる少数配置される. この音符密度を旋律概形に微細な変動をと 3, 4, 5 小節目が 1 小節あたり音符数が 12 個であること加えることで制御する. 音符密度を上げたいときは, 周期から小さい波線を描いた箇所が音符密度を上げることがでと振幅の小さい変動を加え, 音符密度を下げたいときは, 周きていることが分かる. 後半に描いた大きい波線の箇所は,期と振幅の大きな変動を加える. リズムと波線の対応関係ピアノロールを見ると, 8, 9, 10, 11, 12 小節目が 1 小節あを表 1 に示す.

たり音符数が 2 個であることから大きい波線を描いた箇所

2.2.2 筆圧による音の強弱の変更が音符密度を下げることができていることが分かる.

ユーザの入力する筆圧を 4 段階に分け, 音の強弱を定め音の強弱の変更を実際に行った実行例を図 4 に示す. 初た. 筆圧を 4 段階に振り分けることで, ユーザの細かなこめから中盤にかけて徐々に太く描かれている部分が, ベロだわりにもある程度対応でき, 筆圧の調整もしやすいと考シティ表示では, 1〜4 小節が徐々に上がっているのが分かえた. 筆圧と線の太さの対応関係を表 2 に示す.

る. 後半の線の太さが細い, 太いを繰り返している部分が,ベロシティ表示では 7〜11 小節にかけて上がり, 下がりを© 2019 Information Processing Society of Japan484

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-05
2019/3/6

5.1 実験方法
本システムを初めて使ったときに使いこなせるかどうかと, ある程度使いこなせるようになったときにどのような振る舞いをするかを明らかにするため, 実験１と実験２に分けて実験を行った.

5.1.1 実験１ (リズム機能)実験は次の手順で行った.

( 1 ) 本システム（リズム機能無し条件）の使い方を説明する.

( 2 ) リズム機能無し条件で 5 分間自由に練習してもらう.
( 3 ) リズム機能無し条件で 48 小節（4 画面分）作曲をしてもらう. このとき, スクリーンショットと生成されたMIDI データを記録する.
( 4 ) リズム機能有り条件での本システムの使い方を説明する.

( 5 ) リズム機能有り条件で, 実験者の指示通りに旋律概形
図 3 旋律概形を用いたリズムの変更を描く練習をしてもらう.

( 6 ) リズム機能有り条件で 5 分間自由に練習してもらう.
( 7 ) リズム機能有り条件で 48 小節（4 画面分）作曲をしてもらう. このとき, スクリーンショットと生成されたMIDI データを記録する.
( 5 ) における実験者の指示は「10, 11, 12 小節のあたりのリズムはゆっくりにしてください」「全て一定のリズムにしてください (リズムは, どの速さでも良い)」「最初はリズムを速くし, 真ん中でリズムを標準にし, 最後はリズムがゆっくりになるようにしてください」の 3 つとした. 順
序効果を防ぐため, 被験者の半数は ( 1 )〜( 3 ) と ( 4 )〜(7 ) を入れ替えて実施した.
実験後には, 次の質問に答えてもらった.

Q1 線の描き方を変えることでリズムを変更することは思い通りにいきましたか

Q2 自分の思い通りにリズムにメリハリを付けることができましたか

Q3 描いた線は思い通りのリズムになりましたか
図 4 筆圧を用いた音の強弱の変更

Q4 リズムをつけることができる機能が必要だと感じましたか

Q5 このシステムを使ってみて楽しかったですか
繰り替えしていることが分かる.

5. 被験者実験

5.1.2 実験 1(筆圧機能)「リズム機能」が「筆圧機能」になる以外は, 5.1.1 節の手順と同様である. ただし, ( 5 ) における実験者の指示は

JamSketch に新たに実装したリズム（音符密度）変更機「全て音を弱くしてください」「9 小節が一番音が強くなる能（以下, リズム機能と呼ぶ）と筆圧機能の有効性を検証ようにしてください」「1 小節から 5 小節にかけて徐々に音するため, 被験者実験を行った. ２つの機能を短期間のうを弱くし, 6 小節から 12 小節にかけては一定の音の強さにちに同時に使いこなすようになることは難しいと予想されしてください (一定の音の強さはどの強さでも良い)」としることから, それぞれの機能に対する実験は別々に行った.

た. また, 実験後の質問項目は次の 5 つとした.

すなわち, リズム機能の有り条件と無し条件を比較する際

Q1 筆圧により描く線の太さを変えることで音の強弱をには筆圧機能は無効にし, 筆圧機能の有り条件と無し条件を比較する際にはリズム機能は無効にした.

© 2019 Information Processing Society of Japan

付けることは容易でしたか

Q2 自分の思い通りに線の太さを変更することはできま485

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

表 32A-05
2019/3/6

被験者の音楽的背景あり (人)なし (人)

演奏経験

13

7

即興演奏

2

18

したか

Q3 自分が描いた線はの太さは, 思い通りの音の大きさになりましたか

Q4 音の強弱をつけることができる機能が必要だと感じ

図 5 実験 1(リズム機能)ましかQ5 このシステムを使ってみて楽しかったですか5.1.3 実験 2（リズム機能)
実験 1（リズム機能）に参加した被験者に日を改めて来てもらい, 次の手順で実験を行った.

( 1 ) リズム機能無し条件で 12 小節（1 画面分）作曲してもらう.

( 2 ) リズム機能有り条件で 12 小節（1 画面分）差曲してもらう.

( 3 ) ( 1 ) と ( 2 ) をあと 2 回繰り返す.

図 6

実験 1(筆圧機能)

いずれもスクリーンショットと生成された MIDI データは記録した. こちらも順序効果を防ぐため, 被験者の半数思う」と答えていたことから, 本システムによって楽しくは ( 1 ) と ( 2 ) を入れ替えて実施した.

作曲を楽しめることが分かった. ただし, JamSketch その( 1 )( 2 ) が終わるごとに, 次の 2 つの質問項目に答えてものの効果である可能性は高く, リズム機能の寄与は明らもらった.

かではない.

Q1 意図通りの演奏になりましたか.

5.3.2 実験 1(音の強弱)

Q2 演奏を聞いてみて気に入りましたか.
5.1.4 実験 2(筆圧機能)「リズム機能」が「筆圧機能」になる以外は 5.1.3 節の質問に対する回答を図 6 に示す. Q1 では 10 名中 2 名,

Q2 では 4 名, Q3 では 3 名が「そう思う」または「強くそう思う」と答えており, リズムに比べると, 意図通りの筆圧手順と同様である.

で旋律概形の太さを制御し, 音量を調節するのは, しやす

5.2 被験者

または「そう思う」と答えており, こちらも多くの人が筆かったと考えられる. Q4 は 10 名中 7 名が「強くそう思う」
被験者は大学生 20 名（21〜24 歳, 男性 9 名, 女性 11 名）

圧機能の必要性を認める結果となった. 実験後の感想としである. このうち, 10 人をリズム機能の実験に, 残りの 10て「音量の違いがよく分からなかった」と言っていた人も人を筆圧機能の実験に割り当てた. 上述の通り, 実験 1 とおり, メロディにおける音の強さを聞き分ける経験がない

実験 2 は被験者は共通である. 被験者の楽器演奏, 即興演

人には, 効果が分かりにくかった可能性がある. リズム機奏経験の人数は, 表 3 に示す. 楽器演奏経験の内訳は, 1〜3

能と異なり「強くそう思わない」と答えた人が 1 名いたこ

年が 4 人, 4〜6 年が 4 人, 7〜10 年が 4 人であった.とは, このことも関係している可能性がある. Q5 については, リズム機能と同様, ほとんどの被験者が楽しく作曲がで5.3 実験結果きたという結果になった. ただし, 筆圧機能がそれに寄与5.3.1 実験 1(リズム機能)したかどうかは明らかではない.

質問に対する回答を図 5 に示す. Q1, Q2, Q3 に対して5.3.3 実験 2(リズム機能)「強くそう思う」と答えた被験者がおらず, 「そう思う」と質問に対する回答を図 7, 8, 9, 10 に示す. リズム機能無答えた被験者が 3 名以下であったことから, 5 分という短し条件では，Q1 は 1 回目から 3 回目までいずれも「強くい時間内でリズム機能を使いこなすようになるのは難しそう思わない」と回答した人が 0 名，「そう思わない」と回かったと考えられる. 一方, Q4 には 10 名中 8 名が「そう答した人が 1 名であった. また, いずれの回も「強くそう思う」と答えていたことから, 十分に使いこなせなかった思う」と回答した人と「そう思う」と回答した人の合計が被験者も, リズム機能の必要性には理解を示していること80%であった. このことは, 1 回目から一定程度本システムが分かった. Q5 には全員が「そう思う」または「強くそうを使いこなせていたと考えることができる. リズム有り条© 2019 Information Processing Society of Japan486

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2A-05
2019/3/6

図 7 Q1(リズム機能なし)

図 9 Q2(リズム機能なし)

図 8 Q1(リズム機能あり)

図 10Q2(リズム機能あり)

図 11

Q1(筆圧機能なし)

図 12

Q1(筆圧機能あり)

件についても, 回を重ねるごとに評価が上がるような傾向は見られなかった. このことから, リズム機能に関しても 3回程度の試行では必ずしも習得度が上がるわけではないことがわかる. Q2 に関しては, 1 回目の試行では, リズム機能無し条件で「強くそう思う」と答えた人と「そう思う」と答えた人の合計が 50%であったのに対し, リズム機能有り条件では 30%と少なかった. リズム機能無し条件もリズ
ム機能有り条件も, 「強くそう思う」と答えた人の割合は減っているものの, 「強くそう思う」「そう思う」と答えた人の合計の割合は増えている. このことから, リズム機能がない方が最初は本人が気に入る旋律を作ることができるが, どちらの条件であっても, 試行を重ねるごとに自分好みの旋律を作るようになれることがわかる．

5.3.4 実験 2(音の強弱)
質問に対する回答を図 11, 12, 13, 14 に示す. Q1 に関しては, 筆圧機能無し条件では最初から「強くそう思う」「そう思う」と回答した人の合計が 90%に達していたのに対し, 2 回目, 3 回目では 60%であった. 一方, 筆圧機能有り

5.4 考察条件では 1 回目が 60%であったのに対し, 3 回目では 70%

5.4.1 JamSketchになっている. このことから, 筆圧機能は最初は必ずしも実験 2 のリズム機能なしと音の強弱機能なしの Q1 の 1使いこなせていたとは言えないが, 回を重ねるごとに適切回目において, 「強くそう思う」「そう思う」と回答したに使えるようになったものと推察される. Q2 に関しては,人が両方とも 80%以上であったことにより, 初めから本人

筆圧機能無しでは 1 回目から「強くそう思う」と「そう思の意思通りに音の高低差を付けることができていると分かう」の合計が 90%だったのに対し, 筆圧機能有りでは 1 回る. 初めて使用する人も回を重ねた人も差異なく使いこな目は 60%であった. しかし, 筆圧機能有りでは 2 回目およすことができると考えられる. しかし, 実験 2(リズム機能

び３回目は 70〜80%であり, 慣れることによって適切なメあり)Q2 において, 「強くそう思う」「そう思う」と回答しロディを生成できるようになることが推察される．

た人の合計が 1 回目 50%から 3 回目が 70%に増加してい© 2019 Information Processing Society of Japan487

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

図 132A-05
2019/3/6

図 15

Q1(筆圧機能なし)

筆圧の制御に気を取られて旋律概形が単調になった例(図 15). しかし, 回数を重ねると, 上手に音の強弱を付けることができるようになったと答えた人が 10 人中 6 人いた.
これより, 複雑な機能が付いていてもコツを掴めば, 作曲の幅が広がると考えられる.

6. おわりに
本稿では, JamSketch にリズム変更機能と音の強弱変更
図 14

Q1(筆圧機能あり)機能を追加し, 拡張した. リズム変更機能によって, ユーザの意思通りの旋律概形を作成することができることは示せ

ることより, 本人が気に入る旋律を作成することは, 回数をたが, ユーザの気に入った旋律を生成することは不十分で重ねるごとに上手になると考えられる.

あった. 筆圧機能によって, 回を重ねるとユーザの意思通5.4.2 リズムの変更りに筆圧を調整することができ, ユーザの気に入った演奏実験２ (リズム有り)Q1 より回数を重ねるごとに評価はができることを示した. 今後は, リズム変更機能によって上がらなかったことから, 3 回程度の試行では, 波線の大き作成した旋律概形をユーザが気に入った旋律に生成する精さを変更することによってリズムを変更することは, 難し度を上げ, 初めて使用する人でも簡単に筆圧の調整が出来いと考えられる. また, 本システムは, 使いこなせているがる工夫を検討する予定である.

思い通りの演奏にならないと答えた被験者が 10 人中 3 人

謝辞

本研究は，JSPS 科研費〈16K16180, 16H01744,いた. このことから, リズムの変更を旋律概形に表すこと

16KT0136, 17H00749〉およびサウンド技術・音楽振興財

はできるが本人の気に入った旋律を作ることができていな団から支援を受けた．

いと考えられる. しかし, 思い通りにするのは大変だったが, もっと使ってみたら上手くできるようになると答えた

参考文献

被験者もいた.

[1]

5.4.3 音の強弱の変更
実験 2(筆圧機能あり)Q1 の 1 回目が 60%, 3 回目が 70%
より, 筆圧の調整は回を重ねるごとに使えるようになる. さらに, 適切なメロディ生成もできるようになる. 10 人中 5[2]

人が筆圧機能ありを使用した後に筆圧機能なしを使用すると物足りなさを感じ, 自分の意思通りになったが強弱があれば, もっと雰囲気が変わると答えた. さらには, 10 人中 1

[3]

人が自分が意図していた通りになり, 強弱がでない演奏より気に入っていると答えた. このことから, 初めて使用す[4]

る人には筆圧を調整することは難しいがコツをつかむと音の強弱をつけた曲を作ることができるようになるものと推察される. この機能の問題点は, 筆圧を意識するあまり, 旋[5]

律概形に高低差を付けるのが難しくなることである. 実際,

1 人の被験者がこのアンケートで回答しており, スクリー
ンショットを見てみると 10 人中 4 人が筆圧を気にしすぎ[6]

Tetsro Kitahara, Sergio Giraldo, Rafael Ramirez:
JamSketch: Improvisation Support System with GAbased Melody Creation from User’s Drawing”, Proceedings of the 13th International Symposium on Computer
Music Multidisciplinary Research, pp.352–363, September 2017.
水野創太, 一ノ瀬修吾, 白松俊, 北原鉄朗, 演奏未経験者のためのスマートフォンセンサーを用いた即興合奏支援システムの試作, The 31st Annual Conference of the JapaneseSociety for Artificial Intelligence, 2017
谷井章夫, 片寄晴弘, 音楽知識と技能を補うピアノ演奏システム”INSPIRATION”, 情報処理学会論文誌 43(2),256-259, 2002-02-15
藤本実, 藤田直生, 竹川佳成, 寺田努, 塚本昌彦, ウェアラ
ブルダンシング演奏システムの設計と実装, 情報処理学会
論文誌 Vol. 50 No. 12 2900–2909 (Dec. 2009)
出口幸子, 液晶タブレットを使用して旋律を生成するシス
テムに関する研究, 情報処理学会研究報告エンタテインメ
ントコンピューティング（EC）, 2007(37(2007-EC-007)),25-30 (2007-05-10)
JWinPointer 入手先(http://www.michaelmcguﬃn.com/code/JWinPointer/)

た結果, 単調な線になってしまっているのが見受けられた© 2019 Information Processing Society of Japan488