平成 26 年度 卒業論文

手書き入力で盛り上がりを制御するループシーケンサ:
スペクトログラムから盛り上がり度の自動推定

指導教員 北原鉄朗准教授

日本大学文理学部情報システム解析学科
飯島孔右, 鶴岡亜也佳

2015 年 2 月 提出

i

概

要

今日、DTM は発達し、作曲は身近なものになってきている。ループシーケンサ
は、音素材を配置するだけで作曲できるため、音楽知識のない人が作曲する手段として期待されている。しかし、ループシーケンサにおいて音素材の選択は素材の量が増えるとともに意図したように選択する事が難しくなり、結果的に作曲する事も難しくなってしまう。
山下らは、盛り上がりをマウスで入力することで自動的に音素材が挿入される
ループシーケンサを提案した。だが、作曲できる曲の長さは短く、音素材に盛り上がり度を人手でラベル付けする必要があった。加えて、被験者実験を行っていないため、実際に本システムは音楽知識のない人でも簡単に曲を作ることが出来るかなどの検証がなされていなかった。
そこで我々は、音素材の盛り上がり度をスペクトログラムを利用して自動的に割り振る手法を提案すると共に、音楽知識のない人でも簡単に曲を作ることが出来るかなどの被験者実験を行った。その結果、盛り上がり度とスペクトログラム
は関係があり、作曲においても高い評価を得る事を示すことができた。

iii

目

目

次

次

iii

図目次

v

表目次

vii

第1章 序

論

1

1.1 本研究の背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2 目

的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

1.3 本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

第 2 章 関連システムと自動作曲システムへのアプローチ

5

2.1 関連作曲システム . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.1

関連作曲ソフト . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.1.2

関連研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.2 まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
第 3 章 システム構成

11

3.1 ループシーケンサの概要 . . . . . . . . . . . . . . . . . . . . . . . . 11
3.1.1

音素材の決定 . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.1.2

音素材の盛り上がり度の自動割り振り. . . . . . . . . . . . 14

iv
第 4 章 評価実験

15

4.1 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
4.2 結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
4.3 実験後のインタビュー . . . . . . . . . . . . . . . . . . . . . . . . . 18
第5章 結

論

23

参考文献

25

付 録 A 被験者との対話記録

27

A.1 被験者 1 との対話記録 . . . . . . . . . . . . . . . . . . . . . . . . . 27
A.2 被験者 10 との対話記録 . . . . . . . . . . . . . . . . . . . . . . . . . 38

v

図目次

1.1 山下らの提案したループシーケンサのシステム図 . . . . . . . . . .

2

3.1 システム図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
A.1 被験者 1 の比較用システムの作曲画面（映像 1 を使用） . . . . . . . 37
A.2 被験者 1 の本システムの作曲画面（映像 2 を使用） . . . . . . . . . 37
A.3 被験者 10 の比較用システムの作曲画面（映像 2 を使用） . . . . . . 46
A.4 被験者 10 の本システムの作曲画面（映像 1 を使用） . . . . . . . . . 47

vii

表目次

3.1 出力確率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4.1 一対比較法回答の一例 . . . . . . . . . . . . . . . . . . . . . . . . . 16
4.2 一対比較法回答結果 . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.3 事前アンケート . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.4 事後アンケート . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.5 自由回答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

1

第1章 序

論

本章では、研究の背景、目的などを過去の論文を引用しながら述べる。最後に、本論文の構成を述べる。

1.1

本研究の背景今日、YouTube やニコニコ動画等の動画共有サイトが流行を見せている。動画共有サイトはユーザーであれば誰でも動画を投稿することができ、扱われる動画
は、商品の宣伝や意見の主張等を流布させることを目的にしていることが多い。また動画共有サイトは、投稿されるものは動画という形を持ってはいるものの、静止画だけのものや楽曲の視聴を主とするものもある。こういう側面から、動画共有サイトは表現の場として、幅広い芸術作品を不特定多数の利用者に閲覧してもらう事のできるサイトとしてユーザーを増やしている。
作曲に注目したとき、近年、VOCALOID の登場や DTM の発達によって、楽曲作成にかかる作成者の負担は軽くなり（スタジオを借り、楽器を用意し、歌手を揃える必要が薄くなった）、これによって、多くの楽曲が動画共有サイト等で投稿されるようになった。また、負担の軽減によって、音楽によって生計を立てる専門家だけではなく、一般人でも楽曲の作成が可能となった。動画共有サイトで作品の公開をしやすいという前提のある現在では、一般人であっても楽曲が作られれば公表できるので、一般人の作曲ソフトへの需要が高まっている。

DTM の中でもループシーケンサは、音素材を配置するだけで作曲できるため、音楽知識のない人が作曲する手段として期待されている [1]。しかし、ループシー

第1章 序2

論

図 1.1: 山下らの提案したループシーケンサのシステム図

ケンサにおいて音素材の選択は素材の量が増えるとともに意図したように選択する事が難しくなり、結果的に作曲する事も難しくなってしまう。山下らは、盛り上がりをマウスで入力することで自動的に音素材が挿入されるループシーケンサを提案した (図 1.1)[2]。これにより、音楽理論の知識を必要とせず簡単な操作で曲が作る事ができるようになった。しかし、作曲できる曲の長さは短く、使用する全ての音素材に予め盛り上がり度を人手で割り振らなければならない問題があった。

1.2

目

的

本研究では、盛り上がり度を自動で音素材に割り振る手法を提案するとともに、評価実験を実施して本システムの有効性を検証する。
本システムでは、各音素材の盛り上がり度を考慮して配置する音素材を決定す1.3. 本論文の構成

3

るため、各音素材に対する盛り上がり度の割り振りが必須である。しかしここでは、盛り上がり度の数値の決定について問題点がある。

1 つ目は盛り上がり度の値の基準が曖昧なところである。山下らのシステム [2]では全て山下らが聴いて盛り上がり度を割り振っていた。この方法では割り振りを実施する人の主観に影響され、さらに音素材を増やそうとしたときに、同じ人がいなければ盛り上がり度の割り振りに差異が生まれてしまう可能性がある。これは、全ての音素材がもっている共通の情報を基に判定することで解決する。

2 つ目は音素材の数は膨大な事である。音素材の数は、ユーザーにとって選択肢になるため、作れる楽曲の幅に繋がる。しかし音素材を増やした時、その分だけ盛り上がり度の割り振りの作業が必要となる。音素材の数に比例してユーザーの負担が強まってしまう。これは、全音素材をシステムによって機械的に割り振ることで解決する。
また、実際に本システムは音楽知識の無い人でも簡単に曲を作る事が出来るかなどの検証がされていない。そこで我々は、音楽知識のない人でも簡単に曲を作ることが出来るかなどの被験者実験を行う。

1.3

本論文の構成本論文は次の構成からなる。第 2 章では従来の作曲支援ループシーケンサソフ
トや研究を紹介し、従来システムの課題を述べる。第 3 章では、システムの概要
や、ユーザーの描いた盛り上がりを表す曲線から音素材を自動的に挿入する際に、どのような基準で音素材が選択されるか等について述べる。また、音素材から盛り上がり度の値を自動で割り振る手法の概要を述べる。第 4 章では被験者実験とその考察を述べる。第 5 章では本研究の結論と今後の課題について考察する。

5

第 2 章 関連システムと自動作曲システムへのアプローチ
本章ではまず作曲支援システムにまつわる関連研究を紹介する。これらのシス
テムの挙げた課題について述べた後、それらを踏まえて本研究のアプローチと特徴を述べる。

関連作曲システム

2.1

ここでは、関連作曲ソフトと、関連研究として自動作曲システム及び作曲支援システムを扱う研究を述べる。

2.1.1

関連作曲ソフトプロフェッショナル用• ACID Pro
予め、3000 以上の音素材が付属している。これらを組み合わせることで音楽を作成できる。ループシーケンサの機能だけでなく、MIDI シーケンサや録音機能も持つ統合的な DAW ソフトとなっている。

• Ableton Live

第2章

6

関連システムと自動作曲システムへのアプローチ

何種類もの楽曲を同時にコントロールでき、ライブパフォーマンスに焦点を当てたシステムとなっている。

• FL Studio
自分で音素材を作り、その素材を用いて作曲をしていく。ライフタイムフリー
アップグレードという制度によって一度購入をすれば、以降は無償で受けることが出来る。

アマチュア用• MusicShake
SNS とループシーケンサを組み合わせたシステムとなっている。マス目状に並んだボタンをクリックすることで音素材の設置と音素材の鳴るパターンの選択ができ、これによって楽曲の作成をする。同社が公開するサイトでオリジナル楽曲の公開が可能となっており、共有して、ユーザー同士で評価をつけることができる。

• Band-in-a-Box
コード進行を入力し、演奏スタイルを指定することで自動作曲をするシステ
ム。自動作曲だけでなく、コード進行を入力によって、選択したジャンルに合わせた自動編曲が出来たり、MIDI キーボード等から入力したメロディからコードを生成する事も出来る。

2.1.2

関連研究

• 発想支援法を用いた作曲支援システム [1]
創造学という学問があり、この中にひらめきを手助けする「発想支援法」という分野がある。これをループシーケンサと組み合わせて、楽曲にオリジナ

2.1. 関連作曲システム

7

リティーを出し、ユーザーの感性を最大限に発揮できるシステムを作る事が目的である。
まず 4 つのカテゴリーに分けられたユーザー独自のデータベースを構築する。このカテゴリーとは、どの WAVE 素材を使うか、いつ鳴らすか、どんな WAVE 素材で出来ているのか、どのカテゴリを組み合わせているのかの

4 つとなっている。その後、曲を作り、発想支援法「TRIZ」を用いて、どのタイミングでループさせるのか等を行うことで、作曲支援システムを実現させる。

• 作曲・演奏支援システム The Music Table[3]The Music Table は音楽知識の少ない人でも作曲をしたり学ぶことの出来る
インタラクティブシステムである。従来の音楽に対する「見る」「聴く」という認識方法の他に、「触る」という身体的動作を加えることで、ユーザー
はアクションとシンボルやそれに付随する意味を対応付けて体験していき理解していくことができる。
まずユーザーは音楽のフレーズにあたる音符のカードをテーブル上に配置する。ユーザーはカードの位置や向きを変える事で、ヴォリュームや音の長さ等を変える事ができる。カメラを通してそれらをシステムは認識し、コン
ピュータは音楽を奏で、映像をディスプレイに投影する。これによって視覚・聴覚と身体的行為から、初心者に向けた作曲支援システムを実現させる。

• 色と音の感情を介したマッピング - マッピング規則の抽出と作曲支援システ
ムへの応用 -[4]楽曲を感情表現と捉え、ブロック遊びにおける構築された物体の配色も感情表現と捉えることで、音と色の両者の対応関係を構築する事が目的となっている。ここから、獲得したマッピングを自分の感情を多数の人に伝える手段

第2章

8

関連システムと自動作曲システムへのアプローチ

として作曲支援システムに応用し、作曲をより一般的にすることが出来ると考えている。
検証の際は、それぞれの表現方法を被験者にまず提示する。その後、「喜び」と「悲しみ」、「恐れ」と「怒り」の 4 つの感情を座標軸とした二次元座標上に点をプロットすることで、感情の二次元座標表現を媒体にて異なる表現方
法間のマッピングを獲得する。

• 遺伝的アルゴリズムを用いた自動作曲について [5]
過去の音楽等から和音進行のデータを集め、それを用いて音楽の経験情報をネットワーク状に蓄積する。その経験情報を遺伝的アルゴリズムの評価選択部分に用いて、自動作曲システムの構築を実現させる。
コード進行作成システムとメロディ作成システムの二つにシステムは主に分かれており、コード進行作成システムは多数のデータ群からコード進行の規則を割り出すことで新たなコード進行を作成し、メロディ作成システムは
コード進行作成システムを使って作られたコード進行に音楽理論に基づいてメロディをつける事ができる。これらのシステムは遺伝的アルゴリズムによって最良の解が求められる。

• 任意の言葉を対象とした楽曲自動生成方式 [6]与えられた任意の言葉と、音楽に燗する 8 つの印象語群との関係を計量し、その計算結果と 6 つの楽曲構造要素との相関を求める事によって、与えられた任意の言葉の印象に合致する楽曲を自動生成することが可能となる。

• Interacting with a Musical Learning System: The Continuator[7][8]従来では互換性が無いとされている二つの音楽システムの間のギャップを埋めるために、Continuator というシステムを提案している。二つの音楽シス
テムとは、音楽スタイルに一貫性を持たせる機能に制限を持ってしまう双方

2.1. 関連作曲システム

9

向性を持つシステムと実際の楽器として想定できるような双方向性を持たないシステムである。このシステムの目的は、音楽スタイルに一貫性を持った音楽素材の自動学習とユーザーの技術的能力の拡張を促すことができるようにする事としている。

• A Memetic Algorithm For Automated Music Composition[9]ミーム学を取り入れた音楽生成手法の提案をしている。ミームとは、人の持
つ文化を生物の遺伝子に例えて説明するものであり、生物と同じく複製され進化をしていく。ミーム学とは、人と人の間で社会運動が広まるように文化が人間同士で伝達されていく様子等をミームを踏まえて研究する学問である。
与えられた音楽から楽曲を構成する構造や特徴、メロディスタイルからルー
ルを作成し、自動的に与えられた音楽に似た音楽スタイルを生成する。

• A Comparison between Genetic and Memetic Algorithm for Automated Music Composition System[10]ミーム・アルゴリズムを取り入れた自動作曲システムを開発している。西洋
音楽理論とリスナーの評価に基づいて 8 小節のトラックを作曲する。ミーム・
アルゴリズムは遺伝的アルゴリズムと同じく、突然変異と交叉、コピーの動作が行われる。ミーム・アルゴリズムと遺伝的アルゴリズムの違いは、ミー
ム・アルゴリズムは動作後に得られた各個体が局所的探索を用いて学習させ最適化を実施させるところとなる。遺伝的アルゴリズムを比較して、ミーム・
アルゴリズムの方が、楽曲の品質において良好に機能する事を見出した。

• Aspects of a cognitive theory of creativity in musical composition.[11]
楽曲を心理学的研究から作曲支援システムの提案をしている。これを実現するために認知科学に基づくアプローチを採用するとともに、計算モデルとして理論と実装モデルの挙動を客観的に評価するためのフレームワークの開発もしている。

第2章

10

2.2

関連システムと自動作曲システムへのアプローチ

まとめ

いくつかの作曲ソフトを挙げたが、アマチュアに向けたソフトが注目している事は、操作を単純にさせることと考える。複数の複雑な動作を組み合わせなくとも作曲することができる。また、プロフェッショナルに向けたソフトの場合、操作の種類を増やしパラメータの種類を豊富にすることで、細かく調整をしながら複雑な構成の曲を作曲することができる。

2.1.1 節で挙げた従来の関連ソフトにおいては、プロフェッショナル用の作曲ソ
フトをアマチュアが使用する際は、パラメータを調整する場所が複雑であり、その操作には専門知識が必要となる。

2.1.2 節において、挙げた研究のほとんどはループシーケンサについてではなく、
ループシーケンサについての研究は「発想支援法を用いた作曲支援システム」だけとなる。このシステムと本研究システムの差異としては、「発想支援法」を用いてユーザーの意図した楽曲の作成ができるようにしようとしている所であり、ユーザーの楽曲イメージが作り出されるタイミングに違いがあるものと考える。このシステムは、作曲工程を繰り返す過程でシステムは音素材の構成を提示するので、それを利用して新しい楽曲イメージを作曲の最中に固めていき、そこからユーザーは意図した楽曲を作っていくシステムとなる。これに対し本研究システムは、予めユーザーが楽曲の盛り上がりをイメージし、そのイメージを曲線として描くことで意図した盛り上がりを持つ楽曲の作成をすることとなる。

11

第 3 章 システム構成
本章では、ループシーケンサの概要を述べた上で隠れマルコフモデルについても説明する。そして出力が行われる際にどのような手法をとっているかについて述べる。その後、盛り上がり度を自動で割り振る手法の概要も述べる。

3.1

ループシーケンサの概要

本システムは、ユーザーがマウスで盛り上がり方のグラフを描くと、その盛り上がり方にできるだけ沿うように音素材を自動的に挿入するシステムである。画面例を図 3.1 に示す。
作曲時の処理の流れを以下に示す。

• 画面左上部の白枠内にドラッグ操作によって、ユーザーの意図した曲の盛り上がりを表した曲線を描く事ができ、この線の座標を楽曲作成システムが受け取る事で、白枠直下の格子状の枠内に音素材が自動的に挿入される。

• 配置された音素材は変更可能であり、格子状の枠内を音素材の有無に関わらずクリックする事で、音素材の変更と挿入の操作をする事ができる。

• 音素材の変更と挿入を行う際には、選択ウィンドウが表示され、音素材のリストが並べられている。この画面によって音素材の挿入と変更、挿入されている音素材の削除等の動作をする事ができる。

第3章

12

システム構成図 3.1: システム図• 画面右部に連なっているリストをクリックする事で、曲の主旋律となる楽器の「Sequence」の音源を切り替える事ができる。

3.1.1

音素材の決定ユーザーが描いた盛り上がり度のグラフから音素材を決定する手法について述べる。音素材において使うパートは、後述する使用データベースに合わせて「Se-quence」「Synth」「Bass」「Drums」「Percussion」の 5 つとする。この内、「Percussion」は役割が異なるため別扱いとする。
音素材を決定する問題を、ここでは各小節・各パートに (1) 音素材をいれるかどうか、(2) 入れるとしたら何を入れるか、に分けて考える。(1) に関しては選択肢の数は 24 になり、これを状態とみなす。ユーザーの描いた盛り上がり度のグラ
フを 1 ∼ 5 の離散的な数値に変換し、これを出力信号とみなせば、(1) を隠れマル
コフモデルにより解決する事ができる。状態遷移確率は等確率に設定 (ただし、一
つも音素材の入らない状態には遷移しない。) しており、出力確率は、音素材が挿入されるパートが多い状態ほど、高い盛り上がり度に出力されるように設定した。
出力確率の具体的な数値を表 3.1 に示す。

3.1. ループシーケンサの概要

13(2) については、8 小節ごとにユーザーが入力した盛り上がり度の平均を取り、それと同じ盛り上がり度を持つ音素材の中からランダムに選ぶ。楽曲に一貫性を持たせるため 8 小節ごとに同じ種類の音素材を入れる事とする。
「Percussion」は他の楽器と違い、隠れマルコフモデルによる音素材の配置されるかどうかの決定はされず、4 小節ごとの最初の小節に音素材が挿入される。音素
材はその 4 小節の盛り上がり度の平均と最も近い盛り上がり度を付与されている
音素材の中からランダムに決定される。
表 3.1: 出力確率
1

2

3

4

5

0

0

0

0

0

0

1

0.4

0.2

0.2

0.1

0.1

2

0.39 0.21

0.2

0.1

0.1

3

0.25

0.3 0.25

0.1

0.1

4

0.39 0.21

0.2

0.1

0.1

5

0.25

0.3 0.25

0.1

0.1

6

0.25

0.3 0.25

0.1

0.1

7

0.15

0.2

0.3

0.2 0.15

80.35 0.25

0.2

0.1

0.1

9

0.2

0.2

0.3

0.1

0.1

10

0.2

0.2 0.35 0.15

0.1

11

0.1

0.1

12

0.2

0.2 0.35 0.15

13

0.1

0.1

0.2 0.25 0.35

14

0.1

0.1

0.2 0.25 0.35

15

0.05 0.05 0.25 0.25

0.2 0.25 0.35
0.1

0.4

第3章

14

3.1.2

システム構成音素材の盛り上がり度の自動割り振り

それぞれの音素材に盛り上がり度が付与され、ユーザーが指定した盛り上がり
度に一致する音素材が選ばれる仕組みになっている。そのため音素材に対して盛り上がり度を推定する処理が重要となる。前システム [2] ではこれを人手で行っていたが、ここでは自動で行う。
音素材は低音域から高音域まで広範囲に、かつ最初から最後まで継続的に音が存在する時に、盛り上がり度が高いと考え、次の手法により、盛り上がり度を決定する。まず、音素材に対してフーリエ変換を使用して振幅スペクトログラムを得る (窓幅を 4096 点、シフト幅を 10ms としハミング窓を用いる)。時刻 t、振幅数

f における振幅を At,f と書くこととする。At,f を 0 ∼ 5 に次のように離散化したものを rt,f とする。

0 At,f ≤ 0.1







1 0.1 < At,f ≤ 0.2









rt,f =

2 0.2 < At,f ≤ 0.3


3 0.3 < At,f ≤ 0.4








4 0.4 < At,f ≤ 0.5






 5 At,f > 0.5

rt,f を時間軸・周波数軸に渡って平均を求めて、パート毎に最大の数値で割ることで 0 ∼ 1 の数値にし、その値を 0.2 で割ったうえで小数点以下を繰り上げて求められた数値をその素材の盛り上がり度とする。

15

第 4 章 評価実験
システム実装の環境として Processing を使用した。本システムと比較用システ
ムを使用した比較実験を行った。比較用システムは本システムから自動作曲機能をなくしたものとする。これをすることで、盛り上がり度の自動割り振りが出来ていたかどうかの検証を行う。また、音楽知識のない人でも簡単に曲を作ることが出来るかの検証を行う。加えて、一対比較法を行い音素材の盛り上がり度の自動割り振りが妥当かどうか検証を行った。

4.1

方法

被験者の人数は 10 名である。被験者には事前アンケートを行い音楽知識がどの程度あるかの確認を行う。本研究の一つのテーマである音楽知識のない人でも作曲をすることが出来るかを検証するためである。その確認として楽器を弾くことが出来るか、また弾くことが出来る場合何年行っていたか質問をする。
実験をするにあたって、被験者に音素材とはどういったものなのか慣れてもらうのを兼ね、スペクトログラムからの盛り上がり度の自動割り振りされたものを聞いてもらう。一対比較法（表 4.1）を利用してどちらが盛り上がりが高く聞こえたかを答えてもらうアンケートを行った。このアンケートのために用意した音素
材は本システム上で音源として使用されているものの中から、2 つで 1 組とし、使われている 5 種類の楽器ごとにそれぞれ 4 組ずつ、計 20 組 40 個をランダムに選択し使用した。聞かせる音素材には本システムによって割りふられた盛り上がり度が設定されており、これを 2 つ聞かせた上でどちらがより盛り上がりを感じたか第 4 章 評価実験

16の質問をする。

その後、被験者に曲を作成してもらう。盛り上がりをイメージしやすくなるように、与えられた映像に合う BGM を作成してもらった。課題となる似た映像 (車の映像 1. 東京モーターショー 2013

コンセプトカープロモーション映像

KOPEN

future included1 、 車の映像 2.NSX CONCEPT GT シェイクダウンテスト2 ) を二つ使用する。映像を実験の為に時間の長さが 1 分 49 秒の動画に編集し、その 2 つの映像を見てもらいながら、本システムと比較用システムを使用して曲の作成を行った。偏りのないように、本システムを先に使用する被験者、比較用システム
を先に使用する被験者と半々になるように実験を行い、疲れから判断力が鈍らぬように休憩もそれぞれの実験と実験の合間にとった。
表 4.1: 一対比較法回答の一例

4.2

1 つ目

2 つ目

問1

○

×

問2

○

×

問3

○

×

問4

×

○

問5

○

×

結果

事前アンケートの結果は、被験者の 10 人中 7 人は楽器経験者であった。また、シーケンサについては知っている人は 2 人であった。

1
2

https://www.youtube.com/watch?v=zca6Lv4PW8M
https://www.youtube.com/watch?v=Bip5j00I6Hw

4.2. 結果

17

スペクトログラムからの盛り上がり度の自動割り振りされた音素材を聞いてもらった結果（表 4.2）は、20 問中 16.6 問と高い正解率（約 83 ％）が得られており、どの楽器であっても高い正解率であるので、仮説は正しいと言える結果となった。
曲作成の被験者実験でのアンケート（表 4.4）で、Q1 については、比較用シス
テムより本システムの方が評価が 0.89 ポイント高かった。これは、本システムは線を引くだけで作曲が出来るため、このことが分かりやすさへつながった結果であると考えられる。実際、比較用システムでは 10 人中 2 人が制限時間（30 分）以
内に最初から最後まで素材を入れることが出来なかった。Q2 については、比較用システムより本システムの方が評価が 1.92 ポイント高かった。これは、Q1 と同様に本システムは盛り上がり度の線を引くだけで作曲が出来るため、このことで音楽知識がなくても作曲が出来ると感じてもらえ得られた結果だと考えられる。実際、自由回答で、本システムの方が作曲にとっつきやすく楽しく作曲が出来たという意見が得られている。

Q3 については、比較用システムより本システムの方が評価が 0.35 ポイント低
かった。しかし、一つ一つ自分で好きな音素材が入れられる比較用システムに対して、本システムの線を引いてもらった盛り上がり方が、被験者の意図した盛り上がり方に限りなく近いといっていい結果が得られた。これは、本研究の目指している簡単に曲が作れると言える結果となった。

Q4 については、比較用システムより本システムの方が評価が 0.76 ポイント高
かった。これは、比較用システムで作曲をした際に時間内に出来上がらなかった
ことに関係があると考えられる。

Q5 については、比較用システムより本システムの方が評価が 0.33 ポイント高
かった。これは、本システムの線を引くだけで簡単に曲を作ることが出来ることと、自由に曲を作れたことがつながった結果であると考えられる。実際に、自由回答において、作曲の仕方を全く知らなかったが、簡単に作曲が出来たという意見が得られている。

第 4 章 評価実験

18

自由回答（表 4.5）には、比較用システムには、音の試聴が出来なくて苦労したという意見が多くあげられていた。音の試聴が出来ないことでこの様な意見が多くなってしまいシステムの本質的な意見があまり多く得られなかったことが悔やまれる。
本システムと比較用システムを比べてみると、線を描くだけで簡単に作曲が出来るので良かったという意見が多く得られた。一方、比較用システムでは音の種類がたくさんあって面白いが、選ぶのが大変だったと多く書かれていた。既存のループシーケンサではこのように音素材がたくさんあり、音楽知識の少ない人では作曲することが困難になると考えられる。しかし、本システムでは盛り上がりとなる線を描くだけで自動で音素材が挿入されるので、簡単に作曲が出来るといえる。実際に、本システムの方が簡単に作曲が出来たという意見も得られている。

4.3

実験後のインタビュー

実験後に作曲作業中のスクリーンのキャプチャー映像を見せながらインタビューを行った。インタビューを行ったのは被験者 1 と被験者 10 の 2 名である。インタ
ビューでは、比較用システムと本システムを使って曲を作った時に、それぞれどのようにして曲の作成を行ったのかを中心に質問した。

4.2 節でも記述したが、音の試聴が出来なくて曲を作るのが大変だったという意見が得られている。インタビューを行った 2 名とも、まずは適当に素材を入れて試聴するところから始めていたようであった。比較用システムを使用して曲を作る時には、これらの音素材の確認だけで制限時間（30 分）の大半を使用してしまうようであった。加えて、途中再生が出来ないことで曲を作成して後半のみを聴
きたくても最初から確認をしないといけないことが負担に感じられていた。この様な問題と制限時間があるということから、2 名とも納得のいく曲を完成させることを半ば諦めながら作業をしていたようであった。

4.3. 実験後のインタビュー

19

比較用システムで曲を作る際は、音素材が聞けないので、試しに音素材を入れて聞いてみながら作ったとのことであった。映像のイメージに合った雰囲気の曲は思いつくけど、音素材を聞くことが出来ないので探すことが困難で曲を完成させることは不可能だと 2 人とも感じていたようであった。被験者 1 の場合は、制限
時間内に曲を完成させることを優先し、入れた音素材が映像に合うかどうかはあまり考慮しない場面が見られた。そのため、作成した楽曲は、必ずしも盛り上がりとリンクしているとは言えないものだった。しかし、音素材を最初から最後まで入れ終え曲を完成させていた。被験者 10 の場合は、音素材を聞くことに時間がかかり、4 小節までしか音素材を入れることが出来ず曲は制限時間内に完成する事が出来なかった。曲は途中までしか出来なかったが、動画の盛り上がりに合うよ
うに一小節ごとに曲を確認をしながら作曲していた。
本システムの方が比較用システムと比べると曲を作ることは楽だと感じたようだった。しかし、思い通りにいかないとも感じていたようで、もっとシステムに慣れて素材のことも分かると思い通りのものが出来るという意見が得られた。また、線を描いて曲が出来ることは大まかに作る分にはいいが自分の納得のいくものにするのは大変だったようである。本システムで曲を作る際には、線を書いて盛り上がり度を示すとは一体どういうことなのか、素材の入り方などを確認してから曲を作り始めたようであった。また、線を描き変えてしまうと全て変わってしまうのが残念だったと感じられていた。音素材が変わらないように鍵機能はあるので気に入ったところに鍵をかけていた様だが、前後が変わってしまって鍵をかけても思っていた雰囲気にすることが難しかったようだ。
意見として、素材の変更をした際にリアルタイムで曲が変わってくれたら嬉しいということを述べられた。
インタビュー全文の抜粋を付録に示しておく。

第 4 章 評価実験

20

表 4.2: 一対比較法回答結果
被験者 1

被験者 2

被験者 3

被験者 4

被験者 5

17

15

19

14

18

被験者 6

被験者 7

被験者 8

被験者 9

被験者 10

15

17

15

18

18

正解数

正解数

表 4.3: 事前アンケート
質問

YES

NO

楽器は出来るか

7

3

シーケンサを知っているか2

8

シーケンサを使用したことがあるか

19

表 4.4: 事後アンケート
質問

比較用システム

本システム

Q1. システムはわかりやすかったか

3.13

4.02

Q2. 音楽知識がなくても簡単に曲が作れたか

2.54

4.46

Q3. 意図した盛り上がりと合っていたか

3.94

3.59

Q4. 満足できる曲が出来るか

2.39

3.15

Q5. 作曲に関心を持てたか

4.98

5.31

4.3. 実験後のインタビュー

21
表 4.5: 自由回答

比較用システム・一つ一つの音をその場で確認できるといい。
・どれがどういう音なのかが分からなくて時間がかかってしまった。また同じ音を続けて使えないものもあり残念だった。
・一つ一つ音を組み合わせていくのはとても難しく面倒でした。システムありの方がとっつきやすく楽しく曲が作れました。
・システムありと比べてとても難しかったです。音の試聴ができるともう少し、楽に音を決められると思います。音の種類がたくさんあって面白いけれど、逆に多すぎて決めるのが大変な印象でした。
・どれがどんな音だかが想像できなかったから選びにくい。途中再生出来ないから動画と合わせるのが大変。
・適当に組み合わせた部分が聞いてみると凄い良かったという部分がありました。
・音素材が多すぎるので試聴出きるといいと思った。
・素材がどんな感じか確かめる方法がなく、一つ置いては全体を試聴するという方法なのでなかなか作業は進まなかった。
本システム
・システムありになった分、選曲が楽になった。しかし、一個一個選んでない分意
図したものになりにくかった。
・線を引くだけで簡単に作曲が出来たので良かった。線の高さを変えると全く関係ない所も変わってしまって残念だった。
・途中再生出来ないのは残念。音を選ぶときに試聴できるといいと思った。秒数を
もっと細かくして欲しい。
・盛り上がりを作る方法は分かりやすかったです。英語がいっぱいでちょっとだけ
とっつきにくい画面だと感じました。
・直感で線を引けるのでやりやすかった。急に盛り上げたい時、または下げたいときがグラフに描いただけだとあまり反映されていないように思えた。
・作曲の仕方を全く知らないのですが。簡単に作曲出来ました。

23

第5章 結

論

本稿では、ループシーケンサを用いて音楽知識の少ない人でも簡単に作曲できるシステムを実装した。また、スペクトログラムからの盛り上がり度の自動割り振りを実現した。
先行研究では、音素材の盛り上がり度を人の感覚的に設定を行っていたのに対しを、本研究では、スペクトログラムからの盛り上がり度の自動割り振りを実現した。音素材をスペクトログラムからシステムによって割り振られた数値は、被験者の感覚と一定程度一致する事がわかった。これにより仮説は正しかったと言える。
被験者実験では、本システムの曲作りについて高い評価を得た。比較用システ
ムと本システムを利用することで本システムの線を描くだけで曲が簡単に出来ることを実感してもらえた。これにより、音楽知識がなくても簡単に曲が作れたと感じてもらえ、本システムの方が 1.92 ポイント高い結果となった。また、意図した盛り上がりとあっていたかというアンケートに 0.35 ポイントで比較用システムが本システ厶よりも上回る結果とはなった。しかし、一つ一つ自分で好きな音素材が入れられる比較用システムに対して、本システムの線を引いてもらった盛り上がり方が、被験者の意図した盛り上がり方に限りなく近いといっていい結果が得られた。これは、本研究の目指している簡単に曲が作れると言える結果となった。
しかし、曲を作る際に途中再生が出来ないことで曲を作る際に負担になってしまった。途中再生が出来ないことで映像と曲とを合わせることが大変になってしまったことが考えられる。限られた時間の中でロスタイムとなり曲が完成しない

24

第5章 結

論

ことにも繋がってしまった。また、音素材の選択時に音素材の試聴が出来ないことによる不便さを感じさせることも分かった。この意見は比較用システムの自由
回答で書かれていたことが多いが、本システムを使うにあたっても、音素材の試聴が出来ないことは自動生成された曲を編集する際にも負担になると考えられる。
今後、これらの問題点を改善していきたい。

25

参考文献
[1] 諸星和明, 椎塚久雄：“発想支援法を用いた作曲支援システムについて”, 第 22
回ファジィシステムシンポジウム, 6E4-1, 2007.

[2] 山下雄史, 岡田美咲, 北原鉄朗：“手書き入力によって盛り上がりをコントロール
するループシーケンサ”，情報処理学会研究報告，Vol.2013-MUS-100, No.36,

pp.1–6, 2013.
[3] 牧野真緒, RodneyBerry, 樋川直人, 鈴木雅実：“作曲・演奏支援システム The
Music Table”，インタラクション 2004, A-09.
[4] 金箱淳一, 藤田ハミド：“色と音の感情を介したマッピング-マッピング規則の抽出と作曲支援システムへの応用.” 日本ソフトウェア科学会大会講演論文集

22.0 (2005): 256-262.
[5] 山田拓志, 椎塚久雄：“ 遺伝的アルゴリズムを用いた自動作曲について” 情報処理学会研究報告.[音楽情報科学] 98.96 (1998): 7-14.

[6] 芳村亮, 中西崇文, 北川高嗣：“ 任意の言葉を対象とした楽曲自動生成方式”
第 17 回データ工学ワークショップ論文集, 2006, 5C-i11.

[7] Francois Pachet：“ Interacting with a Musical Learning System: The Continuator” Lecture Notes in Computer Science Volume 2445, pp 119-132, 2002

第5章 結26

論[8] Francois Pachet：“The Continuator: Musical Interaction With Style” In proc.
of International Computer music Conference, Gotheborg (Sweden), ICMA,
September 2002.
[9] Derek Wells：“ A Memetic Algorithm For Automated Music Composition”
Diss, Stetson University, 2011.
[10] Pituxcoosuvarn, Mondheera and Legaspi, Roberto and Cabredo, Rafael andFukui, Ken-ichi and Moriyama, Koichi and Otani, Noriko and Kurihara,
Satoshi and Numao, Masayuki：“A Comparison between Genetic and Memetic
Algorithm for Automated Music Composition System ” The 27th Annual
Conference of the Japanese Society for Artificial Intelligence, 2C4-IOS-3c-4,
2013.
[11] Pearce, Marcus, and Geraint A. Wiggins.：“Aspects of a cognitive theoryof creativity in musical composition.” Proceedings of the ECAI02 Workshop
on Creative Systems. 2002. Aspects of a Cognitive Theory of Creativity inMusical Composition

27

付 録A

A.1

被験者との対話記録

被験者 1 との対話記録

下記でのインタビューはこれら 2 つの曲（(図 A.1)、(図 A.2)）を作った時のものである。
飯島「システムなし (比較用システム) で作ったものの感想を聞きたいと思います。」
被験者 1「はい」
飯島「この時、システムなし (比較用システム) だったので線を描くことが出来なかったと思いますが、どのように思いましたか。」
被験者 1「仕様だからしょうがないと思いました。」
飯島「仕様だからしょうがない…確かにそうですね。」
被験者 1「システムなし (比較用システム) だからボタンだけで線を引くとこがなくても良かったんじゃないかな…」
飯島「その通りですね。」
飯島「今、素材を押してるんですよね。」
被験者 1「そうですね。」
飯島「いきなりここのパーカッションを選択した理由は何ですか。」
被験者 1「特に意味はないです。一回音の確認をしたかったからです。ベース部
分を先に作った方が楽だと思ったから。」
飯島「プログラム的にも最初の位置にパーカッションが入るのは確定しているんですよ。4 小節ごとに入ります。そういうのを見越したことでもなく…システム

28

付 録A

被験者との対話記録ありを知らないはずですよね。」
被験者 1「知らないです。」
ジャーンと鳴る
飯島「この時はじめて 4 分 49 秒ですね」
被験者 1「この時に音の確認をしていた。選択する時になんの音か分かるようにしといてほしいと思った。」
飯島「試聴機能ということですね」
被験者 1「そうです。オンオフがあれば、慣れていれば音を聞けなくてもいいし、知らなかったら聞けばいいし…」
飯島「確かに、シーケンスの方は聞けるのに、素材の方が聞けないのはまた…
このへんはまだまだ試聴の段階で作っていないという…」
被験者 1「そうです」
飯島「そうですね、5 分 40 秒の段階で」被験者 1「毎回一個の音を聞いて間が開くのが好きじゃなかった」
飯島「今、動画の確認をしてますね。」
被験者 1「普通の車とおもちゃの車が走ってるシーン、一応その動画に習わせて作ったから、おもちゃの方はおとなしめに作った。」
飯島「音の確認をしているかと思ったら意外にしてないですね。最初の段階だからですか。6 分の段階だからまだまだ」被験者 1「いや…」飯島「開始して 6 分たったんですね。」
被験者 1「そうですね。たしか、制限時間付きってことだったから、まともなのが出来ないと思ってチャッチャと流していた…」
飯島「見るかぎりだと、ベースとパーカッションしか選べてないという…まだまだ 4 分 1 しか埋められていない。実際どうでした。全部埋めるのはどれくらい大変でしたか。」

A.1. 被験者 1 との対話記録

29

被験者 1「手作業でやると結構時間がかかった。制限時間に間に合わすのは無理だったのといちいち音源を知らなかったから、音の確認も時間がなかったから、そこは諦めてた。」
飯島「そうですか。」
飯島「目立った変化はないですね。8 分 40 秒くらいでいきなりパーカッション…」
被験者 1「他の素材を選んでる暇がないから」
飯島「これらは下地だったと」
被験者 1「統一させて先に埋めて、その後他の奴を埋めようと思って」
飯島「なるほど。こういう作り方は、見ていると確かに多かった。このブロックというのを積み上げていくのをどういう積み上げ方が正しいのか、パッと見せられただけじゃ分からないですね。」
被験者 1「そうだな」
飯島「まさか、だって線を引いたらこうやって並び変えられるなんて、他の被験者の画面は見えないから。」
被験者 1「そう」飯島「分かりようがない。システムありの方を先にやる方が圧倒的にいいのかもしれないですね。」
被験者 1「そうだね」
飯島「画面を一度見せたからそれだけですべてを察するのは、スライドで見せたのと」被験者 1「そう、あとは授業で軽くやったのを見たことがあったから。」
飯島「動きが少なくなってきた。とりあえず全部埋まったと、10 分 51 秒」
被験者 1「やっぱり思ったのは、この無音の動画と作ったやつを同時に一緒に流せるのがあるといいと思った。」
飯島「動画再生機能も欲しかったという…」
被験者 1「合わせた感じがどうなってるのかが少し、現状だと無音の動画のルー

30

付 録A

被験者との対話記録

プ機能を使って終わったタイミングで音の方を鳴らして両方流して合っているか確かめるってことしか出来なかったから」
飯島「この辺に関しても、試聴していないあたり、実際は適当という」被験者 1「適当というか…」
飯島「目安がたったという？」
被験者 1「目安がたったというか、確認のためにいろいろ放り込んでいた気がする」
飯島「いっぺんにいろんなものを確認するためにたくさんの種類のものを並べたのか」
被験者 1「この時に聞いた。再生する際に選んだやつはまた再生されない」
飯島「あの時の質問はこのシステムに関しての質問で、数字がいちいち飛び飛びになる理由と、なんで音が再生されないのかという理由で。答えは単純に一回再生しないと配置されたものは再生されないという、リアルタイムでの問題があったのと、コード進行をベースに作ってるから音が飛ぶという話をしたんですよね。」
被験者 1「はい。でもいろいろ選んでて面倒くさくはなっていた…」
飯島「やはり…」
被験者 1「いろいろ選んではみたけど、今からこれを流すのは嫌だなと…」
飯島「いたんですよ、ちゃんとやっている人は」被験者 1「確か、この時はさっき聞いた質問のやつを知っているから、上のやつの確認をしとくしとかないをしようと最初から流してはいる」
飯島「予想だけど、この辺で再生されないなっていう質問があったきがする。」
飯島「この右端の方の音の再生がされないという」
被験者 1「それはもっと前の聞いてるときに合わせて何で聞けないのか聞いた。」
飯島「そうか」
被験者 1「12 分か 13 分の青を埋めている段階で聞いた。」
飯島「なるほど。この辺パーカッションしか埋めていないから」

A.1. 被験者 1 との対話記録

31

飯島「一番の素材の決め手は何？」
被験者 1「素材の決め手とは」
飯島「この素材にしようと思ったりもするでしょう、これだと 5、3、14、21 とかいろいろ、こういう配列になってるけど数字が」被験者 1「上のやつは全部適当です」
飯島「全部適当か…数字とか名前とか盛り上がり度を見て決めたとか」
被験者 1「盛り上がり度は書いてあった？」
飯島「そっか」
被験者 1「それに関しては全く聞かされてない」
飯島「それは質問してない」
被験者 1「この数字がそうとしか考えられない」
飯島「実際はここにかいてある」
被験者 1「あー」
飯島「今は素材を選択されていないからあれだけど、素材を選択した時に、ここに名前とこの数字が、今説明することではないけど。盛り上がり度を見ながら選択をするかどうか怪しかったから…」
被験者 1「それはそうですね」
飯島「見せられるなら一瞬見せられたら良かったけど、実装し逃した」
被験者 1「へー」
飯島「全部今のとこ埋めてるけど、現在 15 分 53 秒。こちら上から、2 番目から

4 番目まで素材が全て埋まってる」
被験者 1「うん」
飯島「なぜか、手前の方は埋まってない。これはさっき言ってたおもちゃのとこ」
被験者 1「そうです」
飯島「全部埋めてるのは車の所は盛り上がるべきだと思ったから」
被験者 1「そう」

32

付 録A

被験者との対話記録

飯島「このシークバーのところに数字が書いてあるが、これは役にたちましたか」
被験者 1「動画と合わせるのには役にたった。」
飯島「役にたっていたんですね。」
被験者 1「車の時間とおもちゃの時間の間が必要だったから、これは役にたった。」
被験者 1「これは、さっきからループで流れているけど、すでに更新したやつを適応してほしかった。」
飯島「あー」
被験者 1「今、下の段を埋めたけど、更新されずに入っているから。」
飯島「これは、もちろん改善できるはなしかもしれないけど、難しいというか、ループだから同じものが再生され続けるという。全てを再生しきった後にもう一度更新という形にした場合、もう一度音楽を作り直さないといけない。」
被験者 1「その時は、ループじゃなくて、まずループを消し去って再生の時にループのスイッチ分をブーリアン関数を使って、ループがオンで再生し終わった
それをまたオンにして流す」
飯島「あー」
被験者 1「ループ自体は作らずにこっちで更新してつなげれば」
飯島「ループとは言っているけど、実際はこっちで再生するってことでしょ」
被験者 1「再生を更新して」
飯島「それが怖いのはなにかって、ちゃんと機能するか、音楽は重いから」
飯島「気づいたら素材が全て埋まっている、18 分 41 秒。後半部分はほとんど埋まっているけど、後半もたしか子供が拾っているシーンがあると思うんだけど、その辺についてはなにか」
被験者 1「一応、子供は持っているけど、置いて流して」
飯島「今、とても確認している」
被験者 1「盛り上がりのタメの場所だと思う」
飯島「今、いい感じだった」

A.1. 被験者 1 との対話記録

33

被験者 1「始まるけど、確か工場のシーンが入ってこなかった？」
飯島「工場のシーンは入りますね。それはもう一つの方かもしれない。」
被験者 1「あー」
飯島「もう一つの方はメンテナンスする人がたくさんいた。」
被験者 1「ここで、自分がもういいやってなっていた」
飯島「ここで、もういいと思ったんですね。現在 20 分くらい。」
被験者 1「そう」飯島「これで、システムなし (比較用システム) の質問は以上です。」
飯島「では、システムあり (本システム) にいきます。23 分 35 秒から。圧倒的に短くなっていますが…。」
被験者 1「はい」
飯島「今は、何をしているのですか、悩んでいるの？」
被験者 1「まずは、動画の確認をしています。」
飯島「そうですね。」
被験者 1「ちゃんと確認をしていなかったから。」
飯島「現在は確認中ということで、次に行きましょう。27 分 30 秒でやっと線を描きましたね。この辺はどういうイメージで？大体の動画のイメージを思い出してやっているの？」
被験者 1「そうですね」
飯島「どうして急にこうなったの」
被験者 1「少しふざけて…」
飯島「どんなにふざけても曲にはなるからね」
被験者 1「そうですね」
飯島「これもそういう感じで」
被験者 1「動画としての盛り上がる感じを作ってる」
飯島「動画の盛り上がりはどういう所に着目しているんですか」

34

付 録A

被験者との対話記録

被験者 1「車が走っているシーン」
飯島「動画のテーマになっているのが活躍してるシーンこそが盛り上がるべきだと」
被験者 1「最初はそう思っていたけど、人が頑張って作っているシーンの後々少しだけ盛り上げたはず…」
飯島「もうそろそろ動き出しそうなシーンとか」
被験者 1「この辺はまだよくわからない。素材の選択もまだ」
飯島「確かにそうですね」
被験者 1「この辺で、素材の選択を出来ることを認識した。」
被験者 1「動画の盛り上がりを確認している。」
飯島「確認してますね」
被験者 1「線をいじるときに素材選択のやつが邪魔…」
飯島「あー」
被験者 1「線をいじった後は変わっちゃでしょ」
飯島「線を引く時に消えなかったっけ」
被験者 1「消えなかった」
飯島「そうですか…邪魔ですか。イメージは右端に置くイメージだったけど」
被験者 1「その場に残っていた」
飯島「フォトショップとかそういうペイントツールってツールが残るじゃないですか」
被験者 1「そうですね」
飯島「それをイメージしたけど、音楽作曲システムではちょっと違うという」
被験者 1「それもあるし、例えば、一つ数字を適当に動かしたとして線を変えた
らそこは変わらないですか」
飯島「鍵機能はあるけど、常々言われているのが全て鍵をかけるのは面倒くさすぎるでしょって。100 個近くかけないといけなくなる。」

A.1. 被験者 1 との対話記録

35

被験者 1「動画の長さが変わったらどうするの、長さが増えたときとか」
飯島「ここの長さを増やすのは簡単です。その代わり、増えた分だけ鍵のかける量も増える。けど、線を引く量は変わらない。ここの長さは変わらないから。」
被験者 1「そう。」
飯島「この辺は静めというイメージで」被験者 1「そうですね」
飯島「32 分 19 秒。おおよそ、動画だと 0 分 41 秒の時は静かめなイメージにした。」
被験者 1「そうかな。まずは、車が走る所を盛り上がる感じにした。」
飯島「そうですね。」
被験者 1「ピーと上げて崖っぽくなるのはありなのかって…」
飯島「一応、想定はしている。」
被験者 1「微積みたいな自然体な方がいいんじゃないかな…」
飯島「崖みたいなのは変ってこと」
被験者 1「極端な話、90 度に折り曲げることも出きるよね」
飯島「出来ます。」
被験者 1「それはどうなのかなと…」
飯島「それは自分的には嫌いではなかったので、そういう機能のままにしてあります。」
被験者 1「線を動かしている際に、今動かしているところとこれから変えるところで凄く曲線みたいになってしまうから…」
飯島「今、見る感じ最後の動画だと 1 分 40 秒辺りに最後のブロックだけ落としているっていうのは」被験者 1「ロゴが出ているから」
飯島「ロゴが出ているからですか。私も自分の動画を作った際に音を下げましたよ。あれを下げる理由としてはあんなところで盛り上がるわけがないというこ
とで」

36

付 録A

被験者との対話記録

被験者 1「そうですね。さすがに盛り上がるのは…」
飯島「確かにそうですね。実際どうですか、素材は消せるじゃないですか。パー
カッションがちょんちょんと入るのを消さなかったのはこういうものだと思ってあえて消さなかったんですか。この辺入り乱れ過ぎてるような…」
被験者 1「今はまだ音なしの方の動画と合わせてないから」
飯島「前の方だけを雰囲気合わせている感じですね」
被験者 1「こんな感じでいいのかと聞いているだけ」
飯島「システムなし (比較用システム) とシステムあり (本システム) を使い分けてみて印象はどうでしたか」
被験者 1「あり (本システム) の方が作りやすいと言えば作りやすいけど、大まかなのを考える点ではありだと思う。ただ、最後の方でいくと、逆にその形を壊さないように作らないといけないから自分に制限をかけているみたいだった。」
飯島「システムなし (比較用システム) の方は、後半は全部埋まっていたじゃな
いですか。」
被験者 1「はい」
飯島「システムあり (本システム) の方は、最後まで埋まらなかった。盛り上がり度を高く設定しているからある程度は埋まっているけど、結構ギリギリまで埋まっていない。真ん中ぐらいまでは。」
被験者 1「はい」
飯島「これは線だからやったのか、それとも動画の構成がこういう風になっていたとか」
被験者 1「動画のせいだと思う」
飯島「動画のせいなんですね。」
被験者 1「はい。まず、人が出てメンテナンスとかを行って、次に走っているシーンだから。」
飯島「わかりました。それでは、質問は以上です。ありがとうございました。」

A.1. 被験者 1 との対話記録

図 A.1: 被験者 1 の比較用システムの作曲画面（映像 1 を使用）

図 A.2: 被験者 1 の本システムの作曲画面（映像 2 を使用）

37

付 録A

38

A.2

被験者との対話記録

被験者 10 との対話記録

下記でのインタビューはこれら 2 つの曲（(図 A.3)、(図 A.4)）を作った時のものである。
飯島「よろしくお願いします。インタビューを開始します。最初はまずシステム
なし (比較用システム) ということですね。どういう気持ちでこれを始めました？」
被験者 10「とりあえず音のまず素材が何がどんな音なのかわからないんで適当に並べてどんな感じのアレかなってので、なんかちょっと気に入った音素材を入れて。なのでたぶんそうですね、なんかいろんなのをたぶん置いてるんじゃ。」
飯島「結構試聴機能が無いというのがキテますかねここらへんで。」
被験者 10「そうですね。」
飯島「問題になって来ていると。」
被験者 10「後は毎回最初から再生されちゃうんで作っててちょっと後半の後ろの方とかが気になるのに、また頭から再生しないといけないってのが。」
飯島「確認してますね。シーケンスをまず。」
被験者 10「そうですね。」
飯島「どういう音色なのか。」
被験者 10「うん。」
飯島「だんだん 3 パートぐらい入ってきてますね。どういう意図でもって、上からまずという事ですか。」
被験者 10「そうですね。シーケンスを最初なんとなく決めて、他のパートもま
あ結局これもそうですよね。とりあえず置いてみて確認してっていう感じで。これでだいたい最初の 3 つはいいかなっていう感じに、たぶんだからほとんど最後まで変わってないと思うんですけど、毎回再生する度にこの出来上がった部分を何度も聴かなきゃいけないっていう感じで。」
飯島「ここで急に入れたのは盛り上がりがここで来たっていう。」
被験者 10「そうですね。なんかこう、どんどん入れたいと思って入れた感じです。」

A.2. 被験者 10 との対話記録

39

飯島「動画から盛り上がりが来たなって瞬間ってどういう瞬間ですか。」
被験者 10「切り替わったシーンで車の動画なんで基本車が写ってますけど、車以外の所で今の文字が出てたりとか、後はこの少年の感じがあるじゃないですか。
そういうところでこの辺を盛り上げたかったっていうか、少年のワクワク感みた
いな、走らせるところを盛り上げたいなと。なんとなくこの辺は直感で盛り上げたいなと。」
飯島「走ってるシーンを盛り上げたいなという気持ちは？」
被験者 10「どちらかというと心情をメインに、特にこういうピカーンというちょっと神秘的な。」
飯島「こういうシーンとかに分かってさえいればパーカッションとかも差し込みたいと。」
被験者 10「とりあえずまあね。ここから、（音素材を）探す旅に出てますね。だいたいこの辺は八個分こんな感じで良いかと車置いて走り出すシーンから頑張って作ろうと。」
飯島「実際曲一つ完成させるって大変ですよね。この場合。」
被験者 10「そうですね。」
飯島「今パッと文字が小さくて確認がとれないんですけど素材って横一列で統一させようとしたりってしてます？」
被験者 10「そうですね。ものによってですかね。動画も区切りがあるじゃないですか。」
飯島「はい。」
被験者 10「で、走ってるシーンとかだいたい同じような感じなんでそこは同じ感じで似たものをやろうって感じはありますね。」
飯島「こことかはシーンが違いますもんね。」
被験者 10「そうですね。お隣のを開いて、なんの素材かって書いてあるんで同じようなのを選んで。」

40

付 録A

被験者との対話記録

飯島「19 分経ってますね。」
被験者 10「半分諦めましたね。完成できないなっていう感じで。本当にどの素材を選んでいいのかなんとなくこんな雰囲気にしたいってのはあるけども、じゃ
あそれに合う素材ってのは素材がバーっとあるし。」
飯島「だってここ（画面右のシーケンスの列）見るだけでもバーっとありますもんね。」
被験者 10「そうなんです。」
飯島「ここは一応曲聴けますけど、それでもこっち（個別の素材選択画面）とか押しちゃうと微妙にスクロールしなきゃいけない。」
被験者 10「うん。」
飯島「確かに。素材の量が多いというのは…名前で全て判断できるものでも無いですしね。」
被験者 10「うーん。最初…でも無いか途中ぐらいから名前でなんとなくイメー
ジしてやってたんですけど、なんかイメージと違うみたいな感じで、うーん、なんかダメだなーって。結局、うまい手がかりがなかった。」
飯島「結局、まず始まることは、素材がなんなのかとか、欲しい素材がどこなのかとかそういう探索の旅になるわけですね。」
被験者 10「たぶんガイドなし（比較用システム）の時は、本当にほとんどそれで終わった。」
飯島「結構、みなさん第一小節に入れるんですよ。第一小節に入れて、まず聴くっていう感じなんですけど、それだけで結局、30 分っていう時間の大半が終わってしまうっていう、そういう展開はあるんですよね。そうしちゃうとこのペースだと終わらないかなーって内心こちらで焦りになるんです。結構、あるパターンとしては素材を全部入れちゃうってパターンがあるんですよ。敷き詰めちゃうっていう。」
被験者 10「ああ。」

A.2. 被験者 10 との対話記録

41

飯島「それをしなかったってのは、やっぱりメリハリが欲しかったということですか。」
被験者 10「そうですね。」
飯島「少ない所と多い所と。」
被験者 10「やっぱり、盛り上がる所はいろんな音がゴチャゴチャと入ってた方が盛り上がってる感じがします。」
飯島「はい。」
被験者 10「それも一つありますし、やっぱり素材が多すぎるんで全部埋めた所で何を削っていいか分からなくなるんで、結構だから慎重にこれ入れたらこうなるのかって感じでやってたので、いい感じになったからこれ以上（音素材を）足
すとなんかむしろ悪くなるんじゃないかって感じであんまし増やさなかったのもあります。」
飯島「一応確認を？」
飯島「いや、確認も何も早く行かないかなという感じでしたね。たぶんこの時点で先頭 2 小節は完成してましたね。3 小節目が 1 個目 2 個目がたぶんよかった。
でも、3,4 ぐらいからもうちょっと調節をしたいなと思ったんですけど、そこまで（シーク）バーが来るの待ちっていう。」
飯島「（シーク）バー待つのでっていう 55 秒ほど。」
被験者 10「浪費してる感じなんですよね。」
飯島「実際は途中再生機能も欲しかったといえば欲しかったっていうことですかね。」
被験者 10「そうですね。」
飯島「その辺は実装が甘かったんですかね。はい。この後は、特になにか…。」
被験者 10「特にない…5 小節目を時間あるまで、時間切れになるまで作ってくかっていう感じで。ちょこちょこね。」
飯島「はい。ではせっかくなんで事前アンケートも含めて質問を…質問という

42

付 録A

被験者との対話記録

か（回答を）…ぜひぜひ聞かせて頂きたいなと。最初線を描くことで素材が入るんですが。一回この辺で止まってるんですよね。最後まで行ききらないで。」
被験者 10「はい」
飯島「まず最初を固めてからと。」
被験者 10「というか、このいわゆる盛り上がりのレベルの感じがわからないん
で、とりあえず、なんとなく盛り上がりを描いてみようという感じで、その盛り上がりで描いてどんなメロディが作られるのか確認してから、もうちょっと描いてみようかなっていう感じ。」
飯島「途中、確認してましたよね。どういう素材の入り方するのかなって。」
被験者 10「そうですね。アルゴリズムをちょっと探りに。」
飯島「これシステムの方探られてる気がするって思いながら、この明らかに意図的に描いてるなーって思って。」
被験者 10「そうですねこれ、出だしとか高めにしたらどんな感じで最初スタートするのかなとかね。」
飯島「途中もっと露骨に下がり具合とか確認してるのかなーって。」
被験者 10「まずこの 5 段階の内の途中で描いても、てか下の方で描いても上の方で描いても一緒なのかなーっとか、この横の途中を落としたりとか上げたりとかしても変わるのかなとかいろいろ。」
飯島「推測できるかもしれないですけど、本当に 5 つしか変わらないです。結構あるんですよね。間でコニョコニョってやられちゃうとこれは反映されない。」
飯島「このピアノ、音楽知識として、楽器を弾くことができるということですけ
ど、音楽知識をこれに活かしたことって…。」
被験者 10「純粋に趣味で独学でやってただけなんで…特に無いかなって…。」
飯島「この辺で僕が右のシーケンスの説明をもう一度してますね。」
被験者 10「これいわゆる音の再生があるこっちの再生とこっち押したときにもなんか鳴るじゃないですか。」

A.2. 被験者 10 との対話記録

43

飯島「はい。」
被験者 10「それが、こっち押したらメインのこっち止めてくれたらいいのになっていう風な。」
飯島「止めてなかったでしたっけ。」
被験者 10「そうですね。例えば、こっちが止めるとこっちが鳴るみたいな。適当に流しながら、うにゃーとか（線を）変えて適当にぽちっと押して、終わりまで行くとなんかこの辺のやつが流れてから、こっちの曲の方が流れるみたいな感じで。最初、出だしが変わる？とかいろいろ。」
飯島「シーケンスのメロディそのものを変えて変わってると思いました」」
被験者 10「そうですね。だいたい雰囲気がガラッと変わっちゃって、一つのシー
ケンスのパターンで作ると似たような感じになっちゃうじゃないですか。この小節はこのシーケンスで、こっちの小節はこのシーケンスでっていう風にしようと思ったんですけど、全部一括で変わっちゃう。」
飯島「変わっちゃうんですよね。」
被験者 10「だから、ここをどうしようみたいな感じで。」
飯島「範囲指定みたいなものをできるとよかったですね。」
被験者 10「後半は確か、シーケンスに鍵かなんか付けて。」
飯島「そうですね。見てみましょう。」
被験者 10「このシーケンスのメロディが気に入ったから、動くな。っていう感
じで鍵かけといてこっちでやれば、ここの鍵かかってない所だけが変わってくれ
るんで、盛り上がりを適当に決めて後はシーケンスで気に入ったメロディが出来てきたらそこ鍵かけてみたいな感じで、ジワジワと。」
飯島「鍵かけ機能やっぱり必須ですか？」
被験者 10「そうですね。この感じ。鍵のかかり方がこれを変えちゃうと鍵かけてても雰囲気変わっちゃうような。」
飯島「可能性としては、ここを固定しても、音素材が入るように設定してしまっ

44

付 録A

被験者との対話記録

た場合、他の（パートの）素材が入ってしまうんですよ。ここの素材は変わらな
いっていうだけで。そうすると雰囲気は変わるかもしれないと。」
被験者 10「そうかもしれないですね。なんでしょうね。鍵かけた奴とまったく同じやつとまったく同じのが出てこない。そこの部分をいじらなくても。鍵をかけてもつられて一緒に音が変わっちゃったような感じがするんですよね。だから、これが！っていうのがキープできないという。」
飯島「じゃあこのフレーズをまるまる守りたいっていうパターンも十分あるっていう。」
被験者 10「そうですね。この鳴ってるメロディをそのまんま確保したいとか、それを前のシーンに持ってきたいとかっていうような感じがそれがちょっと出来なくて、苦戦したというところは。」
飯島「モヤモヤしてしまう。作曲システムを使ったことがないということなんですけど、これが初めてというか。どうでした？とか言われてもよく分からないと思いますけど初めて使ってみた感想としましては。」
被験者 10「そうですね。さっきのガイドなし（比較用システム）よりはやりや
すい感はありますけど、まだ全然思い通りには作曲できない。」
飯島「満足できる曲は出来ない。」
被験者 10「そうですね。」
飯島「作曲に関心は持ててもらえたんですね。」
被験者 10「もっとなれて、いろいろ試してこういうアレだったらこういう素材
使えば良いとかなんかそういうのが分かってくれば、たぶん思い通りに作れるのかなという感じはしました。」
飯島「操作方法は分かり辛かったですか」
被験者 10「使いやすいか直勘的かっていうと別にそうでもない普通な感じでしたね。」
飯島「たしかにこちらリストとかこちら押したら鍵とかそこまで踏み込んでしA.2. 被験者 10 との対話記録

45

まうと難しくなりますよね。」
被験者 10「素材が同じの並べたいとかって時に、いちいち隣のを見ないと分からないみたいなのが、後はこの数字振ってあるのが、音源の番号なんだろうなと。」
飯島「ID 名なんです。」
被験者 10「この数字を見ても、どの素材を選べばいいか同じ種類のものになるか分からなかったりするんで、そんなに使いやすいかっていうと…。ちょっと今日
学会帰りなんでいろいろ辛口コメントかもしれないんですけど。」
飯島「いえ、ありがたい限りです。空白も鍵かけられるんですよ。鍵かける意義としてはそこの音が入らないようにするっていうことでして。それと意外と
このパーカッションっていうのが線に影響されないんですよ。なんでパーカッショ
ンは基本的に鍵をかけるのが理想なのかなっていうのが、製作者の僕としての意図だったんですけど。そういうのはなかったですか」
被験者 10「結局この 5 行の内のどれがどれなのか、一番上がシーケンスなのは頭に入っていたんですけど。残り 4 つがなんだったけなみたいな感じで。」
飯島「確かに。これ PERCって書いてあるだけですしね。」
被験者 10「なんか書いてあったんですかね。」
飯島「一応書いてあったんですけど確かにここの部分の解説は足りなかったかもしれないですね。」
被験者 10「途中、この音いらねえなってっていうのがあったんですけどそれ消すのに相当苦戦してましたね。どいつを消せばこの音が消えるんだみたいな。埋め込んだやつの試聴もできたらやりやすいかなとか、この音いらないなとかが結構消しやすいのかなっていう感じがしました。この音、他のと合ってないなとか
そういうのがたぶん。動画と音が同期してないのが地味にめんどくさかったですね。曲の方がパッと変わったけど果たして動画のこの変わるのとちゃんと合ってるのかなとか。」
飯島「その辺の技術的な面というかシステム面で足りない面が多かった、」

付 録A

46

被験者との対話記録

図 A.3: 被験者 10 の比較用システムの作曲画面（映像 2 を使用）

被験者 10「もうちょっとシステム面で改良すればなんかもうちょっと思い通りに出来るのかなと。無い (比較用システム) よりは断然有る (本システム) 方が、それは凄くやりやすかったです。よくあるのはイージーモードとプロフェッショナル
モードと。初心者はとりあえずイージーモードであんまし余計な機能がついてないので作れて、このソフトになれてきてここちょっとこうしたいとかっていう時に
プロフェッショナルモードにすれば、チョコチョコっといじれるみたいな感じにするのもシステムとしては有りなのかな。」
飯島「それは面白いですね。ありがとうございました。」

A.2. 被験者 10 との対話記録

図 A.4: 被験者 10 の本システムの作曲画面（映像 1 を使用）

47

49

謝

辞

本研究は、日本大学文理学部情報システム解析学科北原研究室の卒業研究のテーマとして実施されました。本研究を進めるにあたり、ご指導を頂いた卒業論文指導教員の北原鉄朗先生に感謝致します。また、日常の論議を通じて多くの知識や示唆を頂いた北原研究室の同期・先輩・後輩に感謝します。