// 特集 // 音楽を軸に拡がる情報科学
基応
専般

4 音楽とコンテンツ生成

深山 覚（産業技術総合研究所）

後藤真孝（産業技術総合研究所）

音楽コンテンツの自動生成
コンピュータを使って，音楽コンテンツ（楽譜や専門知識の実装
断片の利用 予測モデルの学習（ルールベース） （事例ベース）（機械学習ベース）

その演奏，歌詞等）を自動的に生成する研究の歴史は長い．コンピュータの発明とほぼ同時期に取り組

学習

まれ，たとえば 1950 年代には，黎明期の電子計算機

演繹利用である ILLIAC I によって弦楽四重奏曲（ILLIAC Suite）

予測1）が自動生成されていた ．そして，計算機・情報処理の発展とともに，音楽の自動生成技術は進歩して

図 -1 情報処理の発展に伴い登場した音楽コンテンツを自動生成する 3 つの方法

きた．当初は音楽を生成するために，作曲技法の専2）

門知識を明示的に実装するところから始まり ，し3）

だいに音楽データベースを活用しはじめ ，機械学

ュータを用いて初めて可能となる音楽表現を追求す

習や統計的確率モデルに基づいて自動生成をする段ることで，これまでになかった表現が生みだせる

4）に至っている．その時代ごとの最先端の情報処という意義がある．本稿では，1 つ目の工学的意義

理技術が，音楽コンテンツの生成に活かされてきた．

を中心に，音楽コンテンツの自動生成について議論

階

音楽コンテンツを自動生成する研究は，少なくとする．

も工学的意義，科学的意義，芸術的意義の 3 つの意
義を持つ．工学的な観点から見ると，自動生成技術が実現できると，人々の音楽制作を支援するために有用である．たとえば，作曲できない素人でも，手音楽コンテンツの自動生成に関して，実際にどの軽にオリジナル楽曲を作る楽しみを得ることができ，ような研究がなされてきたのかを紹介する．体系的

アマチュア作曲家は，データ分析結果や専門技能がな既存研究のまとめはサーベイ論文

実装された技術によって，自分一人では完成できな下では情報処理の発展とともに現れた自動生成のいような作品を制作できるようになる．さらにプロ

3 つの方法（図 -1）に即して，代表的な位置づけのの作曲家は，自動生成技術に有能な助手として支援研究を紹介する．まず古くから研究されてきた，楽されながら，創造的な作業に没頭できるようになる．

譜情報・演奏・歌詞といった記号系列を生成する研

一方，科学的な観点からは，人間の創作過程をコン究について述べ，次に，近年工学的観点から取り組ピュータで分析・再構成することで，名作が創られまれ始めた音楽音響信号を生成する研究についてる秘訣や創造性の本質を明らかにできる可能性があ述べる．

るという点で意義深い．芸術的観点からは，コンピ516

音楽コンテンツ自動生成の変遷

情報処理 Vol.57 No.6 June 20165）に譲り，以4 音楽とコンテンツ生成♫ 楽譜情報・演奏・歌詞の自動生成♫ 音楽音響信号の自動生成

作曲には和声法や対位法といった，ある時代の音個々の構成音を合成する楽音合成ではなく，音楽楽文化から抽出したセオリー集のような技法・理論

音響信号として楽曲全体を自動生成する研究は，記がある．それらの一部を人間がルールや制約等の形号系列の生成研究に比べると少なかった．これまでで記述しコンピュータに実装することで，楽譜情報は主に芸術的観点から取り組まれており，たとえば（旋律等の音符列）を自動生成する取り組み（例：グラニュラーシンセシスと呼ばれる音響信号の断片Automatic Counterpoint）が初期には行われた．そを変形・接続する音響合成を，アルゴリズムに基づの後，情報処理全般におけるデータ処理の重要性がいて自動的に行う方法があった．一方で，音楽音響認識され始めると，既存作曲家のスタイルを模倣し信号の形式での音楽データベースを活用できるようた断片を組み合わせる（繋ぎ合わせる）ことによな工学的観点からの研究はまだほとんどない．制作って楽譜情報を生成する方法（例：Experiments in支援を目的とした音楽自動生成では，既存の音楽音Musical Intelligence）が取り組まれた．確率モデル

響信号に含まれる拍節構造や和音といった音楽的内などを用いた機械学習手法が発展してくると，楽譜容を分析・再利用できるとよいが，技術的に難易度データベースから学習した音高のマルコフ連鎖を用が高かった．そのため，音響類似度に基づいた音響いて旋律・伴奏を生成する方法（例 : Continuator）

断片の接続（CataRT）や，音楽レコーディング後のが研究された．

ミキシングを自動で行う研究など，主に音響の違いこうした楽譜情報を生成する研究とは別に，そのそのものに着目した自動生成研究に限定されていた．

楽譜をどのように表情豊かに演奏するか，という演しかし，音楽音響信号の分析技術（音楽理解技奏表情の自動生成が取り組まれてきた．演奏表情の術）の発展によって，この状況は変わりつつある．

生成でも，楽譜情報の生成と同様に，初期には演奏たとえば複数の既存楽曲を混ぜ合わせて自然に聞こ家が持つ演奏についての知識・知見を実装する研究えるように音楽を制作する「マッシュアップ」を自（例：Director Musices）が多かった．その後，演奏動生成・制作支援する技術（AutoMashUpper）がデータベースを活用し，既存の演奏表情の断片を用研究されている．音楽データベース中のさまざまないて自動生成する手法（例：SaxEx）が取り組まれた．

既存楽曲の音響信号に対して拍節構造や和音等を分演奏データベースの規模が大きくなると，機械学習析し，自動的に断片を切り出して加工しながら重手法を用いて人間らしい演奏の仕方を学習して演奏ね合わせて音楽を生成できる．こうしたアプロー生成する研究（例：ANN Piano）が発展した．

チは Creative MIR とも呼ばれ，音楽情報検索 (MIR:

ほかには歌詞の自動生成も研究されてきた．特にMusic Information Retrieval) の分野で盛んに研究さ

近年は大規模な歌詞データの機械学習に基づく研究れてきた音楽理解技術を活用した生成研究として近（例：LyriSys）が可能になっている．自然言語処理

年注目を集めている．

や音声言語情報処理では，早い時期 (1970 年代 ) から統計モデルに基づく技術が研究されており，その自然な延長として，歌詞という言語情報を生成する

今まさに音楽自動生成の転換期のに機械学習や統計的アプローチが活用されている．

このような音楽コンテンツの自動生成の変遷を踏

ただし，歌詞は単なる文章ではなく，歌唱や伴奏とまえると，以下の 2 つの点で今が転換期であると密接にかかわるため，自動生成をする際にそれらといえる．の関連性を分析して考慮したり，歌詞特有の表現を1 つ目は大規模データベースと機械学習の活用で可能にしたりと，まだ取り組むべき課題は多い．

ある．ほかの研究分野同様，音楽情報処理分野においても，すでにそれらを活用した研究開発は活発に

情報処理 Vol.57 No.6 June 2016517

// 特集 // 音楽を軸に拡がる情報科学取り組まれている．これまでは音楽の分析・理解にとが多い．このトレードオフは人間が道具を使う際関する進展が大きかったが，今後は，音楽の生成にの根源的な問題でもあり，ヒューマンコンピュータ関しても大きな進展が期待される．ほかの研究分野

インタラクションの観点からの研究開発と合わせてでも，大規模データベースと機械学習をコンテンツ取り組んでいく必要がある．

生成へと応用する研究はまだ未成熟であり，今後の2 つ目は自動生成結果の品質と多様性を両立させ音楽情報処理分野での自動生成研究がパイオニア的る挑戦である．芸術的意義に基づく自動生成では，な存在となって，学術的な発展を牽引していきたい

作曲家が求める音楽を 1 種類だけ生成できれば，そと考えている．

れで目的を達成できた．一方，制作支援といった工2 つ目は音楽音響信号の分析技術（音楽理解技術）

学的意義を持つ自動生成のためには，生成できる曲の活用である．そうした技術が，機械学習の学習デをできるだけ多様にしたい．しかし，単にランダムータとして音楽音響信号を活用する自動生成研究を性を加えて多様にするのでは，生成する音楽の品質進展させる鍵を握っている．それにより，過去にはが保てない．これは多様な音楽を含む大規模なデー困難だった大規模なデータベースに基づく音楽自動タベースを活用したり，それを適切に抽象化・具象生成が可能になるからである．そうした流れと並行化できる技術を実現したりすることで解決できるとして，音楽理解技術を活用することで音楽に連動す考えている．

るコンテンツを自動生成する研究も進んでいる．たいままさに転換期にある音楽コンテンツの自動生

とえば，インターネット上の楽曲の中身を自動解析

成は，音楽情報処理・ヒューマンコンピュータインタ☆1の外部連携機能をラクション・機械学習等を一層融合していくことで今活用することで，音楽に合わせたダンス動画や写真後さらに進展でき，人々の音楽制作を支える基盤技する音楽鑑賞サービス Songleのスライドショーの自動生成，TextAlive☆2のような音楽に同期した歌詞アニメーションの自動生成・制作支援が実現されてきた．
以上のような研究の流れは，今後より一層発展していくことが予想される．

自動生成が制作を支援する未来へ
最後に，自動生成技術が広く制作支援に使われる未来に向けての挑戦を 2 つ議論したい．
1 つ目が制作支援時の簡便さと自由な編集のトレ術として不可欠になっていくことを確信している．
参考文献
1） Hiller, L. and Isaacson, L. : Musical Composition with a Highspeed Digital Computer, Journal of the Audio Engineering
Society, Vol.6, No.3, pp.154-160 (1958)．
2） S u n d b e r g , J . , A s k e n f e l t , A . a n d F r y d e n , L . : M u s i c a l
Performance, A Synthesis-by-Rule Approach, Computer Music
Journal, Vol.7, pp.37-43 (1983).
3） Cope, D. : Machine Models of Music, MIR Press, pp.403-425(1992)．
4） Pachet, F. and Roy, P. : Markov Constraints : Steerable
Generation of Markov Sequences, Constraints, Vol.16, No.2,pp.148-172 (2011)．
5） 松原正樹，深山 覚，奥村健太，寺村佳子，大村英史，橋田光代，北原鉄朗 : 創作過程の分類に基づく自動音楽生成研究のサーベイ，コンピュータソフトウェア，Vol.30, No.1, pp.101118（2013）．
（2016 年 4 月 2 日受付）

ードオフへの挑戦である．操作を究極に簡便にしたければ「全自動生成ボタン」を 1 つ用意すればよいが，それでは支援技術を使う人の裁量はなくなり，自分の意図を反映できなくなってしまう．一方で裁深山覚（正会員） s.fukayama@aist.go.jp

2013 年東大大学院博士後期課程修了．博士（情報理工学）．同年より
産業技術総合研究所 情報技術研究部門 研究員．専門は自動作曲，音楽情報処理，機械学習．2009 年本会山下記念研究賞等 受賞．

量を増やして自由に編集可能にすると，操作が煩雑となり，支援技術を使うための知識が必要となるこ

☆1
☆2518

http://songle.jp
http://textalive.jp

情報処理 Vol.57 No.6 June 2016

後藤真孝（正会員） m.goto@aist.go.jp
1998 年早大大学院博士後期課程修了．博士（工学）．現在，産業技術総合研究所 情報技術研究部門 首席研究員．音楽情報処理を 24 年間研究．日本学士院学術奨励賞，日本学術振興会賞等 43 件受賞．