Orpheus: 歌詞の韻律に基づいた自動作曲システム
深山覚†
酒 向小 野中 妻慎 司††
順 貴†啓†
米 林 裕 一 郎†
西 本 卓 也†
嵯峨山 茂樹 †概要：本稿では歌詞の韻律を用いた歌唱曲の新しい自動作曲手法を提案する。旋律を音の経路と捉え作曲を経路探索問題として定式化することで、任意の日本語の歌詞を用いた歌唱曲の自動作曲が、歌詞の韻律に基づく制約条件下での最尤経路探索問題を解くことで実現できることを示す。さらにこの作曲原理を実装した自動作曲システム”Orpheus” を用いて実際に楽曲生成を行い、作曲家による生成された楽曲に対する評価を踏まえて、今回の手法によって妥当な音楽性をもった歌唱曲が生成されたことを検証する。

Orpheus: A System for Prosody-based AutomaticSong Composition from the Lyrics
Satoru FUKAYAMA,† Kei NAKATSUMA,†Yuichiro YONEBAYASHI,† Shinji SAKO,††Takuya NISHIMOTO,† Nobutaka ONO†
and Shigeki SAGAYAMA †In this paper, we discuss a new algorithm for automatic song composition and introduce ournew composition system named ”Orpheus”. We show that composing melody on Japaneaselyrics can be done automatically by considering musical composition task as an optimal-pathsearch problem under constraints of the upward and downward pitch motions given from theprosody of the lyrics. Valuation on the results generated by ”Orpheus” by a musical composer
is also reported, which indicates that our new system can compose a song with a proper degreeof musicality.

1. は じ め に知られているように W.A. モーツァルト (1756-1791)
が幾つかの旋律をさいころを振って組み合わせるとい自動作曲はその目的によって芸術目的のものと工学う手法で「音楽のさいころ遊び」という曲を作曲してい的目的のものに分類することができる。芸術目的の自る。コンピュータが発明され音楽を処理させるようにな動作曲は、自動作曲によって生まれる新しい音楽の創ると、確率論に基づく作曲プログラム SMP(Stochastic

造や、もしくは新しい作曲行為のコンセプトを提案すMusic Program) を用いて作曲された “Eonta”(I. Xe-るために行われる。一方、工学的目的の場合は、既存のnakis,1964) などが登場した1) 。

スタイルの楽曲の自動生成や、人間の作曲過程の計算

最近では、IRCAM (Institut de Recherche et論的モデリングなど、多くの場合コンピュータによっ

Coordination Acoustique/Musique2) ) で開発されたて人間の作曲を再現するために行われる。本研究で扱OpenMusic, MAX などをはじめとした作曲のためのう自動作曲は後者の工学的目的での自動作曲である。

アルゴリズムをグラフィカルにプログラミングできる

芸術的目的での自動作曲の先行事例としては、良くソフトウエアが広く用いられ、乱数やカオスなどのランダム性を使った作曲や、マイクロフォンや様々なセ† 東京大学大学院情報理工学系研究科
Graduate School of Information Science and Technology, the University of Tokyo†† 名古屋工業大学大学院工学研究科
Graduate School of Engneering, Nagoya Institute ofTechnology

ンサにより音や人間の動きを取り込んでリアルタイムに音楽を生成するインタラクティブな楽曲生成3) など、様々な自動作曲システムが盛んに開発されている。
これらの先行事例では確率的手法やコンピュータを用いることにより、偶然性をハイライトした音楽や人手ではとても実現出来なかった音楽が生成可能となっ曲ではアクセントが重要視される。例えば日本語を歌たことが有意義であると考えられる。その観点から見詞とする曲では、「箸」と「橋」、「切る」と「着る」のれば、これらの自動作曲システムの評価は作曲のためようにアクセントの高低を変えると意味が異なるものの手法そのものよりも、結果として生まれた楽曲の芸を言葉本来のアクセントと異なる高低アクセントで歌術性や作曲行為についてのコンセプトの新奇性に対しうと、聞き手は歌詞の意味の理解が困難となる。したてより重きをおいてなされるべきである。

がって曲を聴く人に歌詞の内容を容易に聞き取らせる

他方、工学的目的での自動作曲の先行事例としては、ためには、歌詞の韻律に従った音の上下による旋律をジャズのアドリブをソロを遺伝的アルゴリズムを用い歌詞に対して作曲することが重要であるといえる。

4)や、バッハのコラールを学習に確かに、現代の歌唱曲全般を見渡せば、歌唱旋律のより確率モデル化し、このモデルを用いて未知の曲のて自動生成する手法

上下が発話時の韻律に必ずしも従わない楽曲も多い、予測を行う5) 、などの研究が行われている。後者のシという反論が予想される。しかし、これは楽曲を繰りステムは曲の予測を行うためのものではあるが、同時返し聴くことや、歌詞テキストが見られることが想定にバッハ風の曲を自動生成するシステムとも捉えるこされていたりして、歌詞の了解性よりも音楽的な魅力とができる。

や歌詞と旋律のミスマッチのおもしろさが優先される

本研究と同じく歌詞を入力として歌唱曲を作曲する場合であるとも考えられる。一方、過去のＡＭラジオ

工学的自動作曲の先行研究としては「歌詞からララ放送のように帯域が狭くノイズが多い歌声に関しては、6)ラ」 が挙げられる。このシステムでは歌詞の係り受歌詞の了解性の重要性は大きかった。このように歌詞

け構造を和声構造に置き換えることで、和声進行の開の韻律を旋律に反映させることは、今もなお効果的で始、発展、終止といった特徴と歌詞の統語論的特徴を正統的な作曲法とされている8) 。本システムの応用例一致させつつ作曲できる。この手法は、歌詞の内容のである天気予報を歌にする場合など、一度しか聴かれ区切りと和声進行の区切りを一致させることで、作曲ないが歌詞内容が重要であるような自動作曲は、この家が曲の構造に歌詞の構造を反映させる過程をモデル原則に則すべきであると考えられる。

化したものと言えよう。しかしながら歌詞の内容を一2.2 韻律に基づいた歌唱曲作曲モデル

番ニュートラルに伝えると考えられる歌唱パートの旋

次に韻律に基づいた歌唱曲作曲モデルについて述

律についても和声設計と同様に統語論的特徴を用いてべる。

作曲しているため、歌詞の聞き取りやすさや歌詞に対先に述べたように、韻律は旋律の音の上下に制約をする旋律の自然さの面で課題が残る。なぜならば次章加えるので、我々の求めるモデルは、生成される楽曲でも述べるように、歌詞が聞き取りやすい自然な旋律の旋律が韻律に逆らわずに作曲されるような作曲モデを作曲するためには、歌詞の音韻論的特徴を旋律に反ルである。

映する必要があるからである。

ところで、楽曲を構成する重要な要素として、このそこで本研究では、歌詞の統語論的性質の代わりに「旋律」の他に「和声」と「リズム」がある。実際の歌詞の音韻論的性質である「歌詞の韻律」を用いた自作曲では、これら 3 つの要素が互いに複雑に影響を及動作曲システムを設計、実装する。

ぼしながら曲が生成されていると想像されるが、本研

2. 韻律に基づいた歌唱曲作曲モデル

究ではこの複雑な作曲過程を、単純化のため、作曲者が作りたい曲の曲想に基づいて特に楽曲に用いたい和

本節では、歌唱曲作曲において歌詞の韻律の果たす声進行と旋律に用いたいリズムの特徴があらかじめ決役割の重要性を明確にした上で、本研究の手法である、めておき、その上で日本語の歌詞に対して旋律を作曲

歌詞の韻律を用いた歌唱曲作曲のモデルについて述べする、という場合についてのみ考えモデル化することる。さらに、このモデルに基づいて実際に旋律を生成とする。

する際に使う、動的計画法を用いた旋律の作曲方法についても議論する。

したがって曲想をもとに和声進行、リズムをあらかじめ設計し、そこから韻律による制限下で旋律を作曲

2.1 歌唱曲作曲における歌詞の韻律の重要性するという順序立ての歌唱曲作曲モデルを考える。図

韻律とは、音声発話時の音色以外の全ての要素を含

1 にこの歌唱曲作曲モデルの概略を示す。以下プロセ

む幅広い特徴のことをいう。そしてこれらの特徴は、スの順を追って、和声の生成、リズムの生成、旋律の通常の発話において、聞き手にわかりやすく発話内容設計について説明する。

を伝えるための特徴として重要であり、特に歌唱曲作

図 1 歌唱曲作曲モデル

2.2.1 和声進行の生成下で、あるリズムが異なる音符数に展開できる構造を和声進行は楽曲のスタイルや曲想を強く表す要素で「リズム木構造」と定義し、これに基づき標準リズムある。そこであらかじめ特定の曲想を表すような和声からの音価の分割、統合が行われ、リズムファミリー進行の常套句をコーパスとして準備しておき場合にが構成されるものと仮定する (図 2)。

よって使い分ける、もしくは「明るさ度合」などの曲

このような仮説に基づくと、歌唱曲作曲におけるリ想を近似して表すパラメータを準備しておき、そのパズム設計は、曲想を基に生成されたリズムパタンからラメタに基づいて調整された和音間の遷移確率と和声リズムファミリーが作られ、歌詞により決まる音符数学の理論に基づいて曲想を反映した和声進行を自動生に合わせて、リズムファミリーから使用するリズムが成する、などの方法が考えられる。

決定されるというモデルとなる。

2.2.2 リズムの生成

2.2.3 歌唱旋律の作曲

和声進行と並んでリズムも曲想を強く表す要素であ

旋律は横軸時間、縦軸音高の二次元平面上での遷移る一方、自由度も高い。例えば、歌の 1 番と 2 番の経路であると捉えることができる (図 3)。この遷移経同じ場所で、音符数が違うためにリズムが異なってい路には、和声進行やリズム、歌詞の韻律によって様々ても同じ曲想を感じることがある。例えばサザンオーな条件が課され、それらの制約は音の出現確率や遷移

ルスターズの「いとしのエリー」の場合、1 番と 2 番確率といった形で表すことができる。のそれぞれ冒頭二小節のフレーズに含まれる音符数は例えば和声進行からは時刻毎の和音が決まり、その18 個と 21 個で異なっているが、これらそれぞれの歌和音とその楽曲の調からその時刻での旋律のとれる音詞に付けられた旋律から得る印象は似たものとなって高には制約が課されるが、これは音高の出現確率としいる。すなわちこの 2 つのリズムは音符数の変動にて表現できる。また同様にリズムの制約は旋律各音の依らず曲想を表す同一の特徴を持っていると考えられ時間軸上の位置に対する出現確率がとして表され、歌る。本研究では、この音符数の変動に依らない特徴を詞の韻律の上下からの制約は次の音へ遷移するときに「リズムパタン」、その特徴を表すリズムを「標準リズ上行しやすいか下行しやすいかについての遷移確率でム」、同じリズムパタンをもつリズムの集合を「リズ表せる。

ムファミリー」と呼ぶ。そして一定のリズムパタンのさらに作曲においては、旋律の音域や跳躍の度合も

図3
図2

リズム木構造による標準リズムからのリズムファミリーの形成。標準リズム中で赤い丸で示した位置がリズムパタンを表現する。標準リズムがリズム木構造に従って音符数に応じて展開されることで、この位置のリズムが保持され、一定のリズムパタンを持つリズムファミリーが形成される。

旋律の経路の例。1 オクターブ内で旋律を設計することを考えると、旋律の取りうる音程の候補は 13 音になる。図上部のようにリズムが与えられると、13 音の候補を選択するタイミングが決定する。音程とリズムから形成される格子点上を図中のように遷移する経路は、図下部に示した旋律となる。

行、リズム、歌詞の韻律によって算出される。
さて時刻 1 から時刻 i までの間で旋律の最尤経路曲想を表現する要素として考慮される。これらも同様が求まったとして、この経路上の時刻 i での音高をに、音域は音高の出現確率、跳躍は音高の遷移確率とpath(i) と表すことにする。この経路の最後の音の音して旋律の遷移経路に制約を与える。また、歌唱曲で高が m であるときのこの経路の実現確率 Pi (m) は、は、歌い手の声域や技量によってこれら音域や跳躍の以下のように時刻 i − 1 の情報を用いて再帰的に書く

度合は制限を受けるため、たとえば歌い手が女声か男ことができる。

声か、歌手なのか一般の人なのかなどに基づいて、歌Pi (m) =いやすいように音域を狭く制限したり、歌いにくい音程の出現を制限するなどの考慮が必要である。
以上述べたような音の出現確率、遷移確率をかけ合わせることにより、各音程、経路に対しての尤度が計

max (Pi−1 (n) · ci−1 (n, m))(1)

n=1,...,N

そこで、全ての時刻と音高 (i, m) において、

nmax = argmax(Pi−1 (n) · ci−1 (n, m))(2)n算できる。よって、歌唱曲の旋律設計は、考えられるを計算し、その結果を各 (i, m) と組で保存しておく。

全ての旋律の経路のうち、歌詞の韻律の上下動を満たすると最尤経路の端 (i, path(i)) からその点と組で保し、音楽理論的な逸脱をおこさない制限の下で、尤度存されている nmax を用いて (i − 1, nmax ) にバックト最大の経路を探索する問題となる。これは、各経路に確率重みと、韻律によるペナルティをつけた動的計画法 (DP) の尤度最大経路探索問題へ帰着できる。

2.3 動的計画法を用いた旋律の作曲手法
最後に、動的計画法を用いた旋律の具体的な設計方
法を示す。
旋律の構成音が時刻 i で音高が n (MIDI ノート番ラックすることを繰り返し、旋律の最尤経路全体を求めることができる。

3. 自動作曲システム Orpheus の実装
以上のような歌唱曲作曲モデルを実装して、任意の漢字仮名混じり文の歌詞入力から歌唱曲を作曲し、伴奏つき合成音声によって歌う自動作曲システム “Or-号, 1 ≤ n ≤ N ) であるとき、時間と音高による二pheus” を開発した。

次元平面上で点 (i, n) と表す。また旋律が (i, n) から

これは歌唱曲の作曲システムに入力歌詞の読みと韻(i + 1, m) に遷移するとき、この遷移経路についての律の解析エンジンと合成音声による歌声生成エンジン

確率重みを ci (n, m) とする。この確率重みは和声進を接続したものである。前者は日本語自動読み上げソ図 4 Orpheus による作曲例
歌詞の韻律にそって旋律が作曲されていることが見て取れる

フト “Galatea-Talk”9) のテキスト解析によって行い、おり、特に、2 つの評価項目のいずれについても半数後者の合成音声による歌声生成は “hts-engine” によっ以上の例が最高評価の A から平均の C の間の評価をて行っている10) 。

受けており、このシステムから重大な禁則が存在する、

また、現在は、和声進行、リズム木構造を曲想から自動で生成するのではなく、システムのユーザが作りもしくは、著しく不自然な楽曲がほとんど生成されていないことがわかる。

たい楽曲の曲想に合わせてライブラリから選ぶように

表 1 作曲例に対する評価結果
ABCD

なっている。
この Orpheus は cgi プログラムとしても実装され11) 、web 上で公開されている☆ 。

評価 1)
評価 2)

27 例
15 例

17 例
22 例

5例
17 例

6例
2例

E
4例
3例

4. 出力結果と評価
表 2 作曲例に対する評価項目
評価 1)
音楽理論上の逸脱はないか

Orpheus に小節やニュースなどから抽出した歌詞を評価 2)

入力し、和声、リズム、伴奏、跳躍などの条件を変え楽曲に音楽性を感じられるかながら出力を得た。生成された楽曲の例を図 4 に示す。
これらの結果について、作曲条件を様々に変えた場合にも韻律に従った旋律が生成されることが確認できた。また、禁則、非和声音についてはシステム設計段階で設定したものに関しては違反がなかった。

5. 考

察

韻律に基づく歌唱曲自動作曲モデルを実装した Or-

pheus の出力結果は、様々な歌詞に対して韻律に従っ

次に 59 例の出力結果について、音楽大学で和声学おた旋律を生成することができ、また著しく音楽理論をよび作曲法を教授している作曲家に評価を依頼した。

逸脱するような楽曲も生成されなかったため、概ね良評価項目は、1) 音楽理論上の逸脱はないか、2) 楽曲好であったといえる。しかし作曲家による評価の結果、に音楽性を感じられるか、の 2 つで、五段階評価によ生成される旋律の自然さ、音楽性に問題を残している

りあたかも作曲専攻でない学生の作品を見るような想ことも分かった。

定で採点が行われた。結果を表 1 に示す。D や E な

例えば、旋律中での滑らかな進行が少なく、大きなどの低い評価を受けた出力結果には、導音が主音に上跳躍や不自然な進行が生じている。これに対しては、行しない、旋律に大きな跳躍が多い、不自然な動きが現在の Orpheus は和声進行で与えられた和音の構成ある、などの理由が挙げられた。

音によって旋律の音高の出現確率が決定されており、この評価結果を見る限り概ね良好な評価が得られて和音構成音でない音 (非和声音) は和音構成音に比べて出現確率が低く設定されていることが理由として挙☆

http://itm.hil.t.u-tokyo.ac.jp/

げられる。もちろんこれは和音と旋律の親和性を保つための妥当な制約であるといえる。しかし経過音、刺繍音など音楽理論の中で意味付けがなされている非和声音ならば、旋律に順次進行をもたらすものとしてむしろ歓迎されることを考えると、現在の Orpheus では必要以上に非和声音の生成が抑制され、結果として跳躍の多い曲が多く生成されているともいえる。したがって音楽理論の枠内で非和声音を積極的に生成するようなアルゴリズムを新たに Orpheus に加えることが必要である。
また作曲に用いられる和声進行パターンや旋律のリズムパターンの数が限られているため、生成される楽曲全体がやや似る傾向にあり、音楽性の面で貧相である感は否めない。これに対しては、和音進行やリズム木構造の自動生成手法を新たに盛り込んだり、旋律に使われる音の出現確率や遷移確率を変更して特定の旋法の音楽を生成させたりすることで、音楽のバリエーションを増やして解決できると考えられる。

6. 結論

本研究では、歌詞の韻律に基づく制約条件下で歌唱曲を自動生成する自動作曲モデルを提案した。また、そのモデルを用いて任意の仮名漢字混じり文を入力として自動で歌唱曲を作曲する自動作曲システム “Or-pheus” を開発し、システムが設計通りの楽曲を生成することを確認した上で、楽曲の音楽性についても作曲家による評価を行い、音楽性にやや問題を残したものの、概ね良好な評価を得ることができた。
今後の課題としては、現在の “Orpheus” システムにまだ実装するに至っていない和声進行の自動生成やリズム木構造の自動生成について検討したい。
また、音楽理論の枠組内で非和声音をより積極的に生成する手法を提案し、音楽性を持った高度な旋律生成モデルを構築することや、旋律に用いられる音の出現確率や遷移確率の設定によって、今回扱った狭義の西洋音楽だけでなく、様々な旋法の音楽や民族音楽などの自動作曲モデルの構築も期待できる。

謝辞

本手法に対しての評価と有益な助言を頂いた桐朋学園大学音楽学部作曲科金子仁美講師に感謝する。また
本研究の一部は、科学技術振興機構 CREST の補助を受けて行われた。

参考文献1) C. Roads (青柳, 小坂, 平田, 堀内 訳 · 監修): コ
ンピュータ音楽, 東京電機大学, 2001.
2) Institute de Recherche et Coordination Acoustique/Musique http://www.ircam.fr/3) 長嶋洋一, 橋本周司, 平賀譲, 平田圭二: コンピュー
タと音楽の世界-基礎からフロンティアまで, 共立出版, 1999.
4) J. A. Biles: Genjam: A Genetic Algorithm
for Generating Jazz Solos, In Proceeding of1994 International Computer Music Conference, 1994.
5) D. Conklin and I. Witten: Multiple Viewpointfor Music Prediction, Journal of New Music Research, Vol.24, pp.52-734, 1995.
6) 早川和宏, 稲垣博人, 田中一男: 歌詞からラララ言葉から歌への自動変換-, 人工知能学会ことば工学研究会第３回資料, 1999.
7) 中妻啓, 酒向慎司, 小野順貴, 嵯峨山茂樹: 歌詞の韻律を用いた自動作曲, 日本音響学会春季研究発
表会講演論文集, pp.739-740, 2007.
8) 長谷川良夫: 作曲法教程, 音楽之友社, 1950.
9) Galatea Project: http://hil.t.u-tokyo.ac.jp/galatea/
10) 酒向慎司, 宮島千代美, 徳田恵一, 北村正: 隠れマ
ルコフモデルに基づいた歌声合成システム, 情報処
理学会論文誌，Vol.45, No.3, pp.719–727, 2004.
11) 米林裕一郎, 中妻啓, 西本卓也, 嵯峨山茂樹: Orpheus: 歌詞の韻律を利用した Web ベース自動作曲システム, インタラクション 2008 予稿集, 2008.