言語処理学会 第25回年次大会 発表論文集 (2019年3月)

ありがちでない歌詞⽣成に向けた曲調と歌詞の関係に基づくベクトル空間モデル
渡邉 研斗 後藤 真孝
産業技術総合研究所 (AIST){kento.watanabe, m.goto}@aist.go.jp
1 はじめに

曲調・歌詞データの準備

2

歌詞情報処理の主要技術に自動歌詞生成がある．従来

曲調と単語の関係性を分析・モデル化するために，本研究の自動歌詞生成に関する研究では，メロディに対して歌いやでは 458,572 曲の英語歌詞を用意した．歌詞に対応する楽すい歌詞や [1,2]，押韻を考慮した歌詞など [3]，歌詞特有の曲の曲調を音響信号から分析するために，インターネット上性質に焦点が当てられてきた．しかし，これらは歌詞特有のから視聴用の部分的な音源ファイル (30 秒固定:44.1kHz)性質の一部に過ぎず，多様な歌詞を生成するためには，考慮を収集した．この対応づいたデータを「曲調・歌詞データ」とすべき性質の拡充が重要となる．本研究では，自動歌詞生呼び，その総再生時間は約 159 日分となった．

成の可能性を広げる上で，以下の性質に着目した：

2.1 ⾳響信号から Bag-of-Audio-Words への変換
音響信号から曲調を抽出する手法として，Liu らが用いた Bag-of-Audio-Words (BoAW) を我々も用いた [4]．
BoAW とは，連続的な音響信号から離散的な擬似単語へ変換されたものである．BoAW の作成手順を以下に示す：• バラード楽曲では “love” が，メタル楽曲では “kill” が使われやすいように，曲調に歌詞をあわせることがある．
しかし，従来手法には，曲調を考慮した自動歌詞生成技術はない．

1. 語彙数 k の audio-word を作るために，音響信号から曲調を表す Mel-Frequency Cepstral Coefficients(MFCCs) を計算する．
2. 計算した MFCCs を 250-ms 毎に分割する．
3. 分割された各 MFCCs を k-means クラスタリングする．

• 作詞作業では，ありがちな表現とありがちでない表現を使い分けることで歌詞を作成するため，自動歌詞生成において「ありがちかどうか」を考慮することは重要となる．しかし既存研究では，Recurrent Neural Network

Language Model (RNN-LM) などの高頻出の単語系列を生成する手法を用いているため，ありがちな表現が生成されてしまう．

以上の手順で得られた k 個のクラスタが audio-word に対応する．本研究では k = 3000 とした．

本研究の目的は，入力した曲調にあった単語を自動生成すると同時に，ありがちでない歌詞を自動生成することであ曲調と歌詞の関係性分析

3

る．この目的を達成するために次の 2 つの課題に取り組む．

バラードのようなゆったりとした曲調では “love” などの恋

(1) 曲調に依存して単語の使用傾向が異なるかどうかを確

愛に関する単語が使わやすいように，曲調に依存して単語認するために，曲調ベクトルと単語ベクトルを同一空間に埋の使用傾向が変わることが予想される．しかし，このような関め込んたベクトル空間モデルを教師なし学習する．(2) 曲調係性は大規模な歌詞データに対して明らかでない．そこで本と単語の関係性を考慮すると同時に，ありがちでない歌詞を研究では，「曲調に依存して単語の出現頻度に偏りが発生す生成する新しいベクトル空間モデルを構築する．具体的にる」という仮定のもと，共起する audio-words と単語が近づは，曲調ベクトルと文脈単語ベクトルを入力すると，それら 2くベクトル空間を構築することで，この関係性を分析する．

つのベクトルと類似する単語ベクトルを生成するモデルであ

3.1

る．この提案手法では，ありがちな単語を負例として学習するため，ありがちでない単語の生成が期待できる．

Multi-Modality Vector Space Model

本研究では，分布仮説 [5] に基づき，曲調と単語の類実験の結果，提案モデルは従来の RNN-LM タイプのモ似性を捉えたベクトル空間を構築するために，Skip-Gramwith Negative-Sampling (SGNS) [6] を拡張する．拡張デルと比較して，曲調と関連した単語と，ありがちでない単語モデルは曲調ベクトルと単語ベクトルを同一空間に埋め込を自動生成できることが確かめられた．

んだモデルであり，Multi-Modality Vector Space Model(MM-VSM) と呼ぶ（図1）．

― 958 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表1 MM-VSM における対象の単語と類似度が大きい単語・楽曲．括弧の中に iTunes に登録されているジャンルタグを示す．

類似楽曲

類似単語

入力単語ベクトル v(w)v(sweet)
lover
love
lips
kissesbluePlease(Traditional Pop)
I Wonder(R&B/Soul)
When a Woman Loves a Man(Jazz)
The Lamp Is Low(Pop)The Prohibition(Vocal)

0.88
0.87
0.86
0.86
0.85
0.41
0.38
0.38
0.380.38v(kill)murderhate
feedenemies
crush
Virunus(Metal)
The One That Kills the Least(Metal)
Lost Symphonies(Rock)
Nuclear Torment(Rock)Lamnidae(Rock)

0.91
0.90
0.89
0.89
0.88
0.48
0.47
0.47
0.47
0.47

v(family)
young
grown
paid
shorthouse
Freestyle(Hip-Hop/Rap)
Memories(Hip-Hop/Rap)
Roll Off(Hip-Hop/Rap)
Them Jeans(Hip-Hop/Rap)
Hustlers(Hip-Hop/Rap)

0.91
0.90
0.90
0.90
0.89
0.45
0.45
0.44
0.44
0.44

大となるように損失関数 E2 を計算する：
M()
1 ∑
E2 = −logσ u(wc )T ·v(awm )M m=1−M()
1 ∑logσ −u(ws′ )T ·v(awm )
M m=1
s=1S
∑(3)

ここで M は 1 曲内の audio-word の数である．学習では 2つの目的関数 E1 と E2 を交互に計算する．分析では，ベクトルの次元数を 300 とし，Negative Sampling 数は 20 とした．最適化アルゴリズムには SGD を用い，学習率は 0.001，

図1 Multi-Modality Vector Space Model

MM-VSM では，SGNS と同様に (a) 文脈単語 wc のベクトルと (b) ターゲット単語 wt のベクトルの内積が最大になるように損失関数 E1 を学習する：()
E1 = −logσ u(wc )T · v(wt )−S∑()logσ −u(ws′ )T · v(wt )(1)Epoch 数は 5 とした．
3.2 分析結果
学 習 し た MM-VSM を 用 い て，3 つ の 単 語 ベ ク ト ルv(sweet)，v(kill)，v(family) と類似度が高い単語と楽曲∑M
1のベクトル M
m=1 v(awm ) を計算し，その結果を表1に示す．この表より，入力単語 “sweet” に対して “love” や“kisses” などの恋愛に関する単語との類似度が高いことがわかる．また単語 “sweet” は R&B や Jazz などのゆったりとした楽曲との類似度が高い．他の入力単語も同様に，単語と曲調の類似性と捉えていることがわかる*1 ．このように，本研究の曲調・歌詞データ中の曲調と単語には関係性が存

s=1

ここで σ(·) はシグモイド関数であり，u(·) と v(·) はそれ在し，その類似性を MM-VSM が学習できていることを定

ぞれ文脈ベクトルとターゲットベクトルである．S はサンプ

性的に確認できた．このような知見から，我々は曲調にあったルする負例の数を示し，負例 ws′ を以下のユニグラム分布歌詞を生成するモデルを構築する．

P (ws′ ) からサンプルする：#(ws′ )0.75
P (ws′ ) = ∑′ 0.75 )w′ ∈V (#(w )4(2)ここで #(w′ ) は単語 w′ の出現頻度であり，V は単語の語彙である．なお，通常の SGNS ではターゲット単語の周囲の単語を文脈単語 wc としてサンプルするが，本研究では文全体から文脈単語をサンプルする．このように文脈単語をサン単語のありがちさと曲調を考慮したベク
トル空間モデル
本節では，入力楽曲の曲調にあい，ありがちでない歌詞を生成するモデルを提案する．モデルの入力として，楽曲のBoAW{aw1 , ...awM } が与えられる．そして時刻 t までの単語系列 w1 , ...wt−1 を入力し，単語 wt を生成する．
ここで技術的な課題として，ありがちでない単語のモデプルすることで，単語の Topical な類似性が学習されることル化が挙げられる．従来の RNN-LM は高頻度の単語系が知られている [7]．

列の生成確率を高くするため，ありがちなフレーズを生成

さらに MM-VSM では E1 の学習と同時に，(c)audio-word aw のベクトルの平均と (a) 文脈ベクトルの内積も最― 959 ―

*1 表 1で示した例はhttps://kentow.github.io/anlp19/にて公開中である．

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表2 単語穴埋めタスクの結果（大きいほど性能が良い）
モデルタイプ

RNN-LM Enc-Dec
RNN-LM

Context2Vec Hibrid-VSM
VSM

曲調ベクトル無有無有RANDOMDFIDF
MUSIC

24.9
42.1
3.0
3.4

24.8
41.82.9
3.517.6
26.2
3.6
3.7

17.0
19.0
3.84.6

ここで z は文脈単語列 w1 , ...wt−1 を RNN で変換した最終層を表す．また [a, b] はベクトル a と b の連結を意味する．入力ベクトル v(·) 及び z の次元数を d とした時，生成単語ベクトル u(·) の次元数は 2d となる．

5

図2 Hybrid Vector Space Model

実験してしまう．本研究ではこの課題点を解決するために，Con-

本研究では，モデルがありがちでない単語や曲調とあう単

text2Vec [8] における Negative Sampling に着目した．
Context2Vec は，RNN を用いて入力文脈 w1 , ...wt−1 をベクトル z へ変換し*2 ，その z と生成単語ベクトル u(wt )を近距離に写像するベクトル空間モデルである．この Context2Vec の学習では，SGNS と同様に，単語ユニグラム分語を生成できるか評価するために，以下の 4 つの単語穴埋めタスクを新たに設計する．

RANDOM テストセットの各文から空欄となる単語をランダムに決め，モデルに空欄を予測させる．この指標では，出現頻度が高い単語が空欄に選ばれやすいため，あり布から負例をサンプルするため，ありがちな単語ベクトルとの距離を遠ざける効果が期待される．

がちな単語生成の性能を評価することを意味する．

DF 各行の文書頻度が最も大きい単語を空欄とし，モデルもう一つの課題として，曲調と単語の関係性のモデル化がに空欄を予測させる．この指標も，ありがちな単語の生挙げられる．本研究では，MM-VSM と同様に audio-word
1ベクトルの平均 M∑M

m=1 v(awm ) と単語ベクトル u(wt )を近距離に写像するように Context2Vec を拡張した．
4.1 モデル構成
提 案 モ デ ル は Context2Vec を 基 本 と す る．Context2Vec では，RNN を用いて文脈 w1 , ...wt−1 をベクトル z へ変換し，生成する単語 wt のベクトル u(wt ) との内成性能を評価することを意味する．

IDF 各行の文書頻度が最も小さい単語を空欄とし，モデルに空欄を予測させる．この指標は，ありがちでない単語の生成性能を評価することを意味する．

MUSIC 3節で提案した MM-VSM を用い，曲調ベクトル∑M
1m=1 v(awm ) と最も類似した単語を空欄とし，モM
デルに空欄を予測させる．この指標では，曲調と関係を積を最大化するように以下の損失関数を計算する：(T)

Ec2v = −logσ u(wt ) · z −S∑(−u(ws′ )T · z)持つ単語をモデルが生成できるかを確かめる．

(4)

なお，本タスクは選択肢から正解を選ぶタスクではなく，全語

ここで ws′ は負例を表し，式 (2) と同様のユニグラム分布

彙から正解を予測するタスクとなる．単語穴埋めタスクの精

logσs=1

P (ws′ ) からサンプルされる．つまり頻出単語が負例になりやすいため，文脈ベクトル z とありがちな単語のベクトルu(ws′ ) の距離が遠ざかるように学習される．
本研究では，この Context2Vec と曲調ベクトルを組み合度として，以下のスコアを計算する：

score =モデルが正解を予測した問題数
× 100 (6)総問題数

5.1 ⽐較⼿法

わせることで，ありがちでなく，曲調と関連性を持つ単語を生提案モデルの性能を評価するために，以下の 4 モデルを成する Hybrid-VSM を提案する（図2）．具体的には RNN比較する．(1) RNN-LM：歌詞データのみで学習した単語1の出力ベクトル z と曲調ベクトル M∑Mm=1 v(awm ) の両列を生成する標準的な RNN-LM．(2) Encoder-Decoder：

方が，単語ベクトル wt と近づくように損失関数を学習する：

標準的な RNN-LM を Decoder とし，RNN の初期状態にM()
1 ∑E = −logσ u(wt )T · [z,v(awm )]M m=1−1
楽曲の audio-word のベクトルの平均 M∑M

m=1 v(awm )を入力する．(3) Context2Vec：歌詞データのみで学習しM)(1 ∑v(awm )] (5)logσ −u(ws′ )T · [z,M m=1s=1S∑*2 通常の Context2Vec は前後の文脈 w1 , ...wt−1 , wt+1 , ...wTを双方向 RNN でベクトル化しているが，本研究では前文脈のみを単一方向 RNN でベクトル化する．

た Context2Vec．(4) Hybrid-VSM： 本 研 究 で 提 案 し た

RNN と音響信号の合成ベクトルを埋め込んだ VSM．なお，
RNN-LM タイプのモデル (1) と (2) は最も生成確率が高い単語を空欄に埋め，VSM タイプのモデル (3) と (4) は最も類似度が高い単語を空欄に埋める．

― 960 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表3 Hybrid-VSM を用いた歌詞生成の例．この楽曲と生成歌詞の例はhttps://kentow.github.io/anlp19/にて公開中である．

曲名

ジャンル

先頭単語：I

先頭単語：The

Amazing Grace
Killing TimeWhy I Love You

Pop
Metal
R&B/Soul

I’m not asking for mercy anymore.
I invoke the lord above thy god.
I wanna be your lover lover.

The sun shines bright as snow.
The stench of blood runs dry.
The scent of jasmine brew.

違いが見られる．例えば，Amazing Grace などの幻想的な5.2 データとパラメータの設定データを訓練・開発・テスト用に 8:1:1 の比率で分割した．
また，学習対象の語彙は出現頻度 20 以上の単語を使用し，楽曲では “mercy” や “sun shines” のような厳かなフレー

その他の単語は未知語タグに置換する．

ージに関する単語が生成された．このように，Hybrid-VSM

本研究では RNN として LSTM を使用した．入力ベクト
ルと RNN の次元数 d を 300 とし，Negative Sampling 数は S = 20 とした．最適化アルゴリズムは Adam を用い，学ズが生成され，Metal の楽曲では “blood” などの負のイメは曲調にあった歌詞を生成していることが確認できた．

おわりに

7

習率は 0.001，ミニバッチ数は 100 とした．Epoch 数は 10

本研究では，楽曲の曲調に合わせた歌詞生成と，ありがとし，開発セットを用いた評価で最高性能のモデルを用いた．

ちでない歌詞生成を両立する新しいベクトル空間モデルを以上の設定を全比較手法において統一した．

提案した．まず，歌詞の出現傾向が曲調に依存するかを分析

5.3 実験結果
表2に各単語穴埋めタスクのスコアを示す．この表より，頻出単語の予測性能（RANDOM，DF）に関しては，VSM タイプのモデルより RNN-LM タイプのモデルのほうが高スコアするために，曲調と単語を同一空間へ写像したベクトル空間モデルを構築した．定性的分析の結果，曲調によって単語の使用傾向が異なることが確認できた．また，単語穴埋めタス
クの実験結果より，以下の結論が得られた．(1) 出現頻度がであることがわかる．一方で，あちがちでない単語の予測性高い単語の予測性能は RNN 言語モデルが高く，(2) 出現能（IDF）に関しては，VSM タイプのモデルのほうが高スコア頻度が低い単語の予測性能はベクトル空間モデルが高い．

である．これらの結果は，VSM タイプのモデルは Negative(3) 曲調に合わせた歌詞の生成性能は文脈ベクトルと曲調Sampling によってありがちな単語の生成が抑制されたたベクトルを組み合わせたベクトル空間モデルが高い．今後は，めだと考えられる．

提案モデルを作詞支援システムに組み込みことを目指す．

曲調と関連した単語の予測性能（MUSIC）に関しては，提案した Hybrid-VSM が高性能だとわかる．これは曲調ベク
トルが曲調に関連する単語予測に寄与することを意味する．
しかし，Encoder-Decoder モデルは曲調ベクトルを考慮しているにもかかわらず，RNN-LM と同等の性能である．これは，Decoder の RNN が「ありがちな単語系列」の生成確率が高くなるよう強く学習してしまった結果，曲調と単語の関係性を学習できなかったためだと考えられる．
以上の結果より，提案手法はありがちでなく，曲調と関連した単語の予測能力が従来の RNN-LM タイプのモデルよりも高いことがわかった．

6 曲調に基づく⾃動歌詞⽣成
本節では，提案した Hybrid-VSM が曲調にあった歌詞を生成できるかを定性的に分析する．テストセットから選んだ異なるジャンルの楽曲と，先頭の単語 “I” または “The”を入力したときに生成される歌詞を比較する．自動歌詞
生成はビーム探索を用いて，文脈ベクトル z と曲調ベクト
1ル M

∑M

m=1 v(awm ) の連結ベクトルと類似した上位 W個の単語 wt を順番に生成する．本研究ではビーム幅をW = 3 に設定した．
表3に生成例を示す．表より，曲調によって生成する単語に謝辞

産業技術総合研究所の坂東宜昭氏より本研究に有益な意見をいただいた．また，本研究の一部は JST ACCEL(JPMJAC1602) の支援を受けた．

参考⽂献[1] Hugo R. Gonçalo Oliveira, F. Amialcar Cardoso, and Francisco C. Pereira. Tra-la-lyrics: an approach to generate text
based on rhythm. In Proc. of 4th International Joint Workshop on Computational Creativity, pages 47–55, 2007.
[2] Kento Watanabe, Yuichiroh Matsubayashi, Satoru Fukayama,
Masataka Goto, Kentaro Inui, and Tomoyasu Nakano. A
melody-conditioned lyrics language model. In NAACL 2018,pages 163–172, 2018.
[3] Peter Potash, Alexey Romanov, and Anna Rumshisky. Ghostwriter: Using an LSTM for automatic Rap lyric generation.
In EMNLP 2015, pages 1919–1924, 2015.
[4] Yang Liu, Wan-Lei Zhao, Chong-Wah Ngo, Chang-Sheng Xu,and Han-Qing Lu. Coherent bag-of audio words model for efficient large-scale video copy detection. In Proc. of the ACM International Conference on Image and Video Retrieval, pages
89–96, 2010.
[5] Zellig S Harris. Distributional structure. Word, 10(2–3):146–162, 1954.
[6] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado,and Jeffrey Dean. Distributed representations of words andphrases and their compositionality. In Proc. of the 26th Annual Conference on Neural Information Processing Systems,pages 3111–3119, 2013.
[7] Mohit Bansal, Kevin Gimpel, and Karen Livescu. Tailoring
continuous word representations for dependency parsing. InACL 2014, pages 809–815, 2014.
[8] Oren Melamud, Jacob Goldberger, and Ido Dagan. context2vec: Learning generic context embedding with bidirectional lstm. In Proc. of The 20th SIGNLL Conference
on Computational Natural Language Learning, pages 51–61,
2016.

― 961 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.