1　はじめに
歌詞情報処理の主要技術に自動歌詞生成がある.従来の自動歌詞生成に関する研究では,メロディに対して歌いやすい歌詞や[1,2],押韻を考慮した歌詞など[3],歌詞特有の性質に焦点が当てられてきた.しかし,これらは歌詞特有の性質の一部に過ぎず,多様な歌詞を生成するためには,考慮すべき性質の拡充が重要となる.本研究では,自動歌詞生成の可能性を広げる上で,以下の性質に着目した: • バラード楽曲では“love”が,メタル楽曲では“kill”が使われやすいように,曲調に歌詞をあわせることがある.しかし,従来手法には,曲調を考慮した自動歌詞生成技術はない. •作詞作業では,ありがちな表現とありがちでない表現を使い分けることで歌詞を作成するため,自動歌詞生成において「ありがちかどうか」を考慮することは重要となる.しかし既存研究では,Recurrent Neural Network Language Model (RNN-LM)などの高頻出の単語系列を生成する手法を用いているため,ありがちな表現が生成されてしまう.本研究の目的は,入力した曲調にあった単語を自動生成すると同時に,ありがちでない歌詞を自動生成することであるこの目的を達成するために次の2つの課題に取り組む. (1)曲調に依存して単語の使用傾向が異なるかどうかを確認するために,曲調べクトルと単語ベクトルを同一空間に埋め込んたベクトル空間モデルを教師なし学習する.(2)曲調と単語の関係性を考慮すると同時に,ありがちでない歌詞を生成する新しいベクトル空間モデルを構築する.具体的には,曲調ベクトルと文脈単語ベクトルを入力すると,それら2つのベクトルと類似する単語ベクトルを生成するモデルである。この提案手法では,ありがちな単語を負例として学習するため,ありがちでない単語の生成が期待できる.実験の結果,提案モデルは従来のRNN-LMタイプのモデルと比較して,曲調と関連した単語と,ありがちでない単語を自動生成できることが確かめられた.
２　曲調・歌詞データの準備
曲調と単語の関係性を分析・モデル化するために,本研究では458,572曲の英語歌詞を用意した.歌詞に対応する楽曲の曲調を音響信号から分析するために,インターネット上から視聴用の部分的な音源ファイル(30秒固定:44.1kHz)を収集した.この対応づいたデータを「曲調・歌詞データ」と呼び,その総再生時間は約159日分となった. 2.1 音響信号からBag-of-Audio-Wordsへの変換音響信号から曲調を抽出する手法として,Liuらが用いたBag-of-Audio-Words (BoAW)を我々も用いた[4]. BoAWとは,連続的な音響信号から離散的な擬似単語へ変換されたものである.BoAWの作成手順を以下に示す: 1.語彙数kのaudio-wordを作るために,音響信号から曲調を表すMel-Frequency  Cepstral  Coefficients (MFCCs)を計算する. 2.計算したMFCCsを250-ms毎に分割する. 3.分割された各MFCCsをk-meansクラスタリングする.以上の手順で得られたk個のクラスタがaudio-wordに対応する.本研究ではk = 3000とした.
３　曲調と歌詞の関係性分析
バラードのようなゆったりとした曲調では“love”などの恋愛に関する単語が使わやすいように,曲調に依存して単語の使用傾向が変わることが予想される.しかし,このような関係性は大規模な歌詞データに対して明らかでない.そこで本研究では「曲調に依存して単語の出現頻度に偏りが発生する」という仮定のもと,共起するaudio-wordsと単語が近づくベクトル空間を構築することで,この関係性を分析する.
3.1   Multi-Modality Vector Space Model
本研究では,分布仮説[5]に基づき,曲調と単語の類似性を捉えたベクトル空間を構築するために,Skip-Gram with Negative-Sampling [SGNS) [6]を拡張する.拡張モデルは曲調べクトルと単語ベクトルを同一空間に埋め込んだモデルであり,Multi-Modality Vector Space Model (MM-VSM)と呼ぶ(図1 ).
Multi-Modality Vector Space Model MM-VSMでは,SGNSと同様に(a)文脈単語wcのベクトルと(b)ターゲット単語wtのベクトルの内積が最大になるように損失関数E1を学習する:
ここでσ(·)はシグモイド関数であり,u(·)とν(·)はそれぞれ文脈ベクトルとターゲットベクトルである.Sはサンプルする負例の数を示し,負例w'を以下のユニグラム分布P(w')からサンプルする:
ここで#(w')は単語w'の出現頻度であり,Vは単語の語彙である.なお,通常のSGNSではターゲット単語の周囲の単語を文脈単語w cとしてサンプルするが,本研究では文全体から文脈単語をサンプルするこのように文脈単語をサンプルすることで,単語のTopicalな類似性が学習されることが知られている[7].さらにMM-VSMではE1の学習と同時に,(c)audio- word awのベクトルの平均と(a)文脈ベクトルの内積も最大となるように損失関数E2を計算する:
こでMは1曲内のaudio-wordの数である.学習では2つの目的関数E 1とE 2を交互に計算する.分析では,ベクトルの次元数を300とし,Negative Sampling数は20とした.最適化アルゴリズムにはSGDを用い,学習率は0.001, Epoch数は5とした.
3.2 分析結果
学習したMM-VSMを用いて,3つの単語ベクトルv(sweet),v(kill),v(family)と類似度が高い単語と楽曲m=1 v(awm)を計算し,その結果を表1にのベクトル∑ ∑ ∑示す.この表より,入力単語“sweet”に対して“love”や“kisses”などの恋愛に関する単語との類似度が高いことがわかるまた単語“sweet”はR&BやJazzなどのゆったりとした楽曲との類似度が高い.他の入力単語も同様に,単語と曲調の類似性と捉えていることがわかる*¹.このように,本研究の曲調・歌詞データ中の曲調と単語には関係性が存在し,その類似性をMM-VSMが学習できていることを定性的に確認できたこのような知見から,我々は曲調にあった歌詞を生成するモデルを構築する.
4
単語のありがちさと曲調を考慮したベク
トル空間モデル
本節では,入力楽曲の曲調にあい,ありがちでない歌詞を生成するモデルを提案する.モデルの入力として,楽曲のBoAW{aw1,...awM}が与えられる.そして時刻tまでの単語系列w 1 , …w t –1を入力し,単語w tを生成する.ここで技術的な課題として,ありがちでない単語のモデル化が挙げられる.従来のRNN-LMは高頻度の単語系列の生成確率を高くするため,ありがちなフレーズを生成*1表1で示した例はhttps://kentow.github.io/anlp19/にてしてしまう.本研究ではこの課題点を解決するために,Con- text2Vec [8]におけるNegative Samplingに着目した. Context2Vecは,RNNを用いて入力文脈w1, …wt–1をベクトルzへ変換し*²,そのzと生成単語ベクトルu(w t )を近距離に写像するベクトル空間モデルである.このCon- text2Vecの学習では,SGNSと同様に,単語ユニグラム分布から負例をサンプルするため,ありがちな単語ベクトルとの距離を遠ざける効果が期待される.もう一つの課題として,曲調と単語の関係性のモデル化が挙げられる.本研究では,MM-VSMと同様にaudio-wordベクトルの平均 ∑ m=1 v(aw m)と単語ベクトルu(w t)を近距離に写像するようにContext2Vecを拡張した. 4.1 モデル構成提案モデルは Context2Vec を基本とするCon- text2Vecでは,RNNを用いて文脈w1,…wt–1をベクトルzへ変換し,生成する単語wtのベクトルu(wt)との内積を最大化するように以下の損失関数を計算する:
ここでw'は負例を表し,式(2)と同様のユニグラム分布P(w 2 )からサンプルされる.つまり頻出単語が負例になりやすいため,文脈ベクトルzとありがちな単語のベクトルu(w')の距離が遠ざかるように学習される.本研究では,このContext2Vecと曲調べクトルを組み合わせることで,ありがちでなく,曲調と関連性を持つ単語を生成するHybrid-VSMを提案する(図2)具体的にはRNNの出力ベクトルzと曲調ベクトル立∑ m=1 v(aw m)の両方が,単語ベクトルwtと近づくように損失関数を学習する:
ここでzは文脈単語列w 1 , ...w t −1をRNNで変換した最終層を表す.また[a, b]はベクトルaとbの連結を意味する.入力ベクトルv( )及びzの次元数をdとした時,生成単語ベクトルu(·)の次元数は2dとなる.
実験
5
本研究では,モデルがありがちでない単語や曲調とあう単語を生成できるか評価するために,以下の4つの単語穴埋めタスクを新たに設計する. RANDOM　テストセットの各文から空欄となる単語をランダムに決め,モデルに空欄を予測させる.この指標では,出現頻度が高い単語が空欄に選ばれやすいため,ありがちな単語生成の性能を評価することを意味する. DF各行の文書頻度が最も大きい単語を空欄とし,モデルに空欄を予測させる.この指標も,ありがちな単語の生成性能を評価することを意味する. IDF各行の文書頻度が最も小さい単語を空欄とし,モデルに空欄を予測させる.この指標は,ありがちでない単語の生成性能を評価することを意味する. MUSIC   3節で提案したMM-VSMを用い,曲調べクトルm=1 v(aw m )と最も類似した単語を空欄とし,モカニーデルに空欄を予測させる.この指標では,曲調と関係を持つ単語をモデルが生成できるかを確かめる.なお,本タスクは選択肢から正解を選ぶタスクではなく,全語彙から正解を予測するタスクとなる.単語穴埋めタスクの精度として,以下のスコアを計算する:

5.1   比較手法
提案モデルの性能を評価するために,以下の4モデルを比較する.(1) RNN-LM:歌詞データのみで学習した単語列を生成する標準的なRNN-LM.(2) Encoder-Decoder:標準的なRNN-LMをDecoderとし,RNNの初期状態に楽曲のaudio-wordのベクトルの平均↑ ∑ m = m=1 v(awm)を入力する.(3) Context2Vec:歌詞データのみで学習したContext2Vec.(4) Hybrid-VSM:本研究で提案したRNNと音響信号の合成ベクトルを埋め込んだVSM.なお, RNN-LMタイプのモデル(1)と(2)は最も生成確率が高い単語を空欄に埋め,VSMタイプのモデル(3)と(4)は最も類似度が高い単語を空欄に埋める.

5.2データとパラメータの設定
データを訓練･開発･テスト用に8:1:1の比率で分割した.また,学習対象の語彙は出現頻度20以上の単語を使用し,その他の単語は未知語タグに置換する.本研究ではRNNとしてLSTMを使用した.入力ベクトルとRNNの次元数dを300とし,Negative Sampling数は$ = 20とした.最適化アルゴリズムはAdamを用い,学習率は0.001,ミニバッチ数は100とした.Epoch数は10とし,開発セットを用いた評価で最高性能のモデルを用いた.以上の設定を全比較手法において統一した.
5.3実験結果
表2に各単語穴埋めタスクのスコアを示す.この表より,頻出单語の予測性能(RANDOM,DF)に関しては,VSMタイプのモデルよりRNN-LMタイプのモデルのほうが高スコアであることがわかる.一方で,あちがちでない単語の予測性能(IDF)に関しては,VSMタイプのモデルのほうが高スコアである.これらの結果は,VSMタイプのモデルはNegative Samplingによってありがちな単語の生成が抑制されたためだと考えられる.曲調と関連した単語の予測性能(MUSIC)に関しては,提案したHybrid-VSMが高性能だとわかる.これは曲調べクトルが曲調に関連する単語予測に寄与することを意味する.しかし,Encoder-Decoderモデルは曲調べクトルを考慮しているにもかかわらず,RNN-LMと同等の性能である.これは,DecoderのRNNが「ありがちな単語系列」の生成確率が高くなるよう強く学習してしまった結果,曲調と単語の関係性を学習できなかったためだと考えられる.以上の結果より,提案手法はありがちでなく,曲調と関連した単語の予測能力が従来のRNN-LMタイプのモデルよりも高いことがわかった.
曲調に基づく自動歌詞生成
6
本節では,提案したHybrid-VSMが曲調にあった歌詞を生成できるかを定性的に分析する.テストセットから選んだ異なるジャンルの楽曲と,先頭の単語“I”または“The”を入力したときに生成される歌詞を比較する.自動歌詞生成はビーム探索を用いて,文脈ベクトルzと曲調ベクトル立∑ m=1 v(aw m)の連結ベクトルと類似した上位W個の単語wtを順番に生成する.本研究ではビーム幅をW = 3に設定した.表3に生成例を示す.表より,曲調によって生成する単語に違いが見られる.例えば,Amazing Graceなどの幻想的な楽曲では“mercy”や“sun shines”のような厳かなフレーズが生成され,Metalの楽曲では“blood”などの負のイメージに関する単語が生成された.このように,Hybrid-VSMは曲調にあった歌詞を生成していることが確認できた.
7　おわりに
本研究では,楽曲の曲調に合わせた歌詞生成と,ありがちでない歌詞生成を両立する新しいベクトル空間モデルを提案した.まず,歌詞の出現傾向が曲調に依存するかを分析するために,曲調と単語を同一空間へ写像したベクトル空間モデルを構築した.定性的分析の結果,曲調によって単語の使用傾向が異なることが確認できた.また,単語穴埋めタスクの実験結果より,以下の結論が得られた.(1)出現頻度が高い単語の予測性能はRNN言語モデルが高く,(2)出現頻度が低い単語の予測性能はベクトル空間モデルが高い. (3)曲調に合わせた歌詞の生成性能は文脈ベクトルと曲調ベクトルを組み合わせたベクトル空間モデルが高い.今後は,提案モデルを作詞支援システムに組み込みことを目指す.謝辞産業技術総合研究所の坂東宜昭氏より本研究に有益な意見をいただいた.また,本研究の一部はJST ACCEL (JPMJAC1602)の支援を受けた.