入力文章の内容に沿った新たな歌詞を生成する作詞支援システムと剽窃リスクを下げる歌詞生成手法

歌詞情報処理[1]の研究として，自動歌詞生成技術を活用した作詞支援システムが提案されてきた[2,3,4,5,6,7]．Watanabeら[4,5]のシステムは，ユーザが選択したトピックに沿った歌詞を生成できるが，選択可能なトピックは限られているためユーザの自由度は低く，生成される歌詞の作風が似てしまう問題点がある．Oliveiraら[6,7]のシステムは，ユーザが入力した単語を含む歌詞を生成できるが，入力単語が生成歌詞に必ず含まれるため，入力単語以外の単語で表現した歌詞が生成されにくい．例えば，単語「海岸」を入力しても「ビーチ」や「海辺」等の同じ意味だが別表現の単語は生成されにくい．本研究の目的は，「海岸で車を運転する」のような歌詞に書きたい内容を文章として入力した時，「海辺のハイウェイを走りたい[改行]ハンドルを握る君とならば」のような入力文章の内容に沿った歌詞を生成して提示することで，ユーザに発想を与える作詞支援システムを開発することである．本システム⼊⼒出⼒中間表現海岸で⾞を運転する海辺のハイウェイを⾛りたいハンドルを握る君とならば(a)(b)歌詞に書きたい内容を表した⽂章⼊⼒⽂章の内容に沿いつつ字⾯が似ていない歌詞StableDiffusion等の既存の画像⽣成⼿法画像から歌詞を⽣成するTransformerエンコーダ・デコーダ⼊⼒⽂章の内容を表した画像の対象ユーザとして，歌詞に書きたい内容は決まっているがどんなフレーズで書けばよいか思いつかない人を想定している．よって，もしシステムが入力文章と字面が似た歌詞を提示してしまうと，ユーザに新たな発想を与えることは難しくなる．我々は「入力の内容に沿いつつ字面が似ていない歌詞を提示することが，ユーザに新たな発想を与える」という考えの元で作詞支援システムを開発する．この目的達成のために，入力文章の内容に沿いつつ字面が似ていない歌詞を生成する手法を提案する．単純な手法として，文章と歌詞のペアデータを学習したエンコーダ・デコーダを用いて歌詞生成をすれば良いと考えられるが，そのようなペアデータは存在しない．そこで，文章要約技術や機械翻訳技術などを用いて歌詞から文章を自動生成することで，ペアデータを用意する方法が考えられる．しかし，このようにして用意された文章と歌詞のペアは字面が似ているため，このペアデータを学習したエンコーダ・デコーダは入力文章と字面が似た歌詞を生成する可能性がある．そこで図1のように，(a)入力文章の内容を保持したまま，入力の字面に関する情報を取り除いた中間表現へ変換した後に，(b)その中間表現の内容に沿った歌詞を生成することで，目的の「入力文章の内容に沿いつつ字面が似ていない歌詞」の生成を可能とする．本研究ではこの「中間表現」として画像を用いる．ここで画像を選択した理由には，StableDiﬀusion[8]を始めとした拡散モデルによって入力文章の内容を表した画像生成が可能となったという背.景がある．この技術で生成された画像は，入力文章の内容を表しているだけでなく，入力文章の字面に関する情報が取り除かれた状態であるため，目的の中間表現の条件を満たしている．更に，入力文章の形式（単語・フレーズ・文・段落）に関わらず画像を生成できるため，ユーザの入力形式に依存しない柔軟性の高い作詞支援システムの開発が可能となる．本研究では，入力文章から画像を生成するために既存の画像生成技術を利用するが，画像から歌詞を生成するエンコーダ・デコーダに関しては新たに学習をする必要がある．このエンコーダ・デコーダを学習するためには，入力文章から生成された画像と歌詞のペアデータを用意できれば理想的だが，上述したようにそのような入力文章データは存在しない．そこで本研究では，画像生成技術を用いて歌詞から画像を生成することで，画像と歌詞のペアデータを用意する．このように画像生成技術を活用すると，目的の歌詞生成が可能となるだけでなく，画像から歌詞を生成するエンコーダ・デコーダの訓練データを用意することも可能となる．更に本研究では，訓練データの歌詞を剽窃するリスクを下げる歌詞生成手法を提案する．機械学習に基づく歌詞生成では，訓練データ中の歌詞フレーズを再利用して剽窃するリスクがある．ユーザが作詞支援システムを安心して使うには，そのリスクを下げられる歌詞生成手法が求められると我々は考えている．そこで本研究では，訓練データ中で少数の曲のみが使用している固有なフレーズを生成不可能にする制約を加えることで，剽窃リスクを下げる．実験の結果，提案手法は比較手法よりも入力文章の内容に沿いつつ字面が似ていない歌詞を生成可能であることが確かめられた．また，剽窃対策を施さないと，生成歌詞中の一割以上のフレーズが剽窃となってしまう可能性があることが確かめられた．