GRPOを用いた日本語ラップの歌詞生成モデルの構築

ラップはHIPHOP文化に根差し,リズムに合わせて韻を踏むこと（押韻）を特徴とした歌唱法である.本論文では,強化学習によって押韻を学習した大規模言語モデルによる,日本語ラップの歌詞の生成手法を提案する.提案手法では,モデルが生成する2小節の歌詞に対して韻を評価する報酬関数を定義し,強化学習の一種であるGRPOを行い,日本語で押韻する能力の向上を目指す.評価の結果,一部に出力崩壊も観測された一方で,押韻能力の向上することを示した.