GRPOを用いた日本語ラップの歌詞生成モデルの構築

ラップという歌唱法が1980年代に日本に持ち込まれて以降,その独特なリズムと韻を踏む表現技法は若者文化を中心に広く浸透し,現在では日本でも音楽の主要なジャンルの一つとして定着している.ラップにおいて最も重要な要素の一つが「押韻」である.押韻とは,単語やフレーズの母音の響きを合わせることで,リズム感を生み出す技法である.例えば,「美学（bigaku）」と「磨く（migaku）」のように,小節末や小節内で母音（i-a-u）を一致させることでリズム感が生まれる.一方で,意味の通った歌詞を保ちながら押韻することは容易ではなく,ラップの歌詞の創作は非常に難しい生成タスクである.近年,大規模言語モデル（LLM）の飛躍的な発展により,詩や小説の創作など,従来は人間の高度な創造性が必要とされたタスクにおいても自然なテキスト生成が可能となりつつある.これにより,ラップの歌詞を含む創作タスクに対しても,人とLLMによる共作を通じて新たな芸術表現が生まれることが期待されている.しかし日本語は,漢字とかな文字が混在し,さらに漢字が複数の読みを持つといった特徴があるため,LLMがテキストの表層情報のみから正確な韻律構造を把握することは困難である.さらに生成物は既存著作物との類似性・依拠性が認められる場合に権利侵害となり得るため[1],既存アーティスト作品への依存を避けた学習・生成手法が求められる.本研究では,既存のラップ歌詞に依存せずに日本語ラップの押韻能力,とくに小節末尾間で韻を踏む脚韻の生成能力を高めることを目的として,GRPO[2]に基づく強化学習を適用する.GRPOは,同一プロンプトに対する複数出力の相対評価を用いて報酬最適化を行えるため,教師データなしで形式の遵守と押韻能力の向上を同時に促せる.