RLHFを用いた「面白い」短歌の自動生成の試み

自然言語処理技術の発展は小説などの文学作品の自動生成を現実的なものとしている．一方で短歌におけるモーラ数のような制約を満たしつつ，高い芸術性を有する文学作品を生成することは，既存の言語モデルでは容易ではない．本研究ではこの課題に対する解決策としてRLHFによる学習を用いた短歌の自動生成モデルを提案する．人間の短歌に対する評価を反映した報酬モデルの学習とこれを用いた生成モデルの強化学習により，短歌らしい系列長を有し，かつ人間に「面白い」と判断されやすいような短歌の自動生成が可能となった．