RLHFを用いた「面白い」短歌の自動生成の試み

自然言語処理技術の発展に伴い，大規模言語モデルは対話生成をはじめとした多種多様なテキストの生成が可能となっている．ChatGPTに代表されるこれらの生成モデルの利用法として，小説や詩といった文学作品の自動生成が挙げられる．Belouadiら[1]は，ByGPT5というモデルを用いて，韻や拍子といった特有の制約を満たす高品質な四行詩の自動生成を達成している．また，Takeishiら[2]の研究では日本の文学作品の自動生成への取り組みとして，Transformerを用いた和歌の自動生成が試みられている．このような文学作品の生成モデルは創作活動の手助けや鑑賞の多様化に寄与すると期待される．日本における文学作品の主要な形態の一種として短歌が挙げられる．短歌は5-7-5-7-7の5句31音からなる定型詩であり，古来より広く親しまれている．一方で短歌は定型詩である関係上，成立にはモーラ数という制約を満たす必要があり，この性質が短歌の自動生成における課題[3]となっている．ChatGPTをはじめとした大規模言語モデルは文字数のカウントといったタスクを苦手とすることが報告されており[4,5]，定型詩としての制約を満たす短指⽰：「短歌を詠んでください」窓の曇り月明かりで消ゆ夏の夜かなAdvanceyourwriting!Learnmore(−1.91)枠組み学習シーチキンの油で揚げるスナック菓子をたまには食べたいツナ缶(−0.309)強化学習ねこたちはキャットタワーのてっぺんで風に揺れてる木枯しの庭(1.61)指⽰：「『夏休み』を含む短歌を詠んでください」行雲の流るる夏野かなThesummerskyisflownbytheclouds.(−1.91)枠組み学習宿題も夏休みの計画も全部投げ出したのはね、自分が悪い(−0.295)強化学習子どもたちの夏休みラジオ体操のスタンプはいつからか消える(0.770)は学習済み報酬モデルによるスコア.歌を生成させることは容易ではない．また「面白い」短歌を生成することが困難であることも大きな課題[6]である．一般に文学作品は良し悪しの定量的な評価が難しい．俳句における季語のように，内容への制約が存在しない短歌では評価の自由度が高く，この問題が顕著である．文学作品として生成された短歌には，独創性や写実性など鑑賞対象として豊かな表現が求められる．しかし既存の言語モデルの多くには雑談のような自然な会話を目指す学習がなされており，モーラ数の制約を満たしたとしても，芸術的な短歌は生成されにくい．本研究では，これらの課題に対する解決策として“ReinforcementLearningfromHumanFeedback”（RLHF，人間からのフィードバックを用いた強化学習）を用いた短歌生成モデルを提案する．一連の学習を通じて短歌らしい系列長をモデルに学習させるとともに，人間の好みを反映させることにより，定量的に判定することが難しい短歌の「良し悪し」を人間の好みに沿うか否かという軸で表現することが.可能となる．この手法により，使用者に「良い」と感じさせやすい，言い換えれば「面白い」短歌が生成されることが期待できる．またこのようなモデルの学習を通じて，短歌鑑賞の多様化や作歌の補助への貢献を目指すのみならず，人の心を動かす短歌の本質的な要素の探求を試みる．