言語処理学会 第30回年次大会 発表論文集（2024年3月）

RLHF を用いた「面白い」短歌の自動生成の試み
羽根田賢和 1 浦川通 2 田口雄哉 2 田森秀明 2 坂口慶祐 1,3
1 東北大学 2 株式会社朝日新聞社 3 理化学研究所
haneda.kento.t6@dc.tohoku.ac.jp keisuke.sakaguchi@tohoku.ac.jp{urakawa-t,taguchi-y2,tamori-h}@asahi.com
指⽰：「短歌を詠んでください」

概要

窓の曇り 月明かりで 消ゆ夏の 夜かなAdvance your writing! Learn more

自然言語処理技術の発展は小説などの文学作品の枠組み学習(−1.91)

自動生成を現実的なものとしている．一方で短歌におけるモーラ数のような制約を満たしつつ，高い芸シーチキンの油で揚げるスナック菓子をたまには食べたいツナ缶

術性を有する文学作品を生成することは，既存の言

ねこたちはキャットタワーのてっぺんで風に揺れてる木枯しの庭

強化学習(1.61)

語モデルでは容易ではない．本研究ではこの課題に対する解決策として RLHF による学習を用いた短歌

指⽰：「『夏休み』を含む短歌を詠んでください」の自動生成モデルを提案する．人間の短歌に対する行雲の流るる夏野かな The summer sky is flown by the clouds.
枠組み学習

評価を反映した報酬モデルの学習とこれを用いた生成モデルの強化学習により，短歌らしい系列長を有(−1.91)

宿題も夏休みの計画も全部投げ出したのはね、自分が悪い
強化学習

し，かつ人間に「面白い」と判断されやすいような(−0.295)

子どもたちの夏休みラジオ体操のスタンプはいつからか消える

短歌の自動生成が可能となった．

1(−0.309)(0.770)

はじめに自然言語処理技術の発展に伴い，大規模言語モデ

図 1 学習の経過と生成された短歌の例．カッコ内の数値は学習済み報酬モデルによるスコア.

ルは対話生成をはじめとした多種多様なテキストの生成が可能となっている．ChatGPT に代表される
これらの生成モデルの利用法として，小説や詩と歌を生成させることは容易ではない．
また「面白い」短歌を生成することが困難である

いった文学作品の自動生成が挙げられる．Belouadi

ことも大きな課題 [6] である．一般に文学作品は良ら [1] は，ByGPT5 というモデルを用いて，韻や拍子し悪しの定量的な評価が難しい．俳句における季語といった特有の制約を満たす高品質な四行詩の自動のように，内容への制約が存在しない短歌では評価生成を達成している．また，Takeishi ら [2] の研究での自由度が高く，この問題が顕著である．文学作品

は日本の文学作品の自動生成への取り組みとして，として生成された短歌には，独創性や写実性など鑑Transformer を用いた和歌の自動生成が試みられてい賞対象として豊かな表現が求められる．しかし既存る．このような文学作品の生成モデルは創作活動のの言語モデルの多くには雑談のような自然な会話を手助けや鑑賞の多様化に寄与すると期待される．

目指す学習がなされており，モーラ数の制約を満た

日本における文学作品の主要な形態の一種とししたとしても，芸術的な短歌は生成されにくい．て短歌が挙げられる．短歌は 5-7-5-7-7 の 5 句 31 音

本 研 究 で は，こ れ ら の 課 題 に 対 す る 解 決 策 とからなる定型詩であり，古来より広く親しまれていし て “Reinforcement Learning from Human Feedback”

る．一方で短歌は定型詩である関係上，成立には（RLHF， 人間からのフィードバックを用いた強化学モーラ数という制約を満たす必要があり，この性質が短歌の自動生成における課題 [3] となっている．

習）を用いた短歌生成モデルを提案する．一連の学習を通じて短歌らしい系列長をモデルに学習させる

ChatGPT をはじめとした大規模言語モデルは文字数とともに，人間の好みを反映させることにより，定のカウントといったタスクを苦手とすることが報告

量的に判定することが難しい短歌の「良し悪し」をされており [4, 5]，定型詩としての制約を満たす短

人間の好みに沿うか否かという軸で表現することが― 3315 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

可能となる．この手法により，使用者に「良い」と感じさせやすい，言い換えれば「面白い」短歌が生成されることが期待できる．またこのようなモデルの学習を通じて，短歌鑑賞の多様化や作歌の補助への貢献を目指すのみならず，人の心を動かす短歌の本質的な要素の探求を試みる．

2

図 2 Utakata の各短歌へのいいね数と短歌の数.

RLHF
RLHF は人間の価値基準を報酬として利用する強以上が RLHF の具体的なプロセスである．本研究化学習の一手法である [7, 8]．モデルの生成物に対ではこの RLHF を短歌の生成に適用し，その有効性して人間の価値基準におけるスコア付けを行い，そを検証する．具体的には (1) 学習済み報酬モデルにれをモデルにフィードバックすることで，より高いよる短歌に対しての自動スコア付けの可能性 (2) 学スコアがつく生成を行うようモデルを学習させる．

習済み報酬モデルと枠組み学習済み生成モデルを用

これにより言語モデルが人間にとって好ましい生成を学び，生成物の質が向上することが期待できる．

いた強化学習による短歌の自動生成の質の向上，のRLHF は，報酬モデルの学習，枠組み学習，強化学習という 3 つのステップに分けられる．

二点に関し実験と評価を行う．

実験

3

RLHF の学習では，生成物に

本研究では短歌の自動生成に RLHF を適用し，そ対し人間の基準により報酬を与えモデルにフィードの有効性の検証を行った．また一連の実験に先立ちバックするという過程が必要となる．一方で学習過学習用のデータセットの作成を行った．

報酬モデルの学習

程での生成全てに対し，直接人間が一貫した基準でスコアを付けることは現実的ではないため，自動的3.1

データセットにスコア付けを行う報酬モデルを作成する．テキス

本研究では各モデルの学習に際し，多数の短歌のトとそれに対する人間の評価をモデルに与えて学データが必要となる．特に報酬モデルの学習には人習を行い，入力文に対して相対的なスコアを付ける手により評価されたデータが求められる．

ことを可能とする．この報酬モデルを擬似的なアノ

そこで我々はこの条件を満たすデータセットとしテータとして用いることで後述の強化学習を行う．
枠組み学習 短歌のように満たすべき制約を持つて，短歌専用の投稿サイトである Utakata1）を利用し場合は，事前学習のみが行われたベースモデルでの短歌が投稿されており，十分なデータが確保できるた．Utakata には 2023 年 12 月時点で 7 万首以上の直接の生成が難しい．一例として図 1 に学習前のと判断した．特筆すべき点として Utakata には「いベースモデルでの生成を示す．生成された文には英いね」機能が付いている点が挙げられる．「いいね」語が含まれており，短歌としての枠組みを全く満たの数は不特定多数の鑑賞者による評価の結果であるしていないことが確認できる．このような場合，生ため，これを各短歌への一般的な評価とみなし，モ成の目的に合わせたモデルの教師あり学習により，デルの学習に利用した．学習データとして計 68,996首の短歌をクローリングした．

後に行う強化学習の効率を高める必要がある．本研

図 2 に示す通り，Utakata において各短歌の「いい究ではこれを「枠組み学習」と呼称する．
強化学習ではまず枠組み学習を行ったね」の数には大きく偏りがある．ほとんどの短歌はモデルにより生成を行い，生成文を報酬モデルに入「いいね」数が 0 ないしは一桁の値であり，10 人以力として与える．この出力として得られた報酬ス

上から評価を得た短歌は数千首に留まる．「いいね」

コアを生成モデルにフィードバックし，スコアを数がさらに多い短歌となると該当する短歌の数は指最大化するような生成を目指す学習を PPO アルゴ数関数的に減少していく．一方で我々は十分に優れリズム [9] をもとに行う．PPO は方策ベースの強化ていると判断されうる短歌を学習に用いる必要が学習手法であり，大幅な方策の更新を妨げること（clipping）で安定した学習を可能とする．

あり，これはつまり多くの短歌は学習データとして強化学習適していないことを意味している．したがって今回
1） https://utakatanka.jp― 3316 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 報酬モデルによる reward スコア．スコアは絶対的な値ではなく相対的な値である．

平均値

中央値

標準偏差

tanka↑

0.247

0.302

1.04

tanka↓-0.639-0.7810.948

報酬モデルのスコア「この味がいいね」と君が言ったから
七月六日はサラダ記念日

1.41

青バケツ揺らぐ水面に蘇る線香花火と縁側の祖母

0.652

周辺にキャンパスを置く大学の学生たちが出入りするよう−0.734は，報酬モデルの学習では計 4,980 首を，枠組み学習と強化学習では報酬モデルの学習に使用したものを含む 11,299 首を利用した．使用した短歌の条件
は各実験の項で述べる．

3.2

⾼低

図 3 短 歌 へ の ス コ ア 付 け の 例．上 か ら 順 に 歌 人 で ある俵万智の短歌 [11]，本論文著者である羽根田の短歌，Wikipedia より抽出した短歌の形式を満たす文字列.

YAKE! [10] を用い元々の短歌のテーマに関する生成報酬モデルの学習を行わせる指示文や，下の句のみを与え上の句を生報酬モデルの学習にはベースのモデルとして，日成させる指示文を作成した．詳細は付録 B に記す．

本語で事前学習されており分類問題に強い rinna 社
RoBERTa2）を用いた3）．学習時には多くの人に評価

各短歌に対してそれぞれ 8 種類の指示文の作成を試み，計 76,233 件のデータを学習に利用した．

された短歌 tanka↑ とそうでない短歌 tanka↓ のペアを以上のように訓練された報酬モデルと生成モデモデルに与え，式 (1) に則り loss の計算を行った．

ルを用いて強化学習を行った．学習データは枠組み

reward ↑ ，reward ↓ はそれぞれ tanka↑ ，tanka↓ に対して学習で利用したものと同じものを利用した．強化モデルが出力したスコアを意味する．

学習には Hugging face の提供するライブラリである(loss = − log1)

TRL5）を使用し，PPO による学習を行った．
(1)

1 + 𝑒 − ( reward↑ −reward↓ )学習データに関し tanka↑ として Utakata 上で「いいね」数が 10 以上の短歌を，tanka↓ として「いいね」数が 1 の短歌を用いた．「いいね」がついてい4

結果

4.1

報酬モデル

tanka↑ ，tanka↓ 各 100 首ずつのテストデータを用いない短歌に関しては学習時にノイズとなりうることたスコアの測定結果は表 1 のようになった．tanka↑

を考慮し，本研究では用いないこととした．最終的に対するスコアの平均値や中央値が tanka↓ に対するに tanka↑ としての 2,490 首，tanka↓ としての 2,490 首

ものを大きく上回っており，報酬モデルのスコアがをペアとして報酬モデルの学習を行った．

生成モデルの枠組み学習と強化学習

人間による評価と同様の傾向を示していることが確認できる．また，tanka↑ と tanka↓ のペアそれぞれに生成モデルの学習にはベースとするモデルあり，期待値が 50%であることを考慮すると，短歌と し て，LINE が 公 開 し て い る japanese-large-lm-の質の差をある程度判別できていると考えられる．

3.3

対して，reward ↑ が reward ↓ を上回った割合は 77%でinstruction-sft の 3.6B4）を使用し，Utakata 上で「いい実際に短歌にスコアをつけた例が図 3 である．一ね」数が 5 以上であるような短歌，計 11,299 首を学

つ目の例のように，社会的に評価されている短歌に習に用いた．モデルは「短歌を詠んでください」とは高いスコアをつけている．一方で短歌であることいった指示を入力として与えられた際に，出力としを意図して詠まれているものの一般からの評価を受て短歌を生成するように枠組み学習がなされた．
学習データの量をさらに多く確保し，また実際にけていない短歌や，短歌の形式を偶然満たした文章利用する際に多様な入力を受け付けるために，学習一方で明らかに短歌の形式を満たしていない文

データとした短歌をもとに指示文の自動生成を行っ字列を入力した際，スコアが想定されるほど低くなた．具体的にはキーワード抽出ライブラリである

い場合があることが確認されている．例えば「今夜のメニューは焼肉」といった短文の入力に対して

2） https://huggingface.co/rinna/japanese-roberta-base3） モ デ ル の 有 効 性 の 検 証 の た め 東 北 大 BERT，早 稲 田 大
RoBERTa での実験も行った．詳細は付録 A に記す．
4） https://huggingface.co/line-corporation/
japanese-large-lm-3.6b-instruction-sft

へのスコアは低くなっていることが確認できる．

は，-0.0223 というスコアを出力し，これは tanka↓ へ5） https://github.com/huggingface/trl― 3317 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 枠組み学習による生成の変化．モーラ数は短歌の定型である 31 に近づく方が好ましい.

タでの平均スコアは 0.724 となっており，強化学習モーラ数

た Utakata での評価が高い tanka↑ へのスコアを超え

平均値 中央値

スコア
平均値中央値るような値であり，人間から評価を得やすいような短歌が生成されていることを意味している．

枠組み学習前92.1

73.0-0.342-0.096

枠組み学習後30.5

30.0-0.495-0.832

表3

平均値 中央値
強化学習前
強化学習後

30.5
31.3

30.030.0

また生成テキストのモーラ数からも短歌らしい生成がなされていることが確認できる．生成物の平均

強化学習による生成の変化.

モーラ数

前よりもスコアが向上している．これは表 1 に示しモーラ数は 31.3 となっており，強化学習が生成系列

スコア長に対して悪影響を与えていないことがわかる．

平均値

中央値

-0.495-0.832

モデルにより生成された短歌とそれぞれへのスコ

0.879

アの例を図 1 に示す．強化学習前は系列長は短歌ら0.724

しい一方で，意味の取れない文章や情景描写に欠けのスコアの平均値や中央値よりも高い値である．こる文章が多く生成されていた．しかし強化学習を経のことは，入力の長さがこの報酬モデルでのスコアることによりほとんどの生成物で意味が通るようになり，さらに豊かな情景描写や擬音語・体言止めなに与える影響が小さいことを示唆している．

4.2

どの表現技法も見られた．句切れのような意味や調枠組み学習

子の切れ目も散見されるようになり，全体としてよ枠組み学習による生成の変化は表 2 のようにまとり短歌らしい生成がなされるようになった．

められる．学習により向上した点として，生成文の一方で短歌らしいリズムを持った生成は強化学習長さが挙げられる．学習前の生成では 100 モーラを後においても多くは見られなかった．枠組み学習に超える長文が目立っていた一方，学習後ではその平より全体のモーラ数では短歌に近い生成が可能に

均値は 30.7 と短歌としての制約である 31 モーラになったもの，ほとんどの場合で 5-7-5-7-7 という短歌迫っている．また学習前の生成ではアルファベットや記号が含まれた生成6）が多く見られたが，学習後のリズムは満たされておらず，これは強化学習後ににはこれらはほとんど見られず，系列長と合わせ，より短歌らしい生成をするように変化していた．

おいても同様の傾向として確認された．

おわりに5

一方で，枠組み学習後のモデルが生成した短歌を本研究では人間の価値基準を用いた強化学習の手報酬モデルにより評価したところ，学習の前後でス法である RLHF を用いて，短歌の自動生成におけるコアは向上しないことが確認された．この結果の要因として，枠組み学習時には報酬モデルの学習時よ質の向上を目指した．短歌投稿サイト上の短歌と各短歌への評価をもとに，擬似的な評価者としての報りも Utakata 上での評価が低い短歌を多く利用した

酬モデルの学習を行った．学習により短歌の良し悪ことが考えられる．また指示文に沿った生成が行えしの判断が可能となった報酬モデルと，枠組み学習ていない例も見られ，上の句を生成させる指示のよを行った生成モデルを用いた強化学習では，短歌らうな満たすことの難しい指示が全体としてのスコアしい系列長を持ち，かつ報酬モデルでのスコアが高の向上を妨げた可能性がある．

い短歌の生成が可能であることが確認された．

これらの結果は報酬モデルが系列長に対して敏感ではないという上述の結論の裏付けとなり，また，の一致度は調査する必要がある．また短歌内のどう単純なファインチューニングでは短歌としての質をいった要素がスコアに影響を与えているかへの検証向上させることが困難であることを示唆している．

も今後の課題である．短歌のリズムを満たすといっ

4.3

一方で報酬モデルによるスコアと人手での評価とた要素をはじめ，より質の高い生成のために，報酬強化学習モデルや強化学習のさらなる検討も必要である．こ

報酬モデルと枠組み学習済みモデルを用いて強化学習を行った結果が表 3 のようになる．テストデー

れらの調査を通じて自動生成された短歌の質の向上を目指すとともに，人間の心を動かす本質的な短歌の要素を探求したいと考えている．

6） これらのアルファベットや記号はモーラ数のカウントには含めていない．

― 3318 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 JP21K21343，JP22H00524 の助成を受けたものです．本研究の進行にあたり，多くのご助言，ご協力を賜りました Tohoku NLP グAlı́pio Jorge, Célia Nunes, and Adam Jatowt. YAKE!
Keyword extraction from single documents using multiple local features. Information Sciences, Vol. 509, pp.
257–289, 2020.
[11] 俵万智. サラダ記念日 : 俵万智歌集 . 河出書房新社,
1987.

ループの皆様に感謝を申し上げます．また，研究活動に際し，有益なコメントを含む多くのサポートをいただいた東北大学坂口・乾・徳久研究室の松﨑孝介氏，吉田遥音氏に深く感謝申し上げます．

参考文献[1] Jonas Belouadi and Steﬀen Eger. ByGPT5: End-to-End
Style-conditioned Poetry Generation with Token-free Language Models. In Anna Rogers, Jordan Boyd-Graber, andNaoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for ComputationalLinguistics (Volume 1: Long Papers), pp. 7364–7381,

[2]

[3]

[4]

[5]

[6]

[7]

Toronto, Canada, July 2023. Association for Computational Linguistics.
Yuka Takeishi, Mingxuan Niu, Jing Luo, ZhongYi Jin, andXinyu Yang. WakaVT: A Sequential Variational Transformer for Waka Generation. Neural Processing Letters, Vol. 54, pp. 731 – 750, 2021.
浦川通, 新妻巧朗, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. モーラを考慮した ﬁne-tuning による口語短歌生成. 言語処理学会第 28 回年次大会, 2022.
R. Thomas McCoy, Shunyu Yao, Dan Friedman, Matthew
Hardy, and Thomas L. Griﬃths. Embers of Autoregression: Understanding Large Language Models Throughthe Problem They are Trained to Solve. ArXiv, Vol.
abs/2309.13638, , 2023.
Hong Wang, Xuan Luo, Weizhi Wang, and Xifeng Yan.
Bot or Human? Detecting ChatGPT Imposters with A
Single Question. ArXiv, Vol. abs/2305.06424, , 2023.
浦川通, 新妻巧朗, 田口雄哉, 田森秀明, 岡崎直観, 乾健太郎. 短歌における言語モデルの実応用–歌人の視点を通した生成と作歌支援の実践から–. 言語処理学会第 29 回年次大会, 2023.
Paul F. Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, and Dario Amodei. Deep Reinforcement
Learning from Human Preferences. In Proceedings ofthe 31st International Conference on Neural Information Processing Systems, NIPS’17, p. 4302–4310, Red

Hook, NY, USA, 2017. Curran Associates Inc.
[8] Long Ouyang, Jeﬀ Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie
Simens, Amanda Askell, Peter Welinder, Paul Christiano,Jan Leike, and Ryan Lowe. Training language models tofollow instructions with human feedback, 2022.
[9] John Schulman, Filip Wolski, Prafulla Dhariwal, AlecRadford, and Oleg Klimov. Proximal Policy Optimization
Algorithms, 2017.
[10] Ricardo Campos, Vı́tor Mangaravite, Arian Pasquali,― 3319 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Aの学習（p2）なども試行した．最終的に検証データ

報酬モデルの選定

での loss が下がったモデルをいくつか選択し，テス

報 酬 モ デ ル の 選 定・学 習 に 際 し て，rinna

トデータでの loss や accuracy なども測定した上で総社 RoBERTa の 他 に，東 北 大 BERT7），早 稲 田 大合的に判断し，本研究では以降 rinna 社 RoBERTa をRoBERTa8）での実験を行った．図 4 はハイパーパ用いることとした．なお，本研究で用いたのは最ラメータチューニングの様子を一部示したもので

大学習率 1e-4 で線形スケジューラーを用いて 10 エある．

ポック学習を行ったものであり，二段階の学習をしていない（p1）rinna 社 RoBERTa である．

東北⼤BERT

指示文の自動生成

B生成モデルの学習において指示文のバリエーション確保のため，各短歌につきそれぞれ 8 種類の指示文を自動生成した．これらの指示文とベースとなった短歌をペアとして学習に用いた．指示文のパターンと具体例を以下に示す．各具体例は「青バケツ揺らぐ水面に蘇る線香花火と縁側の祖母」という短歌

早稲⽥⼤RoBERTaをベースとした場合である．
(1) ベーシックな指示文
例：「短歌を詠んでください」(2) Yake!によるキーワード抽出を用いた指示文
例：「『バケツ』を含む短歌を詠んでください」(3) 先頭のワードのみを提示した指示文
例：「『青』から始まる短歌を詠んでください」(4) 先頭の 5 モーラを隠し，埋めさせる指示文
例：「『揺らぐ水面に蘇る線香花火と縁側の祖rinna社RoBERTa

母』の先頭に 5 文字を加えて短歌を完成させてください」(5) 末尾の 7 モーラを隠し，埋めさせる指示文
例：「『青バケツ揺らぐ水面に蘇る線香花火と』に続けて７文字を加えて短歌を完成させてください」(6) 下の句を与え上の句を生成させる指示文
例：「『線香花火と縁側の祖母』に上の句を加え図 4 報酬モデルのハイパーパラメータチューニングの様子.て短歌を完成させてください」(7) 上の句を与え下の句を生成させる指示文

ハイパーパラメータチューニングでは，学習率や例：「『青バケツ揺らぐ水面に蘇る』に下の句をスケジューラー，エポック数などを変更して，各続けて短歌を完成させてください」

モデルで調整を行った．また直接 Utakata 上の短歌

(8) 短歌の一部をランダムに隠し埋めさせる指示文

どうしを tanka↑ ，tanka↓ として与えるのではなく，例：「『青バケツ揺らぐ？？？？？線香花火と縁

Wikipedia から抽出した，短歌の形式を偶然満たし側の祖母』の？を埋めて短歌を完成させてた文字列を tanka↓ として与える学習を行ったのちください」に，tanka↓ として Utakata 上の短歌を与える二段階7） https://huggingface.co/cl-tohoku/
bert-base-japanese-v28） https://huggingface.co/nlp-waseda/
roberta-base-japanese

なお一部の短歌に関して，上の句と下の句の分離が難しいなどの理由から，すべての指示が作成できていない場合がある．

― 3320 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).