# 機械学習を用いた川柳の面白さの予測

太田聖三郎 ${ }^{1}$ 河原大輔 1 野村理朗 2
1 早稲田大学理工学術院 2 京都大学
\{ota-seizaburo@akane.,dkw@\}waseda.jp, nomura.michio.8u@kyoto-u.ac.jp

## 概要

川柳は日本の伝統文芸の一つである．詩や俳句に関する機械学習を用いた研究は散見されるが，川柳に関するものはない. 本研究では，川柳を構成する要素を様々な指標に分解し，それらの予測を組み合わせることで，より高精度な川柳評価を予測する手法を提案する. クラウドソーシングを用いて川柳データセットを構築し， BERT-like モデルをファインチューニングすることより川柳の評価を予測する. それに加え, 川柳をデータに事前学習モデルの追加学習を行い, 川柳の特徵を理解した SenryuBERTを構築する。

## 1 はじめに

近年，人工知能による創作活動はめざましい発展を遂げている。自然言語処理においては詩や俳句などの生成研究 $[1,2]$ がある. その一方で，それらの理解に関する研究はほとんどされていない. それらの理解には創作物の持つ面白さや独創性などが関わってくる. 面白さは人のコミュニケーションの中でも大きな役割を担っている. つまり，人と計算機のコミュニケーションを円滑にするためには，計算機による面白さの理解が重要な要素となる.

本研究では川柳という文芸を対象とし，人が川柳の面白さをどのように理解しているか，また，計算機がそれを理解できるかを分析する。川柳は俳句と同様に五・七・五の音数を持ち, 元来は俳諧連歌の長句が独立したものである．短句に対しての前句付けが流行したことにより生まれた文芸であり, 口語的で風刺的な内容が特徴である. 川柳の面白さは人が理解するにおいても難しく，これを計算機に理解させるのはさらに難しいタスクである．この問題に取り組むにあたって, 川柳の面白さを構成する要素を細分化し，判断しやすい指標を設けることで，川柳の総合的な面白さの予測を目指す. 川柳の面白さを定量分析するために，クラウドソーシングによっ
て各指標をアノテーションする．得られたアノテー ションをもとに言語モデルのファインチューニングを行い，川柳を入力し川柳の総合的な評価を予測するタスクを行う．川柳の評価を直接予測する場合と，細分化した指標の予測を組み合わせる場合の精度の差を比較する。

## 2 関連研究

詩・俳句生成川柳について機械学習を用いた研究は無い. しかし, 川柳に通ずるものとして,近年では詩や俳句の生成 $[1,2]$ が行われている. Hitsuwari ら [2] は人手評価において, 人工知能が生成した俳句と人間が作った俳句との見分けがつかないほど完成度の高い川柳の生成を実現している。

BERT/RoBERTa 近年の自然言語処理研究の飛躍的な進歩には BERT [3] の登場が大きく関わっている. BERT の学習は事前学習とファインチューニングからなる. 事前学習は自己教師あり学習であり,主な学習方法は Masked Language Model (MLM) である. MLM は入力文の一部のトークンをマスクし， マスクされたトークンを予測するタスクである。予測されるトークンのうち $80 \%$ [MASK] トークンに置き換えられ，10\%はランダムな他のトークンに置き換えられる。残りのトークンは元のトークンのままで残される。これは，多ウンストリームタスクにおいて [MASK] トークンが出現しないことを考慮したためである. Liu ら [4] はBERT を改良したモデル RoBERTaを提案し, データセットの増大や動的マスキングなどにより精度を向上させた。

大喜利データセット中川ら [5] は大喜利を複数の指標に分解し，クラウドソーシングを用いて各指標に対しアノーテーションを行うことで，定量分析可能な大喜利データセットを構築している.

## 3 川柳データセットの構築

本研究では川柳を構成する要素を複数のわかりやすい指標に分解し，定量分析を行うために川柳デー

タセットを構築する。

## 3.1 川柳データの収集

川柳は川柳投稿サイト「まるせん」1) より提供を受けたものを用いる.このデータは川柳，お題，作者を含む 581,336 句からなる.

## 3.2 川柳データの前処理・フィルタリング

本研究では，川柳の評価をクラウドソーシングを用いてアノテーションする．アノテーション対象の川柳を選別するために，川柳の前処理・フィルタリングを行う．投稿川柳にはしばしば絵文字を含んでいるものがある.これらは実験で用いる言語モデルの語彙に含まれていないため削除する。また，上記サイトではお題を作者が自ら設定し投稿するため，不適当なお題やイレギュラーなお題が散見される. そのため，クラウドソーシングにかける川柳については，運営によりあらかじめお題が指定されている 「コンテスト」の川柳を採用する. コンテストはサイト内で定期的に開催され，その度に 10 句ほどの入選作品が選出されるため, ある程度の川柳の質が担保される. データ収集時点までに開催されたコンテスト 304 回のうち，時事的なお題（例: VAR）や長いお題（例: 最近の若いもん）を除き名詞や形容詞を中心に 250 題について，フィルタリングを行った. 各お題について入選作品+それ以外を合わせ 20 句ずつを選出し, 合計 5,000 句の川柳を抽出した.

## 3.3 川柳の面白さの細分化と評価のアノ テーション

前節で述べた 5,000 句の川柳に対し，クラウドソーシングを用いてアノテーションを実施する. プラットフォームは Yahoo!クラウドソーシング2)を用いる. 川柳の解説書 $[6,7]$ を参考に，川柳を 8 つの指標に細分化し, それぞれの指標について 5 段階評価を行ってもらう．細分化した指標を下記に示す。

1. 句がお題に沿っている (along)

2. 場面をイメージしやすい・わかりやすい (imaginable)

3. 句に対比の構図がある (contrast)

4. あたりまえ・ありきたりなことは言っていない (usual)

5. 不適切な表現が含まれていない (appropriate)

1) https://marusenryu.com/

2) https://crowdsourcing.yahoo.co.jp/
6. 語のリズム感・軽快さがある (rhythmic)

7. 言い回しに独創性がある (unique)

8. 体験や体感への想いが感じ取れる・余韻がある (experience)

これらの項目に，

・総合的に良い川柳である (overall)

を加え，合計 9 個の指標について，1句あたり 10 人のクラウドワーカを雇い，その平均値を正解ラベルとして付与する. クラウドワーカにはお題，川柳が与えられる。

## 4 SenryuBERT の構築

既存の言語モデルは新聞やウェブテキストで学習しているため, 川柳の風刺的な文脈や語順などのリズム感を理解できない可能性がある．この問題に取り組むために，川柳データを活用し，言語モデルの追加学習を行うことで SenryuBERT を構築する.

## 4.1 ランダムトークン置換 (RTR)

2節で述べた通り，BERT [3] のMLMでは，予測するトークンのうち，80\%を[MASK] トークン，10\% をランダムな他のトークン，10\%をそのままのトー クンにして学習を行う．川柳のような短い系列を入力とする場合, $[$ MASK] トークンと異なり, ランダムなトークンに置き換えると，BERT の特徴量はランダムなトークンの影響を大きく受けるため，文脈が破綻する可能性がある．これを防ぐため，通常の MLM に加えて，ランダムなトークンの置き換えをしない学習も行い比較する。

## 4.2 追加学習

川柳データを用いた言語モデルの追加学習は, 早大 RoBERTa-base ${ }^{3)}$ をべースとして行う．学習は表 1 に示す 4 種類の条件で行う. モデル 3 の場合は入力を “お題 [SEP] 川柳” とし，その他のモデルでは “川柳”とする．また，学習時にマスクされるトークンにお題は含まれないようにする。実験で使用するハイパーパラメータを付録 B に示す.

## 4.3 結果

各モデルの [MASK] トークンの予測例を表 2 に示す. 例には条件 $1,2,3$ とべースラインの早大

表 1 追加学習における学習条件設定

表 2 [MASK] トークンの予測例（入力：“歯ブラシと一緒

RoBERTa-base の結果を示す. 付録 C に他の予測例を掲載する。定量的な評価は次節のダウンストリー ムタスクにて行う。

定性的評価ベースラインの RoBERTa では助詞や関係のない名詞・助詞が予測され, 正解と近い単語の出力は見られない. 条件 3 のお題と川柳を入力として学習したモデルではベースラインほど遠くはないものの，正解に近い予測はほとんど見られなかった. 条件 1 と 2 のモデルはどちらもある程度のニュアンスが捉えられており，正解に近い予測ができている. 条件 2 のモデルでは生起確率が他と比べて高くなっており，これはランダムトークンによる文脈の摇れが抑えられたためと思われる。

## 5 川柳構成要素の分析・予測

本研究では，川柳の面白さという曖昧な要素を直接予測する場合と， 3 節で示した 8 つのわかりやすい指標に分解してから予測する場合の精度を比較する. また，予測した各指標のスコアから総合評価を予測するタスクを行い，総合評価の予測精度の比較を行う。まとめると下記の 3 つの実験を行う。

1. 川柳から総合評価の予測

2. 川柳から各指標の評価の予測

3. 各指標の評価から総合評価の予測

実験 1,2 には既存のモデルや 4 節で構築したモデルなどの BERT-like モデルを使用し, 実験 3 には決定木アルゴリズムの LightGBM [8]を使用する.

## 5.1 実験設定

実験 1,2 では事前学習済み BERT-like モデルを回帰問題としてファインチューニングすることで，川表 3 総合評価の予測結果

柳から総合評価や各指標の評価を予測する. 4 節で構築した SenryuBERT に加え，BERT や RoBERTa での学習を行う. モデルの詳細と学習に用いた八イパーパラメータは付録 $\mathrm{A}, \mathrm{B}$ に示す. 学習に使用するデータセットは 3 節で構築した川柳データセットを用いる。データセットは訓練用 4,000 句，検証用 500 句，テスト用 500 句に分割する. 川柳はお題ありきであるため，モデルへの入力は“川柳 [SEP] お題”とする。各指標についてファインチューニングを 10 回行い，精度を平均值と最大值で算出する. モデルの評価には Pearson の相関係数を用いた.

実験 3 ではまず，実験 1,2 から最良のモデルを選択し，訓練データの各指標を予測する (自動ラベルと呼ぶ). 各指標の自動ラベルから LightGBM を用いて総合評価を予測し，実験 1 のスコアと比較する. LightGBM の学習に用いたハイパーパラメータを付録 B に示す。訓練データに自動ラベルを付与する手順は，まず，訓練用データを 10 分割する.そのうち 9 個のデータ (3,500 句)を用いて学習したモデルで，残りの 1 個のデータに対して各指標のスコアを予測しラベルとする。これを 10 個の分割全てで行い，4,000 句に自動ラベルを付与する.

## 5.2 実験結果と考察

川柳から総合評価の予測川柳から直接総合評価を予測した際の評価結果を表 3 に示す. 3 節で提案した SenryuBERT は RoBERTaをベースとしたモデルであるが，RoBERTa ベースのモデルに関してはすべて BERT よりも最大値で良い精度となったが，RoBERTa と SenryuBERT の間に大きな差はみられなかった. しかし, SenryuBERTにおいてRTRを行わなかった場合や，お題を入力に加えて学習した場合は精度の向上が見られた。最良のモデルは SenryuBERT において，RTRを行わず，[MASK]トー クンの割合を $80 \%$ とした場合で，SenryuBERT とは最大で約 0.07 の差が見られた. ただし，お題を入力に加えて学習した SenryuBERT 以外のモデルは精度
表 4 各指標の評価の予測結果

表 5 各指標における川柳評価の予測例と比較 (川柳: “札束を数え快感銀行員”, お題: “現実逃避”)

が安定せず，データの順序などの影響を受けやすいことが分かった. 表 5 に総合評価を川柳から直接予測する場合と提案手法との比較例を示す. 提案手法が僅かに良い予測ができていることがわかる．表 5 に示す指標は 3 節で示した指標に対応している.

川柳から各指標の評価の予測川柳を入力として 3 節に示した各指標の評価を予測した結果を表 4 に示す. 表 4 には SenryuBERT のファインチュー ニングによる結果と, 総合評価の予測にて高精度であったRTRを行わないモデルの結果を示す。いずれの指標においても，RTRを行わないモデルは SenryuBERT の精度を上回る結果となった. この内,総合評価の予測より高い精度となったのは, 体験や体感への想いが感じ取れる・余韻がある (experience) のみであった.

各指標の評価から総合評価の予測本実験では，川柳から各指標の評価の予測において精度の高かった SenryuBERT -RTR (90\%) のモデルを用いて訓練データに自動ラベルを付与し，LightGBM の学習を行う. 川柳から直接総合評価を予測した結果と，各指標のスコアの予測から総合評価を予測した結果を表 6 に示す. データセットの各指標の正解ラベルをもとに総合評価を予測する場合には，非常に高い精度で予測ができている. これは，細分化した 8 個の指標が，人が川柳の面白さをどう理解しているかをうまく表す基底になっていると理解できる. 自動表 6 総合評価の予測結果の比較

ラベルで学習した場合には，正解ラベルと比べて大幅に精度は下がるが，川柳から直接予測する場合と比べると， 0.01 ほど高い精度が得られ，提案手法がやや高い精度で予測できていることがわかる. 自動ラベルの精度があまり高くならない原因として， experience しか overall の精度に勝っていないことが考えられる。

## 6 おわりに

本研究では，現状取り組まれていない川柳という文芸を理解するタスクに機械学習を用いて取り組んだ. 川柳から直接総合評価を予測するアプローチをベースラインとして，川柳を相対的にわかりやすい指標に細分化し，それぞれの項目の予測を組み合わせることで総合的な評価を予測する手法を提案した. 提案手法はベースラインに比べて若干の精度の向上が見られた.

今後，川柳の面白さの理解を目指すには更なる精度の向上が必要である。また，提案手法を活かし，川柳の生成タスクに取り組んでいきたい。

## 謝辞

川柳データを提供いただいた川柳投稿サイト

「まるせん」に感謝する. 本研究は JSPS 科研費 JP22H01103, JP21H04901 の助成を受けて実施した.

## 参考文献

[1] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew M. Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. 2015.

[2] Jimpei Hitsuwari, Yoshiyuki Ueda, Woojin Yun, and Michio Nomura. Does human-ai collaboration lead to more creative art? aesthetic evaluation of human-made and ai-generated haiku poetry. Computers in Human Behavior, Vol. 139, p. 107502, 2023.

[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[4] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

[5] 中川裕貴, 村脇有吾, 河原大輔, 黒橋禎夫. クラウドソーシングによる大喜利の面白さの構成要素の分析. 言語処理学会年次大会発表論文集, Vol. 25, pp. ROMBUNNO.B3-2 (WEB ONLY), 2019.

[6] 新家完司. 川柳の理論と実践. 新葉館出版, 2011.

[7] 野林正路. 詩・川柳・俳句のテクスト分析. 和泉書院, 2014.

[8] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, Vol. 30, pp. 3146-3154, 2017.

## A 学習に使用したモデル

5 節の実験 1,2 で使用した BERT-like モデルの詳細を表 7 に示す.

表 7 学習に使用した事前学習モデルの詳細

 & Wikipedia \& CC-100 & $125 \mathrm{M}$ & 768 & 32,000 \\
(nlp-waseda/roberta-base-japanese-with-auto-jumanpp) & & & & \\

## B ハイパーパラメータ

表 8 に，4 節の実験で使用したハイパーパラメータを示す.また，表 9 には，5 節の実験 1,2 で使用した八イパーパラメータを示す. 表 10 に示すのは， 5 節の実験 3 で使用したハイパーパラメータである.

表 8 RoBERTa の追加学習に使用したハイパーパラメータ表 9 BERT-like モデルのファインチューニングに使用した

表 10 LightGBM の学習に使用したハイパーパラメータ

## C SenryuBERT の予測例

表 11 に，SenryuBERTによる [MASK] トークンの予測例を示す.