言語処理学会 第25回年次大会 発表論文集 (2019年3月)

クラウドソーシングによる大喜利の面白さの構成要素の分析
中川 裕貴

村脇 有吾

河原 大輔

黒橋 禎夫

京都大学 大学院情報学研究科{nakagawa, murawaki, dk, kuro}@nlp.ist.i.kyoto-u.ac.jp

1

はじめに関連研究

2

人と計算機が高度で円滑なコミュニケーションを行

自然言語処理における面白さの研究対象の多くはうためには面白さの計算機処理は重要である。しかし、ジョークである。ジョークの研究は主に認識と生成と面白さの自動理解は依然として困難な課題であり、観いう 2 つの側面から行われている。ジョークの認識は測されるテキストとその背後にある面白さとの間の大入力された文または文章がジョークか否かを二値分類

きな隔たりはほとんど埋められていない。

する問題として定式化されることが多い。Yang らは

自然言語処理における一般的な取り組みは、テキス

言語的な特徴量を手掛かりにジョークの自動認識を試

トから出発して自動理解に到達しようと試みる。典型

みている [4]。彼らはジョークの面白さに繋がる言語

的には、面白さの理解を教師あり機械学習問題として的な構成要素として incongruity, ambiguity, phonetic

定式化し、定量化された面白さを特徴量の組み合わせstyle, personal aﬀect の 4 つが存在することを示している。他にも極性表現を特徴量に組み入れた研究 [3] やCNN (convolutional neural network) を用いた研究 [2]がある。一方、ジョークの生成の例としては、Binstedらの駄洒落なぞなぞ生成システム JAPE[1] や、ニューラルネットを用いたシステム [5] が挙げられる。
日本における主なジョークは駄洒落である。駄洒落の従来研究には、駄洒落なぞなぞ生成システム BOKE [6]や駄洒落の識別を試みたもの [7] がある。駄洒落は音韻という表層的手がかりが効果的という点で比較的簡単な問題といえる。

により予測しようとする。しかし、特徴量として用いられるのは、bag-of-words、n-gram、単語埋め込み、感情極性といった、いずれも表層的手がかりにすぎず、面白さとの落差はあまりにも大きい。
そこで、本研究では、面白さの側から歩み寄るという新たな取り組みを提案する。鍵となるアイデアは、面白さを相対的にわかりやすい構成要素に分解するというものである。たとえ構成要素を計算機に予測させることが現時点では難しいとしても、それが面白さよりも容易であれば、この困難な課題を漸進的に解決するための指針として機能することが期待される。
本研究では、面白さ理解のための題材として大喜利に着目する。大喜利は、お題と回答で完結するシンプ

3

大喜利データセット

3.1

大喜利

ルな形式であるとともに、データの入手が容易である

大喜利は与えられたお題に対してひねりのある回答ことから分析に適している。まず、定量分析に必要なをすることで笑いを誘う演芸である。テレビ番組とし大喜利データセットをクローリングにより構築する。て放送されることも多く、広く一般の人にも親しまれ次に、先行研究を参考に、面白さの構成要素として 6ている。本研究で扱う大喜利の一例を示す。

個の候補を挙げる。クラウドソーシングを用いて、面(1) 【お題】友達からのお見舞い、花やフルーツが並ぶ中、貧乏な田中くんが持ってきたものとは…？
【回答】隣の病室にあったマスクメロン(とんち道場4 から引用)

白さと同時に構成要素候補を尺度として、人手により大喜利の評点付けを行う。予備調査により 6 個から 3個に絞り込んだ構成要素を用いて面白さを予測したところ、ある程度高い精度が得られた。この結果は、大喜利の面白さがそれらの要素によって説明できることを示唆する。最後に、人手により定量化された構成要素を参考にして、計算機による予測に向けた予備的検討を行う。

本研究が大喜利を対象とするのは次の理由からである。まず、駄洒落と比較すると、大喜利の面白さは意味内容への依存が大きく、より挑戦的な課題である。
一方で、お題と回答で完結するシンプルな形式である
ことから、漫才のような複雑な談話形式とくらべて自― 233 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

サイト
IPPON グランプリ
大喜利グランプリ
大喜利どっとねっと
とんち道場
大喜利プラス

お題数
67614
822
3,785
85,366

回答数
543
30,7984,465
47,626
1,893,885

お題平均文字数
26.7
27.9
29.1
22.6
21.0

回答平均文字数
16.3
20.0
16.5
17.8
12.5

回答者
芸人
一般人
一般人
一般人
一般人

表 1: データセットに含まれる大喜利のお題と回答の数と平均文字数
動理解に向けた分析を行いやすい。加えて、同じお題に対して面白さに違いのある回答を複数得やすいという点も分析に好都合である。

3.2

大喜利データセットの構築

定量分析を可能とするために、まずは大喜利データセットを構築した。構築は次の 5 サイトのクローリングにより行った。(1) IPPON グランプリ（第 1 回から第 8 回までを書き起こしたサイト）1 、(2) 大喜利グランプリ2 、(3) 大喜利どっとねっと3 、(4) とんち道場4 、および (5) 大喜利プラス5 。IPPON グランプリはテレビ番組で放送された芸人による大喜利を収集したものであり、残りはいずれも一般人による大喜利を集積したものである。
各サイトからはお題、回答、およびその他の情報（順図 1: クラウドソーシングのタスク回答画面

位や票数など）を取得した。IPPON グランプリにはイラストのような非言語的手段を用いる回答も含まれるが、今回はテキストデータのみから成り立つお題と回答を収集した。構築したデータセットの統計を表 1あるという絶妙なバランスが面白さを生み出すと考えられる。

4.2に示す。

特徴量の設計

前節での議論を踏まえて大喜利データセットに人手4面白さの構成要素で付与する特徴量の設計する。特徴量の付与にはクラ4.1

大喜利の面白さ

ウドソーシングを用いるため、わかりやすさに配慮し本節では大喜利の面白さに繋がる要素を検討する。て、以下のように質問形式を採用する。

大喜利は出題者に回答者が答えるという形式を取るこ

F1: 回答はお題の内容を踏まえていますか？とから、回答は出題されたお題を踏まえたものでなけ

F2: 回答はお題に対するボケとしてわかりやすいでればならない。また、回答は聞き手にとってわかりやすか？

すいものである必要がある。反対にこれらの条件を満

F3: 回答は簡潔に書かれていますか？

たしていなければ、回答として成り立たず、したがっF4: 回答は現実世界でおこりえそうですか？て面白さも生まれないだろう。

F5: 回答はあなたの想定したボケと異なりますか？

上記の条件は一般に会話に必要なものであり、もちろんそれだけで面白さを生み出すわけではない。面白い回答には聞き手の予想を裏切る意外性が欠かせな

F6: 回答に新しさ、もしくは新鮮味を感じますか？

4.3

3 節で得られた大喜利データセットに対して、クラい。つまり、お題と回答の間に何らかの文脈的なずれがありつつ、それでも回答が聞き手にとって納得感が特徴量と面白さの評点付け

ウドソーシングを用いて、特徴量と面白さを人手で評点付けする。クラウドソーシングのタスク回答画面を

1 https://blog.goo.ne.jp/takawo2222
2 https://oogiri.jp
3 http://www.ohgiri.net/ohgiri/
4 http://tonchi.jp
5 http://oogiri.biz

図 1 に示す。ワーカは、特徴量と面白さのそれぞれについて、非常にそう思う場合 (5) から全くそうは思わない場合 (1) までの 5 段階の評点を付与する。

― 234 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

特徴量
全て
F1F2F3F4F5F6

平均二乗誤差0.06740.09520.08390.16620.21000.21920.1256

特徴量
全て
F1F2F6F1 F2F2 F6
F1 F6
平均値ベースライン

表 2: 各特徴量単独での回帰モデルの精度
特徴量
F1 F2 F4 F5 F6F1 F2 F3 F4 F5 F6F1 F2 F4 F6
F1 F2 F6F1 F2 F3 F4 F6

平均二乗誤差0.04830.08840.07680.06600.07400.04870.05590.2252

表 4: 大規模データにおける面白さの予測精度

平均二乗誤差0.0671
0.06740.06900.07030.0712から少数のお題・回答ペアを抽出した。特定の大喜利サイトに偏らないようにするために、各サイトからお題・回答ペアをそれぞれ 50 個ランダムに抽出し、計表 3: 特徴量の組み合わせの精度上位 5 件250 ペアを得た。これらのデータに対し、Yahoo!クラウドソーシング7 を用いて特徴量と面白さに評点付け

各お題・回答ペアに対して、15 人の評点を収集すを行った。最後に回帰モデルを訓練し、平均二乗誤差る。今回はその平均値を特徴量と面白さのスコアとしを得た。て採用する。なお、お題・回答ペアに対して、特徴量結果を表 2、3 に示す。表 3 に頻出する特徴量は F1と面白さを一通り単一のワーカに評点付けさせる。こ「回答はお題の内容を踏まえていますか?」、F2「回答れは、将来的に、ワーカの個人差を反映したスコア集はお題に対するボケとしてわかりやすいですか?」、F6計を行えるようにするためである。

「回答に新しさ、もしくは新鮮味を感じますか?」の 3

4.4

つであり、これらが面白さに最も寄与する特徴量とい構成要素を用いた面白さの予測える。以後これらの特徴量を便宜的にそれぞれ F1「関クラウドソーシングにより得られたスコアを用いて、4.2 節で設計した特徴量が有効かを検証する。この問
題は、各お題・回答ペアについて、その面白さを特徴量係性」、F2「わかりやすさ」、F6「新しさ」とよぶ。

5.2

面白さの予測結果と分析を用いて予測する回帰問題として定式化できる。回帰予備調査の結果をもとに、3 つの特徴量を用いて大モデルとしては、gradient boosting と random forests

規模なクラウドソーシングを行った。各大喜利サイトを組み合わせたアンサンブル学習器である XGBoostからお題・回答ペアを各 543 個ランダムに抽出し、計Regression6 を用いる。10 分割交差確認を用い、平均2,715 ペアを得た。これらに対して再びクラウドソー

二乗誤差をモデルの精度とする。

シングを用いた評点付けと回帰モデルによる予測精度もし提案する特徴量によって面白さが高い精度で予の評価を行った。

測できるなら、面白さはそれらの構成要素によって説予測の結果を表 4 に示す。特徴量単独での精度から、明できるといえる。また、特徴量の様々な組み合わせ

面白さとのつながりの深さは、上から順番に、F6「新を比較することで、面白さの説明に有効な特徴量の組しさ」、F2「わかりやすさ」、F1「関係性」であると判み合わせを特定できる。なお、大量のデータに対して断できる。比較のために、お題・回答ペアに対する面効率的にクラウドソーシングを行うために、小規模な白さのスコアをデータセット全体における平均を常に予備調査により有効な特徴量を絞り込む。その後、そ出力するベースラインも示す。いずれの特徴量もこのれらの特徴量に限定して大規模なクラウドソーシングベースラインよりも大幅に低い誤差を達成している。

を行い、改めて精度評価を行う。

この結果から、大喜利の面白さがそれらの要素によっ

5

実験

5.1

予備調査による特徴量の絞り込みて相当程度説明できていると結論付けられる。

6

最初に小規模な予備調査を行い、面白さの予測に有効な特徴量を絞り込んだ。まず、大喜利データセット

面白さの自動推定に向けた検討
最後に、機械的に計量可能な特徴量を用いた面白さの自動推定を試みる。次の 3 つの機械的特徴量は、5節で有効性が示された特徴量との関連性が期待され、6 https://github.com/dmlc/xgboost

7 https://crowdsourcing.yahoo.co.jp― 235 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

特徴量Embedding
平均単語難易度
LDA
全て
平均値ベースライン量との相関係数が極めて小さく、LDA は期待された

平均二乗誤差0.23010.23020.22950.22860.2252

F6「新しさ」よりも F2「わかりやすさ」との間の相関係数の方が相対的に高くなった。これらの結果は、面白さの自動推定の手がかりとして Embedding が相対的に有効であるものの、全体として、現時点で得ら

表 5: 機械的特徴量による面白さの予測精度れる手がかりの有効性はいずれも限定的であり、大幅な改善の余地があることを示唆している。

7

おわりに
本研究では、大喜利を対象として、面白さを構成する要素をクラウドソーシングにより評価付けし、回帰モデルを用いてその有効性を示した。実験結果は、大喜利の面白さが主に 3 つ要素（お題と回答の関係性、回答のわかりやすさ、回答に新しさや新鮮味）の組み合わせで説明できる可能性を示唆する。さらに、これ
らの特徴量を参考に機械的特徴量を設計し自動推定を試みた。現時点ではいずれの機械的特徴も有効性は限定的であったものの、定量化された面白さの構成要素は今後の研究の指針として役立つと考えている。

図 2: 特徴量間の相関関係

謝辞
大喜利データセット作成にあたってクロールを許可

なおかつ現在の自然言語処理技術で比較的簡単に計量していただいた大喜利プラス管理者の水口様に厚く御可能なものである。

Embedding

お題と回答の文ベクトルのコサイン類似度。文ベクトルはテキスト中に出現する単語のベクトルの平均とする。単語ベクトルとしては、Web 文章

100 億ページから学習された 256 次元の word2vec モデルを用いる。F1「関係性」との関連性が期待される。
平均単語難易度

回答に含まれる単語の難易度の平均。

単語難易度は、クラウドソーシングによって構築された約 26,000 語からなるデータベース [8] に基づく。F2「わかりやすさ」との関連性が期待される。

LDA お題と回答のトピックベクトルの類似度。トピックベクトルは、ブログコーパス 100 万文書で学習された 100 次元のオンライン LDA を用いて求める。

F6「新しさ」に関連する、すなわちお題と回答間のトピックのずれを捉えることが期待される。
表 5 に機械的特徴量を用いた面白さの予測実験の結果を示す。Embedding、平均単語難易度、LDA、それら全ての組み合わせのいずれも平均値ベースラインよりも悪い予測精度を返した。特徴量間のピアソンの相関係数を図 2 に示す。いずれの機械的特徴量も、人手による特徴量あるいは面白さとは無相関に近いが、Embedding と F1「関連性」の相関係数は 0.117 と相礼申し上げます。

参考文献[1] Kim Binsted and Graeme Ritchie. Computational rules forgenerating punning riddles. HUMOR-International Journal of Humor Research, Vol. 10, No. 1, pp. 25–76, 1997.
[2] Peng-Yu Chen and Von-Wun Soo. Humor recognition using deep learning. In Proceedings of the 2018 Conference of the North American Chapter of the Association
for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), Vol. 2, pp. 113–117,
2018.
[3] Lizhen Liu, Donghai Zhang, and Wei Song. Modeling sentiment association in discourse for humor recognition. In
Proceedings of the 56th Annual Meeting of the Association
for Computational Linguistics (Volume 2: Short Papers),
Vol. 2, pp. 586–591, 2018.
[4] Diyi Yang, Alon Lavie, Chris Dyer, and Eduard Hovy.
Humor recognition and humor anchor extraction. In Proceedings of the 2015 Conference on Empirical Methods in
Natural Language Processing, pp. 2367–2376, 2015.
[5] Zhiwei Yu, Jiwei Tan, and Xiaojun Wan. A neural approach to pun generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Vol. 1, pp. 1650–1660,2018.
[6] キムビンステッド, 修滝澤. 日本語駄洒落なぞなぞ生成システ
ム “BOKE”. 人工知能学会誌, Vol. 13, No. 6, pp. 920–927,nov 1998.
[7] 谷津元樹, 荒木健治. 子音の音韻類似性及び SVM を用いた駄洒落検出手法. 知能と情報, Vol. 28, No. 5, pp. 875–886, 2016.
[8] 水谷勇介, 河原大輔, 黒橋禎夫. クラウドソーシングを用いた習得時期の想起質問に基づく単語難易度データベースの構築. 言語処理学会第 25 回年次大会 発表論文集, 2019. (to appear).

対的に大きな値となった。平均単語難易度は他の特徴― 236 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.