ことば工学研究会資料
SIG-LSE-B902-4(12/13)

駄洒落データベースを用いた面白さの評価及び分析
Evaluation and Analysis of Fun Using Pun Database in Japanese荒木 健治 1∗
Kenji Araki1
北海道大学
1
Hokkaido University
1

内田 ゆず 2
Yuzu Uchida22

佐山 公一 3
Kohichi Sayama3

谷津 元樹 4
Motoki Yatsu43
4
北海学園大学
小樽商科大学青山学院大学2
3
Hakkai-Gakuen University
Otaru University of Commerce4
Aoyama Gakuin University

Abstract: 現在広く普及しているスマートフォンや AI スピーカー上の対話エイジェントは，雑談システムとしての能力が不十分であり，話していて楽しいシステムとはなっていない．この問題を解決するためには，ユーモア処理の高度化が必須である．その第一段階として，我々は 68,000 件の駄洒落データベースの開発を行った．しかし，この駄洒落データベースには面白さの度合いを示すス
コアが付与されていなかった．そこで，３名の評価者により面白さのスコアの付与を行った．次に，この駄洒落データベースを用いて，面白さのスコアの平均値の推移，評価者ごとのスコアの分布，評価者間の一致度，平均スコアの上位のものなどの分析を行った．この結果，駄洒落の面白さの感じ方には個人差が大きいことや対話形式で表現されている場合に面白さを感じることなどが明らかとなった．これらのことより文脈情報，背景知識が駄洒落の面白さの感じ方の大きな要因となっていることが確認された．

1

はじめに

近年，生涯独身者の急増や社会風習の変化により，高齢者単身世帯が急増している．そのため，孤独感を感じさせないための心のケアの需要も急激に増大している．孤独感を感じさせないためには，行政が高齢者単身世帯を定期的に訪問するための人員を雇用することが最善の方法である．しかし，この方法は高齢化社会の進展に伴い急増する医療費などのため現状の予算では困難である．そこで，この問題を解決するために訪問者を代替する存在として，人間と同等の対話能力を持つ対話システムの実現が緊急の課題となっている．
このような背景のもと，現在スマートフォンや AI ス
ピーカー上の Siri や OK Google や Alexa などの対話
エイジェントの普及が急激に進み，これらの対話エイ
ジェントと接する機会が増大している．しかし，これらのシステムは基本的に何らかの仕事を行うためのもの（タスク指向型システム）であり，話をすることにより面白さや楽しさを感じることを主目的として開発されたものではない．会話による面白さや楽しさを主目的として開発された対話システムは非タスク指向型
システム（雑談システム）と呼ばれる．
雑談システムの完成度は高いものではなく，５回話∗ 連絡先： 北海道大学大学院情報科学研究院

すと飽きてきて２０回話すのが限界というのが現状である．このような問題に対して最近では対話システム
シンポジウム1 という雑談システムの性能をコンペ形式で競う大会も実施されてきている．しかし，雑談シス
テムとの対話の面白さはゲームや映画やドラマや漫画などといったエンターティメントの面白さに遠く及ばない．このことは，ゲームをしたり映画などを見て朝まで徹夜してしまったということはあるが，雑談シス
テムと話すのが楽しくて朝まで徹夜してしまったという話は聞いたことがないことからも明らかである．そこで，我々はこの問題を解決するために，これまで非タ
スク指向型の対話システムの研究を行ってきた [1, 2]．
これらの研究では，一定の成果は得られているが，依然として最終的な目的である話すのが楽しくて朝まで話込んでしまったというレベルには達していない．
この問題を解決するためには，人間並みの精度の高い応答が行えるということはもちろんであるが，それだけでは問題の解決にはならず，いわゆる話し上手な
雑談システムを開発する必要がある．話し上手な雑談
システムの要件は，相手の興味をひく話題について詳
しく話すことができる，適切なタイミングで相槌を打つことができるなど，実に様々なものがあるが，その中の一つとしてユーモアを理解して笑い，適切なタイミングで相手を飽きさせないようにユーモアを発するということも大きな要因であると考えられる．

札幌市北区北１４条西９丁目
E-mail: araki@ist.hokudai.ac.jp

1 https://jsai-slud.github.io/sig-slud/87th-sig.htm- 63 -

これまでのユーモアに関する研究としては，なぞなぞの答えを駄洒落として生成するキムらの研究 [3] がある．キムらの手法では，手作業で小規模な辞書を作成し駄洒落を自動生成する実験を行い，既存の一般的な辞書と比較している．その結果，使用する辞書に性能が大きく依存することが確認され，大規模な駄洒落
データベースを構築することの有用性が明らかにされている．
また，ことわざの文末を変更して意外性による笑いを狙った山根らの研究 [4] がある．山根らの研究では，
ことわざを「すかし」と呼ばれるオチを利用することにより面白い文章を生成するシステムを提案している．
「すかし」を用いたシステムが，一定のレベルの面白い文章を生成することは実証されているが，その他の面白さを生み出す手法に関する言及はなく，ユーモアを広範囲かつ大規模に収集し，データベースを構築する必要があるものと考えられる．
また，画像からユーモア発話を自動生成し，そのことにより対話継続欲求を向上させようとした二又らの研究 [5] がある．二又らの研究では対話システムにおいて画像からユーモアを生成することにより，対話が途切れた場合でもユーモアにより対話を継続したいという欲求が向上することを確認している．
しかし，これらの研究で用いられているユーモアは
いずれも少数である．例えば，文献 [5] で実験に用いられているユーモア発話は 50 文のみである．このことは，一般的なユーモアの性質，特性などを議論することが困難であることを意味する．
我々もこれまで駄洒落の自動生成に関する研究 [6]，対話システムに駄洒落生成システムを組み合わせたもの [7, 8]，物語性のあるテキストをユーモアとノンユー
モアに自動的に分類するもの [9]，ストーリージョークに出現する単語間の意味的な類似度の評価により，話しの「落ち」を検出しユーモアの自動認識を行う手法[10]，駄洒落における子音の音韻類似性及び SVM を用いた駄洒落検出手法 [11] などの研究を行ってきた．これらの研究を行う際に問題となったのが，評価を行う
ための大規模な標準的データセットが存在せず，他の手法と実験結果を正確に比較し評価することができな
いということである．また，認識・生成を行う際にユー
モアの面白さに対する評価手法も確立されていない．
このようなこれまで行われたきた研究の数々の問題を解決するための第一段階として，我々はユーモアに関する大規模なデータベースの構築を行った．まず，初めに 51,000 件の駄洒落を収録した大規模な駄洒落デー
タベースの開発を行った [12]．また，開発された駄洒
落データベースを用いて駄洒落の面白さを認識する理解の手続きについての考察を行った [13]．さらに，駄洒落データベースを用いた駄洒落生成システムの開発を行い，どのようなお題に対しても約 80 ％の精度で駄洒落を生成できることを確認した [14]．また，駄洒落
データベースを用いて駄洒落中に含まれるオノマトペの分析を行った [15]．さらにこの駄洒落データベース
を 68,000 件まで拡張した [16]．また，この拡張された
駄洒落データベースを用いて駄洒落の面白さの認知科
学的見地からの考察 [17]，オノマトペに着目した駄洒
落の面白さの分析 [18] などの研究を進めてきた．これ
ら研究は一定の成果をあげている．
しかし，これらの研究においては，大規模な駄洒落
データベースを用いた複数評価者による駄洒落の面白さの評価及び分析を行っていない．駄洒落の面白さを科学的に解明し，面白さを評価する関数を構築することは，雑談システムがユーモアを理解・生成するために必須のものである．そこで，本稿では駄洒落データ
ベースを用いて行った３名の評価者による大規模な面白さの評価結果とその分析結果について詳細に述べる．

2

駄洒落の面白さの評価

2.1

評価方法

駄洒落の面白さの評価に用いたものは，文献 [16] で述べた 68,000 件の駄洒落データベースである．この駄洒落データベースをクラウドソーシングで雇用した３名の評価者に各自 68,000 件の駄洒落を評価していただ
いた．評価者の属性を表 1 に示す．表 1 で「認定」とはクラウンドソーシングの会社が返信速度・納品実績・獲得額・高評価などの一定の条件を満たしている登録者に与えるもので，良質な作業者を選択する際の目安となるものである．今回の評価者３名は全員この認定を受けているので，一定レベルの能力を満たしているものと考えられる．

作業者名
評価者１
評価者２
評価者３

表 1: 評価者一覧
年代
経歴
認定
30 代後半男性
その他職種○
30 代後半男性
その他職種○
20 代後半男性 その他プログラマ・ ○エンジニア

評価者には，タグ付けされていない駄洒落の原型を提示し，可能限り直感的に表 2 に示す５段階で面白さの評価の依頼を行った．

2.2

分析対象の駄洒落データベースについて

駄洒落データベースの開発に関する論文 [12, 14] を読んだ方々から駄洒落データベースを公開して欲しいという要望があり，公開用の駄洒落データベースの作- 64 -

た，種別は併置型 Perfect を表す１であり，評価者１，
２，３のスコアが全て 3 であり，平均値は 3.00 となる．

表 2: 面白さのスコア
スコア 説明５
とても面白い
４
面白い
普通
３
２
面白くない
１
非常に面白くない（駄洒落ではないと思うものも含む）• 2, 高菜、あったかな？, (高菜) 、 [あっ た か な]
？ , 1, 3, 3, 3, 3.00

成を行うこととした．今回，面白さの評価結果の分析を行なったのは，この公開用に開発された駄洒落デー
タベースである．
公開用駄洒落データベースのフォーマットを図 1 に示す．図 1 に示すように，１レコードは，通し番号から始まり，駄洒落文に一切のタグ付けを行っていない原型，単語ごとに形態素解析を行い，種表現や変形表現を記号で示したタグ付きのもの，駄洒落の種別，評価者の面白さのスコア，スコアの平均の順に表記し，それぞれの要素を”，”で区切っている．
また，タグ付けされた駄洒落は事前に形態素解析ツー
ル MeCab[20] を用いて，形態素解析を行なっている．
単語間はスペースで分割されている．変形表現は，通常の単語表現が変形していることが多く新出語となる
ため形態素解析として正しい分割を定めることが困難な場合が多い．このため，形態素解析結果については，
変更を行なっていない．駄洒落の形態素解析については，正しい分割方法を定めることも含めて，今後の課題である．

また，以下に示す 73 では，１件の駄洒落の中に複数の変形表現が存在する例である．種表現「カレンダー」
に対して変形表現「だれんだー」と「俺んだー」が対応している．このような場合には，種表現，変形表現の後ろに空白なしで対応する数字を書くことにより，対応関係を明確にしている．73 のように「カレンダー：
だれんだー」，「カレンダー：俺んだー」の複数の種表
現，変形表現のペアが存在する場合には，その出現順に駄洒落の種類を表す番号を種別として「22」とタグ付け駄洒落の後に記載している．また，292 は，種表
現と変形表現が複数ある場合の例であり，2820 は種表
現のみ複数ある場合の例である．

• 73, カレンダーだれんだー俺んだー, (カレンダー)12[だれ ん だ ー]1 [俺 ん だ ー]2, 22, 4, 2, 3, 3.00
• 292, イカとゾウが喧嘩 いかんぞう, (イカ)1 と(ゾウ)2 が 喧嘩
[いかん]1 [ぞう]2, 11, 4, 4, 3,
3.67• 2820, 支那のビル萎びる, (支那)1 の (ビル)2 [萎びる]12, 11, 3, 2, 3, 2.67

通し番号,原型,タグ付,種別,スコア１,スコア２,スコア３,平均スコア

図 1: 公開用駄洒落データベースのフォーマット

2.3
駄洒落の種類を表 3 に示す．図 1 の種別は，表 3 の種類に書かれている番号を記載したものである．収録された駄洒落の例を表 4 に示す．表 4 に示すように，先頭に通し番号を付与し，次に駄洒落の原型，タグ付けされた駄洒落を記載する．タグ付けの方法については，
種表現は ( )，変形表現は [ ] で示した．また，複数の種表現，変形表現が存在する場合には，各記号の後ろに対応する駄洒落のペアに対して同じ数字を表記する
ことにより対応関係を表現した．なお，元々駄洒落の中に存在した ( )， [ ] は，予め全て< >に変換を行うことにより識別している．その次に駄洒落の種別，面白さのスコアを記載している．
例えば，以下に示す表 4 の２では，駄洒落の原型
は「高菜．あったかな」であり，タグ付けされたものは「(高菜) 、 [あっ た か な] ？」となるので，種表現が「高菜」であり，変形表現は「あったかな」となる．ま

公開に向けて行った修正

これまでも実験で使用する駄洒落データベースについては，種々の修正を行い使用してきたが，誤りなどを全て無くすることは不可能であるため一般公開に向けて再度種々の修正を行った．削除を行ったものは，以下のものである．

• 文字化けなど• 助詞から始まるもの• 性的表現を含むもの
このような観点から削除を行った結果を表 5 に示す．
まず，１点目の文字化けなどの削除というのは，文献[14] で述べた拡張された駄洒落データベース中には文字化けや URL や記号だけものもが含まれていたため，
これを第一著者が手作業で削除を行った．また，２点- 65 -

表 3: 駄洒落の種類と例
説明

種類

1.Perfect
併置型

2.Imperfect

3. 重畳型
4. 不明

例

種表現と変形表現がひらがな表記で字面上完全 (大将) が [大賞] を 獲得に一致しているもの
種表現と変形表現がひらがな表記で字面上一致 (きちんと) 整理 さ れ た [キッチン]
していないもの
種表現が背景知識，文脈上に存在し明示的には [すい ま 千羽鶴]
存在しないもの
駄洒落として解釈できないもの「 あ 、 あれ 山 だ ！ 」
注） ( ) は種表現， [ ]:は変形表現を表す.
表 4: 収録された駄洒落の例

通し
番号
2
73
292
2820

原型
高菜、あったかな？
カレンダーだれんだー俺んだー
イカとゾウが喧嘩 いかんぞう
支那のビル萎びる

タグ付種別(高菜) 、 [あっ た か な] ？
(カレンダー)12 [だれ ん だ ー]1 [俺 ん だ ー]2(イカ)1 と (ゾウ)2 が 喧嘩
[いかん]1 [ぞう]2(支那)1 の (ビル)2 [萎びる]12

1
22
11
11

１
3
4
4
3

スコア
２ ３
3
3
2
3
4
3
2
3

平均
3.00
3.00
3.67
2.67

文献 [14] の 68,000 件の駄洒落データベースは，67,001
件まで減少した．ここから最後の１件を削除し，67,000件を収録したものを公開用の駄洒落データベースとして公開を行った．
この駄洒落データベースを研究用に使用したい方は，
公開用のサイト2 に書かれている条件をお読みの上，第一著者までメイルでご連絡ください．

表 5: 削除を行った駄洒落の内訳
種類
説明
件数
1
文字化けなど593
2
助詞で始まるもの
121
3
性的表現を含むもの 285
合計
999
目の助詞から始まるものについても削除を行った．これらの作業を行った際の具体的手順としては，種別が4（不明）で全員のスコアが１（平均スコアが 1.00）のものをリストアップし，それらを第一著者が見て上述したものに該当するものの削除を行った．これらのものは表 5 に示す１の 593 件と２の 121 件の合計 714 件である．
また，３点目の性的表現を含む駄洒落，いわゆる下ネタ駄洒落の削除についてであるが，どこまでが性的な表現かは判断が難しいため第一著者が見て直接的に性的表現を含むもののみを削除することとした．厳密には，単語そのものに性的な表現が含まれていなくても通常の単語の組み合わせて婉曲的に性的なものを表現した駄洒落が存在するが，それらをすべて抽出する
ことは，非常に難しいので明確に性的表現と判断できるものだけを削除することとした．具体的手順としては，第一著者がある程度の量の駄洒落を見て，性的表現を含む駄洒落と判断した基準となる単語の抽出を行った．このようにして抽出された単語は 58 語であった．
この 58 語を含む駄洒落を検索し，285 件の駄洒落を検出し，削除を行った．
この結果，削除された駄洒落は 999 件であったので，評価結果の分析3

2.3 で述べたような方法で開発された公開用駄洒落
データベースに収録されている 67,000 件の駄洒落を用いて，面白さの評価結果の分析を行った．

3.1

平均値の推移各評価者のスコア，および全評価者の平均スコアの1,000 件ごとの平均値を算出した．その結果を図 2 に示す．図 2 を見ると評価者１のスコアが，およそ 36,000件を境に急減に低下している．これに伴い，平均値も低下している．これは 2 章で述べたように文献 [14] で述べた 68,000 件の駄洒落データベースをクラウドソー
シングを用いて面白さの評価をお願いした際に，最初は 1,000 件から初めて 5,000 件，10,000 件，20,000 件と依頼件数を増加させ，最後に残りの 32,000 件の依頼を行ったために 36,000 件以降で一度に行う作業量が膨大になったことも一因であると考えられる．また，すでに 36,000 件の駄洒落を見てきたことにより飽きたと2 http://arakilab.media.eng.hokudai.ac.jp/ araki/dajare.htm- 66 -

いう状態になり駄洒落に面白さを感じなくなったということも考えられる．このようなことを考えると今回，３名の評価者を雇用し，各自 68,000 件の駄洒落の評価をしていただいたが，飽きるということを考えると多くの評価者に少しずつ評価していただいた方が良かったのではないかと考えている．これは，今後の課題である．
また，評価者２の方は 58,000 件を境に少々スコアの低下が見られるが，これも飽きたことに起因している可能性がある．また，評価者３の方は，最初はほぼ同じスコアであるが，15,000 件でスコアの低下が見られる．これは，元々駄洒落を面白いと感じる感性が低く，
15,000 件ですでに駄洒落の面白さに飽きてきているものと考えられる．
表 6 に評価者ごとのスコアの平均値を示す．評価者
１と２は 2.54 と 2.62 で比較的近い値になっているが，評価者３は 2.17 と非常に低い値である．これは図 2 を見ても明らかで，評価者３は一貫して低い値である．そもそも単独の駄洒落に対して面白さを感じる人と感じない人がいて，３名を任意に選ぶとそのような人が入る可能性がある．つまり，駄洒落に対する面白さの感
じ方には個人差が大きいということである．
表 6: 評価者ごとのスコアの平均値
評価者 平均
1
2.54
2
2.62
3
2.17
総合
2.44

3.2

がって，評価者１と２についても高評価と低評価については，約 10 倍の差がある．
このように評価者１と２は表 6 に示すように平均値が近い値を取り，図 3 に示すように２点，３点の分布は類似しているが，高評価や低評価では異なっている
ので，評価者１と２についても駄洒落が単独で存在する場合の面白さの感じ方には大きな違いがあり，個人差が大きいものと考えられる．
また，評価者３名全員のスコアを合計したものの分布を図 4 に示す．図 4 を見るとわかるように評価者３名のスコアの 92.1 ％が２点か３点であることがわかる．また，４点は 3.6 ％で１点は 4.1 ％である．５点は，0.1 ％しか存在しない．このため表 6 で総合の平均スコアが2.44 となっている．このように比較的低い値になった
原因としては，そもそも駄洒落単独で面白さを表現することに限界があることが考えられる．これは，対話中のように何らかの文脈の中で駄洒落を発することで解決できる部分もあるものと考えられるが，これは今後の課題である．
前述したように，５段階評価にした場合，個人差が大きい結果となった．そこで，スコアを３段階評価に換算した場合のスコアの分布について考察を行った．ス
コアの換算は以下のように行った．

• ５点および４点 → ３点
• ３点 → ２点• ２点および１点→ １点

スコアの分布５段階評価の評価者別のスコアの分布を図 3 に示す．
図 3 を見るとわかるように評価者１と２はスコアの分布が類似しているが，3.1 でも述べたように評価者３は大きく異なっている．評価者３の場合，実にスコア２が８割を占めている．５点はわずかに１例であり，この点からも一般的に単独の駄洒落そのものに面白さを感じていないことがわかる．
これに対して，評価者１と２のスコアの分布は，２点が 30 ％から 40 ％であり，３点が約 50 ％であるので，２点と３点が合わせて 80 ％から 90 ％を占め全体
的には類似している．一方，評価者２は５点が 249 件
であり４点は 6,638 件と合わせて１割を占めているが，評価者１は５点が 26 件で，４点が 526 件しかないので合わせても 1 ％未満である．また，１点についても評
価者１は 5,880 件と 8 ％を占めているのに対し，評価者２は１点が 868 件しか存在せず 1.3 ％である．した

このような換算を行い３段階評価にした場合の評価
者別のスコアの分布を図 5 に示す．図 5 を見るとわかるように，５段階評価での５点と１点が全体に占める割合が少ないため，３段階評価に換算しても，全体的な傾向は５段階評価の場合と変わらず，評価者３が１点の評価が約 80 ％と極端に多くなった．評価者１と２の１点，２点のスコア分布も同様に類似していたが，評価者２の５段階評価の際の５点と４点の占める割合
が１割程度で評価者１の 1 ％未満と比べて多かったた
め，評価者２の３段階評価の際の３点の割合も同様に異なっている．

3.3

評価者間の一致度について

3.3.1

k 係数による一致度の評価

次に評価者間の面白さのスコアの一致度について考察する．表 7 にコーエンの k 係数を用いて２名の評価者間の一致度を評価した結果を示す．５段階評価の場合には，いずれも 0.1 未満であることからわずかな一致という結果になった．その中でも，評価者１と２の k 係数

- 67 -

平均スコア[x 1,000] 件数

図 2: 平均値の推移

評価者１

評価者2

図 3: ５段階評価の評価者別のスコア分布- 68 -

評価者３図 4: ５段階評価の総合のスコア分布
が 0.079 と評価者２と３，評価者１と３の 0.022,0.046に比べて，比較的高いことから評価者１と２の評価結果が比較的類似していて，評価者３が異なっていることがわかる．３段階評価にした場合には，さらに評価
者１と２が 0.100 と高くなり，評価者２と３，評価者
１と３が-0.001, 0.048 であることからこの傾向がさらに強くなるという結果となった．
表 7: 評価者間の一致度
k 係数
評価者
５段階 ３段階
１と２ 0.079
0.100
２と３ 0.022-0.001１と３ 0.046
0.048

3.3.2

評価者間の一致数と割合

評価者間の一致数とその割合を表 8 に示す．また，評価者間の一致状況を図 6 に示す．
まず，５段階評価の場合について考察する．図 6 からわかるように５段階評価の場合の２者間の一致が最も多く 48,017 ペアとなっている．中でも評価者１と３の一致数が 19,077 ペアと評価者１と２の一致数 17,737
ペアより高い値となっている．図 3 を見るとスコアの分布は全く異なっていることから，評価者１と３は面白さを感じる感性が近く評価者３が８割を２点としたものを評価者１も２点と評価したものが多かったことを示している．これに比べて評価者２と３では，評価が一致した件数が 11,203 ペアと低いことから面白さを感じる感性に違いがあったものと考えられる．
また，評価者３名が一致したものが 12,657 組あるので，一致度の k 係数は低いものの，このような全く主
観的な評価においては，比較的一致したものが多かったのではないかと考えられる．一方，評価者３名がすべて異なるスコアを付与したものも 6,326 組存在した．
これは評価者３名が一致した場合の約半数であり，評価者３名がそれぞれ全く異なる評価をしたものが少な
かったことを示しているものと考えられる．

また，評価者３名ともに５点としたものは 0 であり，１点としたものは，126 組であった．そもそも評価者３が５点としたものは１件であり，３名とも５点としたものが 0 であったのは当然の結果である．１点が 126
組と少なかったことについては，2.3 で述べたように
記号や文字化けなど明らかに駄洒落でないものを分析用に使用した公開用の駄洒落データベースから削除していることから評価者１の１点が 526 件と少なく，このことが３名ともに１点としたものが少なかった要因となっていると考えられる．
次に，３段階評価の場合について考察する．図 6 からわかるように３段階評価に換算した場合も５段階評価と同様の傾向を示している．異なる点としては，評価者３名が一致したものが 15,887 組と約 3,000 組増加
していることと３名とも異なるスコアを付与したもの
が 3,877 組と約 2,500 組減少していることである．これは，評価の段階を５段階から３段階に大まかにしたことによるものである．
また，３段階にした場合でも３名とも３点と評価したものは 3 組であった. 図 5 から３点とした数は，評価者１，２，３でそれぞれ 552 件，6,887 件，120 件であることを考えるとこれは低い値である．３段階評価にしたとしても面白いものの感じ方には大きな個人差が存在することが確認された．
一方，３名とも１点と評価したものは 11,961 組と５段階評価の場合の 126 組から約 10 倍と急増している．
これは，評価者が５段階評価で１点あるいは２点と評価したものは，比較的一致していたということになる．
これは，評価者３の評価が３段階評価の場合でも１点が約８割と偏っていたことが原因であると考えられる．

3.3.3

評価者全員のスコアが一致したものと異なったものの分析

図 6 に示すように５段階評価の場合，評価者３名全員のスコアが一致したものが，12,657 件あり，評価者
３名ともに異なるスコアを付与したものが 6,326 件存在した．これらの一致したものと異なったものがどのよ
うなスコアだったのかを示したものが図 7 である．図 7の左側のグラフから評価者３名のスコアが一致した場
合には，２点だった場合が 68.0 ％と最も多く，次に３点の 31.0 ％である．したがって，２点と３点が 99.0 ％を占め，それ以外の５点，４点，１点で一致したもの
は，４点が 3 組，１点が 126 組で 1.0 ％のみであった．
このように評価者３名が一致する場合は，ほぼすべて２点の面白くない，あるいは３点の普通であったとい
うことがわかる．
次に，評価者３名全員の評価がすべて異なった場合のスコアの分布についてであるが，図 7 の右側を見ると３点以上４点未満の場合が 60.3 ％であり，２点以上- 69 -

評価者2

評価者１

評価者３

図 5: ３段階評価の評価者別のスコア分布

組数
割合 [％]

３者
一致
12,65718.9

組数
割合 [％]

15,88723.7

表 8: 評価者間の一致数と割合
５段階
２者一致
12 一致
23 一致
13 一致
17,737
11,203
19,077
26.5
16.7
28.5
3 段階
17,946
12,10817,182
26.8
18.1
25.6

図 6: 評価者間の一致状況- 70 -

合計
48,017
71.7

３者
不一致
6,326
9.4

47,236
70.5

3,877
6.0

３点未満の場合が，39.5 ％と合計で 99.8 ％を占めている．それ以外の４点以上５点未満は 11 組だけで 0.2 ％である．これも３名一致した場合と同様の傾向を示していて，３点の普通と２点の面白くないの部分で３名の評価が分かれていることがわかる．このような結果になった理由については，3.2 でも述べたように評価者３名のスコアの大半を３点と２点が占めていることが原因であると考えられる．

また，以下に示す 27 は，評価者３名が全員３点を付けたものである．３点は普通という意味であるが，「秋
田はあきた」のようによく知られたもので容易に推測のつくものは，特に面白いということはなく普通という評価になるということである．これは，佐山らの文
献 [13] に示すように，駄洒落を理解する場合の「処理負荷が少なすぎて面白くない場合」に相当するものと考えられる．

• 27, 秋田はあきた, (秋田) は [あき た], 1, 3, 3, 3,
3.00

一致した場合また，以下に示す 8661 は，「要港」という単語がよく知られたものではないことが，評価者全員２点となった原因であると考えられる．そもそも「要港」という単語を知らないので意味がよくわからず，面白くないということである．このように駄洒落を言われた人がどのような背景知識を持っているかということも面白さを感じる際の重要な要因となる．

異なった場合図 7: 評価者全員が一致したものと異なったもののスコ
アの分布• 8661, 横須賀は要港すか？, (横須賀) は [要港 すか] ？, 2, 2, 2, 2, 2.00
3.3.4

評価者全員のスコアが一致したものの例

表 9 に評価者３名のスコアが一致したものの例を示す．以下に示す表 9 の 8639,26680,39947 は，評価者３
名全員が４点を付けたものである．これらはいずれも１件の駄洒落であるが，対話形式になっている．このことは，短いものであるが，対話の中で駄洒落を発した場合，その文脈に合致したがものであれば，評価者が一致して面白いと評価することを示している．この結果からも面白い駄洒落を生成するためには文脈の中でその文脈に合致した駄洒落を生成することが重要であることがわかる．

これと同様に以下に示す 47709 は吉田拓郎の「人間なんて」という歌の一節を種表現とした駄洒落である
が，評価者３名が３０代，２０代という年齢であることから，この歌を知らなかったため，何を元にした駄洒落であるかわからず評価者全員１点となったものと考えられる．これも背景知識の問題である．

• 47709, インゲンなんて、ララー、ラー、ラララ、
ラーラ, [インゲン なんて 、 ラ ラー 、 ラー 、
ラララ 、 ラーラ], 3, 1, 1, 1, 1.00

• 8639, 「あのテニスの選手が持っているもの何?」「…手にスプレーや!!」, 「 あの (テニス の 選手)
が 持っ て いる もの 何 ?」「… [手 に スプレー
や] !!」, 2, 4, 4, 4, 4.00
• 26680, 『ジュース買ってこようか？お金ある？』『Nomoney！＜飲まねぇ＞』, 『 ジュース 買っ て
こよ う か ？ (お金 ある) ？ 』 『 [No money] ！
＜ 飲ま ねぇ＞』, 2, 4, 4, 4, 4.00

また，以下に示す 46698 は，数字だけの駄洒落であるが，「4173」が例えば「良い波」であることを推測することができず，１点となった．これは，単独の駄洒
落が数字だけで存在しても解釈が多様であり，駄洒落と理解できないためであると考えられる．

• 46698, 4173, [４ １ ７ ３], 3, 1, 1, 1, 1.00

3.3.5
• 39947, ニーチェ「神は死んだ！」
父「髪は死んだ！, ニーチェ 「 (神) は 死ん だ ！ 」
父 「 [髪] は 死ん だ ！, 1, 4, 4, 4, 4.00

評価者全員のスコアが異なったものの例

表 10 に評価者３名のスコアが異なったものの例を示す．以下に示す表 10 の 655 では，評価者１が５点を付けたにも関わらず評価者２が３点，評価者３が２点を付けたものである．種表現である名詞の「アルミカン」- 71 -

表 9: 評価者３名のスコアが一致したものの例
通し
番号
8639

26680
39947
27
8661
47709
46698

原型

タグ付

あのテニスの選手が持っている「 あの (テニス の 選手) が 持っ て いる ももの何?」「…手にスプレーや!!」の 何 ?」「… [手 に スプレー や] !!」『ジュース買ってこようか？お金『 ジュース 買っ て こよ う か ？ (お金 あるある？』『Nomoney！＜飲まねぇ＞』 ) ？ 』 『 [No money] ！＜ 飲ま ねぇ ＞』
ニーチェ「神は死んだ！」
ニーチェ 「 (神) は 死ん だ ！ 」
父「髪は死んだ！
父 「 [髪] は 死ん だ ！
秋田はあきた(秋田) は [あき た]
横須賀は要港すか？
(横須賀) は [要港 すか] ？
インゲンなんて、ララー、ラー、[インゲン なんて 、 ララー 、 ラー 、
ラララ、ラーラ
ラララ 、 ラーラ]
4173
[4 1 7 3]

種別

2

１
4

スコア
２ ３
4
4

平均
4.00

2

4

4

4

4.00

1

4

4

4

4.00

1
2
3

3
2
1

3
2
1

3
2
1

3.00
2.00
1.00

3

1

1

1

1.00

を変形表現として動詞の「ある」と名詞の「ミカン」に分解したことを面白いと感じるかどうかで評価が分かれたものと考えられる．評価者には可能な限り直感的に面白いと感じるかどうかで評価して欲しいとお願い
したが，このように駄洒落の作り方がうまいと感じる
場合に高評価を付ける評価者もいて，評価の基準が異なってしまう場合が存在した．

以下に示す 21472 は，一つの種表現が二つの変形表
現に対応している場合で，これをうまいと感じて高い評価を付けるか直感的にみて面白くないと感じるかの違いである．

• 655, アルミカンの上にあるミカン♪, (アルミ カン) の 上 に [ある ミカン] ♪, 1, 5, 3, 2, 3.33

• 21472, ロシアの殺し屋、恐ろしや, (ロシア)12 の[殺し 屋]1 、 [恐ろし や]2, 22, 4, 3, 2, 3.00

次に，以下に示す 16513，29172 については，評価者
１と評価者２が５点あるいは４点という高い評価をしたにも関わらず評価者３が２点という低い評価をしたものである．16513 については，種表現「アキバ」に対して「萌え」を連想語と捉え，そこから「萌え尽き症候群」という変形表現を作り出す過程を佐山らの文
献 [13] に示す駄洒落を理解する場合の「処理負荷が大きすぎて面白くない」と感じるか「処理負荷がちょう
どよく面白い」と感じるかの違いであると考えられる．
評価者３については，全体的にスコアが低いので，そもそも単独の駄洒落を面白いものと感じる意識が低く，処理負荷が少しでも大きいと面倒なので面白くないと感じてしまった可能性がある．また，29172 については，対話型になっていて，これを短い文脈と捉えたことや全く同じ読み方で文節区切りを変更することにより面白さを感じたものである．これを面白いと感じる
かどうかについての意見が分かれたものと考えられる．
文節区切りの変更による駄洒落の面白さについては金
久保の文献 [21] で確認されている．

以下に示す 19071 については，「蛍の光」の駄洒落である．１点は駄洒落ではないものも含むので，非常に低い評価となり，駄洒落であることはわかるが特に面白くないものは普通の３点を付与することを想定していたが，容易に推測がつくものと考え，評価者２は１
点を付けている．これも評価基準の認識に相違があったものと考えられる．このように評価基準が揺れるものと考え，できるだけシンプルに「直感的に面白いと感じるもの」という条件だけを付けたが，逆に細かな条件を付けることで評価基準の揺れを防ぐことができたものと考えられる．一方，詳細な条件を付けると本当に面白いものではなく，うまいと感じるかどうかという評価になってしまう可能性が高くなってしまう．このようなことのないように評価方法の条件を適度に詳細に設定することは今後の課題である．

• 16513, アキバで流行ってる病気は、萌え尽き症候群,(アキバ) で 流行っ てる 病気 は 、 [萌え 尽
き 症候群],2,4,5,2,3.67

以下に示す 19860 は，評価者２は「折り紙付きの折り紙だよ」を通常の文とみなし，１点としている．

5, 4, 2, 3.67

• 19071, 小樽の光、窓の雪〜♪, [小樽 の 光 、 窓の 雪 〜♪], 3, 3, 1, 2, 2.00

• 19860, 折り紙付きの折り紙だよ, (折り紙付き) の[折り紙] だ よ, 2, 3, 1, 2, 2.00

• 29172, 「オラフ、武器は？」「おら、吹雪！」, 「 (オラフ 、 武器) は ？ 」 「 [おら 、 吹雪] ！ 」, 2,- 72 -

• 667, 男「イブの日は空いています？」女「相手います。」, 男 「 イブ の 日 は (空い て い ます)？ 」 女 「 [相手 い ます] 。 」,1,3,5,4,4.00「折り紙付き」の場合，多義語であり，以下に示す
二つの意味がある．

1. 「折り紙」がついていること
2. 絶対に間違いないと保証できること• 1698, 二人でうまいもの食ったって？グルめっ,(二人) で うまい もの 食っ たって ？ [グル めっ],2,3,5,4,4.00

１の意味と解釈すれば駄洒落ではなく通常の文となり，２の意味と解釈すれば駄洒落となる．このように多義語に対する解釈の違いでスコアが異なる場合がある．
また，以下に示す 66885 については，「１個 IN」をどう解釈するかである．
「１個入っている」というように解釈できれば意味がわかるが，理解できなければ１点となる．

• 66885, コインがここに 1 個ＩＮ,(コイン) が ここに [1 個 ＩＮ],1,2,3,1,2.00

3.4

平均スコア上位の例

表 11 に平均スコア上位 10 位までを示す．表 11 に示すように平均スコアの１位は 4.33 である．２位の 4.00のものは 14 件あったので 14 件中の 9 件を示している．
平均スコアが１位のものは以下に示す 99 である．99
は評価者２と評価者３が５点を付けていて，評価者１
は 3 点である．特に図 3 に示すように評価者３が５点を付与したものは 67,000 件中１件だけだったので，評価者３にとっては非常に面白かったということになる．
この 99 の駄洒落の面白さの要因を考察する．種表現の「みかん」が名詞であるのに対して，変形表現の「見っかんない」が動詞と品詞が変化していることや変形表
現に促音の「っ」が挿入されていることがあげられる．
これに加えて，「３日間」という語も読みが「みっかかん」ということで「みっか」という部分は読みが変形
表現と一部一致していることも語感の良さを高め面白さを倍増させているということが考えられる．

• 99, 私のみかんが３日間、見っかんない・・・, 私の (みかん) が ３ 日間 、 [見 っ かん ない] ・ ・・,2,3,5,5,4.33• 2134, 囲碁愛好家の初対面の挨拶は、「囲碁よろしく！」,(囲碁) 愛好 家 の 初対面 の 挨拶 は 、「 [囲碁 よろしく] ！ 」,2,4,5,3,4.00
また，以下に示す 24,162,315 については，種表現と変形表現の間で品詞の変化と文節区切りの移動がある
点が面白さの要因と考えられる．24 は，種表現「抱いた遺骨」の品詞が動詞，名詞から変形表現「大腿骨」という名詞に変化し，162 についても，種表現の「辛子高菜」と変形表現の「枯らしたかな」の間で品詞の変化と文節区切りの移動がある点が面白さの要因と考えられる．これは，315 についても同様である．

• 24, 抱いた遺骨が大腿骨, (抱い た 遺骨) が [大腿骨],1,3,5,4,4.00• 162, 辛子高菜を枯らしたかな？,(辛子 高菜) を[枯らし た か な] ？,1,3,5,4,4.00• 315, 内股を打っちまったー,(内股) を [打っ ちまった ー],2,4,5,3,4.00
また，以下に示す 3164 については，種表現「栗」と変形表現「クリック」の間で，促音の挿入と名詞からサ変名詞への品詞の変化，4438 については種表現「髪型」と変形表現「毛根な時間」のように連想による駄洒落が面白さの要因であると考えられる．

• 3164, 栗をクリックすると痛い,(栗) を [クリック]
する と 痛い,1,5,4,3,4.00

次に，２位の平均スコア 4.00 について見てみると以下に示す 132,667,1698,2134 や表 9 の 8639,26680,39947の７件が対話形式になっている．これは，駄洒落が単独で存在するよりも何らかの文脈で発せられた方が面白さを感じることを示しているものと考えられる．

• 132,「インドア派のあなたがインド？あは♪」,「 (インドア 派) の あなた が [インド ？ あ は]♪」,1,5,4,3,4.00• 4438, 髪型を気にしてたら、毛根な時間,(髪型) を気 に し て たら 、 [毛根 な 間],2,3,5,4,4.00

4

おわりに

現在広く普及しているスマートフォンや AI スピーカーなどの対話エイジェントは，雑談システムとして- 73 -

表 10: 評価者３名のスコアが異なったものの例
通し
原型
タグ付
番号
655 アルミカンの上にあるミカン♪
(アルミ カン) の 上 に [ある ミカン] ♪
「 (オラフ 、 武器) は ？ 」 「 [おら 、29172 「オラフ、武器は？」「おら、吹雪！」吹雪] ！ 」
16513 アキバで流行ってる病気は、萌え (アキバ) で 流行っ てる 病気 は 、 [萌え尽き症候群
尽 き 症候群]
21472 ロシアの殺し屋、恐ろしや(ロシア)12 の [殺し 屋]1 、 [恐ろし や]219071 小樽の光、窓の雪〜♪
[小樽 の 光 、 窓 の 雪 〜♪]
19860 折り紙付きの折り紙だよ(折り紙付き) の [折り紙] だ よ(コイン) が ここ に [1 個 ＩＮ]
66885 コインがここに 1 個ＩＮ

種別

1
2

１
5
5

スコア
２ ３
3
2
4
2

平均
3.33
3.67

2

4

5

2

3.67

22
3
2
1

4
3
3
2

3
1
1
3

2
2
2
1

3.00
2.00
2.00
2.00

１
3

スコア
２ ３
5
5

表 11: 平均スコア上位１０件
通し
番号
99

24
132
162
315
667
1698
2134
3164
4438

原型

タグ付

種別

平均
私のみかんが３日間、見っかん
私 の (みかん) が ３ 日間 、 [見 っ かん
2
4.33
ない・
・
・
ない] ・ ・ ・抱いた遺骨が大腿骨
抱い (た 遺骨) が [大腿 骨]
235
4 4.00「インドア派のあなたがインド？ 「 (インドア 派) の あなた が [インド ？
1
5
4
3 4.00あは♪」
あ は] ♪」
辛子高菜を枯らしたかな？
(辛子 高菜) を [枯らし た か な] ？
1
3
5
4 4.00
内股を打っちまったー(内股) を [打っ ちまっ た ー]
24
5
3 4.00
男「イブの日は空いています？」 男 「 イブ の 日 は (空い て い ます) ？ 」
1
3
5
4 4.00
女「相手います。」
女 「 [相手 い ます] 。 」
二人でうまいもの食ったって？
(二 人) で うまい もの 食っ たって ？
23
5
4 4.00
二グルめっ[グル め っ]
囲碁愛好家の初対面の挨拶は、(囲碁) 愛好 家 の 初対面 の 挨拶 は 、
2
45
3 4.00「囲碁よろしく！」「 [囲碁 よろしく] ！ 」
栗をクリックすると痛い(栗) を [クリック] する と 痛い
1
5
4
3 4.00
髪型を気にしてたら、毛根な時間 (髪型) を 気 に し て たら 、 [毛根 な 時間]
23
5
4 4.00注）平均スコア 4.00 はこれ以外に表 9 の３件を含む５件存在した．

- 74 -

はその能力が不十分で話していて楽しいシステムとはなっていない．このような問題を解決するためにはユー
モア処理の高度化が必須であり，その第一段階として
68,000 件まで拡張を行った駄洒落データベースの開発を行った．しかし，この駄洒落データベースには面白さの度合いを示すスコアが付与されていなかったため，３名の評価者をクラウドソーシングを用いて雇用し，面白さのスコアを付与した．さらに，面白さを付与された駄洒落データベースを一般公開するために修正を行った．この修正により公開用の駄洒落データベース
は 67,000 件となった．
次に，面白さのスコアが付与された公開用駄洒落デー
タベースを用いて行った面白さの評価結果の分析を行った．まず，最初に平均値の推移を分析したところ評価
者ごとに単独の駄洒落に対する面白さの感じ方や飽き方には個人差が大きいことが明らかになった．また，評価者ごとのスコアの分布の分析を行った，この結果，評
価者１と評価者２は類似した分布であるが，評価者３は大きく異なっていることが明らかとなった．
次に，評価者間のスコアの一致度について k 係数を用いて評価を行った．スコアの分布から推測されたよ
うに k 係数は，いずれも 0.1 未満と低く，わずかな一致が見られる程度であった．その中でも評価者１と評
価者２は 0.079 と評価者３に対する評価者１と評価者
２の 0.022,0.046 に比べて高い値になっていることから評価者１と評価者２のスコアの一致度は評価者３との間での一致度に比べて比較的高く，評価者３が面白さの感じ方が大きく異なっていることが明らかとなった．
さらに，３者一致，２者一致，３者不一致についても分析を行った．その結果，２者一致しているものが約７割を占め，３者一致しているものは約２割，３者不一致のものが約１割であることが明らかとなった．これらの分類の具体的な例について面白さの要因の分析を行った．また，平均スコアが上位のものについても具体的な例を用いて分析を行った．その結果，対話形
式で書かれている駄洒落が短い文脈を持っていることから面白さを感じることや，背景知識の違いによって面白さの評価が分かれることが明らかとなり，面白さ
において文脈情報や背景知識が重要な役割を担っていることが確認された．
今後の課題としては，今回の分析により対話形式で発せられる駄洒落が面白さを感じるのに大きな要因となっていることが確認されたので，単独の駄洒落しか収録されていない駄洒落データベースをさらに拡張し，駄洒落が発せられる際の対話中の文脈情報も収録する
ことにより，どのような文脈でどのような駄洒落を発することが面白さを増加させるのかの分析を行う予定
である．また，駄洒落以外のストーリー性のあるユー
モアや漫才やコントのシナリオなどの他のユーモアについても研究を進める予定である．

謝辞
本研究は科研費（基盤研究 (C)17K00294）の助成を受けたものである．

参考文献- 75 -[1] Rafal Rzepka, Shinsuke Higuchi, Michal Ptaszynski, Pawel Dybala and Kenji Araki: When Your
Users Are Not Serious, 人工知能学会論文誌, Vol.
25, No. 1, pp.114-121, 2010.
[2] Arnaud JORDAN and Kenji ARAKI: Real-time
Language-Independent Algorithm for Dialogue
Agents, 知能と情報（日本知能情報ファジィ学会誌）， Vol.28, No.1，pp.535-555, 2016.
[3] キム・ビンステッド，滝澤修：日本語駄洒落なぞなぞ
生成システム「BOKE」, 人工知能学会誌， Vol.13,
No.6, pp.920-927, 1998.
[4] 山根宏彰，萩原将文：笑いを生むことわざすかしの自動生成システム，知能と情報 (日本知能情報ファジィ学会誌)， Vol.24, No.2, pp.671-679, 2012.
[5] 二又 航介，藤倉 将平，菊池 英明：対話システム
における画像からのユーモア発話の自動生成とそれによる対話継続欲求の向上，言語処理学会 第 24
回年次大会 発表論文集, pp.520-523, 2018.
[6] Jonas Sjobergh and Kenji Araki: Robots Make
Things Funnier, New Frontiers in Artificial Intelligence, Lecture Notes in Artificial Intelligence,
Vol.5447, pp.306-313, 2009.
[7] Pawel Dybala, Rafal Rzepka and Kenji Araki:
Humor Prevails! - Implementing a Joke Generator into a Conversational System, Lecture Notes
in Artificial Intelligence, Vol. 5360, pp.214-225,
2008.
[8] 谷津 元樹，荒木 健治: 話題遷移に適応した駄洒
落ユーモア統合型対話システムの性能評価, 人工知能学会第 2 種研究会 ことば工学研究会資料,SIGLSE-B601-3, pp.23-27, 2016.
[9] 天谷祐介，荒木健治，ジェプカ・ラファウ: テキストの面白さの評価によるユーモアの認識, 第２８回ファジィシステムシンポジウム (FSS2012) 講
演論文集，pp.233-238, 2012.

[10] 天谷 祐介, ジェプカ ラファウ, 荒木 健治: 単語
間類似度を用いた物語ユーモア認識手法の性能評
価, 人工知能学会第 2 種研究会 ことば工学研究会
資料, SIG-LSE-B301-10, pp.63-69, 2013.

[21] 金久保正明：形態素解析手法と通俗的単語群に基づく類音文変換システム，情報処理学会論文誌,
Vol.54, No.7, pp.1937-1950, 2013.

[11] 谷津元樹，荒木健治：子音の音韻類似性及び SVMを用いた駄洒落検出手法, 知能と情報 (日本知能
情報ファジィ学会誌), Vol.28, No.5, pp.833-844,
2016.
[12] 荒木健治，内田ゆず，佐山公一，谷津元樹：駄洒落
データベースの構築及び分析, 人工知能学会第 2 種研究会 ことば工学研究会資料, SIG-LSE-B702-3,
pp.13-24, 2017.
[13] 佐山公一，荒木健治：コンピュータが駄洒落で笑わせる？―駄洒落の面白さを認識する理解の手続
きー, 人工知能学会第 2 種研究会 ことば工学研究会資料, SIG-LSE-B702-4, pp.25-32, 2017.
[14] 荒木健治：駄洒落データベースを用いた駄洒落生成システムの性能評価, 人工知能学会第 2 種研究会 ことば工学研究会資料, SIG-LSE-B703-8, pp.39-48,
2018.
[15] 内田ゆず，荒木健治：駄洒落に含まれるオノマト
ペの特徴分析, 言語処理学会第２３回年次大会発
表論文集， pp.741-744, 2017.
[16] 荒木健治，佐山公一，内田ゆず，谷津元樹：駄洒落
データベースの拡張及び分析, 人工知能学会第 2 種研究会 ことば工学研究会資料, SIG-LSE-B803-1,
pp.1-15, 2018.
[17] 佐山公一，荒木健治：駄洒落理解過程のモデル化-駄洒落の事例を手続きで分類する- 人工知能学会
第 2 種研究会 ことば工学研究会資料, SIG-LSEB803-2, pp.17-27, 2018.
[18] 内田 ゆず, 荒木 健治：オノマトペに着目した駄洒
落の面白さの分析―駄洒落の自動生成に向けて―，
第 35 回ファジィシステムシンポジウム 講演論文
集 (FSS2019), pp. 332-336, 2019.
[19] 滝澤修：記述された「併置型駄洒落」の音素上の性質，自然言語処理，Vol.2, No.2, pp.3-22, 1995.
[20] Taku Kudo, Kaoru Yamamoto, Yuji Matsumoto: Applying Conditional Random Fields
to Japanese Morphological Analysis, Proceedingsof the 2004 Conference on Empirical Methods
in Natural Language Processing (EMNLP-2004),
pp.230-237, 2004.

- 76 -