人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-04

あるある文章を用いたユーモア判定のための Word2Vec 学習モデルの検討
On a Recognition Model of the Sense of Humor "ARUARU" based on Word2Vec
野口啓太 1

豊谷純 2

大前佑斗 2

Keita NOGUCHI1, Jun TOYOTANI2, Yuto OOMAE2
1

日本大学大学院 生産工学研究科 マネジメント工学専攻
Department of Industrial Engineering and Management, Graduate School of Industrial Technology,Nihon University2
日本大学 生産工学部 マネジメント工学科
2
Department of Industrial Engineering and Management, College of Industrial Technology, Nihon
University

1

Abstract: Quantitative expression of humor is important for humans and computers to communicate organically in thefuture. One of the humor is the genre "ARUARU". There is a humorous story that people experience in their daily lives,and it is often talked about in everyday conversation. Therefore, it is effective for learning humor by machines. Hence,in this study, as the first step, we developed a model for humor recognition using word2vec method.

1. はじめにApple 社の Siri[1]や Amazon 社の Alexa[2]といった対話システムは，現代社会において広く浸透し始めている．さらに海外では不動産売買の場面や，体重体組成計に対話システムを活用する試みがなされている[3][4]．このことから，対話システムの活用の場は今後より広がると考えられる．一方，そのような社会において対話システムは，サービスや商品とユーザをつなぎ続けるために，長期的かつ継続的に利用され続けることが求められる．その際，会話をしたい，または継続したいと思わせるデザインを，対話システムにもたせることは重要である．
上記のようなシステムを実現する上で，対話システムにユーモアの付与が有効であると考えられている．人同士の場面におけるユーモアの効果として，コミュニケーションの促進や社会的距離の縮小といったものなどがあげられる[5]．さらに，人と対話システムの場面においても，ユーモアは対話を継続させたい（以下，対話継続欲求）と思わせる要素の一つになるという報告もある[6]．このようなユーモアの効果から，実際の研究や試みとして，ユーザからの任意の入力に対して関連するユーモア文章を自動生成するシステムや，なぞかけを自動生成するシステム，Twitter からユーモア文章を抽出し適切な文章で出力するシステムの検討といったものが行われている[7][8][9]．

先行研究においては，対話システムからユーザに対してユーモアを発する試みが多くなされている．
それらの試みは，ユーザの対話継続欲求を満たす対話システムの実現において重要である．一方，日常会話において人々は他者などに自らユーモアを発することがある．これは，心理学においてユーモア表出という現象とされている．ユーモア表出の動機は，自分や他者を楽しませる目的や，自分や他者を支援する目的，他者を攻撃する目的などがあげられている[10]．確かに普段我々は友人や家族に対して会話の中で，自らユーモアを発し相手の反応を楽しんだりすることがある．また，対話継続欲求を高める要因の一つに“相手に話を聞いている実感を与える”というものがある[6]．したがって，システム側からのユーモアの出力に加えて，ユーザ側からのシステ

図 1 本研究での理想的なインタラクションの流れー 18 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-04

ムに対するユーモア表出に適切に対応するようなデザインがあることで，ユーザの対話継続欲求がさらに高まる対話システムになると考えられる．
以上より本研究における，対話継続欲求を促すユーザと対話システムの理想的なインタラクションの流れは，図 1 のようなものになるとした．
一連の流れとして，始めにユーザが何らかの発話をすることで，対話システムを起動する．次に，ユーザが自らの面白かったエピソードなどを話す．あくまでも日常会話の場面を想定しているため，ユーザのユーモア発話の内容は突拍子もないジョークやダジャレなどではなく，自然なエピソードトークとした．この部分に関して，人からシステムにそのような内容を語りかけるものなのか確証はない．しかし人は対話システムに対してもある程度，自身に関する情報を自ら話す傾向があることが明らかになっており，妥当な想定であると考えられる[11]．さらにその入力に対して，“面白いですね”や笑い声，さらに“ふーん”や“へー”といった入力内容に対して適した反応を出力する．その後，入力内容に関連したユーモア文章などを出力する．これにより自らの話を聞いてもらえている実感に加え，自身及び対話システムのユーモアの要素により，ユーザの対話継続欲求をさらに得られる対話システムになると考えられる．
このような対話システムを実現するためには，ユーザから入力される文章と，出力する文章のユーモアの度合いを判定する機構が必要である．そこで本研究では後述する Word2Vec を用いた，短いエピソードトークに対するユーモア度の判定手法の検討を目的とした．このユーモア判定の教師用データには，“あるある”を対象とすることとした．“あるある”とは「日常生活における事象・見聞などで，多くの人の共感を得ることのできる話題や，その話題で笑いをとる演芸のこと」（実用日本語表現辞典）とされている．その性質から，“あるある”は日常会話でのエピソードトークの内容と類似すると考えられるため，エピソードトークのユーモア度判定のための教師用データとして適していると言える．なお，本研
究はユーモア判定の実現における第一段階の試みであるため，著者自身の感覚を再現することを目的とした．さらに判定は，面白いかつまらないかの二値分類とした．

ードと捉えることができる．以下のような例があげられる．
・爪切りや耳掻きが行方不明になる・会計した後にクーポンの存在に気づく・スプーンを洗おうとすると水がかかる
・冷房の設定温度が定まらない
・電子マネーの残高に気づかず改札で止められる
一方で，人々が普段するエピソードトークとは，自身や自身の身の回りに起きた過去の成功や失敗，不運といった経験談にあたるものである．
これらから，普段人々がするエピソードトークの内容と“あるある ”は類似したものになると考えられる．また図 2 に示す通り，普段の日常会話の場面でエピソードトークとして“あるある”を用いても，違和感はない．さらに，“あるある”は Twitter や Webサイトなどで容易に収集が可能である．よって，本研究の目的であるエピソードトークのユーモア判定において，教師用データとして“あるある”を活用することとした．なお，“あるある”は様々なジャンルが存在し，データを収集する時に際限がなくなってしまうため身近な話題である公共交通機関に関する“あるある”を対象にした．

3. Word2Vec について
本研究で用いる Word2Vec とは，Tomas Mikolov らによって提案された，自然言語処理に利用されるニューラルネットワークのモデルの一つである[12]．
Word2Vec では，教師用データから単語の分散表現を作成し，単語同士のベクトル演算を可能にする．それにより単語と単語の類似度や，単語と単語の足し

図 2 エピソードトークを“あるある”にした場合

2. “あるある”に関する考察“あるある”とは多くの人々の共感を得る日常生
活における事象や見聞とされている．つまり，多くの人々が経験したことのある，日常に関するエピソー 19 ー

図 3 分布仮説による類似度の例

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-04

るある 28 個とつまらないあるある 28 個に分け，検証用データとして面白いあるある 12 個とつまらないあるある 12 個に分けた．これらのあるある文の，面白いまたはつまらないの判断は，著者の感覚を再現するという本研究の目的のため，著者が行った．
図 4 類似度と共起度の関連

4．1

算や引き算が可能になる．これらの技術は，“単語の意味はその周辺語の出現頻度によって形成される”という分布仮説というアイデアに基づいている．仮説分布における単語同士の類似度のイメージ例を図3 に示す．図 3 の例では，“電車”と“新幹線”という単語の，それぞれの周辺語には新大阪や東京，駅といった単語がある．つまり，この場合電車と新幹線という単語は，周辺語が似ているため類似度が高いものになると予測される．さらに，学習に用いた他の文章においても“電車”と“新幹線”の近くに新大阪や東京，駅といった周辺語が多く登場した場
合，より類似度は高まる．
一方で，自然言語において共起という関係がある．
共起とは文や文章の単位において，二つの単語が同時に出現することを示す．いくつかの文章で同じ単語同士が共起した場合，それらの文章の内容は類似したものになると考えられる．さらに，それらの文章で共起した単語の周辺語も類似したものになり，共起した単語同士の類似度も高まると考えられる．
例として図 4 を示す．新大阪と東京の単語同士は共起関係にあり，さらに複数の文章で共起しているため共起度が高いと言える．また各文章で東京と新大阪が共起しているため，各文章は似た内容になっている．さらに，新大阪の周辺語には駅や電車，新幹線，東京といった単語が頻出し，東京の周辺語にも駅や電車，新幹線，新大阪といった単語が頻出しており，周辺語も類似している．つまり，図 4 の場合において東京と新大阪は類似度が高くなる．以上より，共起の度合いと類似度には関連があり，共起度が高い単語同士の類似度は高くなり，共起度が低い単語同士の類似度は低くなると言える．

4. 提案手法

Word2Vec の学習

何らかのあるある文を入力した際に，そのあるあるに対する評価をし，ユーモアを判定することが本研究の目的である．そのため，単語の分散表現を可能にする Word2Vec を用いて教師用データとした全56 個のあるある文を対象に，あるある文のユーモア判定をするための学習済みモデルを作成した．以下にその手法を示す．
まず，学習に用いる全てのデータを図 5 に示す形式にした．この教師用データの形式は，あるある文に対して面白いか，つまらないかの評価を評価語として後ろに付け加えたものである．こうすることによって，評価語ごと単語ベクトルが学習され，あるある文における各単語と評価語のベクトル演算が可能になる．なお，学習前の分かち書きへの変換では，MeCab[13]を使用し形態素解析を行なった．また，
Word2Vec による学習時のパラメータについての詳細を表 2 に示す．

4．2 あるある文のユーモア判定までの流れ

図 5 教師用データの形式の例
表 1 教師用データと検証用データの振り分け
面白いつまらない合計
教師用データ282856
検証用データ121224
合計
404080

本研究で用いたあるある文は，SNS の Twitter 及びWeb サイトにて収集した．また，あるある文のジャンルは公共交通機関での場面に限定した．さらに，ユーモア判定の学習における教師用データと検証用データとして，面白いあるあるとつまらないあるある文を，各 40 個ずつ用意した．また用意したあるある文は，表 1 のように教師用データとして面白いあー 20 ー

表 2 Word2Vec による学習時のパラメータモデル
Skip Gram
文脈窓5
単語最低出現回数
1
学習回数
3000
学習係数
0.1

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-04

5. 結果

図 6 あるある文の PS と NS の算出までの流れ
今回は，ユーモア判定の初期段階の試みであるため，あるある文に対するユーモア判定を“面白い”と“つまらない”の二値分類にすることとした．上記の学習済みモデルでは，評価語との共起度が高い単語は評価語との類似度が高くなり，評価語との共起度が低い単語は類似度が低くなる．つまり，本研
究の場合“面白い”という評価語と類似度が高い単語は，面白いと評価されたあるある文に多く登場していることになる．さらにそういった単語が多く存在するあるある文は，面白いという判定をすることができる．そのため，各単語と“面白い”という評価語との類似度をポジティブスコアとし，“つまらない”という評価語との類似度をネガティブスコアとした．さらに，あるある文に対するユーモア判定の基準として，あるある文における各単語のポジティブスコアの合計とネガティブスコアの合計を比較し，スコアが大きい方の評価を採用することにした．図6 にあるある文のポジティブスコアとネガティブスコアの算出までの流れを示す．図 6 の詳細として，入力された文章を形態素解析により分かち書きし，各単語を学習済みの Word2Vec に入れ，“面白い”や“つまらない”といった評価語との類似度を算出する．その後，各単語と“面白い”との類似度の総和を文章全体のポジティブスコアとし，各単語と“つまらない”との類似度の総和を文章全体のネガティブスコアとして算出する．

上記の学習済みモデルを用いて，検証用あるある文を対象に性能を検証した．検証用のあるあるには，面白いと評価したあるある文と，つまらないと評価したあるある文を各 12 個ずつ用いた．各検証用あるあるに対して，ユーモア判定した結果の例を表 3 に示す．さらに，二値分類の判定における混合行列を表 4 に示す．なお，混合行列における TP，TN，FP，FN は，それぞれ“TP：面白いあるあるを面白いと判定する”，“TN：つまらないあるあるをつまらないと判定する”，“FP：つまらないあるあるを面白いと判定する”，“FN：面白いあるあるをつまらないと判定する”という意味になる．また，表 4 における教師
データとは，教師用データのあるある文を対象にユーモア判定をした際の結果であり，検証データとは検証用データのあるあるを対象にユーモア判定をした際の結果である．以上の結果より，本学習済みモデルの正答率は 0.58 であった．また，検証用データに対する適合率は 0.57 であり，再現率は 0.67 であった．この際の適合率とは，システムが面白いあるあると判定した全ての出力における，実際に面白いと評価されたあるあるの割合である．一方，再現率とは実際に面白いと評価されたあるあるを，システムが取り漏らさずに検出できた割合である．つまり，本モデルは，“つまらない”あるあるを“面白い”と判定してしまうこともあるが，実際に“面白い”あるあるの取り漏らしは少ないモデルと言える．
さらに，あるある文の入力からユーモア判定までの全体の流れのフローチャートを図 7 に示す．
表 3 検証用データに対するユーモア判定の結果
PSNS

1.071

満員電車は降りる時が大変
電車で寝ようとすると寝られない

あるある文

実測値

推定値

0.708

111.0030.644

110.9770.704

110.977

1.356

100.3770.860

101.0661.289

000.6851.08400

雨の日はバスの湿気が高い

0.487

1.042

00

無意識に広告を見ている

0.838

0.340

01

電車の中で寝ると頭が痛くなる

0.788

0.631

01

飛行機で席を交換して欲しいと頼まれる

電車で隣に座った人の肘が当たるのが気になる
バスは当たり前のように遅れる
飛行機で隣の席が外国人だと緊張する
観光地のタクシー運転手は観光客に優しいー 21 ー

0：つまらない，1：⾯⽩い人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-04

表 4 ユーモア判定結果の混合行列
実測値

推定値

教師データ

検証データ

TP11258

TN

00216

FP

0176FN103

4

0：つまらない，1：面白い回の登場であったのに対し，つまらないと評価されたあるある文では 6 回の登場であった．つまり，“電車”は“つまらない”という評価語より“面白い”という評価語との類似度が高くなり，“電車”が登場するあるある文はポジティブに偏る傾向が出てしまった．そのため，“電車”が入ったつまらない評価のあるある文も面白いと判定された可能性がある．しかし，今回の研究において，想定される本モデル使用場面は，ユーザがフランクにユーモラスなエピソードトークを対話システムに対して話すというものである．このような場面においては，ユーザのユーモア発言を厳しく判定するのではなく，なるべく発言の大部分に対して面白いと判定し，評価するような反応を返した方がユーザにとって親しみやすさ感じると考えられる．よって本モデルの特徴は上記の場面において適切であると言える．
一方で，検証データにおいて全体的な正答率がそこまで良いとは言えない．この一因として，教師用データの示す場面が均一ではなかったためであると考えられる．つまり，電車の場面におけるあるあるは面白いものが多く，バスやタクシーの場面におけるあるあるはつまらないものが多かった際，バスやタクシーの場面で面白いと評価されたものも“バス”や“タクシー”といった単語と“つまらない”という評価語の結びつきが強くなるため，つまらないと判定されることが考えられる．よって，この問題を解消するために，教師用データをバランスが取れたものになるように整形する必要がある．以下にデータのバランスを取るための項目を示す．
nn
図 7 ユーモア判定までの流れ

6. 考察
検証データでの結果では，本モデルは適合率の値より再現率の値の方が大きいものになった．これは，“FN：面白いのにつまらないと判定する”の値より“FP:つまらないのに面白いと判定する”の値の方が大きいためである．したがって，本モデルはあるある文に対して“面白い”という判定を出しやすい特徴があると言える．
この原因の一つとして，多くのあるある文に登場する“電車”という単語が影響していると考えられる．
“電車”は，面白いと評価されたあるある文では 14

各場面におけるあるあるの数を統一する（例：電車の場面を 20 個，バスの場面を 20 個など）各場面における面白いあるあるの数とつまらないあるあるの数を統一する（例：電車の場面いおける面白いあるあるを 10個，つまらないあるあるを 10 個など）

今後はユーモア以外の感覚を判定するなど，当手法の活用の幅を広げつつ，判定の精度をさらに向上させる方法を模索していく.

参考文献
[1]

Siri，https://www.apple.com/jp/siri/，（参照：2020/11/02）[2]

Alexa とできること, https://www.amazon.co.jp/meetalexa/b?node=5485773051 ,（参照：2020/11/02）
T. W. Bickmore, J. Cassell: Relational agents: a model andimplementation of building user trust, In Proc. CHI, pp.

[3]396-403, (2001)

ー 22 ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-04[4]

T. W. Bickmore, R. W. Picard: Establishing andmaintaining long-term human-computer relationships,
ACM Transactions on Computer-Human Interaction,
TOCHI, Vol.12 No.2, pp.293–327, (2005)

[5]

[6]

J. Holmes: Sharing a laugh: Pragmatic aspects of humor
and gender in the workplace, Journal of Pragmatics, Vol.
38, pp.26-50, (2006)
宮澤幸希，常世徹，桝井祐介，松尾智信，菊池英明：
音声対話システムにおける継続欲求の高いインタラ
クションの要因，電子情報通信学会論文誌，Vol.J-95A, No.1, pp.27-36, (2012)

[7]

[8]

藤倉将平，小川義人，菊池英明：非タスク指向対話シ
ステムにおけるユーモア応答生成手法，人工知能学会全国大会論文集，Vol.29, pp.1-4, (2015)
山本賢人，杉本徹：大規模コーパスを用いたなぞかけ作成システム，情報処理学会第 82 回全国大会講演論文集，Vol.82, No.1, pp.419-420, (2020)[9]宅和晃志，吉川大弘，ジメネス フェリックス，古橋武：非タスク指向型対話システムにおけるあるあるツイートからの共感誘発型発話生成手法に関する検討，日本知能情報ファジィ学会誌，Vol.30, No.5,pp.744-752, (2018)[10] 上野行良：ユーモア現象に関する諸研究とユーモアの分類化について，社会心理学研究，Vol.7, pp.112120, (1992)[11] R. Higashinaka, K. Imamura, T.Meguro, C. Miyazaki, N.
Kobayashi, H. Sugiyama, T. Hirano, T. Makino, and Y.
Matsuno: Towards an Open Domain Conversational
System Fully Based on Natural Lnaguage Processing, inProcessings of the 25th International Conference on
Computational Linguistics, pp.928-939, (2014)[12] T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J.
Dean: Distributed representations of words and phrases
and their compositionality, In NIPS, (2014).
[13] MeCab（和布蕪）とは，https://taku910.github.io/mecab/，（参照：2020/11/02）

ー 23 ー