言語処理学会 第25回年次大会 発表論文集 (2019年3月)

絵文字の埋め込み表現を用いたラベル埋め込み注意機構モデル等による文の感情推定
町田 秀輔

岡本 千尋

守屋 俊

東京工科大学 コンピュータサイエンス学部{c011624552, c0115334ef, shibatachh}@edu.teu.ac.jp

1

スタが感情をよく表現できていることを確認する．そはじめに1の上で，クラスタを新たな感情ラベルとして用いて，近年，テキストベースによるリアルタイム性の高いコミュニケーション方法の増加に伴い，情報伝達に様々再度 DNN の学習を行い．その結果，感情の推定精度を向上することを示す．

な文字を用いた多様な表現が用いられるようになってきている．特に，絵文字は，文字では伝えにくい感情関連研究

2を表現するために広く用いられている．一般に，文の感情を機械学習や深層学習を用いて学習させるためには，非常に多数の文例，および，感情をあらわすラベルが必要になる．しかし，多数の文例を収集することはできても，それらすべてに人手によりラベルを付与することは，コストの点から言って非常に困難である．
そこで，本研究では，感情が表現するのによく用いられる絵文字を抽出し，それらが文の感情を表現していると仮定し，文の感情ラベルとして用いる．このような仮定の明確な利点としては，文に対する感情ラベルを自動的に生成できることが挙げられる．また，文中に，実際に複数の感情を表現しうることから，それらのラベルは各文に対して複数存在するものとする．
本論文の感情予測の手法のアウトラインを記述する．まず，複数の単語埋め込み手法により，感情を表す 6 種類の絵文字を複数の手法によりベクトル空間へ埋め込み，それを元に 2 種類の 深層ニューラルネット(DNN) により文の感情を予測する．絵文字の埋め込
み表現の学習手法としては，fastText [1] と glove [4]を用る．また，DNN の構造としては，本論文において新たに構築した畳み込みニューラルネット (CNN)，及び，ラべル埋め込み注意機構モデル (LEAM) の二つを用い，比較する．さらに，感情ラベルとして使用した絵文字自体が，感情を表現するのに適切な絵文字かどうかを評価するため，絵文字の埋め込み表現を tSNE [3] により，2 次元に写像して感情を表現していると考えられる絵文字間の関係を示す．また，t-SNEの結果に対し，k-means 法を適用し，形成されたクラKim [2] の手法は，CNN を文書分類に適用した初期の手法であり，単語レベルの埋め込みを行い，比較的浅い層の CNN で構成されているものの，一定程度の精度を得ている．Wang[6] らの手法はクラスラベ
ルから単語の重要度を決めることで文脈ごとに単語の重み付けを行なっている．構造がシンプルでパラメータの数が CNN や LSTM と比べ少ないもののい
くつかのデータセットでは同等以上の精度を得ている．Piotr Bojanowsk[1] らの手法では表現学習において，単語の内部構造を考慮した表現の獲得に成功している．学習速度も従来の手法よりはるかに学習速度が早く，最先端の技術と同等の精度を獲得している．
Jeﬀrey Pennington[4] らは従来の word2vec の手法で使われる損失関数に単語の共起行列を加えることでword2vec よりも精度が上がっている．

3提案手法

3.1

感情表現としての絵文字

文からの感情推定の研究は古くからあり，例えば

ML-Ask [5] では，まず感情を表す単語を登録した辞書を用意し，それベースとし，パターンマッチングにより，文の感情を推定している．本研究においては，深層学習を適用するために多数のラベル付きデータが必要となるが，その生成に，絵文字ではなく，感情辞書や極性辞書をベースとしてラベルを自動生成する方法も考えられる．しかし，感情が表現されている文中に必ずしも陽に，それらの辞書に登録されているよう

1 本研究は JSPS 科研費 18K11449，26730123 の助成を受けた.

― 229 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

でその時の隠れ層の重みがそれぞれの単語の埋め込み表現となる構造になっている．これらの手法を使い，学習データを絵文字が使われる文にすることで絵文字の埋め込み表現が獲得される．本論文では単語及び絵文字の埋め込みの方法として，fastText と glove と呼図 1: ラベルとする絵文字

ばれる二つの手法を用いて埋め込み表現を作成し，制な単語が出現するとは限らない．また，訓練データの度を比較する．fastText は，通常の単語の埋め込み表

文中にそれらの単語が含まれていることになるため，現の学習手法では考慮されないような，部分文字列まバイアスのない正確な予測を行うことができるモデルで考慮して，埋め込み表現を学習する．各単語を n-を学習することは難しい．一方で絵文字は，単語と比gram に分割し，n-gram ごとの埋め込み表現を求め，べて，文とは独立して用いられることが多く，文の構その平均を取ることにより，単語の埋め込み表現が得文の影響を受けない．また，数が限定されており，種られる．また，glove は， word2vec などの手法が，埋類が少ないため，メッセージ中に伝えたい感情が直接め込み表現の学習時に，周辺語のみしか考慮できいと的に表現されていることが多い．したがって，絵文字いう欠点を補ったもので，単語の共起行列を重みとしを感情表現のラベルとして用いることは感情推定のたて加えることで，文章全体の情報が反映された単語のめの DNN モデルを構築する上に置いて有効な方法で埋め込み表現が得られる．

あると考えられる．

3.2

データ収集と前処理

3.4

感情推定のための DNN モデル

3.4.1

CNN を用いたモデル

データの収集は事前学習に用いるものと本学習に用

本稿で提案する CNN(図 2 上) は，フィルタサイズのいるもので別々に行った2 ．事前学習用として約 300 万異なる一次元畳み込み層を複数用いることで，長さの件，本学習用として約 60 万件の発言を収集した．発

異なる単語列の特徴の抽出を行う．その後，文の長さ言中には URL,@user 名といった付加情報が文字としの方向へ最大値プーリング処理を行い，各層ごとに文て埋め込まれているため，それらの情報を削除する．

としての特徴ベクトルを決定し連結する．最終的に全また，本学習用の文については，ラベルに用いる絵文結合を通して感情ラベルの予測確率を出力する．フィ字を削除することで学習データを作成する．

ルタサイズ k とすると，文中より，k-gram に相当す

提案する手法は主に二段階ある．まず，fastText とる単語の特徴を捉えることができるため，異なる k のglove の両手法によって単語の埋め込み表現を獲得する．

畳み込みを複数用意することにより，長さの異なる部

次に学習に使う深層学習のモデルの CNN と LEAM で分列の特徴を考慮して感情ラベルの推定を行うことが絵文字の分類を行い，精度の比較をする．文には複数できると考えられる．具体的なパラメータとしては，の絵文字が同時に付与される可能性があるため，個々k = 3, 5, 7, 9, 11 の 5 つの畳み込み層を用いた．また，のラベルの確率を別々に予測する．そのため，精度は単語の埋め込みの次元数及び，畳み込み後のベクトルROC 曲線の面積である AUC で測定する．分類させの次元数はともに 300 とした．

る絵文字は，代表的な感情「幸福感」「恐れ」「嫌悪」「驚き」「悲しみ」「怒り」を表すものとして，図 1 に3.4.2示す絵文字を選んだ．

3.3

LEAM

本稿で実装した LEAM [6] は，まず，ラベルおよび単語列 (文) を正規化したベクトルで表現する．次

絵文字の埋め込み表現に，それらの cosine 類似度，つまり内積からなる行単語の埋め込み表現を獲得する表現学習が word2vec

列 (図 2 下の G) 得る．その後，1 次元畳み込みおよを代表として様々な派生手法が考案されている．学習び max pooling により，文中の各単語に相当する重み方法はニューラルネットを構築して中心の単語から周(アテンション，図中 β) を得る．最後に，文を構成す辺の単語を予測する skip-gram や周辺単語から中心のる単語の埋め込みベクトルの重み付き和を取ることで単語を予測する CBOW などのタスクを解かせること

文全体の埋め込みベクトル (図中 z) を得，最終層であ2 Twitter の REST API を用い，2018 年 8 月から 12 月までる全結合と sigmoid を通して，ラベルの予測確率を計行った．

― 230 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

9.(3 100表 1: 埋め込み表現及び DNN に対する AUC の比較=

5

Label0Label1
Label2
Label3
Label4
Label5
平均.0 )<latexit sha1_base64="NRDhjJyagNg8YtPtkrcox6Xu5CI=">AAAPY3iczVdPj9tUEJ+WPy1baNrCAQkhRay2pKKqnAgJhITUZSnaQ1GTbbettElXjvOSWrVjkzjbTSx/AbiCOHACiQPiY3DhC3DoB+CAOBaJCwd+b95z/tjPTg4cyFPs8cxv5s3Mm3l+7oaeO44s69mZsy+8+NLL586/snXh1dcuVi5dvnJ/HExGjjh0Ai8YPezaY+G5Q3EYuZEnHoYjYftdTzzoPtmT8gcnYjR2g+G9aBqKjm8Phm7fdewIrNbs+NK2dcPiXzVP1DWxTfrXDC6fu0pt6lFADk3IJ0FDikB7ZNMY44jqZFEIXodi8EagXJYLSmgLuhOgBBA2uE9wHeDpSHOHeJY2x6ztYBYP/xE0q7Rj/Wb9ZD23frV+tv6w/im0FbMN6csU967SFeFx5cs37/69VsvHPaLHC61SnyPq04fsqwvfQ+bIKBylfzL79vndjw524qvWD9af8P9765n1CyIYnvzl/NgSB9+V+NPF8DlnW5xxgbmqoHbpNjVpH3QMOslIbWRMStrzSEagYuYnBrSdQatZJT6PljIzumtAn2KY0acG9BTDjJ4a0DMMM3pWEKWK06Zj1GcbeZYVHCHvVebdM8aqou0adCTPN8agopgadKZGndk8lplBR/JiePceJGlcQ+g+5d7wOfoh8NLSLeO631qrtwfOhLt4Vd/FNYZ0nX6EmVxwZOd32MYjtuMBIePY3sD3hQ+prYa2lY1H+rOYM9bWa7g36Fouuye8Ay2sxytzPdJZj+hj9F2+bgRikLOU6auYBsBHBgtDDIUJ8J/wfiTgURsji21hnWP6gv2pab/yEbUwJGo5BxFnQNVSlp+3UNOrI5/lTFn5NZZLGwNk3eTD0YqFo5y8k7HQySHG7KFcVYGrzfin4PX42YXtHu+B7SVMPrvKyjoL5dqnuBbrSmmqOeKd3Vy/vZWK7XHlyFnbvN4DfjvE2OFVLcvMnLLV6tKQlZzSsj6y0oamtjgmObPJYnmfqfebxxEWeVzLeL3Q+a+9L7Isa3BdJA730nIM/3+/43l3BnhKtPfr8i93sBGu8j0Y003GXwftaLpaQF/nyk0jbLNUxbOIZNl2W3d6mfdhxu8+aztalp720jNIuvMXSRvaw4Tzu9qddwx7/x1DF0fw8WBlP1IxBfA/iw0593t6HQTWTO7oTc3N2+7xDmbrHKgoxrwjSG935lhZjS5btIEIgJGRx0v8eOUtuKmWzefJx3wCTi28y+eC2hJqysgFQq2iybuw1C+TRlSqUVYpPq9Zok8F+bVcdypQGl0+WeZtpKe9Ta30C6z0C+JRb52A93w5z6ecl2ROyc50uZrlez0p0bzN92RO+fwuKsY3uXZD1kjpgKtuk9l2eW9KNDXmE0e4keZn3McR6y7obFfu0+cYy/0TcQ8pfr6DmrC1a8ArPvD4/qxnvzbzxP3GjTro1vvbNz/RX6Ln6S16B31Qpw+w3+3D4iF8FvQVfU3fXPy9cqFypfKGgp49o3Vep5Vf5e1/Ab+45aY=</latexit><latexit9z50 ),. (CNN
fastText glove
0.875
0.871
0.731
0.718
0.693
0.686
0.729
0.715
0.725
0.714
0.868
0.856
0.770
0.762

LEAM
fastText glove
0.829
0.837
0.687
0.690
0.657
0.657
0.696
0.685
0.659
0.666
0.810
0.815
0.723
0.725

<latexit sha1_base64="qPYT8MfDz3ljY1NQLsk64dsMrr4=">AAAPZ3iczVdPj9tUEJ+WQssCTQtSVamXwGpLKqrKiZBASJW6LEV7KGp2220rrdOV7bykVpPYJM52E8tfgAtHQJxA4oD4GFz4Ahz6ESqOReLCgd+b95w/9rOTQw/kKfZ45jfzZubNPD+7Yc8fRZb1/NTp1868/sbZc29uvPX2O+crFy6++2AUjIeeOPCCXjB85Doj0fMH4iDyo554FA6F03d74qH7dEfKHx6L4cgPBvejSShafac78Du+50RgHdiuiJyjC5vWDYt/1TxR18Qm6V8zuHj2KtnUpoA8GlOfBA0oAt0jh0YYh1Qni0LwWhSDNwTls1xQQhvQHQMlgHDAfYprF0+HmjvAs7Q5Ym0Ps/TwH0KzSlvWn9av1kvrD+s364X1b6GtmG1IXya4u0pXhEeVby7f+2elVh/3iJ7MtUp9jqhDn7KvPnwPmSOj8JT+8fS7l/c+29+Kr1o/W3/B/5+s59bviGBw/Lf3y57Y/7HEHxejzznb4IwLzFUFtU13qEm7oGPQSUbqIGNSYs8iGYKKmZ8Y0E4GrWaV+Dxaysxo14A+wTCjTwzoCYYZPTGgpxhm9LQgShWnQ0eoTxt5lhUcIe9V5t03xqqidQ06ktc3xqCimBh0Jkad6SyWqUFH8mJ49xEkaVwD6D7j3uhz9APgpaXbxnW/vVJvB5wxd/Gyvo9rDOkq/Qgz+eDIzm+xjcdspweEjGNzDd/nPqS2GtpWNh7pz3zOWFuv4d6ga7nsHvMONLceL831WGc9opvou3zdCMQgZynTVzF1gY8MFgYYChPgP+b9SMAjGyOL3cM6x/Q1+1PTfuUj2sOQqMUcRJwBVUtZft5CTa+OfJYzZeXXWC5tdJF1kw+HSxYOc/JWxkIrhxixh3JVBa4O45+B1+ZnH7bbvAfaC5h8dpWVVRbKtU9wLdaV0lRzyDu7uX7bSxXb5sqRs9q83l1+O8TY4VUty8ycsNXqwpCVnNKyPrLShqY2OCY5s8lieZ+p91uPIyzyuJbxeq7zqr0vsixrcFUkHvfSYgz/f7/jWXcGeEq096vyL3ewIa7yPRjTLcZfB+1pulpAX+fKTSO0WarimUeyaNvWnV7mfZjxu8Panpalp730DJLu/EXShvYw4fwud+ddw95/19DFEXzcX9qPVEwB/M9iQ879jl4HgTWTO3pTc/O227yDOToHKooR7wjS260ZVlajzxYdIAJgZOTxAj9eeguuq+XwefIJn4BTCx/yuaC2gJowco5Qq2jyLiz1y6QRlWqUVUqf1yzRp4L8Wq46FSgNl0+WeRvpaW9dK50CK52CeNRbJ+A9X87zBeclmVGyM32uZvleT0o07/A9mVF9fhcV45tcuyFrpHTAVbfObNu8NyWaGvGJI1xL80vu44h153S2K3fpK4zF/om4hxQ/30FN2No24BUfeHx/1rNfm3niQeNGHfTex5u3PtdfoufoCn2APqjTJ9jvdmHxgGv0W/qefjj/olKpXKpcVtDTp7TOe7T0q7z/H+7v50w=</latexit>, 1 ..

)

表 2: データサイズと AUC の関係 (fastText+CNN)

G<latexit sha1_base64="NpUJc0fxfjDG+P94u5whNBW/0yw=">AAAPY3iczVdPj9tUEJ+2QMsWmrZwqISQIlZbUrWqnKgSqFKlbpfCHoqabLttpU26cpyX1Gocm8TZbmL5C8AVxIETSBwQH4MLX4BDPwAHxLFIXDjwe/Oe88d+dnLgQJ5ij2d+M29m3szzczvou6PQsl6eOHnqtdffOH3mzY2zb719rnT+wsVHI388dMS+4/f94ZO2PRJ9dyD2QzfsiyfBUNheuy8et5/vSPnjIzEcuf7gYTgJRMuzewO36zp2CFbjs8Pzm9Z1i3/lLFHVxCbpX92/cPoyNalDPjk0Jo8EDSgE3SebRhgHVCWLAvBaFIE3BOWyXFBMG9AdAyWAsMF9jmsPTweaO8CztDlibQez9PEfQrNMW9Zv1k/WK+tX62frD+ufXFsR25C+THBvK10RHJa+vPTg75VaHu4hPZtrFfocUpc+Zl9d+B4wR0bhKP2j6bevHtzc24ouWz9Yf8L/762X1i+IYHD0l/NjQ+x9V+BPG8PjnG1wxgXmKoPapntUp13QEeg4JbWRMSlpziIZgoqYHxvQdgqtZpX4LFrKzOi2AX2MYUYfG9ATDDN6YkBPMczoaU6UKk6bDlGfTeRZVnCIvJeZ99AYq4q2bdCRPM8Yg4piYtCZGHWms1imBh3Ji+DdVUiSuAbQfcG94XH0A+ClpbvGdb+7Um8HnDF38bK+i2sE6Sr9EDO54MjOb7GNp2ynD4SMY3MN3+c+JLZq2lY6HunPfM5IW6/gXqMrmewe8Q40tx4tzfVUZz2kW+i7bN0IxCBnKdJXMfWADw0WBhgK4+M/5v1IwKMmRhrbwDpH9AX7U9F+ZSNqYEjUYg5CzoCqpTQ/a6GiV0c+y5nS8isslzZ6yLrJh4MlCwcZeStloZVBjNhDuaoCV5vxL8Dr8LML2x3eA5sLmGx2lZVVFoq1j3HN15XSRHPIO7u5fjtLFdvhypGzNnm9e/x2iLDDq1qWmTlmq+WFISs5oWV9pKU1TW1wTHJmk8XiPlPvtz5HmOdxJeX1XOe/9j7PsqzBVZE43EuLMfz//Y5m3enjKdber8q/3MGGuMr3YES3GX8NtKPpcg59jSs3ibDJUhXPPJJF203d6UXeBym/u6ztaFly2kvOIMnOnyetaQ9jzu9yd9437P33DV0cwse9pf1IxeTD/zQ24Nzv6HUQWDO5o9c1N2u7wzuYrXOgohjxjiC93ZphZTW6bNEGwgdGRh4t8KOlt+C6WjafJ5/xCTix8CGfCyoLqAkj5wi1iibvgkK/TBphoUZRpXi8ZrE+FWTXctWpQGm0+WSZtZGc9ta10s2x0s2JR711fN7z5TyfcF7iGSU70+Vqlu/1uEDzHt/jGeXxuygfX+faDVgjoX2uunVm2+a9KdbUiE8cwVqan3Ifh6w7p9NduUufYyz2T8g9pPjZDqrD1rYBr/jA4/uzmv7azBKPateroBs3Nm/f0V+iZ+g9+gB9UKWPsN/twuI+fBb0FX1N35z7vXS2dLH0roKePKF13qGlX+n9fwHCvuVz</latexit><latexit

図 2: 用いた CNN(上) および LEAM(下) の構造

Label0Label1
Label2
Label3
Label4
Label5
平均算する．この際，最終層では，ラベルの埋め込みベク
トル自体を z として与えた時に，正しく分類できるように，正則化を行う．非常に計算がシンプルである反面，初期値として与える単語やラベルの埋め込み表現

データのサイズ30,000 300,000 600,000
0.896
0.8750.893
0.731
0.779
0.798
0.693
0.728
0.741
0.729
0.760
0.777
0.725
0.766
0.779
0.868
0.896
0.904
0.770
0.803
0.815に学習結果が大きく依存するため，学習前に，予め十分質の高い埋め込み表現を用意しておく必要がある．

タとする．また，単語の埋め込み表現は，別途収集し今回は，LEAM で用いる目標ラベルは予測する絵文字

た約 300 万件のツイートを用いて作成し，全ての実験であり，前節で述べたような二通りの方法で獲得したで共通のものを用いる．まず，データの数を合計 3 万

絵文字の埋め込み表現を用いて実験を行う．具体的な件とし，fastText と globe，および CNN と LEAM のパラメータとしては，単語及び絵文字の埋め込みの次合計 4 通りの手法の組み合わせに対し，AUC を比較

元数は 300，畳み込みのフィルタの長さは 55 とした．

する．その結果を表 1 に示す．最も分類精度の高いものは埋め込み表現の学習に fastText を用いた CNN で4

実験結果

4.1

絵文字の埋め込み表現の可視化ある．次に，データの数を 3 万件，30 万件，60 万件と変化させ，学習を行わせた結果を表 2 に示す．ラベ
ル 0 とラベル 5 ではデータ量が少ない場合でも精度が約 300 万件のツイートに含まれる絵文字の出現頻度いいが，その他のラベルでは学習データを増やしてもの高いもの約 800 個の絵文字を t-SNE によって 2 次

精度が上がらないことから，ラベル 1 – 4 は予測の難元に射影する．本稿で分析する絵文字は顔表現のものしいラベルということがわかる．

であるため，顔表現の絵文字が固まって描画されている部分を拡大してに示す．この絵文字の分布では左側

5絵文字の分析とラベルの再決定に顔表現が固まっていることがわかる．またその中で

5.1

絵文字のクラスタリングと分析もハートマークの絵文字と目がハートの顔の絵文字や怒りマークと怒っている顔の絵文字が近いことから近い意味の絵文字が分布されていることがわかる．

4.2

埋め込み表現は高次元なデータであるため次元圧縮アルゴリズムの t-SNE によって 2 次元に射影し，絵文字の埋め込み表現の中で顔表現の絵文字のみを抽出して K-means++法で 14 個のクラスタを作成したも推定精度の比較

前述のように，分類器の精度の比較にはマルチラベ
ル分類のため，ラベルごとに AUC を求め，手法ごとに比較する．以降の実験全てにおいて，対象データのうち 75% を訓練データとし，残り 25% をテストデーのを図 3 に示す．前節の実験で精度の悪かったラベルの分布は図 3 から単一のクラスタ内に含まれている．
近い表現の絵文字だったために精度が上がらなかったと仮定する．14 個のクラスタからそれぞれ代表ラベルを決定し，学習および予測精度の評価を行う．

― 231 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 3: 絵文字のクラスタごとの推定精度

図 3: 顔表現の絵文字クラスタリング

ラベル番号

AUC

0123
4
56789101112
13
平均

0.840
0.835
0.935
0.804
0.777
0.828
0.758
0.896
0.857
0.751
0.826
0.922
0.799
0.738
0.826

図 4: 再決定したラベルの絵文字

5.2

感情表現の分類
細分類
大分類
美味しい
喜び
喜び
喜び
NG
嫌悪
負の感情
悲しみ
驚き, 呆れ 1
驚き
笑み
喜び
驚き, 呆れ 2
驚き
感謝
信頼
怒り
怒り
安心
喜び
恥ずかしい
眠い
悲しい
悲しみ
お茶目
期待

その結果に基づき，予測対象とする絵文字を再選択す

ラベルの再決定と学習ることにより，精度を向上させることができることをK-means++法で作成した 14 個のクラスタから代示した．本稿で提案した手法は，一般に，感情の推定

表でラベルとなる絵文字を選択する．同じクラスタに以外にも，絵文字を予測することで文章の意味を分類属しているものは近しい意味としてそれらをキーワーするのにもある程度利用できると考えられる．さらにドとしたツイートの収集して学習データとする．選択

細かな感情予測を行うために，近い表現の絵文字クラした絵文字を図 4 に示す．分類モデルは事前学習にスタの形成方法やクラスタ内分析を行うことでさらにfastText を使った CNN を用いる．実験内容は前節の細かい感情予測を行う予定である．

実験同様に AUC 値による評価でマルチラベル分類を行う．学習データのみラベルの拡張に合わせて 3 万件から 7 万件になるがラベルごとの学習データ数は約 5千件で同じとする．前実験で予測が難しかったラベルである，Label 1 – 4 は，今回の実験ではラベル 3 とラベル 7 に相当している．表 3 に予測結果を示す．なお，表中のラベル番号は図 4 の左より順に 0 – 13 とする．平均の AUC は 0.824 であり，表 1，表 2 に示した結果に比べて，ラベル数が増えたものの全体的に精度が高いことがわかる．前実験では予測する絵文字の意味が近かったことからそれぞれの文の特徴を捉えづらかったことから，ラベル数を増やすことでラベルに合った文を学習させることで絵文字それぞれの特徴を捉えられ，精度が向上したと考えられる．

6

まとめ
本稿では，文章から感情を推定するための手法として絵文字の埋め込み表現を用いた分類を行なう手法を提案した．実験に用いた手法の中では，fastText とCNN の組み合わせが最も平均の AUC が高い．また，絵文字の埋め込み表現全体でクラスタリングを行い，参考文献[1] Bojanowski, P., Grave, E., Joulin, A. and Mikolov,
T.: Enriching word vectors with subword information, arXiv:1607.04606 (2017).
[2] Kim, Y.: Convolutional neural networks for sentenceclassification, arXiv preprint arXiv:1408.5882 (2014).
[3] Maaten, L. and Hinton, G.: Visualizing HighDimensional Data Using t-SNE, Vol. 9, pp. 2579–2605(2008).
[4] Pennington, J., Socher, R. and Manning, C. D.:
Glove: Global vectors for word representation, Proceedings of the Empiricial Methods in Natural Langua(EMNLP), pp. 1532–1543 (2014).
[5] Ptaszynski, M., Dybala, P., Shi, W., Rzepka, R. andAraki, K.: A system for aﬀect analysis of utterances
in japanese supported with web mining, Journal ofJapan Society for Fuzzy Theory and Intelligent Informatics, pp. 21(2)194–213 (2009).
[6] Wang, G., Li, C., Wang, W., Zhang, Y., Shen, D.,Zhang, X., Henao, R. and Carin, L.: Joint Embedding of Words and Labels for Text Classification, In
Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 2321–2331(2018).

― 232 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.