# 絵文字の共起関係を用いた距離学習

町田秀輔守屋俊柴田千尋
東京工科大学 バイオ・情報メディア研究科
\{c011624552, c0115334ef, shibatachh\}@edu.teu.ac.jp

## 1 はじめに

スマートフォンや PC の発達により，インター ネットや電子メールを通じたテキストベースの伝達方法が盛んに行われるようになっている. 商品レビューやチャットツール，ソーシャルネットワーキングサービスなど人の意見や考えなど気軽に発言できる場が増え, それらを利用した解析技術の需要も増している．自然言語処理の感情分析は，テキストから人間の感情を推定することを目的とし，前述したサービスの分析に非常に重要な技術の一つである.しかし，人間的な感情を正確に捉えることは難しく, 感情の定量的な推定を行うことができる手法は未だに発展途上である．既存の感情分析タスクとしては，文または文章から，「ポジティブ，ネガティブ，ニュートラル」のような 3 つの極性感情を推定したり, SemEval [1]の「Joy, Sadness, fear, anger」 のような細分化した感情を推定するものが存在する。一方で, 心理学分野では, プルチックら [2] によって提案されている感情の輪と呼ばれるものがあり, 8 つの基本感情「喜び, 信頼, 恐れ, 驚き, 悲しみ，嫌悪，怒り，期待」があり，さらにこれら 2 つを組み合わせた感情を人間特有の高度な感情と定義される。 心理学的な知見である感情の輪では, 人間特有の感情は基本感情を組み合わせたものとしているが，自然言語処理の感情分析タスクでは，これらの高度な感情についての言及はしておらず，まだ基本感情の分析しか行われていない. そこで本研究では複雑な感情表現を得るための足掛かりとして, 絵文字を利用した距離学習を提案する．絵文字を使う利点として, 絵文字には, 感情を表す表現の種類が豊富であることがあげられる．絵文字の持つ豊富な感情の含意を利用して，絵文字間の共起関係を距離学習の仮ラベルとして用い，対応する文を距離空間へ埋め込むことで，従来のラベルを予測するモデルよりも，定量的表現が獲得できる。絵文字は, 同一文章内で複数種類使われることが多いため，この共起関係を用いることで，文章の感情の視点から見たときの類似性を表しているものとして捉えることが可能となる.

## 2 関連研究

## 2.1 距離学習

距離学習は, データ間の距離や類似度などからデータの埋め込み表現を学習をする手法の一つである. Hadsell ら [3] による Contrastive loss では，一般的に，入力データを一度に二つサンプリングし，サンプル同士が類似しているなら距離を近づけ，そうでないなら遠ざけるように学習することで，任意距離で測れる空間へ埋め込むことが可能となっている.また，Wang ら [4] は，入力データを一度に三サンプル $(a, b, c)$ 用意し, サンプル $a$ の埋め込みベクトルと, $a$ と類似するサンプル $b$ との埋め込みべクトルとの距離を近づけ, 同時に,$a$ と類似していないサンプル $c$ の埋め込みベクトルとの距離を遠ざけるように学習する手法 (トリプレットロス)を提案している.

## 2.2 BERT

BERT [5] は事前学習を行うモデルの一種で，多く自然言語処理のタスクで高い性能が報告されている汎用性の高いモデルである．入力データはサブワー ドによるトークン化を行い，先頭と文末に特殊トー クンである CLS と SEP を挿入する。事前学習では入力トークンをマスクし，マスク箇所を周囲の情報から予測する Masked Language Model と，2つの文章を入力して繋がりのある文章か，そうでないかの 2 值分類を行う Next Sentence Prediction を行わせている.この 2 つのタスクを解くことで，トークン間の関係と文間の関係を教師なしで学習することができる. 事前学習を行わせた BERT では，特定のタスクには特化していないが，文章の表現を獲得すること

に優れたモデルとなっており, 事前学習済みモデルに対して，特定のタスクに特化したデータセットを用いて fine tune を行うことで, 対象のタスクに対して適応した高い精度を持ったモデルとなる。

## 3 提案手法

## 3.1 絵文字を元にした距離学習

本研究の朹組みで行う距離学習では, 文章を BERT へ入力し, 得られた埋め込み表現からトリプレットロスで学習を行う，提案手法では，トリプレットロスで学習する際のデータのサンプリングに絵文字の共起関係を用いる.

$
\begin{aligned}
\operatorname{TripletLoss}(a, p, n)= & \max \{d(a, p)-d(a, p) \\
& + \text { margin, } 0\}
\end{aligned}
$

式 1 は, 本研究で用いるロス関数であり, $a$ は特定の絵文字が付いた文の埋め込みべクトル, $p$ は, $a$ と同一の絵文字または共起関係にある絵文字が付いた別の文の埋め込みべクトル,$n$ は, $a$ と異なりかつ共起関係にない絵文字の付いた文の埋め込みべクトルである.また, margin の値は 1 とする.

全体の流れとしては, 図 1 に示すように，まず， データを一つ選び，そのデータに付与されていた絵文字と共起しやすい絵文字, または同一の絵文字のついた文章をポジティブなサンプルとし，それ以外の文章をネガティブなサンプルとして取る。その後, 得られた三つのサンプルをそれぞれ BERT の Encoderへ入力する．BERTの出力のうち, CLSトー クンに対応する位置の出力ベクトルを文ベクトルして, トリプレットロスで誤差を計算し，モデルを更新する. 提案手法では, 絵文字の共起関係を通して, 文の持つ感情を捉えた文間の距離関係が, 学習の結果, ベクトル空間中に埋め込まれることを期待する.

図 1 提案手法の概要図

## 3.2 絵文字の共起関係の抽出および共起頻度に基づくサンプリング

絵文字自体は視覚的な訴求力を伴った記号であり，どのような感情を意味するかが事前に与えられ
ているわけではない. また, 本研究で用いた絵文字の総数はであり, それらがすべて独立した感情を表しているわけではない。一方で，実際に文章内に用いられる際には, 視覚的・意味的に似ている絵文字が同一文章内で複数種類使われることが多い. そこで, 共起している絵文字を使用している文章同士は感情の意味で類似していると仮定し, この共起関係から似た文表現が埋め込む先の空間でまとまりやすくなることを期待する．さらに，前述の三つのサンプルを得る際のサンプリング確率に, 共起頻度，または，自己相互情報量 (PMI; Point-wise Mutual Information)を用いる.

$
\operatorname{PMI}(x, y)=\log \frac{p(x, y)}{p(x) p(y)}
$

共起頻度を用いたサンプリングでは, 頻度の閾値を 1000 回として，間值以上のものを共起関係にあるものとした。そして，各頻度を足して 1 になるよう正規化することで確率とみなし，サンプリングを行う. PMIを用いたサンプリングでは, PMI が間值 0 を超えるサンプル同士を共起している，閾値を上回らないものを共起していないとする．PMI は頻度とは異なるため, サンプリング時の確率にするために Softmax 関数を通すことで確率とみなしてサンプリングを行う。これにより, 単に共起したかどうかの二值ではなく, どの程度共起しやすいかが, 距離空間上でどの程度文同士がまとまりやすいかに影響を与えるようにすることができる.

## 4 データセット

## 4.1 訓練データ

提案手法のデータセットは 2012 年から 2016 年の Twitter から収集した文章内に絵文字が含まれているもの, 約 1600 万件を用いる. サンプリングに用いる共起頻度と PMI はこの 1600 万件の発言から計算する.しかし, 距離学習に用いるデータセットは絵文字の出現頻度, 上位 100 個の絵文字が含まれた文章を用いる. これは低頻度な絵文字については, 共起関係を得ることが難しい. 提案手法の学習に悪影響を与えてしまう可能性があるためである.

## 4.2 評価デー夕

評価用のデータセットには，3つのデータセットを使用する. Twitterを基に作成された SemEval2013-

2016 年の Sentiment Analysis in Tweet のデータセットと SemEval2018 年の Affect in Tweets を用いる. さらに，もう 1 つは映画のレビューサイトを基に作成された SST-2(Stanford Sentiment Treebank)を用いる. データセットの詳細については表 1 に示す. SST-2 のデータセットには, ポジティブ, ネガティブの感情ラベルがあり, SemEval2013-2016 年にはさらにニュートラルの感情ラベルが付与されている. SemEval2018 年はより詳しい感情ラベルと感情の強度が 0-1 の範囲の連続值でラベル付けされている。感情ラベルには喜び, 恐れ, 怒り, 悲しみの 4 つの感情ラベルがついており, 感情強度には, アンケー トから BWS(Best Worst Scaling)を用いて各ツイートに連続值がラベル付けされている.

## 5 実験

データセットの文章を BERTへ入力し, 得られた文ベクトルを使った実験を行う，得られた文べクトルが感情分類データセットへどの程度効果的か, 文ベクトルが感情表現に基づいて埋め込まれているかを次元圧縮によって可視化したマップから定性的に評価する。また, SemEval2018 の感情強度を用いた実験では, 文ベクトルが, 強度ごとに分布しているかを, 強度とべクトル間の距離に基づき実験する。

## 5.1 感情分類データセットでの評価

提案手法が実際に感情分類データセットへ効果的かを調べるため, まず，3つのデータセットを用いた評価実験を行う．モデルの評価には BERT で得られた文ベクトルを入力とした線形 SVM の正解率で示す. 距離空間への埋め込みを学習しているため,通常の文表現よりも分類しやすいということを定量的に測るため線形モデルで文ベクトルの評価を行う. 評価データは<文ベクトル，ラベル>の対を感情分類データセットごとに用意する。訓練データとテストデータの総数については表 1 の通りに行う. ベースラインである事前学習済み BERT と提案手法 3 つのモデル評価を行い，実験の結果を 2 に示す.表 2 線形 SVM による比較

ベースラインは, 事前学習済み BERT の文ベクトルを使った実験である。(a), (b), (c) は提案手法であり (a) は全ての絵文字付き文章が距離空間で独立する様に学習させるものである. (b) は絵文字間の共起頻度に基づいてポジティブサンプリングを行ったもので, (c) は絵文字間の PMIに基づいてポジティブサンプリングを行うものである. ベースラインと提案手法では, 提案手法がどのデータセットでも線形 SVM の正解率が高いことを示している.特に, SemEval2018では, より細分化した感情ラべルがついたデータセットではあるが，提案手法ではベースラインと比べると約 $12 \%$ ほど，正解率が向上していることがわかる．他のデータセットと比べると, 感情ラベルが多いことから分類が難しいデー タセットではあるが，正解率が向上していることから，より細かい感情を捉える様な学習ができていることがわかる. また, 提案手法である (b), (c) は, (a)よりも優れている。共起関係を用いたサンプリングが効果的であったことが結果からわかる.

## 5.2 文ベクトルの可視化

BERT によって得られた文べクトルの可視化を行う. 可視化には, 次元圧縮手法である t-SNEによって 2 次元へ埋め込んだデータ点から, ベースラインと提案手法の比較を行う．可視化を行うデータセットは SST-2 のテストデータとする. まずベースライン手法の文ベクトルを可視化したものを図 2 で示す. 図 2 では, ベースラインの文ベクトルが, 感情ラベルごとに分かれることはなく交わった状態で可視化されている. ベースラインのモデルでは, 感情ラベルにまつわる情報を上手く獲得できていないということが結果からわかる. 次に, 図 3 では, 提案手法の文ベクトルを可視化したものになる. 図 2 と比べるとラベル間の交わりが少ないことがわかる.可視化の結果から, 文ベクトルは一定の感情的な情報に作用した埋め込みが行われていることを示唆しているといえる.

図 2 ベースライン

図 3 提案手法

## 5.3 感情強度と文ベクトル間距離

SemEval2018には感情強度についてのラベルがある. そこで，この強度とラベル間の距離についての分析を行う。まず，感情強度は $0-1$ の範囲であるため, 0.1 間隔で 10 個のラベルヘ再ラベリングを行う．新たにつけた感情強度のラベルと文ベクトル間の距離についての相関関係を図 4 に示す.

図 4 感情ラベル"悲しみ"の強度と距離についての図

図 4 では，提案手法を用いた，感情ラベル"悲しみ"の感情強度と文ベクトル間の距離についての相関関係を示す.この図では相関係数が 0.987 となり強度と距離の相関関係には強い正の相関があることがわかった。ベースラインのベクトル表現を用いた場合だと相関係数が 0.836 と，提案手法よりも低い。 そのため，提案手法が感情の強度を表す様な学習が行われているということがわかる。さらに，全ての感情ラベルとデータセット全体の強度についても分析を行った。その結果を表 3 に示す. 感情ラベルの"楽しい"を除いた 3 つの感情ラベルとデータセッ卜全体での結果から，提案手法では感情の強度とべクトル間の距離についてうまく表現できていることがわかる.

表 3 感情ラベルの強度と距離の相関係数

## 相関係数

## 6 おわりに

本研究では，絵文字を利用したデータサンプリングを行う距離学習を提案した。絵文字のついた文章が複雑な感情を表しているとして，絵文字に基づいた距離学習を行い，より分類しやすい空間へ文べクトルを埋め込む学習を行った。その結果，線形 SVM の正解率はデータセットによらず向上していることが確認でき，感情の強度についても，強度ごとに文ベクトルを埋め込むことができていることを確認できた。提案手法では，新たなデータセットで再学習することなく一定の感情分類の精度が得られ, 感情の強度についても，文ベクトルを強度ごとに埋め込むことが確認された。今後は，さらに複雑な感情ラベルに対しての分析や他の言語への適応などが期待される.

## 参考文献

[1]Saif Mohammad, Felipe Bravo-Marquez, Mohammad Salameh, and Svetlana Kiritchenko. SemEval-2018 task 1: Affect in tweets. In Proceedings of The 12th International Workshop on Semantic Evaluation, pp. 1-17, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2]ROBERT PLUTCHIK. Chapter 1 - a general psychoevolutionary theory of emotion. In Robert Plutchik and Henry Kellerman, editors, Theories of Emotion, pp. 3 - 33. Academic Press, 1980.

[3]R. Hadsell, S. Chopra, and Y. LeCun. Dimensionality reduction by learning an invariant mapping. In 2006 IEEE Computer So-
ciety Conference on Computer Vision and Pattern Recognition (CVPR'06), Vol. 2, pp. 1735-1742, June 2006.

[4]Jiang Wang, Yang Song, Thomas Leung, Chuck Rosenberg, Jingbin Wang, James Philbin, Bo Chen, and Ying Wu. Learning fine-grained image similarity with deep ranking. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014.

[5]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.