言語処理学会 第24回年次大会 発表論文集 (2018年3月)

絵文字付きツイートを訓練事例として利用する分類器学習によるツイート中の主観同定∗
徐 凌寒†
林 友超†
宇津呂 武仁†筑波大学大学院 システム情報工学研究科†

1

2

はじめに絵文字を含むツイートにおける主

近年，ツイッター等の SNS が普及してきた．ツイッ
ターの利用者の多くは，自身が配信するツイートの中に，様々な事柄に対する主観情報を含めることがよく知られている．ツイッターでは，文字数制限があるた
め，制限された文字数の範囲で適切に自分の感情を表すことが難しい．そこで，ツイッターでは，制限され観分析
本論文では，2016 年 11 月 13 日から 2017 年 6 月 23日までの約 7ヶ月の期間において，Twitter Streaming

API2 を用いて収集したツイート3 を分析対象とする．
収集対象とする絵文字は，，た文字数の範囲で感情を適切に表現するために，絵文字が利用される傾向にある．これに対して，自然言語処理の研究分野においては，絵文字を含めたテキストの分析手法が研究対象の一つとして注目されている．
そこで，本論文では，ツイート中の主観を自動分析することを研究の目的とする．そのための手段として，，，の四種類とする．これらの各絵文字を含むツイートを収集した結果のツイート数を表 1「収集総数」欄に示す．
次に，本論文では，収集されたツイートから無作為に抽出したサンプルに対して，本論文では，主観を表す絵文字に着目し，絵文字を含むツイートを訓練データとして分類器を訓練する．こ(a) ツイート中のテキスト部分が表す主観と絵文字が表す主観が 合致

こで，本論文では，「ハッピー」を表す絵文字および「怒る」を表す絵文字を含むツイートのテキスト部分に含まれる主観の種類・内容を人手で分析したところ，
約 20∼40%程度の割合で，絵文字が表す主観とテキスト部分が表す主観が矛盾するツイートが混在することが分かった．そこで，本論文では，絵文字が表す主観とテキスト部分が表す主観が矛盾する割合が 40%程度となり絵文字を除外し，主観の矛盾するツイートの割合が約 20∼35%程度となる絵文字のみを利用して，各絵文字の表す肯定的・否定的極性をそのままツイート自身の極性とみなして，ツイートの主観同定用の訓練事例として用いる．次に，本論文では，人手で中立的(b) ツイート中のテキスト部分が表す主観と絵文字が表す主観が 矛盾の二種類への分類を行った．分類結果の統計は表 1 に示す通りであり，四種類の絵文字の中では，特に，絵文字字の主観が矛盾」となるツイートの割合が相対的に高かった．次に，「テキスト部分と絵文字の主観が矛盾」となるツイートのテキスト部分を人手で分析し，四種類に分類した．これらの統計および例を表 2 に示す．

3

極性として判定したツイートを加えて，ツイートに対する肯定・否定・中立の三値分類器を訓練する．三値分類器によって，均等クラス分布ツイート集合，および，ツイート空間における主観極性分布に従ったツイート集合に対して，主観極性分類性能の評価を行う1．
∗ Sentiment Analysis of Tweets by Classiﬁer Learning utilizing Tweets with Emoji as Training Data
† Linghan Xu, Youchao Lin, Takehito Utsuro, Graduate
School of Systems and Information Engineering, Universityof Tsukuba
1 本論文において，ツイート空間における主観極性分布に従ったを含むツイートにおいて，「テキスト部分と絵文均等クラス分布ツイート集合の三値分類

本節では，肯定・否定・中立の三値極性分類タスクを対象とし，特に，クラス分布を均等にしたツイート集
ツイート集合を対象として分類器の評価を行う理由としては，ツイート空間から肯定・否定・中立の各極性のツイートを収集するタスクに対して訓練した分類器を適用した場合に，どの程度の性能が達成できるのかを見積もるためである．
2 https://dev.twitter.com/streaming/overview
3 二種類以上の絵文字を含むツイートのテキスト部分の主観が，ツイート中のどの絵文字の主観に従うのかは自明ではなないため，本論文では，ツイートとしては，絵文字一種類のみを含み，その他のいずれの絵文字も含まないものを収集対象とする．

― 164 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 2: ツイートの主観と絵文字が矛盾する場合の分類

和集合から 3,000 ツイートを無作為に選定する．一方，

表 1: 絵文字を含むツイートにおける主観の分類

中立的極性のツイート集合については，2 節において収集したツイート集合に対して，無作為に人手による極性判定を行い，中立と判定されたツイート 3,000 個を収集する．
各訓練事例のクラス値としては，• 絵文字を含むツイートを肯定的極性クラス，• 絵文字を含むツイート，および，絵文字を含むツイートを否定的極性クラス，• 人手で中立に判定したツイートを中立的極性クラス，合を訓練・評価データとした場合について，ツイートの主観に対して肯定，否定，中立の三値極性分類を行う課題について述べる．とする．そして，これらの合計 9,000 ツイートを訓練・3.1

評価データとして LIBSVM を適用し，10 分割交差検訓練・評価手順

本論文の分類器の訓練においては，まず，訓練データとして，前節における分析結果をふまえて，「テキスト部分と絵文字の主観が矛盾」の割合が最も高い絵文字を含むツイートは訓練データとしては用いないこと定によって評価を行う．各訓練事例の素性表現を作成する際には，ツイート中のユーザー名 (例：”@xxx” 等の文字列)，URLs，“RT” の文字列，および，絵文字以外のテキスト部分の形態素を素性とする4．とする．そして，残りの三種類の絵文字を含む全収集

3.2

済みツイートのうち，前節で人手によって「テキスト参照用の事例集合を，それぞれ，肯定的極性クラスの部分と絵文字の主観が矛盾」の割合を調査する際に分事例の集合，否定的極性クラスの事例の集合，中立ク

析対象としたツイートを除外した残りのツイートから，ラスの事例の集合，および，三者の和集合 (「全体」)

分類器訓練のための訓練データを選定する．具体的にとした場合についての評価結果を，図 1 のプロットを含むツイートから 3,000 ツイーに示す．この結果から，中立クラスの適合率は他のクは，まず，絵文字トを無作為に選定する．次に，絵文字トの集合，および，絵文字を含むツイーを含むツイートの集合の評価結果

4 形態素解析ツール MeCab (http://taku910.github.io/mecab/，辞書として IPA 辞書を用いる) によって求める．

― 165 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

図 1: 均等クラス分布ツイート集合に対する三値分類(a) 三値分類器による評価結果の評価結果
ラスの適合率より低いことが分かる．また，再現率が52%以下の場合においては，肯定的極性クラスの適合率は否定的極性クラスの適合率より高いが，再現率が52%以上の場合においては，両者の関係は逆となる．

4

ツイート空間中のクラス分布に従うツイート集合の三値分類

本節では，前節と同様の肯定・否定・中立の三値極性分類タスクを対象とし，特に，Twitter Streaming API(b) 肯定的極性クラスを評価データとした場合の分類器の比較によって，ツイート空間における肯定・否定・中立クラス分布に従ったツイート集合を収集し，肯定，否定，中立の三値極性分類を行う課題について述べる．

4.1

評価用ツイート集合

評価用ツイート集合としては， 2017 年 1 月 19 日から 2017 年 1 月 22 日までの四日間の期間において，Twitter Streaming API を用いて収集した 22 万のツイートから，無作為に 1,000 ツイートを抽出し，人手で肯定，否定，中立の三値極性を判定する．その結果，180 の肯定的極性ツイート，45 の否定的極性ツイート，(c) 否定的極性クラスを評価データとした場合の分類器の比較および，775 の中立的極性ツイートが収集された．この結果から，Twitter Streaming API によって，ツイー
ト空間における肯定・否定・中立クラス分布に従ったツイート集合を収集した結果においては，中立的極性のツイートの数が圧倒的に多く，7 割以上を占めることが分かった．また，否定的極性のツイートの比率が

図 2: ツイート空間中のクラス分布に従うツイート集
合の三値分類の評価結果(「全体」) とした場合についての評価結果を，図 2(a)ののプロットに示す．
この結果から，肯定的極性クラスの性能は否定的極5%以下ということも分かった．

4.2性クラスの性能を上回ることが分かる．また，再現率三値分類器による評価

3 節の評価実験において用いた訓練・評価用ツイートの全体を訓練用ツイート集合として三値分類器を訓練し，前節において作成した評価用ツイート集合に対して適用しその性能を評価する．
参照用の事例集合を，それぞれ，肯定的極性クラスの事例の集合，否定的極性クラスの事例の集合，中立的極性クラスの事例の集合，および，三者の和集合

が 27%以下の場合，肯定的極性クラスの適合率は中立的極性クラスより高い．これは，肯定的極性クラスのツイートの中に，テキスト長が非常に短く，かつ，極性判定が極めて容易なツイート群が含まれており，これらのツイート群が原因となって，肯定的極性クラスのツイート全体の性能が相対的に高くなったからであると考えられる．

― 166 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

4.3

2. URL を含まないツイート (否定的極性クラス2,448+ 中立的極性クラス 2,023) を訓練事例と訓練事例集合別の性能比較

本節では，肯定的極性クラスおよび否定的極性クラスして訓練した二値分類器を対象して，訓練事例集合別に分類器を訓練した後，比較する．特に，本節では，URL を含むツイートに

3. 否定的極性クラスの 3,000 ツイート，および，肯定的・中立的極性クラスの 3,000+3,000=6,000 ツ

おいては広告の比率が高く，それらの広告ツイートにイートを訓練事例として訓練した二値分類器

おいてはテキスト部分と絵文字の主観が一致しない場

4. URL を 含 ま な い ツ イ ー ト (否 定 的 極 性 ク
ラ ス 2,448+ 肯 定 的・中 立 的 極 性 ク ラ ス

各評価対象極性クラスに対して適用した結果の性能を合が多いことをふまえて，URL を含むツイートを除1,870+2,023=3,893) を訓練事例として訓練した
二値分類器

外する場合と除外しない場合の二通りの訓練データを作成し，分類器の訓練・評価を行う．

4.3.1

5. 4.2 節で評価した三値分類器

肯定的極性クラス

6. URL を含まないツイート (肯定的極性クラス以下の各分類器の評価を行った結果を図 2(b) に示す．

1,870+ 否定的極性クラス 2,448+ 中立的極性クラス 2,023) を訓練事例として訓練した三値分類器

1. 肯定的・中立的極性クラスの各 3,000 ツイートを訓練事例として訓練した二値分類器
2. URL を含まないツイート (肯定的極性クラス1,870+ 中立的極性クラス 2,023) を訓練事例として訓練した二値分類器

3. 肯定的極性クラスの 3,000 ツイート，および，否定的・中立的極性クラスの 3,000+3,000=6,000 ツイートを訓練事例として訓練した二値分類器

4. URL を 含 ま な い ツ イ ー ト (肯 定 的 極 性 クラ ス 1,870+ 否 定 的・中 立 的 極 性 ク ラ ス
2,448+2,023=4,471) を訓練事例として訓練した
二値分類器

図 2(c) の結果から分かるように，URL を含むツイートを除外して訓練することにより，いずれの分類器においても性能が向上した．全体を通しては，URL を含むツイートを除外して訓練した三値分類器の性能が他の分類器の性能を上回っている．

5

関連研究

ツイート集合に対して人手で主観同定を行ったデー
タセットを蓄積し，分類器等の主観判定モデルを訓練する既存の研究事例においては，そのほとんどが，ツイート空間からツイート集合を収集する段階，ある

5. 4.2 節で評価した三値分類器

いは，人手で主観判定を行う対象ツイートをサンプリ

6. URL を含まないツイート (肯定的極性クラスングする段階において，肯定・否定極性のツイートが1,870+ 否定的極性クラス 2,448+ 中立的極性ク
ラス 2,023) を訓練事例として訓練した三値分類器同等数程度収集できるように，何らかのフィルタリン

図 2(b) の結果から分かるように， URL を含むツグを施すことが多い (例えば，SemEval の Sentiment

Analysis in Twitter タスク (2013∼2017) [1, 2] )．

イートを除外して訓練した肯定的極性クラス・その他

6の二値分類器の性能は他の分類器の性能を下回ってい本論文では，まず，絵文字を含むツイートにおいては，る．また，再現率が 10%以下の場合においては，肯定絵文字の表す主観とテキスト部分の表す主観が矛盾す的極性クラス・中立的極性クラスの二値分類器の性能るものが一定規模混在しているという結論を得た．さが低下するが，それ以外の場合においては，他の分類らに，ツイート空間における主観極性分布を調査する器と同等の性能となる．全体を通しては，URL を含とともに，絵文字を含むツイートと人手で主観を判定

むツイートを除外して訓練した肯定的極性クラス・中したツイートを用いた三値分類モデルの訓練によって，立的極性クラスの二値分類器の性能が他の分類器の性ツイート空間における主観極性分布に従ったツイート能を上回っている．ただし，URL を含むツイートを集合に対して肯定，否定，中立三値極性分類を行い，除外して訓練することにより，三値分類器，肯定的極その有効性を評価した．

性クラス・その他の二値分類器とも性能が下がった．

4.3.2

否定的極性クラス

以下の各分類器の評価を行った結果を図 2(c) に示す．

1. 否定的・中立的極性クラスの各 3,000 ツイートを訓練事例として訓練した二値分類器

おわりに

参考文献
[1] P. Nakov, S. Rosenthal, Z. Kozareva, V. Stoyanov, A. Ritter,and T. Wilson. SemEval-2013 task 2: Sentiment analysis intwitter. In Proc. 7th SemEval, pp. 312–320, 2013.
[2] S. Rosenthal, N. Farra, and P. Nakov. SemEval-2017 task 4:Sentiment analysis in twitter. In Proc. 11th SemEval, pp.
502–518, 2017.

― 167 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.