# 状況別感情極性日本語辞書の作成とその活用

高田 篤志 1 狩野芳伸 ${ }^{2}$ 山崎俊彦 1
1 東京大学大学院 2 静岡大学
a_takada@hal.t.u-tokyo.ac.jp kano@inf.shizuoka.ac.jp
yamasaki@cvm.t.u-tokyo.ac.jp

## 概要

言葉の意味や文脈の多様性に対応できることを目指して、20の異なる状況に対してラベル付けされた日本語の感情極性辞書 Japanese Situation-dependent Sentiment Polarity Dictionary (SiSP) を作成した。この辞書は、25,520 の日本語単語からなり、各単語の各状況に対してクラウドワーカーによって 10 件ずつ極性の投票を行ったものである。このSiSPを用いて、辞書内の各単語の極性、および文脈を考慮した文中の辞書単語の極性を予測した。いずれの実験でも、状況を考慮しないべースライン辞書に比べて、安定して感情極性の予測を行えることを確認した。

## 1 初めに

顔画像や音声、文章などからそこに込められた人間の感情を理解することは学術的・産業的価値が高く、これまでも様々な試みがなされてきた。テキストから感情を解析するためには、一般的に感情極性辞書が用いられる。既存の感情極性辞書の多くは、単語に対してポジティブかネガティブとラベル付けされているものか、いくつかのクラスカテゴリに単語を分類しているものが多い。しかし、単語は文脈や状況によって様々な意味を持ち、異なる印象を与えることがある。例えば「速い」という言葉は、「レーシングカーが速い」という文脈ではポジティブな意味となる。一方、友達と歩いていて、その友達の歩くスピードが「速い」という場合ネガティブな意味となる。現在の感情極性辞書では速いという単語のみに注目して単一のラベルを付けているため、このような多様な状況や意味に対応することができない。またクラスラベルをアノテーションした感情極性辞書ではカテゴリ内の単語の感情極性の強弱は無視されている。

そこで本研究では、20 種類の状況それぞれに対して感情極性値ラベルを付与した Situation-dependent
Sentiment Polarity Dictionary (SiSP) を作成した。この SiSP は我々の知る限り状況別に感情極性値をラベリングした最初の感情極性辞書である。SiSP は後日オープンソースで公開する予定である。本論文では SiSP の概要、及び SiSP を用いて行った単語単位での極性予測と文脈を加味した極性予測の実験結果を示す。

## 2 関連研究

## 2.1 感情極性辞書

感情極性辞書の多くは、ポジティブかネガティブの軸でラベル付けされた単語のリストである。 ポジティブ、ネガティブ問わず感情極性ラベルは主観的なラベルであるため、人の手でラベルを付けられることが多い。Linguistic Inquiry and Word Count (LIWC) [1] は 6,000 以上の単語を 125 のカテゴリに分類した辞書である。Choudhury ら [2] はこの辞書を用いて、ツイートからうつ病の発症を予測した。The Affective Norms for English Words (ANEW) lexicon [3] は Valence-Arousal-Dominance (VAD) モデルに基づいて Valence, Arousal, Dominance のそれぞれについて 1 から 9 までのラベルを付けた 1,024 個の英単語からなる辞書である。

SentiWordNet [4, 5] は WordNet [6] を拡張したものである。各単語についてポジティブとネガティブ及びニュートラルについて 0.0 から 1.0 の值でラベル付けする。ポジティブ、ネガティブ、ニュートラルの各カテゴリのラベルの値の合計が 1 になるように正規化されている。SentiWordNet の尔点としては多くの単語がニュートラルに分類されており、明らかにノイズと見なせるラベルが多いことが挙げられる。本研究で作成した SiSP は 20 種類の状況に対し

ラル (ポジティブでもネガティブでもないがその状況でその単語を使うことはある)、関係ない(その状
況についてその単語を使うことがない)、意味がわからないの各ラベルが 0 から 1 までの数値で表現されている。また一つの単語の一つの状況についてラベルの合計值が 1 となるように正規化されている。

## 2.2 固有表現認識

Named Entity Recognition (NER) は文中に含まれる固有表現を抽出するタスクである。文中の固有表現 （Named Entity）を抽出し、人名、組織名、地名などの固有名詞と、日付、時間表現、数量、金額などの事前に定義した表現に分類する。NER で頻用される IOB フォーマットでは、固有表現の先頭トークンには B、非先頭トークンにはIタグを付与し、またどの表現にも属さないトークンには $\mathrm{O}$ と割り振る。例えば、'Mark Watney visited Mars' という文について、人のタグを'Person', 場所のタグを'Location' とすると Mark は B-Person、Watney は I-Person、visited はどのトークンにも属さないので O、Mars は B-Location となる。タスクによっては地名を都市、州、国などの細かい場所として分類するものや人名について政治家や芸能人などのサブカテゴリーを設定するものもある。代表的なデータセットとして CoNLL2002 と CoNLL2003 [7] が挙げられる。これらのデータセットでは、スペイン語、オランダ語、英語、ドイツ語の新聞記事からなる文に、4 種類のタグ (人物、組織、場所、その他すべての種類の実体）を付与している。他にもさまざまな言語のデータセットが公開されている $[8,9,10,11]$ 。

## 3 SiSP の構築

既存の感情極性辞書では、単語が使用される状況を反映することができていない。そこで、本研究では 20 種類の状況を設定した新しい感情極性辞書を作成した。設定した状況は以下の 20 種類の状況は以下の 20 種類である: 経済、コミュニケーション、子育て、健康、生存意欲、職、対人関係、家族、緊張、精神状態、仕事、外出、家庭、忙しさ、気力、睡眠、食欲、好奇心、身体的状態、恋愛。これら 20 の状況は、Social Network Servises (SNS) 等において個人的・社会的な感情や精神状態を分析することを念頭に設定した。今後、必要に応じて状況の多様性を増やすことは可能である。

辞書に含まれる単語は Takamura ら [12] と Kobayashi ら [13] の辞書から 25,520 語 (それぞれの辞書から 14,400 語と 11,120 語)を使用した。ラべ
ルの選択肢はポジティブ、ネガティブ、ニュートラル(ポジティブでもネガティブでもないがその状況でその単語を使うことはある)、関係ない (その状況についてその単語を使うことがない)、意味がわからないの 5 通りを設定した。 5 つ目の「意味がわからない」という選択肢は、予備実験において意味が難解な単語をワーカーに示したときいい加減に選択する傾向が見られたため、それを防ぐ目的で設定した。

アノテーションは Yahoo! クラウドソーシングサービスを利用し、10 人に各単語、各状況のラベル付けを依頼した。辞書の品質を保証するために 2 種類のチェック問題を設定し、そのチェック問題に対して正しく回答できた参加者の回答のみを採用した。チェック問題を通過した参加者は参加者全体の 40\%であった。SiSP のラベルは、20 の状況に対して 10 人が投票したものである。したがって、ラべルは各単語が各状況に対して肯定的か否定的かというバイナリ値を示すものではなく、5つの選択肢への投票率となっている。

表 2 は、SiSP の中で状況によってラベルが異なる単語の例をいくつか示している。「干渉」という単語は、恋愛の状況において (Positive, Negative $)=(0.1$, $0.6)$ であるのに対し、精神状態では $(0.5,0.2)$ になっている。「完売」は経済では Positive $=0.8$ であるが、外出では Positive $=0.1$ となる。「敵意」は人間関係では Negative $=0.9$ だが、子育てでは Negative $=0.3$ に変化している。

## 4 実験

作成した辞書を用いて、単語の極性予測を行った。本研究では 2 種類の設定で実験を行った。 1 つ目の実験は、個々の単語の極性を独立に予測することである。2つ目の実験は、短文に含まれる単語の極性を文脈を考慮して予測することである。なお、本稿ではぺージ制限により精神状態についてのみ結果を示す。状況を考慮しないべースラインとして、今回用意した 20 個の状況に対する極性ラベルを加算した上で正規化を行い、5つのラベルの合計値が 1 になるようにした辞書を作成した。

本実験では、ニュートラル、関係ない、意味がわからないのラベルを統一して Others ラベルとして扱う。すなわち、ポジティブ、ネガティブ、Others の 3 クラス問題とし、最もラベル値 (投票数) が大きいものを分類の正解クラスとして扱う。学習データに
表 1 SiSP の諸元

表 2 SiSP の例

は精神状態についてポジティブの単語が 1,118 個、 ネガティブの単語が 3,364 個、Others が 9,624 個含まれている。

## 4.1 単語単体の極性予測

辞書に含まれる単語を学習データとテストデー タに分割した。辞書の単語をべクトル化するために word2vec [14]を使用した。word2vec の事前学習モデルには鈴木らの [15] 事前学習した 300 次元のモデルを使用した。このべクトルを入力としてサポートベクターマシン (SVM) を用いて単語の極性分類を行った。

分類結果を表 3 左に記す。ポジティブ、ネガティブラベルの予測はベースラインに比べて大きく改善が見られる。Others の予測精度は下がっているが、 これはポジティブとネガティブの予測精度が上がったことによる相対的な変化であると考えている。ポジティブについての precision と recall の結果は著しく低いものになっている。これは作成したデータセットについてポジティブのデータが少ないためであるからと考えられる。またべースラインについても同様にポジティブに分類されたものはなくほとんど Others に分類されている。

## 4.2 文章中の単語についての極性予測

次に、文脈情報を考慮した場合の感情極性予測実験を行った。学習・テストデータに twitter APIを用
いて集めたツイートを用いた。未知の単語の極性を予測する設定にするために、テストデータには収集した全ツイートの中で 1 回だけ現れる SiSP 単語を含め、残りを学習データとして用いこの SiSP 単語の極性を推測させ評価する。一回としたのは、出現頻度の高い SiSP 単語を訓練データに回すことで十分な学習データ量を確保するためである。具体的には、Twitter API を用いて 20,530 件のツイートを収集し、SiSP に登録されている単語を 1 つ以上含むツイートを入力データとして用いた。得られたツイー ト文を形態素解析し、各単語に極性ラベルを付与した。ツイートには SiSP 単語が含まれることのみで、 その他の単語がなんであるかの情報が付与されていないが、SiSP 登録単語以外は Others として扱った。 モデルとしては、BERT [16] の日本語訓練モデルを使用した。結果は 3 の右側に記されている.ベースラインと比較すると、ポジティブとネガティブともに precision, recall, F1 スコアは精神状態の方が優れた值を示している。また表 3 左と比較すると文章の文脈情報がモデルの極性予測に役立つことが分かる。

## 5 考察

単語のみでの極性分析については、Others のラベルを持つ単語が非常に多い (ポジティブ: 1,118 , ネガティブ:3,364, Others: 9624) であることが精度の低下の原因であると考えられる。そこで、ポジティブ、

表 4 「精神状態」についての単語の感情極性予測におけるオーバーサンプリングとアンダーサンプリングの効果。

ネガティブのラベルを持つ単語の数が Others ラベルを持つ単語と同じになるように、オーバーサンプリングとアンダーサンプリングを行った。word2vec におけるオーバーサンプリングはポジティブとネガティブのデータについて Others のデータと同数になるまで繰り返した。文中の単語の極性予測のアンダーサンプリングは Others ラベルの単語のみで構成される文を除外することで行った。

オーバーサンプリングの結果を表 4 左に示す。表 3 のオーバーサンプリング前の結果を比較するとオーバーサンプリングが precision, recall, F1 スコアの性能改善に大きく貢献していることが分かる。特にポジティブラベルについての改善が著しい (+0.418 ポイント)。ネガティブについて、精神状態のオーバーサンプリングの precision が全ての設定の中で最も優れていた。

アンダーサンプリングの結果を表 4 右に示す。表 3 の結果と比較すると、ポジティブ、ネガティブ共にF1 スコアが向上していることが分かる。またネガティブについての precision、ポジティブについての recall も改善されている。しかし、文脈を考慮した単語のアンダーサンプリングは、単語のみのオーバーサンプリングほど大きな効果は得られない。これは、学習データから Others 文のみを除外したため、正負の単語のバランスがとれていないためと考えられる。

モデルが文脈を考慮して感情極性をしていることを示すため、対照実験として単語単位でテストデータを BERT に入力した。その結果を表 5 に示表 5 BERT にて文脈を考慮しない場合の「精神状態」についての単語の感情極性予測。

す。表 4 右と比べると一様に性能が下がっており、我々のモデルは文脈を感情極性予測のヒントにしていることが伺える。

## 6 まとめ

本研究では、20 種類の状況を考慮した新しい感情極性辞書である Situation-dependent Sentiment Polarity Dictionary (SiSP) を構築した。単語単体での極性の予測では、特にネガティブの precision, recall, F1 スコアがベースラインより大幅に向上する結果を得た。 さらに、学習データセットをオーバーサンプリングすることで、予測性能が向上した。また、ツイートを学習データとした未知語の極性予測においても、 ベースラインの手法と比較して状況別の予測が優れた結果を示した。また、ツイート単位と単語単位の比較から、入力データの文脈情報も感情極性を推論する上で重要であることが示された。

本辞書は、20の状況を持つオープンソースの感情極性辞書としては我々の知る限り世界初の試みである。今後は、この辞書を他言語に拡張することを考えている。

## 謝辞

本研究の一部は JST, CREST JPMJCR19F4 および東京大学大学院情報理工学系研究科の IXT プロジェクトの支援を受けて行われた。本論文におけるクラウドソーシングについては、東京大学大学院情報理工学系の倫理審査委員会から承認を得て行ったものである。

## 参考文献

[1] James W Pennebaker, Martha E Francis, and Roger J Booth. Linguistic inquiry and word count: Liwc 2001. Mahway: Lawrence Erlbaum Associates, Vol. 71, No. 2001, p. 2001, 2001.

[2] Munmun De Choudhury, Michael Gamon, Scott Counts, and Eric Horvitz. Predicting depression via social media. In Seventh International AAAI Conference on Weblogs and Social Media, 2013.

[3] Margaret M Bradley and Peter J Lang. Affective norms for english words (anew): Instruction manual and affective ratings. Technical report, (Tech. Report C-1). Gainesville: University of Florida, Center for Research in Psychophysiology, 1999.

[4] Andrea Esuli and Fabrizio Sebastiani. Sentiwordnet: A publicly available lexical resource for opinion mining. In Language Resources and Evaluation, 2006.

[5] Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. Sentiwordnet 3.0: an enhanced lexical resource for sentiment analysis and opinion mining. In Language Resources and Evaluation, Vol. 10, pp. 2200-2204, 2010.

[6] George A Miller. Wordnet: a lexical database for english. Communications of the ACM, Vol. 38, No. 11, pp. 39-41, 1995.

[7] Erik F Sang and Fien De Meulder. Introduction to the conll2003 shared task: Language-independent named entity recognition. arXiv preprint cs/0306050, 2003.

[8] Anil Kumar Singh. Named entity recognition for south and south east asian languages: taking stock. In The IJCNLP08 Workshop on Named Entity Recognition for South and South East Asian Languages, 2008.

[9] Khaled Shaalan. A survey of arabic named entity recognition and classification. Computational Linguistics, Vol. 40, No. 2, pp. 469-510, 2014.

[10] Darina Benikova, Chris Biemann, and Marc Reznicek. Nosta-d named entity annotation for german: Guidelines and dataset. In Language Resources and Evaluation, pp. 2524-2531, 2014.

[11] Jakub Piskorski, Lidia Pivovarova, Jan S̆najder, Josef Steinberger, and Roman Yangarber. The first cross-lingual challenge on recognition, normalization, and matching of named entities in slavic languages. In The 6th Workshop on Balto-Slavic Natural Language Processing, pp. 7685, 2017.

[12] Hiroya Takamura, Takashi Inui, and Manabu Okumura. Extracting semantic orientations of words using spin model. In The Association for Computational Linguis- tics, pp. 133-140, 2005.

[13] Nozomi Kobayashi, Kentaro Inui, Yuji Matsumoto, and Kenji Tateishi. Collecting evaluative expressions for opinion extraction. Journal of Natural Language Processing, Vol. 12, No. 3, pp. 203-222, 2005.

[14] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[15] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会発表論文集, pp. 797-800, 2016.

[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

## A 参考情報

表 6: 全ての状況についての単語の極性予測精度