文・単語単位の評判分析データセットのまとめ

# 文・単語単位の評判分析とは何か

評判分析 (Sentiment Analysis) は、文章から書き手がポシティブな感情を抱いているか、ネガティブな感情を抱いているかを分類する問題です。SNSの投稿から商品の評判をモニタリングしたりなど商業的に使いやすいこと、分類問題として定式化しやすいなどの理由から、2000年台初頭から実施されはじめ[^1]、今でも自然言語のトップカンファレンスで1つの分野として成立しています[^2]。

さて、そんな評判分析ですが、近年では単なるポシティブ/ネガティブの二値分類を超え、観点付きだったり (「**味は**美味しいが、**値段が**高い」)、もっと細かく感情を分類したり、多言語だったり、タスクを難しくする方向で発展を続けています[^3]。そのような高難易度化した評判分析の中に、Sub-document level sentiment analysis[^4]というタスクがあります。このタスクでは、例えばTwitter投稿単位のポジネガだけでなく、各文のポジネガを分類します。このようなことが可能になると、ポジネガが書いてる部分をピンポイントに抽出したり、賛否両論の記載がある文書から両側の意見を抽出したりできるようになります。

本記事では文・単語単位の評判分析に取り組む際に使えるデータセットをまとめます。

# 文・単語単位の評判分析のデータセット

| データセット名 | データ数 | データソース | アノテーション粒度 | レビュー全体のポジネガ | 観点付き |
|:-----------|:-------|:-----------|:--------------|:--------------|:-------|
| [SST](#Stanford Sentiment Treebank) | 10,662文 | 映画レビューサイト (rottentomato.com) | フレーズ | Yes | No |
| [Lazaridou et al.](#Lazaridou et al.) | 65投稿 | ホテルレビュー | 文 | No | Yes |
| [Täckström et al.](#Täckström  et al.) | 294投稿 (3,836文) | Amazon商品レビュー | 文 | Yes | No |
| [HATDOC](#HATDOC) | 100投稿 (1,662文) | オーディオブックレビュー | 文 | Yes | Yes |

## Stanford Sentiment Treebank

最も有名な評判分析データセットの1つ。Stanford Parserで構文木解析した文の各フレーズごとにポジネガが振られています。

| ![sst_tree.png](https://qiita-image-store.s3.amazonaws.com/0/152362/64c521fb-f774-cb43-9767-e77d282aac59.png) | ![sst_annotation.png](https://qiita-image-store.s3.amazonaws.com/0/152362/28c24e3c-f3a7-b7a9-5b10-dadf6d41a763.png) |
|:--:|:--:|
| 部分木ごとに5段階でポジネガがふってある | 他の文とは独立してポジネガをアノテーションしている |
※画像は[論文](https://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf)より引用

[公式ページ](https://nlp.stanford.edu/sentiment/index.html)。ウェブサイトより[直接ダウンロード](http://nlp.stanford.edu/~socherr/stanfordSentimentTreebank.zip)できるほか、pythonなどから直接ダウンロードする[ツール](http://qiita.com/niitsuma/items/1ad116c4860231d4d548)も公開されています。アノテーション基準は[論文](https://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf)にて言及されています。

## Lazaridou et al.

ホテルレビューに対する観点付き+文単位 (厳密に言えば談話構造単位) のアノテーション。

詳細は[論文](http://ivan-titov.org/papers/acl13_sentiment.pdf)に記載されています。[著者のページ](http://ivan-titov.org/software.html)からデータを[ダウンロード](http://ivan-titov.org/data/acl13_sentiment_data.tar.gz)できます。

## Täckström et al.

Amazonの商品レビューに対して文単位でポジネガをふったデータセット。 アノテーションは"positive", "negative", "neutral"に加え、"not related"という特殊なラベルが定義されています。

[ダウンロードページ](https://github.com/oscartackstrom/sentence-sentiment-data)。アノテーションなどを説明した[論文](https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/36962.pdf)。

## HATDOC

オーディオブックレビューのデータセット。他のデータと違い*投稿全体のポジネガを判断するのにつかったのはどこか*という基準でアノテーションされています (SSTとはちょうど逆の考え方)。  

[公式サイト](http://www.idiap.ch/paper/hatdoc/)からはダウンロードだけでなく可視化ツールも公開されています。アノテーション基準などを説明する[論文](http://publications.idiap.ch/downloads/papers/2016/Pappas_SocialNLP@EMNLP_2016.pdf)。

## BeerAdvocate

ビールへの論評に対する文単位のアノテーション。[現在は公開されていないようです](http://snap.stanford.edu/data/web-BeerAdvocate.html)。同様のデータセットにratebeerというのがありますが、これも公開されていません。

[^1]: [Quora, "What is the history of Sentiment Analysis?"](https://www.quora.com/What-is-the-history-of-Sentiment-Analysis)
[^2]: [ACL PC Chair Blog, "Accepted Papers, Demonstrations and TACL Articles for ACL 2017"](https://chairs-blog.acl2017.org/2017/04/05/accepted-papers-and-demonstrations/)
[^3]: [SemEval-2017 Task 4, Sentiment Analysis in Twitter](http://alt.qcri.org/semeval2017/task4/)
[^4]: "Sub-document level sentiment analysis"と呼ばれることは実はあまりない。評判が付される単位を使って、"Sentence level sentiment analysis"だとか、"Phrase level sentiment analysis"だとか呼ばれる。もっと一般的に"Fined-grained sentiment analysis"と呼ばれることが多いが、これは観点付き評判分析も含むようなので、本記事ではわけている。