言語処理学会 第24回年次大会 発表論文集 (2018年3月)

リビュー文書を対象とした句単位の日本語評価極性タグ付きコーパス
中澤 真人

池田 可奈子

山田 美知花 吉村 綾馬
首都大学東京

鈴木 由衣

小町 守

{nakazawa-naoto, ikeda-kanako1, yamada-michika, yoshimura-ryoma,suzuki-yui}@ed.tmu.ac.jp, komachi@tmu.ac.jp

1

はじめに

2

ウェブ上のリビュー文書は，マーケティングに役立つ有益な情報が多く含まれるため，評価極性分析の対象となっている．評価極性分析の中でも，「アメニティがあれば嬉しい」というように，フレーズとして極性のついた単語周辺の文脈を考慮することで，ユーザの嗜好やニーズの獲得ができる [1]．

Socher ら [2] が構築した Stanford Sentiment Treebank（以下 SST）は，英語で書かれた映画のリビュー文を対象として句単位の評価極性情報が付与されている．SST は文に対して自動で句構造解析を行い，抽出された構成素に対して 5 段階の評価極性を付与してあるデータセットで，英語の評価極性分析で広く使われている [3]．
しかしながら，日本語では文書単位または文単位で評価極性が付与されたコーパスは存在するが，句単位で評価極性情報が付与されたコーパスは存在しない．
文単位のアノテーションでは，どの単語がどの単語と結びついて極性を持つかといった局所的な構造や，文中でフレーズの極性が否定表現によって反転したり強意表現によって強まったりするのかが分からず，日本語でこれらの構造を考慮することが評価極性分析に有効かどうかを検証することができない．
そこで我々は，日本語のリビュー文書に句単位で評価極性情報を付与した．我々のコーパスは Stanford
Sentiment Treebank を参考に，句に対して 5 段階の評価極性をアノテートしたデータセットである．
本研究の主な貢献は，以下の点である．
• 日本語のリビューコーパスに対し，句単位の評価極性情報を付与した• 本研究で構築したコーパスは，GitHub からダウンロードできる関連研究

日本語に対する評価極性分析では，NTCIR-6 OPINION 意見分析パイロットタスクテストコレクション1 とNTCIR-7 MOAT 多言語意見分析テストコレクションが広く使われている2 ．このデータは新聞記事を対象として，1 文単位で人手で評価極性情報を付与したものである．新聞記事を対象にしているため，リビュー文書の解析に必要なウェブに特有の表現は含まれず，また，文より小さい単位の評価極性を知ることができない．そこで本研究では，ウェブ文書からフレーズを抽出してアノテーションを行なった．
一方，ウェブ文書に対する評価極性タグ付きコーパ
スとしては，文単位で評価極性情報が自動付与された
ACP Corpus がある3 ．ACP Corpus はウェブ文書集合から評価文を自動収集し，HTML の構造を用いて箇条書きの見出しの「良い点」「悪い点」などの情報を手がかりに評価極性を付与している．しかし，自動付与されたコーパスには誤った情報が含まれる．また，このコーパスは文単位のアノテーションである．本研究では，フレーズを対象に人手によるアノテーションを行ない，アノテーションの信頼性についても調査した．
また，日本語ブログコーパスとして Kyoto University
and NTT Blog コーパス4 （KNB コーパス）がある．
KNB コーパスはブログ記事にアノテータの任意の句単位で評判情報が付与されている．本研究ではブログ記事ではなくリビュー記事に対して評価極性情報を付与した．また，記事単位で文脈を見て特定の句に対しアノテートするのではなく，あらゆる句を対象にフレーズ以外の情報を参照せずに評価極性情報を付与した．
1 http://research.nii.ac.jp/ntcir/permission/
ntcir-6/perm-ja-OPINION.html
2 http://research.nii.ac.jp/ntcir/permission/
ntcir-7/perm-ja-MOAT.html
3 http://www.tkl.iis.u-tokyo.ac.jp/ kaji/acp/~
4 http://nlp.ist.i.kyoto-u.ac.jp/kuntt/― 781 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

3

句単位の評価極性タグ仕様

3.1

アノテーション対象

表 1: ラベルとフレーズの例．
ラベル
フレーズ1 (very negative)

二度と宿泊しない

評価極性タグのアノテーションは，Socher らの2 (negative)

不便ですが、SST [2] にならって句構造解析済みのフレーズ（句）

3 (neutral)

貸し出し用を対象として行う．文に対して句構造解析をして得ら

4 (positive)

豊富なメニューれた全てのフレーズに極性を付与する．ただし，アノ5 (very positive)

価格的にも非常に満足テーションの際にはフレーズのみを見て極性を判断し，フレーズ外の文脈は考慮しない．また，フレーズはトークンではなくタイプとしてアノテーションする．
句構造は自動解析により付与するが，形態素・句構
造解析誤りと思われる事例においても，フレーズ区切りは正しいものとして極性を付与する．例えば「この部屋は木が邪魔できれいな海がいまいちでした。」という文から「この部屋は木が邪魔できれい」というフレーズが自動抽出されたとする．句構造解析が正しければこのフレーズは抽出されないが，このような場合にも正しい句構造を付与するのではなく，抽出されたフレーズを対象に極性を付与する．

3.2→「雰囲気」と判断して 3）が，元の表現が推測できない場合も 3 を付与する．

2 (negative) と 4 (positive) はフレーズの中に 1つ以上の極性を示す表現があった場合に付与する．2つ以上極性を示す表現があった場合，アノテータの主観に委ねる．同じ極性を持つサブフレーズがある場合は 1 や 5 になる場合もあれば，相反する極性を持つサブフレーズが含まれる場合は 3 になる場合もある．
リビューには条件や限定付きで評価する文も頻出するが，条件節の有無によって極性を変化させるかどうかはアノテータの主観に委ねた．例えば，「マラソン後の宿泊先としては最高だと思います」というフレー

アノテーション基準

ズの場合，「最高だと思います」の部分の極性は 5 とな

リビューからの情報抽出のために，Socher らのるが，「マラソン後の宿泊先としては」という条件節にSST [2] にならい読み手として判断した極性を付与

よってフレーズ全体の極性を 4 とすることも認める．

する．

また，リビュー文の中にはニュートラルともネガ

SST では人手によるアノテーションの際には 7 段階

ティブとも取れる要求を述べる表現も含まれるが，今で分けて付与していたが，最終的なデータは 5 段階に回のデータのうちの 5%程度の文にしか含まれないた変換されていたため，本研究では表 1 に示すように最め，特別なラベルは付与せず極性の判定を行なった．

初から 1 から 5 の 5 値で極性を付与する．

1 (very negative) や 5 (very positive) はそれ

4

句単位の評価極性タグ付け

ぞれ，ネガティブまたはポジティブなフレーズが強意
前節で述べた仕様に基づき，日本語のリビューコー語などの強める表現で修飾されている場合，または 2つ以上の同じ極性を持ったサブフレーズがフレーズの中に含まれている場合に付与する．本コーパスでは 1フレーズだけで 1 または 5 の極性が付与されることパスに対して句単位の評価極性アノテーションを行った．単語分割には KyTea 0.4.7 5 ，句構造解析にはCkylark 6 を使用した．句構造解析の結果得られた構成素のうち，末尾が P で終わる非終端記号（例: “動はない．

3 (neutral) はポジティブでもネガティブでもない
場合，多義語で文脈不明の場合などに付与する．ポジ
ティブでもネガティブでもない場合には，「レストランに入る」などの一般的なものや，「いまだかつて」などのような強意表現であるフレーズが含まれる．多義語で文脈不明の例は，「食後はトレイを下げてくれ」があり，述語の活用によって事実を述べる場合（連用形）と，要望を述べる場合（命令形）があるが，3 と判定

詞 P”）のカバーする単語列をフレーズとして抽出した．フレーズの前後の文脈を考慮せずにアノテーションするため，SST と同様に抽出したフレーズをランダムに並べ替えてからアノテーションを行った．
本研究では日本語リビューコーパスとして筑波大学
文単位評価極性タグ付きコーパス7（以下，TSUKUBAコーパス）を使用した．楽天トラベルのレビューデー
タの 1,000 件（4,309 文）に対して，文単位の評価情する．また，書き手の変換・タイプミスは元の表現が推測できる場合は推測して極性を付与する（「不陰気」

5 http://www.phontron.com/kytea/index-ja.html
6 https://github.com/odashi/ckylark
7 http://www.nlp.mibel.cs.tsukuba.ac.jp/ inui/SA/~
corpus/readme-euc.txt― 782 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

図 1: TSUKUBA コーパスから抽出してアノテートし

図 2: SST の 239,232 フレーズの極性値を 5 値に置換た 10,000 フレーズの極性ラベルのヒストグラム．

した際のヒストグラム．

報が付与されたコーパスである．TSUKUBA コーパて，TSUKUBA コーパスは約半分の文がポジティブ

スには，文単位で 6 値の評価極性情報が付与されていと判定される一方，ネガティブと判定される文は 2 割るが，本コーパスでは，このコーパスに対し，改めて程度なので，文単位ではポジティブとネガティブの割

句単位で 5 値の評価極性情報を付与した．

合がほぼ半々である SST と比較すると，ネガティブTSUKUBA コーパスから抽出した異なり 59,758 フなフレーズの数が少ないと考えられる．また，1 と 5レーズに，情報系の大学生 3 人で評価極性を付与した．

が SST と比較して少ないのは，本コーパスでは 1 フ全体のアノテーションをする前にトレーニング期間をレーズのみで 1 と 5 をつけるのを許さなかったせいだ

設け，アノテータ間で揺れる部分について議論した．と考えられる．

10,000 件については 3 人全員が，残りの 49,758 件は5.22 人ずつでアノテーションを行った．
全員が極性を付与した 10,000 件については，最大と最小の極性の差が 2 以上あるフレーズを抽出し，極性を見直した．すり合わせをした後のアノテータ間の一致率 (Fleiss’ κ) は 0.70 であり，高い一致率と判断できる．3 人のアノテータが付与した極性の平均値をとり四捨五入したヒストグラムを，図 1 に示す．

推定する文脈が一致しない場合推定する文脈が複数考えられる場合に，どう推定するかで判定が一致しない場合があった．例えば，「宿探し中に見つけたこのプランは 2 名利用で目を疑う価格でした」のように，評価を表す語が含まれているにもかかわらずフレーズ外の推定する文脈の違いで，いい意味（価格が安い）で全 59,758 フレーズそれぞれに付与された極性の平均値を正式なスコアとし，それぞれのアノテータが付与した極性とともに公開する．

捉えるか悪い意味（価格が高い）で捉えるか判定が揺れる事例があった．今回のアノテーションではフレーズ外の文脈を参照しないため，これらのケースの曖昧性を解消することは困難である．

考察

5

アノテーションの不一致

日本語のリビューコーパスに句単位で評価極性のアノテーションを行なった結果について以下で考察する．

複数の極性のフレーズがある場合フレーズの中に極性に影響を与える複数のサブフレーズが存在した場合，極性の判断が揺れる場合があった．例えば，「設備の5.1

古さが多少気になりますが、清掃は行き届いていましSST との比較た」は，「設備の古さが多少気になる」がネガティブ，
本研究では多くの点を SST にならってアノテーションを行った．英語と日本語で言語は異なるが，同様の仕様で行ったアノテーションにどのような特徴が見られるか比較する．SST で公開されている各アノテータの極性値を仕様どおりに 5 値に置換し，その平均値を「清掃は行き届いていた」がポジティブであるが，これらのサブフレーズの極性の度合いがアノテータによって異なるため，フレーズ全体としての極性が変わった．
これらのケースではそれぞれの極性をどの程度重視するかは主観によるため，本質的に曖昧性がある．

四捨五入した際の分布を図 2 に示す．我々が行ったアノテーションの一部の結果（図 1）と分布を比較す

表記揺れと語感が不一致の場合ると，どちらもニュートラルの割合が約半分を占めて記が違うことによって評価が分かれる場合もあった．
˙ いが」は，
˙
例として，「面白い臭「匂い」ではなく「臭いること，ネガティブよりポジティブのほうが多いこ

読みは同じでも，表となど傾向が似通っていることがわかる．相違点とし― 783 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

い」という表記を用いることでネガティブに判定されられている拡張モダリティのようなラベルを別途用意た場合と，「臭い」自体はニュートラルな表記だと判定するとよいと思われる．

された場合があった．さらに，語感の違いによりアノテータ間で判定が揺れる場合があった．例えば，「リ6ンスインシャンプー」については，使いやすいと思うかどうかが読み手によって異なるため，アノテータ間で判定が一致しなかった．今回は読み手の主観でアノテーションしているため，文脈の少ない短いフレーズに対し揺れを解決することは難しい．

5.3

本研究では，日本語のレビューコーパスを対象とし，句単位の評価極性付与に取り組んだ．今回構築したコーパスは，Stanford Sentiment Treebank（SST）のアノテーション基準に則り，TSUKUBA コーパス（楽天トラベル）全体にアノテーションしている．ア
ノテーションの分析結果から，今回の仕様に基づくアアノテーションの限界

ラベルの確信度

おわりにノテーションでフレーズ単位の評価極性の一致率が高

今回，ポジティブとネガティブの曖いコーパスを構築可能であることが分かった．また，昧性があるフレーズはニュートラルを付与することとアノテーションの不一致が起きやすい箇所についてもしたが，極性に曖昧性がない事例との区別ができない議論した．という問題があった．アノテートの際，複数のラベル

本データセットのアノテーションは SST に従っての付与を許すような仕様にしたり，あるいはそれぞれフレーズ単位でランダムにアノテータに提示し，読みのラベルの確信度を付与できるようにすることで，曖手の主観的な評価をアノテートしたデータセットであ昧性のないニュートラルとそれ以外を区別できるようるが，文単位で書き手の主観的な評価をアノテートしになると考えられる．

た KNB コーパスに同様の基準で付与することで，読み手にとっての評価と書き手にとっての評価の違いに強意表現強意表現は，普通は「非常に」や「すごい」ついて比較する必要がある．フレーズより広い文脈をのような短いフレーズとして後続する表現を連用修飾見ることによるフレーズ単位のアノテーションの揺れするが，本コーパスでは「ビジネスホテルでは見たこの確認を含めて検討していきたい．との無い」など節単位で強意表現になるものがあり，先行する文脈に強意対象がある場合もあった．今回の参考文献

アノテーションは極性を持つフレーズを対象としてアノテーションを行なったが，修飾先のフレーズの極性[1] Hiroshi Kanayama and Tetsuya Nasukawa. Textual demand analysis: Detection of usersを変化させるフレーズ（e.g. 強意表現，否定表現）にwants

and needs from opinions. In Proc. of COLING

ついては分けてアノテートし，どのような振る舞いを2008, pp. 409–416, 2008.

しているか検討することが今後の課題である．

[2] Richard Socher, Alex Perelygin, Jean Wu, Jason
モダリティ

モダリティにかかわる表現を含むフレー

Chuang, Christopher D Manning, Andrew Ng,ズに関しては，今回は特別に考慮せず極性を付与した

and Christopher Potts. Recursive deep models

ためアノテータ間で判定に揺れが生じる事例があった．

for semantic compositionality over a sentiment

例えば，「絶景の渓谷、もう少しライトあった方が綺treebank. In Proc. of EMNLP 2013, pp. 1631–

麗」のように条件（もう少しライトあった方が）と極1642, 2013.

性をもつ語（綺麗）が含まれているフレーズでは，条件が付いているため実際にはそうではないとの判断で[3] Jiwei Li, Thang Luon, Dan Jurafsky, and Eduard Hovy. When are tree structures necessary

ニュートラルとするか，「綺麗」の極性を採用しポジ

for deep learning of representations? In Proc. of

ティブとするかで揺れた．また，「ぜひ男性スタッフ

EMNLP 2015, pp. 2304–2314, 2015.

も笑顔で同様に対応して下さい。」という要望を含むフレーズでは，男性ができていないという事実に着目[4] Suguru Matsuyoshi, Megumi Eguchi, Chitose

してネガティブなのか，女性はできているという含意

Sao, Koji Murakami, Kentaro Inui, and Yuji Mat-部分に着目してポジティブなのかアノテータ間で判断

sumoto. Annotating event mentions in text withの揺れが生じた．このような事例について，より詳細

modality, focus, and source information. In Proc.

な情報を抽出するためには，Matsuyoshi ら [4] で用いof LREC 2010, pp. 1456–1463, 2010.

― 784 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.