タグ付けツールによる評判情報コーパスの作成支援
唯野良介 Ý嶋田和孝 Ý遠藤 勉 Ý

九州工業大学情報工学部知能情報工学科

はじめに

近年，や掲示板等の普及により，個人が製品やサービスなどに対するレビューを投稿する機会が増えている．これに伴い，自然言語処理において，レビュー等の評価情報を対象とした分析 評判分析 の重要性が増している．この評判分析の研究における重要なタスクとして，評価情報コーパスの構築が挙げられる．
は評価情報のモデルは様々であるが，例えば小林ら
評価情報を  根拠，評価，態度  という意見の構成要素に分類してタグ付けを行い，意見タグ付きコーパスを作成している．本研究においても，評価表現とその極性肯定 否定 のペアに加えて，評価項目という情報を考慮したタグ付きコーパスの作成を行っている．しかし，人手によるコーパスの作成には多大な手間と時間がかかり，またコーパスの質といった問題も問われる．
そこで本稿では，質の高いコーパスを効率的に作成するためのシステムを構築し，タグ付きコーパスの作成支援を行う．



使用データ 

グラフィック(g)について肯定的(p)<g p>グラフィックが綺麗</><d,s n,n>難し過ぎて面白くない</>
難易度(d)，満足度(s)について否定的(n)

図タグ付け例

人のアノテータのタグ付け結果が一致しているほど，作成したコーパスは信頼できるといえる．そこで，½ と ¾ のタグ付けの一致度を算出したところ，両ア                            ÝÝ

 タグ付け支援ツール



本節では 節で得られた結果を踏まえて，より効率的にタグ付きコーパスを作成するための支援ツールを構築する．ツールに現在実装されている機能は次の つである．図 に実際のツール画面を示す．

     

本研究での対象は，らが評価文書分類で使用したゲームレビュー文書である．この評価文書には，各レビュー記事ごとに つの評価項目が含まれてい」 「グラフィックる．評価項目は「オリジナリティ」，「音楽」，「熱中度」，「満足度 」，「快適度」，「難易度」である．この文書の一部 約文 に対して 名のアノテータ ½ ¾ がそれぞれタグ付けを行った．アノテータは文書内から評価表現を選別し，タグを付与する．タグの種類は極性タグと，選んだ評価表現がどの評価項目に関連するかのタグの計 種類である．タグ付けした文章数はそれぞれ ½文，文である．互いの文章数に差があるのは， ½¾
はこのデータを他研究で使用した際に何度か修正・追加を行ったためである．実際のタグ付け例を図 に示す．

   

ノテータが同一箇所の表現にタグを付与した割合 評価
表現の選択一致率 は，付与したタグが互いに一であった．この値は 値の致した割合は 値で指標において中程度の一致度といえるが，十分な値とはいえない．また，アノテータによる評価表現の見落としも多数存在していることがわかった．

図支援ツール画面  によるタグ付け操作の簡易化



節では既存のエディタを用いてコーパスを作成した．しかし，タグ付け作業に手間がかかり，アノテータにかかる負荷の増大，コーパスの作成効率低下といった問題が生じてしまった．そこで，タグ付け操作を簡易を作成する．これにより，マウス化するためのクリック等の簡易作業でタグ付けを行うことが可能になる．

!"#$

 評価項目と関連度の高い表現の強調表示
タグが付与されやすいと思われる表現をあらかじめ強調表示させることで，タグ付けにかかるコストを減少させる．そのためにまず， 節で準備したタグ付きコーパ
スから各評価項目と関連度の高い表現の抽出を行う．例
えば，「グラフィック」の評価項目タグが付与された表
現中には 画像 という単語が頻出するという傾向がある．この場合，「グラフィック」と 画像 は関連度が高いとし，この つをペアにして抽出する．今回はを用いることで評価項目別に関連度の高い単語を抽出する．また単語の頻度情報を用いて，極性と単語のペアも抽出する．このようにして得られた表現を用いて，文書内の同一表現を強調表示 文字色の変更 する．

%&'&

タグ付き事例の提示
信頼度の高いコーパスを作成するためには，付与したタグがアノテータ間で異なる「タグ揺れ」の問題を解消はそのための手法として，する必要がある．宮崎ら
過去のタグ付き事例の提示を行っている．タグ付き事例を参照することでアノテータ間の判断を共有させることが可能となる．そこで本ツールにおいても事例提示を行うことで，タグ揺れ問題の解消を試みる．提示する事例の種類は以下の つである．

 別文書からの類似事例の提示
アノテータが対象とする表現に対して，過去のタグ付き事例集の中から類似度の高いものを提示する．
 同一文書からのタグ付き事例の提示
同一文書に対する他アノテータのタグ付け例を提示する．これはアノテータが各自タグ付けを行った
後，見直しをする際に使うものである¶½ ．

 表 各アノテータのタグ付け結果! 実験 " 

#ケース

アノテータ

"!"
#!
& ' ("
評価表現数"*!
付与タグ数#$+
作業時間 &分'!$
評価表現数
付与タグ数
作業時間 分

Ì½Ì¾

表

""$
#!"
#"



#"
+%

"!%##)#
")%
#""
!%



%"(#)$アノテータ間のタグ付けの一致度 実験 

ケース
評価表現の選択一致率
付与したタグの一致度 ´値µ!
"$,*!* $,*!# $,*$*$,"%$ $,# + $,##!

#  表  各アノテータのタグ付け結果!実験 " #- "+% ケース

アノテータ

評価実験 節で構築した支援ツールを用いて実際にコーパスを作成し，支援ツールの有効性を確かめた．対象データはゲームレビュー文書（ 節とは異なるデータ）とし，アノテータは  名  ，  である．ツールの各機能の効果をそれぞれ調べるために，同じレビュー文書に対して次の  つのケースで順にタグ付けを行った．
ケース  支援ツール無し
ケース  !"# 有り ( 強調表示あり
ケース  ケース  ( 類似事例提示あり
ケース  タグ付き事例あり ケース  の見直し
ケース  の提示事例として， 節で作成したコーパスの中でとのタグ付け結果が完全に一致した事
例    文 を用いた．実験はデータを変えて  度行った．順番に実験 ，実験  とし，実験結果を表 から表 に示す．表 ，表  の項目は，「評価表現数」はアノ½½



評価表現数
付与タグ数
作業時間 分

Ì¾

評価表現数
付与タグ数
作業時間 分¾¶½ 予備実験から，初めからこの機能を使用するとアノテータの視野が狭まり，評価表現を見落としてしまうことがわかったため．

-& '& '¾

テータがタグ付けした表現の総数，「付与タグ数」はア
ノテータが表現に付与したタグの総数，「作業時間」はタグ付けにかかった時間を表す．なお，実験に用いたレ文，実験 ：約文であビュー文書は実験 ：約り，実験 ではケース を省略している．
表 ，表 の実験結果から，使用する機能が増えるにつれてタグ付けの一致度が上昇していることがわかる．
この結果から，今回作成した支援ツールはタグ揺れの減少に有効であるといえる．特に，ケース における結果が最も良かったことから，同一文書からのタグ付き事例の提示は見直し作業として有効であることがわかる．
ケース の事例提示による 値の上昇率は十分でなかった．これは用意した事例の量が少なく，類似事例として適切な表現を提示できていないことが原因だと考えられる．また，ケース において実験 ， 共に評価表
現の抽出数，選択一致率が下がる結果となった．これより，事例提示による支援は，評価表現の抽出にも影響を及ぼすことがわかった．しかしその場合でも，明らかな評価表現の見落としはほとんどなく，対象データの量とÌ½表

($#)#%"$*%$*++#)!
%")#*

%*

)(アノテータ間のタグ付けの一致度 実験 
ケース

評価表現の選択一致率
付与したタグの一致度 ´値µ!
"$,*#$ $,* %$,#+ $,%!)-.
-.

# 

比較しても十分な量をタグ付けできているといえる．
全体的に実験 よりも実験 の方がタグ付けの一致度が高い結果となった．これは実験 のケース において，他のアノテータのタグ付け例を一度参照したことでタグ付けの判断の共有が行われたためだと考えられる．
これより，アノテータがこの後互いに異なる文書に対してタグ付けをした場合でも，タグ揺れの少ないコーパスの作成が期待できる．

 おわりに
本稿ではタグ付けツールを試作し，ツールによる評判情報コーパスの作成支援を行った．コーパスの作成実験を行った結果，アノテータ間のタグ付けの一致度を上げることができ，ツールの有効性を確認できた．今後は新たな支援方法を検討し，より質の高いコーパスを効率的に作成できるシステムの構築を目指す．

参考文献
  小林のぞみ，乾健太郎，松本祐治．意見情報の抽出 構造化のタスク仕様に関する考察．情報処理学会研究報告，

         !"#$ !%#!& #% '#( %!) '#  (*% (% !"#$ "$*% (#%# +#( ! ' +,--      宮崎林太郎，前田直人，森辰則．人手による評判情報注
釈付けにおける揺れの分析と注釈付け支援ツール．情報処理学会研究報告，
  ，  .，．