系列パターンを利用した評価表現の分類
筬島郁子 Ý

嶋田和孝 ÞÝ 九州工業大学大学院情報工学研究科

遠藤 勉 ÞÞ 九州工業大学情報工学部

はじめに
我々は，何らかの製品の購入を考えたり，どこかへの旅行を考えたりといった物事に対して判断を下す場合，第三上者の意見などの評判情報を利用することが多い．
では，様々な人物との意見交換が可能であるため，我々はを活用して第三者の意見などの評判情報の検索を上には気軽に行うことができる．しかしながら，大量の情報が溢れており，その収集した情報の内容を把握するには過大な労力を必要とする．企業においても，オンラインアンケートを実施するなどして，顧客からの評判情報の収集を試みており，近年，こうした評判情報を有効活用するためのニーズが高まってきている．
我々が評判情報を扱う場合，その情報が肯定的意見なのか否定的意見なのかを判断して参考にしている．よって，こうした第三者の意見などの評判情報を肯定的意見と否定的意見に自動分類することで，より情報の内容把握が容易になり，短時間で大量の情報を有効利用できる．そこで，本研究は，評判情報を文単位で扱い，評価文を肯定的意見と否定的意見に分類することを目的とする．ただし，評価文は抽出できたものと考え，その文が評価文かどうかはここでは議論しない．

 関連研究本研究では，文単位で評判情報を扱い，その文を肯定的意見・否定的意見に分類している．また，本研究は，系列パターンを利用したスコア計算に基づく手法により，評判以下，情報を分類しているため，ここでは，のみでのスコアリングにより評判情報を分類している関連研究について紹介する．
は，語のスコア計算をすることで，電子掲示
藤村ら板の評判情報を文単位で肯定と否定に分類している．分類
する際の素性として，形容詞・形容動詞・名詞・未知語を利用している．肯定的 否定的 な評判には，肯定的 否定的な概念を持った語が多く含まれているはずであるという仮定を基に，肯定的な評判と否定的な評判の差をとることで，スコアリング 式 をしている．    は，肯定的な評判に語が出現する確率，    は，否定的な評判に語が出現する確率を表しており，この確率を利用した語のスコアを    としている．また，  は文  のスコアを表している．
最終的な分類器は，文中の語のスコアリング 式 の総和 式 を求め，その値が正の値ならば，肯定的な評価文，負の値ならば，否定的な評価文としている．このスコアリと同等の精度
ング手法を用いることで，分類結果はが得られたとしている．





                        

¾   肯定的意見・否定的意見の分類

事前処理¯ 収集した評判情報の特徴
収集した評判情報は，ノートに関するレビュー記事で，一つは，記者が書いたレビュー記事½ ，もう一つは，一般ユーザが書いたレビュー記事¾ の２種類である．特徴として，記者が書いた記事は，一文が長く，重文で構成されていることが多く，また表現も固い．そのため，一般的に評価を表す形容詞 「良い」「悪い」など が少ない．また，記者が書いたレビュー記事は，否定的意見であっても，明確に否定している表現が少なく，一般ユーザが書いた記事に比べ，曖昧な表現が多いといった特徴がある．一方で，一般ユーザの書いた記事は，一文が短く，単文で構成されていることが多い．また，単純な形容詞などを利用した評
価表現も多く，記者が書いたレビュー記事に比べると，肯定的意見と否定的意見の区別がつきやすい．

¯ ラベル付けの方針
収集したレビュー記事において，評価文と思われる文に対して，人手で肯定的意見，否定的意のラベル付けを行う．前述した通り，記見者が書いた記事には，重文が多く存在するため，一文であっても，肯定的意見と否定的意見が混在することが多い．よって，より有効な素性を抽出するために，表層的な手掛かり語を用いて，逆接の意味をなす文のし，ラベル付けを行う．しかしなみ単文に分割 表
がら，分割処理適用後も，肯定と否定の評価が混在している文も存在する．このような文に対しては，結論として，その文がどちらの内容であるかによって判断する．

 

 素性選択¯ 系列パターンの利用
評価文を肯定的意見と否定的意見に分類する際，素½           ¾    

 逆接の分割処理の例

表
手掛かり語

&分割処理

が，使い勝手はよいが，／ 大きすぎて持ち運びにくい．

だが，コンパクトで運びに便利だが，／ 連続駆動時間が短い．

&



性選択は重要である．単なるのみの素性では，人手であってもその素性が肯定的意見のものなのか，否定的意見のものなのかを判断するのは困難である．例
製品において，「」「」「高い」とえば，いった名詞や形容詞のみではその素性が肯定もしくは否定のどちらの意味を表しているのか判断するのは難＋値しい．しかしながら，「処理＋能力＋高い」「段＋高い」といった語の組合わせでみてみると，その判別が容易になると期待できる．そこで，今回は素性だけでなく，系列パターンも用いることして，ととする．その結果，だけでは，どちらのクラス 肯定的意見・否定的意見 に属するのか判断できない評価文であっても，系列パターンでの判断を加えることで分類できる．また，系列パターンの抽出には，アルゴリズムを用い，その実装には，工藤氏が開発したソフトウェア½ を用いた．



!!





"#$ %
表 素性として利用した品詞
品詞の種類

名詞，形容詞，形容動詞，動詞 サ変動詞を除く，可能を表す助動詞 〜デキル，否定を表す助動詞〜ヌ，〜ズ，未知語

評判情報を扱った関連研究のほとんどは，分類に利用する素性に対して，品詞の制限を行っている．本研
究においては，系列パターンを抽出する際，品詞の制限を厳しくすると，ノイズとなる系列パターンは除外できるが，抽出できるパターン数も減少してしまうという問題がある．そこで，より多くの系列パターンの抽出のため，少しでも分類に有効だと考えられる品詞表は利用する．

¯ 低頻度の系列パターンの利用
テキストマイニングや重要語抽出など様々な分野において，高頻度語が最も信頼できる語であると判断するのが一般的である．系列パターンにおいても，パターン長が長い程，文に近いパターンが抽出でき，数 最小頻度数：以下，数 が高い程，他の文に多く出現することから，パターン長数は高い方が信頼できる．しかしながら，
および&$&'& '
&½



現実問題として，人手で書かれた評価文からは，大量のデータからでないと，数の高い系列パターンは抽出しにくい．その要因として，人手で書かれた評価文には，表記のゆれが多いことがあげられる．例えば，ある人物は，肯定的な評価をする際に「よい」という形容詞を用い，ある人物は「いい」と答える．表層だ
けみると，これらは全く別の語となってしまう．こういった表記のゆれにより，低頻度の系列パターンの中にも，分類に有効な素性が多数存在することとなる．
数が高い系列パターンのみを素性としてそこで，利用するだけでは，素性の数が少なすぎるという問題を解決するために，有効な低頻度の系列パターンも素性として利用する．
しかしながら，低頻度の系列パターンにはこうした素性として有効な系列パターンも存在するが，同時に，ノイズとなる素性も多く存在する．よって，有効な系列パターンが含まれるという理由だけで，低頻度の系列パターンすべてを加えるのは強引すぎる．そこで，低頻度の系列パターンの中で素性として有効な系列パターンのみを底上げするための尺度が必要となってくる．この低頻度の系列パターンを底上げするための尺度として利用するものを以下にあげる．

  !    "  &尺度 ：
肯定的意見か否定的意見かに分類する際，片方のクラスに偏って出現する語は，そのクラスを表す重要な手掛かりとなるという考えの基，式より算出する．   は，語の肯定的評判に含まれる数を表し，同様に    は，語の否定的評判に含まれる数を表している．また，
 と
 は，肯定的評判に含まれる語の総数と否定的評判に含まれる語の総数である．語の肯定的評判での値を   で，語の否定的評判での値を  で表す．

%



(!)
(!)

                     

        #

尺度 ：片方のクラスにのみ出現する語
肯定的意見か否定的意見かに分類する際，片方のクラスにのみ出現する語は，そのクラスを表す重要な手掛かりとなるという考えの基，尺度として用いる．

(!)
(!)

%

低頻度の系列パターンの底上げには，低頻度の系列
値 式
上位の語パターンのうち，各クラスの値上位でない語を含かつもう一方のクラスでのむ系列パターン，もしくは低頻度の系列パターンのうち，片方のクラスにのみ出現する語を含む系列パターンを用いる．

 分類器
%提案する分類器は，スコア計算に基づく手法で，まずのみを用いたスコア計算を行い，その後，のみでは分類が難しい文に対して，系列パターンを用いたスコア計算のスコア計算は，藤村らが提案しているを行う．と値 式を利用する
確率を利用する手法 式
値を利用する手法とは，文中に手法の２種類である．
出現する語すべてにおいて，肯定的な評判での値と値を算出し，それぞれのクラスに否定的な評判での値の総和の差分 式をその文  のスコアおける とする方法である．

 (!)
(!)
(!)
*(!)

 

 

¾



   



¾

 分類実験と考察,,%*) )(!)

  表 

!

 

  &… 式  参照
… 式 $ 参照%

   &     ',

しかしながら，   が に近い場合は，どちらのクラスに属する評価文か曖昧である．そこで，スコア値の絶のみのスコア計算では不対値が より小さい場合は，十分であることから，系列パターンを利用したスコア計算
  を適用する 式 ．

-        のとき   ,                              )
* 最終的な文  のスコア   は，同様に式する．

&

+ で分類文の内訳
肯定：#*# 文
否定： *% 文, 一般ユーザが書いたレビュー記事

肯定：($% 文'* 記事

否定：%&( 文正解した文数

そのクラスに割り当てた文数
正解した文数

そのクラスに割り当てるべき文数 

# &&% &

訓練データより，素性とする系列パターンを抽出する際，数のバランスが重要となってくる．系
系列パターン長と数を変化させながらの予備実験を行っ列パターン長とた結果，最も精度の良かった組合せは， 種類ともパターで，数においては，肯定が で否定が でン長があった．また，この組合せの系列パターンにおいて，ベーのスコア計算式の違いによる精度変化を確スとするに示す．
認するための実験結果を以下 表 ，表表0*+* 分類実験に利用した素性とスコア計算式
素性とスコア計算式(系列パターン  のスコア計算は，訓練データ中の肯定の系列パターン   のうち，文中に存在する系列パターン数
   と，訓練データ中の否定の系列パターン   のうち，文中に存在する系列パターン数
  の差分 式を利用する．また，低頻度の系列パターンを底上げする場合は，その底上げする系列パターンも訓練データ中の高頻度の系列パターンと同等に扱い，系列パターンのスコアを算出する．

/% 記事+ % 実験データ内訳+ 記者が書いたレビュー記事

まず，文  のスコア   を，   もしくは，
 で評価する．   が正の値ならば，肯定の評価文とし，負の値ならば，否定の評価文とする 式 ．




%

記事

$

. ,

分類実験は， 分割交差検定 訓練データ：  ，テスにより行った．実験に使用したデータのトデータ： の通りである．精度の比較として，藤村
内訳は以下 表らの手法をあげているが，素性の品詞は，予備実験において，本手法の品詞制限が良好であったため，本手法と同じ，再現率，お品詞制限とする．評価には，適合率を利用する 式，式，式．実験によび 値
利用した素性とスコア計算式は，表 の通りである．

 

 式 式 $

# 系列パターン$ # ＋尺度  で底上げした低頻度の系列パターン% # ＋尺度  で底上げした低頻度の系列パターン' # ＋すべての低頻度の系列パターン

0


(!)

実験結果 表 から，記者が書いた記事においては，のスコア計算式は，式 の方が良い精度結果を得た．記者
値による分類結果が悪いことから，が書いた評価文は，意外にも肯定と否定の文に特徴だった語が存在しないといえる．これは，記者が書いたレビュー記事においては，否定の表現をあまり使わないという特徴が要因と考えられる．
から，ユーザが書いた記事においては，実験結果 表のスコア計算式は，肯定と否定で異なってい適切なた．しかしながら，肯定と否定の精度の全体的なバランスをみた場合，式 の方が良い．また，評価文を収集する際にも，否定の表現は肯定の表現に比べて少ないために，否+*0

表 のスコア計算式の違いによる分類 
スコア素性精度
計算式 クラス
数    表   *&*$)*$)*&&'&%*')('')( $

*&*(*&*'($')($($')* %

*&'$))$&)*%

%'&'&$%)&$*%$*$%)% '

*&)()()*$%'$'#$%*'#

藤村ら*&))%')**

%($('##%'&(012)#(**&**&$$'$&&#%#$&&*&*$)*$)/  

.#

'&%*- .#$*()(/  .#



*#*

 のスコア計算式の違いによる分類 精度

数    - .#$(#*('*(#/  .#'&%

'%#')#- 

.#$()$)'&)%')%$/  .#%(**('%※ *% &… 系列パターン長定の評価文は抽出しにくい傾向があることから，否定の精度が良い式 の方が適切である．
実験では，素性として妥当であった系列パターン パター
ン長： ， 数 肯定： 否定： に対して，さらに底上げの尺度を用いて選別した低頻度の系列パターンを加えた場
合，底上げの尺度を利用せずに低頻度の系列パターンすべてを加えた場合の比較，およびに手法の違いによる精度比のみを素性に用いた藤村らの分類と較として，
学習器¿ を用いた分類，本手法による分類の つの手法をの素性には，系列パターン比較した 表 ，表 ．と片方のクラスにのみ出現する語を利用し，素性に対する重みの付与，パラメータの変更は行っていない．
においては，尺度 を利用して，記者が書いた記事 表
低頻度の系列パターンを底上げしたものを加えた分類結果が最も良い精度であった．これは，低頻度の系列パターンであっても分類に有効な系列パターンが存在することを表している．また，尺度 を利用した分類では，精度の低下がみられたため，この尺度は有効でないといえる．その要因として，この条件の場合，偶然にも片方のクラスにのみ一回だけ出現した名詞も含まれてしまうので，本来，肯定と否定の分類に適さない系列パターンも底上げしてしまったことが考えられる．
においても，記者が書い一般ユーザが書いた記事 表
た記事と同様に，尺度 を利用して，低頻度の系列パターンを底上げしたものを加えた分類結果が最も良い精度であったが，肯定の文においては，低頻度の系列パターンをすべて加えた場合に，若干の精度向上がみられる．これは，低頻度の系列パターンの中に，まだ，有効な素性が残っていると考えられるため，他の尺度を検討することにより，さらなる精度向上が期待できる．
二種類の記事において，実験結果から，低頻度の系列パターンの中にも素性として有効な系列パターンが存在するこ*- 1 %-1¿    $

素性  

 #

.#

スコア
計算式 クラス- 低頻度の系列パターンを利用した分類- +

表
素性



表
素性1 低頻度の系列パターンを利用した分類         #

()$)'&)%')%$%(**('%'%)( $

()''&)%')'&%)&$('$#  %''*'*&*'(''%#'(%&$#%&& '

()'%$'))*%)'(%')'%)#藤村ら((&('&*$')&'%($*($#'$)#012'%$')(*  '$$'

##*

$$%%

2 $とを確認できた．また，手法の違いによる比較では，での分類において，一見，否定的意見でのが高がかなり低いことから，いようにみえるが，これは，あまり信頼性のある精度とはいえない．また，ユーザが書での肯定的意見の分類精度が最も良いた記事では，いが，これも否定的意見の分類精度が悪いことから，全体的なバランスは良くない．よって，手法ごとの精度比較においても，本手法が最も良い結果を得ることができたといえる．

/2 おわりに系列パターンとを素性としたスコア計算により，評判情報を肯定的意見と否定的意見に分類した．実験結果から，評判情報の分類において，系列パターンを用いることのみで分類した結果よりも，若干ではあるが，精で，度の向上がみられ，系列パターンは，評価文の分類に有効な素性としての潜在的な素質があることを確認できた．
今後，大量のデータでの実験により，素性としての系列パターンの有効性の検討や訓練データの肯定と否定の割合による精度変化を確認する必要がある．

参考文献34 藤村 滋，豊田 正史，喜連川 優 電子掲示板からの評価表現および評判情報の抽出，人工知能学会全国大会 第 ) 回，&&$34 山崎 貴宏，新保 仁，松本 裕治 系列パターンを素性とした論

文概要文の自動分類，人工知能学会「人工知能基礎論」，「知識ベースシステム」合同研究会，信学技報 +5&&.)#， #.)，2 &&#
3#4 6 - 7 6 8 7 , 2 9.+7 8 -< =>7 2 8"> - "0> - ".-     ; ! %.$ &&7 : ; 2   0 ?

 -



! =  @ 7

 @!.

A 7 - 5 .
 

5;=@7