Ⅴ．自主研究活動報告

自由回答の意見分析システムの構築
伊藤裕美＊

学＊＊ 大塚裕子＊＊＊ 高野精久＊＊＊＊奥村

₁．はじめに自然言語処理の発展により、テキストを自動分類することにおいては、カテゴリ分類のみならず、文脈に含まれる意図感情まで自動的に分類することが可能になってきている（大塚 2007）。本研究は、この意見分析システムの新たな活用方法を掘り起こすことにより、新たな言語学的知見の獲得や、新規マーケットの開拓を目的として、東京工業大学、公立はこだて未来大学、株式会社サーベイリサーチセンター、一般財団法人計量計画研究所により共同研究を開始した。

₂．意見分析システムの概要

図－2

自動検出部作成フロー

本 研 究 で 使 用 し て い る 意 見 分 析 シ ス テ ム は、SVM の自動検出部作成手順は、まず SVM 学習SVM（Support Vector Machine）のパターン認識用のテキストデータに、人手でアノテーション（タのアルゴリズムを利用して、文章をカテゴリと意図グ付け）を行い、それを SVM に学習させる。SVM感情に分類する。SVM に学習データを与えると、が学習データから自動検出部を作成するので、それ機械学習により SVM が学習モデル（自動検出部）を用いて学習用テキストデータを機械分類し、人手を生成する。対象データの分類はその学習モデルをでつけたタグと機械が判定したタグの一致率を検証使用して行われる。SVM による分類は文章のみなする。SVM による分類精度が向上するよう、学習らず、画像や音声等のデータ分類にも使用されてお用データの文章中からノイズとなるワードの除去をり、非構造化データの分類に優れている。

行ったり、機械学習に有効に使用される文構造の特徴（素性）を適用することで、分類精度が一定条件を満たした自動検出部が構築されるまで、この作業を繰り返す。自動検出部完成後、テキストデータをその自動検出部に通すことで、テキストの自動分類が可能となる。
自動検出部の作成には手間がかかるが、一度自動検出部が出来れば、その後は大量のテキストデータを機械的に分類することが可能である。すなわち、本システムは、少量のテキストデータの分類ではな

図－1

意見分析システム利用イメージく、継続的に大量のテキストデータを分類する際に有用である。

＊情報システム研究室 研究員 ＊＊東京工業大学 教授 博士（工学） ＊＊＊公立はこだて未来大学＊＊＊＊株式会社サーベイリサーチセンター 都市マーケティング部 部長

准教授

IBS Annual Report

博士（学術）

研究活動報告 201267

₃．意見分析システム適用先の検討（1）既存アンケートへの適用

₄．分類内容の検討（1）Tweets から何を分類するか最初に、意見分析システムを企業の店舗サービス既存の満足度調査の分析を行っていたときは、への満足度調査のアンケートと、行政が行った介護サービスに対するネガティブな意見に着目していた施設アンケートについて自動分類を試みた。

が、ネガティブな意見はあえて Tweets から分析し企業サービスの満足度調査は、企業の店舗を訪れなくてもクレームの形ですでに企業に伝わっていたた顧客に事後的に店舗やスタッフについての満足度り、満足度調査等により、何らかの形で企業が把握を Web アンケートで質問するものであり、主に顧しているものも多く、それを掘り下げても手詰まり客の不満を抽出することを目的とした。しかし、1感は否めない。せっかく Twitter という個人が自発日に集まってくる意見がさほど多くないこと、満足的に発した意見を分析するので、従来の分析視点で度調査を行って顧客の不満を抽出することは、すではない新たな視点が望まれる。に様々な企業で行われており、新規性が見受けられないことから一定の分析を行った後に終了した。

そこで、本研究では、下記で述べる「心温まる話（Heart Warming Story）」に着目することにした。

介護施設アンケートは、行政が介護施設に対して行ったアンケートを、行政が定めたカテゴリに分類（2）Heart Warming Storyするものであった。予め設定されたカテゴリが、行ニコラス・クリスタキスは、社会的ネットワーク政の施策に従ったもので、項目が完全に独立したもにより幸福な感情がさざなみのように伝播すると述のでなく、テキストを機械的に分類するのに使用すべている。ある個人の幸福感は社会的ネットワークるには適切なものではなかったため、こちらもシスを通じ、ネットワークに属している他人にも影響をテム適用は困難と判断した。

与える。社会的ネットワークはリアルな人間関係だ

既存のアンケートの分類では、テキストデータのボリューム、分類カテゴリ等の問題があり、これ以上の展開を見込みにくいため、対象とするテキストデータの見直しを行うこととした。

けでなく Twitter や SNS といったバーチャルな関係も含んでいる（2010）。
マーティン・セリグマンは自ら提唱したポジティ
ブ心理学の中で、幸福を感じる必要性を説いているが、人は、他者の幸福感を共有することで、疑似的（2）Twitter データ（Tweets）の利用
近年、インターネットの発達により、ブログやに自らの幸福感を向上させようとしているとも言える（2004）。

ソーシャルネットワーク（SNS）により、個人の意

サ ー ビ ス 提 供 者・ 利 用 者 に ま つ わ る Heart

見が大量に Web 上に表出するようになってきていWarming Story（以下 HWS）は、個人的な事象でる。中でも Twitter は、140 文字という制約ゆえに、あるが、それを他者と共有することで、感動を生み、ユーザーが手軽に自分の気持ちをつぶやくことが出サービスに対する新たな視点を掘り起こす可能性が来、リアルな意見・感情を表現しやすい。また、ある。それは、サービス利用者にとどまらず、サーTwitter のつぶやきデータである Tweets は Web

ビス提供者にとっても、自己肯定感、仕事に対する上から入手可能で、言語処理的にも文章が短いためモチベーションや働き甲斐につながるものである。

分析しやすく、大量データの分類に優位な意見分析

HWS を含む Tweets を抽出することは、社会的意システムとの親和性も高い。

義があると考えられる。

そこで、既存アンケート調査への回答の分析から、本研究における HWS は、読み手の目線から「いサービス提供者に関連する Tweets の分析へとシフい話である」「心温まる話である」と評価される文トすることにした。

章である。この HWS を Tweets から高い精度で自動抽出可能にするため以下に検討を行った。

68

IBS Annual Report

研究活動報告 2012

Ⅴ．自主研究活動報告

₅．HWS 自動検出部の構築（1）Twitter から候補文の収集
今回は実験的に JR、東京メトロ，ファミリーマー
トの３社について言及されている Tweets を分析対象とした。また、単純に企業名だけでは、宣伝やBOT（Twitter で自動的につぶやかれるアカウントプログラムのこと）の Tweets が多数を占めてしま

表－ 1
企業東京メトロ

企業別タグ分布

全数 Positive Negative Story
681
158
127
8823%
19%
13%
765
103
217
6113%
28%
8%

JR
ファミリーマート

688

115
17%

8613%

P+S HWS
56408%
6%
29
224%
3%

487%

304%

193%

P+S：Positive & Story

うため、「JR ＋車掌」「東京メトロ＋駅員」「ファミリーマート＋店員」「ファミリーマート＋バイト」

JR とファミリーマートの HWS の出現率が東京のように、企業名と従業員の組み合わせでフィル

メトロと比較して低いのは、JR と関係ない名詞や、

タ ー を か け て、 学 習 用 デ ー タ の 候 補 文 と な る「バイト」が人を指すのではなく「バイトに行く」

Tweets の抽出を行った。という行為を含む Tweets を拾ってしまい、ノイズが多くなったためだと思われる。

（2）人手によるアノテーション

また、HWS のタグが付いた Tweets は、PositiveHWS ありと評価される可能性のある Tweets のな極性と Story 性が伴っているものが 9 割となり、肯定的評価やストーリー性あり等の傾向を調べるた

HWS の検出には「Positive」「Story」の着目が重め、収集された候補文に「Positive」、「Negative」、要であると考えられる。

「Story 性 あ り 」、「Heart Warming Story」 の 4 つのタグを用意し、人手で各タグの判定を行い、学習ｂ）素性の評価結果データを作成した。
表－2．1（2）素性の検討
HWS の手がかりとなる素性の候補を以下の 9 通りに設定した。
1．Base（動詞＋名詞＋接尾辞）
2．Base ＋ 2-gram
3．Base ＋ Tweets の長さ4．Base ＋タ形
5．Base+ 括弧
6．Base+ 感動詞

ファミリーマート

素性精度 再現率
Base（動詞 + 名詞 + 接尾辞） 0.530
0.771
Base + 全体極性
0.547
0.786
Base + 極性個数
0.529
0.818
Base + 感動詞
0.557
0.773
Base + タ形
0.555
0.775
Base + 括弧
0.518
0.789
Base + Tweet の長さ
0.430
0.846
Base + 2-gram
0.405
0.787
Bas e+ 形容詞
0.576
0.787

Ｆ値
0.628
0.645
0.643
0.648
0.647
0.625
0.570
0.535
0.665

7．Base+ 極性個数
8．Base+ 形容詞
9．Base+ 全体極性（3）結果と考察ａ）アノテーション結果
約 2 か月間 Tweets を収集し、アノテーション作業を行った結果、表－１のようになった。

表－2．2

JR

素性精度 再現率
Base（動詞 + 名詞 + 接尾辞） 0.182
0.625
Base + 全体極性
0.182
0.690
Base + 極性個数
0.210
0.730
Base + 感動詞
0.204
0.705
Base + タ形
0.177
0.730
Base + 括弧
0.188
0.720
Base + Tweet
0.164
0.795
Base + 2-gram
0.224
0.645
Base + 形容詞
0.220
0.710

IBS Annual Report

Ｆ値
0.282
0.288
0.326
0.316
0.285
0.298
0.271
0.332
0.336

研究活動報告 201269表－2．3

東京メトロ

素性
精度再現率
Base（動詞 + 名詞 + 接尾辞） 0.388
0.757
Base + 全体極性
0.401
0.800
Base + 極性個数
0.366
0.754
Base + 感動詞
0.405
0.787
Base + タ形
0.378
0.795
Base + 括弧
0.371
0.793
Base + Tweet
0.300
0.780
Base + 2-gram
0.400
0.770
Base + 形容詞
0.449
0.789

Ｆ値
0.513
0.534
0.492
0.535
0.513
0.506
0.432
0.526
0.572

表－ 2. 1、表－ 2. 2、表－ 2. 3 の結果から「Base＋形容詞」、「Base ＋感動詞」の F 値が他の検討素性よりも高くなっており、機械学習に有用と考えられる。

₆．システムでHWSと判定されたTweetsの例
てか、ファミマ店員さんみんないい人過ぎた (；▽；) こんなおたく女子のためにセッセと箱まで用意してくれ1たヽ (；▽；) ノありがとうファミリーマートありがとうファミリーマート
さっき飲み物買いにファミマ行ったら、「（袋いりませんの意味で）テープでお願いします」って言ったら、勢2い余った店員さんが「テープでおねがい、ありがとうございます！」って ( 笑 ) 頑張ってる (^_^)
ファミマの店員さん優しくしてくれたっ (´・ω・`) マナカ
で 280 円しか使ってないのに 300 円以上で貰えるウ3
エットティッシュそっといれておいてくれた。ありがとう
言えなかったのが悔やまれる . ほっこりなお昼過ぎ♪
ファミマの店員さん、ちゃんと目を見てありがとうって4
言ってくれた ( ○´∀｀○ ) いいメンズだ (^_^)
駅着いた (/_;) ほんまに帰れんかと思った (T_T) ファミ5
マの店員さん、わかりやすく道教えてくれてありがとう。
仕事帰りによく行く店の向かいのファミマに行ったら時々話すバイトのお兄さんがファミチキおごってくれた6(´・ω・`) なんだか心温まるクリスマスでした。ありがとう。
ファミマ店員フレンドリーやなぁ w 店員「夜 勤ですかぁ？」俺「ですです w」店員「8 時くらいまでです「んですねー w」店員「同じですねー w お互い頑7 か？」張りましょ♪ありがとうございましたー」やる気もらったぜー ww
線路に iPhone 落としてしまいました。その上を電車が通り、駅員さんの謎の棒により何回も掴まれる iPhone
8…心の中でお別れしたけれど、無事に傷だらけになって帰ってきました！ありがとう！JR の駅員さん
JR の車掌さんまじでありがとう。貴方に改札を開けて9もらわなかったら間に合いませんでした。
若い車掌さん。全員のキップを確認して、次の車両の移る前に「ご協力ありがとうございました！」と元気よく10あいさつをしてゆきました。気持ちいいあいさつだった。
最高です！JR 九州

70

IBS Annual Report

研究活動報告 2012

奇跡的に、遅れてきた JR に乗れた件！( 笑 ) 車掌さん
ありがとう～ o(^o^)o ござましっ
JR の駅員さん、改札を通る一人一人に「ありがとうご12ざいました。」って言ってる。丁寧だなあ。
新幹線乗り遅れたけど JR の人が親切に対応してくれて13 おまけにジュースまでくれた (´; ω ;`)???? 迷惑かけて申し訳ないです。。そしてありがとうございます！！
電車の中にカバンを忘れて頭まっしろ。お財布が手帳が。でも少し先の駅で無事発見。届けてくれた人あり
14がとう、東京メトロの駅員さん一生懸命探してくれてありがとう、日本ってすごい今押上着いた。車掌さん、乗り換えとかの案内を一通りしたあと、それでは、皆様良い週末をお過ごしください。本日は東京メトロをご利用いただきまして、まこと
15にありがとうございました。ってアナウンス。こういうのすごく嬉しい。うおぉぉ良い週末を過ごすぜ！ありがとう！って泣きそうになった『渋谷からは東急の社員がご案内致します。皆さま、そ16 れではよい週末を。本日も東京メトロ半蔵門線をご利用頂きありがとうございました。』粋だねぇ。
東京メトロの日本橋駅の駅員さん、新橋へ行くホームを17 とても丁寧に教えてくれました。最後に「お気をつけて」まで言ってくれちゃいました。ありがとう！
メトロの駅員さんやさしい。間違えて別の路線に入場し18 た僕に親切にしてくれてありがとう。これからも僕はメトロをつかうね！
ケータイが帰って参りました。メトロの人はスーパー良い人でした。すっごい懸命に電話やりとりしてくれて。最19
後、お礼言いに行けばよかったなー。ありがとーございました。私はこれからもメトロ沿線に住みたい。
駅員さんが親切な人でよかった。無知な人間に優しくし20てくれてありがとう。メトロのお兄さん。
11

₇．おわりに本研究によって、ある程度の精度で HWS を抽出することが可能になったが、ノイズの効率的な削除方法の検討、ネット特有の言葉や従来の意味と逆に使われる感動詞等の対応といった言語学的な課題や、異なる事業領域で今回作成した自動検出器の適用可能性を検討することが今後の課題と言えよう。
参考文献
１）大塚裕子，乾孝司，奥村学：意見分析エンジン−
計算言語学と社会学の接点−，コロナ社，2007．
２）ニコラス・A・クリスタキス：つながり 社会的ネッ
トワークの驚くべき力，講談社 ,2010３）マーティン・セリグマン：世界でひとつだけの幸
せポジティブ心理学が教えてくれる満ち足りた

人生，アスペクト，2004.