一般論文

言語学的考察および機械学習手法に基づく意見分析支援−要求意図を取り出す一手法−
A Proposal of Supporting Processing for Opinion Analysis Based on Probabilistic Model and Linguistic
Knowledge
大塚裕子＊

内山将夫＊＊

井佐原均＊＊

By Hiroko OTSUKA, Masao UTIYAMA and Hitoshi ISAHARA

はじめとする計画関係者との知識情報共有ならびに１．はじめに意思決定過程に重要な役割を果たす。

われわれは、アンケートの自由回答やコールセン

これらの背景から、本稿では道路計画に市民の声

ターへの質問・苦情、web 掲示板への書き込みなを反映するためのアンケート調査の自由回答６）をどを「意見データ」と呼び、意見が集約されたテキ

コーパスとして最大エントロピー法を確率モデルとストから、その発話者である話し手・書き手の意図する機械学習手法により、要求意図の抽出およびそ１２）
１３）

れに基づく回答文の分類を行う。とくに、学習デー

観点の中には、アンケートのフェイス項目などからタの作成方法として言語的な言い換えを用いた判定得られる年齢、性別、職業、居住地といった発言者を提案する。これにより学習データの質が向上し機属性ならびに予め予測された調査項目に基づいた多械学習の精度を高めることができる。このため、着数意見、少数意見などが考えられる。また、発言者目する回答文が典型的な要求表現「てほしい」を含の意図として好き嫌いや賛成・反対、要求・提案、む形式に言い換え可能であることの判定可能性を仮不平・不満などの表明があり、その対象内容や理由説とする。この仮説の妥当性検証のため、内容分析は調査者など意見傾向を知りたい立場にとって貴重（content analysis）の知見を踏まえて予測的妥当性、な情報源となる。本研究では、意図の一つとして「要再現可能性、相関的妥当性の三観点から検証を行う。

求」に注目している。要求意図の特定により、要求さらに判定基準と自動分類を統合し、基準を用いて内容および要求動機の情報を取り出すことができる。

作成した学習データによる機械学習手法の実験を行

しかし、意図を取り出すことは、単にテキストに文う。

を多様な観点で取り出すことを目標にしている。

字通り表現されている要求表現を抽出することではない。この目的に対して現状の工学的な技術としての意図認識および意図理解は十分でない。

２．仮説としての要求意図判定基準

一方、意見データにおいてアンケート調査の自由

ここでは、本稿で提案する要求意図判定基準につ回答は、行政や企業が行う数多くの調査によって蓄いて述べる。まず「要求」の表現について演繹的に積されても活用される機会がほとんどないのが現状考察する。日本語話者の多くが要求と判断できる手である。公開されないまま無用な情報となるか、あがかり「〜てほしい」「〜てくれ」「〜もらいたい」等

るいはすべての意見を一覧表示する利用に留まっては言語学的には直接依頼表現と言われる９）。一方、いる。われわれがとくに自由回答に着目するのは、書き手の意図を示す「モダリティ」という構文カテ適切な観点で情報を抽出し意見を分類し公開するこゴリの要素でもあるこれらは従来の構文論的言語学とによって、その結果を調査者と回答者で共有するで要求・要望・依頼・願望・命令などに細分化され仕組みを構築したいと考えているからである。これてきた。すなわち、言語学においても統一的な扱いらのアプローチは、パブリック・インボルブメント方が確立されていない状況である。研究目的を鑑みのように公共的な事業計画における行政側と住民をると本研究で必要な情報は言語行為論的解釈に基づ＊言語情報研究室

62＊＊独立行政法人情報通信研究機構

IBS Annual Report 研究活動報告 ２００４

．論 文

回答

回答

言語直観的に要求と判断できる

直接要求表
現を含むYES

NO
非要求

要求①

要求②YESNOA）直接要求表現

その他

何らかの基準によって要求と判断できる「てほしい」で終わる文に言い換えられる

YES

YES

NO
その他

NOB）要求意図表現

C）
その他

図−１ 「要求」を判断する階層

図−２ 要求意図判定基準

いた視点での要求意図であると判断できるため、こ準に従って取り出される た め 再 現 性 が 保 証 さ れれらをまとめて直接要求表現と呼ぶ。これらが回答る（注１）。に現れた場合、調査者は要求と判断できる。この認知プロセスは図−１の第一判定「言語直感的に要求と判断できるか否か」に相当する。本稿では、これ（１）予測的妥当性の検証−基準の適用と結果の分析−らを図−２の基準の第一判定「回答が直接要求表現ここでは、要求意図判定基準を用いて実際の回答を含むか否か」に相当するとみなす。よって、この文から要求を取り出すことを一人の作業者が行い、判定で得られる要求は図−２の「（A）直接要求表この結果について分析・考察する。予測的妥当性は現」を含む。

「ある方法で得られた予測が、その後直接観察され次に直接要求表現がない場合、すなわち図−１の１０）ことにた事実とどの程度一致するかを査定する」

非要求の回答の中で要求と判断できるものについてよって測られる。ここでの予測とは要求意図判定基述べる。「交通量の激しい道路の歩道にはガード準に該当し、査定とは一定量の自由回答データに対レールをつけるべきだ」「環境に配慮した道路づくりしてこの基準を適用した要求意図判定に該当する。

が重要である」といった回答は、調査者・回答者・アンケート調査という発話状況から「歩道にガードa）分析方法および結果レールをつけてほしい」「環境に配慮してほしい」と分析手順は、判定基準に従って １）回答文に直いった要求と解釈することができる。しかし、図−

接要求表現を含むか否か、２）回答を「てほしい」

１の第二判定のとおり、この解釈の基準になっていで終わる文に言い換え可能か、を目視により判断、るのは暗黙の「何らか」の基準であり、その内容に分類する。１）の判断には１１）らの分類において要個人差を含む可能性がある。従って、図−１の要求

は判定者に依存して判定結果が変わる可能性があ

求・依頼に列挙された表現を対象とした。２）の判るため再現性のある結果が得にくい。そこで、本研いる回答についても一文ごとに分け、無作為に取り究では人が解釈の際に行っている暗黙のプロセスを出した３，０００文を対象にした。分析結果を表−１に要求意図の判定基準として顕現化することを試みた。

示す。表−１のこの顕現化が図−２に示した第二判定「回答を『てこれらは、すべて「〜てほしい」への言い換えが可ほしい』を含む文に言い換えられるか否か」である。

能であり、３，０００文中の約２割を占める。 の表現

回答文を典型的な要求表現「てほしい」を含む文にが図−２における要求意図表現に相当する。

断は筆者による。分析データは、複数文から成っては直接要求表現を含む文である。



言い換えることができれば、それは要求文であると要求意図表現には動詞や名詞など、従来モダリいえる。この判定基準によって図−２の（B）
要求意

ティの表現とは認められていない品詞の語や、助動図表現を含む要求が得られる。要求を含む回答は基詞および助動詞相当語句によるモダリティ表現の中IBS Annual Report 研究活動報告 ２００４63

表−１ 要求意図判定基準の適用結果（注２）
直接要求表現言い換え

３，０００文中含む

可

５４７含む

不可

３含まない

可１，１９０含まない不可１，２５２で構文論的な意味分類においては「要求」とみなさ７）れていなかった様々な表現が含まれている 。従来

表−２ 判定による言い換え可否の事例数
BA

可不可

計

可２，３７２９７０３，３４２

不可

３６６２２６５８計

２，４０８１，５９２

４，０００CA可不可

計可３，１２３２６４３，３８７不可

１７１４４２６１３

計

３，２９４

７０６４，０００

Cの言語学的知見から得られたパタン分類的手法では、からのみ「要求」を取り出そうとしていB可た。しかし、提案手法を用いることにより、表−１

可２，
１１９５０２，１６
９の の要求意図表現を手がかりに「要求」を取り出不可

９３４８９７１，８３１せることがわかった。

計

３，０５３

９４７４，０００表−１の（２）再現可能性の検証−複数の作業者による言い換え判定−
再現可能性は信頼性の確定条件の一つとして「ある過程を様々な状況の下で、様々な場所で、様々な不可計のそれぞれの言い換え可否の結果を得た。例えば
A の「可」と B の「可」の２，３７２は、両 者 が 共 に「てほしい」に言い換え可能な文であると判断し言い換え作業を行った事例数を示している。

コーダーを使って、再生することができる程度のこ一致率とは、同一の質問（テスト）による繰り返とである。
（略）その一例は複数の人がお互いに独し調査あるいは同一対象に対する複数の判断の一致

立に同一の記録作業説明を一組の同一のデータに適の指標であり、データの信頼性を保証する指標とし用する場合である。これらの人々がデータを記録すて用いられる。この指標の一つに、２人の評定結果る仕方における不一致は、記録作業説明を解釈し、の一致度を測定する指標としてコーエンの一致係数使用する仕方における観察者間の相違および観察者（Cohen’s measure of agreement）がある。一致係間の不整合の両方を反映している。
」と定義されて数は、以下の式で表される４）。

能性を検証する。

 ……………………………
：対応するカテゴリの観察頻度が一致する確率
：対応するカテゴリが偶然により一致する確率a）検証方法および結果

値は医療診断の一致率などに使われることが多いいる１０）。本節では、上記に示された方法に基づき複数の作業者による言い換え判定実験を行う。その作業結果の一致率を調べることで、判定基準の再現可実験の被験者、すなわち言い換え作業者は日本語を母語とする大学生、２０代男性３人である。３人のが、近年、言語処理の分野でも人が行うタグ付け作業や要約の一致率などに使われている２）３）８）。

作業者 ABC がそれぞれ AB、BC、AC と二人ずつ

表−２に従って式 解くと、例えば、AB の観察共通する４，０００文に対して作業したため、文の異なされた一致率は、事例の合計値における、AB それりは１２，０００である。一回答が複数文から成る場合ぞれの「可」の和２，３７２と、AB それぞれの「不可」は、一文ごとに分けて対象文とした。の和６２２を合計した値２，９９４の割合である。この値

尚、直接要求表現は「てほしい」に言い換え可能が表−３の観察された一致率０．
７４９にあたる。次に、であるため、本節では図−２の第二判定すなわち「て偶然の一致率は AB それぞれの「可」の判定が生じほしい」への言い換え判定だけを行う。各作業者がる確率０．
５０３と「不可」の判定が生じる確率０．
０６５

仕様に従って作業し、表−２のとおり AB、AC、BCの合計値である。この値をもとに64

IBS Annual Report 研究活動報告 ２００４

式を解くと、表

．論 文（３）相関的妥当性の検証

表−３ 作業の一致率
作業者観察された一致率 偶然の一致率

値

相関的妥当性は「ある方法で得られた結果が、他の方法で得られた結果とどの程度相関するかを査定

AB

０．
７４９０．
５６８

０．
４１７AC０．
８９１０．
７２４０．
６０５BC０．
７５４０．
５２２０．
４８５

−意図判定基準を用いない意図判定−する。すなわち方法に関する代替可能性を検証する」と定義される１０）。この考え方に従って判定基準の有効性を検証するため、基準を用いずに直観的な判断で要求判定の実験を行い、その結果が複数の作業者−３のとおり偶然の一致率０．
５６８が得られる。

間で一致するかを調べる。すなわち、判断基準を用

最大の一致の場合の確率は１なので、 値は１にいない方法との比較により方法の代替可能性が否定近いほど一致を示す。この値の解釈については一般に、０．
８０＜≦１．
００ならばほぼ完全な一致、０．
６０＜≦０．８０ならば実質的に一致、０．４０＜≦０．６０ならできれば本手法の有効性を示すことができる。
a）検証方法および結果

ば中等度の一致、０．
４０以下ならば一致は見られな

実験は、日本語母語話者の大学生２０代男性およいとされている。従って、言い換え作業の結果、作

び２０代女性の２人 D と E を対象とした。２．
（２）節業者 AC では実質的な一致が、AB、BC では中程の実験で作業者 BC が対象としたテキストと同じ度の一致が見られたと考えられる。

４，０００文を使用した。二者間で相談することなく個

しかし、自然言語処理では自動要約の評価指標と８）して判定者４人の一致率が０．
２４しかないこと 、ま

別に作業を行い、作業にあたって次の作業指示を提示した。

た、医学文献では０．
２
１＜ ＜０．
４０の値が「かなりよ・例示する各回答文に文脈的つながりがないこと

３）７０以下のい」とみなされること 、内容分析では０．

・回答文が要求の場合は１、要求でない場合は０一致しかない変数間の相関は統計的に有意でないこを直観的に判断すること１０）と などの見解から、一致係数の適用状況とその結・無回答やその他の回答は無効になるので、必ず果の解釈については議論の余地がある。一致率の解いずれかを選択すること

釈については、クリッペンドルフ自身が一致のレベルの高さについて決まった答えがないことを指摘し

１０）

これらの作業によって、表−４の結果が得られた。
被験者 E に無回答が２件あったため、得られた回ている 。以上の結果は、 値の解釈を実質的に一答数は３，９９８件である。２．
（２）節の作業者 BC と共致、中程度の一致と見るならば、異なる判定者によ通のデータであるため、表−４では結果を併記する。

る実験からも本手法を意図判定基準として要求か否

DE の作業の一致率 は、BC よ り 低 く、か つ 表−２かを判定できること、すなわち、本手法を用いるこに示した一致率（ 値）のいずれよりも低い０．
１７とで、訓練された判定者以外にも要求の取り出しがとなっている。また、この値は再現できることを示している。

致がないことを示す。このことから、主観判断によ

値の観点からは一る要求意図の判定は結果が安定しないことがわかっ
表−４ 有効性の実験結果
ECD

要求

要求でない計B

言い換え可言い換え不可

計

要求

５６２１，８８０２，４４２

言い換え可

２，１１９５０２，１６９要求でない

３９１，５１７１，５５６言い換え不可

９３４８９７１，８３１計

６０
１３，３
９７３，
９９８計

３，０５３

９４７４，０００

DE の

値

０．
１７

BC の

値

０．
４９IBS Annual Report 研究活動報告 ２００４65た。これは基準がないためであるといえる。よって、言い換えを用いた判定基準の有効性が示された。

３．機械学習による基準の検証実験
本節では、要求意図判定基準が機械学習を利用することにより自動化できることを示す。
（１）機械学習による意図判定の概要



２は ＝１に任意の形態素の２連鎖を追加した集合、

＝３は ＝２に任意の形態素の３連鎖を追加した集合である。また、ある回答 に含まれる素性とは、が形態素列により ，，…， で表現されているとすると ＝〈 〉、＝〈 〉という文頭と文末を示す特殊形態素として、＝１については｛｜２≦
≦−１｝に含まれる形態素であり、＝２に≦
ついては ＝の場合に加えて｛｜１≦

−１｝を追加した集合に含まれる形態素連鎖であり、は与えられた自由回答を「てほしい」に書換え可能

＝３については ＝２の場合に加えて｛
｜１≦
≦−２｝を追加した集合に含まれる形態素なクラス（「可」）と不可能なクラス（「不可」）に分連鎖である。なお、回答は茶筌（注６）を利用して形態類する２値分類問題として定式化できる。

素に分割した。

a）タグ付きデータc）実験手順と実験結果

２．
節で述べた意図判定法は、機械学習の観点から機械学習のためのデータとしては、３，００１文のタ実験の手順としては、１０分割交差検定（１０―fold

グ付きデータを２（．１）節の分析対象とは別に用意しcross validation）を利用した。ME と SVM の全体た。このタグ付きデータにおいて「可」の回答数はの正解率 、   は各分割での正解率の平均によ

１，９４４であり、「不可」の回答数は１，０５７である。

り定義する。また、ME と SVM の精度を統計的にここでは、全ての回答を「可」と選んだ場合の正解比較するためウェルチ（Welch）検定を利用した。

率０．
６４８（１，９４４／（１，９４４＋１，０５７）＝０．
６４８）の正解率なお、ME と BL、および SVM と BL との比較におをベースライン（BL）とする。

いては、ME と SVM とが BL の正解率０．
６４８より

 も大きな値をとるかを t―検定で比較した。これらb）利用した機械学習手法の検定はいずれも片側検定とした。このようにして高精度な分類のために、本節で用い、かつ比較す１）

る機械学習法は最大エントロピー 法（ME）と５）



求めた正解率を表−５に示す。表の「 ＝１」
「 ＝２」



「 ＝３」の行はそれぞれの素性集合を用いた正解率Support Vector Machine（SVM）である。手法のであり、「ME」「SVM」「BL」の列はそれぞれの学習

詳細は省略するが、概要は以下の通りである。まず、法による正解率である。表−５は、１）どの   

は数値 ベ ク ト ル ＝［ ， ，… ］に よ り回答

１ 素性 が回答 に含まれるとき
＝０ 素性 が回答 に含まれないとき
表現する。ここで、についても、ME と SVM の両手法とも BL よりも正解率が高いこと、２）ME と SVM とで正解率に有意差はないため、学習法としてはどちらを用いても良である。

ME や SVM では、あらかじめ「可／不可」に分類された訓練データを利用して、回答における素性値の０／１のパタンから「可／不可」への写像を学

い こ と、ま た、３）＝１と ＝２、＝１と ＝３、＝２と ＝３に つ い て、＝２と ＝３で は 有 意 差はないが、＝１と ＝２、＝１と ＝３には有意差（有意水準１×１０ ）があり、素性としては ＝２か＝３が良いこと、を示している。以上は相対的な−３習し、それを利用してテストデータにおける回答を表−５ 正解率の比較分類する。なお、本節では、ME の学習には max（注３）ent（注４）を 用 い、SVM の 学 習 に は TinySVMを用いた。SVM の学習においては、１次の多項式カーネルを用いた（注５）。
学習に利用した素性の集合について、本節では３通りの素性集合を比較した。これらを、＝１、＝２、＝３と示す。＝１は任意の形態素の集合、＝66

IBS Annual Report 研究活動報告 ２００４

＝１
＝２
＝３MESVM

BL０．
８９２

０．
８８７

０．
６４
８０．
９１２

０．
９０９

０．
６４
８０．
９１３

０．
９１５

０．
６４８

．論 文



正解率の比較である。絶対的な正解率では、 ＝２、意識調査では意見に不満が表明される傾向が強いこ

３が ME も SVM も９１％ 前 後 の 正 解 率 で あ る。ことを示す。目的など調査の状況によって得るべき情の正解率は BL よりも十分に高いので、機械学習が報を判断するという考察にも即したものとなった。

有効であったことを示している。また、これは自動的に精度良く書き換え可能性を判定できることも示

４．おわりにしている。

要求意図判定基準を仮説として２．
節では内容分（２）異なる種類のデータへの判定基準の適用

析の知見を踏まえて予測的妥当性、再現可能性、相ここでは、本研究での対象データ以外の自由回答

関的妥当性の三観点から検証を行い、判定基準の有をデータとした場合にも判定実験で十分な精度を得効性を示した。３．節では判定基準と自動分類を統合られるかどうか調べる。異なるデータとして対象とし、判定基準を用いて作成した正解データによる機したのは、ある地方都市の国道の満足度に関する意

械学習手法の実験を再び行うことにより９１％ の精識調査の自由回答である。該当の国道について、信度で要求か否かを判定できた。すなわち、機械学習号の長さの適切さ、バス専用レーン運用の適切さ、により要求を含むテキスト・含まないテキストへの街路樹の有無など２０項目に対して「満足／やや満自動分類を９１％ の精度で実現した。さらに、異な足／どちらでもない／やや不満／不満／無回答」とる種類のデータで実験した場合も８７％ の高精度でいった５段階の顧客満足度を測定するとともに、各要求を判定できた。今後は、要求内容や動機の抽出項目に対する自由回答欄を設けている。自由回答はを行い、さらに他の観点による分析結果ならびに統回答数５７７件全文数１，２９０文で、一回答あたりの平合結果の提示に関する検討も行う。

均文数は２．
２４文である。このデータに対して前節同様の分類実験を行い表−６の結果を得た。これら

注の結果の全文に対して目視による要求判定を行った。

注１）再現性については，２（．２）
節で検証する。

この結果、異なるデータへの適用においても の正

注２）

の正解率８３．０６％、全体の正解率解率９４．
４６％、８７．
２１％ という高精度の結果が得られた。
本節の実験で興味深いのはデータの性質の違いが統計的に示されたことである。これまで対象とした将来の交通に対する要望・提案型のアンケートでは、
２（．１）
節の分析対象データおよび３（．１）
節の学習コーパスともに言い換え不可の割合が３５．
２〜４１．
７％、２（．２）
節の ABC の作業者においても１５．
３〜４５．
８％だったのに対し、本節のデータでは６３．
６％ を占めている。ここで、言い換え不可すなわち非要求文とに含まれない８文については、前後文脈を見ないと判断に迷う例である。は直接要求〜表現を含むが、引用文中に現れているため言い換えは不可であった。これは例外事例といえる。
注３）http : //www.nict.go.jp/jt/a 132/members/mutiyama/software.html
注４）http : //cl.aist-nara.ac.jp/〜takuku/ software/TinySVM/
注５）２次の多項式カーネルも用いたが、その精度は、１次の場合よりも統計的に有意差がないかもしくは低かったので、ここでは割愛する。
注６）http : //chasen.aist-nara.ac.jp/

判定された回答文は「困る」「〜づらい」「〜にくい」など明らかに不満を表明した文であった。これは、参考文献

本研究で扱った将来の交通に対する要望・要求では１）Berger, A. L., Della Pietra, S. A. and Della Pietra,

回答者が意見として明示的な要求を示す傾向がある

V. J.（１９９６）A Maximum Entropy Approach toのに対し、顧客満足度という観点で測られる現状のNatural Language Processing. Computaional Linguistics, Vol.２
２No.１, pp.３
９−７１.

表−６ 機械学習による分類の正誤判定
正要求非要求誤２）Carletta, J.（１９９６）Assessing Agreement on Classification Tasks : The Kappa Statistic. Computa-計tional Linguistics, Vol.２２No.２, pp.２４９−２５４.

４４３２６４６９３）Carletta, J., Isard, A., Isard, S., Jowtko, J. C., Do-

６８２１３９８２
１

Reliability of a Dialogue Structure Coding Scheme.

harty−Sneddon, G. and Anderson, A.H.（１９９７）TheIBS Annual Report 研究活動報告 ２００４67

Computational Linguistics２３（１）, pp．
１３−３２.
４）Cohen, J．
（１９６０）A Coefficient of Agreement forNominal Scales. Educational and Psychological５）Cristianini, N. and Shawe−Taylor, J.（２０００）An Introduction to Support Vector Machines. Cam-１０）Krippenndorff, K.（１９８０）Content Analysis : An InK・クリッペンドルフ著

三上俊治・椎野信雄・

橋元良明訳（１９８９『）メッセージ分析の技法；「内容分析」への招待』勁草書房．

bridge University Press.
６）道路審議会基本政策部会（１９９６）ボイス・レポー
建設省道路局

建設省都市局．
７）乾裕子・井佐原均（２００２）拡張モダリティの提案

１１）森田良行・松木正恵（１９８９「）日本語表現文型」，アルク
１２）大塚（乾）裕子（２００４）自由記述アンケート回答の意図抽出および自動分類に関する研究−要求意−自由回答から回答者の意図を判定するために−，図を中心に−，神戸大学大学院自然科学研究科博

電子情報通信学会信学技報 NLC２００２−４３（２００２−士論文．

１０）
，pp．
３１−３６．
８）Mani, I.（２００１）Automatic Summarization, John68出版．
troduction to Its Methodology, Sage Publication,Measurement,２０, pp.３７−４６.

ト．２
１世紀の道を考える委員会

９）国立国語研究所（１９６０『）話しことばの文型』秀英１３）内山将夫・大塚裕子・井佐原均（２００４）フェイス
シートとの関係を利用した自由回答アンケートのBenjamins Publishing Company，奥村学・難波英分 析，情 報 処 理 学 会 研 究 報 告２００４−NL−１
６４，嗣・植田禎子（２００３『）自動要約』共立出版．

pp．
４７−５
２．

IBS Annual Report 研究活動報告 ２００４