(57)【要約】【課題】  アンケート結果の回答テキストが要求表現を含むもの否かを自動的に分類するアンケート結果の分類方法及び装置を提供すること。【解決手段】  機械学習モデルを用いて学習データ３８を生成する学習データ生成手段３６・３７、回答テキストを入力する入力手段３２、直接要求表現への言い換えが可能か否かを判定する要求意図判定手段３９、要求意図判定結果を出力する出力手段３３を備える。本構成において、該機械学習モデルに、最大エントロピーモデルまたはサポートベクトルマシンを採用することもできる。【選択図】 図３
2005092492.tif 000002
【特許請求の範囲】
【請求項１】
自由記述方式の回答テキストを入力して要求意図表現であるか否かを判定するアンケート結果の分類方法であって、
予め被験者が、学習用回答テキストについて直接要求表現への言い換えが可能か否かを判定し、該学習用回答テキストの素性と、該判定結果とを用いて機械学習モデルを用いて学習データを生成する学習データ生成ステップと、
入力手段から、回答テキストを入力する入力ステップ、
要求意図判定手段により、直接要求表現への言い換えが可能か否かを機械学習モデル及び該学習データを用いて判定する要求意図判定ステップ、
入力した回答テキストの要求意図判定結果を出力する出力ステップ
から成る
ことを特徴とするアンケート結果の分類方法。
【請求項２】
自由記述方式の回答テキストを入力して要求意図表現であるか否かを判定するアンケート結果の分類方法であって、
前記機械学習モデルが、最大エントロピーモデルであって、その学習に利用する素性が、回答テキスト中の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素及び任意の３連鎖の形態素、のいずれかである
ことを特徴とする請求項１に記載のアンケート結果の分類方法。
【請求項３】
自由記述方式の回答テキストを入力して要求意図表現であるか否かを判定するアンケート結果の分類方法であって、
前記機械学習モデルが、サポートベクトルマシンであって、その学習に利用する素性が、回答テキスト中の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素及び任意の３連鎖の形態素、のいずれかである
ことを特徴とする請求項１に記載のアンケート結果の分類方法。
【請求項４】
自由記述方式の回答テキストを入力して要求意図表現であるか否かを判定するアンケート結果の分類装置であって、
予め被験者が、学習用回答テキストについて直接要求表現への言い換えが可能か否かを判定し、該学習用回答テキストの素性と、該判定結果とを用いて機械学習モデルを用いて学習データを生成する学習データ生成手段、
回答テキストを入力する入力手段、
直接要求表現への言い換えが可能か否かを機械学習モデル及び該学習データを用いて判定する要求意図判定手段、
入力した回答テキストの要求意図判定結果を出力する出力手段
を備えた
ことを特徴とするアンケート結果の分類装置。
【請求項５】
自由記述方式の回答テキストを入力して要求意図表現であるか否かを判定するアンケート結果の分類装置であって、
前記機械学習モデルが、最大エントロピーモデルであって、その学習に利用する素性が、回答テキスト中の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素及び任意の３連鎖の形態素、のいずれかである
ことを特徴とする請求項４に記載のアンケート結果の分類装置。
【請求項６】
自由記述方式の回答テキストを入力して要求意図表現であるか否かを判定するアンケート結果の分類装置であって、
前記機械学習モデルが、サポートベクトルマシンであって、その学習に利用する素性が、回答テキスト中の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素及び任意の３連鎖の形態素、のいずれかである
ことを特徴とする請求項４に記載のアンケート結果の分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アンケート結果の分類方法及び装置に関し、より詳しくは自由記述方式の回答テキストを入力して要求意図表現であるか否かを判定する方法に関する。
【背景技術】
【０００２】
従来、アンケートにより回答を収集し分類する作業は、人手により内容を読みとられ、分類されている。そのなかで、「要求を知る」すなわち、何が求められているのかを認識するということが必要とされている。現状の問題点を探り、改善するという問題解決には「要求を知る」ことが重要だからである。
近年、パソコンなどの電子媒体やインターネットの普及に伴い多くの要求が電子化テキストに蓄積されるようになった。これらの電子化テキストから「要求を知る」こと、すなわち要求を取り出すことは、要素技術として研究開発が試みられてきている。たとえば、情報抽出やテキストマイニングなどの技術を用いた、コールセンターへの問い合わせ分析システムの開発（非特許文献１を参照）やＦＡＱ生成支援システムの開発（非特許文献２、３、４参照）、また、要求を取り出す仕組みとして提案された、ソフトウェアシステム開発における要求獲得会議での要求獲得法（非特許文献５参照）などである。
【０００３】
【非特許文献１】那須川哲哉  コールセンターにおけるテキストマイニング、人工知能学会誌, Vol.16, No.2, pp219-225.(2001)
【非特許文献２】松井くにお・田中穂積  単純質問文から蓄積された質問応答へのナビゲーション. 信学技報,Vol.102 No.414, NLC2002-40,pp13-18.(2002)
【非特許文献３】松澤裕史  自然言語処理技術と構造化パターンマイニングを用いたＦＡＱ生成支援システム. FIT 情報科学技術フォーラム, pp69-70.(2002)
【非特許文献４】柳瀬隆史・丸元聡子・難波功・落谷亮  文末の述語表現を利用した質問テキストの解析. 言語処理学会第８回年次大会発表論文集, pp647-650.(2002)
【非特許文献５】土井晃一・蓬莱尚幸・渡部勇・片山佳則・園部正幸  要求獲得会議を分析することによるユーザ指向要求獲得法. 情報処理学会誌, vol.44 No.1, pp48-58.(2003)
【０００４】
しかし、「要求を知る」ことは、様々な「要求者」の意図を知ることであり、単にテキストに文字通り表現されている要求表現を抽出することではない。この目的に対しては、現状の工学的な技術としての意図認識および意図理解は十分でない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術の有する問題点に鑑みて創出されたものであり、その目的は、アンケート結果の回答テキストが要求表現を含むもの否かを自動的に分類するアンケート結果の分類方法及び装置を提供することである。
【課題を解決するための手段】
【０００６】
本件出願人らは、言語処理技術を用いて次の手段により上記課題の解決を図るものである。
すなわち、請求項１に記載の発明は、自由記述方式の回答テキストを入力して要求意図表現であるか否かを判定するアンケート結果の分類方法であって、予め被験者が、学習用回答テキストについて直接要求表現への言い換えが可能か否かを判定し、該学習用回答テキストの素性と、該判定結果とを用いて機械学習モデルを用いて学習データを生成する学習データ生成ステップ、入力手段から、回答テキストを入力する入力ステップ、要求意図判定手段により、直接要求表現への言い換えが可能か否かを機械学習モデル及び該学習データを用いて判定する要求意図判定ステップ、入力した回答テキストの要求意図判定結果を出力する出力ステップから成る。
【０００７】
そして、請求項２に記載の発明では、該機械学習モデルが、最大エントロピーモデルであって、その学習に利用する素性が、回答テキスト中の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素及び任意の３連鎖の形態素、のいずれかであることを特徴とする。
また、請求項３に記載の発明は、上記と同様のステップを備えるアンケート結果の分類方法において、機械学習モデルとしてサポートベクトルマシンを用いることを特徴とするものである。
【０００８】
本発明は、自由記述方式の回答テキストを入力して要求意図表現であるか否かを判定するアンケート結果の分類装置を提供することもできる。すなわち、請求項４記載の発明は、予め被験者が、学習用回答テキストについて直接要求表現への言い換えが可能か否かを判定し、該学習用回答テキストの素性と、該判定結果とを用いて機械学習モデルを用いて学習データを生成する学習データ生成手段、回答テキストを入力する入力手段、直接要求表現への言い換えが可能か否かを機械学習モデル及び該学習データを用いて判定する要求意図判定手段、入力した回答テキストの要求意図判定結果を出力する出力手段を備えることを特徴とする。
【０００９】
そして、請求項５に記載の発明では上記機械学習モデルが、最大エントロピーモデルであって、その学習に利用する素性が、回答テキスト中の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素、又は任意の形態素及び２連鎖の任意の形態素及び任意の３連鎖の形態素、のいずれかであることを特徴とするものである。
請求項６に記載の発明は、上記装置において、学習モデルにサポートベクトルマシンを用いることを特徴とするものである。
【発明の効果】
【００１０】
以上の手段により次の効果を奏する。すなわち、本発明によればアンケートの回答テキストが、直接的な要求表現を含まないものであっても、要求意図が含まれるものと、含まれないものについて高精度に分類することができる。
【実施例１】
【００１１】
以下、本発明の最良と考えられる実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記に限定されるものではない。
アンケート調査において、調査者はアンケートなどの手段を通して回答者の要求を知ろうとし、回答者は回答することで調査者に要求を伝えようとする。したがって、回答テキストに記された表現から回答者の要求を取り出す方法を確立することは重要である。
まず「要求」の表現について演繹的に考察する。回答文を読むと、日本語母語話者であれば殆どの人が「要求」であると判断できる「〜てほしい」「〜てください」「〜てくれ」「〜もらいたい」のような「直接依頼表現」（直接要求表現）（非特許文献６参照） がある。
【００１２】
【非特許文献６】国立国語研究所  「話しことばの文型」,秀英出版.(1960)
【００１３】
これらの直接要求表現は「要求を知る」ための手がかりになっている。この認知過程は図1 における「言語直感的に要求と判断できるか否か」（１０）の判定に相当する。これを、図２に示す要求意図判定基準の第一段階とみなし、回答が「直接要求表現を含むか否か」（２０）という判定基準に相当すると位置付ける。
次に、要求や依頼を示す直接的な表現がない場合、すなわち図１における非要求（１１）の回答の中にも要求であると判断できる場合について考える。たとえば「交通量の激しい道路の歩道にはガードレールをつけるべきだ」「環境に配慮した道路づくりが重要である」といった回答は、調査者・回答者・状況を踏まえた語用論的解釈から「歩道にガードレールをつけてほしい」「環境に配慮してほしい」といった要求とみなすことができる。
【００１４】
しかし、図１の第二の判定（１２）に示すとおり、この解釈方法を可能にするのは暗黙の「何らかの」基準である。このような基準を用いて得られる図１の要求II（１３）は判定者に依存して判定結果が変わる可能性があるため、要求を含む回答を取り出す際に再現性のある結果が得られない。
そこで、本発明では、この暗黙の基準を要求意図判定基準として顕現化した上で、コンピュータにより自動判定する手法を創出した。
【００１５】
本発明において、この顕現化の方法として、図２に示した第二の「回答を『てほしい』を含む文に言い換えられるか否か」という判定（２１）を提案する。すなわち、回答文を典型的な要求表現である「てほしい」を含む文に言い換えることができれば、それは要求文であるといえる。
この判定基準によって得られるのが図２における要求意図表現（２２）を含む要求であり、この要求を含む回答は明確な基準に基づいて取り出されるため再現性が保証される。
以上のとおり、本発明では回答から要求を適切に取り出すための手法として、典型的要求表現への言い換えによる要求意図判定基準を提案し、これによる判定方法を次に説述する。
【００１６】
図３は本発明に係るアンケート結果の分類装置のブロック図である。本装置（３０）は、各種演算処理を司るＣＰＵ部（３１）にアンケート結果の回答テキストを入力する入力手段（３２）、本発明による分類結果を出力する出力手段（３３）の他、ＣＰＵ部（３１）と協働して動作するＲＯＭ・ＲＡＭなどのメモリ（３４）、ハードディスクや磁気記録媒体などの可搬媒体で構成される外部記憶装置（３５）から構成される。
このような構成を備えるものとして公知のパーソナルコンピュータがあり、本発明はこれに実装することで構成するのが好適である。
【００１７】
ＣＰＵ部（２１）における処理として、まず機械学習モデルを実装して学習データを生成するための学習用回答テキスト素性抽出部（３６）と、機械学習部（７）を備え、得られた学習結果を学習結果データベース（３８）として外部記憶装置（３５）に生成する。
ＣＰＵ部（３１）に各種データを入力するための入力手段（３２）から学習用回答テキストを入力する。入力手段（３２）としては、公知のキーボードや磁気記憶媒体の読み出し装置、ネットワークから取得するためのネットワークアダプタなどで構成することができる。
【００１８】
学習用回答テキストは次のように作成したものである。すなわち、予め被験者により、上記要求意図判定基準をもとに、
（１）回答文に「てほしい」「もらいたい」等の直接要求・依頼表現を含むか否か、
（２）回答を「てほしい」で終わる文に言い換え可能か、を目視により判断、分類する。
（１）の判断には森田ら（非特許文献７を参照）の分類において要求・依頼に列挙された表現を対象とした。
学習用回答データは、複数文から成っている回答についても一文ごとに分け、無作為に取り出した3000 文を対象にした。それに対して図２に示した要求意図判定基準を適用し、表１の結果を得た。
【００１９】
【非特許文献７】森田良行・松木正恵  「日本語表現文型」, アルク(1989)
【００２０】
【表１】
2005092492.tif 000003
【００２１】
表１の１は「〜てほしい」「〜てください」などの直接要求表現を含む文である。これらは、すべて「〜てほしい」への言い換えが可能であり、3000 文中の約２割を占める。３の表現が図２における要求意図表現（２２）に相当する。
要求意図表現には動詞や名詞など、従来、モダリティの表現とは認められていない品詞の語や、従来の助動詞および助動詞相当語句としてのモダリティ表現の中で、構文論的な意味分類においては「要求」とみなされていなかった様々な表現も含まれる。
【００２２】
このようにして得た学習用回答テキストは、言い換え可否のタグ付きデータとして入力手段（３２）から入力される。そして、学習用回答テキストについて、学習に用いる素性を抽出する。
学習用回答テキスト素性抽出部（３６）では、まず公知の形態素解析技術を用いて次のような形態素又は形態素群を抽出する。本実施例では形態素解析に茶筌（非特許文献８を参照）を利用して形態素に分割した。
【００２３】
【非特許文献８】http://chasen.aist-nara.ac.jp/
【００２４】
本発明では３通りの素性集合を比較した。それらは、n=1、n=2、n=3 と示すことにするが、n=1 は任意の形態素(表記)の集合、n=2 はn=1 に任意の形態素の2 連鎖を追加した集合、n=3 はn=2 に任意の形態素の3 連鎖を追加した集合である。
また、ある回答x に含まれる素性とは、x が形態素列によりw1,w2,…,wm で表現されているとするとw1 = <b>, wm = <e>という文頭と文末を示す特殊形態素として、n=1 については[ wi | 2 ≦ i ≦ m-1 ]に含まれる形態素であり、n=2についてはn=1 の場合に加えて[ wiwi+1|1 ≦ i ≦ m-1]を追加した集合に含まれる形態素(連鎖)であり、n=3 についてはn=2 の場合に加えて[ wiwi+1wi+2|1 ≦ i ≦ m-2]を追加した集合に含まれる形態素(連鎖)である。
【００２５】
抽出された素性を用いて機械学習部（３７）において機械学習を行う。
本発明で用いた機械学習法は最大エントロピー法(ME)（非特許文献９）とSupport VectorMachine(SVM)（非特許文献１０）である。これらの手法については公知であるが、次に簡単に説述する。
【００２６】
【非特許文献９】Berger,A.L., Della Pietra,S.A. and Della Pietra,V.J.  A maximum entropy approach to natural language processing. Computaional Linguistics, Vol.22, No.1, pp39-71.(1996)
【非特許文献１０】Cristianini,N. and Shawe-Taylor,J. An Introduction to Support Vector Machines. Cambridge University Press.(2000)
【００２７】
最大エントロピー法は、あらかじめ設定しておいた素性ｆj（１≦ｊ≦ｋ）の集合をＦとするとき，以下の数１を満足しながらエントロピーを意味する数２を最大にするときの確率分布ｐ（ａ，ｂ）を求め、その確率分布にしたがって求まる各分類の確率のうち、もっとも大きい確率値を持つ分類を求める分類とする方法である。
【００２８】
【数１】
2005092492.tif 000004
【数２】
2005092492.tif 000005
【００２９】
ただし、Ａ、Ｂは分類と文脈の集合を意味し、ｇj（ａ，ｂ）は文脈ｂに素性ｆjがあって、なおかつ分類がａの場合１となり、それ以外で０となる関数を意味する。また、数３は、既知データでの（ａ，ｂ）の出現の割合を意味する。
数１は確率ｐと出力と素性の組の出現を意味する関数ｇをかけることで出力と素性の組の頻度の期待値を求めることになっており、右辺の既知データにおける期待値と、左辺の求める確率分布に基づいて計算される期待値が等しいことを制約として、エントロピー最大化(確率分布の平滑化) を行なって、出力と文脈の確率分布を求めるものとなっている。
【００３０】
【数３】
2005092492.tif 000006
【００３１】
また、サポートベクトルマシン法は，空間を超平面で分割することにより，２つの分類からなるデータを分類する手法である。図４にサポートベクトルマシン法のマージン最大化の概念を示す。図４において、白丸は正例、黒丸は負例を意味し、実線は空間を分割する超平面を意味し、破線はマージン領域の境界を表す面を意味する。図４（Ａ）は、正例と負例の間隔が狭い場合（スモールマージン）の概念図、図４（Ｂ）は、正例と負例の間隔が広い場合（ラージマージン）の概念図である。
【００３２】
このとき、２つの分類が正例と負例からなるものとすると、学習データにおける正例と負例の間隔（マージン) が大きいものほどオープンデータで誤った分類をする可能性が低いと考えられ、図４（Ｂ）に示すように、このマージンを最大にする超平面を求めそれを用いて分類を行なう。
基本的には上記のとおりであるが、通常、学習データにおいてマージンの内部領域に少数の事例が含まれてもよいとする手法の拡張や、超平面の線形の部分を非線型にする拡張（カーネル関数の導入) がなされたものが用いられる。
【００３３】
機械学習部（３７）における処理は以下の通りである。まず、回答X は数値ベクトルx=[x1,x2,…xl]により表現する。ここで、
【数４】
2005092492.tif 000007
である。
ＭＥやＳＶＭでは、あらかじめ「可/不可」に分類された訓練データ(およびパラメタ調整用のデータ)を利用して、回答における素性値の0/1 のパタンから「可/不可」への写像を学習する。
【００３４】
以上の学習を経て外部記憶装置（３５）には学習結果データベース（３８）が生成される。
次に、本発明では入力手段（３２）から自由記述方式の回答テキストを入力し、上記学習結果データベースと、学習モデルを用いて要求意図表現であるか否かを判定する。
ＣＰＵ部（３１）の要求意図判定部（３９）では、直接要求表現への言い換えが可能か否かを機械学習モデル及び該学習データを用いて判定する。
要求意図判定部（３９）ではまず入力された回答テキストを形態素解析して上記と同様に素性抽出（４０）する。
そして、最大エントロピーモデル又はサポートベクトルマシンの機械学習モデルと、上述の学習用回答テキストにより作成された学習結果データベース（３８）とを用いて、入力した回答テキストの要求意図を判定（４１）する。
【００３５】
判定された結果は、入力した回答テキストが、要求意図を含むものか否かの２値（要求意図を含むものを１、含まないものを０）で出力手段（３３）から出力される。
本発明の要部は以上の通りであるが、その他に入力手段（３２）から全ての回答テキストを入力する際に直接要求表現を含むものとそうでないものを、公知の言語処理技術により、分類して、直接要求表現を含まないものについてのみ、要求意図判定部（３９）において判定するように構成するとよい。直接要求表現を含むものは出力手段（３３）からその旨出力する。
なお、直接要求表現は、「〜てほしい」「〜てください」などの表現であり、これらの文言を回答テキストが含んでいるか否かといった比較的単純な処理によっても分類することができる。本処理はＣＰＵ部（３１）によって実行可能である。
【００３６】
また、本発明の実施形態としては、上記の最大エントロピー法、サポートベクトルマシンの他に、機械学習法として公知の手法を用いることができる。
例えば、決定木Ｃ４．５（非特許文献１１参照）や、記憶に基づく方法TiMBL（非特許文献１２参照）があり、これら公知の機械学習法を上記の機械学習部（３７）において利用することができる。
【００３７】
【非特許文献１１】http://www2.cs.uregina.ca/~hamilton/courses/831/notes/ml/dtrees/c4.5/tutorial.html)
【非特許文献１２】http://ilk.kub.nl/software.html
【実験例】
【００３８】
本件出願人による実験では、本発明の有効性が次のように明らかである。
まず、実験の手順としては、10 分割交差検定(10-fold cross validation)を利用した。ME とSVM の全体の正解率PME,PSVMは各分割での正解率の平均により定義する。また、ME とSVM の精度を統計的に比較するためには、ウェルチ(Welch)検定を利用した。以下で最頻法とは公知の分類方法で最頻のクラスを選択する方法である。
なお、ME と最頻法、およびSVM と最頻法との比較においては、最頻法の正解率は一定値0.648であるとして、ME とSVM とがその一定値よりも大きな正解率をとるかどうかをt-検定で比較した。これらの検定はいずれも片側検定とした。このようにして求めた正解率を表2 に示す。表において、「n=1」「n=2」「n=3」の行はそれぞれの素性集合を用いた正解率であり、「ME」「SVM」「最頻法」の列はそれぞれの学習法による正解率である。
【００３９】
【表２】
2005092492.tif 000008
【００４０】
まず、表から、どのn についても、ME とSVM の両手法とも最頻法よりも正解率が高いことが言える。これは、統計的にも極めて有意である(有意水準1×10-12〜1×10-14)。次に、ME とSVM とを比較した場合には、いずれのn においても、ME とSVM とで正解率に有意差はない。したがって、学習法としてはどちらを用いても良い。また、n=1 とn=2、n=1 とn=3、n=2 とn=3 について、それぞれの最高正解率同士の比較をすると、n=2 とn=3 については有意差はないが、n=1とn=2、n=1 とn=3 には有意差(有意水準1×10-3)がある。
そのため、素性としてはn=2 かn=3 を用いるのが特に好ましい。
以上は相対的な正解率の比較である。絶対的な正解率について言えば、n=2,3 においては、ME もSVM も91%前後の正解率である。この正解率は最頻法よりも十分に高いので、機械学習が有効であったことを示している。また、これは自動的に精度良く書き換え可能性を判定できることも示している。
【図面の簡単な説明】
【００４１】
【図１】要求を知るための認知過程の説明図である。
【図２】要求意図判定基準についての説明図である。
【図３】本発明のアンケート結果の分類装置のブロック図である。
【図４】サポートベクトルマシン法のマージン最大化の概念図である。
【符号の説明】
【００４２】
３０    アンケート結果の分類装置
３１    ＣＰＵ部
３２    入力手段
３３    出力手段
３４    メモリ
３５    外部記憶装置
３６    学習用回答テキスト素性抽出部
３７    機械学習部
３８    学習結果データベース
３９    要求意図判定部
４０    回答テキスト素性抽出過程
４１    要求意図判定過程
【図１】
2005092492.tif 000009
【図２】
2005092492.tif 000010
【図３】
2005092492.tif 000011
【図４】
2005092492.tif 000012