情報処理学会第65回全国大会

3T5B-4

相関ルールの活用によるコールセンター業務への貢献
嶋津恵子 † 山根洋平 † 門馬敦仁 † 桜井哲志 † 古川康一 ‡†富士ゼロックス(株)研究本部 IT メディア研究所‡
慶應義塾大学 大学院 政策・メディア研究科

１

はじめに

現在、どの企業にとっても、コールセンターは市場や顧客との最も重要な接点として捉えられている。担当員は、あらゆるリクエストに対し満足度を保ちながら応答するノウハウを持ち、膨大な応答履歴には顧客傾向や市場動向を読み取る情報が潜んでいると考えられている。
ところが、問い合わせ記録を再利用する際、予め与えられた情報分類尺度や慣例的に用いられているキーワードに頼っているため、思わぬ発見を見落としていることが多い。我々は今回の実験で、コールセンターの情報を対象とし、専門家によるキーワード(およびその組み合わせ)の指定では選択されない重要な情報を発見することを試みた。

２

係り受けを考慮した系列データの生成と相関ルールの効果的絞込み

２．１ 問い合わせ文の分かち書きと係り受け情報による系列化
一般に文章の解析結果は 2 種類の木構造を用いて表現される[長尾 96]。一つは、英文の構文解析の研究成果である出現する句の文法関係を表すものであり、もう一つは係り受け(依存)関係を表すものである(図 1参照)。我々は、問い合わせ記録が日本語のメモレベルの表記であることに注目し、語と係り受け関係用いた系列データに変換する手法を採用した。
この手法により、同一内容や意図の記録でも表現方法のパタンが無数考えられる場合、解釈のあいまい性を除去し、より明確かつ断定的に意味を決定することが可能になる。

２．２ 相関ルールの導出作成された系列データを対象に相関ルールを導出する。この手法は、これまで対象データの大多数に対して当て嵌るルールを発見することに用いられてきた。このとき、一般的には最小指示度(minimum support)と最小確信度(minimum confidence)を満たすルールのみを出力する方法が利用される。
一方テキストマイニングでは、特に内容に注目した場合、頻出する語句の重要性が高いとは限らない。そこ
で我々は、アイテムが単独で存在したときと、別のそれと共起したときの確信度の差が大きいものほど重要性があるとし、系列データから制せ去れた相関ルールを絞り込んだ。これは松尾ら[松尾 02]の提案を単純化した方法であり、意味ある(有用性の高い)ものが導出される。

２．３ Apriori4.03
Apriori[Agrawal 94] は 、 現 在 最 も 引 用 さ れ て い る 相 関 ル ー ル 導 出 用 ア ル ゴ リ ズ ム の 一 つ で あ り 、Apriori4.03[Borgel 02]はその改良版である。このシステムは、従来どおりの指示度と確信度の高い相関ルールの導出をするだけでなく、別の評価法の導入により、より意味のあるルールの抽出を可能としたことが特徴である。これは確信度を、事前確信度(Prior Confidence)と事後確信度(Posterior Confidence)の 2 種類に分けて算出することに基礎を置く。事前確信度は、生成された相関ルールの前提部を空に置き換えたルールの確信度である。例えば、{cheese, tomato} ⇒{bread}というルールが生成された場合、{ }⇒{bread}の確信度を事前確信度、{cheese, tomato} ⇒{bread}のそれを事後確信度とする。
我々は、語句の共起に意味があるという前提に立っている。そこで、事前確信度と事後確信度の差の大きいルールを抽出した。

３ コールセンターの情報を対象にした実験
３．１ 対象データと前処理
今回の実験の対象として、2002 年 4 月 1 日から同年 7 月 31 日までの特定の商品にするデータ(総数は 602 件)の問い合わせ本文を採用した。これらに対し、語句を細かく分けすぎることを避けるために(“Windows2000”を一つの語句としてとりたい)、イント

5−243

図1

文章の 2 種類の木構造表現

ラネット上の IT 用語リストと商品リストを辞書として参照させた上で、茶筅[松本 00]を利用して分かち書き処理をおこなった。さらに語句の共起リスト上に現れてもほとんど意味のとれない(もしくは必要ない)、助詞や指示代名詞を削除した。

３．２ 係り受け情報を付与した系列データへの整形出力された語句リストの動詞に注目し、これに係る名詞との組み表現を用いて系列データに整形した。例
えば、”拡大コピーを取る度に、いつも紙詰まりが発生する”は、3.1 節の前処理で”拡大コピー, 取る, 紙詰まり,発生する”となり、さらに本節の処理で”(拡大コピー → 取る), (紙詰まり → 発生する)”となる。
これらの結果作成されたソースデータは、一つの問い合わせあたりに含まれる平均語句数は約 12.5 個、総語句数は 7517、語句の種類は 1772 となった。２つの語句による異なる係り受け数は、3116 であった。

３．３ 相関ルール抽出によるクラス生成実験
前節で生成した系列データを対象に、Apriori4.03 による相関ルールの導出をおこなった。ルールの絞込
み基準はソースデータ中に頻出するものではなく、最小指示度 0.33 かつ事前確信度と事後確信度の最小差15%を満たすものとした。
①出力相関ルール：数と構成
10333 件の相関ルールが出力された。アイテム数 2 のルール 7608 件、以下同様に３のもの 2633 件、4のもの 107 件であった。すべての相関ルールを構成するアイテム(係り受け情報による語句の組)は、23543 個であり、異なり数は 2496 種類であった。これらの相関ルールを人手により意味が取れるものを特定すると 751件であり、内訳はアイテム数 2 のもの４７５件、3 のもの 221 件、4 のもの 65 件であった。
②生成された情報クラスの有用性出力された相関ルールを、意味が同じであるものをまとめ 1 クラスとして分類した。その結果、23 のクラスが生成された。このうち、内容から有用性が高いと判断できるものを特に有用性”A”として 11 クラスを特定した。この判断基準は、”現稼動中の記録システムで属性名の選択やキーワードの組み合わせ指定では(困難を伴わず)同じ結果を入手できない”ものである。表 1 は、これら 11 クラスの概観を示している。問い合わせデータのうち 54 件がこれらのクラスに分類され、11 件が複数に所属した。また、係り受け情報を付与した相関ルールから解釈した各クラスの意味を、同表の 1 列目(「所属する情報の意味」)に示した。オ
ペレーティング・システムの違いによって発生する問い合わせが半分近くを占めている。
③生成された情報クラスの網羅性
意味の解釈できる相関ルール 751 件は、全問い合わせデータ 602 件(3.1 節)の 430 から生成されていた。
つまり全データの約 71%を網羅していることになる。

３．４ 係り受け情報を利用した系列データの有効性検証
今回の実験で用いたものと同じデータを対象に、係り受け情報を付与しない系列データを用い同様の実験をおこなった[嶋津 02]。同じく 10000 件のルール導出を目指したところ、最小指示度 0.53、事前確信度と事後確信度の最小差 28%で、11054 件を出力した。この中で、意味を解釈できるものは 127 件であり、これらは全問い合わせのうちの 170 件から抽出されたものであった。さらに、これらの相関ルールから生成された情報クラスは 21 種類であった。このうち有用性が”A”であるものは、９クラスであった(表 2)。

３．５ 事前確信度と事後確信度の差を用いた絞込みの有効性検証絞込みの有効性検証
今回の実験対象と同じ係り受け情報を付与した系列データを用い、最小指示度と最小確信度で絞り込む実験をおこなった。4.2 説と同様に最小指示度を 0.33 に設定し、最小確信度を 1 から 0.05 まで下げ、抽出できるルールの数を確認した。最小確信度 0.05 で、抽出ルールは 306 件であり、意味を解釈できるものは 12 件、さらに有用性が”A”であるものは 4 件であった。さらにこれらの値は、最小確信度の値よる大きな変化は見られなかった(表３参照)。

３．６ 生成された情報クラスの精度・再現率
今回の実験で生成した有用性”A”であるクラスに含まれるデータの、全データに対する精度と再現率を確認した(表 5)。例えば、クラス C02 に含まれるものは係り受け情報を付与した相関ルールから内容を解釈すると”バージョンアップ版の購入に関するもの”であり、該当するルールで特定される(ルール生成に用いた)元データは 6 件である(表 1)。これらの問い合わせ内容を(相関ルールではなく)本文そのものから解釈したとき、クラスC02 に含まれるものではない(正解データではない)と専門家が判断した場合、精度は下がる。一方、相関ルー
ル出力に用いられなかった文書の中に、これと同じ内容のものがあれば再現率が下がる。この考え方に基づく、

5−244

情報処理学会第65回全国大会

下線付き太字で記載されているものは複数のクラスに所属するデータ

表１ 有用性が高いクラスの意味と所属するデータ

表２ 係り受け情報の付与による効果

表３ 事前・事後確信度の操作による獲得ルール数の変化

表４ 従来の相関ルール絞込み(高指示度・確信度)による獲得ルール数の変化

クラス別精度と再現率を求めた(表 5)。精度はクラスＣ12 を除きいずれも高いが、再現率はＣ01 とＣ06 を除いて低い値を示している。

４考察

４．1 既存の手法では獲得できない意味ある情報クラスの獲得率と網羅性の向上
今回の実験で、我々は、問い合わせ登録時に振られた属性の選択や本文に対するキーワード検索では獲得できない有用性の高い情報クラス(有用性”Ａ”)を 11 件生成した。このことから、問い合わせ本文を参照することなく語句の系列データを用いることで内容を把握することがある程度可能であると言える。また意味の解釈できるルール 751 件は、元データの 71%を使って生成されたものであり、係り受け情報の付与をおこなわなかった場合の 18%を大きく上回る。対象データ全体から網羅的に、有用な(意味の解釈できる)ルールを抽出できるように改善されたと言える。
テキスト情報の分類手法の代表として用いられるものに TF/IDF 値の利用がある[Salton83]。これは重要性が高い語ほどその文書内に頻表5情報クラスの精度と再現率発に出現し、抽象度が高い語ほど多くの文書に5−245出現するという考えを基にしている。この手法を用いた時の課題は、①出現する語が文書の特徴を示さない場合の対処と、②意味的に複数のクラスに所属するデータへの対応(TF/IDF では排他的に分類)であった[嶋津 02]。今回の実験では、キーワードによる検索が不可能な有用性”A”である情報クラスを 11 生成でき、またデータを複数のクラスに所属させることに成功した。このことから、TF/IDF 値による手法の課題を解決し、実用上利便性の高い、内容依存型の分類に近づいたと言える。
一方、相関ルールから生成されたクラスに含まれるデータ(ルール生成の基データ)の再現率が、低い。これは同じ意味を持つデータでも、係り受け情報を付与した語句の系列データだけでは拾いきれないことを示している。今回は、那須川ら[那須川 01]の提案を採用し、係り受け構造のうち動詞のみに注目した。今後、形容詞等も採用することで、精密なルール表現が可能になり再現率を改善させることができると考えられる。

４．２ 係り受け情報を付与した系列データの効用
我々は係り受け情報に注目し、テキストデータを語句とこれを付与した系列データに整形する手法を採用した。係り受け情報を付与しないデータと比較し、意味を解釈することのできるルールの割合(対出力全ルール)が約 6 倍に増えている(表 2)。有効なルールの獲得効率に貢献したと言える。
また 4.1 節で報告した”多数存在はしないが重要であるような情報の獲得に成功した”理由は、基
本的には、相関ルールの絞込みの際に事前確信度と事後確信度の差を採用したことによると考えられる[嶋津 02]。ただし、同じ絞込み方法を採用しても、係り受け情報を付与しなかった実験では有用なクラスに含まれるデータ数が平均約 18 件である(表２)。ことから、係り受け情報の付与も、出現数は少なくとも意味ある情報を特定するという効用をより高めるに貢献したと言える。

４．３ 事前・事後確信度を利用した相関ルールの絞込みの効用
我々は、相関ルールの絞込みに従来の支持度と確信度の高いものを選択する方法でなく、事前確信度と事後確信度の差の大きいものを選択する方法を採用した。この結果、10000 件のルール出力を目指し、700 件以上の意味を解釈できるルールを獲得した。ところが、同じ系列データを用い、従来の手法で絞り込むと、計算爆発をおこさない程度まで確信度を下げていっても全出力ルール数は 300件ほどであり、そのうち意味を解釈できるルールは 12 件であった。これは、テキストマイニングには従来の相関ルールの絞込み手法が不向きである[有村 02]ことを裏付け、一方、我々が採用した手法が効果的に作用することを示すものである。

５ まとめ
我々は、相関ルール導出アルゴリズムをテキストマイニングに応用し、意味ある情報のクラスを特定することを試みた。
この際、①出現する語句に係り受け情報を付与し系列データ化したことと、②事前確信度と事後確信度による相関ルールの絞込み手法を採用したことが特長である。これにより、頻出はしないが、意味を持つ情報クラスを獲得することに成功した。また、従来手法に対し、内容に依存した複数のクラスへの分類という課題への解決も図った。
係り受け情報を付与しない同じデータを対象とした先行実験では、出力されたすべての相関ルールから意味あるものだけ出力する際の膨大な手作業が課題として報告されていた。これに対し、係り受け情報を付与することで、大きく改善することを示した。今回は、動詞に注目した係り受けのみ付与したが、小林[小林 02]と同様に文末情報全体に注目し形容詞等の係り受けも採用することで、より改善効果が高まると予想される。

参考文献[Agrawal 94] Agrawal R.: Fast Algorithms for Data Mining Applications, Proc. of the 20th International Conference on Very
Large Databases, pp.487-489, Santiago Chile (1994)[有村 02] 有村博紀，テキストマイニング：ウェブデータからの知識発見を目指して,(招待論文) , 第２５回情報化学討論会概要集, J13,
日本科学会情報科学部会 (2002)[Borgel 02] Borgel, C. : http://fuzzy.cs.uni-magdeburg.de/~borgelt/apriori/[松本 00] 松本裕治: 形態素解析システム「茶筅」, 情報処理, 41-11, pp.1208-1214 (2000)[那須川 01] 那須川哲哉: コールセンターにおけるテキストマイニング, 人工知能学会誌, Vol.16, No.2, pp.219-225 (2001)[Salton 83] Salton G. and McgGill M.: Introduction to Modern Information Retrieval, McGraw-Hill Book Company (1983)[嶋津 02] 嶋津恵子, 山根洋平, 門馬敦仁, 桜井哲志, 古川康一: テキストデータの内容に基づく相関ルールのクラスタリング実
験, 人工知能学会研究会, SIG-FAI-A202, pp.55-62 (2002)

5−246