テキストの自動分類に関わる構成要素間の関係の分析
石田栄美（慶應義塾大学非常勤講師）
emi@slis.keio.ac.jp
１ はじめにテキストの自動分類研究は、情報検索分野や機械学習分野を中心に行われているが、適用されている手法のほとんどが両分野ですでに提案された手法を自動分類に応用したものに過ぎないといえる。また、研究の中心となっているのは、分類基準の作成など自動分類に必要な様々な処理の一部分に対する手法の提案である。
つまり、テキストの自動分類は、他の分野で提案された手法を単に適用した手法で行われており、自動分類の特性を考慮した手法の提案や改良が行われているとは言いがたい。そのため、分類精度の画期的な向上には至っていない。テキストの自動分類を研究する際には、まず自動分類の特性や仕組みなどを明らかにすることが必要である。
本研究では、自動分類の仕組みを明らかにするために、自動分類全体を視野に入れた研究を行い、その全体像を明らかにすることを目的としている。
現在までに、自動分類全体を視野に入れた研究の具体的な方法を提案し、その方法にそった分類実験を行ってきた 1),2)。本発表では、分類実験結果の単純な比較だけでなく、統計的分析手法を用いてさらに詳細に分析を行った結果について述べる。
2 自動分類全体を視野に入れた研究
自動分類全体を視野に入れた研究とは、自動分類に関わる要素をできるだけ網羅的に挙げ、各要素がどの程度分類先決定に影響を及ぼすか、各要素間にはどのような関係があるのかを明らかにすることである。

テキストの自動分類は、すでに分類済みのテキストを用いて自動的に分類基準を作成し、その分類基準をもとに、分類対象テキストを既存のカテゴリに分類することである。
これを行うためには、大きく分けて、分類基準を作成する部分と実際に分類対象テキストを分類する部分に分けることができる。本研究では、これらをそれぞれ学習フェーズ、分類フェーズと呼ぶ。さらに、自動分類全体を視野に入れた場合には分類結果を評価する評価フェーズが必要となる。
テキストの自動分類は、この 3 つのフェーズから構成されていると考える。
各フェーズでは、様々な処理が必要となる。例えば、学習フェーズでは、(1)分類済
みのテキストからどの構成単位を分類基準作成のために用いるかを決め、(2)用いるテキストの文章から単語を切り出し、(3)単語集合の中から分類基準に用いる単語を選択し、(4)分類基準を作成する、などの処理が必要となる。これらの処理を本研究では要素と呼び、各要素をそれぞれ、(1)テキストの構造、(2)単語の切り出し・語幹処理、(3)単語の選択、(4)カテゴリ表現とする。
自動分類研究の論文を検討した結果、自動分類システム内で行われている流れや要素は共通しており、要素は 9 つあることが明らかになった 1)。
本研究では、自動分類の全体像をつかむために、自動分類に関わるこの 9 つの要素が分類結果にどのように影響しているのかを調べた。まず、各要素で提案されている手法を組み合わせた実験を行った 2)。
この実験では、各要素において提案されている手法の中で最も有効な手法を調べる

のではなく、各要素は分類にどのような影響を与えるのか、また、手法の組み合わせがどのような結果をもたらすか、要素間で影響を与えあうものがあるかなどを検証する。一つの要素だけでなく、要素全体を視野に入れた上で要素間の関係を見ることが目的である。

学習用データ

学習フェーズ

テキスト構造:全文／見出し データ量：4,008件／2,004件
前処理

切り出し：形態素／n‑gram

選択：全て／名詞・漢字

分類フェーズ

カテゴリ表現：相対出現率／コサイン係数
テキスト表現：
テ
キス
ト

切り出し

選択

出現

形態素/ × 全て/ × 回数/
名詞・n‑gram有無
漢字

類似度計算：
関連度

評価フェーズ＊要素名：用いた手法1/用いた手法2

分類先決定：
ランキング（1位,10位）

評価尺度：
分類精度

3 分類実験の概要
図1 各フェーズの要素と要素内で用いた手法
実験に用いたデータ
この表を見ると、テキスト構造は、分類精は、「毎日新聞 CD‑ROM データ集」の 1994
度が高いときは見出しを用い、分類精度が年 6 月分の全文記事に、毎日新聞縮刷版の低いときは全文を用いていることがわかる。
記事索引で用いられている分類カテゴリ
一方、データ量に関しては、分類精度が高（309 カテゴリ）を付与した新聞記事 5,010
い方にも低い方にも、4,008 件を用いた場件である。このうち、4,008 件を学習用デ合と 2,004 件の場合がある。テキスト構造ータ（カテゴリ表現作成用）に、残りの以外の要素に関しては、データ量同様、特1,002 件を評価用データ（テキスト表現を定の手法を用いた場合に一定の傾向が見ら行う分類対象テキスト）に用いた。
れない。
このデータを用いて、各フェーズの全要実験結果の単純な比較から、テキスト構素である 9 要素のうち、7 要素（類似度計造に関しては有効な手法があるといえるが、算と評価尺度を除く）において提案されてその他の要素については、精度が高いものいる代表的な手法を 2 種類用い、それらのでも低いものでも同じ手法を用いている場
全ての組み合わせにおける分類実験を行っ合が多く、ある特定の手法が有効であるとた 2)。実験は全部で 512 通りである。
いうことはいえない。手法の組み合わせが分類精度に影響を及ぼしており、各要素で4 実験結果用いる手法が複雑に関係しているのではな
分類実験の結果の一部を表 1 に示す。こいかということがいえる。の表は、512 通りのうち 32 通りの実験結果を示したものである。この表から、テキス
5 構成要素間の関係分析
ト構造に全文よりも見出しを用いた方が分
5.1 分析手法の概要
類精度が高いといえるが、その他の要素で次に、要素間にどのような関係があるかは一定の傾向は見られず、手法の組み合わを統計的手法により分析した。
せが分類精度に影響している。
分析手法には、分散分析のうち、繰り返
また、512 通りの実験結果で分類精度がしのある二元配置分散分析を用い、各要素高かった上位 3 位と低かった下位 3 位、そで用いた手法の違いによる効果、2 つの要れぞれの手法の組み合わせを表 2 に示す。

表1 テキスト表現が出現回数の分類結果(1位)素間の関係を調べた。こ
単語の切り出しの分散分析手法は、2 つデータ
カテ（単語の選択）
テキスト
ゴリ
量の要素による影響の度合
構造
形態素
形態素
n‑gram n‑gram
表現（件）を調べることができ、そ（全て） （名詞） （全て） （漢字）
れぞれの要素の効果を比
60.1
61.9
62.5
55.5
4,008
相
見出し
対較したり、どの要素にも55.2
57.2
57.7
49.9
2,004
出差がないという仮説を検
15.4
27.3
8.8
25.7
現4,008
全文定したりすることができ
率
13.1
25.2
8.9
22.3
2,004
るものである。
コ
4,008
55.9
60.3
65.1
53.8
見出し
サ
2 つの要素を対象に二イ
2,004
53.2
57.3
59.7
47.5
元配置分散分析を行うと、
ン
6.7
30.1
11.8
29.7
4,008
表 3 に示した結果が得ら
係
全文
7.5
26.8
8.625.4
数2,004れる。
これは、「テキスト行った方が分類精度が高いことなど、2 つ構造」と「単語の選択」の 2 つの要素を対の要素が影響しあうこと示している。
「分象に分析を行った結果である。この表にお類先決定」要素は交互作用があるとされた
いて、「観測された分散比」が「F 境界値」
が、この要素は分類精度を出すための評価よりも大きく、「P 値」が 0.05（有意水準を尺度であり、要素間の手法を変えた場合の0.05 とする。
）より小さければ、手法を変効果を分析する必要のない要素であるといえた効果や交互作用があるといえる。交互える。
作用とは、要素のお互いの影響、組み合わまた、各要素において手法を変えたことせたことにより生まれる効果のことである。
による影響があるかを調べた結果、「テキ5.2 分析結果
ストの構造」、「分類先決定」と「単語の選2 つの要素の組み合わせて分散分析を行択」については、要素間で手法を変えるこった結果、交互作用があるとされた要素のとによる影響があるとされた。この結果か組み合わせを表 4 に示す。
表から、「カテゴリ表現」と「分類先決定」、 ら、自動分類において、テキストの構成単位のどの部分を用い、どのような単語の選「テキスト構造」と「単語の選択」、「テキ択を行うかが分類精度に大きな影響を与えスト構造」と「分類先決定」には交互作用ることがいえる。
テキスト構造に関しては、があることがわかる。
「テキスト構造」と2)からも結果の単純な比較や全体的な傾向「単語の選択」に交互作用があるとは、例明らかになっている。
えば、全文を用いたときには単語の選択を

表2

分類精度の上位・下位3位の手法の組み合わせ
上位
下位
1位
2位
3位
1位
2位
3位
分類精度
65.1
65.0
62.6
6.7
7.5
8.0
テキスト構造見出し
見出し
見出し
全文
全文
全文
データ量
4,008件4,008件
4,008件
4,008件 2,004件
2,004件
単語の切り出し n‑gramn‑gramn‑gramn‑gramn‑gram
形態素
単語の選択
全て
全て
全て
全て
全て
全て
カテゴリ表現
コサイン コサイン 相対出現率 コサイン コサイン 相対出現率
テキスト表現出現回数 出現の有無 出現の有無 出現回数 出現回数 出現回数

表3 「テキスト構造」要素と「単語の選択」要素間の分散分析結果
変動要因
変動
自由度
分散
観測された分散比
P‑値
F 境界値
テキスト構造30269.17
1 30269.17
115.14 2.1E‑19
3.92
単語の選択
2928.76
1 2928.76
11.14 1.1E‑03
3.92
交互作用
4850.19
1 4850.19
18.45 3.5E‑05
3.92
繰り返し誤差32597.24
124
262.88
合計

70645.37

127

6 まとめ
分析結果から、「テキスト構造」と「単語の選択」
はお互いに影響しあう要素であり、他の要素間では影響しあう関係はないことが明らかになった。
従来の自動分類研究ではある一つの要素だけに注目し、その要素の中だけで手法の比較を行っている研究が多いが、この結果から、一つの要素だけでなく、要素間の関係も考慮しなければならないことが明らかになった。
今回の分析では、要素間の関係があるかないか
要素1を焦点に統計的分析を行る手法はアプローチが大きく異なるので、今後は、機械学習分野で用いられている手法を用いた実験を行い、さらに分析していくことが必要である。
【引用文献】
1) 石田栄美. "テキストの自動分類を構成する要素 "2000 年度三田図書館・情報学会研究大会発表論文集,pp.45‑48(2000)
2) 石田栄美. "構成要素全体から考えるテキストの自動分類 〜日本語新聞記事テストコレクションによる分類実験〜. "日本図書館情報学会 2001 年度春季研究集会発表要綱. pp.51‑54(2001)

表4

分散分析の結果
要素2った。今後は、見出しをカテゴリ表現
分類先決定
用いた場合、全文を用いテキスト構造単語の選択た場合、単語の選択を行
テキスト構造分類先決定った場合、行わない場合
カテゴリ表現 単語の切り出しで、データ量や単語集合
カテゴリ表現
単語の選択にどのような影響がある
カテゴリ表現 テキスト表現のかなど、データの中身単語の切り出し 単語の選択に対する変化を詳細に調データ量
カテゴリ表現
べることが必要である。
データ量
単語の切り出しデータ量
単語の選択
また、これらの実験はデータ量
テキスト表現用いた手法にも大きく影データ量
分類先決定響することが予想される。
テキスト表現 単語の切り出し
今回の実験において、カテキスト表現
単語の選択
テゴリ表現で用いた手法
テキスト表現
分類先決定
は情報検索分野で提案さテキスト構造 カテゴリ表現れた手法であり、機械学
テキスト構造 単語の切り出し習分野で提案された手法
テキスト構造データ量を用いていない。この 2
テキスト構造 テキスト表現
分類先決定 単語の切り出しつの分野で提案されてい分類先決定
単語の選択

要素1の 要素2の交互手法によ 手法による違い る違い 作用×○○××××××××
○×××
○
○
○
○
○
○

○
○
○×
○
×
○××
○×
○×
○
○×××××○○○○××××××××××××××××××