言語処理学会 第24回年次大会 発表論文集 (2018年3月)

分散表現と特徴量の組み合わせによる文書分類法
DAO VAN TUAN†
佐藤 浩†
防衛大学校電気情報学群情報工学科†{em55039, hsato}@nda.ac.jp
ために使用される統計的尺度である．TF(t, d) は

1 はじめに計算機による自然言語処理では，単語と単語のテキスト d 中の単語 t の出現頻度である．IDF は関係を構築することが重要であり，様々な手法が単語が出現する文書数の逆数であり，出現する文提案されている．そして，そのための学習データ書数が少ない単語に大きな値を与える．

として，インターネット上に存在する大量の言語

𝑖𝑑𝑓 𝑡 = log

データが活用されて始めている．

)*+ ,+1(1)

単語間の関係構築については，単語をベクトル

ここで，N はテキスト集合中の総テキスト数，化し，その距離関係に着目した研究が近年注目をDF(t)は単語 t が出現する文書頻度である．最終集めている．特に，Mikolov により提案された的な値，は次のように計算される．

Word2Vec[1][2] は，単語を低次元で表現できる手

𝑡𝑓𝑖𝑑𝑓 𝑡, 𝑑 = 𝑡𝑓 𝑡, 𝑑 ×𝑖𝑑𝑓(𝑡)法として多くの研究者により利用されている．

TF-IDF 法を用いて文書分類のために重要となる

Word2Vec においては，意味の近い単語から生成さ単語を見つけることができる．

(2)

Word2Vec に よ る 単 語 の ベ ク ト ル 化 に は ，れたベクトルは類似したベクトルとなる特徴を持CBOW( 周 辺 の 単 語 か ら 中 心 の 単 語 を 予 測 ) とつことが期待される．
分散表現の距離関係を文書分類に活用する研究

Skip-gram(中心の単語から周辺の単語を予測)と例はいくつかある[3][4]が，単語のベクトル化のた呼ばれる２つのモデルがある．実験ではめには，ある程度の量のデータが必要であるだけSkip-gram モデルの方が高い意味精度を示したたでなく，データの質も同時に重要である．

め，本研究は Skip-gram モデルを採用する.

本研究では，分散表現による文書の分類にあたり，適切な特徴ベクトルを構築することが重要であると考える．Word2Vec は単語の意味関係を捉えることができるが，ベクトル化のための学習データが持つ特徴量を考慮しない．本研究は，TF-IDF法を利用することでカテゴリの重要語を抽出し，カテゴリの特徴ベクトルをより適切なものとさせることを目的とする．実験結果より，提案手法は既存研究に比べ，短い学習時間で良い結果を得られることを示した．

図 1 Skip-gram モデル

2 特徴量及び分散表現

Skip-gram モデルでは単語𝑤, から複数語𝑤,45 が予文書の特徴量を測るための代表的な手法に測される確率を𝑝 𝑤,45 𝑤, とし，次の式で示されTF-IDF がある．TF-IDF はコーパス内の文書，まる目的関数を最大にする単語ベクトルを学習する．

たは文書の集合に対する単語の重要度を評価する― 937 ―

788,>79:;5;:,5<= log 𝑝 𝑤,45 𝑤,(3)Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ここで，T はコーパスが持つ単語数， c は文脈の既存研究の分類精度との比較を行った結果を表 1，サイズを示す． 𝑝 𝑤,45 𝑤, は，以下の式で定義さ2 に示す．表１，２より，本研究の提案手法は，れる．

丸井ら，及び加藤らの結果より分類精度が高い．
𝑝 𝑤? 𝑤@ =I
ABC (E F GH EGJ )L ABC (EK I E )
GGJ
GMN

(4)

分散表現のみならず，特徴量を考慮することにより，分類精度が高まることが分かった．
表 1 Wikipedia のカテゴリ分類精度

ここで，𝑣P は入力される単語ベクトル，𝑣′P は出力される単語ベクトルである．

正解率（precision）

4 提案手法提案する文書分類法の手順を以下に示す．
1. コーパス（日本語 Wikipedia）から，カテ丸井ら[3]

0.53

提案手法

0.89

表 2 ニュースの記事分類精度(F 値)

ゴリごとに記事を収集し，前処理を行う．
2. 各 カ テ ゴ リ に お け る 単 語 の 重 要 度 を

経済

スポーツ

ナイーブベイズ

0.58

0.84

加藤ら[4]

0.75

0.90

提案手法

0.87

0.91

TF-IDF 法を用いて算出する.
3. 各カテゴリの記事から重要度の高い単語を抽出し，重複を除き，平均をとる à フ

6 まとめィーチャカテゴリベクトルと呼ぶ.

本研究では．文書分類において，分散表現と特4. フィーチャカテゴリベクトルと各カテゴ徴量を組み合わせた手法を提案し，既存研究よりリ内の単語ベクトルへの平均距離をカテも良い結果を得た．パラメータの調整により分散

ゴリ閾値とする.

表現の精度はさらに上がる．今後は，自動的なパ

5. 判定する文書と各フィーチャカテゴリベクトルとのユークリッド距離を計算し，カラメータ調整システムを考案し，分類精度のさらなる向上を目指す．

テゴリ閾値範囲内にあるうちで最短のカテゴリに属すると判定する.

参考文献[1] Tomas Mikolov，T．, Sutskever, I., Chen, K.,

本手法は，（１）分散表現により単語間の関連をCorrado G. and Dean, J.: Distributed representations

表現した上で，単語の重要性を統計的特徴量を利of words and phrases and their compositionality,用して取り込み，（２）コーパスから必要な文書おAdvances in Neural Information Processing Systems,よび必要な品詞のみを抽出して利用する，という

pp.3111-3119, 2013.

２つの特徴を持つ．

[2] Tomas Mikolov， Kai Chen， Grag Corrado ，

5 実験

Jeffery Dean ，“Efficient Estimation of Word

提案手法の分類精度を確認するため，WikipediaRepresentions in Vector Space” Cornell Universityのカテゴリ分類とニュースのカテゴリ分類という， Library arXiv.org，arXiv;1301.3781v3[cs. CL]， 2013.
長短２種類の文書に対する分類実験を行った．
[3] 丸井淳己, 萩原正人, “Category2Vec: 単語・段Wikipedia のカテゴリ分類については，スポーツ， 落・カテゴリに対するベクトル分散表現”, 言語処
文化，経済，軍事からランダムに 10%のカテゴリ
理学会第２１回年次大会, 2015.
記事を抽出したものをテストデータ１とする．ニ[4] Ryoma Kato, Hiroyuki Goto, “Categorization ofュース分類については，Web ニュースサイトの経Web News Documents Using Word2Vec and Deep済，スポーツから抽出した文書をテストデータ２

Learning”, IEOM2016.とする．

― 938 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.