言語処理学会 第21回年次大会 発表論文集 (2015年3月)

文書分類に適した Word Embedding の非線形変換法
Daniel Andrade 田村 晃裕 土田 正明
NEC 情報・ナレッジ研究所{s-andrade@cj, a-tamura@ah, m-tsuchida@cq}.jp.nec.com

1

はじめに従来手法

2

近年，Word Embedding は，品詞解析，同義文判定といった様々な NLP タスクで有効であることが示さ[5] は，文書分類タスクに適した WE の学習方法として，既存の WE1 を，分類ラベル付き文書の学習デーれている．WE とは，低次元なベクトルで，単語の語タを用いて調整する方法を提案した．各単語 w に対応義や統語的な情報を表現しているものとされている．

するベクトル（WE）e が独立に生成されると仮定す

そのため，例えば，WE のユークリッド距離が近い単ると，WE を調整するパラメータベクトル ϕ が与えら語は意味的にも類似している傾向にある．

れた際，文書ラベル c の条件付確率は以下のようなロ

一方で，WE は文書分類への応用では成功例が少な

ジスティック回帰で決まる．

く，文書分類で効果を発揮させるには，文書分類に特p(y = c|w) =化した WE を使う必要があることが報告されている[5, 8]．例えば，汎用的な WE の学習では，一般に語義が近い「やばい」と「危ない」の WE が近くなりやす
いが，映画の評判では「やばい」の語義は「すばらしい」という意味で使われることが多い．そこで，映画

1.
1 + exp(−ϕT e)(1)

単語ベクトル e とパラメータベクトル ϕ は以下の目的関数によって最適化する．

argmin −ϕ,E ′の評判分析では，映画の評判文書とそれに付与されて∑∑ilog p(y = ci |wt ) + λ||E ′ − E orig || .

t

いる positive/negative のラベル情報を使って WE を

ここで，i は文書のインデックス，t は各文書の単語の変換することで，「やばい」と「すばらしい」の WE をインデックスを表す．また，E ′ は新しい WE からな近づける必要がある．

る行列，E orig は元々の単語の WE からなる行列を表

先行研究 [5, 8] では，ラベル付き文書を学習データす．E ′ はパラメータであり，E orig は固定されている．

として，個々の WE をパラメータとみなして文書分類|| · || はフロベニウスノルムを表す．ハイパーパラメー

タスクにそのＷＥを最適化する．したがって，先行研タ λ は，元の WE の情報をどの程度残すかを調整す

究は，ラベル付き学習データに存在しない単語の WEる．ここで，wt は学習データに存在する単語のみとは学習できないという問題がある．

なるため，学習データにない単語は調整できないこと

そこで，本論文では，文書分類タスクに合わせて，が分かる．

元の WE の空間の非線形変換を学習する方法を提案[8] は，既存の WE を初期値とぜずに，文書分類タする．提案手法により得られた非線形変換は，ラベルスクに合わせた WE の学習方法を提案している．た付き文書に存在しない（元の WE を学習したラベルだし，WE の学習には各文書のラベルが必要であるたなし文書にのみ存在する）単語の WE にも適用・調整

め，ラベル付き文書の量が十分でない場合，様々な文できるため，学習データが十分多くない場合でも有効脈の情報を含む WE は得られないと考えられる．そこと考えられる．

で，彼らはツイートにある絵文字によって文書に擬似映画の評判データ IMDB[6] の positive（評判がいラベルを振ることで，大量の学習データを自動生成しい）/negative（評判が悪い）の分類タスクによる評価た．大量の学習データがあれば，出現しない単語は少実験で，学習データが中規模 (1000 件) の場合，[5] となくなると考えられるが，このようなヒューリスティ比較して精度が 1%以上向上することを確認した．

スクが使えない分類タスクでは，大量のラベル付き文書を用意することが困難という問題がある．
1 一般的な方法で学習した WE― 39 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

提案手法3) ≈ α1 · eorigとなるためで線形であり，tanh( α1 · eorigtt

提案法では，以下の非線形変換により，既存の WEを分類タスク用 WE に変換する．

ある．そこで，元の WE の空間の情報を残せるように，α を十分高く設定し，行列 T が単位行列 I に近くなるように正則化する．

1e′ = α · tanh( · T · eorig ) ,α(2)元の WE を eorig ，変換後の WE を e′ とする．α ∈ Rはスケーリング用の定数である．T ∈ Rd×d は行列でr2 (T ) = ||T − I||2 ,|| · || はフロベニウスノルムを表す．

あり，WE を変換するためのパラメータで，学習データから学習する．関数 tanh は要素ごとに施すものと3.2する．
また，文書ベクトルは，単語の WE を重み付き平均したベクトルを用いる．すなわち，文書 i のベクトル

ハイパーパラメータの設定

定数 α は十分大きくするために，以下のように全ての元々の WE における最大値に設定する．

xi を

α := maxe maxdl=1 eorig (l),
xi =

ni
∑

qt · e′t ,(3)e は全ての単語の WE の範囲であり，d は WE の次元数である．

t=1

ハイパーパラメータ λ1 は以下の値に固定する．とする．ni は文書中の単語の数，qt は単語の重み，e′tは t 個目の単語の変換後 WE である．qt は単語の idf

λ1 :=を正規化した重みを使う．

qt ∝ logD,fwt(4)

D は学習データの文書数で，fwt は単語 wt の文書頻度である．

1.
d · nc

前述した通り，ハイパーパラメータ λ2 は e′ がどれぐらい eorig から離れるかを決める重要なパラメータであるため，従来方式 re-embedding[5] と同様に学習データの 2 割を使いチューニングする．

行列 T を学習するために，文書分類問題をロジスティック回帰で表現する．

3.3

exp(xTi ϕc + bc )p(yi = c|xi ) = ∑nc,T
k=1 exp(xi ϕk + bk )パラメータの学習

式 (2) より，式 (6) の最適化問題は，tanh の影響で(5)非凸である．そこで，勾配降下法で局所最適解を求め

ϕk ∈ R と bk ∈ R は説明変数のパラメータで，nc はdる．具体的には，AdaGrad[2] を利用して，マスタークラスの数である． 学習では，次の負の対数尤度を学習率を 1.0 に設定する．行列 T の初期値は単位行列最小にするパラメータ T，ϕk ，bk を求める．にして，反復数は 1000 回にする．

2−n∑log p(yi = c|xi ) + λ1 · r1 (ϕ) + λ2 · r2 (T ) ,(6)

4

実験

i=1

r1 と r2 はそれぞれ w と T の正則関数であり，λ1 と手法
提案手法
Re-embedding
Original

λ2 はハイパーパラメータである．r1 は通常の L2 正則化を用いる．r2 は次節で説明する．

3.1

5000 件
0.848
0.848
0.820

表 1: 文書分類の評価結果（学習データが 1000 件と行列Ｔの正則化

5000 件の場合）

式 (2) より，定数 α が十分高く（α ≫ 1），かつ，行列 T が単位行列であれば， e′ ≈ eorig となる．その理由は，tanh は入力の絶対値がゼロに近い場合にほぼ2 本論文では 2 値分類で実験しているため，n1000 件
0.830
0.817
0.817

c は 2 である．

実験は，映画の評判コーパス IMDB[6] を使い，文書が positive か negative かを分類する 2 値分類タスクで評価した．ベースライン方式として，元の WE― 40 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

手法
提案手法
Re-embedding
Original

1000 件
0.822
0.815
0.817

るコーパスから学習した WE を使用したからである

5000 件
0.855
0.8490.820と考えられる．
表 1 より，学習データが 1000 件の場合には，提案手法は従来方式より優れていることが分かる．これは，

表 2: 学習データにある単語のみを素性に使った文書

提案手法は学習データにない単語の調整も可能なため分類の評価結果（学習データが 1000 件と 5000 件のと考えられる．それを確かめるため，学習データにし場合）かない単語に絞った評価も行った．結果を表 2 に示す．
表 2 より，学習データが 1000 件の場合，提案手法の（Original) と Re-embedding[5] と比較した．IMDB に長所はそれほど発揮できないことが分かった．一方で，は，ラベルなし文書 5 万件とラベル付き文書 5 万件が表 1 より，学習データが 5000 件の場合には，提案手含まれている．ラベル付き文書は，学習用と評価用に法と従来手法は同等の性能である．これは，学習デーそれぞれ 2 万 5 千件ずつ分かれており，各文書には，タが大規模になると，分類に重要な単語の大部分が学positive/negative の 2 値ラベルが付与されている．実習データに含まれてしまうためと考えらえる．

験では，文書分類の評価には，評価用文書の中から選んだ 1 万文書を使った．また，WE の調整と文書分類器の学習には，1 千件（または 5 千件）の学習用文書

4.1

極性語の分析を用いた．
実験手順について述べる．まず，全ての文書に対し内語外語て Senna[1] で単語分割と原形変換を行った．そして，

1000 件2545 (887/1658)
2154 (567/1587)

5000 件3939 (1244/2695)
760 (210/550)

IMDB にある学習用文書とラベルなし文書を合わせた
7 万 5 千件のコーパスに Word2Vec[7] をかけて，50 次元の WE を求めた．3
その後，WE から文書のベクトル表現を式 (3) のよ

表 3: 極性辞書中の内語と外語の合計数（positive 数/negative 数）

うに求めた．
「Re-embedding」方式の際には，式 (3) のe′ は eorig を Re-embedding で調整した WE であり，「Original」方式では eorig そのものである．式 (3) の文書表現には，学習データにない単語の WE も利用できることに注意されたい．そのため，テストの際には，初めて出現している単語の文書頻度を 1 とする（式 (4)の dwt を参照）．最後に，求めた文書のベクトル表現により文書分類を行う．分類器の違いの影響をなくす
ために，全ての方式で，文書分類器は LIBLINEAR のロジスティック回帰 [3] を使い，パラメータ C は 5 分割交差検定で定めた．とりわけ，提案手法は行列 T を学習する際に式 (5) のとおり文書分類器も同時に学習提案手法とベースライン方式の性能を表 1 に示す．
文書分類性能の尺度は，再現率と適合率が一致している break-even-point を利用する．
まず，「Re-embedding」方式と「Original」方式の差は [5] で報告されたほど大きくないことが分かる．その理由は，[5] では，Original は別のコーパスから学習した WE であるが，本実験では，文書分類の対象とな3 全体のコーパスにある頻度 5 以上の単語のみ用いる．Word2Vecの CBOW モデルを利用して，他のパラメータもディフォルトにした．

手法
提案手法
Re-embedding
Original

学習データ 5000 件
内語
外語
上位 10
上位 100
上位 10
上位 100
0.723
0.687
0.638
0.625
0.723
0.681
0.639
0.624
0.721
0.678
0.639
0.624

表 4: 極性語による内部評価（上位 10/100 語が同じ極性を持つ割合）できるが，文書分類の評価の際には LIBLINEAR のロジスティック回帰を利用した．

手法
提案手法
Re-embedding
Original

学習データ 1000 件
内語
外語
上位 10
上位 100
上位 10
上位 100
0.727
0.687
0.679
0.660
0.7260.665
0.672
0.654
0.726
0.665
0.672
0.654

WE 自体の性質を評価するために，[8] と同じように，極性語の類似度実験を行った．映画評判の 2 値分類によって調整した WE が極性をより捉えられるようになったと仮定して，以下の評価を行った．[4] の辞書の単語を，学習データにある単語「内語」と学習デー
タにない単語「外語」に分けた．そして，以下の通り，[8] で提案された尺度を使い，同じ極性を持つ単語のWE が異なる極性を持つ単語より近くなるかどうかを測定する．
∑∑Kw∈Sk=1 β(w, ck ),上位 K 精度 =K · |S|― 41 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

順位類似語 c1
類似語 c2
類似語 c3

提案手法
単語dejectedly（落胆した）
jealously（嫉妬）irregular（不規則）

参考文献

極性
[-]
[-]
[-]

[1] Ronan Collobert, Jason Weston, Léon Bottou,
Michael Karlen, Koray Kavukcuoglu, and PavelKuksa. Natural language processing (almost)from scratch. The Journal of Machine Learning

従来手法
順位
類似語 c1
類似語 c2
類似語 c3単語
maturely（熟した）illogically（不合理的）
enraptured（うっとりした）

極性
[+]
[-]
[+]

Research, 12:2493–2537, 2011.
[2] John Duchi, Elad Hazan, and Yoram Singer.

表 5: 外語「erratically」（迷走的）との類似語（Orig-Adaptive subgradient methods for online learning and stochastic optimization. The Journal ofMachine Learning Research, 12:2121–2159, 2011.

inal と Re-embedding は同じ結果であるため「従来手法」にまとめる）
ここで，S は極性辞書にある単語集合（「内語」または「外語」）である．ck , k = 1..K は単語ｗと似てい[3] Rong-En Fan, Kai-Wei Chang, Cho-Jui Hsieh,
Xiang-Rui Wang, and Chih-Jen Lin. Liblinear:
A library for large linear classification. The Journal of Machine Learning Research, 9:1871–1874,2008.

る上位 K 単語である．単語の類似度は単語と対応している WE のユークリッド距離によって測る．β(a, b)
は単語 a が単語 b と同じ極性を持つ場合に 1，そうでない場合に 0 となる関数である．結果を表 4 に示す．
学習データが 1000 件の際には，提案手法は主に「内[4] Minqing Hu and Bing Liu. Mining and summarizing customer reviews. In Proceedings of語」でよりよく極性を反映した WE の学習できると

the tenth ACM SIGKDD international conference on Knowledge discovery and data mining,
pages 168–177. ACM, 2004.

みえるが，実際には，表 5 の例でみるように，「外語」の場合でも単語のＷＥの近さが大きく改善できる場合がある．
一方，5000 件の際には，内語でも外語でも従来方式との差が少なくなった．

5[5] Igor Labutov and Hod Lipson. Re-embedding
words. In ACL, pages 489–493, 2013.
[6] Andrew L Maas, Raymond E Daly, Peter T
Pham, Dan Huang, Andrew Y Ng, and Christopher Potts. Learning word vectors for sentiment

おわりにanalysis. In Proceedings of the 49th Annual Meeting of the Association for Computational Lin-

本論文では，行列 T によって，既存の WE を非線形変換し，文書ラベルの情報を WE に組み入れること

guistics: Human Language Technologies-Volume1, pages 142–150. Association for Computational
Linguistics, 2011.

ができる手法を提案した．提案手法は，従来方式に比べて，ラベル付き学習データにない単語の WE も調整し，文書分類に最適化することができる．映画の評判
コーパスを用いた実験において，中規模 (1000 件) の学習データでは，従来方式より高い文書分類精度を実現できることを確認できた．さらに，極性辞書による[7] Tomas Mikolov, Kai Chen, Greg Corrado, andJeﬀrey Dean. Eﬃcient estimation of word representations in vector space. International Conference on Learning Representations (ICLR), 2013.

分析で，極性の情報を組み込むこともできることを確認した．
外部分析（文書分類の評価）と内部分析（極性辞書[8] Duyu Tang, Furu Wei, Nan Yang, Ming Zhou,による評価）より，提案手法は学習データにない単語

Ting Liu, and Bing Qin. Learning sentimentspecific word embedding for twitter sentiment

だけではなく，学習データにある単語の WE も従来方式よりうまくラベル情報を反映させることがと分かった（例えば，表 4 の学習データ 1000 件，上位 100 の精度を参照）．これは，Re-embedding 方式と比較す

classification. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pages 1555–1565, 2014.

ると，非線形変換を行ったことが理由の一つに考えられる．この点は，今後，より深く分析する予定である．

― 42 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.