言語処理学会 第26回年次大会 発表論文集 (2020年3月)

超球面上への分布エンコーディングを用いた文書分類
守屋 俊

柴田 千尋

町田 秀輔

東京工科大学 バイオ・情報メディア研究科{c0115334ef, c011624552, shibatachh}@edu.teu.ac.jp

1

ここで，I(·, ·) は相互情報量を表し，β は正の定数ではじめにある．また，X,Y ,Z はそれぞれ，文書，ラベル，表現
表現学習とは，教師あり，教師なしを問わず，深層ベクトルを表す確率変数である．上式の第一項では，ニューラルネットの内部において，より質の高い埋め表現ベクトルとラベルとの間の情報量をより増やす方込み表現を得ようとする試みである．ここでいう質の向に，第二項では，文書が表現ベクトルへ与える情報高い状態とは，例えば，文書分類を行う際に，各文書量を極力減らす方向に，最適化が行われる．θ1 を決に対して，文書の自然なトピックに対応した内部状態

めると，P (z|x, θ1 ) は容易に計算できるが，P (y|z) はのクラスタが存在しているような状態を指す．本研究計算することは困難である．そこで，VIB では，別のでは，超球面上への分布エンコーディングを用いた文NN(そのパラメータを θ2 とする) を用いて，容易に計算できる分布 q(y|z, θ2 ) で近似する．また，同様に，P (z|θ1 ) についても，個々の文書データ x によらない，より簡潔な何らかの分布 r(z) で近似することが一般的である．任意の分布間において KL ダイバージェンスが非負であることを用いて計算すると，以下の不等式が成り立つ．
[[]]fobj (θ) ≥ Ex,y Ez∼P (z|x,θ1 ) log q(y|z, θ2 )[]−β Ex KL( P (z|x, θ1 ) || r(z) )(1)

書分類を通して，識別性が高い隠れベクトルを得ることを目標とする．
先行研究としては，ニューラルネットの学習を変分下界の最大化としてとらえ，分布エンコーディングを用いる代表的な表現学習の手法として，VariationalAuto Encoder(VAE)[4] や変分情報ボトルネック [1] が挙げられる．一方で，クラスごとに隠れ状態をまとめる研究はいくつか存在する．Center Loss[7] は，より識別性の高い特徴量を得るために，隠れ状態をクラスごとにまとめる手法である．Entropy Penalty[2] では，訓練データとテストデータの分布の違いに頑健な分類モデルを得るために，ニューラルネットの各層の隠れ状態をクラスごとにまとめることによって，隠れベクトルがクラス以外の情報を持つことを制限している．

上式右辺は一般に変分下界と呼ばれる．第一項は正解ラベルと予測ラベルとのクロスエントロピーを表し，第二項は，z の x によらない分布による正則化を表す．
第一項は分布埋め込みを行う点を除くと，通常の決定論的な NN を用いた場合の，多クラス分類におけるク2

変分情報ボトルネック法

ロスエントロピーロスと同等である．変分情報ボトル

本研究における文書の分布埋め込みとは，文書 x に対して，表現 z を計算が容易な確率分布で定義したものであり，ニューラルネットの重みなどのパラメータを θ1 として，P (z|x, θ1 ) で表される．ここで，z の分ネック法 (VIB 法) は，この変分下界を最大化するような θ1 , θ2 を求める方法である．

2.1

文書分類への適用における具体形

布は，x のみに依存して決定され，ラベル y とは条件

まず，本研究では， 文書 x が，BERT[3] などすで付き独立である．文書分類における情報ボトルネックに何らかの手法で得られた M 次元のベクトル表現と法は，以下の目的関数を最大化することにより，文書して入力されるものとする (x ∈ RM )．また，表現 z分類にとって最適な表現 Z を得る手法である．

も，N 次元のベクトル表現であるとする (z ∈ RN )．
次に，[1] と同様に，P (z|x, θ1 ) は，平均 µ(x, θ1 )，分fobj (θ1 ) = I(Y, Z) − βI(Z, X)

散 σ 2 (x, θ1 ) をもつ N 次元の正規分布で与えられるものとする．また，q(y|z, θ2 ) は，softmax 関数などを通― 1435 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

して得られる通常のカテゴリカル分布とする (f (z, θ2 )(c) µ の接平面における正規分布の正規化：z = z̃/|z̃|，
ただし，とおく). また，r(z) は，デフォルトでは，[1] と同様，正規分布 N (0, 1) とする．

z̃を再パラメータ化トリックを用いてサンプルすると，()−CrossEnt f (µ(x, θ1 ) + σ(x, θ1 )ε , θ2 ) , y(2)ここで，µ̃ = µ/|µ|．となる．ここで，ε ∼ N (0, 1) である．一方で，第二項は，N (µ, σ 2 ) と N (0, 1) との間の KL ダイバージェンスになるから，−β KL(P ||r) = −)β( 2|µ| + N (σ 2 − log σ 2 − 1) (3)2=(1 − σε · µ̃)µ̃ + σε,

式 1 右辺第一項は，x,y をデータよりサンプルし，z(4)z の分布は，手法 (a) では S N 上にはないが，(b) および(c) では S N 上の分布となっている．また，(c) の z̃ は，次のようにして求まる．µ 方向の単位球面上での接平面の法線ベクトルは µ̃ である．従って，N (0, σ 2 ) よりサンプルされた点 σ 2 ε の接平面への射影は σ 2 ε − (σ 2 ε · µ̃)µ̃である．ガウス分布の性質より，射影後のベクトルは接平面上の分散 σ 2 の正規分布に従う．これを µ̃ だけ平行移動させれば良いから，σ 2 ε − (σ 2 ε · µ̃)µ̃ + µ̃ ととなる．

なり，式 4 を得る．

提案手法

33.2
本研究では，次の 2 つの手法を提案し，その効果を検証する．一つは，表現ベクトルの分布を正規化する
ことで，分布を超球面付近または超球面上に拘束する
方法，もう一つは，r(z) を，ラベルにごとに異なる分布とする方法である．

ラベル毎の情報ボトルネック

VIB[1] では，文書の表現の分布 P (z|x, θ1 ) の近似
分布 r(z) を，N (0, 1) としているが，実際には，多クラス分類においては，z の分布はクラス数分の正規分布の混合分布で近似するほうがより正確である．また，z と y とは，x を介して条件付き独立であるため，

3.1

P (z|x, θ1 ) = P (z|x, y, θ1 ) であるから，近似分布 r が超球面上での分布エンコーディングy に依存してもそのまま P との KL ダイバージェンス

変分下限の第二項 (式 3) は，目的関数の最大化の観を計算することが可能である．そこで，本論文では，点から考えると，µ を 0 に近づける，および，σ 2 を 1

近似分布 r(z) を，ラベル y ごとに平均が異なる正規分に近づける1 ，という 2 つの効果を持つ．β はその効布の混合分布として定義することを提案する．すなわ

果を影響力を表す定数といえる．一般的に，β の値は，

ち，条件付き分布 r(z|y) が N (µy , 1) で与えられるも分類精度が高くなるように，実験的に決定されるが，のとする．このとき，式 3 は，g(σ 2 ) = σ 2 − log σ 2 − 1

結果的に，先行研究では，対象となる問題は異なるもとおいて，のの，β をかなり小さい値にした場合が最適であるこ−β KL (P ||r(z|y)) = −とが知られている．一方で，β を 0 に近づけると，|µ|を原点付近に留める力が弱まるため，分布エンコードによる撹乱 (式 2 中の ε) の効果が弱まり，結果として過学習を引き起こしやすくなり，予測精度が安定しなくなると考えられる．そこで，本研究では，|µ| または |z| を 1 に正規化，つまり超球面 (S N ) 上へ射影し，分布エンコードとすることを提案する．具体的には，
次の 3 つの手法に対し，実験を通してその効果を検証)
β(|µ − µy |2 + N g(σ 2 ) ,2と計算できる．また，特に |µ| = |µy | = 1 のときは，()
上式は β µ · µy − 1 − N g(σ 2 )/2 となり，その最大化は，µ を µy と同じ向きにするような効果があることがわかる．

4する．

実験
超球面上での分布エンコーディングの比較と，文書分類への分布エンコーディングの効果を検証する 2 つ(a) µ の正規化： z = µ/|µ| + σε．の実験を行った．分類対象のデータセットとしては，(b) z の正規化： z = z̃/|z̃|，ただし， z̃ = µ + σε．

20Newsgroups2 データセットの分類の正解率で比較を行った．

1 σ 2 − log(σ 2 ) が σ 2 = 1 のとき最小となるため．

2 http://qwone.com/ jason/20Newsgroups/― 1436 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

超平面上での分布エンコーディングの比較を行う
ために，節 3.1 の 3 つの手法とベースラインに関して，分類の正解率を比較した．文書分類のモデルには

SWEM-concat[6] で用いられている，単語ベクトルの平均と各次元の最大値を結合したベクトルを，節 2.1 における x とする．単語ベクトルの初期化には，GloVe3の学習済みベクトルを用いた．
文書分類への分布エンコーディングの効果を検証する実験では，分布エンコーディングの文書分類に対する効果をを確認するために，節 3.1 の手法 b(dist1 と表記) と節 3.2 のラベル毎の情報ボトルネック (distC) とベースラインの 3 つについて，分類の正解率を比較した．また，ベースライン手法と分布エンコーディング手法の隠れベクトルの次元数による性質の違いを確認するために，隠れベクトル z の次元数を 20，100，300の 3 つの条件で実験を行った．超平面上での分布エンコーディングの比較で用いた手法に加えて，BERT[3]の CLS トークンを x とした場合での実験を行った．
表 2 の実験に使用した BERT では Toronto Book

Corpus と Wikipedia を使って学習された BERT-baseのアーキテクチャ4 を使って FineTune する．
超球面上への分布エンコーディングを行う際は，節図 1: ドロップアウトを用いた場合 (上) と超球面分布3.1 の手法 b を用いた．表 2 の実験を行う際には，全エンコーディング (下) を用いた場合の比較 (300 次元，ての枠組みにおいて β = 0.001 とした．

SWEM)

5

実験結果

果，その時が最も精度が高かったためである．表から超球面上での分布エンコーディングの提案手法 (a)-わかるように，超球面上の分布エンコードを用いると，(c) の効果を表 1 に示す． ベースラインとして，分布(a)-(c) のどの手法であっても，ベースラインの手法とエンコードを行わず，ドロップアウトを用いたもの，比較して精度が高くなっていることがわかる．(a)-(c)分布エンコードは行うが，球面上への射影はとらない

内での比較では，z の次元数が 20,100 の時には手法ものを用いた場合の分類精度を，それぞれ，表の 1,2行目に示す．なお，後者のベースラインで β = 0.1 と(b) が最も良く，300 の時には手法 (a) が良い結果となっている．

なっている理由は，その手法では β の値を調整した結

次に，ボトルネックにおける各手法 (dist1,distC) の効果を検討する．20newsgroups に対する比較結果を
表 2 に示す．表 2 より，SWEM の場合，全ての z の

表 1: エンコーディングの比較；分布エンコードの有次元数に対して，SWEM distC の分類精度が高くなっ

無及び超球面の手法 (20news, SWEM)ている．BERT の場合，全ての z の次元数に対して，Distrib.

Space

None(dout) RN
NormalRN
NormalS N (a)NormalS N (b)NormalS N (c)β0.10.001
0.001
0.001

BERT dist1 の正解率が高くなっている．いずれにせrepresentation dim.
20100300
39.70
84.61
84.75
85.63
85.08

84.27
85.78
86.64
86.71
86.38

よ，分布埋め込みを行わない場合に比べて，精度が向84.35
85.63
86.76
86.38
86.40

上していることがわかる．また，特に埋め込み次元数が小さいほど，その差は顕著になっている．
最 後 に ，20newsgroups デ ー タ セット に 対 す る

SWEM base と SWEM distC の 300 次元の z に対して t-SNE[5] を適用し，可視化したものを図 5(上) と図3 https://nlp.stanford.edu/projects/glove/
4 https://huggingface.co/transformers/5(下) に示す．

― 1437 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

7

表 2: 20newsgroups の分類精度

6InputBottleneck

SWEM
SWEM
SWEM

None(dout)
dist1
distC

BERT
BERT
BERT

None(dout)
dist1
distC

本研究では，超球面に対する分布エンコーディング

representation dim.
20
100
300
39.70
85.63
86.18

84.27
86.71
86.82

86.27
86.21

84.68
86.52
85.28

結論

を用いた文書分類を行った．実験の結果，分布エンコー

84.35
86.38
86.38

ディングを用いることによって，より識別性の高い隠れベクトル z が得られた．また，ベースライン手法と比較して，隠れベクトルの次元数が少なくなった時に，分類のために必要な情報を保持した変換ができている

86.03
83.44

ことを実験により確認した．

考察

参考文献

表 1 の結果より，節 3.1 の手法 c はあまり有効ではなかった．手法 c の意図としては，µ が原点付近のと[1] Alexander A. Alemi, Ian Fischer, Joshua V. Dil-

きに，ノイズ ε によってベクトルの各次元の要素の符

lon, and Kevin Murphy. Deep variational infor-号が変わってしまうと，正規化した後のベクトルの向mation bottleneck. In 5th International Confer-

きが大きく変わってしまうことを抑制する効果を期待

ence on Learning Representations, ICLR.

していた．したがって，手法 c の効果が薄いというこ[2] Devansh Arpit, Caiming Xiong, and Richardとは，µ の向きがノイズ ε によって大きく変わってしSocher. Entropy penalty: Towards generaliza-まうことがあまり起きていない，もしくは，µ が原点

tion beyond the iid assumption. arXiv preprint

付近に集まるのは，β が大きい場合であり，分散 σ 2 等

arXiv:1910.00164, 2019.との兼ね合いで，そもそも分類がうまくいかない場合にしかそのようなことが起きないといったことが考え[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. Bert: Pre-training of deepられる．

bidirectional transformers for language under-

表 2 の結果より，z の次元数が少ない (クラス数相standing. In Proceedings of the 2019 Conference

当) 時に，SWEM base の dropout の精度が低くなっof the North American Chapter of the Associa-ている．一方で同じ次元数の z でも，分布エンコーディ

tion for Computational Linguistics: Human Lan-

ングベースの手法は，比較的高い正解率を維持していguage Technologies.

る．このことから，分布エンコーディングベースの手法は，分類のために必要な情報を低次元のベクトルに[4] Diederik P. Kingma and Max Welling. Auto-

効率的に変換できていると考えられる．

encoding variational bayes. In 2nd International

図 5(上) と図 5(下) を比較すると，分布エンコーディ
ングによる手法で得られた z の方が，わずかによくまとまっているように見える．このことから，分布エン

Conference on Learning Representations, ICLR.
[5] Laurens van der Maaten and Geoﬀrey Hinton.
Visualizing data using t-sne. Journal of machine

コーディングによって，より識別性が高い z が得られlearning research, Vol. 9, pp. 2579–2605, 2008.

たということができる．

BERT の CLS トークンを用いて，クラス毎の情報[6] Dinghan Shen, Guoyin Wang, Wenlin Wang, andボトルネック (distC) を適用すると，隠れベクトル zの次元数が多くなるにつれて，正解率が下がっている．

et. al. Baseline needs more love: On simple wordembedding-based models and associated pooling

dist1 に関しては，z の次元数によらずに，一定程度のmechanisms.

正解率を維持している．このことから，CLS トークンの表現力が高いために，クラスごとにまとめる制約が強い枠組みで BERT を学習すると，隠れ状態の次元[7] Yandong Wen, Kaipeng Zhang, Zhifeng Li, andYu Qiao. A discriminative feature learning ap-

数を大きく取ってしまった時には，過学習が起きやすくなってしまっていると考えられる．

proach for deep face recognition.

In Euro-pean conference on computer vision, pp. 499–515.
Springer, 2016.

― 1438 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.