言語処理学会 第25回年次大会 発表論文集 (2019年3月)

Expert と Imitator の混合ネットワークによる大規模半教師あり学習
清野舜♠,♢♠
東北大学

鈴木潤♠,♢
乾健太郎♠,♢♢
理化学研究所 AIP センター

{kiyono, jun.suzuki, inui}@ecei.tohoku.ac.jp

1

はじめに半教師あり学習（Semi-supervised Learning：SSL）は，ラベル付きデータに加えてラベル無しデータを用いることでモデルの汎化性能の向上を目指す学習の枠組みである．一般に，自然言語処理ではラベル付きデータの作成には高度なアノテーション作業が必要となることが多く，大規模なデータの構築のコストが大きい．一方，ラベル無しデータは実質的に生文の集合で，Web のクローリングを通してテラバイト級の大規模なデータを比較的安価に獲得できる*1 ．このことを背景に，SSL は活発に研究されており，特に近年は SSL の深層学習への適用が盛んである [1, 2, 13]．
本研究も同様に SSL の深層学習への適用に取り組む．特に本研究では，ラベル無しデータ増加による汎化性能向上を目標とする．一般論として，教師あり学習および SSL において，ラベル付きデータを増やすと汎化性能は向上する．しかし，SSL においてラベル無しデータの増加による汎化性能の向上は必ずしも自明ではない．また，仮に汎化性能を向上できたとしても，大規模なラベル無しデータを全て活用するためには，データ量に対してスケールする（大規模なデータを現実的な時間で学習できる）方法論が必要となる．つまり，ラベル無しデータの量を増やすことで性能が向上し，また高いスケーラビリティを持つ SSL が必要である．
しかしながら，既存の SSL においてラベル無しデータの量による性能への影響はあまり議論されてこなかった．例えば，ラベル無しデータをモデルの新たな訓練データとして活用する手法 [1, 11] では，ラベル無しデータの量は固定されているため，データ量の増減による性能への影響は言及されていな
い．また，ラベル付きデータとラベル無しデータを同じネットワークで用いるため，2 種類のデータには同じ計算コストが必要となり，スケーラビリティの観点からも大規模なデータを扱うのは困難である．
本研究では，スケーラブルな SSL として，Expert と Imitator の混合ネットワーク（Mixture of Expert/Imitator Networks; MEIN) を提案する．図 1 に，MEIN の概観図を示す．
MEIN は，Expert ネットワーク（EXN）と複数の Imitatorネットワーク（IMN）の組み合わせから構成される．IMN はEXN よりも軽量なネットワークとして構成する．ここで，ラベル無しデータは個々の IMN を訓練するために用いるため，データの量に対してスケールすると期待できる．実験では，文書分類のベンチマークデータを用いて，MEIN による性能向上とそのスケーラビリティを議論する．

2

文書分類タスク𝑝(𝑦|𝑿)

𝑝(𝑦|𝑿)

Softmax

Softmax

MLP

MLP

𝜆*𝜆+𝜆)LSTM

LSTM

1st IMN

2nd IMN

I-th IMN

𝑿𝑿

Sum

従来⼿法
Expertネットワーク

提案⼿法
ExpertとImitatorの混合ネットワーク (MEIN)

図 1: Expert と Imitator の混合ネットワーク（Mixture ofExpert/Imitator Networks; MEIN）の概観図

t 番目のトークン（単語）を表す．また，V は語彙であり，|V|
は語彙 V に含まれる単語数を表す．以降，X = (x1 , . . . , xT )の略記法として (xt )T
t=1 を用いる．また，Y を出力クラスの集合として定義する．ここで，y ∈ {1, . . . , |Y|} を出力クラスの番号を表すものとする．Xa:b を X の部分系列として定義する．つまり，Xa:b = (xa , xa+1 . . . , xb ) かつ 1 ≤ a ≤ b ≤ Tである．また，x[i] を x 中の i 番目の要素として定義する．
■ベースラインモデル ベースラインモデルとして，Miyato
ら [11] と同様に LSTM ベースの手法を用いる．同手法はLSTM と多層パーセプトロン（MLP）から構成される．
まず，LSTM は入力 (xt )T
t=1 を受け取り，隠れ層の系列(ht )Tt=1 を計算する．ここで，任意の t について ht ∈ RHである．各時刻の演算は ht = LSTM(Ext , ht−1 ) であり，
E ∈ RD×|V| は単語埋め込み行列である．また，D は単語埋め込み行列の次元数を表す．
次に，時刻 T の隠れ層 hT が MLP に入力され，最終隠れ層 s ∈ RM が得られる．ここで，s = ReLU(Wh hT + bh ) として計算される．Wh ∈ RM ×H はパラメータ行列，bh ∈ RMはバイアス項である．M は最終隠れ層の次元数を表す．
最後に，条件付き確率を以下のように計算する．
zy = wy⊤ s + by(1)exp(zy )p(y|X, Θ) = ∑′y ′ ∈Y exp(zy )(2)

ここで，wy ∈ RM はクラス y に対応する重み行列であり，byはバイアス項（スカラ値）である．また，Θ は訓練対象のパラメータ集合を表す．
ベースラインモデルの訓練過程では，ラベル付きデータ集
合 Ds の負の対数尤度を最小化するパラメータの探索を行う．
この過程は，以下の最適化問題として記述することができる．

■タスク定義 いま，入力文章 X を 1-hot ベクトルからなる長さ T の系列とする．ここで，xt ∈ {0, 1}|V| は，入力 X の*1 例えば，http://commoncrawl.org/ などが有名である― 1006 ―{}Θ′ = arg min Ls (Θ|Ds )ΘLs (Θ|Ds ) = −1|Ds |∑()
log p(y|X, Θ)

(3)
(4)

(X,y)∈Ds

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

8EXNの推定 𝑝(𝑦|𝑿, 𝚯 )Softmax
MLP

0.90.1

ベースラインモデル

LSTM

big joke not even … be funny

模倣誤差の計算 𝐾𝐿(𝑝||𝑝*,# )…

IMNの推定 𝑝*,# (𝑦|𝑿/:1 , 𝚽)…

全結合層 & Softmax…

隠れ層 (𝐨# )#%&…

CNN & Leaky ReLU

'単語ベクトル$

bigjokeExpertネットワーク (EXN)

noteven…

befunny$

ラベル無しデータ 𝐗 ∈ 𝓓6

Imitatorネットワーク (IMN)

図 2: 1 番目の IMN（c1 = 1）の概観図: IMN は，制限された入力から，EXN の推定した確率分布の予測を行う．
ここで，Θ′ は最適化問題を解く過程で得られたパラメータ集合を表す．

3

提案手法

図 1 に提案手法である MEIN の概観を示す．MEIN は Expert ネットワーク（EXN）と複数の Imitator ネットワーク（IMN）から構成される．
■基本的なアイデア 一般に，ラベル付きデータはラベル無しデータと比較して少量しか手に入らない．そのため，ラベル付きデータだけで訓練した EXN では次のような問題が生じやすい；(a) 低頻度の特殊な特徴は，たとえ分類に寄与する特徴であっても少量のラベル付き訓練データから学習するのは困難である．(b) 少量のラベル付きデータでは、本来分類に寄与しない特徴（例: “this is a”）が偶然特定のラベルに偏って出現する可能性がある。ラベル付き訓練事例のみからの学
習ではそうした「偽の」特徴を見抜くことが難しい．
MEIN では，EXN に加えて複数個の IMN を用意し，ラベル無しデータに対する IMN の予測が EXN の予測に近づくよ
うに IMN を訓練することによって，EXN の問題 (a) と (b)を同時に解決することを考える．IMN の核となるアイデアは次の 2 つである．第 1 に，個々の IMN は入力のごく一部の特徴（例えば，入力の部分文字列）だけからラベルを予測するように設計する．第 2 に，IMN の教師信号には，EXN が予測する離散的なラベルは用いず，EXN が予測するラベル事後確率を用いる．ここで，入力からの特徴抽出には，一貫したルールを適用すれば良いが，本研究では一例として，固定窓幅から入力を n-gram に分割することを考える．
IMN の訓練の概観を図 2 に示す．この図では，入力テキス
ト中の各 3-gram から EXN の出力を模倣するように IMN を訓練することを想定している．まず，EXN がラベル無し事例に対してラベルの事後確率分布を予測する（図 2 左）．次に，IMN が 3-gram から予測を行う．このとき，IMN が予測する事後確率が EXN の予測に近づくように IMN を訓練する（図2 右）．ここで，ラベル付きデータで訓練された EXN は，上述(a)，(b) のような問題はあるとしても，少なくともラベル付き訓練事例に近い入力についてはある程度正確な予測ができる．
そのため，(a) のような低頻度の有用な 3-gram は，EXN の模倣によって，ラベル無しデータから学習できると考えられる．
また，(b) のような分類に寄与しない部分列に関しては，大量のラベル無しデータ上では特定のラベルへの偶然の偏りは起こりにくいと考えられる．そのため，分類に寄与しない「偽の」3-gram も IMN は見抜ける可能性がある．こうして訓練される IMN は、前述の問題 (a)、(b) を解消した特徴選択の役割を果たす．そこで最後に，IMN の訓練後，EXN と IMNの混合ネットワークの訓練を行うことで，各素性（IMN の出力）の持つ重みを調整する．
■ネットワーク構造 いま，σ(·) をシグモイド関数として次のように定義する：σ(λ) = (1 + exp(−λ))−1 ．Φ は IMN の訓練可能なパラメータ集合であり，I は IMN の総数を表す．
ここで，MEIN は次の条件付き確率をモデル化する．

exp(zy′ )′y ′ ∈Y exp(zy ′ )(5)σ(λi )αi [y](6)p(y|X, Θ, Φ, Λ) = ∑where zy′ = zy +I∑i=1λi は i 番目の IMN に対応するロジット αi の重みを制御するパラメータである．また，Λ を Λ = {λ1 , . . . , λI } として定義する．ここで，ロジット αi はラベルの予測確率分布であり，これが素性として動作すると仮定する．ここで，式 6 はの第1 項は，ベースラインモデルのロジット zy = wy⊤ s + by （式1）である．また，全ての i について σ(λi ) = 0 とすることで，
式 5 は Φ の値によらず，式 2 と同値となる．
いま，ci は i 番目の IMN の窓幅を表すとすると，i 番目のIMN は，入力 X から J 個の入力を幅 ci の窓によって生成する．各 J 個の入力に対し，IMN は EXN の出力を予測し，合計 J 個の予測が得られる．また，i 番目の IMN のロジット
αi は，これらの予測の平均によって計算する．具体的には，ロジット αi の定義は以下の通りである．
(αi = logwhere)J1∑pi,j (y|Xa:b , Φ) ,J j=1
a = j − ci(7)and b = j + ci

ここで，a と b はそれぞれ固定窓の始まりと終わりを表すスカラ値のインデックスである．
■IMN の定義 式 7 のモデル化には，任意のネットワーク構造を採用可能であり，IMN が EXN よりも軽量なネットワー
クとなればよい．本研究では，IMN の一例として単層 CNNベースのネットワークを用いて pi,j (y|Xa:b , Φ) をモデル化した．CNN は並列化が容易であり，高速な演算が可能である．
図 2 に IMN の概観を示す．まず，IMN は入力 X を単語埋め込みベクトルの系列として受け取り，隠れ層の系列(oj )Jj=1 を計算する．このとき，1 次元畳み込み [5] と活性化関数 Leaky ReLU を用いる．ここで，J を常に T と一致させ′るため，入力 X の先頭と終端を零ベクトル 0 ∈ R|V |×ci で補填する．|V ′ | は IMN の語彙に含まれる単語の数を表す．
各 IMN は入力を n-gram に分割するための固定窓幅 ci を持つ．ここでは，i 番目の IMN に関して，任意の窓幅を設定できるが，本研究では，簡単のため ci = i とした．例えば，図2 に示したように，IMN(i = 1) は窓幅 c1 = 1 を持つ．

― 1007 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

次に，i 番目の IMN は，各隠れ層 oj から pi,j (y|X, Φ) から以下のように推定する．

pi,j (y|Xa:b , Φ) = ∑′⊤exp(wi,yoj + b′i,y )′⊤′y ′ ∈Y exp(wi,y ′ oj + bi,y ′ )b = arg min{Lu (Φ|Θ′ , Du )}Φ

データセット

クラス数

訓練開発

テスト

ラベル無し

SEC

Elec
IMDB
Rotten22
2

22,50021,246
8,636

2,500
3,754
960

25,00025,0001,066

200,000
50,0007,911,684

CAC

RCV1

55

14,007

1,557

49,838

668,640

表 2: 実験結果: 各数値はエラー率（%）を表す．ラベル無し
データを用いた手法は † で表記している. ∗ が併記された値
は，ADV-LM-LSTM と比較して統計的有意差があることを表す．Miyato と Sato はそれぞれ Miyato ら [11]，Sato ら[14] の論文値を引用した．
手法

Elec

IMDB Rotten RCV1

LSTM

10.09

10.98

LSTM+IMN†

8.83 10.04
5.72

7.25

16.80

8.37

LM-LSTM+IMN†

5.48

6.51

15.91

7.53

(10)

ADV-LM-LSTM†

5.38

6.58

15.73

7.89

ADV-LM-LSTM+IMN† 5.14*

6.07*

式 9 と 10 が示す通り，ラベル有り・無しデータによって別々のパラメータを更新する．具体的には，ラベル付きデータ(X, y) ∈ Ds を用いて EXN のパラメータ Θ と IMN の係数
Λ を更新する．また，ラベル無しデータ X ∈ Du を用いて，IMN のパラメータ Φ を更新する．
訓練の過程は以下に述べる 3 ステップからなる．まず，通常の教師あり学習の枠組みを用いて，ラベル付きデータからΘ′ を推定する．このとき，全ての i について λi = −∞ とすることで，式 6 において σ(λi ) = 0 とする．この過程は，ベースラインモデルのパラメータ推定（式 4）に相当する．次に，IMN 集合のパラメータ Φ を式 10 の最適化問題を解くことによって推定する．具体的には，損失関数は以下の通りである．

1 ∑ ∑∑
KL(p||pi,j )(11)|Du |X∈Du i=1 j=1∑()
KL(p||pi,j ) = −p(y|X, Θ′ ) log pi,j (y|Xa:b , Φ)J

Lu (Φ|Θ′ , Du ) =

5.47

6.20

18.50

VAT-LM-LSTM (Miyato)†

5.54

5.91

19.1

7.05

VAT-LM-LSTM (Sato)†

5.66

5.69

14.26

11.80

iVAT-LSTM (Sato)†

5.18

5.66

14.12

11.68

下の通りである．

4∑()
blog p(y|X,Θ,Φ,Λ)(13)(X,y)∈Ds

実験■データセット MEIN の効果を検証するため，(1) 評判分類タスク（SEC） (2) カテゴリ分類タスク（CAC）の 2 つを用いて実験を行った．評判分類タスクでは，ベンチマークデータとして IMDB[9]，Elec[4] と Rotten Tomatoes (Rotten)[12] を用いた．また，カテゴリ分類タスクでは RCV1[8] を用いた．
各データセットにはラベル無しデータが付属している．表 1に，各データセットの詳細をまとめた．

8.44■ベースラインモデル（EXN） 以下に述べる 3 種類の EXNを用意し，それぞれ IMN と組み合わせた際の性能を評価した．

• LSTM：第 2 節で述べたベースラインモデルである．
• LM-LSTM：Dai ら [2] に従い，LSTM と単語埋め込み行列を訓練済みの RNN 言語モデル（LM）で初期化したモデルである．LM は，各データセットの訓練データとラベル無しデータによって訓練した．Miyato らと Sato ら[11, 14] は，同モデルをベースラインとして用いた．
• ADV-LM-LSTM：敵対性学習（Adversarial Training:ADV）[3] は，入力に微小な摂動を加えることで，ネットワーク全体をノイズに対して頑健にする効果がある．
ADV は Miyato ら [11] によって文書分類に適用された．
本研究では同モデルの再実装を用いる．

(12)

ここで，KL(p||pi,j ) は模倣誤差の略記である．また，const はΦ に依存しない定数項である．
最後に，式 9 を解いて Θ と Λ を推定する．損失関数は以13.98 7.51*

VAT-LM-LSTM (再実装) †y∈Yb s) = − 1L′s(Θ,Λ|Φ,D|Ds |14.14(9)Φ+ const

26.47

24.93 12.31

LM-LSTM†Θ,Λ

I

タスク(8)′
ここで，wi,y∈ RN は i 番目の IMN に対応する重みベクトルであり，スカラ値 b′i,y はクラス y のバイアス項である．また，N は CNN のカーネルの次元数を表す．
■訓練の枠組み まず，各 IMN の模倣誤差を，ラベル無し
データ X における EXN と IMN の予測確率分布間の KL ダ
イバージェンス KL(p(y|X, Θ)||pi,j (y|Xa:b , Φ)) とする．ここで，模倣誤差が入力の各部分列 Xa:b に関して定義されていることに注意すると，制限された入力から EXN を模倣する，というアイデアが確かに実現されていることがわかる．
訓練の目的は，式 5 の負の対数尤度と模倣誤差をともに最小化するパラメータの推定である．したがって，以下の 2 つの最適化問題を同時に解く必要がある．

b Λb = arg min{L′ (Θ, Λ|Φ,b Ds )}Θ,s

表 1: データセットの詳細: 各数値は，データセットに含まれるインスタンスの数を表す．

■ハイパーパラメータ 文献 [2, 11, 14] などで一般的に用いられている値を採用した．詳細は文献 [6] の表 2 を参照せよ．
EXN と IMN にはそれぞれ別の語彙を用いた．EXN の語彙 V は，既存研究に従い，訓練データ中で頻度 1 の単語を取り除くことで構築した [2, 11, 14]．また，IMN の語彙 V ′ は
Byte Pair Encoding（BPE）[15] を用いて構築した*2 ．BPEのマージ過程は，各データセットのラベル付きデータとラベル無しデータから学習し，マージ回数は 20,000 回に設定した．
■実験結果 表 2 に実験結果を示す．評価指標としてはエラー率を用いたため，低い値ほど性能が良いことを表す．
ここで，各値は乱数の種を変えて実験した際の 5 回平均である．評価時のパラメータとして，開発データ上で最も性能が良いエポックのものを採用した．既存研究との比較用*2 BPE の実装として，sentencepiece [7] を用いた．

― 1008 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

7.9
Baseline (ADV-LM-LSTM)
Error Rate (%)

Error Rate (%)

5.4

5.2102103
104105106
Amount of Unlabeled Data (|Du |)(a) Elec

表 3: 各モデルが処理するトークン数の比較（訓練時）

Baseline (ADV-LM-LSTM)

5.6

7.8

手法

7.7

LM-LSTM

41,914-

7.6

ADV-LM-LSTM

13,7910.33x

VAT-LM-LSTM

9,6020.23x

7.5102103104105106
Amount of Unlabeled Data (|Du |)(b) RCV1

図 3: ラベル無しデータの総量に対するエラー率（%）の変化:x 軸は対数スケールである．水平の破線は EXN（ADVLM-LSTM）単体の性能を表す．に，VAT-LM-LSTM[11] と iVAT-LSTM[14] の論文値とVAT-LM-LSTM（再実装）の値も報告する．
表 2 から，IMN はベースラインモデル（EXN）の性能を全てのベンチマークデータについて一貫して改善したことが分かる．また，IMN による性能の上がり幅は，EXN の性能に依存しないことが分かる．例えば，表 2 より，Rotten データセッ
ト上で，IMN は LSTM，LM-LSTM と ADV-LM-LSTMの性能をそれぞれ 1.54%, 0.89%，1.22% 改善したと分かる．
このことから，IMN はより強力な EXN の性能も改善できると期待される．また，ADV-LM-LSTM+IMN は，全てのデータセット上で VAT-LM-LSTM よりも高い性能を示しただけでなく，Elec と Rotten データセット上において，既存手法と比較して最高性能を達成した．

5分析■ラベル無しデータの量とモデルの性能 MEIN がラベル無しデータ増加による汎化性能向上を実現しているかを調査するため，IMN の訓練に用いるラベル無しデータの総量を変化させた場合の性能を調査した．
分析には Elec と RCV1 データセットを用いた．Elec から {5K, 20K, 50K, 100K, データ全体 }，RCV1 から {5K,50K, 250K, 500K, データ全体 } のラベル無しデータの集合をそれぞれサンプリングして作成した．また，Elec に関しては Amazon Review データセット [10] の Electronics セクションから追加でラベル無しデータをサンプリングし，{2M,4M, 6M} のデータセットを作成した．各データに関し ADVLM-LSTM+IMN の訓練と評価を行った．
図 3a と 3b より，ラベル無しデータの総量を増やすことで EXN の性能の上がり幅が増加することが分かる．特に
図 3a 上，6M のラベル無しデータで訓練した ADV-LMLSTM+IMN が 5.06% のエラー率を達成した．これは表 2の最高性能（5.14%）よりも良い値である．これらの結果から，MEIN によりラベル無しデータ増加による汎化性能向上が実現されていることが分かる．
■IMN の計算速度 IMN の計算速度を EXN と他の SSL 手法（VAT）と比較することで，提案手法のスケーラビリティに関する分析を行った．具体的には，訓練過程において各ネットワークが毎秒に処理するトークンの数を計測した．各計測
では NVIDIA Tesla V100 GPU を用いた．
表 3 に計測結果を示す．表から，最も計算の遅い IMN（ci = 1, 2, 3, 4）であっても，LSTM と比較して 1.8 倍高速にトークン数/秒 相対速度

IMN (ci = 1)

555,613 13.26x

IMN (ci = 1, 2)

236,065

IMN (ci = 1, 2, 3)

122,076

2.91x

IMN (ci = 1, 2, 3, 4)

75,393

1.80x

5.63x

動作すること分かる．また，同モデルは VAT-LM-LSTM と比較すると 8 倍高速である．この結果から，大規模なラベル無しデータに対しても，現実的な時間での訓練が可能であることが期待される．また，各 IMN は並列に訓練可能である．
そのため，複数枚の GPU を用いることで，IMN を表 3 よりもさらに高速に訓練することができる．

6

おわりに

本研究では，新しい半教師あり学習の手法を提案した．提案手法（MEIN）は，ベースラインモデル（EXN）と，複数の補助的なネットワーク（IMN）の組み合わせから構成する．文
書分類のベンチマークデータセットを用いた実験で，提案手法が複数の EXN の性能を改善することを示した．また，ラベ
ル無しデータを増やすことで汎化性能が向上することを確認した．提案手法は VAT と比較して 8 倍高速に動作するため，大規模なラベル無しデータに対してもスケールする枠組みである．今後はより大規模なラベル無しデータに対する提案手法の効果を検証したい．

参考文献[1] Kevin Clark, Thang Luong, and Quoc V. Le. Cross-View Training
for Semi-Supervised Learning. In ICLR, 2018.
[2] Andrew M Dai and Quoc V Le. Semi-supervised Sequence Learning.
In NIPS, pp. 3079–3087, 2015.
[3] Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and Harnessing Adversarial Examples. In ICLR, 2015.
[4] Rie Johnson and Tong Zhang. Semi-supervised Convolutional Neural
Networks for Text Categorization via Region Embedding. In NIPS,pp. 919–927, 2015.
[5] Nal Kalchbrenner, Edward Grefenstette, and Phil Blunsom. A Convolutional Neural Network for Modelling Sentences. In ACL, pp.
655–665, 2014.
[6] Shun Kiyono, Jun Suzuki, and Kentaro Inui.
Mixture of expert/imitator networks: Scalable semi-supervised learning framework. CoRR, Vol. abs/1810.05788, , 2018.
[7] Taku Kudo and John Richardson. SentencePiece: A simple andlanguage independent subword tokenizer and detokenizer for Neural
Text Processing. In EMNLP, pp. 66–71, 2018.
[8] David D. Lewis, Yiming Yang, Tony G. Rose, and Fan Li. RCV1: A
New Benchmark Collection for Text Categorization Research. JMLR,Vol. 5, pp. 361–397, 2004.
[9] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang,
Andrew Y. Ng, and Christopher Potts. Learning Word Vectors forSentiment Analysis. In ACL, pp. 142–150, 2011.
[10] Julian McAuley and Jure Leskovec. Hidden Factors and Hidden Topics: Understanding Rating Dimensions with Review Text. In RecSys,
pp. 165–172, 2013.
[11] Takeru Miyato, Andrew M Dai, and Ian Goodfellow. Adversarial
Training Methods For Semi-Supervised Text Classification. In ICLR,2017.
[12] Bo Pang and Lillian Lee. Seeing Stars: Exploiting Class Relationships
for Sentiment Categorization with Respect to Rating Scales. In ACL,
pp. 115–124, 2005.
[13] Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner,Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep Contextualized Word Representations. In NAACL, pp. 2227–2237, 2018.
[14] Motoki Sato, Jun Suzuki, Hiroyuki Shindo, and Yuji Matsumoto.
Interpretable Adversarial Perturbation in Input Embedding Spacefor Text. In IJCAI, pp. 4323–4330, 2018.
[15] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural MachineTranslation of Rare Words with Subword Units. In ACL, pp. 1715–1725, 2016.

― 1009 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.