言語処理学会 第25回年次大会 発表論文集 (2019年3月)

自己学習による all-words WSD の半教師あり学習
新納 浩幸
曹鋭
古宮 嘉那子茨城大学大学院 理工学研究科 情報工学専攻{hiroyuki.shinnou.0828, 18nd305g, kanako.komiya.nlp}@vc.ibaraki.ac.jp

1

はじめにデータを増強して分類器を再構築する学習手法である。
自己学習は簡易な半教師あり学習であるが、all-words

本論文では自己学習を利用した all-words WSD の半教師あり学習を試みる。
語義曖昧性解消 (Word Sense Disambiguation, 以下WSD) は文中の多義語の語義を識別する処理であり、意味解析の必須要素技術である。しかし一般の WSDは対象単語を限定した形で行われるため、実際のシステムで利用することは難しい。そのため対象単語を限定せず文中の全ての多義語に対して語義を付与する
all-words WSD が期待されている。
通常 WSD は教師あり学習で解決される。つまりWSD の解決には対象単語毎にラベル付きの訓練データ（語義付きの用例文）が必要となる。all-words WSDの場合、対象単語が多義語全体となるために、必要となる語義付きの用例文は膨大であり、そのため教師なし学習のアプローチも取られてきたが（[1] など）、この場合、精度に問題がある。一方、徐々に all-words
WSD のためのラベル付きデータ、つまり語義タグ付きコーパスも整備されてきたために、近年、all-words
WSD を教師あり学習の枠組みで解くことも試みられている [6][8]。ただし現在利用できる語義タグ付きコーパスは小規模であり、十分な精度が得られているとは言えない。そのため我々は高精度の all-words WSDシステムの構築のために、半教師あり学習を検討している。半教師あり学習とは少量のラベル付きデータと大量のラベルなしデータから分類器を学習する手法である。all-words WSD の場合、ラベルなしデータはプレーンなコーパスに対応し、プレーンなコーパスを大量に入手することは比較的容易であるため、all-words
WSD に対する半教師あり学習は、有望なアプローチと言える。
ここでは半教師あり学習の中で、最も簡易な手法である自己学習を all-words WSD に対して試みる。自
己学習とはその時点で利用可能な分類器を利用して、ラベルなしデータに確率付きでラベルを付与し、その確率の高いものは正しいラベルと考えて、ラベル付きWSD の場合、単一の分類問題を解いているのではな
いため、その実現方法には工夫が必要である。本論文では all-words WSD を実現するために双方向 LSTMを用いる。双方向 LSTM における学習では信頼度の低いラベルからの損失を無視することで、自己学習を実現できる。また双方向 LSTM のモデルの自己学習による改善手順として、ラベル付きデータを増やして、ゼロからモデルを作り直す他に、追加されるデータを利用して fine-tuning を行うアプローチも考えられる。
本論文では自己学習により得られたラベル付きデータから学習できたモデルを、本来の持っていたラベル付きデータを使って fine-tuning するという新たな形も試みる。

2関連研究
分類器に対する半教師あり学習に対しては多くの研究がある。古典的には Co-training と EM アルゴリズムの利用がよく知られている。Co-training は 2 つの独立した観点から相互に分類器を改善してゆく手法であり、EM アルゴリズムを利用する手法は、生成モ
デル p(x; θ) を設定し、ラベル z を潜在変数と見なして、p(z|x) を構築する。またアイデアの観点からは半教師あり学習は大きく２つに大別できる。一つは、ラベル付きデータから得られる分類器を使って、ラベルなしデータに確信度付きのラベルを付けて、それを利用して分類器を改善してゆくタイプの手法である。自己学習やラベル伝播などがこのタイプである。もう一つの手法がデータをある空間1 へマップするタイプの手法である。まずラベルなしデータをうまく分離できるような空間にマップし、次にラベル付きデータもその空間にマップし、その空間上で分類器の学習と識別を行うタイプである。通常、低次元にマップできれば、― 1089 ―1 一般にもとのデータの次元よりも低次元の空間。

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

クラスを分ける境界を推定するためのラベル付きデー
タは少量で済むので、半教師あり学習が成立する。多様体論の手法や生成モデルを利用した手法がこのタイプである。深層生成モデルを利用した半教師あり学習は、生成モデルを利用した半教師あり学習と枠組み的には同じである。ラベルなしデータをうまく分離するような空間にマップする手法にネットワークを利用していると見なせる（[2] など）。
系列ラベリング器に対する半教師あり学習としては事前学習が代表的である [4][5]。これは入力となる素図 1: 双方向 LSTM による語義の付与

性ベクトルに識別に有効な素性を、大量のラベル無しデータを利用して予め学習しておき、それを訓練データとテストデータに追加するものである。
また all-words WSD に関して言えば、トピックモ
デルを利用した教師無し学習がいくつか提案されているが [1][3]、これは生成モデルを構築するために、容易に半教師あり学習に拡張できるはずである。

きでラベルを付与する。このとき確率の高いラベルと確率の低いラベルが混在するために、単純にその単語列を訓練データに追加することができない。このため
系列ラベリング器に対する自己学習では、(1) どのように訓練データを増やしてゆくのか、(2) 増やした訓練データをどのように利用するのか、という二つの問

3

双方向 LSTM による all-words

題が存在する。

WSD
all-words WSD は入力となる単語列の各単語にラ4.1

確率の低いラベルからの学習の回避ベル（語義）を付与する系列ラベリング問題とみなす

上記 (1) の問題に対して、ここでは確率（信頼度）ことができる。系列ラベリング問題をニューラルネッの低いラベルからの学習を行わないことにする。つまトワークで扱う場合、LSTM を使用する。LSTM でり、系列ラベリング器がラベルなし単語列の各単語には時刻 t の中間層の内容を時刻 t − 1 の入力に使い状対して確率付きでラベルを付与するが、その確率の大態を保持しながら学習することで時系列に対応してい小に関わらず、その単語列を訓練データに加える。そる。LSTM は時系列データを扱うものであり、自然言して学習時に確率の低い部分からの学習を行わないこ

語処理では文や文書の単語列を時系列データとみなしとにする。LSTM でこの処理を行うのは容易である。て利用する。そのため通常、注目している時刻 t 以降

LSTM では各単語に対する出力値とその単語 wi のラの単語も利用できるため、データを逆方向からも解析

ベルとの差から損失 lossi を求め、その損失を累積してできる。順方向の LSTM と逆方向の LSTM を同時に用いて、時刻 t での出力を求めるのが双方向 LSTM

ゆき、文末まで処理が終わったときに、累積された損∑
失 i lossi を基にネットワークのパラメータを更新すである (図 1 参照)。

る。信頼度の低いラベルがあった場合には、lossi = 0と設定すればよい。

4

双方向 LSTM の自己学習

4.2

増補されたラベル付きデータ利用

自己学習では現在の分類器を利用してラベルなし
上記 (2) の問題に対しては、以下のような 3 つのア

データに確率付きでラベルを付け、高い確率を持つラベルを正しいラベルと考えて、そのデータをラベル付プローチが考えられる。なお、ここでは最初にあったきデータ（訓練データ）に追加することで分類器の精ラベル付きの訓練データを D とし、自己学習により度を徐々に上げてゆく。系列ラベリング器に対して自得られた確率付きのラベル付きデータを A とする。

己学習を行う場合、系列ラベリング器はラベルなしの(a) D ∪ A を新たな訓練データとして双方向 LSTM単語列を入力として受け取り、各単語に対して確率付― 1090 ―を学習

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

(b) D から作られた双方向 LSTM のモデルを A をprecision
0.8

利用して fine-tuning する

0.798

0.796

0.794(c) A から作られた双方向 LSTM のモデルを D を0.7920.79利用して fine-tuning する

0.788

Base Score
0.796

0.786

本論文では上記 3 つのアプローチを試し、最も効果0.7840.782のあるアプローチを考察する。

0.78051015202530

epoch5実験

図 2: D から双方向 LSTM を学習

ここでは分類語彙表の語義番号を語義と見なしている。BCCWJ のコアデータに分類語彙表の語義番号がprecision付与されたデータが公開されている。このデータの約

0.798

Type-a0.798

0.799

0.797

1 割をテストデータ T とし、残りをラベル付きの訓練

0.796

0.795

データ D とした。文の数では D は 12,482 文、T は0.794

0.793

1,498 文である。また自己学習に利用するラベルなし
データ U としては、毎日新聞の 1993 年から 1999 年

0.7920.7910.79の文の中からランダムに 10 万文を取り出したものを0.789
051015202530epoch利用した。
双方向 LSTM のモデルとしては、2 階層を用い、

図 3: D ∪ A から双方向 LSTM を学習

単語から分散表現に変換する部分は学習を行わずに既存の日本語分散表現データである nwjc2vec [7] を用いた。

(b) D → A の fine-tuning

まず D から双方向 LSTM を学習し、T を用いて評D から 20 epoch 後の双方向 LSTM のモデルを作価を行った。T をシステムで単語分割した場合、36,263り、それを A を利用して fine-tuning し、T を用いて単語に分割された。そのうち 2,212 単語は正解データ評価を行った。結果を図 4 に示す。この手法の場合、との単語分割が異なったので、残り 34,051 単語に付正解率は 0.794 と下がってしまった。

与された語義が評価対象である。またこの中で多義語になっているものは 18,522 単語であり、この 18,522

Type-b0.794

precision0.7945

単語に付与された語義の正解率を all-words WSD の0.7940.7935

正解率として評価する。結果を図 2 に示す。横軸は双0.7930.7925

方向 LSTM の学習における epoch 数、縦軸は上記の0.7920.7915正解率を示す。18 epoch 後に構築されたモデルの正解

0.7910.7905

率が 0.799 で最も良い値であるが、ここでは論文 [8]0.790.7895のシステムを利用しているため 20 epoch 後に構築さ0510152025

epoch

れたモデルの正解率 0.796 をベースの正解率とする
次に 20 epoch 後に構築されたモデルを利用して U

図 4: D → A の fine-tuningに確率付きでラベルを付与した。信頼度を表す確率 0.8
以下のラベルは -1 のラベルに変えて増補版のラベル付きデータ A を作成した。

(c) A → D の fine-tuning
A から 20 epoch 後の双方向 LSTM のモデルを作(a) D ∪ A から双方向 LSTM を学習
D ∪ A を新たな訓練データとして双方向 LSTM をり、それを D を利用して fine-tuning し、T を用いて学習させ T を用いて評価を行った。結果を図 3 に示評価を行った。結果を図 5 に示す。この手法の場合、す。この手法の場合、正解率は 0.798 まで向上した。

正解率は 0.799 まで向上した。

― 1091 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

ベリング問題とみなし、双方向 LSTM を用いて all-Type-c0.799

precision0.8

words WSD を実現する。学習できたモデルからラベ

0.799

ルなしデータに信頼度に対応する確率を付与して、訓0.798

練データを増加させる。LSTM の学習において、確率0.797

0.796が高くないラベルでは、その部分の損失を累積しない0.795学習を行うことで自己学習を実現した。また増補した

0.794

0.793

ラベル付きデータからモデルを作り、真のラベル付き

0.792

0.791
05101520

データを用いてそのモデルを fine-tuning する学習法

25epochを試し、わずかながらベースの系列ラベリング器の正解率を改善できた。ただし改善はわずかであり、自己図 5: A → D の fine-tuning

学習の効果があったとは言えない。信頼度に対応する確率を損失の重みとして学習する手法を試すことを今6後の課題とする。

考察増補されたラベル付きデータの利用法として、増補されたラベル付きデータからベースのモデルを作り、それを本来のラベル付きデータで fine-tuning するという (c) のアプローチは、図 5 をみると徐々に正解率が向上していく形であり、しかもベースとなる系列ラベリング器の正解率を改善しているので、手法としては有望だと考えている。
ただし正解率の改善はわずかであり、本実験に限れば、自己学習に効果があったとは言えない。本来、識別器の自己学習では、増補した訓練データの中に新たな知識を獲得できる情報が含まれていないので、半教師あり学習としては効果が出ないと考えられる。系列ラベリング問題の場合、ラベルの組み合わせに多様性が出るために、運良く効果が出ることを期待したが、本実験ではうまくいかなかった。ただしラベルなしデータの量（本実験では 10 万文）や疑似ラベルを正しいラベルとする閾値（本実験では 0.8）のパラメータを変更することで効果が現れる場合もあると思われるので、今後、それらの適切な値を調べていくつもりである。
また LSTM の学習時に各単語の損失に重みを付ける工夫は有効だと予想している。本実験では信頼度である確率が 0.8 以下のものを重み 0 にし、それ以上のものを重み 1 として学習した重み付き学習と捉えられる。信頼度を重みとすればより適切に自己学習が行えると考えられる。この点の調査も今後の課題である。

7

おわりに
本論文では自己学習を利用した all-words WSD の参考文献[1] Jordan Boyd-Graber, David Blei, and Xiaojin Zhu.
A Topic Model for Word Sense Disambiguation. In
EMNLP-CoNLL-2017, 2007.
[2] Diederik
PKingma,ShakirMohamed,Danilo Jimenez Rezende, and Max Welling. Semisupervised learning with deep generative models. InAdvances in Neural Information Processing Systems,
pp. 3581–3589, 2014.
[3] Kanako Komiya, Yuto Sasaki, Hajime Morita,Minoru Sasaki, Hiroyuki Shinnou, and Yoshiyuki
Kotani. Surrounding Word Sense Model for Japanese
All-words Word Sense Disambiguation. In PACLIC29, pp. 35–43, 2015.
[4] Matthew E Peters, Waleed Ammar, Chandra Bhagavatula, and Russell Power. Semi-supervised sequencetagging with bidirectional language models. arXiv
preprint arXiv:1705.00108, 2017.
[5] Yanjun Qi, Pavel Kuksa, Ronan Collobert, Kunihiko Sadamasa, Koray Kavukcuoglu, and Jason Weston. Semi-Supervised Sequence Labeling with SelfLearned Features. In Data Mining, 2009. ICDM’09.
Ninth IEEE International Conference on, pp. 428–437. IEEE, 2009.
[6] Hiroyuki Shinnou, Kanako Komiya, Minoru Sasaki,
and Shinsuke Mori. Japanese all-words WSD systemusing the Kyoto Text Analysis ToolKit. In PACLIC31, pp. 392–399, 2017.
[7] 新納浩幸, 浅原正幸, 古宮嘉那子, 佐々木稔. nwjc2vec:
国語研日本語ウェブコーパスから構築した単語の分散表
現データ. 自然言語処理, Vol. 24, No. 5, pp. 705–720,
2017.
[8] 新納浩幸, 鈴木類, 古宮嘉那子. 双方向 LSTM による分
類語彙表番号を語義とした all-words WSD. 国語研言
語資源活用ワークショップ, P2-04-E, 2018.

半教師あり学習を試みた。all-words WSD を系列ラ― 1092 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.