日本語形態素解析器の知識蒸留
田上 青空（指導教員：戸次大介）
はじめに1の代表的な日本語形態素解析器として、KyTea[7] があげられる．

現在の日本語形態素解析器は非常に高精度であり、様々な自然言語処理技術を用いた実サービスにも応用

また近年では、ニューラルネットワーク (NN) を用されている．しかし、従来の形態素解析器は辞書などいた実装が有効であることも示されている．そのよによりモデルサイズがあまり小さくないため、組み込うな研究の一つに rakkyo[9] が挙げられる．これは、みサービスを展開する上で課題となる．そこで 2019 年

Juman++[6] を高速・軽量化したモデルであり、Ju-に提案された rakkyo[9] は、Juman++[6] の高速・軽man++で作成した 5 億文のシルバーデータを用いて量化を試みている．Juman++を用いて作成した 5 億学習を行っている．素性として文字ユニグラムのみを文のシルバーデータを学習することで、辞書を使わず、用いた点予測を採用していることと、大規模なコーパモデルサイズを小さくしている．

スを使用することにより辞書が不必要になることから、モデルサイズを大幅に削減している．

一方で、近年では事前学習モデルの台頭によりパラメータ数の多いモデルが増加していることから、大規

3

知識蒸留模モデルを圧縮する研究が盛んに行われている．その近年、高精度な NN モデルが多く提案されているが、一つとして大規模モデルの確率分布を教師データとし実応用においては精度だけでなくモデルサイズも考慮て学習する知識蒸留 [2] という手法が知られている．

しなければならない．そこで大規模モデルを圧縮する

本稿では、知識蒸留を用いて rakkyo をさらに圧縮手法として知識蒸留 (Knowledge Distillation) が用いすることで、より少ないデータ数で rakkyo の出力にられている．この手法は、正解ラベルを教師信号とし近づけるかを評価する．て用いる代わりに、大規模・高性能なモデル（教師モ形態素解析器デル）が出力した確率分布を教師信号として学習する．

2

これにより、小規模な生徒モデルにも教師モデルに近形態素解析器は、探索型と点予測型の 2 つに大別さい精度を期待できる．

れる．

2.1

自然言語処理分野では、BERT[1] の発表を皮切りに探索型事前学習モデルの研究が進められている．これらは高探索型は、文字列に対して複数の解の経路を構築し、精度であるが年々パラメータ数、モデルサイズが肥大その中で最もコストが低い経路を探索する手法である．

化する傾向にあり、実サービスに組み込むためには小最も一般的な構造は、ラティスと呼ばれる形態素の全さなモデルとして提供する必要がある．そこで、知識解候補をグラフ構造で表すものである．ノードは形態蒸留はそれらの大規模なモデルを圧縮する手法として素の候補を、エッジは形態素の連接を表現し、それぞれ用いられている．に形態素やその連接の出現しやすさを表したコストを4与えて探索を行う．この手法は、辞書に含まれる単語提案手法を考慮してラティスを構築するため、大規模辞書が数本研究では rakkyo[9] を知識蒸留することにより、そ多く開発・公開されている日本語研究によくみられる．の確率分布を教師信号として用いて点予測型 NN モデ

JUMAN[4]、ChaSen[5]、MeCab[3]、Sudachi[8] など、ルを構築した．予測する項目は rakkyo と同じく、{B,主要な日本語形態素解析器の多くがこの手法を用いて

I, E} からなる単語分割タグ、品詞大分類、品詞細分いる．

類、活用型、活用系の 5 つである．{B, I, E} はそれぞ

2.2

れ単語の始まり、中間、終わりを表す．5 項目それぞれ

点予測型

について予測不可を表すタグも含め、4 値分類、16 値

点予測型は、文字 1 つ 1 つに対して単語区切りの有分類、38 値分類、34 値分類、82 値分類となっている．

無と形態素を予測する手法である．文字 n-gram、文まず文を文字ごとに分割し、入力とする．biLSTM

字種 n-gram、辞書素性などから、他の文字とは独立を通して出力された各タイムステップごとの隠れ層に、に形態素を予測する．この手法は、辞書が必須ではな

タグごとの MLP を適用する．その出力ベクトルに対いため、大規模辞書があまり公開されていない中国語して、Softmax 関数を適用し確率分布を得て、rakkyoで多く用いられている．探索型形態素解析器に比べ、が出力する確率分布との間の KLDivergence を損失関実装が容易であり、専門用語等辞書に存在しない単語の解析精度が向上することが知られている．点予測型

69

ね確かめていきたい．また、ハイパーパラメータの調数として学習する．

DKL (P ||Q) =∑(P (x) logx∈X

P (x)
Q(x))

整やモデルサイズの比較など最適なアーキテクチャを(1)検討するとともに、ゴールドデータを用いて、rakkyoの精度とどれほど差を縮められるかを評価したいと考モデルの構築は、Torch の Haskell インターフェースえる．さらに、少ない文で高精度な予測をできることである hasktorch1 を用いて行った．

を活用し、特定ドメインの分野適応についても検討し5

実験と結果

5.1

実験設定ていきたい．
謝辞：早稲田大学基幹理工学部・河原大輔教授には、rakkyo の学習済みモデルを提供して頂いた．本研

実験環境には、産総研 AI 橋渡しクラウド (ABCI) の究の一部は、JSPS 科研費 JP18H03284、および JSTrt C.large (Intel Xeon Gold 6148、 20 コア、 120GiB)

CREST JPMJCR20D2 の助成を受けたものである．

を 1 ノード使用した．

また、評価の際は産総研の AI 橋渡しクラウド (ABCI)

国語研 BCCWJ コーパスを用いて、rakkyo から抽を利用した．

出した確率分布を教師データとして学習を行った．モ

参考文献[1] Devlin, J., Chang, M., Lee, K. and Toutanova, K.:
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, CoRR,
arXiv:1810.04805 (2018).
[2] Hinton, G., Vinyals, O. and Dean, J.: Distilling the Knowledge in a Neural Network, inNIPS Deep Learning and Representation Learning Workshop, arXiv:1503.02531 (2015).
[3] Kudo, T., Yamamoto, K. and Matsumoto, Y.:
Applying Conditional Random Fields to JapaneseMorphological Analysis, in Proceedings of the2004 Conference on Empirical Methods in Natural Language Processing, Barcelona, Spain (2004).
[4] Kurohashi, S.: Improvements of Japanese Morphological Analyzer JUMAN, Proceedings of theInternational Workshop on Sharable Natural Language Resources (SNLR), 1994, pp. 22–28 (1994).
[5] Matsumoto, Y.: Japanese Morphological Analysis System ChaSen Version 2.0 Manual, Technical
Report (1999).
[6] Morita, H., Kawahara, D. and Kurohashi, S.:
Morphological Analysis for Unsegmented Languages using Recurrent Neural Network Language Model, in Proceedings of the 2015 Conference on Empirical Methods in Natural Language
Processing, Lisbon, Portugal (2015).
[7] Neubig, G., Nakata, Y. and Mori, S.: Pointwise
Prediction for Robust, Adaptable Japanese Morphological Analysis, in Proceedings of the 49th
Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Portland, Oregon, USA (2011).
[8] Takaoka, K., Hisamoto, S., Kawahara, N.,
Sakamoto, M., Uchida, Y. and Matsumoto, Y.:
Sudachi: a Japanese Tokenizer for Business, inProceedings of the Eleventh International Conference on Language Resources and Evaluation(LREC 2018), Miyazaki, Japan (2018), EuropeanLanguage Resources Association (ELRA).
[9] Tolmachev, A., Kawahara, D. and Kurohashi, S.:
Shrinking Japanese Morphological Analyzers
With Neural Networks and Semi-supervised
Learning, in Proceedings of the 2019 Conferenceof the North American Chapter of the Association
for Computational Linguistics: Human Language
Technologies, Volume 1 (Long and Short Papers),
Minneapolis, Minnesota (2019).

デルのパラメータを表 1 に示す．文字埋め込みは学習データに現れる文字のみを用いている. rakkyo の出力を正解ラベルとし、単語区切りのみ、単語区切りと品詞大分類、さらに全ての項目での精度を測定した．
コーパスはそれぞれ 273 文、570 文、767 文、1018 文、1253 文で実験を行い、データ数による精度の増減を確認した．
表 1: 提案モデルのパラメータ
文字埋め込み次元 512

LSTM 層の数1

隠れ層の次元512

学習率

5.2

10e-2

バッチサイズ

16epoch100

実験結果

実験結果を、表 2 に示す．データ数に比例して精度が上昇していることが見受けられる．今後さらにデータ数を増やしていけば、精度が上がることが期待できる．

データ数6

表 2: 精度
単語区切り +品詞大分類

全体

273 文

69.76%

58.76%

60.08%

570 文

76.93%

67.48%

66.56%

767 文

78.01%

69.86%

68.68%

1018 文82.85%

74.13%

71.86%

1253 文

84.76%

76.71%

73.94%

おわりに本研究では、日本語形態素解析器 rakkyo の知識蒸留を行い、データ数による精度の増減を評価した．今後はさらにデータ数を増やし精度との関係を実験を重1 http://hasktorch.org/70