言語処理学会 第26回年次大会 発表論文集 (2020年3月)

文のクラスタリングを用いた BERT 事前学習モデルの評価
芝山直希
曹鋭
白静
馬ブン
新納浩幸
茨城大学大学院理工学研究科情報工学専攻{19nm714t, 18nd305g, 19nd301r, 19nd302h, hiroyuki.shinnou.0828}@vc.ibaraki.ac.jp

実験では日本語の BERT モデルとして、京都大学

1 はじめにの黒橋・河原研究室で公開した BERT モデル（「京大本論文では日本語 BERT モデルを評価するために、版」と略す）*1 、森長氏が公開している BERT モデル

文のクラスタリングを用いることを提案する。また提*2 、Yohei Kikuta 氏が公開して（「MeCab 版」と略す）

案手法を利用して現在公開されている４つの日本語いる BERT モデル（「SP 版」と略す）*3 及び東北大学

BERT モデルを評価した。の乾・鈴木研究室が公開している BERT モデル（「東BERT [1] は高性能な事前学習モデルであり、BERT*4 の 4 つを対象とする。またジャンル北大版」と略す）を利用することで様々な自然言語処理タスクの性能が別の文のセットとしては、livedoor ニュースコーパス向上している。BERT のような事前学習モデルを評価の各カテゴリの記事からタイトルを取り出して利用すするには、一般に、タスクベースのアプローチが取られる。実験の結果 MeCab 版が最もよい評価値を出した。

る。英語であれば GLUE [3] のようなタスクベースの評価用データセットが用意されているために、モデル2 関連研究の優劣を評価するのは容易である。ただしタスクベーBERT などの事前学習モデルどうしを比較して評価スで評価する際に、事前学習モデルを fine-tuning するするには、タスクベースの評価法を用いるのが一般的ために、fine-tuning のためのメタパラメータの設定にである。あるタスクに対して事前学習モデル A を用いより評価値が変化する可能性がある。そのためタスクてタスクの精度を測る。次に先の事前学習モデル A をベースで fine-tuning を行うと、公正な評価にはなって事前学習モデル B に置き換えて同様に精度を測る。得いない可能性がある。また英語以外の言語に対する事られた 2 つの精度の比較によりモデル A と B を評価

前学習モデルに対しては、通常、共通に利用できる評価するというものである。これは単純な評価法であるが、用データセットが存在しないために、複数の事前学習評価用のデータを必要とする。英語に対しては GLUEモデルの優劣を競わせることが難しい。

が存在するが、他の言語に対しては標準的なデータが本論文では日本語の BERT モデルを対象に、入力文に対して出力される CLS トークンの埋め込み表現を存在しないために、独自に評価用データを準備するしかない。

評価することでモデルの評価を行う。CLS トークンの複数の日本語の BERT モデルを比較評価した研究と埋め込み表現は入力文に対する埋め込み表現と見なす

しては、我々のグループが Amazon dataset の文書分ことができるので、この埋め込み表現自体を評価する類のタスクを用いて、京大版、MeCab 版、SP 版の 3ことでモデルの評価が行える。また埋め込み表現自体つを評価した [5]。ただし BERT は文に対するモデルを評価すれば fine-tuning の問題は避けられる。ただであり、文書を対象とした文書分類をどのように行う

し文の埋め込み表現をどう評価するかも難しい問題でかは、まだ、確定した手法は存在しない。そのためにある。本論文では文の埋め込み表現を評価するために、タスクとして文書分類を用いるのは適切かどうか疑問クラスタリングを利用する。ジャンル別の文のセットを用意しておき、各文から BERT モデルを利用して、その埋め込み表現を取り出す。それら埋め込み表現をクラスタリングし、クラスタリングの評価値を利用してモデルを評価する。

*1 http://nlp.ist.i.kyoto-u.ac.jp/index.php?BERT日

本語 Pretrained モデル*2 https://qiita.com/mkt3/items/

3c1278339ff1bcc0187f*3 https://github.com/yoheikikuta/bert-japanese*4 https://github.com/cl-tohoku/bert-japanese― 1233 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

である。本論文で対象とする BERT への入力は文であ

4. モデル m の全クラスの重心の平均 g (m) を導出し、り、入力文の埋め込み表現と考えられる BERT の出力クラス外分散する CLS トークンの埋め込み表現を利用してモデルの評価を行う。

Bm =埋め込み表現を評価するにもタスクベースで行うし味を表現しているという観点から、人間が手作業で与|| (N = クラスの個数)(2)を計算し、Bmを導出する。*6Am
5. 分離度 Mm = Bを計算し、これをモデル m のm評価値とする。この値は適切にクラスタリングでえた単語間の類似度と、埋め込み表現から得られる単きている場合により小さくなる。

語間の類似度との相関を測ることで埋め込み表現の評価も行われている [4]。

(m) 2||g (m) − gii=1

かないが、word2vec [2] などにより得られる単語の埋め込み表現に関しては、その埋め込み表現が単語の意

N
∑

4 実験

3 BERT の評価

4.1 実験設定

第 2 節で述べたように、評価対象となる事前学習済

本実験では livedoor ニュースコーパス*7 を使用した。

み BERT モデルが入力文に対して出力する CLS トー

これは livedoor ニュースの記事のうち、以下の 9 カテクンの埋め込み表現を評価する場合、通常タスクベーゴリに属するものを収集したデータセットである。
• トピックニュース• Sports Watch• IT ライフハック• 家電チャンネル
• MOVIE ENTER• 独女通信• エスマックス• livedoor HOMME• Peachyスになる。一方、同節で述べたように word2vec などの場合、ある埋め込み表現が単語の意味を表現しているという観点を有する。この観点をクラスタリングに適用すると、「あるクラスタはそのクラスタに属する埋め込み表現の集合で表現できる」と述べることができる。
本論文ではこれを利用し、文のクラスタリングを用いた事前学習済み BERT モデルの評価を行う。

3.1

評価方法

本実験では全 9 カテゴリのそれぞれに対し、ニュー本論文では BERT モデル m が出力する特徴量ベク

ス記事 100 件を選択して利用した。評価対象とした事トルに対して、以下のような手順で評価する。なお、モ

前学習済み BERT モデルは京都大学の黒橋・河原研究

デル m に入力する文には正解クラスのラベルが設定さ室で公開した BERT モデル（「京大版」と略す）、森長れている必要がある。

氏が公開している BERT モデル（「MeCab 版」と略

1. BERT モデル m の各文の出力のうち、 CLS トーす）、Yohei Kikuta 氏が公開している BERT モデル

クンのベクトルを抽出し、文のベクトルとする。

（「SP 版」と略す）及び東北大学の乾・鈴木研究室が公2. 文ベクトルが属する正解クラスを確認し、モデル開している BERT モデル（「東北大版」と略す）の 4(m)m の各クラスの重心 giつである。表 1 に各モデルの特徴となる tokenizer とを導出する。

3. 各クラスのクラス内分散 Am を以下から計算す

4.2 実験結果

る*5 。

Am =N
∑

まず、選択された記事から記事タイトルのみを抽出

σi2(1)i=1

ここで σi2 =訓練コーパスを示す。

∑した。その後、これにより得られた全 900 タイトルを 1タイトル 1 文とみなして比較対象とする BERT モデル(m)− xi,j ||2 であり N はクj∈Ci ||gi

ラス数を表す。に入力し、出力を得た。獲得した出力から [CLS] の特徴量ベクトルをそのタイトルの埋め込み表現とし、抽*5 本論文では簡略化のために偏差の二乗を分散とみなす。そのため σi2 /N を計算することで本来のクラス内分散を導出でき*6 Am の場合と同様に、全クラスの重心の偏差の二乗を分散とみなしている。
*7 http://www.rondhuit.com/download.html\#ldcc

る。

― 1234 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表1

し、その後 Bm の傾向からモデルの比較を行っていく。

各 BERT モデルの評価値

モデル

tokenizer

訓練コーパス

京大版

Juman++

Wikipedia

MeCab + NE-

ビジネスニュー

ologd

ス記事

SP 版

SentencePiece

Wikipedia

東北大版

MeCab + NE-

Wikipedia

MeCab 版

表 2 によれば、Am は小さい順に以下となる。



東北大版 < SP 版 < MeCab 版 < 京大版

同クラスの文ベクトルが最も「まとまっている」のは東北版のモデルだった。その後に SP 版、MeCab 版、京大版が続く。一方 Bm は、大きい順に以下となった。

ologd

京大版 > MeCab 版 > SP 版 > 東北大版

異なるクラスの文ベクトルが「離れている」順では京大出した。

版をトップに MeCab 版、SP 版、東北大版 が続いて各 BERT モデルで得られた各タイトルの埋め込み表いる。

現に対し、カテゴリ 1 つをクラス 1 つとみなした上で以上の Am 、Bm の比較結果及び表 2 から、各モデル3.1 節にて述べた評価方法を用いて入力文のクラスタリの大まかな傾向を述べることができる。Am こそ 3 位ングを行い、各モデルの評価値を計算した。

ではあるものの、Bm において SP 版のモデルより 50各モデルの評価値及び Am 、Bm の値は表 2 のようになった。

以上大きい MeCab 版が最優となった。それに続いたのが MeCab 版以下の Am を記録したものの、異なる表2クラスの文ベクトルの距離が MeCab 版より近かった

各 BERT モデルの評価値

SP 版である。評価値が最下位となった東北大版のモデモデル

AmBm

評価値

京大版

240164.31

337.84710.88

クラス間の距離が最も近いという傾向だった。これはMeCab 版

74470.61

162.53458.19他のモデルに比べ全ベクトルのばらつきが小さいこと

SP 版

65220.69

97.50668.92を示している。

東北大版

48720.2161.49

792.34

5.2 分類による評価

ルは、同クラスの文ベクトルは最もまとまっているが本研究で生成された各埋込み表現に対し、分類器の訓練及び 9 クラス分類の正解率の測定を 5 回行い、比較5 考察5.1した。分類器の作成・訓練にあたり、フレームワークはpytorch を使用した。また、各カテゴリの末尾 20% を評価値の傾向テストデータとし、残った 720 文のベクトルを分類

表 2 で示している評価値を単純比較すれば、モデルの性能は良い順に以下となる。

器の訓練に使用した。分類器のモデル構成を図 1 に示 す。分類器の optimizer は Adam を使用した。また、

MeCab 版 > SP 版 > 京大版 > 東北大版
 行った。

分類器の各中間層は 200 次元であり、訓練は 20epoch

このような評価結果となった原因を Am 、Bm の性質を用いて考察する。3.1 節の脚注で述べたように、Am 、この検証実験により得られた正解率の最小値・最大値及び平均値を表 3 に示す。

Bm は評価値計算の簡略化により厳密には異なるものの、それぞれクラス内分散、クラス外分散とみなすことができる。よって、Am 、Bm の比較は、各モデルが「同クラスの文ベクトルが類似するよう出力したか」「異なるクラスのベクトルが類似しないよう出力したか」という 2 点で評価し、それぞれで比較することと同義だとみなすことができる。本節ではまず Am の傾向を確認

この検証実験結果を平均値で比較すると、僅差で以下となった。



京大版 > SP 版 > MeCab 版 > 東北大版



この検証結果は東北大版以外の BERT モデルの順位が表 2 から得られる評価値の順位と異なる結果である。

― 1235 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

された BERT モデルの評価を行った。その結果、優秀である順に以下となった。



MeCab 版 > SP 版 > 京大版 > 東北大版


また、クラス分類の正解率による各モデルの再評価を行った。しかし、3.1 節で述べた評価法による評価結果と正解率による評価結果は、東北大版の順位は同一であったものの、他のモデルの順位が異なる結果となった。この結果から 3.1 節で述べた評価方法はわずかな性能差のあるモデルを適切に評価できるとは言えないが、一定以上の性能差があるモデルを適切に評価できることが判明した。
今後取り組むべき事項としてテストデータをクラス分布が均衡になるようにランダムに選択し、検証実験
図1を再度行うのがまず挙げられる。その後 3.1 節の評価

分類器の構成方法での結果と再検証実験での結果を比較し、本研究での評価手法及びそれを用いた評価自体に対する評価
表3

分類正解率の概要を確固たるものにしていきたい。

モデル

最小値

最大値

平均値

京大版

68.89%

71.11%

70.00%

MeCab 版

67.78%

70.00%

69.11%[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee,

SP 版

68.89%

70.56%

69.78%and Kristina Toutanova. BERT: Pre-training of

東北大版

66.11%

70.00%

68.67%

deep bidirectional transformers for language un-

参考文献

derstanding. In NAACL-2019, pages 4171–4186,
2019.
よって、この検証実験では明確な性能差のあるモデル[2] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Sの比較は、3.1 節で述べた評価法で問題なく評価できる

Corrado, and Jeﬀ Dean. Distributed representa-

ことが確認された。一方、表 3 で示された結果は東北tions of words and phrases and their composition-

大版以外の評価が適切であると断言できるものではな

ality. In NIPS-2013, pages 3111–3119, 2013.

かった。

[3] Alex Wang, Amanpreet Singh, Julian Michael,

この結果の遠因としてクラス分類による検証実験でFelix Hill, Omer Levy, and Samuel R Bowman.のテストデータ抽出が考えられる。本節で述べたよう

Glue: A multi-task benchmark and analysis plat-に各クラスの末尾から 20% をテストデータとしていform for natural language understanding. arXiv

るが、各クラスの末尾 20% の傾向と各クラス全体のpreprint arXiv:1804.07461, 2018.

傾向が一致しているとは限らない。「複数回測定して[4] 小町守, 堺澤勇也. 日本語動詞・形容詞類似度デー

BERT モデルの比較をする」という目的を考慮すると、タセットの構築. 言語処理学会第 22 回年次大会,

各クラスの 20% をランダムに選択しテストデータとす

pages 258–261, 2016.
[5] 芝山直希, 曹鋭, 白静, 馬ブン, 新納浩幸. 日本語るのが適切である。

pretrained bert モデルの比較. 21, 2019.

6 おわりに
本研究では正解クラスが存在する文集合及びそれらを入力した BERT の出力を利用し、日本語で事前訓練― 1236 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.