言語処理学会 第26回年次大会 発表論文集 (2020年3月)

BERT の学習済みモデルを用いた用例文ペアの同義判定
谷田部梨恵 1

佐々木稔 2

1 茨城大学大学院理工学研究科情報工学専攻
2 茨城大学工学部情報工学科{19nm732r, minoru.sasaki.01}@vc.ibaraki.ac.jp
似度を使って判定が行われ，WSD の評価実

1. はじめに験において高い識別精度が得られている．

語義曖昧性解消 (Word Sense Disambi-

しかし，この手法は対象単語前後の単語

guation, WSD) は文中に出現するある多数に加えて，類似判定を行うための閾値を義語が辞書中のどの語義として使われてい設定する必要があり，閾値を適切に設定するかを推定するタスクである．このタスクることが難しいという問題がある．既存手はコンピュータが意味を理解するための基法はすべての単語に対して一定の閾値で類礎的な問題のひとつで，機械学習や文書要似判定を行っているが，各単語によって適約など様々な自然言語処理タスクにおいて切な閾値は異なると考えられる．閾値を使重要な役割を担うと考えられている．WSDわない相互𝑘-近傍グラフでは，2 つのノードは今日に至るまで様々なアプローチで研究の𝑘-近傍に互いのノードが存在するときに，が行われており，高い識別性能を持つのはこれらのノードを辺で結ぶ[2][3]．この相互コーパスを用いた教師あり学習に基づく手𝑘-近傍グラフもパラメータ𝑘を設定する必法であることが知られている．しかし，用例要がある．そのため，前後の単語数以外に，文に出現する単語に対して専門家が適切に閾値などのパラメータを設定しなくても，語義を割り当てる必要があるため，語義タWSD に有効なグラフ構造を作成することグ付きコーパスを大量に作成することはコが課題となっている．

ストがかかるという問題がある．そのため，そこで本稿では，対象単語前後の単語数少量の語義タグ付きコーパスと大量の語義を設定するだけで作成可能な，用例文間のなしコーパスを用いた半教師あり学習に基関係を表現するグラフ構造の作成手法を提づく WSD 手法も研究が行われている．

案する．提案手法は対象単語を含む用例文

この半教師あり学習に基づくアプローチペアに対して，汎用的な言語モデルであると し て ， Graph Convolutional Network

BERT [4]の学習済みモデルを用いて，同じ(GCN)を用いた WSD 手法が存在する[1]．

語義で使われているかどうかを判定するもこれは用例文間の類似性を表現したグラフのである．これにより，用例文間の関連性を構造と従来の素性ベクトルを組み合わせてグラフ構造として適切に表現することが可語義を識別する手法である．グラフ構造は能となると考えられる．提案手法の有効性

コーパス中の各用例文をノードとし，類似を確認するために，Semeval2010 日本語する用例文ペアを辺で結んで作成され，用WSD タスクデータから作成したデータセ例文の類似性を表現している．このとき，類ットを用いて比較実験を行い，提案手法の似性については Jaccard 係数や Cosine 類有効性を示す．

― 824 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

2.3 BERT を用いる方法

2. 用例文ペアの同義判定手法

BERT は汎用的な言語モデルの事前学習

2.1 Jaccard 係数，Cosine 類似度を用いるを行う手法のひとつである[4]．大量のテキ方法

ストデータを事前学習したモデルに少量の対象単語を含むすべての用例文に対して，教師データを追加学習させることで，テキMeCab と UniDic を用いて形態素解析を行

スト分類などの様々なタスクで先行研究をい前後二単語，品詞，品詞大分類，係り受け，超える分類性能を達成している．本論文でシソーラス情報を素性として抽出する．各は，BERT の学習済みモデルには国立国語用例文の素性集合について，類似度が最大研究所で作成された NWJC-BERT を用いとなる用例文，さらに類似度が 0.9 以上 (同る．NWJC-BERT は「国語研日本語ウェブじ語義であるという確信度が高い)である

コーパス」に対して，形態素解析器 MeCab

用例文を同義であると判定する．と UniDic を用いて形態素解析を行って見

ここで使用する類似度には，Jaccard 係

出し語に変換した単語列を BERT で学習し数と Cosine 類似度の 2 種類を用いる．

た言語モデルである．この学習済みモデル

Jaccard 係数は二つの集合間で共通する素の出力を 3 層の全結合層に入力し，用例文性の比率である．各用例文に含まれる素性間の同義判定タスクに転移学習することで，集合 A と B が与えられた場合，Jaccard 係

対象単語が同じ語義で使われているかどう

数 J は以下のように表される．

か判定するモデルを構築する．

𝐽(𝐴, 𝐵) = |𝐴 ∩ 𝐵|⁄|𝐴 ∪ 𝐵| , (0 ≤ 𝐽(𝐴, 𝐵) ≤ 1)

まず，各対象単語ついて，訓練データにあCosine 類似度は 2 つの素性ベクトルがなするすべての用例文ペアを用いて同義判定モ角の余弦で，2 つの用例文が類似すれば 1 にデルの学習を行う．2 つの用例文に対して近い値を持つ．

それぞれ MeCab と UniDic を用いて形態

2.2 相互𝒌-近傍グラフを用いる方法

素解析を行って見出し語の単語列を求める．

相互𝑘-近傍グラフは任意の二点間のノー

この単語列から抽出した対象単語の前後3ドが𝑘-近傍でお互いに含まれている場合に単語を判定モデルに入力することで，同義のみエッジを張るグラフとなっていると非同義の確率が出力される．訓練データ[2][3]．これを用いた判定方法として，まずにおいて，モデルからの出力と正解の同義用例文集合を 2.1 節と同様に素性を抽出し，ラベルとの誤差を最小化するように繰り返

この素性を用いて用例文間のユークリッドし学習が行われる．

距離を計算する．各用例文に対して𝑘 = 3と同義かどうか分からない用例文ペアの同して𝑘-近傍を求め，エッジを張った用例文

義判定を行う場合も学習時と同様に形態素ペアを同義であると判定する．このとき，ノ解析を行い，対象単語の前後3単語を判定モードの次数はすべて𝑘以下となり，極端に高デルに入力する．この入力に対するモデル

い頂点次数はできない．そのため，最近傍のからの出力も同義と非同義の確率となり，用例文も同義としてエッジを張る．

確率の大きい同義ラベルを判定結果として出力する．

― 825 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 1

各方法における同義判定精度
Jaccard Cosine
相互BERT
係数
類似度
k-近傍

3. 実験
本研究において同義判定を行う対象単語

71.02

は，Semeval2010 日本語 WSD タスクデー
タである対象単語の 50 個を利用する[5]．
このデータには，訓練データとテストデー

表 2

れぞれ 50 個用意されている．ここから用例文ペアを作成し，岩波国語辞典第五版タグて「1」，異なる場合は「0」としてラベル付けを行い，評価データを作成した．
同義判定の訓練データには Semeval の訓練データ 50 文同士で用例文ペアを作成した 1,225 件のデータを使用する．また，同義判定のテストデータには Semeval の訓練データとテストデータの用例文ペアである2,500 件を使用する．
このテストデータに対して同義判定を行い，自動識別でラベル（「0」か「1」）を出力する．出力したラベルと正解のラベルを比較して正解率を求める．

39.48

BERT に入力する前後の単語数を単語数

3 単語

5 単語

7 単語

精度

71.02

71.00

70.20

4.2 BERT に入力する前後の単語数の比較
BERT に入力する前後の単語数を 3 単語，5 単語，7 単語で行った実験結果を表 2 に示す．表 2 の結果から最も精度が高かったのは前後 3 単語となった．このことから，
BERT で同じ語義であるか判定する際は前後の単語数が少ない方が効果的であると考えられる．また，同義かどうか判定する際に必要となる単語が前後 3 単語中にあることが考えられ，それ以上の単語数となると不要な単語が増えて精度が下がると考えられる．

4. 実験結果

4.3 Jaccard 係数，Cosine 類似度の性能分
析4.1 各方法の精度比較
BERT (前後 3 単語)，Jaccard 係数，Cosine類似度，および相互𝑘-近傍グラフを用いる手法の実験結果を表 1 に示す．表 1 の結果を見ると，BERT の精度が最も高い結果となった．このことから同じ語義であるか判定するには BERT を使用すると精度が高くなることがわかる．また，これを利用してグラフ構造を作成し，語義判別に使用することができれば，更なる語義曖昧性解消精度の向上が見込まれるのではないかと考えられる．

39.42

変えたときの同義判定精度タとして，その単語を使用した用例文がその中分類まで一致した場合，同じ語義とし

39.41

Jaccard 係数と Cosine 類似度で極端に精度の悪い単語（例：14411「経済」）と精度の良い単語（例：545「上げる」）があった
ため，その精度の詳細を表 3 に示す．精度の悪くなった単語の 14411「経済」の分析を行うと，語義が二種類のみであり，片方の語義の用例文が極端に少ない場合，Jaccard
係数と Cosine 類似度は精度が悪くなるのではないかと考えられる．14411「経済」は「14411-0-0-1」「14411-0-0-2」の二つの語義しかないのと，「14411-0-0-2」は訓練デー
タに二つ，テストデータに一つのみと偏っ
表3― 826 ―Jaccard 係数と Cosine 類似度でのCopyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

「上げる」と「経済」の同義判定精度

連性をグラフ構造として適切に表現するこ

JaccardCosineとが可能となると考えられる．そのため，対係数類似度

象単語前後の単語数を設定するだけで作成

545 上げる

80.52

80.36

可能な，用例文間の関係を表現するグラフ

14411 経済7.767.68

構 造 の 作 成 手 法 に よ る

対象単語

Graph

Convolutional Network (GCN) を 用 い たている．そのことから，この単語では，同じWSD 手法で高い効果を得られるのではな

語義を示す「1」の数は 2354，異なる語義いかと考えられる．今後は BERT を用いたを示す「0」の数は 146 となる．Jaccard 係

同義判定によるグラフ構造を入力とした語数と Cosine 類似度は少なくとも 50 個に同義判別を行うことを課題とする．

じ語義である「1」をつないでいる．そのた

参考文献

め，つないだ最低 50 個の「1」と 146 個の「0」を足して 196 前後の正解数となるので[1] 谷田部梨恵, 佐々木稔, “グラフニューラ

表 3 の実験結果のように精度が低くなった

ルネットワークを用いた半教師あり語義曖昧と考えられる．

性解消”, 情報処理学会第 241 回自然言語処理

また，Jaccard 係数と Cosine 類似度において最も精度の高かった「545」の語義は複数あり，同じ語義を示す「1」の数は 477，異なる語義を示す「0」の数は 2023 となり，研究会 (2019).
[2] 江里口瑛子, 小林一郎, “グラフに基づく半教師あり学習のための潜在情報を考慮した異なる語義である「0」の数が多く，同じ語グラフ構成”, 人工知能学会全国大会論文集義である「1」が少ない．そのため，つない3D4-2in (2013).

だ最低 50 個の「1」と 2023 個の「0」を足[3] 小嵜耕平, 新保仁, 小町守, 松本裕治, “相し て 2073 前 後 の 正 解 数 と な る の で ，互 k-近傍グラフを用いた半教師あり分類”,

Jaccard 係数と Cosine 類似度の精度が高く

人工 知 能 学会 論 文 誌 Vol.28 No.4, pp.400-なったのではないかと考える．

408 (2013).

5. おわりに[4] J. Devlin, M. Chang, K. Lee and K.
Toutanova. “BERT: Pre-training of Deep

本稿では，対象単語を含む用例文ペアにBidirectional Transformers for Language

対して，汎用的な言語モデルである BERT

Understanding.” NAACL-HLT, pp. 4171-の学習済みモデルを用いて，同じ語義で使4186 (2019).

われているかどうかを判定する手法に有効[5] Okumura, M., Shirai, K., Komiya, K.,

性があるのかを分析した．
BERT と Jaccard

Yokono, H. “Semeval-2010 task: Japanese

係数と Cosine 類似度と相互𝑘-近傍グラフ

WSD.，In: Proceedings of the SemEval-を用いる手法の比較実験の結果，BERT に2010” ACL 2010, pp. 69–74 (2010).

よる手法が最も高い精度となった．このことから，BERT による手法で用例文間の関― 827 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.