⼤規模⾔語モデルの語彙的関係知識推定における⽇英間の⽐較調査
東北⼤学

乾研究室

阿部 ⾹央莉1, 北⼭ 晃太郎1, 松⽥ 耕史2,1, 吉川 将司1,2, 乾 健太郎1,2
E-mail: abe-k@tohoku.ac.jp2021/07/27

第249回⾃然⾔語処理研究会（NL研）

1

背景︓⼤規模⾔語モデルの知識推定（Probing）• BERTなどの⼤規模⾔語モデル（LM）の台頭は凄まじいが，LMの内部でどのような知識が蓄えられているかは未だ不明→ ⽳埋め形式の問題を利⽤したLMの内部知識の推定の研究が盛ん
Swallow is a ___ .
Bird.
President of America is ___.

⼤規模⾔語モデル（LM）

Biden.

• たとえば，• LMは低頻度語に関する語彙知識を予測できない [Schick & Schütze, AAAI2020]• LMは否定（nega6on）に対して弱い [E9nger+, ArXiv2019; Hosseini+, NAACL2021]

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

2

問題点︓他⾔語における知識推定の検証が不⼗分• 知識推定 (Probing) の研究の多くは，英語を対象とした議論にとどまっている• 多くの⽳埋め形式データセットが提案されているが，ほとんどは英語• ⽇本語などの他⾔語を扱った研究は少ない• 本研究の⽬的: 英語における語彙的関係知識推定の結果[Schick &Schütze, AAAI2020]と⽇本語の結果との⽐較• 英語と⾔語類型が⼤きく離れた⽇本語においても，頻度と予測性能の関係が⾒られるか調査• LMの知識推定のための⽇本語データセット の⾃動構築• [Schick & Schütze, AAAI2020]らはデータ構築にWordNetを使⽤しており，他⾔語でも実験プロセスが再現しやすい

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

3

タスク︓LMの語彙的関係知識推定(a) テンプレート（⼈⼿）<w> is a [MASK] .
<w> is a kind of [MASK] .
(b) 単語エントリ（WordNet）

basketball

Input:
basketball is a kind of[MASK].

LM(basketball, {game, ball, sport … })(dog, {canies, …})

Output:basketball isa kind ofball ✔
bassbaseball• Masked Language Modelタスクを解くように訓練されたLMには，⽂を⽳埋めする能⼒がある• LMの⽳埋め能⼒を利⽤し，対象となる知識を問うような⽳埋め問題を作成してその正否を調べる• 例︓「basketball」は「ball」「game」「sport」の⼀種である（上位語）など

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

4

タスク︓LMの語彙的関係知識推定(a) テンプレート（⼈⼿）<w> is a [MASK] .
<w> is a kind of [MASK] .
(b) 単語エントリ（WordNet）

basketball

Input:
basketball is a kind of[MASK].

LM(basketball, {game, ball, sport … })(dog, {canies, …})

Output:basketball isa kind ofball ✔
bassbaseball• ⽳埋め問題のデータを作成する上で，以下の2つが必要(a) ⽳埋め問題の雛形となるテンプレート （⼈⼿で作成）(b) (a)に当てはめる，キーワード（<w>）および正解となる単語群のペアで構成された単語エントリ （WordNetから抽出）
2021/07/27

第249回⾃然⾔語処理研究会（NL研）

5

& Schütze,タスク︓LMの語彙的関係知識推定 （英語 の場合）[SchickAAAI2020](a) テンプレート（⼈⼿）<w> is a [MASK] .
<w> is a kind of [MASK] .
(b) 単語エントリ（WordNet）

basketball

Input:

関係
テンプレート Output:
basketball is a kind ofbasketball is a
LM is a [MASK].
上位語 a <w>[MASK].

“<w>” refers to a [MASK].
a <w> is a kind of [MASK].

(basketball, {game, ball, sport … })(dog, {canines, …})

bass
baseball

対義語 <w> is the opposite of [MASK].

• 各語彙関係（上位・対義・同位）に対応する，[MASK]
トークンを含むテンプレートを作成
2021/07/27

ballsomeone who is <w> is not [MASK].
Something that is <w> is not [MASK].
<w> is not [MASK].

同位語 <w> and [MASK].

“<w>” and “[MASK]”.

※同位語︓同じ上位語を持つ単語同⼠の関係

第249回⾃然⾔語処理研究会（NL研）

6

& Schütze,タスク︓LMの語彙的関係知識推定 （英語 の場合）[SchickAAAI2020](a) テンプレート（⼈⼿で作成）<w> is a [MASK] .
<w> is a kind of [MASK] .
(b) 単語エントリ（WordNet）(basketball, {game, ball, sport … })(dog, {canines, …})

Input:

関係

上位語
basketball is a kindof[MASK].
対義語
同位語

basketball

キーワード Output:
正解候補
ball
basketballgame, ball, sport …
basketball is aLMbassnewoldsamosa

pizza, sandwich, saladbaseball• WordNetから，各関係にある単語エントリを取得• このとき，正解候補となる単語はLMの分割器（tokenizer）をかけた後に1トークンで表されるもののみを使⽤• キーワードの頻度で低・中・⾼頻度（1~9, 10~99, 100>）のサブセットに分割して実験
2021/07/27

第249回⾃然⾔語処理研究会（NL研）

7

タスク︓LMの語彙的関係知識推定 （⽇本語 の場合）
(a) テンプレート（⼈⼿）<w>とは[MASK]である。
<w>とは[MASK]の⼀種である。
(b) 単語エントリ（WordNet）

トランペットInput:
トランペットとは[MASK]の⼀種である。

LM

Output:
トランペットとは(トランペット,{ブラス, ⾦管楽器, 真鍮, …})

トランプの⼀種で⾦管楽器 ✔ ある。
トロンボーン• 英語の場合と同様に，以下の2つの⽇本語版を⽤意する(a) ⼈⼿で作成した⾃然⾔語によるテンプレート(b) WordNetから取得した単語エントリ

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

8

タスク︓LMの語彙的関係知識推定 （⽇本語 の場合）
(a) テンプレート（⼈⼿）<w>とは[MASK]である。
<w>とは[MASK]の⼀種である。
(b) 単語エントリ（WordNet）(トランペット,{ブラス, ⾦管楽器, 真鍮, …})

Input:
トランペットとは[MASK]の⼀種である。

• 英語のテンプレートを参考に各関係に対応する
⽇本語のテンプレートを作成
2021/07/27

basketball
テンプレート
Output:ball
上位語 <w>とは[MASK]である。
トランペットの⼀種でLM 「<w> 」とは [MASK] の⼀種である。とはbassある。
関係「<w>」とは [MASK] のことを指す。

baseball
対義語 <w>と [MASK] は対の関係にある。

<w>と [MASK] は逆の関係にある。
<w>と [MASK] は反対の関係にある。
<w>の反対は [MASK] である。
<w>は [MASK] ではない。

同位語 <w>と [MASK]。

「<w> 」と「[MASK]」。
<w>と [MASK] の違い。
<w>と [MASK] の違いについて。

第249回⾃然⾔語処理研究会（NL研）

9

タスク︓LMの語彙的関係知識推定 （⽇本語 の場合）
(a) テンプレート（⼈⼿）<w>とは[MASK]である。
<w>とは[MASK]の⼀種である。
(b) 単語エントリ（WordNet）

Input:

関係

上位語
トランペットとは[MASK]の⼀種である。
対義語(トランペット,{ブラス, ⾦管楽器, 真鍮, …})

同位語

basketball

キーワードOutput:
正解候補
ball
トランペットブラス，⾦管楽器，真鍮，…
トランペットの⼀種でLMとは ⼥，⼥性
bassある。
男
ピンク

ブロンド，ブルーbaseball• Open Multilingual WordNet [1]から英語と同様に単語エントリを取得• 上位語・同位語は，直接上位関係にあるWordNet synsetを使⽤• 英語と同様に，キーワードの頻度に応じて低・中・⾼頻度のサブセットに分割[1] http://compling.hss.ntu.edu.sg/omw/2021/07/27

第249回⾃然⾔語処理研究会（NL研）

10

実験設定︓データの統計量・使⽤した⾔語モデル• WordNetから得られた単語エントリの総数
英語 [Schick & Schütze,AAAI2020]
⾼頻度 中頻度 低頻度

⽇本語
⾼頻度

中頻度

低頻度

上位語

4,750

1,785

1,191

20,151

7,487

7,472

対義語

266

58

41

1,055

301

400

同位語

6,126

2,740

1,960

20,376

6,766

7,007

• ⼤規模⾔語モデル (LM)• 英語 ︓bert-base-uncased (https://huggingface.co/bert-base-uncased)• ⽇本語︓bert-base-Japanese-v2 (https://huggingface.co/cl-tohoku/bert-basejapanese-v2)

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

11

評価指標: Mean Reciprocal Rank （逆順位平均）(a) テンプレート（⼈⼿で作成）<w> is a [MASK] .
<w> is a kind of [MASK] .
(b) 単語エントリ（WordNet）

1. basketball

Input:
basketball is a kind of[MASK].

LM

Output:basketball isa kind of

2. ball ✔
3. bass
4. baseball(basketball, {game, ball, sport … })(dog, {canines, …})

5. hoge• 各テンプレートに対するLMの予測を⽤いて，MRRを計算• たとえば，上記の例の場合，「<w> is a kind of [MASK] .」というテンプレート
に対するRR (Reciprocal Rank, 逆順位) = 2/5• 最も良いRRとなるテンプレートを適⽤した際のRRの値を利⽤し，全ての単語エントリについてRRの平均 (MRR) を計算• 予測数(top-k)は k=5とした
2021/07/27

第249回⾃然⾔語処理研究会（NL研）

12

実験結果︓⽇英での語彙的関係知識推定（MRR）
英語

⽇本語

⾼頻度

中頻度

低頻度

⾼頻度

中頻度

低頻度

上位語

0.391

0.298

0.252

0.184

0.230

0.200

対義語

0.368

0.090

0.119

0.042

0.072

0.076

同位語

0.279

0.156

0.124

0.095

0.090

0.080

※英語の結果は予測数k=5で再実験した結果を記載• 英語では，先⾏研究の通り，キーワードが低頻度になるほどMRRが下がっていく傾向が⾒られた• ⽇本語では，頻度とMRRの相関は⾒られなかった→ ⾔語横断的に調査を⾏うことの意義を⽰唆
2021/07/27

第249回⾃然⾔語処理研究会（NL研）

13

分析︓実際の上位語予測• 「<w>は[MASK]の⼀種である。」というテンプレートでの結果
キーワード (<w>)

正解単語

BERTの予測単語（top-5）

フィッシュ・アンド・チップス 料理

寿司，以下，フィッシュ，料理，カクテル

ホッキョクグマ

クマ，熊カニ，カエル，卵，⿂，⿃類

排他的論理和ゲート

ゲート

ゲート，以下，これ，次，それレモンメレンゲパイ

パイパイ，以下，パン，菓⼦，ケーキ• キーワードの分割がうまくできない例は予測に失敗しやすい• フィッ シュ・アンド・チップス → フィッシュ/・/アンド/・/ チップ/##ス• ホッキョクグマ → ホ/##ッキ/##ョ/##ク/グ/##マ• 上位語をキーワード⾃体に含むエントリは予測しやすい → 予測が簡単な例︖• ゲート，パイ

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

14

分析︓実際の対義語予測• 「<w>と[MASK]は対の関係にある。」というテンプレートでの結果
キーワード (<w>)

正解単語

BERTの予測単語（top-5）

男⼥，⼥性と，の，し，お，ん

右

レフト，左，左側，左⼿ と，し，の，ん ##ちお⼦様

親おとっつあんマザー，実⺟，⺟，⺟親 と，で，プリン，は，ぴ

ママ，⺟，⼦供，⼦，⼥房• 対義語に関して，⽇本語BERTではほぼ予測できない• 特に意味を成さないひらがな⼀⽂字や，「反対」などの意味に相当する単語がよく出現する傾向が⾒られた• なぜ予測できないのか︖• 今のテンプレートではうまく予測できない（テンプレートの問題）︖→ AutoPrompt[Shin+, EMNLP2020] などの⾃動テンプレート⽣成⽅法の検討• ⾔語モデルの学習データ量不⾜︖
2021/07/27

第249回⾃然⾔語処理研究会（NL研）

15

分析︓実際の同位語予測• 『「<w>」と「[MASK]」。』というテンプレートでの結果

キーワード (<w>)

正解単語

ピンク

[ブロンド]，[ブルー，...]，ピンク，⾚，オレンジ，⽩，ブルー[ブラウン，...], [グリーン，...]

⽝

雌，[フォックス，狐，稲荷]， 猫，⽝，⼈，ネコ，ウサギ[ウルフ，オオカミ，狼]センチリットル[l，l，L，ミル，cc，[UNK]]BERTの予測単語（top-5）

リットル，センチ，センチメートル，キログラム，ミリ• 正解と⾒なして良さそうな単語（「⾚」「オレンジ」等）が予測できているにもかかわらず，WordNetによる正解が機能していない• 直接上位関係にあるsynsetのみに限定していることの弊害︖• WordNet⾃体の質の問題︖（not ⼀般的な表現が含まれている，⼀般的な表現が⽋けている等）

Þ データセットをより適切な評価ができる形に改善したい
2021/07/27

第249回⾃然⾔語処理研究会（NL研）

16

分析︓⽇本語における未知語トークンの出現
未知語トークン
出現数 / 全体

⽇本語，低頻度

⽇本語，⾼頻度

英語，低頻度

198 / 7,472

23 / 20,151

0 / 4,750※上位語での結果を⽰す• 不正解となった例には，トークナイズを経てキーワードに未知語（[UNK]）トークンが含まれる例が⾒られた• 多くは，WordNetから抽出してきたエントリがBERTの⽂字語彙セット中に⼊っていない旧字体を含んでいる場合• 参考︓bert-japaneseの⽂字vocabサイズは6,144• LMの[MASK]トークンの予測においても[UNK]が出現する例も• 同位語予測の「センチリットル」の例など

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

17

まとめ・今後の展望• まとめ• 英語による先⾏研究を基に，⽇本語においてLMの語彙的関係知識推定を⾏い，その結果を2⾔語間で⽐較した• キーワードの頻度と知識推定の精度の関係は⾒られず，⾔語横断的な調査の必要性が⽰唆された• 特に，⽇本語の低頻度語においては，LMにおける未知語（[UNK]）トークンの出現が多く⾒られ，これについて対処する必要がある• 今後の展望• 現状のデータを⽇本語語彙知識推定⽤データセットとして妥当なものとする
ため，クラウドソーシング等によってデータを綺麗にする• ⽳埋め形式による知識推定の⽅法論について，さらに深く検討する

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

18

Appendix

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

19

⽇本語テンプレートの構築
英語

⽇本語“<w>” refers to a [MASK].
“<w>” and “[MASK]”.

「<w>」は[MASK]のことを指す。
「<w>」と「[MASK]」。

• テンプレートの要件︓対象となる単語をLMが予測できるような⽂• しかし，テンプレートが⾃然⾔語によるものである以上，対象の正解単語が必ず出⼒されることを担保しているわけではない• 先⾏研究では，予測を助けるような⼩さな⼯夫がなされている• <w>や[MASK]の直前に冠詞を付加• <w>や[MASK]にダブルクォーテーションを付加• 事実，本研究でも『「<w>」と「[MASK]」。』のようなテンプレートの⽅がうまく予測できる傾向にあった
2021/07/27

第249回⾃然⾔語処理研究会（NL研）

20

注意点︓⽇本語設定における対義語の取得
⽇本語の⾒出語(lemma)

WordNet synset

英語の⾒出語“男”

man.n.01“man”“⼥, ⼥性”

woman.n.01“woman”• 問題点︓Open Multilingual WordNet において，⽇本語の⾒出語に対義語が整備されていない→ 英語を経由して対義語の⽇本語⾒出語を取得• 完全に対応する対義語を取得するのは難しいと判断し，⽇本語の対義語エントリにおいては複数の正解を許容

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

21

注意点︓⽇本語設定における対義語の取得• 問題点︓Open Multilingual WordNet において，⽇本語synsetに対義語が整備されていない• 2021年7⽉時点，他の⾔語（ポルトガル語，ドイツ語など）においても整備されていないことを確認済• ⼀般的に対義語はsynsetではなく⾒出語 (lemma) に定義されている• 男 ó ⼥，男性 ó ⼥性などのニュアンスの違いを捉えるため• 複数のエントリを許容することによる懸念・考察• 上記のニュアンスの違いを厳密に捉えられないため難易度が下がる可能性あり（が，現状そもそも対義語はほぼできていないためそれ以前の問題）• 対義の概念を意味的に理解していれば良いとするなら，これでも良いかも

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

22

分析︓ 上位語予測における分析（正解単語の出⼒順位）
正解単語の出⼒順位
1

2

3

45x

全体

13.3

5.6

3.5

2.9

2.0

72.6

正解単語 in キーワード

60.1

14.5

5.1

3.4

2.7

14.3

Not 正解単語 in キーワード

4.4

4.0

3.2

2.8

1.9

83.7

• 「排他的論理和ゲート」「レモンメレンゲパイ」のような，正解単語をキーワード中に含むものと含まないものに分けて各エントリの正解率を調査• 正解単語をキーワード中に含むエントリは，容易に正解を予測できる• 反対に，含まない場合は顕著に予測できない

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

23

分析︓ 上位語予測における分析
各キーワードのサブワード分割数
123456>

⾼頻度

19.4

30.5

31.5

28.7

51.7

20.0

中頻度

2.1

29.5

34.0

32.0

31.7

33.3

低頻度

2.2

27.5

28.7

25.7

25.4

22.4

（表中の値は 各分割数 x 頻度において，1つでも正解単語を予測できたエントリの割合）• ⾼頻度語は⽐較的どの分割数においても 正解率（%）が⾼い• MRRの結果と照らし合わせると，⽇本語 BERT は正解単語の予測には成功しているものの，⾼順位で出⼒できていない
2021/07/27

第249回⾃然⾔語処理研究会（NL研）

24

英語・⽇本語におけるキーワードの分割数
・英語エントリのサブワード分割数

・⽇本語エントリのサブワード分割数
12~45~

⾼頻度9,405

25,977

267

200

中頻度

176

13,884

824

444

低頻度

264

12,508

1,196

1

2~45~

⾼頻度

3,145

5,490

109

中頻度

03,499低頻度

05,243• 英語エントリでは中頻度以上でサブワード分割数1になるものはない
⽇本語エントリでは⼀定数存在する• 中には難読漢字で[UNK]トークンになっているものも存在する

2021/07/27

第249回⾃然⾔語処理研究会（NL研）

25

英語・⽇本語におけるキーワードの分割数
⾼頻度

中頻度

低頻度

英⽇

※縦軸は各頻度サブセットの総エントリ数で正規化したエントリ数の割合，横軸はサブワード分割数
2021/07/27

第249回⾃然⾔語処理研究会（NL研）

26