単語分散表現から類義語を考える
内田 諭
九州大学言語文化研究院

自己紹介• 内田 諭（うちだ さとる）
• 九州大学准教授• 専門：コーパス言語学、フレーム意味論、英語教育学
フレーム意味論

言語資源

https://framenet.icsi.berkeley.edu/fndrupal/

英語教育

自然言語処理https://cvla.langedu.jp/

類義語の分析方法• 内省• インフォーマント調査• コーパス調査• 計算 【NEW!】
オーレックス英和辞典（旺文社）第２版

類義語の先行研究

言語分析、言語教育（日英）ともに多くの研究がある

言語分析
Fillmore, C. J., & Atkins, B. T. (1992). Toward a frame-based lexicon: The semantics of RISK and its
neighbors. Frames, fields and contrasts: New essays in semantic and lexical organization, 75, 102.
Gries, S. T., & Divjak, D. (2009). Behavioral profiles: a corpus-based approach to cognitive semanticanalysis. New directions in cognitive linguistics, 57, 75.
杉本武 (2009). コーパスからみた類義語動詞:「ねじる」 と 「ひねる」. 文藝言語研究. 言語篇, 55, 109-122.
柴宝華, & 趙海城. (2017). コーパスに基づいた類義語分析:「見落とす」「見過ごす」「見逃す」 を例に. 明星大学研究紀要人文学部, (53), 27-46.
言語教育
Martin, M. (1984). Advanced vocabulary teaching: The problem of synonyms. The Modern Language
Journal, 68(2), 130-137.

Laufer, B. (1990). Ease and difficulty in vocabulary learning: Some teaching implications. Foreign
Language Annals, 23(2), 147-155.
岩佐靖夫. (2011). 日本語教育における類義語指導の一考察: 系統的な指導原理へ向けての提言. 尚美学園大学総合政策
研究紀要, 20, 17-24.

大神智春. (2018). 類義語で形成されるコロケーションの理解と使い分け―中国語母語話者を対象として―. 日本語教育方法研
究会誌, 24(2), 70-71.

言語資源• 電子リソース• FrameNet• WordNet• VerbNetなど

今回はここにフォーカス※近日中にフレーム意味論・FrameNetの入門書（研究社）が出ます！

• 紙媒体のリソース• Roget's International Thesaurus• Oxford Dictionary and Thesaurus• 日本語シソーラス類語検索辞典など【本発表の目的】
FrameNetの類義語の体系を使って「計算」（BERT)から類義語を検証する→類義語の「近さ」が、その種類によってどう異なるか？

FrameNetとは？
• 単語が喚起する言語フレームの辞書(https://framenet.icsi.berkeley.edu/fndrupal/)

例：Lee bought a textbook from Abby.
• bought (buy)はCommerce_buyフレームを喚起• Commerce_buyフレームの上位フレームはGettingフレーム• LeeはBuyer, a textbookはGoods要素でコアフレーム要素• AbbyはSellerでこのフレームでは周辺的フレーム要素→単語が喚起するフレーム、そのフレームの必須要素、フレーム要素の実現形と組み合わせ、フレーム同士の関係を記録

FrameNetにおける類義語の種類:
フレーム間関係に基づいてperspective_on（視点化）：
特定の事象を別視点から描写する
例：buy–sell
3 or 4※数字は類義語の関連度の高さの直感的な順位
１

同一フレームを喚起：共通するコアフレーム要素を持つ
例：buy–purchase (buyer, goods)

inheritance（継承）：コアフレーム要素をすべて引き継ぐ
２
例：buy–rent (buyer[Lessee], goods要素が共通）※反意語(increase-decreaseなど）を含む

use（使用）：コアフレーム要素の一部として上位フレームのコア要素を使用
例：buy–import
3 or 4

実験の内容• 同一フレームを喚起する語、inheritanceの関係の語、perspective_onの関係の語、Useの関係の語をそれぞれ5ペアずつ取り上げ（文例、動詞に限定）、OALD(https://www.oxfordlearnersdictionaries.com/)から用例を抽出(1,035件）• 見出し語を[MASK]した例文をBERT(bert-base-uncased)を使ってTOP5のcandidateをリスト• Target（見出し語）およびその類義語が含まれているかを検証

例：give-offer（useの関係）
I was asked to give evidence at the trial.→ I was asked to [MASK] evidence at the trial.
give(0.497) , provide(0.279), present (0.089) , testify (0.013) , witness (0.009)→見出し語はtop 1, 類義語はNASpecial thanks for data creation: A. T.

実験結果1：見出し語の予測確率
NA

Top 1 Top 2 Top 3 Top 4 Top 5 総計

Inheritance

93133

43

24

161532471.3

perspective_on

103

158

34

19

13

11338

69.5

same

31

35

15

1246103

69.9

use

72

130

35

18

78

270

73.3

総計

299456127

734040 1035• Targetとなった単語（見出し語）を正しく予測できた確率• どの関係でも約70％の確率でTop 5に入る (Top 1で約42％）
対象語：claim-confirm (inheritance), consider-judge (inheritance), get-buy (inheritance), say-reveal (inheritance),vanish-evacuate (inheritance), buy-sell (perspective_on), charge-pay (perspective_on), employ-work (perspective_on),give-receive (perspective_on), succeed-fail (perspective_on), build-construct (same), complete-finish (same), cureheal (same), increase-decrease (same), supply-provide (same), break-injure (use), cook-grill (use), destroy-shred(use), give-offer (use), say-promise (use)実験結果2：類義語がTop 5に入る割合
NATop 1 Top 2 Top 3 Top 4 Top 5 総計

Inheritance295748733249.0

perspective_on305

710466338

9.8

same

70

89754103

32.0

use

232

9510104270

14.1

総計

902

3128292817 1035

• 同一フレームを喚起する場合に目立って類義語が多く含まれる類義語が逆転する割合 件数

総数割合

Inheritance

6324

1.9

perspective_on

7338

2.1

same

11103 10.7

use

8270

3.0

• 同一フレームで類義語が逆転する場合が多い• 何が起きているか、言語学的に興味深い

類義語が逆転した具体例
targetsynrelationchargepay

perspective_on He only charged me half price.

construct

build

same

decreaseincrease

same

give

offer

use

offer

give

use

sell

buy

perspective_on I sold James my car for £800.

supplyprovidesame

exampleThey constructed a shelter outof fallen branches.
The price of wheat has
decreased by 5 per cent.
They were all thirsty so I gavethem a drink.
They decided to offer the job toJo.

The company supplied schools
with sports equipment.

candidate 1

candidate 2

SVOO 0.482 gave

paid

candidate 30.115 offeredcandidate 4

candidate 50.114 charged

0.079 pays

[MAKE]0.408
O foundout of ~0.267 built

0.107 dug

0.040 constructed 0.035

0.317 increased
0.246 risen[CHANGE]by [RATE]

0.124 dropped

0.073 decreased

0.072

SVOO 0.205 gave

0.184 poured

0.184 handed

0.102 got

0.086

SVO to 0.522
O offer

0.150 leave

0.147 hand

0.047 sell

0.036

0.296 bought O for
0.178
sold
0.177 offered
S [BUY-SELL][MONEY]

0.124 loaned

0.032

0.536 supplies
0.263[ITEM]
supplied
S [PROVIDE]O with

0.018 provided

0.016

madefallen

offeredgivegave

provides0.094 supports

0.058• 構文的に中立なもの（他のものと入れ替え可能で汎用性があるもの）が立ち浮かんでくる• 構文(construction)の発見に寄与する可能性がある

まとめと課題【まとめ】• 「計算」による類義語の発見は言語学的には新しいもの• その詳細はまだまだ未検討のところが多い• FrameNetを類義語のリソースとして使ってBERTで実験したところ、 「同一フレーム」を喚起する単語で、「見出し語と類義語」の逆転現象が観察された（→構文の発見につながる現象？）【課題】• 予備調査に留まる（約1,000例）→言語学者だけだと大規模化が難しい• Attentionの可視化等からキーとなるheadや構文的な振る舞いを観察したい→言語学者だけだと技術やアイディアが限られる
NLPと言語学の協働・共創が必要！
どんなテーマでもよいのでご関心があればご連絡ください