# 人間と BERT の語から語の連想の比較

相馬佑哉，堀内靖雄，黒岩眞吾
千葉大学
yuya10101 @ chiba-u.jp, \{hory, kuroiwa\} @ faculty.chiba-u.jp

## 1 はじめに

本稿では学習済みの BERT[1]を用いた連想と人間の連想の比較を行う。本稿での連想とは単語を 1 つ与えて (刺激語)，そこから連想する単語（連想語） を複数回答させるというタスクである。人間の連想データとしては連想語頻度表 [2]のデータを使用する. BERT の連想では「<刺激語＞から連想される語は MASK です」等の文を与え, MASK に連想語が現れるようにする。この際, 文の違い (2 文に分けた場合を含む)により生成される連想語の違いを調查した. また, 人の連想に近づけるための改善案として，MASK に鍵括弧「」を付与する手法を提案し比較した。また, 人の連想に着目した場合, 視覚情報に基づく連想も行われることから，人の連想語として色が含まれていた刺激語を選定し，言語情報のみで学習した BERT からそれらの語が連想語として現れるかを調査した。

## 2 研究背景

## 2.1 関連研究

連想語を取得する研究として, 小島ら [3] や稲垣ら [4], 浅見ら [5]の研究がある.小島らは概念べース，稲垣らは Word2Vec, 浅見らは N-gram を用いて人間の連想を模擬できるか検証を行った. 本稿では同様の検討を BERTを用いて行う。

一方で, 人間の連想の大規模な調査として連想語頻度表が作成されている[2]. 同表を利用した研究として, 豊嶋ら[6]や小泉ら[7]の研究がある。豊嶋らの研究では EDR 電子化辞書と Wikipedia の情報を用いて概念べースと word2vec に基づいた単語のべクトル空間を構築し, 連想語頻度表に基づいた語の連想体系としての特色に関する検証を行った. 本稿では同様の比較調査を BERT による連想語を対象に行う。また，人間の連想においては視覚情報に基づく連想も行われるとの推測から，色が連想語として含まれる刺激語に関して調查を行う。

## 2.2 連想語頻度表

本稿では，人間の連想語として『連想語頻度表』
[2]を用いる。連想語頻度表は大規模な調査を実施して作成された連想語データベースである．連想の元となる刺激語に対して，連想語が頻度順に記載されている. 刺激語は漢字，ひらがな，カタカナで各 100 語, 計 300 語が掲載されている。漢字刺激語は 2 文字 3 モーラ, ひらがな刺激語とカタカナ刺激語は 3 文字 3 モーラの名詞であり,『日本語の語彙特性第二期』[8]からできるだけ出現頻度が高く具体性の高いものが選定されている. 調査は大学生を対象とし,漢字，ひらがな，カタカナ刺激語で延べ 934 名を対象としている．1 つの刺激語に対して 20 秒以内に 4 つまで記入を可能とした。言葉は原則として名詞という教示を行った。調查結果は『連想基準表』[9]に準じ, 1 人あたり 4 語から最初に解答された 1 語のみを用いて頻度を求めている。

## 2.3 BERT

BERT[1] B Bidirectional Encoder Representations from Transformers であり，Transformer をベースに構成されたモデルである. BERT は Masked Language Model と Next Sentence Prediction の2つのタスクで学習を行う。

## 2.3.1 Masked Language Model

Masked Language Model(マスクされた言語モデル) は「トマトの色は赤色である」を「トマトの色は MASK である」のように単語を MASK とし, その単語を予測するタスクである。 12 層の Transformer 層の後で, 1 層の全結合線形層により正解ラベル(単語) のスコアを計算する. このタスクを解くことで，単語に対応する文脈情報を学習することができる。

## 2.3.2 Next Sentence Prediction

Next Sentence Prediction(次文予測)とはぺアの文における二つ目の文が後続の文として正解かどうか予測するタスクである.このタスクを解くことで, 2 つの文の関係性を学習することができる。

## 3 BERT を用いた連想手法

## 3.1 BERT での連想模擬

本稿では, BERT の Masked Language Model と同様

に MASK に連想語が来るような文(以下，連想文と
表記)を使用して連想模擬を行う．以下に例を示す。

く刺激語>から連想される言葉は MASK です。

連想文の刺激語にはトマトやレモンといった単語が入り, MASK は連想語が入るトークンとなる.

BERT モデルとしては, 東北大学乾・鈴木研究室の Wikipedia で訓練済み日本語 BERT モデル(BERTbase_mecab-ipadic-bpe-32k_whole-word-mask)[10] を使用した.

また，連想語頻度表は原則名詞のみを連想語として回答するようにしていることから，BERT においても MASK として予測された単語のうち名詞のみを連想語として採用する。

## 3.2 連想文の選定と鍵括弧「」の導入

表 1 に実験で使用する連想文を示す.この連想文は, 刺激語とMASKをそれぞれ文の先頭, 中央, 末尾に配置でき，なおかつ意味の通る文 $(1 \sim 4)$ とそれらを 2 文に分割した文 $(5 \sim 8)$ となっている.

本稿では，表 1 の連想文の MASK に鍵括弧「」を付与する手法も検討する．以下に例を示す．

<刺激語〉から連想される言葉は「MASK」です。人間は「」が付いている単語に注目して文を読む. BERT にも同様に MASK に「」を付与することで MASK に注目を集めさせることができると考えた。

## 表 1 実験で使用する連想文

 \\

## 4 刺激語の選定と評価方法

## 4.1 刺激語の選定

表 2 に実験で使用する刺激語を示す. 連想語頻度表から, 連想語上位 5 語以内に色(日本語 Wikipedia において出現頻度の高い, 赤, 青, 黄, 緑, 白, 黒, ピンク)が存在する 38 単語を選定した。表 2 実験で使用する刺激語

## 4.2 評価方法と人間の連想語の選定

本稿の評価基準として, BERT がどの程度人間の連想を模擬できているか評価するために，連想語頻度表で上位 4 語まで(連想語頻度表の調查での人間の連想語数)の連想語と一致した数を刺激語ごとに計算し，その総和を刺激語の数で割ったものを連想語スコアとし，採用した。最大値は 4 である.

## 5 語から語の連想実験

表 1 で示した連想文 $1 \sim 8$ を用いて,「」有り無しの両パターンで語から語の連想実験を行った。

## 5.1 実験結果

表 3 に実験結果を示す. 表は BERT が予測した連想語上位 4,50,100,150 語以内における連想スコアを連想文 1 8 の「」有り無し毎に示したものである (「」有りを $1+「 」$ 等と表記)，上位 4 語以降に連想語がどの程度出力されるかを考察するため 150 位までの結果も記載した。

表 3 連想語スコア (鍵括弧「」有り無し)

## 5.2 鍵括弧「」の有無の比較

- 上位 4 語では, 連想文 3 を除き, 全ての連想文で 「」の付与により連想語スコアが向上した. 一方でスコアが最大だったものは「」無しの連想文 3 で 0.605 であった.

- 上位 4 語では,「」有りの 1 文の連想文 $1 \sim 4$ の平均スコアが $0.395,2$ 文の連想文 $5 \sim 8$ が 0.434 でほぼ同じスコアであった. これは, BERT が Next Sentence Prediction によって 2 文間の関係を学習しているため, 文が分かれていても 1 文と同様に連想語を予測できたからと考えられる。

- 上位 50 150 語では, 全ての連想文で「」有りの連想語スコアが向上している. スコアが最大だったものは「」有りの連想文 3 である.

## 5.3 連想文による Attention の特徴

図1, 図2 に BertViz[11]を使用した最終の
Transformer 層の Attention の結果を示す. 図中の右列の背景の 12 色のバーは同層の Transformer 内に 12 ある Attention 機構(Attention Head)を各々表し，色の濃さは該当単語への Attention の強さを表している. [MASK]から各トークンに向から線の色は Attention Head の色を混合したものであり，濃度は Attention の強さを表している。

- 図 1 の連想文 1 は「」を付与することでスコアが大きく向上した連想文である $(0.000 \rightarrow 0.474)$.図 1 より，「」を付与することで MASK の前後の単語(は，です)への Attention が弱くなり，「〜は以上です」「〜はすべてです」のような前後の単語からは候補に挙がりやすい単語の出力が抑制され, 刺激語に関連する語が上位の候補として挙がりやすくなったと考えられる。

- 図 2 の連想文 3 は「」を付与してもスコアが向上しなかった連想文である $(0.605 \rightarrow 0.395)$. 連想語頻度表の刺激語ワインに対する連想語は, [赤,酒，ブドウ，フランス] である.これに対し，「」無しでは [酒, ブドウ，ビール，水] が予測され，

a.「」有り

b.「」無し

図 1 連想文 1 のワインにおける Attention(連想語スコアが向上)

a. 「」有り

b.「」無し

図 2 連想文 3 のワインにおける Attention(連想語スコアが減少)
連想語頻度表の 2 位と 3 位の単語と一致していた.この連想文では MASK の位置が中央にあり，双方向から文脈を捉えている BERTにとって情報を統合しやすく，スコアが良くなったものと考えられる。一方で，「」有りの連想語は

[酒, 水, 肉, 死] であり, 連想語頻度表の単語と一致した数が減少した. この点については現在調査中である。

## 6 色に関する連想実験

本稿で用いた刺激語（表 2）には連想語上位 5 語中に色が 1 語含まれている(以下, 連想色と呼ぶ).本章では連想色のみに着目した 4.2 の連想語スコアを計算し(以下，連想色スコアと呼ぶ。最大値は 1 である), 考察する。連想実験は「」有りの場合のみ行う．BERT に色を問いかけた場合の出力を考察するため, MASK に色の単語が入るような連想文 (表 4)を追加する.

表 4 実験で使用する連想文

 \\

## 6.1 実験結果

表 5 に上位 5 語以内における通常の連想文 $(1 \sim 4)$ と色の連想文 $(9 \sim 12)$ の連想色スコアの平均を示す.

表 5 連想色スコア (鍵括弧「」有り)

## 6.2 通常の連想文と色の連想文の比較

- 通常の連想文は上位 5 語の連想色スコアが 0.007 であり, BERT では色の連想語が出力されにくいことが判る.

・色の連想文は上位 5 語の連想色スコアが 0.572 であり, 連想色が出力されやすくなったことが判る. これは，BERT は入力文の文脈を捉えることができるため, MASK に色が入るような連想文を入力することで, 色が出力されやすくなったと考えられる。しかし, 上位 5 語以内に色の中で正解の連想色が最初に出力されたのは 4 割程度だった。

## 7 おわりに

本稿では, BERT と人間の語から語の連想の比較を行った。人間の連想語には連想語頻度表を使用した. BERT での連想模擬には MASK に連想語が入るような連想文を作成するとともに，連想文の MASK に鍵括弧「」を付与する手法を提案し，比較を行った.その結果，鍵括弧「」を付与することで，刺激語とは関係の低い単語の出力を抑制することができた. また, BERT では，連想文を 2 文に分割しても単文と同程度の品質の連想が可能であった. さらに, Attention をコントロールすることで語から語の連想が改善される可能性があることが判った。

以上より，限られた実験ではあるが，MASK を文中におき，刺激語と近づけ MASKを「」で囲むことが有効であることが示唆された.

なお, 本実験では上位 4 語で人間の連想語と一致するものは最大で 0.6 語程度であったが，上位 150 語以内には人間の連想語の半数以上が含まれており，連想というタスクでファインチューニングすることで人間の連想に近づけられる可能性はある.

一方で，色の連想語が予測されにくいこと，および文脈から色のみが MASK に入る文を用いることで他の連想語と同程度までは予測できること，が明らかとなった。これらのことから，人間にとって刺激語と関連性が高い色であっても, 言語情報のみ学習している BERT では必ずしも連想色が出力されるわけではないことが判った.

今後は連想文の改良, Attention をコントロールする方法の模索を行っていく. また, 色に関する連想語を出力しやすくするために画像情報を用いた連想模擬の手法も検討していく.

## 謝辞

本研究を進めるに当たり，乾・鈴木研究室の訓練済み日本語 BERT モデルをお借りしました。モデルを公開してくださったことに厚く御礼を申し上げ，感謝の意を表します. 本研究は JSPS 科研費 JP20K11860 の助成を受けたものです.

## 参考文献

1. Jacob Devlin, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language

Understanding. s.l. : arXiv preprint arXiv:1810.04805, 2018.

2. 水野りか, ほか. 連想語頻度表一 3 モーラの漢字・ひらがな・カタカナ表記語一. ナカニシヤ出版，2011.

3. 小島一秀, 渡部広一, 河岡司. 連想システムのための概念ベース構成法一語間の論理的関係を用いた属性拡張一。自然言語処理/11 巻(2004)3 号, 2004.

4. 稲垣健吾, ほか. 人間の連想を模擬するシステ厶の開発と分析. 言語処理学会第 22 回年次大会発表論文集， 2016 .

5. 浅見一樹, 杉本徹. 連想語の自動取得に関する研究. 言語処理学会第 25 回年次大会発表論文集， 2019 .

6. 豊嶋章宏, 奥村紀之. 語の連想体系としての概念ベースの評価. 信学技報 vol.115, no.70,

NLC2015-1, pp.1-5, 2015.

7. 小泉政弥，ほか. 人間の連想傾向を基にした属性の重み補正による概念ベースの精鍊. 人工知能学会研究会資料，2015.

8. 天野成昭, 近藤公久. 日本語の語彙特性第二期. 三省堂，2003.

9. 梅本堯夫．連想基準表．東京大学出版会， 1969 10. 東北大学乾・鈴木研究室. Pretrained Japanese BERT models. (引用日: 2021 年 01 月 02 日.) https://github.com/cl-tohoku/bert-japanese.

11. Jesse Vig. A Multiscale Visualization of Attention in the Transformer Model. Florence, Italy: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations", 2019.