言語処理学会 第25回年次大会 発表論文集 (2019年3月)

連想語の自動取得に関する研究
浅見一樹†, 杉本徹‡
†芝浦工業大学大学院 理工学研究科, ‡芝浦工業大学 工学部{ma17005, sugimoto}@shibaura-it.ac.jp
１． はじめに連想とは、ある事柄からそれと関連のある事柄を思い浮かべることである。これは人間が日常生活の中で自然に行う働きである。
単語から単語の連想を行う際、人間は多様な関連性をもとに単語を導き出す。例えば「春」であれば、同じく「季節」の単語である「夏、秋、冬」を連想する。しかし関連性は１つのみではなく、「春」の「行事」である「入学、花見」といった単語も同時に連想することができる。
自然言語処理分野において関連のある単語を求める手法はいくつかあり、既存の研究として概念ベース[1]やword2vec[2]を用いる手法がある。
しかしこれらの手法で得られる関連のある単語は必ずしも人間が直感的に思い浮かべる単語ではないという問題がある。Deyne[3]らはこの問題に対して心理学的な実験により収集した大規模な単語連想データをもとに連想を実現する方法を提案した。
本研究では被験者から連想語を収集し、N-gram とword2vec を用いた手法を比較することで、人間の直感に近い連想語を自動取得するための手法の検討を行う。
２．連想語の収集
２．１． 目的
本研究では、人間が１つの単語（刺激語）から連想する単語を連想語と呼ぶ。連想語を収集する目的は、人間が直感的に連想する単語とはどのような単語であるのかを分析することである。例えば「リンゴ」と「血」という単語は同じ「赤い」という関連を持っている。しかし多くの人は「リンゴ」から「血」を連想することはないだろう。関連ある事柄を想起する連想機能によって得られる単語は、このようにただ関連があれば連想語となるわけではない。
そのため実際に人間から連想語を収集し、連想語の性質を分析する必要がある。また人間が連想した連想語と自動取得した関連語の比較を行うことで、手法別に連想に対しての長所と短所を分析することができる。
２．２． 刺激語の選定
被験者に提示する刺激語を分類語彙表[4]を参考にし、以下の条件で選定した。

・連想しやすい単語である。
・人によって連想結果が偏らない単語である。
・多義性のない単語である。
・分類語彙表内で異なる分類項目に属す。
まず上記の条件を満たす分類項目計 52 項目を選定した。選定した分類項目に属す単語のうち、予備実験において被験者 2 名がお互い 3 語以上連想出来た刺激語を合計 50 語になるように選定した。
基本的に 1 分類項目につき 1 単語を刺激語として選定し、分類項目内の単語が他の項目より多い場合は最大 2 単語まで選定した。
選定した分類項目と刺激語 50 語を表 1 と表 2 に示す。
表 1 選定した分類項目
類

部門
抽象的関係
体 人間活動の主体の 人間活動-精神および行為
類 生産物および用具
自然物および自然現象

中項目
時間
人間
心、言語、芸術、生活、交わり、事業
資材、医療、食料、道具、機械、土地利用

物質、天地、植物、動物

表 2 選定した刺激語
春
和風
野球
テレビ
蝶
クリスマス
ラジオ体操
弁当
カメラ
鏡

刺激語一覧
警察官
遠足
水着
墓場
医者
公園
クレーム
制服
スペースシャトル
地震
おもちゃ
入浴
通訳
雪合戦
ケーキ
新幹線
レモン
コンビニ
年賀状
ラーメン

宴会
農業
ドライヤー
砂漠
ダイヤモンド
留学
交通
わさび
家畜
観察

天気予報
洗濯ピアノ
にわとり
消しゴム
出張
肥料
うちわ川
アイス

２．３． 連想語の収集
収集する連想語は普通名詞とサ変接続名詞のみとし、被験者数は各刺激語につき 10 人とした。連想実験を行う際に被験者には各刺激語ごとに 40 秒の制限時間内で自由連想を行ってもらった。この制限は長考による関連の弱い単語の出現を抑えるために設けた。また被験者の疲労による連想語の質の低下を防ぐため、1 回の連想につき 30 秒の休憩時間を設けた。
この連想実験により収集した連想語は 2,926 単語であり、重複を除くと 1,655 単語であった。収集した連想語の一部を表 3 に示す。
本研究では、収集した連想語うち 2 人以上が共通して連想した単語を対象とし、これらの語を自動取得する手― 566 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

法の検討を行う。

用いて取得した関連語の積集合を求める。その結果を3-gram の出現頻度順にソートし、出現頻度上位の 3-gramに含まれる単語を関連語として出力する。

表 3 収集された連想語の例
刺激語
3人以上が共通して連想した連想語
春桜,花見,夏,入学,秋,冬,入学式,季節,花粉症
警察官 パトカー,逮捕,手錠,公務員,交番,正義,警棒,拳銃
遠足
おやつ,弁当,子供,お弁当,小学生,学校
テレビ アニメ,ドラマ,番組,ニュース,芸能人,家電,バラエティ
医者病院,白衣,手術,薬,看護師,病気,注射ラーメン 味噌,チャーシュー,塩,醤油,とんこつ
カメラ レンズ,写真,スマホ,スマートフォン,撮影,フィルムドライヤー髪,乾燥,風呂,風,家電,熱風
洗濯洗剤,洗濯機,水,服,乾燥機,洗濯板
ピアノ 楽器,音楽,鍵盤,楽譜,コンサート,習い事
交通
電車,車,道路,事故,信号機,飛行機,渋滞,自転車

３． 関連語の自動取得
３．１. 自動取得手法
・N-gram
本研究では Google N-gram[5]の 2-gram と 3-gram を使用した。処理の概要を図 1 に示す。

以上の手法により出力した関連語の例を、収集した連想語と共に表 5 に示す。
表 5 刺激語「カメラ」の連想語と関連語関連語
2-gramのみ 3-gramのみ 2-gram&3-gramword2vec
レンズ
デジタル
価格
撮影
シャッター
ファインダー
写真
好き
電話
レンズ
撮影
撮影
ライブ
映像
レンズ
フィルム
フィルム
レンズ
フィルム
レフ
フラッシュ
防犯
設置
搭載
乾板
連想語

刺激語を入力①

特定の組み合わせのN-gramを抽出②

相互情報量が閾値以下の候補語を除去③・word2vec
使用コーパスはWikipedia の全文データで、次元数200、文脈窓の大きさは 20、学習モデルは skip-gram で学習を行った。学習により獲得した単語分散表現データのうち、Wikipedia コーパス内での出現頻度上位10 万語を計算対象とし、各刺激語とのコサイン類似度を計算した。その結果得られる類似度上位の単語のうち、普通名詞、サ変接続名詞のみを出力とした。

３．２. 評価と考察
各手法において上位 5 単語に占める 2 人以上が連想した単語の割合を一致率とし、比較評価を行う。この際連想人数に偏りがあった単語や、刺激語が形態素解析により複数の形態素に分解される単語(天気予報、ラジオ体操)は除去した。評価結果を図 2 に示す。

N-gramの出現頻度が高い順に候補語をソート

関連語を出力図 1 N-gram を用いた関連語の自動取得①特定の組み合わせの N-gram を抽出
表 4 に示す組み合わせの N-gram を抽出し、Y を関連語候補とする。
表 4 抽出する N-gram の組み合わせ
関連語候補Yが普通名詞の場合関連語候補Yがサ変接続名詞の場合

2-gram
刺激語,YY,刺激語

3-gram
刺激語,X,YY,X,刺激語

刺激語,Y

刺激語,Z,Y

図 2 連想語と関連語の一致率※Xは「の,と,は,や,が」のいずれかの助詞※Zは「で,と,は,へ,が,を,の」のいずれかの助詞②相互情報量が閾値以下の候補語を除去抽出した関連語候補語のうち、刺激語との相互情報量が 3.0 以下の単語を候補語リストから除去する。
③N-gram の出現頻度が高い順に候補語をソート
N-gram の出現頻度順にソートし、出現頻度上位のN-gram に含まれる単語を関連語として出力する。
・2-gram と 3-gram の組み合わせ手法
2-gram のみを用いて取得した関連語と 3-gram のみを

・3-gram のみを用いた手法
図 2 より word2vec や 2-gram を用いた手法よりも、3-gram を用いた手法の方が人間が実際に連想する単語を多く出力できていることがわかる。表 3 で示した連想語の多くが「ピアノ、は、楽器」、「カメラ、で、撮影」といった表 4 に示した組み合わせで使用されることが3-gram を用いた手法の一致率が高かった理由として考えられる。
一方で、表 6 のように有名な映画や本のタイトルに使用されている刺激語の一致率が低くなる傾向があった。

― 567 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

このような単語は日常の文脈中で共起することは少ないが、Web 上で出現頻度が高い共起関係であったため、関連語として出力されたと考えられる。
表 6 3-gram を用いた手法において一致率の低かった
刺激語およびその連想語と関連語
砂漠
連想語
関連語
砂
月
オアシス
王女
ラクダ オアシス
乾燥
死サソリ
真ん中

鏡連想語
反射
姿見
自分
光顔

ピアノ
関連語
連想語
関連語
塔楽器
種類
女王
音楽森
法則
鍵盤ため中楽譜
音コンサート国先生※下線の単語は映画や本などのタイトルに使用されている単語

・2-gram と 3-gram の組み合わせ手法
次に一致率の高かった手法が 2-gram と 3-gram を組み合わせた手法であった。この手法は 3-gram のみを用いた手法と比較して 0.8%一致率が低かった。2-gram と3-gramを組み合わせた手法と表6の関連語の比較を表7に示す。
表 7 2-gram と 3-gram を組み合わせた手法と3-gram のみの手法の関連語比較砂漠
鏡
ピアノ
2-gram &2gram &2-gram &3-gramのみ
3-gramのみ
3-gramのみ
3-gram3-gram3-gram
月
オアシス
塔
法則
種類
練習
王女
砂
女王
池
森
発表
ヴァイオリン
オアシス
緑化
法則
挿入
ため
死遺跡
中
水面
音
演奏
先生
真ん中
横断
国観察
名曲

刺激語の場合、人間が連想する単語は修飾または被修飾の関係の単語になる傾向があることがわかる。2-gramの性質上、隣接する単語を共起語として収集するため、このような性質をもった刺激語に対して他の手法より一致率が高くなると考えられる。
・word2vec を用いた手法
N-gram を用いた手法と比べて word2vec を用いた手法の一致率が低い結果となった。先行研究[6]によりword2vec を用いた手法は、刺激語とその関連語を被験者に提示した際、被験者が連想可能であると判断する単語を多く含むことがわかっている。しかし比較評価の際に最も一致率が低い結果となった。word2vec を用いた手法
によって得られる関連語の例を表 9 に示す。
表 9 word2vec を用いた手法の関連語の例
ラーメン
消しゴム ダイヤモンド
年賀状
麺
ボールペン サファイア ダイレクトメール
焼きそば シャープペンシル
ルビー
消印
うどん
文房具
宝石
礼状
お好み焼き
色鉛筆
ゴールド
返信
チャーシュー
鉛筆
エメラルド
メール

地震
余震
津波
本震
強震
噴火

表 9 より、関連語として各刺激語のもつ性質と似た性質を持った単語が取得できていることがわかる。しかし
表 3 より、実際は人間が連想を行う際に似たような性質の単語を連想する頻度は少ないことがわかる。word2vecの手法が連想可能な単語を多く含むにも関わらず、一致率が低かったのはこの差異のためであると考えられる。

※下線の単語は映画や本などのタイトルに使用されている単語

表 7 より 2-gram と 3-gram を組み合わせることで、一般的に文脈中で共起することが少ない単語を取り除くことが出来ていることがわかる。しかし一方で、2-gramのみの手法の一致率がもともと低いこともあり、結果として不適切な語の出力を増やすこととなった。
・2-gram のみを用いた手法
2-gram のみの手法では 3-gram のみの手法と比べて助詞の指定による共起語の制限が行えないため、不適切な語が多く含まれる結果となった。しかし一部の単語では他の手法より一致率が高い結果を得られた。表 8 に一致率が高かった単語を示す。
表 8 2-gram を用いた手法において一致率が高かった
刺激語およびその連想語と関連語
テレビ
連想語
関連語
アニメ
番組
ドラマ
ゲーム番組
液晶
ニュース
ドラマ
芸能人
ケーブル

ラーメン
連想語
関連語
味噌
屋
チャーシュー
店
塩
醤油
醤油
味噌
とんこつ
塩

ケーキ
連想語
関連語
誕生日
チーズ
生クリーム
屋
スポンジ シフォン
チョコレート チョコレート

クリスマス クリスマス

まず表 8 より、修飾または被修飾の関係の単語が多い

また各手法で共通して一致率が低かった刺激語の特徴と例を表 10 に示す。
表 10 一致率の低かった刺激語の特徴と単語例
単語の特徴
抽象的な単語サ変接続名詞
類義語がある単語

単語例
春,和風
出張,留学,クレーム
警察官,墓場

抽象的な単語は多様な文脈中で出現するため、不適切な関連語も多くなったと考えられる。
サ変接続名詞は人間の連想した単語の数が、他の刺激語より少ない傾向にあった。そのため、サ変接続名詞からは連想が行いづらいと考えられる。
「警察官、警官、警察」といった類義語がある単語は、コーパス中でさまざまな表記をされるため、共起語が少なくなり、不適切な単語が増える結果になったと考えられる。
４． まとめ本研究では人間が直感的に連想する単語の自動取得手法を検討するため、まず自由連想形式で被験者から連想語を収集した。次に N-gram と word2vec を用いて関連語― 568 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

を自動取得する方法を試みて、得られた関連語を収集した連想語データと比較した。
比較評価の結果 3-gram を用いた手法により人間の直感に最も近い連想語が得られることがわかった。
今後の課題としてより複雑な句の構造を指定できる4-gram、5-gram の利用や、N-gram と word2vec の併用を試みることがあげられる。
参考文献[1] 小島一秀, 渡辺広一, 河岡司, “連想システムのための概念ベース構成法一語間の論理的関係を用いた属性拡張” 自然言語処理 Vol.11 No.3, 2004.
[2] T. Mikolov, K. Chen, G. Corrado, and J. Dean ,“ Efficient Estimation of Word Representations inVecter Space” In ICLR Workshop. 2013.
[3] Simon De Deyne, Amy Perfors, and Daniel J.Navarro,“Predicting Human Similarity Judgments withDistributional Models: The Value of Word
Associations, ” COLING, 2016.
[4] 国立国語研究所: 分類語彙表-増補改訂版, 大日本図書,
2004[5] 工藤拓,賀沢秀人著： Web 日本語 N グラム第 1 版, 言語資源協会発行, 2007
[6] 浅見一樹, 杉本徹, “雑談対話システムにおいて話題転換に用いる連想語の取得に関する研究”信学技報 Vol.117,
No.82, NLC2017-11, pp.59-64, 2017.

― 569 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.