言語処理学会 第24回年次大会 発表論文集 (2018年3月)

機械学習による単語概念の意味属性推定長谷川 美夏

林 良彦

小林 哲則

早稲田大学理工学術院

mika@pcl.cs.waseda.ac.jp
表現する際の次元として扱う．本データセットには各はじめに1

単語概念の規定・記述に関する豊富な情報が収録され単語が指示する概念 (単語概念) を表現する手段とているが，本研究では各単語概念における各意味属性して，その性質や特徴を表す属性1 の集合による手段がに重みを与えるために，何人の評定者がそれぞれの意

componential approach として広く知られている [1]．
属性を獲得・構造化する方法として，人による評定を収集する方法がある．このようにして収集されたデー
タは，意味属性規範 (semantic feature norms; 以下，意味属性) などと呼ばれ，人間が保持している知覚・経験に基づく意味知識を明示化したものとして様々な研究において利用されている [2–5]．しかし，人間による評定を収集して構成される意味属性データは収集コストが高いため，対象となる単語概念のカバー率が低く，単語概念に付与される意味属性の完備性も十分でないといった問題がある．これらの問題点の解決は意味属性の適用範囲の拡大につながり，例えば単語概念間の共通性・差異性を捉えるために有用である．
本論文では，McRae らにより作成された意味属性データセット (以下，McRae データセット) [6] から単語概念と意味属性の対応関係を機械学習を用いて学習する．また，これに基づき未知の単語概念に対する意味属性を推定する手法を提案し，同データセットを用いた評価実験の結果を示す．

味属性データを付与したかの頻度を利用する．

2

McRae データセットと関連研究

2.1

McRae データセット

McRae データセットは，基本レベル (basic level)に属すると考えられる 541 種類の英語単語概念に対

2.2

テキストコーパスから抽出する単語の分散表現の有用性は広く認識され，様々な意味タスクにおける有用性が確立している．しかしながら，人間が非明示的にもっている知覚や経験に基づく意味知識を取り入れた意味表現を求める動きも盛んである．とくに，画像から得られる視覚特徴を統合的に利用することで，意味的類似度・関連度のタスクで優れた推定精度が得られることが報告されている [7–10]．

McRae データセットは，このような知覚・経験情報を人間による評定によって明示的に抽出したものであるが，概念のカバー率や意味属性の完備性の問題がある．データセットでカバーされていない単語概念に対しても意味属性を推定することにより，概念のカバー率を向上させようとする代表的な研究例として，[4, 5]がある．とくに [4] は，意味属性と視覚空間の間で学習したクロスモーダルマップを用いて，テキストではなく視覚特徴から意味属性を推定する方法を提案しており，視覚特徴の有効性を示している．また [5] は，McRae データセットが人間による評定実験によって作成されたことに起因する意味属性の不完備性を指摘し，この解決の重要性を主張している．

し，700 名以上という多数の評定者が与えた総計 7,526
件の意味属性データを収集したものである．2,526 種

3類の意味属性が用いられているが，本研究ではこれらを相互に独立なものとして扱い，単語概念をベクトル
1 英語では，attribute, feature, property, component など様々な用語が使われているのが現状である．

関連研究

機械学習による意味属性推定
前述のように，本研究においては単語概念の意味は意味属性の集合によって表される．よって，単語概念の意味属性の推定は，ある形式で表現された単語を，その単語を表現する意味属性の集合へとマッピングす― 1088 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

る過程とみなすことができる．本研究では，各種の手3.2法により求められたベクトル x により単語を表現し，McRae データセットにおける意味属性に対する重みを各次元として持つベクトル y により意味属性の集合意味属性集合の表現

意味属性ベクトルの各次元は対応する意味属性の重みを表す．以下の 2 つの手法による重みを比較する．

を表現する．また，マッピング y = f (x) の手法とし• features: McRae データセットにおいて，30 人て，統計的回帰手法とニューラルネットを比較する．の被験者のうち何人がその feature をラベル付けしたかの頻度により重みを与える．

3.1

単語概念の表現• weighted features: 対象の単語概念について他の単語概念と比較したとき特徴的となる意味属性

単語が指示する概念の意味特徴は，一義的には言語に大きな重みを与えるために，単語概念における意産出の結果であるコーパスから抽出することが可能で味属性の頻度をその意味属性の全単語概念におけある．また，その知覚的な側面に関する特徴は，単語る割合に乗じた結果を用いる．例えば，’apple’ に概念と対応付けられた画像データから抽出することがおける意味属性 ’is red’ の頻度は 26，この意味属性期待できる．そこで，以下の特徴量を比較する．の頻度合計は 382 であるため，weighted features• Ling EMBED: 単語概念がもつ一般的な意味

26における重みは，26 × 382= 1.76 となる．

特徴が反映されていることを期待する特徴量．

Word2Vec の CBOW モデルにより Google News
コーパス (3 億単語) から学習された語彙数 300

3.3

万語の 300 次元の分散表現ベクトル2 ．

マッピング手法

以下の回帰手法，ニューラルネットワークを用いる• Ling TFIDF: とくに単語概念の意味属性に関す手法を比較する．

る特徴が反映されていることを期待する特徴量．

• PLSR: 先行研究 [4] との比較を行うため，部分最小二乗回帰 (partial least square regression) 法

ある単語に対する WordNet における定義文 (複数語義をもつ場合はこれらを連結) と，この単語を用いる．ハイパーパラメータである潜在変数のを見出しに持つ Wikipedia 記事の要約文を連結

次元数は 50 とした．

したものを文書とみなし，WordNet に収録され• ReLU: 1 層のネットワークで線形変換 y = W ·ている名詞 65,488 語に対して構成した文書集合
から，各文書における要素単語に対して産出した

x + b を行う．式 1 の Leaky ReLU (a=0.2) を活

TF/IDF 値を要素とするベクトルにより，各単語性化関数として用いる．損失関数は式 2 の最小二乗誤差を用いる．
{xf=0.2xに表現を与えた．以下に述べる実験では，10,027単語を要素として用いたので，ベクトルの次元数は 10,027 である．

• Vis CNN: 単語概念がもつ一般的な知覚的 (視Loss = min

覚的) 特徴が反映されていることを期待する特徴

2(yi − yˆi )(2)

MLP によりネットワークを構成する．活性化関の GoogLeNet モデル3 を用いて特徴量を抽出し，数，損失関数は上記 ReLU と同様である．

次元ごとに平均を取った 1,024 次元のベクトル．

• Vis CNN+RGB: 色に関する意味属性が多く現ベクトル．

n∑• MLP (Multi Layer Perceptron): 3 層の上位 10 件の画像について，ImageNet で学習済み

元の RGB ヒストグラムを連結した 1,792 次元の(1)(x <= 0)t=1

量．各単語をクエリとする Bing 画像検索によるれることを想定し，Vis CNN の特徴量に 768 次(x > 0)

4

実験

4.1

実験設定

図 1 に示す過程で，推定された意味属性ベクトルが当該の単語の意味表現として適切であるかを評価する．このために，単語概念の表現 (4 種類を比較) を入

2 https://github.com/mmihaltz/

word2vec-GoogleNews-vectors
3 https://github.com/BVLC/caffe/tree/master/models/bvlc\_googlenet

力とし，2,526 次元の意味属性ベクトルを出力として求め，McRae データセットから求めた意味属性ベク― 1089 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 各入力特徴量からの推定した意味属性ベクトルの評価

PLSR

ReLU

MLP

RANDOM
Ling EMBED
Ling TFIDF
Vis CNNVis CNN+RGB
Fagarasan et al. [4]Ling EMBED
Ling TFIDF
Vis CNNVis CNN+RGB
Ling EMBED
Ling TFIDF
Vis CNNVis CNN+RGB

P@1
0.17
2.76
0.36
0.69
1.39
2.90
2.39
1.98
0.81
0.22
2.83
1.38
0.52
1.19

features
P@5
P@10
0.97
1.88
18.66
36.27
6.74
13.4
9.54
18.33
7.66
16.39
13.04
24.64
23.44
39.87
15.14
26.05
11.48
20.3
4.37
10.0
26.34
45.39
27.97
43.05
10.81
19.19
9.93
19.11

P@203.70
54.41
25.36
30.19
28.38
49.28
58.32
41.08
31.63
18.44
62.35
58.68
29.78
31.04

P@1
0.17
0.0
0.0
0.0
0.0
0.0
0.58
0.0
0.0
0.0
0.0
0.0
0.0

weighted features
P@5
P@10
P@20
0.97
1.88
3.70
1.2
4.33
9.41
1.64
4.53
8.65
0.58
1.06
2.7
0.22
0.88
2.1
4.84
10.94
17.72
8.31
14.88
22.04
0.44
1.48
3.33
1.33
2.81
6.89
2.97
6.4
15.1
6.73
11.52
22.91
0.81
1.48
3.19
0.44
1.19
3.63

トル (以下，正解意味属性ベクトル) とのコサイン類ど) が推定されやすい傾向にある．従って，近傍単語似度により近傍単語のランキングを導出する (図中のの探索の精度が良い．

cosine similarity の箱)．このとき，上位 k 件における一 方 ，weighted features に よ る 意 味 属 性 ベ ク ト

精度 P@k を評価指標として用いる．実験では，541

ルは他の概念との差異を捉える固有な意味属性

概念について 4 分割交差検定 (学習 406 概念，テストの 推 定 を 目 的 と し て い る ．例 え ば 表 2 を 見 る と3135 概念) を行った．

ReLU(Ling TFIDF) → weighted features の結果では’apple’，’banana’ は共に推定結果に’is purple’ が現れてしまっている．これは，学習データに含まれていた’grape’，’plum’ の影響を強く受けているといえる．
表 2 において*が付いている意味属性は，McRae デー
タセットには含まれていない結果であるが，これらには必ずしも不適切とはいえないものが含まれる．例えば，’dove’ の推定結果として lives in cities*, lives in

図 1: 意味属性推定プロセス図

4.2

parks*, beh - coos*などがあり．これらは’dove’ を特徴付ける属性とみなすことができる．以上から，

実験結果

weighted features による意味属性ベクトルは概念を

表 1 に各入力特徴量を用いた場合の P@k の結果を示す．提案手法は P@1 (features) 以外の結果において比較対象の先行研究 [4] を上回る精度を示した．な
お [4] では，Wikipedia コーパスのうち頻度が上位の 1特徴付ける意味属性を抽出する上では有用である可能性がある．

4.4

意味属性の補完可能性

万単語についての共起行列を PPMI と SVD で 300 次以上の結果から示唆されることは，McRae データ元に圧縮した言語ベクトルを PLSR を用いて featuresセットにおける意味属性の不完備性 [5] であるが，人による意味属性ベクトルを求めている．features によ手による評定によるリソースである限りこの問題は避る意味属性ベクトルは，Ling EMBED に MLP を用けられない．しかし，提案手法のような機械的な手段いたときが最も推定精度が良く，weighted features にによって自動的な補完できれば，意味属性データの利よるベクトルは Ling TFIDF に ReLU を用いたとき用範囲の拡大につながる．
そこで，推定された意味属性のなかにどの程度，適に最も良い推定精度が得られた．

切と考えられる意味属性が含まれるかの調査を本論文共通性と差異性を捉える意味属性の筆頭著者が行った．ランダムにサンプルした 100 単

表 2 に示すように，features による意味属性ベクト語概念に対して，それぞれ上位 10 件にランクされた

ルは，上位概念に関する意味属性 (a fruit, a bird，な意味属性の総計 1,000 件から McRae データセットに4.3

3 [4] の実験設定に合わせた．[5] では，one leave out による交差検定が行われている．

含まれる 155 件を除いた 845 件に対して，意味属性が適切:y，場合によっては適切:s，不適切:n の 3 段階

― 1090 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 推定された意味属性 (上位 5 件)
apple
bananadove
sparrow
skirt
shirt

MLP(Ling EMBED) → featuresa fruit, is red
tastes sweet, is round, has seeds
a fruit, is green
tastes sweet*, is small*, is ediblea bird, is green*beh - flies, has feathers, found in bathrooms*
a bird, beh - flies
has feathers, has wings, has a beakworn by women, is longclothing, made of material, made of silk*
clothing, diﬀerent colours
worn for warmth, is long*, made of wool*

ReLU(Ling TFIDF) → weighted features
is purple*, has a pit*
eaten in pies, a fruit, has seeds
is purple*, a fruit
has seeds*, has a pit*, tastes sweet*
lives in cities*, lives in parks*
beh - coos*, beh - produces manure*, has 2 feet*
has a long beak*, beh - puts holes in trees*
has a strong beak*, a bird, found in cartoons*worn for weddings*, is feminine*
is formal*, worn by girls*, diﬀerent styles*eg - a pull-over*, has sleeves
made of wool*, worn for winter*, a shirt*

表 3: 最近傍単語 (上位 5 件)
apple
bananadove
sparrow
skirt
shirt

MLP(Ling EMBED) → featurescherry, apple, tomato, strawberry, plum
pear, apple, plum, pineapple, avocado
partridge, sparrow, pheasant, nightingale, blackbird
starling, finch, sparrow, blackbird, chickadee
gown, dress, skirt, blouse, camisole
sweater, coat, shawl, shirt, jacket

で評定を行った．その結果，y のみを正解と考える場
合 178 件 (21.1%)，y+s を正解と考える場合 259 件(30.7%) が適切であるという結果を得た．現状での適切な意味属性の含有率は低いが，今後，フィルタリン
グ・選出手法を検討する価値はあるものと考える．

5ReLU(Ling TFIDF) → weighted featurescherry, eggplant, plum, strawberry, tangerine
pineapple, tangerine, eggplant, cherry, nectarine
pigeon, blackbird, nightingale, pheasant, raven
woodpecker, pigeon, blackbird, bat (animal), nightingale
dress, veil, gown, sweater, blouse
sweater, blouse, coat, scarf, swimsuit

参考文献[1] M.L. Murphy. Lexical Meaning. Cambridge Textbooks
in Linguistics. Cambridge University Press, 2010.
[2] Carina Silberer, Vittorio Ferrari, and Mirella Lapata.
Models of Semantic Representation with Visual Attributes. Assoc. Comput. Linguist., pp. 572–582, 2013.
[3] 林良彦. Web 画像による語義・概念の視覚的な提示に関する検討. 人工知能学会第 5 回インタラクティブ情報アクセスと可視化マイニング研究会, pp. 19–26, 2013.

おわりに人手により評定された意味属性には人間の持つ非明示的な意味知識が含まれ利用価値が高いが，これを自動的に獲得することは挑戦的な課題である．本論文では，ベクトルで表される単語特徴量を入力とし，意味属性のベクトル表現を出力とする機械学習手段により単語概念の意味属性を推定する手法を提案し，評価実験により，提案手法が既存研究と同等以上の精度を持つことを示した．また，データセットには含まれていないが妥当と考えられる単語概念の意味属性を一定の精度で推定できることを示した．実際に有効な意味属性を選出するためには，単語概念の共起の偏りを利用することが有効であると考え，現在，検討を進めている．未知の概念について概念間の差異を特徴付ける意
味属性を機械学習を用いて推定するのは困難であり，概念間の差異を得るには既存の知識リソースの活用が必要であると考えられる．

謝辞
本研究は JSPS 科研費 (17H01831) の助成を受けた．

[4] Luana Fagarasan, Eva Maria Vecchi, and Stephen Clark.
From distributional semantics to feature norms : grounding semantic models in human perceptual data. Proc.
11th Int. Conf. Comput. Semant. London, UK, April 1517 2015, pp. 52–57, 2015.
[5] Luana Bulat, Douwe Kiela, and Stephen Clark. Visionand Feature Norms : Improving automatic feature normlearning through cross-modal maps. Proc. NAACL-HLT
2016, pp. 579–588, 2016.
[6] Ken McRae, George S Cree, Mark S Seidenberg, andChris McNorgan. Semantic feature production norms fora large set of living and nonliving things. Behav. Res.
Methods, Vol. 37, No. 4, pp. 547–559, 2005.
[7] Elia Bruni, Daniel Gatica-perez, Nam Khanh Tran, andMarco Baroni. Multimodal distributional semantics. J.
Artif. Intell. Res., Vol. 49, No. December, pp. 1–47, 2014.
[8] Carina Silberer and Mirella Lapata. Learning Grounded
Meaning Representations with Autoencoders. Proc. 52ndAnnu. Meet. Assoc. Comput. Linguist. (Volume 1 Long
Pap., pp. 721–732, 2014.
[9] Angeliki Lazaridou, The Pham Nghia, and Marco Baroni. Combining Language and Vision with a Multimodal
Skip-gram Model. NAACL 2015, pp. 153–163, 2015.
[10] Mika Hasegawa, Tetsunori Kobayashi, and YoshihikoHayashi. Incorporating visual features into word embeddings : A bimodal autoencoder-based approach.
IWCS2017, 2017.

― 1091 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.