マルチモーダル情報を利用した単語ベクトル表現の生成
Learning word vectors using multimodal information

単語ベクトルに比べて、性能が向上することを確認した。さらに、コーパスなどの言語資源が整備されていない少資源言語に対して、画像を用いた意味ベクトルによる異言語間の対訳関係の推定を行い、その利用可能性を検証した。
１．はじめに

内海 彰 (Utsumi AKIRA, Ph.D.)

単語の意味を表現する手法として、意味空間モデル

電気通信大学大学院 情報理工学研究科 教授（もしくはベクトル空間モデル）が盛んに研究されて(Professor, Department of Informatics, The University ofElectro-Communications)いる。意味空間モデルでは、コーパスと呼ばれる大量のテキストデータから、各単語の意味を多次元空間にCognitive Science Society 日 本 認 知 科 学 会 人 工 知 能 学 会
言語処理学会 情報処理学会 日本心理学会
受賞：日本認知科学会大会発表賞 (1995) 人工知能学会研究分科会賞 (2006) 日本セキュリティ・マネジメント学会論文賞 (2011)
著書：人工知能と社会：2025 年の未来予想, オーム社 (2018)（共著）
メタファー研究 1, ひつじ書房 (2018)（共編著）
研究専門分野：認知科学 自然言語処理 人工知能

おける特徴ベクトルとして表現し、単語間の意味的な類似性や関連性をそれらの単語ベクトルのコサインとして数量化する。自然言語処理の分野では、近年、深層学習やニューラルネットワークによる言語処理が主流になるにつれて、単語の意味表現としての単語ベクトルが事実上のデファクト・スタンダードになりつつ単語の意味を数量化する手法として、意味ある[1]。また、人間の認知メカニズムを解明しようと空間モデルがある。意味空間モデルでは、大量の文章する認知科学の分野でも、人間の意味記憶の計算モデ（コーパス）中の単語の共起情報を利用して、単語のルとして広く使われている[2]。

あらまし

意味を多次元ベクトルで表現する。しかし、単語の意

しかし、我々人間がこの世に生まれてから単語の意

味を言語情報だけから得るのは限界があるため、近年味を学習していくときには、言語情報だけを用いていでは、画像情報も利用したマルチモーダルな単語ベクるわけではない。特に、言語獲得がほとんど行われてトルの学習手法が研究されている。本研究では、人間いない初期に学習する単語は、視覚などから得られるが単語の意味を獲得する際のメカニズムを具現化する感覚情報を通じて学習される。よって、単語ベクトルような新たなマルチモーダル単語ベクトル生成手法をの学習において、言語情報以外の非言語情報を考慮す提案する。提案モデルによる単語間類似度と人間の評ることは認知的に妥当であり、かつ、工学的にも興味定結果の相関を求めたところ、従来のマルチモーダル深い方法である。このような背景から、図 1 に示すよ

図１

意味空間モデルによる単語の意味表現

1

TELECOM FRONTIER No.101 2018 AUTUMN

マルチモーダル情報を利用した単語ベクトル表現の生成
Learning word vectors using multimodal information

いている。

うに、非言語情報、特に、画像から得られる視覚情報

しかし、記号接地の観点から見た場合、語彙の理解を加味したマルチモーダル単語ベクトルの学習手法がや獲得は本質的に知覚的な経験を通して得られるため、近年になって提案されている[3][4]。
これらの研究においては、言語情報のみから生成さ抽象語の意味表現に関しても知覚的な情報は考慮されれた単語ベクトルに比べて、マルチモーダル単語ベクるべきである。近年の記号接地に関する研究では、抽トルの方が単語間の類似度判断などの性能が向上する

象概念の学習は具象概念を用いることで間接的に行わことが示されている。しかし、どのような単語についれるという、間接的接地の概念が提案されている[8][9]。ても有効なわけではなく、抽象語に対しては画像情報

本研究では、この間接的接地の概念を取り入れた認知を考慮することによって、その表現性能が悪化するこ的に妥当な意味空間を構築し、記号接地モデルとしてとも示されている[5]。抽象語の意味を視覚などの感覚の妥当性を検証する。

情報で表現するのが難しいことを考えると、人間の意
２.２ 方法

味記憶のモデルとして単語ベクトルを考えたときに、この現象はごく自然である。そこで、本研究では、人本研究では、2.1 節で示した間接的接地の考え方を間が抽象語の意味を学習するメカニズムをモデル化す取り入れた意味空間を提案する。意味空間構築のアルることによって、画像情報を考慮した単語ベクトルのゴリズムを以下に示す。

性能向上を図ることを第一の目的とする。

1. 文書コーパスを用いて意味空間を生成する。

2.と抽象語

一方で、画像情報は特定の言語に依存せずに言葉の意味を反映していることから、自然言語処理におけるに含まれる全単語 を具象語に分類する。
3. 画像を用いた意味空間

画像情報の応用のひとつとして、多言語の単語を同一のベクトル空間で表現する多言語意味空間への適用がる。

考えられる。言語コーパスだけから多言語意味空間を（a）具象語構築する研究は行われている[6][7]が、十分な規模の言の各単語を以下の手順で生成すに対しては、その画像情報を用いて画像特徴量ベクトル ⃗を生成する。

語コーパスが入手できないような少資源言語に対して（b）抽象語 の各単語に対しては、意味空間は、この手法を適用することができない。そこで、本よって計算された単語研究では、画像情報を用いて少資源言語の単語ベクト（意味的類似度が高い単語）からルを生成する手法を提案し、その可能性を検討するこ

語を （ <とを第二の目的とする。

クトルの重心をの上位 件の近傍単語に含まれる単）個選択し、それらの画像特徴量ベの画像ベクトルとする。

4. 各単語に対して、意味空間
２．間接的接地に基づくマルチモーダル単語にとのベクトルを連結することによって、意味空間を生成する。

ベクトルの生成上記の手順 2 の具象語と抽象語の分類には、Kiela

２.１ 背景画像情報を用いた単語ベクトルで問題となるのがet al.[5]が提案した単語の抽象度を画像から計算する抽象語の扱いである。一般的に、抽象語に関しては典手法を用いる。この手法は、抽象語は具象語に比べて型的な画像イメージが存在しないため、抽象語に関す画像の一貫性が低いという考えに基づいている。計算る画像をそのまま用いて単語の画像ベクトルを計算方法は、単語するのは適切ではない。従来の手法[3] では、具象語距離を計算し、その距離の平均を単語と抽象語 を区 別せずに画像情 報を 用い ているが、る。全単語を抽象度の降順によって並べ替え、抽象語Kiela et al.[5] はこの問題を考慮し、抽象語に関しての割合がは単語の画像ベクトルを計算しないという手法を用とする。

2の全画像ペアで画像特徴量ベクトルのの抽象度とすとなるように抽象度の高い単語を抽象語

TELECOM FRONTIER No.101 2018 AUTUMN

マルチモーダル情報を利用した単語ベクトル表現の生成
Learning word vectors using multimodal information

ルの妥当性が示されたと言える。特に、提案手法の２.３ 評価実験
英語の単語に対して評価実験を行う。言語の意味空は 0.8 や 0.95 と非常に高い。このことから、画像からは、BNC（British National Corpus）を用いた身体化が直接行われる具象語は少数であると言える。

共起頻度方式の特徴行列に対して非負相互情報量によ

しかし、その精度向上の程度は小さいため、間接的る重み付けを行い、特異値分解により 300 次元に圧縮接地の概念を十分にモデル化しているとは言い難い。

間して構築した。画像の意味空間は次元数を 300 とし、画像ベクトルを計算する元となる具象語の選択手法にSURF 特徴量を局所特徴量として用いて単語の画像ベは、修正すべき点がいろいろと残されている。例えば、クトルを計算し、非負相互情報量による重み付けを行具象語をすべて対象とするのではなく、身体を通じたった。意味空間に含まれる語彙数は、43,528 単語とな経験から直接形成される具象語を限定していく手法をった。

考える必要がある。例えば、抽象語・抽象概念の形成

意味空間の評価には Wordsim-353 と SimLex-999には、感情が大きく関与することが実験的に明らかにを用いた。これらは、人手で評定された英単語類似度なっているので[10]、感情・情緒的に類似する具象語評定データである。人手による類似度と意味空間からを選択することも、ひとつの方法として考えられるで計算された類似度の相関係数によって、意味空間の性あろう。

能を評価する。相関係数の値が高いほど、人間の意味記憶をより反映した意味空間であると言える。意味空

３．画像ベクトルを用いた少資源言語の対訳語推定間における単語どうしの類似度は、ベクトル間のコサ

３.１ 背景イン類似度によって求める。比較対象の手法としては、画像は言語や文化に依存しない共通した意味を有すテキストのみから生成された単語ベクトル、画像のみる世界共通言語であると考えられる。例えば、「りんご」から生成された単語ベクトルとともに、従来のマルチと「apple」は表層的には異なる単語であるが、両者モーダル単語ベクトルの 2 手法（単純に両方を用いるは同じ意味を示していると言える。よって、画像のベ手法[3]と抽象語に対しては画像ベクトルを用いないクトル表現間の類似度を計算することで、異なる言語手法[5]）を用いた。の単語間の意味的類似度の推定が可能である。本研究では、この画像の特徴を用いて、文書コーパスなどの言語資源が入手できないような言語、いわゆる少資源２.４ 結果評価結果を表 1 に示す。提案手法の精度（相関係数）

言語において、画像情報を用いた対訳語の推定を行う。

が、その他の手法に比べて高くなっている。特に、従具体的には、言語 A の単語集合と言語 B の単語集合が来のマルチモーダル単語ベクトル（テキスト＋画像の与えられたときに、対訳関係にある単語ペアを求める2 手法）に比べて性能が向上している。これらの結果問題を画像ベクトルを用いて解くことを考える。

から、間接的接地に基づくマルチモーダル単語ベクト
表１

間接的接地に基づく意味空間モデルによる単語間類似度データとの相関
WordSim-353

SimLex-999

テキストのみ

0.525

0.248

画像のみ

0.227

0.118

0.476

0.235のみ）[5]

0.532

0.245

意味空間モデル

テキスト＋画像（+）[3]

テキスト＋画像（抽象語は提案手法（= 0.95,= 2,= 30）

0.551

0.260

提案手法

（= 0.80,= 5,= 30）

0.535

0.278

3TELECOM FRONTIER No.101 2018 AUTUMNマルチモーダル情報を利用した単語ベクトル表現の生成
Learning word vectors using multimodal information

評価基準として、正しい対訳ペアが得られた割合を対３.２ 方法
言語 A の単語集合= { }、言語 B の単語集合=訳率として求めた。加えて、3.2 節の方法は、類似度{ }が与えられたときに、以下の方法で言語 A に対す最大の単語のみを対訳語とする厳しい条件のため、類る言語 B の対訳語を推定する。

似度上位 10 件までを対訳語とした場合の対訳率も求

1. 単語集合 の画像ベクトル空間
画像ベクトル空間と単語集合めた。のを、2.2 節で述べた方法で構
３.４ 結果築する。
2. 単語 の画像ベクトルをルを対訳率の結果を表 3 に示す。全体的に、英語との対、単語 の画像ベクトとすると、次式を満たす対訳ペア( ,訳率はあまり高くない結果となった。このような結果)をが得られた理由の一つとして、少資源言語においては、求める。

=(cos(,))

単語の意味を適切に表す画像が取得できていないことが挙げられる。実際に、上記の問題が比較的生じないと思われる日本語で同様の実験を行った場合、類似度

３.３ 評価実験
まず、Wikipedia の記事数などを参考に、表 2 に示

上位 10 件での対訳率が 0.55 となった。よって，画像

す 13 言語を少資源言語として選定した。そして、使検索の精度を上げることによって、本手法によって対用頻度と具象度を考慮して英単語 100 語を選定し、各訳語が推定できると言える。

少資源言語に対して、これらの英単語の正解の対訳語

また、本手法によって得られる対訳関係の性能が、を Google 翻訳により得た。さらに、英語と各少資源言語間の比較言語学的な近さ（語族）と関係あるかど言語の対訳語をクエリとして、Bing 画像検索を行い、うかを検討するために、クラスタ分析を行った。2 言

1 単語あたり最大で 30 枚の画像を取得した。

語間の距離を対訳関係にある単語の画像ベクトルどう
しの距離（非類似度）の平均として、Ward 法によるこれらの実験データに対して、3.2 節で述べた方法

階層的クラスタリングを行った結果を図 2 に示す。

で、各少資源言語に対する英語の対訳語を求めた。
表２
少資源言語

本研究で用いる少資源言語とそれらの言語族
語 族

語 派

ヨルバ語

ニジェール・コンゴ語族

スンダ語

オーストロネシア語族

アムハラ語

アフロ・アジア語族

マケドニア語インド・ヨーロッパ語族

スラブ語派

イディッシュ語

インド・ヨーロッパ語族

ゲルマン語派

ベンガル語

インド・ヨーロッパ語族

インド語派（東部語群）

グジャラト語インド・ヨーロッパ語族

インド語派（中央語群）

パンジャブ語インド・ヨーロッパ語族

インド語派（中央語群）

マラーティー語

インド・ヨーロッパ語族

インド語派（南部語群）

ネパール語

インド・ヨーロッパ語族

インド語派（パハール語群）

シンハラ語

インド・ヨーロッパ語族

インド語派（シンハラ・モルジブ語群）

スコットランド・ゲール語

インド・ヨーロッパ語族

ケルト語派

アイルランド語

インド・ヨーロッパ語族

ケルト語派

4

TELECOM FRONTIER No.101 2018 AUTUMN

マルチモーダル情報を利用した単語ベクトル表現の生成
Learning word vectors using multimodal information

表３

少資源言語と英語の対訳率
上位 10 件ま

少資源言語

対訳率

アイルランド語

0.00

0.16

アムハラ語

0.00

0.09

イディッシュ語

0.00

0.13

グジャラト語

0.01

0.19

シンハラ語

0.03

0.19

スコットランド・ゲール語

0.03

0.21

スンダ語

0.02

0.19

ネパール語

0.00

0.07

パンシャブ語

0.04

0.18

ベンガル語

0.02

0.20

マケドニア語

0.06

0.26

マラーティー語

0.00

0.19

ヨルバ語

0.00

0.21

平均

0.02

0.17

での対訳率

図２

画像ベクトルに基づく対訳関係から計算した類似度に基づく少資源言語のクラスタリング結果

その結果、インド・ヨーロッパ語族のうちのインド語の意味記憶や意味・概念獲得の認知機構の解明など、派に属する 6 言語は、すべて同じクラスタに属してお単語ベクトルを対象とした様々な研究に取り組んでいり、さらに、同じクラスタに分類される言語は言語族る。また、単語ベクトル技術は、スポーツ記事などのが近く、また、話される地域も近いという傾向が見ら専門的な文章の生成、小説を対象とした言語処理、会れた。このことは、対訳語どうしの表す意味の内容や話エージェントなど、多岐にわたる言語処理への応用範囲が近いほど、画像ベクトルで計算する意味が近くが可能である。今後も、引き続き単語ベクトルに注目なることを示しており、画像ベクトルによる単語の意して、これらの研究を推進していきたい。

味表現が有効であることの裏付けと考えられる。
参考文献

４．おわりに
本研究では、単語の意味を表現する手法として意味[1] Goldberg, Y., Neural Network Methods for Natural

空間モデルに注目し、画像情報を用いたマルチモーダ

Language Processing. Morgan & Claypool

ル単語ベクトルの生成手法を新たに提案して、その有Publishers (2017).

効性を確認するとともに、少資源言語の単語表現への[2] Jones, M. N., Willits, J., & Dennis, S., Models of

応用可能性を示した。単語ベクトルに関する研究は、

semantic memory. In J. R. Busemeyer, Z. Wang, J.

自然言語処理や認知科学の分野でも盛んに研究が行わ

T. Townsend, & A. Eidels (Eds.), Oxford Handbook

れており、新しい手法や知見が次々と得られている状

of Mathematical and Computational Psychology,況である。筆者の研究グループでは、本稿で紹介した

pp. 232-254, New York, NY: Oxford University

研究以外にも、名詞句や文のベクトル表現や単語の語

Press (2015).

義ごとにベクトル表現を生成する手法の開発や、人間

5

TELECOM FRONTIER No.101 2018 AUTUMN

マルチモーダル情報を利用した単語ベクトル表現の生成
Learning word vectors using multimodal information[3] Bruni, E., Tran, N. K., & Baroni, M., Multimodal
distributional semantics. Jounral of Artificial

Intelligence Research, Vol.49, pp.1-47 (2014).
[4] Silberer, C., Ferrari, V., & Lapata, M., Visually groundedmeaning representations. IEEE Transactions on Pattern

Recognition and Machine Intelligence, Vol.39,
No.11, pp.2284–2297 (2017).
[5] Kiela, D., Hill, F., Korhonen, A., & Clark, S.,
Improving multi-modal representations using
image dispersion: Why less is sometimes more.
In Proceedings of the 52nd Annual Meeting of

the Association for Computational Linguistics,
pp. 835-841 (2014).
[6] Utsumi, A., Multilingual distributional semantic
models: Toward a computational model of thebilingual mental lexicon, In Proceedings of theEuroAsianPacific Joint Conference on Cognitive
Science (EAP CogSci 2015), pp.270-275 (2015).
[7] 石渡 祥之佑，鍛冶 伸裕，吉永 直樹，豊田 正史，
喜連川 優： 文脈語間の対訳関係を用いた単語の意味ベクトルの翻訳，人工知能学会論文誌，Vol.31,No.6, AI30-A, pp.1-10 (2016).
[8] Louwerse, M. M., Symbol interdependency insymbolic and embodied cognition, Topics in

Cognitive Science, Vol.3, pp. 273-302 (2011).
[9] Thill, S., Pado, S., & Ziemke, T., On the importanceof a rich embodiment in the grounding ofconcepts: Perspectives from embodied cognitive
science and computational linguistics, Topics inCognitive Science, Vol.6, pp.545-558 (2014).
[10] Kousta, S.T., Vigliocco, G., Vinson, D. P., Andrews,M., & Del Campo, E., The representation ofabstract words: Why emotion matters. Journalof Experimental Psychology: General, Vol.140,
pp.14–34 (2011).
この研究は、平成２６年度ＳＣＡＴ研究助成の対象として採用され、平成２７～２９年度に実施されたものです。

6TELECOM FRONTIER No.101 2018 AUTUMN