言語処理学会 第26回年次大会 発表論文集 (2020年3月)

視覚特徴と言語特徴を用いた単語の心像性推定の検討
松平 茅隼 †
平山 高嗣 †

カストナー マークアウレル †道満 恵介 † ‡井手 一郎 †
出口 大輔 †

川西 康友 †
村瀬 洋 †† 名古屋大学 ‡ 中京大学
{matsuhirac, kastnerm}@murase.is.i.nagoya-u.ac.jp{ide, kawanishi, murase}@i.nagoya-u.ac.jp{takatsugu.hirayama, ddeguchi}@nagoya-u.jp
kdoman@sist.chukyo-u.ac.jp

1

はじめに画像データの関連性を仮定し，SNS 上の画像データのマイニングにより視覚特徴のみを用いて心像性を推定

心理言語学の分野において，Paivio らにより単語のした．

「心像性」が定義されている [1] ．心像性とは，単語の一方，Ljubešić らは大規模なコーパスで事前学習をイメージしやすさを表す指標である．例えば，「犬」やした fastText [4] による単語の分散表現を使用し，言「車」などイメージが湧きやすい単語の心像性は高く，語特徴のみを用いて単語の心像性及び具象性を推定し「平和」や「知識」などイメージが湧きにくい単語のた [5] ．

心像性は低くなる．このような心像性の応用例として，画像とそのキャプションの関係の定量的分析 [2] などが挙げられる．

単語の心像性推定手法

3

一般に心像性は被験者実験を通じて定量化されるが，本節では，視覚特徴と言語特徴を用いた単語の心像未知語を含む任意の単語に対応するためには，心像性を推定する手法が必要となる．そこで本研究では，単語に関する視覚的な特徴と言語的な特徴を手がかりにして心像性を推定する手法を提案する．ここでは，視覚的な特徴として画像から抽出する特徴を，言語的な特徴としてテキストデータから抽出するテキスト特徴性推定手法を提案する．図 1 に示すように，処理手順として，まず単語に関連する画像データ及びテキス
ト・発音データから視覚特徴と言語特徴をそれぞれ抽出し，次にそれらを統合し，最後に回帰モデルにより心像性を推定する．

及び単語の発音に着目した発音特徴を考える．
以降，2 節で関連研究を紹介し，3 節で心像性の自動推定手法を提案する．次に 4 節では，提案手法の評
価実験を行う．最後に 5 節で本発表をむすび，今後の課題について述べる．

2

関連研究

Paivio ら は ，具 象 性（concreteness）や 有 意 性（meaningfulness）と共に，単語の心像性（imageability）を定義した [1] ．心像性とは，単語のイメージしやすさを表す指標である．
1 節で述べた問題意識に基づいて，Kastner ら はSNS 上の画像データを用いて単語の心像性を推定する手法を提案した [3] ．彼らは単語の心像性と SNS 上の3.1

視覚特徴の抽出

Kastner らの手法 [3] を踏襲して，視覚特徴の抽出には SNS 上の画像データを利用する．まず SNS 上の画像付き投稿データに付随するタグなどを手がかりにして，1 単語につき画像を 5,000 枚収集する．そして，各画像について画像特徴を抽出する．この際，低レベルの特徴量（HSV 色ヒストグラム，GIST 特徴量 [6] ，SURF 特徴量 [7] ）と高レベルの特徴量（画像コンセプト・画像内容・画像構成）を採用する．なお，高レベルの特徴量のうち，画像コンセプトはデータセットに付随するラベルに従い，画像内容と画像構
成は YOLO9000 [8] を用いて抽出する．このようにして得られる 6 種類の視覚特徴それぞれについて，画像― 45 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 1: 提案手法の処理手順間における類似度行列を求め，その固有値の上位 30個を並べて特徴ベクトルを作成する．最後に，各レベルの特徴量ごとのこの特徴ベクトルを結合したものをそれぞれ低レベルの視覚特徴，高レベルの視覚特徴とする．

3.2

言語特徴の抽出
図 2: 発音特徴の抽出手順

言語特徴として，テキスト特徴と発音特徴の 2 種類を考える．
テキスト特徴には，大規模なコーパスで事前学習を行った fastText [4] により得られる単語の分散表現を利用する．ここで，単語の分散表現は，その単語の文章中での位置取りや共起語などの情報を含んでいるとせた LSTM モデルの中間層の出力を発音特徴とする．
発音特徴の抽出手順を図 2 に示す．なお，入力はデータセット中に現れる母音・子音・第 1 ストレス記号に限定し，他の記号は無視した．

考えられる．そこで本研究では，テキスト特徴として

fastText により得られる分散表現をそのまま使用する．

3.3

次に，発音特徴の抽出について説明する．本研究では単語の発音を表現する手段として，国際音声学会が制定する国際音声記号（IPA）1 を用いた単語の発音記号表記を使用する．
本研究では word2vec [9] と LSTM [10] を用いて発音特徴を抽出する．具体的には，word2vec 及び LSTM
モデルにおいて，入力される文章と単語を，単語と音特徴の統合と心像性の推定

上記手順により抽出した低レベルの視覚特徴，高レベルの視覚特徴，テキスト特徴，pron2vec による発音特徴の各々に対して，まず主成分分析（PCA）を適用し，同次元のベクトルに次元圧縮する．その後，それらのベクトルを結合し，ランダムフォレストにより回帰することで，心像性を推定する．

素に置き換えることでこれら（以降 pron2vec）を事前学習させる．ここで LSTM モデルの事前学習の真値には心像性を使用する．このようにして事前学習さ
1 http://www.internationalphoneticassociation.org/content/ipa-chart/

4

評価実験
提案手法により推定した英単語に対する心像性の評価実験を行なった．

― 46 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

データセット

4.1

表 1: 提案手法による心像性推定結果．可読性を考慮

本実験では回帰モデルの学習に使用する心像性デー
タセット，画像データセット，発音データセット，発し，心像性の範囲を [0,100] に変換して算出した．
使用した特徴量
MAE 相関係数

音特徴における pron2vec の事前学習に使用する心像

Kastner らの手法 [3]

10.14

0.63

性データセットの 4 種類のデータセットを使用した．

視覚特徴

10.51

0.60

心像性のデータセットには Cortese らによるもテキスト特徴8.75

0.75の [11] と Reilly らによるもの [12] を併用した．こ発音特徴

13.55

0.29

れらは共に [1,7] の範囲の Likert 尺度で被験者による提案手法（全特徴）

8.58

0.76

評定値を平均したものを単語の心像性としている．また，画像データセットには，画像共有サービス Flickr2に投稿された約 1 億枚の画像及び動画データにより構

さらに，Kastner ら [3] の手法と比較して，提案手成される YFCC100M データセット [13] を使用した．

法では MAE が約 17 ％低下，相関係数が約 22 ％向上

発音データセットの作成には，Macmillan Dictio-することを確認した．一方で，提案手法において視覚3nary を利用した．ここでは発音記法を統一するため特徴のみを使用した場合，Kastner らの手法と比較しに，米国式の発音のみを採用し，第 1 ストレス記号がて推定精度が低下することも確認した．これは提案手付与されていない 1 音節の単語に対しては，発音の先法における特徴次元圧縮が原因であると考えられる．

頭に第 1 ストレス記号を付与した．

提案手法では低レベルの視覚特徴と高レベルの視覚特pron2vec の事前学習には，回帰モデルの学習に使徴が同次元になるように特徴次元圧縮する．しかし，用したものと同一の心像性データセットを使用した．

実際は低レベルの視覚特徴に対する最適な次元数と，高レベルの視覚特徴に対する最適な次元数が異なる可4.2

能性がある．そのため特徴次元圧縮手法の改良が必要

実験概要であると言える．

4.1 節のデータセットを用いて，587 語の英単語に最後に，いずれか 1 つの特徴を使用した比較手法及対する心像性を推定した．視覚特徴としては低レベル

び全特徴を使用した提案手法について，評価用データの視覚特徴と高レベルの視覚特徴を併用した．テキスの全単語に対する各手法の推定値，及び推定値に基づト特徴として使用する事前学習済みの分散表現とし

く最小 2 乗回帰の結果を図 3 に示す．全特徴を使用して，Facebook 社から公開されている fastText を使用た提案手法による推定値が，テキスト特徴のみを用いした．

た比較手法による推定値と類似する傾向が確認された．

4

比較手法として，画像（視覚特徴）のみを用いたKastner らの手法 [3] ，そして提案手法で用いる視覚特徴，言語特徴のうち一つの特徴のみを用いた手法を5使用した．

おわりに
本発表では，視覚特徴と言語特徴を用いて単語の心4.3像性を推定する手法を提案し，評価実験により推定し実験結果た心像性の妥当性を確認した．

提案手法に対する評価実験の結果を表 1 に示す．視今後の課題として，特徴次元圧縮手法の改良，特徴覚特徴・テキスト特徴・発音特徴を全て使用した提案

量の追加，発音特徴における pron2vec の事前学習の手法において MAE が最小かつ相関係数が最大となり，改良などが挙げられる．

精度が最も高い結果となった．これより，視覚特徴，テキスト特徴，発音特徴がそれぞれ異なる性質の情報を含んでいることが示唆された．

謝辞

2 https://www.flickr.com/
3 https://www.macmillandictionary.com/
4 https://fasttext.cc/docs/en/pretrained-vectors.

本研究の一部は，科学研究費補助金及び国立情報学研究所との共同研究による．

html― 47 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.



ity of words within and across languages via

of the Assoc. for Comput. Linguist., pp. 217–

word embeddings. In Proc. 56th Annual Meeting
222, July 2018.

৺૾ੑ[6] Matthijs Douze,

Schmid.

Harsimrat

Evaluation of GIST descriptors forWeb-scale image search.

ਅ஋ࢹ֮ಛ௃ςΩετಛ௃ൃԻಛ௃શಛ௃ʢఏҊख๏ʣ

In Proc. ACM Int.

Conf. on Image and Video Retrieval 2009, pp.
19:1–19:8, July 2009.
[7] Herbert Bay, Andreas Ess, Tinne Tuytelaars,
and Luc Van Gool. Speeded-up robust features

TPNFUIJOHSFWJFXSBOEPNBCTUSBDU
EJTUSJDUIPVSDPNQBOZ
CFMPX
FYQMPSF
GVOOZ
TPMP
DSFX
DBTF
QMBUF
TQBDF
SVTU
GPSU
ZBSE
QPPM
XFBUIFSDPBTUESFTTIBSCPS
GMBH
DZDMF
USVDL
FNBJM
QVQQZ
LJUUZ
EBVHIUFS

Hervé Jégou,

Sandhawalia, Laurent Amsaleg, and Cordelia(SURF). Comput. Vis. Image Underst., Vol.
110, No. 3, pp. 346–359, June 2008.

୯‫ޠ‬[8] Joseph Redmon and Ali Farhadi. YOLO9000:
Better, faster, stronger. In Proc. 2017 IEEE

図 3: 使用特徴による推定値．[0,100] の範囲の心像性

Conf. on Comput. Vision and Pattern Recogn.,の推定値を [1,7] の Likert 尺度の範囲に変換した．

pp. 6517–6525, July 2017.

参考文献[9] Tomas Mikolov, Ilya Sutskever, Kai Chen,Greg S Corrado, and Jeﬀ Dean. Distributed[1] Allan Paivio, John C. Yuille, and Stephen A.

representations of words and phrases and theirMadigan. Concreteness, imagery, and meaning-compositionality. In Proc. 26th Int. Conf. on

fulness values for 925 nouns. J. Exp. Psychol.,

Neural Information Processing Systems, Vol. 2,Vol. 76, No. 1, pp. 1–25, Jan. 1968.

pp. 3111–3119, Dec. 2013.

[2] Mingda Zhang, Rebecca Hwa, and Adriana Kovashka. Equal but not the same: Understanding[10] Sepp Hochreiter and Jürgen Schmidhuber. Long
short-term memory. Neural Comput., Vol. 9, pp.

the implicit relationship between persuasive im-1735–1780, Dec. 1997.

ages and text. In Proc. 2018 British Machine[11] Michael J. Cortese and April Fugett. Imageabil-Vision Conf., No. 8, 14p., Sept. 2018.

ity ratings for 3,000 monosyllabic words. Beh.

[3] Marc A. Kastner, Ichiro Ide, Frank Nack, Yasu-Res. Methods Instrum. Comput., Vol. 36, No. 3,

tomo Kawanishi, Takatsugu Hirayama, Daisuke

pp. 384–387, Aug. 2004.

Deguchi, and Hiroshi Murase. Estimating theimageability of words by mining visual charac-[12] Jamie Reilly and Jacob Kean.

Formal dis-tinctiveness of high-and low-imageability nouns:
Analyses and theoretical implications. Cogn.

teristics from crawled image data. Multimed.
Tools Appl., 2020. Accepted for publication.

Sci., Vol. 31, No. 1, pp. 157–168, Feb. 2007.

[4] Piotr Bojanowski, Edouard Grave, Armand
Joulin, and Tomas Mikolov. Enriching word vectors with subword information. Trans. Assoc.

[13] Bart Thomee, David A Shamma, Gerald

Comput. Linguist., Vol. 5, pp. 135–146, Juneglas Poland, Damian Borth, and Li-Jia Li.

2017.

YFCC100M: The new data in multimedia re-[5] Nikola Ljubešić, Darja Fišer, and Anita PetiStantić. Predicting concreteness and imageabil-― 48 ―Friedland, Benjamin Elizalde, Karl Ni, Dou-search. Comm. ACM, Vol. 59, No. 2, pp. 64–73,Feb. 2016.

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.