言語処理学会 第25回年次大会 発表論文集 (2019年3月)

画像認識器の物体ラベルを活用した単語の特徴表現
村岡雅康
mmuraoka@jp.ibm.com

那須川哲哉
nasukawa@jp.ibm.com

日本アイ・ビー・エム株式会社 東京基礎研究所

1 はじめに一種である」の形で表現できる．この時，Y は X の上

自然言語処理で画像情報を利用する取り組みにおいては，これまで，畳み込みニューラルネットワーク(CNN) の中間層がよく利用されてきた．画像処理分野において高精度かつ多種多様な物体の認識が可能となり，その技術を画像認識サービスとして提供する企業やベンダーが増えてきている中，そのサービスで提供される結果をそのまま単語の特徴表現に使用することができれば，画像処理分野の進化を自然言語処理に取り込むことが容易になる．そこで本稿では，画像認識サービスから得られる物体ラベルを，単語の特徴表現として使用した場合の有用性について調査する．

位概念であるという．LE の認識は文間の含意関係認
識 [2, 4] や，オントロジーの自動構築 [11, 18]，メタ
ファー検出 [10] に必要となる重要な技術の一つである．評価実験では，次の 2 種類の能力を評価する：2つの単語が与えられた時，(1) それらが LE 関係にあるかどうかを検出する能力 (LE 検出能力)，および，(2)LE 関係にある場合，どちらが上位概念かを特定する能力 (向き識別能力) である．

2 関連研究2.1

DIH に基づく手法

画像認識サービスの特長の一つとして，認識できる

Rimell[14] および Santus ら [16] は，下位概念が出現物体の種類数が，既存の CNN よりはるかに多いことする文脈は，上位概念が出現する文脈より情報量があるが挙げられる．一例として，IBM が提供している IBMという仮説 (Distributional Informativeness Hypothesis,

1

Watson Visual Recognition (以降，Watson VR と呼称)

DIH) を立てた．この仮説に基づき，Santus ら [16] は単のユニークな物体ラベルの種類は，2018 年 9 月時点

語の特徴表現を，その語と共起しやすい単語群によっで 1 万 3 千種類を超えていた．これに対し，既存のて構築した．本研究では，単語と共起しやすい単語のCNN モデルで予測できる物体数は高々1000 クラスで代わりに，ある単語に関連する画像に現れる物体2 をある．これは，既存のモデルが，ILSVRC[15] と呼ば用いることで，DIH に基づく手法を提案する．

れる画像認識タスク用に開発されたデータセットを用いて学習されていることに由来する．既存のモデルを2.2 画像特徴量を用いた単語の特徴表現使えば，任意の層から特徴量を取り出すことが可能だ

Kiela ら [8] は，学習済み CNN から得られた画像のが，画像認識サービスが提供するのは，基本的に物体特徴量を用いて単語の特徴表現を構築した．具体的にラベルとその確信度，すなわち，CNN モデルに対応は，画像検索エンジンを用いて単語に関連する画像をする最終層のみである．これまで，CNN の中間層が他取得し，それらに画像認識用 CNN[7] を適用することのタスクで有益であると経験的に示されてきたため，で画像の特徴量を得る．また，上位–下位概念の向き最終層は捨てられてきた [5, 8, 19]．しかし，最終層もの識別を行うために，Deselaers および Ferrari[3] が示他のタスクに活用できることが示せた場合，そのようした，“上位概念に関連する画像のばらつきは，下位なサービスの研究としての利用価値が今後さらに高ま概念に関連する画像のばらつきよりも大きい” というるだろう．

性質も用いている．これは直感的には，図 1 に示すよ

本稿では，画像認識器の出力である物体ラベルをうに，「animal」という語を画像検索すると，種類の異用いて構築した単語の特徴表現を Lexical Entailmentなる動物の画像が取得されるのに対して，その下位概(LE) タスクによって評価する．LE とは 2 つの概念間念である「tiger」の画像検索結果はほぼ全てトラの画「X は Y のに上位–下位の関係が成り立つ場合を指し，像になっていることから理解できる．

1 https://www.ibm.com/watson/services/visual-recognition/

2 正確には，画像認識サービスによって認識された物体ラベル．

― 268 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

Frequency

50403020100(a) 「animal」の画像検索結果(a) animal (ラベルの種類数: 175)
Frequency

50403020100(b) 「carnivore」の画像検索結果
Frequency(b) carnivore (ラベルの種類数: 145)
50403020100(c) 「tiger」の画像検索結果(c) tiger (ラベルの種類数: 28)

図 1: Google 画像検索エンジンの検索結果．

図 2: 物体ラベルのヒストグラム (降順)．
た平均情報量 [16, 17] を用いる：

3 提案手法Lent(⃗v ) = −ΣNi=1 p(vi ) log2 p(vi ).

3.1 物体ラベルを用いた単語の特徴表現
まず，単語に関連する画像を，Kiela ら [8] と同様に，Google 画像検索3 を使用して取得する．ここで，1 単語あたりの取得画像数を l とする．本稿では，l = 50 とした．図 1 に画像検索結果例を示す．animal，carnivore，tiger の順に画像中の物体のばらつきが小さくなってい(1)

ただし，vi は ⃗v の i 番目の要素であり，p(vi ) = vi /Σj ⃗vjである．
比較のために，画像の特徴量を用いて構築した単語の特徴表現とともに使用された [8]，以下の 2 種類の関数も実験において検証する．

確信度を得る．図 2 は，図 1 の結果に Watson VR を2
Σi<j≤l {1 − cos(⃗vi , v⃗j )},(2)l(l − 1)
1cc(V ) = Σl1 {1 − cos(⃗vi , µ⃗ )}.
(3)
lv⃗i , v⃗j はそれぞれ V の i, j 番目の行ベクトルであり，適用した結果の物体ラベルヒストグラムである．ラベµ⃗ = Σi v⃗i /l は V の重心である．

ca(V ) =ることが確認できる．
続いて，得られた各画像に対して，Watson VR を適用し，m = 10 個の物体ラベルとそれぞれのラベルのルは頻度の高い順に列挙している．図から，より意味の広い語ほど long-tail となっており，ラベルの種類数3.3が多いことがわかる．

LE 検出と向き識別

2 つの単語 x, y が与えられた時，それらが LE の以上の処理から，各単語に lm 個の物体ラベルが付関係にあることを検出する関数を det(x, y) で表し，与される．データ全体のラベルの異なり数を NL とす

det(x, y) ≥ αdet の時，x, y は上位–下位の関係にあると，単語の特徴表現は l × NL 次元の行列 V ，もしくるとする．αdet は閾値である．関数 det(x, y) として，は，集約した NL 次元のベクトル ⃗v で表される．表現

本研究では，コサイン類似度 (cos) と KL ダイバージェ

形式は，次節で述べる意味的広さを求める関数によっンスに対称性を持たせた JS ダイバージェンス (js)[9]て使い分ける．また，集約方法については，列ごとの，を用いる．Kiela ら [8] はコサイン類似度を使用してい平均 (avg)，最大値 (max)，平均と分散の結合 (st)[5] のるが，これは数値の大きな共通要素があると類似度も3 種類を試し，実験において最適な集約方法を求める．

高くなってしまうため，ベクトル全体が似ているとき3.2 意味的広さの定量化に類似度が高くなる JS ダイバージェンスも試す．
また，x と y のどちらが上位概念であるかを識別す

LE タスクを解く上で単語の意味の広さを定量化する関数 dir(x, y) は以下で表される [8, 16]．

る必要がある．本研究では，DIH に基づいて提案されdir(x, y) = 1 −3 https://images.google.com/― 269 ―f (⃗vx ).
f (⃗vy )(4)

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1: LE タスクにおける正解率 (%)．カッコ内は交差検定時の標準偏差を表し，最適パラメータは意味的広さ，特徴表現の値，集約方法，LE 検出関数の順に列挙．
データセット手法
提案手法
CNN(中間層)[8]CNN(最終層)[8]DIH モデル [16]単語埋め込み [1]BLESS(向き識別)
正解率 最適パラメータ93.49
ent, score, avg
91.17
ent, freq, max
88.56
cc, score, st54.97
ent, score
65.59
ent, score

WBLESS(LE 検出)
正解率
最適パラメータ
56.10 (0.04) ent, score, avg, cos
57.33 (0.04) ent, freq, max, cos
54.19 (0.04)
cc, score, avg, cos
52.62 (0.03)
ent, score, cos
50.76 (0.02)
ent, score, cos

BIBLESS(LE 検出&向き識別)
正解率
最適パラメータ
60.85 (0.03)
ent, score, avg, js
60.61 (0.03) ent, freq, max, cos
57.97 (0.03) ent, freq, max, cos
48.11 (0.02)
ent, score, cos
51.30 (0.02)
ent, freq, js

比較手法として，(1) CNN モデルを用いた

ただし，⃗vx , ⃗vy はそれぞれ単語 x, y の特徴表現であり，比較手法f (·) は 3.2 節で導入した意味的広がりを求める関数で特徴表現 [8]，(2) DIH に基づく特徴表現 [16]，(3) 単ある．dir(x, y) > αdir の時，y は x の上位概念とす

語埋め込みの 3 種類と比較する．CNN のモデルとしてる．ただし，αdir は閾値である．

161 層の DenseNet[6] を使用し，中間層 (全結合層の最閾値 αdet , αdir は後述の交差検定によって決定する．

特徴表現を構築した4 ．また，DIH に基づく特徴表現を4 実験構築するために，約 9 千万語からなる Reuters corpus(RCV1)[13]5 を使用した．単語埋め込みは 6 千億語の4.1 実験設定
評価データ

終層，2,208 次元)，および，最終層 (1,000 次元) から

本稿では，提案手法の有用性を LE タス

クにおいて評価する．評価データは，LE 検出能力とコーパスで事前学習された fastText [1]6 を用いた．

4.2 結果向き識別能力を測るために Kiela ら [8] によって作成されたものを使用する．BLESS，WBLESS，BIBLESSの 3 種類のデータセットからなり，全てのインスタン
スは (x, y, LE ラベル) の 3 つ組で構成される．BLESS
は向き識別，WBLESS は LE 検出，BIBLESS はその両方の能力を同時に測ることができる．
ハイパーパラメータ

結果を表 1 に示す．BLESS，BIBLESS データにおいて，既存手法を上回った．WBLESS データにおいても，提案手法は CNN の中間層に迫る結果であると言える．CNN の最終層は 1000 クラスの物体ラベルの予測分布であるが，提案手法との比較から，画像認識器が認識できる物体数が多いほど，LE タスクにおいて特徴表現の構築には以下に示効果的な特徴表現を構築できると予想される．

すハイパーパラメータが存在する．実験では，以下のまた，画像情報を用いる提案手法及び CNN と，テ全ての組み合わせをグリッド探索によって検証し，各キスト情報を用いる DIH モデルと単語埋め込みにはデータセットにおいて最も性能の良かったパラメータ性能に大きな差が認められる．これは次のような原因を報告する．

が考えられる．DIH に基づく手法 [16] は特徴表現を構築する際，単語の頻度情報を用いるため，使用する特徴表現の値 : 出現頻度 freq，確信度 score

コーパスサイズに大きく依存するが，提案手法はこれV から ⃗v への集約方法 : avg，max，stに依存しない．また，単語埋め込みの学習では，上位–意味的広さ : ent，ca，cc

下位概念のように意味の広さを考慮できていない．

LE 検出関数 : cos，js

最適なパラメータに注目すると，CNN の最終層以

閾値 αdet , αdir はデータセットごとに次のよう外では意味的広さを定量化するのに平均情報量 (ent)に設定した．BLESS データでは全てのインスタンスが適しており，CNN の中間層を用いた場合，出現頻度において常に y が上位語であるため，αdir = 0 とす(freq) を使用した方が効果的な特徴表現が得られるこる．また，WBLESS 及び BIBLESS データでは，既存とがわかる．また，集約方法には手法との相性がある閾値

研究 [12, 20] と同様に，データセットから 2%のインスタンスをランダムにサンプリングし，残りの 98%で評価を行うことで閾値を決定する．最終的な正解率はこれを 1000 回繰り返した平均値を報告する．

4 1 画像あたり全ての特徴量を使うより，値の上位 10 個 (提案手法と同じ数) を使う方が，一貫して性能が良いことが確認されたため，実験では上位 10 個を使用した場合の結果を報告する．
5 SpaCy (https://spacy.io) を用いて前処理を行い，特徴表現の構築には名詞，動詞，形容詞のみを用いた．
6 https://fasttext.cc/docs/en/english-vectors.html― 270 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

ことがわかった．さらに，期待に反して，JS ダイバージェンス (js) よりコサイン類似度 (cos) が，概して良い結果をもたらすことにも注目したい．

5 結論
本研究では，既製の画像認識器の物体ラベルを活用した手法を提案し，上位–下位概念を識別・検出する

Lexical Entailment タスクにおいてその有用性を示した．評価実験では，2 種類のデータセットにおいて既存手法を上回ることを確認した．本手法の特徴表現は言語に依存しない構築のため，言語が異なる単語ペアの比較にも適用可能である．例えば，那須川ら [21] が提案した，画像とテキストが紐付いたデータから様々な認識対象の名称を獲得するタスクに適用すれば，未知の言語における上位–下位概念の獲得につながると考えられる．
謝辞 本稿の取り組みに関し，画像認識器の活用で IBM Research – Thomas J. Watson Research Center の Bishwaranjan
Bhattacharjee 氏の，また，多くの議論を通して日本アイ・ビー・エム株式会社 東京基礎研究所（当時）の Khan Md.
Anwarus Salam 氏の多大なご支援，ご助言をいただきました．ここに記して感謝致します．

IBM Watson は International Business Machines Corporationの米国およびその他の国で登録された商標です．

参考文献[1] P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov. Enriching word vectors with subword information. TACL,
Vol. 5, pp. 135–146, 2017.
[2] I. Dagan, D. Roth, M. Sammons, and F. M. Zanzotto. Recognizing Textual Entailment: Models and Applications.
Synthesis Lectures on Human Language Technologies.
2013.
[3] T. Deselaers and V. Ferrari. Visual and semantic similarity
in imagenet. In CVPR, pp. 1777–1784, 2011.
[4] D. Garrette, K. Erk, and R. Mooney. Integrating logical representations with probabilistic information using
markov logic. In IWCS, pp. 105–114, 2011.
[5] J. Hewitt, D. Ippolito, B. Callahan, R. Kriz, D. T. Wijaya,and C. Callison-Burch. Learning translations via images
with a massively multilingual image dataset. In ACL (Vol.
1), pp. 2566–2576, 2018.

[7] Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long,
R. Girshick, S. Guadarrama, and T. Darrell. Caffe: Convolutional architecture for fast feature embedding. In ACM
MM, pp. 675–678, 2014.
[8] D. Kiela, L. Rimell, I. Vulić, and S. Clark. Exploiting
image generality for lexical entailment detection. In ACLIJCNLP (Vol. 2), pp. 119–124, 2015.
[9] J. Lin. Divergence measures based on the shannon entropy. IEEE Transactions on Information theory, Vol. 37,
No. 1, pp. 145–151, 1991.
[10] M. Mohler, D. Bracewell, M. Tomlinson, and D. Hinote.
Semantic signatures for example-based linguistic
metaphor detection. In Metaphor in NLP, pp. 27–35,
2013.
[11] R. Navigli, P. Velardi, and S. Faralli. A graph-based algorithm for inducing lexical taxonomies from scratch. In
IJCAI (Vol. 3), pp. 1872–1877, 2011.
[12] K. A. Nguyen, M. Köper, S. Schulte im Walde, and N. T.
Vu. Hierarchical embeddings for hypernymy detection
and directionality. In EMNLP, pp. 233–243, 2017.
[13] N. I. of Standards and T. (U.S.). Reuters corpora, 2018.
[14] L. Rimell. Distributional lexical entailment by topic coherence. In EACL, pp. 511–519, 2014.
[15] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh,S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein,
A. C. Berg, and L. Fei-Fei. ImageNet Large Scale Visual
Recognition Challenge. IJCV, Vol. 115, No. 3, pp. 211–252, 2015.
[16] E. Santus, A. Lenci, Q. Lu, and S. Schulte im Walde.
Chasing hypernyms in vector spaces with entropy. In
EACL (Vol. 2), pp. 38–42, 2014.
[17] V. Shwartz, E. Santus, and D. Schlechtweg. Hypernyms
under siege: Linguistically-motivated artillery for hypernymy detection. In EMNLP (Vol. 1), pp. 65–75, 2017.
[18] R. Snow, D. Jurafsky, and A. Y. Ng. Semantic taxonomy
induction from heterogenous evidence. In Coling-ACL,pp. 801–808, 2006.
[19] O. Vinyals, A. Toshev, S. Bengio, and D. Erhan. Showand tell: A neural image caption generator. In CVPR, pp.
3156–3164, 2015.
[20] I. Vulić and N. Mrkšić. Specialising word vectors for lexical entailment. In NAACL (Vol. 1), pp. 1134–1145, 2018.
[21] 那須川哲哉, 村岡雅康. 君の名は −画像認識対象の名称獲得−. In NLP, 2019.

[6] G. Huang, Z. Liu, L. van der Maaten, and K. Q. Weinberger. Densely connected convolutional networks. In
CVPR, pp. 2261–2269, 2017.

― 271 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.