情報処理学会研究報告
IPSJ SIG Technical Report

Web 上の大量画像を用いた
名詞と形容詞の関係分析
小原 侑也1

柳井 啓司1

概要：近年では，Flickr のように画像にタグを付与して投稿できるサービスが出現し，Web 上に多くのタグ付き画像が存在している．しかし，付与されるタグのほとんどが 1 語単位で付加されており，タグ間の関連性はあまり考慮されていない．そのため，タグで AND 検索を行うと本来想定しない画像も検索にかかることがある．このようなノイズとなる画像を除去するには，タグ間の関係性を考慮し，名詞と形容詞の同時認識を行うなど，より画像の内容に着目する必要があると考える．本論文では，名詞と形容詞の同時認識に繋げるための前処理として，名詞と形容詞の関係に着目し，視覚的関連性のある名詞と形容詞の組み合わせの発見を行う．視覚的関連性は，エントロピーの計算による方法を用いて画像分布を数値化し，各名詞と形容詞の組み合わせのクラスごとに比較し，考察を行っている．エントロピーの計算結果により，色や時間帯を示す形容詞と名詞の組み合わせで，エントロピーの減少するクラスが多いという結果を得る
ことができた．また，その他にも，winter+beach クラスや sun+beautiful クラスといった特定のクラスで視覚的関連性が高くなるという事象を確認した．
キーワード：一般物体認識 エントロピー 形容詞

1. まえがき
近年，インターネットおよび，デジタルカメラやカメラ
機能付き携帯端末の普及によって，Web 上の画像量は爆発的に増加している．また写真投稿サイトには，flickr のように投稿者が画像に関連したタグを付加するサービスを提供しているものもあり，タグ情報が付加された画像も Web

図 1 car および red による検索結果の例

上に多数存在している．これらのタグ情報は，画像検索やそこで本論文では，画像特徴量を用いたアプローチでタ画像収集のキーワードとして，また，画像認識の際のメタ

グ間の視覚的関連性の分析を行う．ここで分析の対象とす

データとして使用されることもある．

るタグの組は，修飾・被修飾の関係になりやすい名詞と形

しかしながら，タグを付ける際には 1 語単位で付与する容詞の組としている．２組の単語の組み合わせにおいて，場合がほとんどであり，タグ間の関連性が考慮されること

画像の分布がより狭くなるような組み合わせは，分布に変は少ない．そのため，タグ情報で AND 検索を行った場合，化が見られない組み合わせより，視覚的な関連性が高いで

本来検索対象として想定していない画像が検索にかかるこあろうと考えられる．よって，視覚的関連性の高低をエンとも多々ある．例えば赤い車の画像を検索する際に，red

トロピーに基づいて数値化し，比較および考察を行うことと car で検索を行っても，赤い車の画像以外の画像も検索

が，本論文の目標である．

結果として表示される．図 1 は，赤い車だけでなく，黒いまた今回分析した結果は，“画像内のある領域が赤色で車と赤い空が写った画像も検索結果として提示されるといある” や，“車である” といった単体での認識でなく，“画う一例である．このような意図しない画像を自動で排除す

像には車が写っており，その車の色は赤色である” のようることができるならば，より直感的な検索が行えるだけでに，ある物体を名詞で認識し，さらに，その物体の状態をなく，ノイズの少ないデータセットを簡便に作成できるの形容詞で認識するような同時認識に利用できると期待してではないかと期待できる．より精度の高い画像検索や画像

いる．例えば，ある 1 つの形容詞と 2 つの名詞が 1 枚の画収集を行うためには，タグ間の関係性を考慮し，より画像

像から認識された場合，ある名詞と形容詞の視覚的関連性の内容に着目する必要があると考える．

が他方の名詞との間の視覚的関連性より高ければ，形容詞

1

電気通信大学大学院 情報理工学研究科 総合情報学専攻

c 2012 Information Processing Society of Japanが前者の名詞を修飾している可能性が高くなると考えられ

1

情報処理学会研究報告
IPSJ SIG Technical Report

るため，今回の分析結果をメタデータの 1 つとして用い，

文 [3] では，車に対するドアのように存在すべき物体を属

同時認識の精度向上を目指したいと考えている．

性として扱っているが，本論文では，属性を形容詞に限定

本論文の構成は次のようになっている．2 章では関連研し，さらに名詞との組み合わせによる関係性に着目してい究と先行研究，3 章では実験の手順，4 章では実験で用いた

る．また，論文 [4] では，形容詞の中でも，美しさや興味深

手法について記載している．また，5 章では本論文で行っさという特定の形容詞について分析しているのに対し，本た実験と実験結果についてを記載し，6 章では実験結果に論文では，より一般的な形容詞を取り扱っている．

対する考察を行い，7 章では全体のまとめ，および，今後の課題についてを記載している．

2. 関連研究

次に，本研究の先行研究となる論文の紹介を行う．ここで挙げるのは，柳井らの研究 [5]，秋間らの研究 [6] および，川久保らの研究 [7] である．
柳井らの研究では，単語概念における視覚性を定量化す

近年の画像認識分野における研究では，画像内に写ってる方法としてエントロピーを提案し，150 個の形容詞に着いるオブジェクトの物体名のみでなく，色やテクスチャ，

目して視覚的関連性について言及している．本論文内で使また，“赤い”，“美しい” のような形容詞など，属性を取り用するエントロピーによる単語の視覚性を数値化する方法，

上げた研究も増加してきている．ここではそのような，属また，エントロピーの計算方法は，柳井らの研究によって性に着目した研究を紹介する．

提案された手法を用いる．

T. L. Berg らの研究 [1] では，色，形，テクスチャという秋間らの研究では，概念間の距離関係や上下関係から概属性に着目している．この研究では，ショッピングサイト

念間の階層構造を持ったデータベースを構築している．上内に記載されたテキストから属性に関連した単語を抜き出

下関係を求める際にエントロピーを使用し，画像の分布をし，そのテキスト記述と対応した画像中から，最も属性を計算している．また，画像に付与されているタグ情報も使表している局所領域にラベル付けを行っている．また，局用している．

所領域は，75 × 75 ピクセルのブロックで表現されている．

川久保らの研究では，単語概念における視覚性と地理的D. Parikh らの研究 [2] では，“nameable” という観点か分布を求めている．この研究では，視覚性を求めるため

ら属性に着目している．“nameable” とは，人間が理解可に，領域分割やエントロピー計算を用いて，名詞や形容詞

能でかつ，言語表現が可能であるか否かを示すものである．

といった概念クラスの画像分布の計算を行っている．

この論文では，Amazon Mechanical Turk を用いた対話型

本論文で使用するエントロピーの手法は，論文 [5] で提案

アプローチによって，“nameable” な属性を発見しているされたアプローチを用いる．本論文と先行研究の差異は，A. Farhadi らの研究 [3] では，属性を用いた画像の描写

クラスを 1 単語ではなく 2 単語の組み合わせで分類し，そを行っている．画像から “犬” のみを認識するのではなく，の組み合わせである名詞と形容詞の視覚的な関連度を求め“まだら模様の犬” と認識を行う．そのために意味的な属性ている点である．

に着目し，物体そのものを認識できない場合でも，“まだら模様” といった描写を可能としている．また，この描写を用いることで，区別的な属性にも言及することが可能と

3. 提案手法の概要
3.1 実験概要

なっている．すなわち，犬は持っているが羊は持たない属

本研究では，名詞・形容詞間の視覚的関連性を，その名性を取り上げるならば，この属性は犬と羊を区別する属性

詞・形容詞の組み合わせに対応した画像の分布の広さで表といえる．さらに，区別的な属性を求めたことにより，本現し，分布が狭いほど視覚的関連性が高いと判断する．分来そのクラスが持つであろう属性の非存在や，本来は存在

布の広さはエントロピーの概念を用いて数値化し，エントすべきでない属性の存在にも言及できている．そのため，ロピーの計算には画像から得られる局所特徴を用いる．

ドアの写っていない車という認識も可能となっている．ま本研究での実験における実行手順を以下に示す．

たこの論文では，属性が存在する領域の推定も行っている．

S. Dhar らの研究 [4] では，美しさ，興味深さという，特定の属性に着目している．美しさと興味深さの指針とし( 1 ) Web 上からタグ検索による画像収集て，画像に写った物体の構成に関する属性と内容に関する( 2 ) 画像の領域分割

属性という２種類の属性を取り上げている．構成に関する( 3 ) 部分領域ごとに特徴量抽出および BoF の作成

属性には，物体の顕著生や存在位置，色などがあり，内容( 4 ) 正領域判定に関する属性には，画像に主として写っている物体の種類( 5 ) 正領域ごとに特徴量分布を pLSA で計算や，撮影場所・場面がある．この研究では，より人間の主観に依存しやすい属性に着目している．



実行手順

( 6 ) エントロピーの計算

論文 [1]，[2] では主に属性単体の認識を行っており，論c 2012 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report

ステップ 1 では，本論文における研究対象であるタグ付きの画像を Web 上から取得する．

Flickr には，画像投稿者が自由に画像へタグを付与する機能がある．このタグ情報には多少のノイズがあることを収集した画像には，検索に使用したタグ情報と関連のな考慮する必要があるものの，基本的には画像に写っているい物体や背景も写っている．これらは画像分布を調べる際

物体やシーン，また，形容詞のような状態の名前を示してにノイズとなるため，除去する必要がある．タグ情報と関いるとみなせる．よって本実験での検索には，このタグ情連のある領域を正領域とし，この正領域をステップ 2 から報を利用している．

ステップ 4 で推定する，

4.1.1 Flickr API

ステップ 2 では，ノイズ除去の前処理として，画像の領Flickr API は写真共有サービスである Flickr が提供する

域分割を行い，ステップ 3 では，分割された各部分領域ごWeb API である．Flickr API の利用には，Yahoo.com のとに画像特徴量を抽出する．抽出した特徴量は BoF を用

ID を取得し，Flickr にユーザ登録する事で得られるようにいることでベクトル化し，部分領域を数値で表す．このベなる API Key が必要となる．

クトルを用い，ステップ 4 では SVM を利用して正領域の判定を行う．

FlickrAPI を 利 用 し て 画 像 の 検 索 を 行 うに は ，flickr.photos.search メ ソ ッ ド を 用 い る ．

ステップ 5 では，pLSA を用いて正領域とされた部分領

flickr.photos.search メ ソ ッ ド を 利 用 す る 際 に は ，パ

域の特徴ベクトルをクラスタリングする．ここでは，エンラメータを変更することで，画像検索の条件や取得データ

トロピーの計算に必要な，画像内での隠れトピックの同時

内容を変更することができる．

確率 P (z|d) を求める．

flickr.photos.search メソッドの API リクエスト例

ステップ 6 では，名詞と形容詞を組み合わせたクラス概

http://www.flickr.com/services/method=

念ごとの画像分布を，エントロピーを計算することによっflickr.photos.search&api key=*****て求める．エントロピーは画像分布が狭まる，すなわち画&tags=car,red&tag mode=all&content type=1

像特徴の分布が狭くなると減少し，分布が広まると増大す&sort=interestingness-desc&per page=500

る．よって，このステップで求めたエントロピーが小さくなるほど，名詞と形容詞の間には高い視覚的関連性がある

&page=1&extras=date taken


と判断できる．

4.2 領域分割
3.2 タグ共起による関連度収集した画像からノイズを減らすために，領域分割を

本論文では，エントロピーによる視覚的関連度との比較行った．領域分割には JSEG [8] を用いた．分割する際にのため，画像に付加されたタグの共起による類似度を，theは，最大分割領域数は 10 とし，サイズの小さい領域は統Normalized Google Distance（NGD）によって求めた．こ合する後処理を加えた．

れを用いて，視覚的な類似度と非視覚的な類似度による，
タグ間の関係性の違いについての考察も行った．

4. 提案手法の説明

4.3 特徴量抽出
本研究では色を考慮した SIFT[9] である Color-SIFT 特徴を抽出し，Bag-of-Keypoints 表現を用いてベクトル化す

この章では，実験で用いた手法の説明を行う．本実験でることとした．特徴抽出では，領域分割をした画像の部分領

は，名詞と形容詞の間の視覚的関連性に言及するため，エ

域ごとに抽出を行い，抽出した特徴量は k=1000 の k-means

ントロピーの計算を行った．また，比較のためにタグ間のでクラスタリングしたコードブックを基に BoF[10] を作成

共起による関連度の計算も行った．

し，部分領域をベクトルで表現した．なお，特徴抽出における特徴点の決定には Grid を用いた．Grid による特徴点

4.1 画像収集
Flickr API を用いて，名詞と形容詞の組み合わせ 1 組ご決定では，縦横共に 30 ピクセルごとの点を特徴点とした．
そして，特徴点ごとにスケールを 12，15，18，23，30 ととに，200 枚のポジティブ画像を収集した．収集の際には，して，SIFT 特徴の抽出を行った．

名詞を 1 つ目のタグ，形容詞を 2 つ目のタグとして AND

4.3.1 Color-SIFT 特徴

検索を行い，両方のタグを持っている画像を収集した．まColor-SIFT は RGB 色空間の R，G，B それぞれの空間

た，ネガティブ画像はどちらのタグも持たない画像とし，に対して SIFT 特徴を抽出し，それらを同一の特徴点ごと

こちらは 1 組ごとに 800 枚用意した．

に連結させて新たな特徴ベクトルとする方法である．そのまた，収集した画像にほぼ同一な画像が多く含まれていると特徴が偏るため，同一投稿者からは 1 枚のみ画像を得ため，この特徴ベクトルのサイズは 128 × 3 次元で表現される．

ることとした．

c 2012 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report

4.4 正領域判定

隠れトピックとする．隠れトピックとは，文書内における画像からノイズとなる領域を除去するため，前節で説単語の生成に関するトピック変数である．次に，文書 di と明した BoF を用いて正領域を判定した．正領域判定には

単語 wj の生起は独立であると考え，文書 di と単語 wj のSupport Vector Machine（SVM）を使用した．

同時確率 P (di , wj ) を以下のように表す．

SVM による正領域判定手順を以下に示す．
正領域判定手順P (di , wj ) =P (wj |di ) は，隠れトピック zk を用いて以下のように表す( 2 ) 正例および負例を用いて SVM の学習を行う

ことができる．

( 3 ) テストデータの評価を行う( 4 ) 評価の高さ順にテストデータをソートして，上位

P (wj |zk ) =のデータのみを新たな正例およびテストデータとまた，本論文では，SVM-light[11] というプログラムを使用して，分類を行っている．

4.5 特徴量分布の計算
特徴量分布を計算するために，pLSA を利用して特徴ベ
クトルのクラスタリングを行った．また計算には，fold-in

heuristic[12] の手法を用いた．
4.5.1 pLSA
pLSA（probabilistic Latent Semantic Analysis）は，T.
Hofmann によって提案された，テキストコーパス内のト
ピック検出を行う，統計的言語処理のためのモデルである [12]．

pLSA の計算は次のように行う．まず，di (i = 1, 2, . . . , I)を文書，wj (j = 1, 2, . . . , J) を単語，zk (k = 1, 2, . . . , K) をP (wj |zk )P (zk |di )(2)

そして，文書 di 内での単語 wj の出現回数を n(di , wj ) と例に追加するされた領域にはラベルが付けられている．

K
X
k=1

し，下位のデータはテストデータから削除して負す．図 2 では赤線で領域が区切られており，正領域と判断(1)

また，文書 di 内において，単語 wj が生成される確率

タ，ネガティブ画像の全領域を負例とする

正領域判定により正領域と判断された領域例を図 2 に示

P (di |zk )P (wj |zk )P (zk )k=1( 1 ) ポジティブ画像の全領域を正例およびテストデー( 5 ) 2 から 4 を繰り返す
K
X

表すと，データの対数尤度は次のように表すことができる．



L=

I X
J
X

n(di , wj ) log(dj , wj )(3)

i=1 j=1

この対数尤度を最大にするような P (zk )，P (di |zk )，P (wj |zk )を EM アルゴリズムを用いた最尤推定によって求める．

pLSA は統計的言語処理のモデルであるが，文書を画像，
単語を局所特徴ベクトルに置き換えて考えることによって，画像認識においても利用されている．

4.6 エントロピーの計算
エントロピーは pLSA によって求められた確率を用いて計算を行った．エントロピーは正領域を表す特徴ベクトルの分布が広くなると増大し，狭くなると減少する．そのため，エントロピーの大小が，名詞と形容詞の組み合わせであるクラス概念に属する画像分布の広さを表す．すなわ
ち，エントロピーを計算することが，組み合わせごとの視覚的関連性を求める事に繋がる．

4.6.1 エントロピー
pLSA を用いて求めた P (zk |di ) を用いて計算を行う．各
隠れトピック zk に対して，PI
P (zk |di )P (zk |wj ) = i=1
|I|

(4)

を求める．次に，先ほど求めた P (zk |wj ) を用いて，各画
像 di に対して，H(P ) = −K
X

P (zk |wj ) log(P (zk |wj ))

(5)

k=1

を求める．この計算によって求まる H(P ) がエントロピー
である．

4.7 共起による関連度
図 2 正領域の一例

共起による非関連度は，the Normalized Google Distance（NGD）と呼ばれる以下の式を用いて計算した．

c 2012 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report

beach

bird

cup

dog

sky

snow

表 1 使用した 20 単語の名詞
boat
bridgecarcatflower

fruit

house

cloud

people

red

sun
tower
train
tree
表 2 使用した 15 単語の形容詞
blue
green
black
white

circlesquaremorningnight

wintersummernewoldbeautiful

cool

sea

5.2 実験方法
前節のデータセットを用いて，以下のように実験を行った．

5.2.1 領域分割
領域分割には JSEG を使用した．分割を行う際の最大領
域数は 10 領域である．ただし，この数字は最大の分割数であるため，領域数が 10 より小さくなる画像も多数存在する．また，小さい領域を統合する後処理も加えている．
この際，画像を 1 とした時の相対サイズが 0.075 を超える
領域は統合しないよう，パラメータ調整を行った．

図 3 データセットの一例

max {log f (x), log f (y)} − log f (x, y)
N GD =
log N − min {log f (x), log f (y)}5.2.2 BoF の作成(6)

ここでは x を名詞，y を形容詞とし，f (x)，f (y) はそれぞ

BoF を求めるために，まず，コードブックを作成した．
コードブックの作成には，タグによる制限を加えずランダ
ムに選択した 10000 枚の画像を使用した．この 10000 枚のれ，flickr において名詞および形容詞でタグ検索を行った

画像に対して Grid による特徴点決定を行い，Color-SIFT

際の画像枚数であり，f (x, y) は名詞および形容詞で AND

特徴量を抽出し，全特徴量からランダムに 100 万個の特徴検索を行った際の画像枚数である．また，N は flickr の全量を選択した．この 100 万個の特徴量に対して，k-means

画像枚数であるが，正確な枚数を把握することは困難なた法を用いて k=1000 のクラスタリングを行った．そのため，50 億枚と仮定した．次に，NGD を用いて，1 − N GD

め，本実験にて使用したコードブックのコードブックサイ

をタグ共起の関連度として定義した．この関連度は，画像

ズは 1000 となっている．次に，データセットとして用意

特徴を用いない，テキスト情報に基づく関連度である．

したポジティブ画像とネガティブ画像に対しても，同様に

5. 実験
5.1 データセット
画像データは Flickr より API を利用して取得した．取Color-SIFT 特徴を抽出した．そして先ほどのコードブッ
クを用い，領域分割によって得た各部分領域ごとに，1000
次元の BoF を作成した．

5.2.3 正領域判定

得の際，同じ投稿者からの画像は 1 枚のみ取得するという

正領域判定は，SVM を用いて行った．本実験では，SVM制限をし，ポジティブ画像は 200 枚，ネガティブ画像は 800

による学習とテストを 5 回繰り返すことで，正領域を推定枚を取得した．また，ポジティブ画像の取得では，Flickr

した．まずポジティブ画像の全領域の BoF をポジティブの検索においてランキングが上位のものから順に取得しデータ，ネガティブ画像の全領域の BoF をネガティブデー

た．ネガティブ画像は Flickr よりランダムに取得した画像

タとして SVM の学習を行い，それを用いて全ポジティブの内，注目するクラスの名詞および形容詞のどちらのタグ

データをテストした．このテストで評価の高かった上位も付いていない画像を選択した．

600 個の BoF を次のポジティブデータおよびテストデータ

今回の実験において，表 1 の 20 単語の名詞と，表 2 のとし，残りの BoF はネガティブデータとして，次の学習を

15 単語の形容詞を選択した．それにより，各名詞と各形容行った．そして，2 回目のテストでは上位 500 個，3 回目

詞の組み合わせである 20 × 15 個のクラスおよび，形容詞のテストでは上位 400 個と 100 個ずつ減らした数の BoF

による制限を加えない名詞のみの 20 クラスの計 320 クラをポジティブデータと見なすことにより，最終的に残ったスに着目し，エントロピーを計算した．

200 個の領域が正領域であると判断した．

こ こ で ，car+red ク ラ ス ，sky+night ク ラ ス ，flower+summer ク ラ ス ，に 含 ま れ る 画 像 の 一 部 を 図
3 に示す．

5.2.4 pLSA による特徴量分布の計算
本実験では，fold-in heuristics を用いて各クラスで pLSAの計算を行うために，まず，pLSA のベース分布を求めた．
ベース分布を求める際に使用したのは，ポジティブ画像に

c 2012 Information Processing Society of Japan5

情報処理学会研究報告
IPSJ SIG Technical Report

図 4 エントロピーの計算結果（名詞のみのエントロピーからの減少量，
赤字:名詞のみより増加，青字:名詞のみより減少，下線:減少量が大きいクラス）
表 3 エントロピー上位 10 組
順位

クラス

エントロピー

順位

クラス

エントロピー1

sea+morning

4.929

6

beach+night

5.078

2

boat+morning

4.958

7

sky+morning

5.100

3

tower+morning

5.030

8

boat+night

5.101

4

beach+morning

5.045

9

sun+red5.102

5tree+morning

5.061

10

bridge+blue

5.112

表 4 エントロピー下位 10 組
順位

クラス

エントロピー

順位

クラス

エントロピー

10

train+winter

5.507

5

fruit+old

5.520

9

train+cool

5.512

4

bird+white

5.523

8

dog+cool

5.5143

3house+cool

5.537

7

cat+red5.518

2house+beautiful

5.539

6

train+summer

5.519

1

house+new

5.547

図 5 共起による類似度（beach，bird，boat，bridge，car）

おける全領域の BoF からランダムに選択した 20000 個のBoF である．この BoF に対して pLSA を用いてクラスタ
リングを行い，特徴量分布を求めた．この際のクラスタリ
ングにおけるクラスタ数は 300 とした．また各クラスの分布を求める際は，クラスタ数の異なる 3 種類のベース分布による fold-in heuristics の手法を使用した．

5.2.5 エントロピーの計算

図 6 共起による類似度（snow，sun，tower，train，tree）

エントロピーは pLSA を用いて計算した同時確率 P (z|d)
を用いて計算を行った．計算結果は，次の節にて掲載する．

5.3 実験結果

6. 考察
実験結果より，各クラスにおけるエントロピー，また，各クラスについてエントロピーを計算した．pLSA によエントロピーの変化について比較を行う．エントロピーはるクラスタリングのクラスタ数を 300 とした際の計算結果

名詞と形容詞を組み合わせた各クラスにおける画像分布がを図 4 に示す．形容詞と組み合わせたクラスでは，名詞の広がると増大し，狭まると減少する．したがって，エント

みのクラスのエントロピーからの減少量を掲載している．

ロピーが小さいクラス概念では，名詞と形容詞の間に高い

そして，エントロピーの小さい上位 10 組と大きい下位 10

視覚的関連性があると判断する．

組を表 3，4 に示す．また，共起を用いた類似度の計算結果の一部を図 5，6 に示す．

6.1 名詞と形容詞の視覚的関係性
色に関する形容詞を付与することで大きくエントロピー

c 2012 Information Processing Society of Japan6

情報処理学会研究報告
IPSJ SIG Technical Report

図 8 時間帯に関する形容詞の正領域の一例

覚的関係性が存在すると思われる．
新旧に関する形容詞について考える．old の付くクラス
では特に分布のばらつきが見受けられ，全 20 個の名詞のう
図 7 色に関する形容詞の正領域の一例

ち，名詞のみのクラスと比較してエントロピーが増加する
クラスは 12 クラス存在する．これには，今回選択した名詞が減少しているクラスは，beach+red，sea+red，sky+red，

sky+blue，flower+blue クラスが挙げられる．これらのクラスの共通点としては，名詞の示す物体自体の色を形容詞が示しているという点である．beach，sea，sky と red を組み合わせたクラスにおいて正領域とされた領域を持つ画
像には，日の出や日没によって空や海が赤くなっている画像が多く見受けられている（図 7 参照）．そのため，car や

flower，bird のように，その名詞が示す物体にカラーバリ
エーションの多い名詞のクラスでは，色に関する形容詞が付与されたクラスでエントロピーが減少することが多い（図 7 参照）．一方，dog や people に red や blue といった色に関する形容詞が付与されても，変化するのは服や背景の壁の色であり，物体自体の領域では色の変化はあまり無い（図 7 参照）
．この事から，色を示す形容詞に関しては，
エントロピーが減少する名詞と形容詞の組み合わせで，視覚的関係性が高くなっていると考えられる．
次に，時間帯を示す形容詞に関するクラスについて考える．morning や night と組み合わせてエントロピーが減少した名詞には，sky，sun，cloud，sea，boat，tower が挙げられる．これに関して共通しているのは空であると考えられる．sky，sun，cloud については空と直接関係した名詞であるため，朝と夜の空の色変化による影響でエントロ
ピーが減少していると考えられる（図 8 参照）．よって視覚的関係性が高いと言えるだろうと思われる．また，boatと morning や night を組み合わせたクラスの画像には，船上から写した空や海といった景色の写真である画像が多く含まれており，tower のタグが付いた画像には，tower の全体像を写すための遠景写真や tower を見上げている構図の写真である画像が多くあるため，空の領域が多く含まれている（図 8 参照）．そのために，エントロピーが減少したと考えられる．よって boat と tower のクラスについては
これらのタグが付いた画像と時間帯を示す形容詞の間に視c 2012 Information Processing Society of Japanの種類による影響も考えられる．sun，sky，cloud といった新旧による変化のない名詞のクラスでは，new や old が名詞を修飾している事が少ないため，画像分布にばらつきが生じやすかったのではないかと思われる．ここでエント
ロピーが減少した残りの 8 クラスに着目すると，cat，dog，people といった生物に関係した名詞，house，tower，trainといった人工物に関係した名詞が挙げられ，時間の経過による変化が見受けられる名詞に関しては new や old が名詞を修飾している画像が多い（図 9 参照）．この事から，エントロピーの減少幅は少ないものの，エントロピーが減少したクラスでは，名詞と形容詞の間に視覚的関係性が存在すると考えて良いと思われる．

beautiful や cool のような形容詞については，投稿者が自由にタグを画像に付加できるという Flickr のサービスのシステム上，投稿者の主観に影響を受けている事が考えられる．そのため，収集した画像全体の分布のばらつきが他の形容詞の付いたクラスよりも大きく，正領域判定において，ふさわしくない領域が選ばれていたり，正領域判定を行っても，ノイズを減少させる事ができなかったのではな
いかと考える．また，beautiful で特に減少が見られたのは，sun+beautiful，boat+beautiful，cloud+beautiful クラスである．これらのクラスでは，全体として朝焼けや夕焼けを写した画像が多く見受けられた（図 9 参照）．cool や

beautiful の付くクラスでは他に大きくエントロピーが減少
クラスは見られなかったため，sun，boat，cloud に関しては，美しいと考える景色に一定の共通概念があり，beautifulとの視覚的関連性が高くなっていると考えられる．

summer や winter の よ う な 季 節 を 示 す 形 容 詞 で は ，beach+winter，sea+winter クラスでエントロピーが減少している．これらのクラスでは，海水浴の画像が減り，海や浜辺を主として写している画像が多くなっていることがエントロピーの減少に繋がっているように思われる．その7

情報処理学会研究報告
IPSJ SIG Technical Report

分布に偏りがあり視覚的関連性の高い組み合わせには，色を示す形容詞や時間帯を示す形容詞が多く出現することを，この実験により得ることができた．また，beautiful のように人間の主観に依存しやすい形容詞に関しても，sun のように画像分布に偏りが生じる事例があることも分かった．

7.2 今後の課題
今回の実験ではデータセットが Flickr のみであること
や，使用した特徴量が Color-SIFT のみであることから，他のデータセットや特徴量を使用した実験を行うことも改良点として挙げられるのではないかと考える．これについて
は，データセットや特徴量の組み合わせを数種類用意し，エントロピーの増減の変化が各組み合わせの間で見受けられるかどうかにも着目したいと思う．
図 9 正領域の一例

ために画像分布が狭まったのだと考える．また，これらのまた，今回求めた視覚的関連性の分析結果を利用し，今
後，名詞と形容詞の同時認識に繋げていきたいと考える．

クラスでは，tree+winter，flower+summer，bird+summer
クラスでもエントロピーが減少しており，視覚的関連性があるようである．

参考文献[1]

6.2 タグ共起による関連度との比較
共起を用いた場合でも関連性を調べることは可能である[2]

が，画像認識と組み合わせる場合には上手く機能しないことがある．その主な理由は，画像内の主となる物体に関し[3]てだけでなく，雑多なタグ付けが行われていることである．

[4]

そのため共起の度合いが，必ずしも視覚的な関連性を表すことができていない．
例えば，beach+summer クラスでは共起による関連性が[5]あるものの，画像には浜辺ではなく人物や船といった被写体が写っている物も多い．そのため，視覚的な関連性は低いと言える．

[6]

その一方，極端に共起による関連度が高いクラスに着目すると，視覚的な類似度が高くなっている傾向があると考えられる．例えば，sun+red クラスや sky+blue クラスで[7]は，形容詞が名詞を修飾しており，視覚的な類似度が高くなっている．

[8]

7. おわりに
7.1 まとめ[9]

本論文では，Flickr から特定の名詞と形容詞の両方のタグが付いた画像を収集し，それらの画像から特徴量抽出を[10]行い，画像分布をエントロピーという形で数値として計算した．また，名詞と形容詞の間にある視覚的関連性について，エントロピーの増減から名詞と形容詞を組み合わせた[11]

クラスごとに比較，考察を行った．
結果として，エントロピーが減少し，画像分布に偏りを持つ名詞と形容詞の組み合わせを発見することができた．

c 2012 Information Processing Society of Japan[12]

T. L. Berg, A. C. Berg, and A. J. Shih. Automatic attribute discovery and characterization from noisy web
data. In Proc. of European Conference on Computer
Vision, pp. 663–676, 2010.
D. Parikh and K. Grauman. Interactively building a discriminative vocabulary of nameable attributes. In Proc.
of IEEE Computer Vision and Pattern Recognition.
A. Farhadi, I. Endres, D. Hoiem, and D. Forsyth. Describing objects by their attributes.
S. Dhar, V. Ordonez, and T.L. Berg. High level describable attributes for predicting aesthetics and interestingness. In Proc. of IEEE Computer Vision and Pattern
Recognition, pp. 1657–1664. IEEE, 2011.
柳井啓司, Kobus Barnard. 一般物体認識のための単語概
念の視覚性の分析. 情報処理学会論文誌: コンピュータビ
ジョン・イメージメディア, Vol. 48, No. SIG10 (CVIM17),
pp. 88–97, 2007.
秋間雄太, 川久保秀敏, 柳井啓司. Folksonomy を用いた画像特徴とタグ共起に基づく画像オントロジーの自動構
築. 電子情報通信学会論文誌. D, 情報・システム, Vol. 94,
No. 8, pp. 1248–1259, 2011.
川久保秀敏, 柳井啓司. 単語概念の視覚性と地理的分布の関係性の分析. 電子情報通信学会論文誌. D, 情報・システ
ム, Vol. 93, No. 8, pp. 1417–1428, 2010.
Y. Deng and B. S. Manjunath. Unsupervised segmentation of color-texture regions in images and video. IEEE
Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 8, pp. 800–810, 2001.
D. G. Lowe. Distinctive image features from scaleinvariant keypoints. International Journal of Computer
Vision, Vol. 60, No. 2, pp. 91–110, 2004.
G. Csurka, C. Bray, C. Dance, and L. Fan. Visual categorization with bags of keypoints. In Proc. of ECCV
Workshop on Statistical Learning in Computer Vision,
pp. 59–74, 2004.
T. Joachims. SVM light : Support Vector Machine.
http://svmlight.joachims.org/.
T. Hofmann. Unsupervised learning by probabilistic latent semantic analysis. Machine Learning, Vol. 43, pp.
177–196, 2001.

8