「画像の認識・理解シンポジウム (MIRU2012)」 2012 年 8 月

タグ付き画像を用いた名詞と形容詞の視覚的関連性の分析
小原 侑也†

柳井 啓司†† 電気通信大学大学院 情報理工学研究科 総合情報学専攻
E-mail: †{kohara-y,yanai}@mm.cs.uec.ac.jp
あらまし 近年では，Flickr のように画像にタグを付与して投稿できるサービスが出現し，Web 上に多くのタグ付き画像が存在している．しかし，付与されるタグのほとんどが 1 語単位で付加されており，タグ間の関連性はあまり考慮されていない．そのため，タグで AND 検索を行うと本来想定しない画像も検索にかかることがある．このようなノイズとなる画像を除去するには，タグ間の関係性を考慮し，名詞と形容詞の同時認識を行うなど，より画像の内容に着目する必要があると考える．本論文では，名詞と形容詞の同時認識に発展させるための前処理として，名詞と形
容詞の関係に着目し，視覚的関連性のある名詞と形容詞の組み合わせの発見を行う．視覚的関連性は，相互情報量の計算による方法を用いて画像分布を数値化し，各名詞と形容詞の組み合わせのクラスごとに比較し，考察を行っている．また比較実験として，タグの共起による関連性を NGD を用いて計算した．その結果，色に関係した形容詞と組み合わせたクラスのような特定のクラスで，直感に合う視覚的 関連性の計算結果を得た．しかし，関連度が上位の結果では，タグ共起による類似度を用いたほうが，より直感に合う計算結果となった．
キーワード

一般物体認識 エントロピー 形容詞 タグ 大量画像

1. ま え が き
近年，インターネットおよび，デジタルカメラやカメ
ラ機能付き携帯端末の普及によって，Web 上の画像量はトを簡便に作成できるのではないかと期待できる．より精度の高い画像検索や画像収集を行うためには，タグ間の関係性を考慮し，より画像の内容に着目する必要があると考える．

爆発的に増加している．また写真投稿サイトには，flickr

そこで本論文では，画像特徴量を用いたアプローチでのように投稿者が画像に関連したタグを付加するサービ

タグ間の視覚的関連性の分析を行う．ここで分析の対象スを提供しているものもあり，タグ情報が付加された画とするタグの組は，修飾・被修飾の関係になりやすい名像も Web 上に多数存在している．これらのタグ情報は，

詞と形容詞の組としている．２組の単語の組み合わせに

画像検索や画像収集のキーワードとして，また，画像認

おいて，画像の分布がより狭くなるような組み合わせは，

識の際のメタデータとして使用されることもある．

分布に変化が見られない組み合わせより，視覚的な関連

しかしながら，タグを付ける際には 1 語単位で付与す性が高いであろうと考えられる．よって，視覚的関連性る場合がほとんどであり，タグ間の関連性が考慮されるの高低をエントロピーに基づいて数値化し，比較およびことは少ない．そのため，タグ情報で AND 検索を行っ考察を行うことが，本論文の目標である．

た場合，本来検索対象として想定していない画像が検索

また今回分析した結果は，“画像内のある領域が赤色にかかることも多々ある．例えば赤い車の画像を検索すである” や，“車である” といった単体での認識でなく，る際に，red と car で検索を行っても，赤い車の画像以外“画像には車が写っており，その車の色は赤色である” のの画像も検索結果として表示される．図 1 は，赤い車だ

ように，ある物体を名詞で認識し，さらに，その物体のけでなく，黒い車と赤い空が写った画像も検索結果とし状態を形容詞で認識するような同時認識に利用できるとて提示されるという一例である．このような意図しない

期待している．例えば，ある 1 つの形容詞と 2 つの名詞

画像を自動で排除することができるならば，より直感的が 1 枚の画像から認識された場合，ある名詞と形容詞のな検索が行えるだけでなく，ノイズの少ないデータセッ

視覚的関連性が他方の名詞との間の視覚的関連性より高ければ，形容詞が前者の名詞を修飾している可能性が高くなると考えられるため，今回の分析結果をメタデータの 1 つとして用い，同時認識の精度向上を目指したいと考えている．
本論文の構成は次のようになっている．2 章では関連研究と先行研究，3 章では実験の手順，4 章では実験で用いた手法について記載している．また，5 章では本論文

図 1 car および red による検索結果の例

で行った実験と実験結果についてを記載し，6 章では実験結果に対する考察を行い，7 章では全体のまとめ，および，今後の課題についてを記載している．

2. 関 連 研 究
近年の画像認識分野における研究では，画像内に写っているオブジェクトの物体名のみでなく，色やテクス
チャ，また，“赤い”，“美しい” のような形容詞など，属性を取り上げた研究も増加してきている．ここではそのような，属性に着目した研究を紹介する．

T. L. Berg らの研究 [1] では，色，形，テクスチャという属性に着目している．この研究では，ショッピング
サイト内に記載されたテキストから属性に関連した単語を抜き出し，そのテキスト記述と対応した画像中から，最も属性を表している局所領域にラベル付けを行っている．また，局所領域は，75 × 75 ピクセルのブロックで表現されている．
D. Parikh らの研究 [2] では，“nameable” という観点から属性に着目している．“nameable” とは，人間が理解可能でかつ，言語表現が可能であるか否かを示すものである．この論文では，Amazon Mechanical Turk を用いた対話型アプローチによって，“nameable” な属性を発見しているA. Farhadi らの研究 [3] では，属性を用いた画像の描写を行っている．画像から “犬” のみを認識するのではな
く，“まだら模様の犬” と認識を行う．そのために意味的な属性に着目し，物体そのものを認識できない場合でも，“まだら模様” といった描写を可能としている．また，この描写を用いることで，区別的な属性にも言及することが可能となっている．すなわち，犬は持っているが羊は持たない属性を取り上げるならば，この属性は犬と羊を区別する属性といえる．さらに，区別的な属性を求めたことにより，本来そのクラスが持つであろう属性の非存
在や，本来は存在すべきでない属性の存在にも言及できている．そのため，ドアの写っていない車という認識も可能となっている．またこの論文では，属性が存在する
領域の推定も行っている．
S. Dhar らの研究 [4] では，美しさ，興味深さという，
特定の属性に着目している．美しさと興味深さの指針として，画像に写った物体の構成に関する属性と内容に関する属性という２種類の属性を取り上げている．構成に関する属性には，物体の顕著生や存在位置，色などがあり，内容に関する属性には，画像に主として写っている物体の種類や，撮影場所・場面がある．この研究では，
より人間の主観に依存しやすい属性に着目している．
論文 [1]，[2] では主に属性単体の認識を行っており，論文 [3] では，車に対するドアのように存在すべき物体を属性として扱っているが，本論文では，属性を形容詞に限定し，さらに名詞との組み合わせによる関係性に着目している．また，論文 [4] では，形容詞の中でも，美しさ
や興味深さという特定の形容詞について分析しているのに対し，本論文では，より一般的な形容詞を取り扱っている．
次に，本研究の先行研究となる論文の紹介を行う．ここで挙げるのは，柳井らの研究 [5]，秋間らの研究 [6] および，川久保らの研究 [7] である．
柳井らの研究では，単語概念における視覚性を定量化する方法としてエントロピーを提案し，150 個の形容詞に着目して視覚的関連性について言及している．本論文
内で使用するエントロピーによる単語の視覚性を数値化する方法，また，エントロピーの計算方法は，柳井らの研究によって提案された手法を用いる．
秋間らの研究では，概念間の距離関係や上下関係から概念間の階層構造を持ったデータベースを構築している．
上下関係を求める際にエントロピーを使用し，画像の分布を計算している．また，画像に付与されているタグ情報も使用している．
川久保らの研究では，単語概念における視覚性と地理的分布を求めている．この研究では，視覚性を求めるた
めに，領域分割やエントロピー計算を用いて，名詞や形
容詞といった概念クラスの画像分布の計算を行っている．
本論文で使用するエントロピーの手法は，論文 [5] で提案されたアプローチを用いる．本論文と先行研究の差
異は，クラスを 1 単語ではなく 2 単語の組み合わせで分類し，その組み合わせである名詞と形容詞の視覚的な関連度を求めている点である．

3. 提案手法の概要
3. 1 実 験 概 要
本研究では，名詞・形容詞間の視覚的関連性を，その名詞・形容詞の組み合わせに対応した画像の分布の広さで表現し，分布が狭いほど視覚的関連性が高いと判断す
る．分布の広さはエントロピーの概念を用いて数値化し，エントロピーの計算には画像から得られる局所特徴を用いる．
本研究での実験における実行手順を以下に示す．



実行手順



（ 1 ） Web 上からタグ検索による画像収集（ 2 ） 画像の領域分割（ 3 ） 領域ごとに特徴量抽出および BoF の作成（ 4 ） 正領域判定（ 5 ） 正領域ごとに特徴量分布を pLSA で計算（ 6 ） エントロピーの計算（ 7 ） タグ共起による関連度の計算（ 8 ） タグ間の関連性の分析ステップ 1 では，本論文における研究対象であるタグ付きの画像を Web 上から取得する．
収集した画像には，検索に使用したタグ情報と関連のとを考慮する必要があるものの，基本的には画像に写っている物体やシーン，また，形容詞のような状態の名前を示しているとみなせる．よって本実験での検索には，ない物体や背景も写っている．これらは画像分布を調べ

このタグ情報を利用している．

る際にノイズとなるため，除去する必要がある．タグ情4. 1. 1 Flickr API
Flickr API は写真共有サービスである Flickr が提供する Web API である．Flickr API の利用には，Yahoo.comの ID を取得し，Flickr にユーザ登録する事で得られる
ようになる API Key が必要となる．
Flickr API を 利 用 し て 画 像 の 検 索 を 行 う に は ，flickr.photos.search メソッドを用いる．flickr.photos.search
メソッドを利用する際には，パラメータを変更すること
で，画像検索の条件や取得データ内容を変更することができる．

flickr.photos.search メソッドの API リクエスト例 報と関連のある領域を正領域とし，この正領域をステッ
プ 2 からステップ 4 で推定する，ステップ 2 では，ノイズ除去の前処理として，画像の領域分割を行い，ステップ 3 では，分割された各部分領
域ごとに画像特徴量を抽出する．抽出した特徴量は BoFを用いることでベクトル化し，部分領域を数値で表す．
このベクトルを用い，ステップ 4 では SVM を利用して正領域の判定を行う．
ステップ 5 では，pLSA を用いて正領域とされた部分
領域の特徴ベクトルをクラスタリングする．ここでは，エントロピーの計算に必要な，画像内での隠れトピックの同時確率 P (z|d) を求める．
ステップ 6 では，名詞と形容詞を組み合わせたクラス
概念ごとの画像分布を，エントロピーを計算することによって求める．エントロピーは画像分布が狭まる，すな
わち画像特徴の分布が狭くなると減少し，分布が広まると増大する．よって，このステップで求めたエントロ
ピーが小さくなるほど，名詞と形容詞の間には高い視覚的関連性があると判断できる．

3. 2 タグ共起による関連度
本論文では，エントロピーによる視覚的関連度との比

http://www.flickr.com/services/method=
flickr.photos.search&api key=*****&tags=car,red&tag mode=all&content type=1&sort=interestingness-desc&per page=500&page=1&extras=date taken

4. 2 領 域 分 割
収集した画像からノイズを減らすために，領域分割を行った．領域分割には JSEG [8] を用いた．分割する際には，最大分割領域数は 10 とし，サイズの小さい領域は
統合する後処理を加えた．

較のため，画像に付加されたタグの共起による類似度を，

the Normalized Google Distance（NGD）によって求めた．これを用いて，視覚的な類似度と非視覚的な類似度
による，タグ間の関係性の違いについての考察も行った．

4. 3 特徴量抽出4. 提案手法の説明化することとした．特徴抽出では，領域分割をした画像

本研究では色を考慮した SIFT [9] である Color-SIFT
特徴を抽出し，Bag-of-Keypoints 表現を用いてベクトルの部分領域ごとに抽出を行い，抽出した特徴量は k=1000

この章では，実験で用いた手法の説明を行う．本実験の k-means でクラスタリングしたコードブックを基にでは，名詞と形容詞の間の視覚的関連性に言及するため，

BoF [10] を作成し，部分領域をベクトルで表現した．な
お，特徴抽出における特徴点の決定には Grid を用いた．
Grid による特徴点決定では，縦横共に 30 ピクセルごとの点を特徴点とした．そして，特徴点ごとにスケールを
12，15，18，23，30 として，SIFT 特徴の抽出を行った．
4. 3. 1 Color-SIFT 特徴
Color-SIFT は RGB 色空間の R，G，B それぞれの空間に対して SIFT 特徴を抽出し，それらを同一の特徴点ごとに連結させて新たな特徴ベクトルとする方法である．
そのため，この特徴ベクトルのサイズは 128 × 3 次元で表現される．

エントロピーの計算を行った．また，比較のためにタグ間の共起による関連度の計算も行った．

4. 1 画 像 収 集
Flickr API を用いて，名詞と形容詞の組み合わせ 1 組
ごとに，200 枚のポジティブ画像を収集した．収集の際には，名詞を 1 つ目のタグ，形容詞を 2 つ目のタグとして AND 検索を行い，両方のタグを持っている画像を収集した．また，ネガティブ画像はどちらのタグも持たない画像とし，こちらは 1 組ごとに 800 枚用意した．
また，収集した画像にほぼ同一な画像が多く含まれていると特徴が偏るため，同一投稿者からは 1 枚のみ画像を得ることとした．
Flickr には，画像投稿者が自由に画像へタグを付与する機能がある．このタグ情報には多少のノイズがあるこ

4. 4 正領域判定
画像からノイズとなる領域を除去するため，前節で説明した BoF を用いて正領域を判定した．正領域判定には Support Vector Machine（SVM）を使用した．

SVM による正領域判定手順を以下に示す．
正領域判定手順

文書 di と単語 wj の同時確率 P (di , wj ) を以下のように
表す．

（ 1 ） ポジティブ画像の全領域を正例およびテスト

P (di , wj ) =データ，ネガティブ画像の全領域を負例とする

K
X

P (di |zk )P (wj |zk )P (zk )

(1)

k=1

（ 2 ） 正例および負例を用いて SVM の学習を行う

また，文書 di 内において，単語 wj が生成される確率（ 3 ） テストデータの評価を行う

P (wj |di ) は，隠れトピック zk を用いて以下のように表すことができる．

（ 4 ） 評価の高さ順にテストデータをソートして，上P (wj |zk ) =位のデータのみを新たな正例およびテストデー

P (wj |zk )P (zk |di )

(2)

k=1

タとし，下位のデータはテストデータから削除

そして，文書 di 内での単語 wj の出現回数を n(di , wj )して負例に追加する（ 5 ） 2 から 4 を繰り返す
K
Xと表すと，データの対数尤度は次のように表すことができる．
正領域判定により正領域と判断された領域例を図 2 に示す．図 2 では赤線で領域が区切られており，正領域と判断された領域にはラベルが付けられている．
また，本論文では，SVM-light [11] というプログラムを使用して，分類を行っている．

4. 5 特徴量分布の計算
特徴量分布を計算するために，pLSA を利用して特徴ベクトルのクラスタリングを行った．また計算には，

fold-in heuristic [12] の手法を用いた．
4. 5. 1 pLSA
pLSA（probabilistic Latent Semantic Analysis）は，T. Hofmann によって提案された，テキストコーパス内のトピック検出を行う，統計的言語処理のためのモデルである [12]．
pLSA の 計 算 は 次 の よ う に 行 う．ま ず，di (i =1, 2, . . . , I) を文書，wj (j = 1, 2, . . . , J) を単語，zk (k =1, 2, . . . , K) を隠れトピックとする．隠れトピックとは，文書内における単語の生成に関するトピック変数である．次に，文書 di と単語 wj の生起は独立であると考え，

L=

I X
J
X

n(di , wj ) log(dj , wj )(3)

i=1 j=1

こ の 対 数 尤 度 を 最 大 に す る よ う な P (zk )，P (di |zk )，P (wj |zk ) を EM アルゴリズムを用いた最尤推定によって求める．
pLSA は統計的言語処理のモデルであるが，文書を画像，単語を局所特徴ベクトルに置き換えて考えることによって，画像認識においても利用されている．

4. 6 エントロピーの計算
エントロピーは pLSA によって求められた確率を用いて計算を行った．エントロピーは正領域を表す特徴ベクトルの分布が広くなると増大し，狭くなると減少する．
そのため，エントロピーの大小が，名詞と形容詞の組み合わせであるクラス概念に属する画像分布の広さを表す．
すなわち，エントロピーを計算することが，組み合わせ
ごとの視覚的関連性を求める事に繋がる．

4. 6. 1 エントロピー
pLSA を用いて求めた P (zk |di ) を用いて計算を行う．
各隠れトピック zk に対して，PI
P (zk |di )P (zk |wj ) = i=1(4)|I|を求める．次に，先ほど求めた P (zk |wj ) を用いて，各
画像 di に対して，H(P ) = −K
X

P (zk |wj ) log(P (zk |wj ))

(5)

k=1

を求める．この計算によって求まる H(P ) がエントロピーである．

図2

正領域の一例

4. 6. 2 相互情報量
相互情報量はエントロピーの差で表される値であり，この値でタグ間の関連度を示す。計算式は以下のようになっている．
M I(X; Y ) = H(X) − H(X|Y )(6)

H(X) はタグが 1 つのクラスのエントロピーであり，H(X|Y ) は 2 つのタグを組み合わせたクラスのエントロピーである．あるタグ X に Y というタグを組み合わせることで画像の分布が狭くなるならば，相互情報量が大きくなり，視覚的な関連度が高くなると判断できる．

4. 7 共起による関連度
共起による非関連度は，the Normalized Google Dis-tance（NGD）[13] と呼ばれる以下の式を用いて計算した．
N GD =

max {log f (x), log f (y)} − log f (x, y)
log N − min {log f (x), log f (y)}(7)

ここでは x を名詞，y を形容詞とし，f (x)，f (y) はそ
れぞれ，flickr において名詞および形容詞でタグ検索を行った際の画像枚数であり，f (x, y) は名詞および形容詞
で AND 検索を行った際の画像枚数である．また，N は

flickr の全画像枚数であるが，正確な枚数を把握することは困難なため，50 億枚と仮定した．

5. 実

験

5. 1 データセット
画像データは Flickr より API を利用して取得した．取図3

データセットの一例

得の際，同じ投稿者からの画像は 1 枚のみ取得するという制限をし，ポジティブ画像は 200 枚，ネガティブ画像
は 800 枚を取得した．また，ポジティブ画像の取得では，

Flickr の検索においてランキングが上位のものから順に取得した．ネガティブ画像は Flickr よりランダムに取得した画像の内，注目するクラスの名詞および形容詞のどちらのタグも付いていない画像を選択した．
今回の実験において，表 1 の 20 単語の名詞と，表 2 の
15 単語の形容詞を選択した．それにより，各名詞と各形
容詞の組み合わせである 20 × 15 個のクラスおよび，形
容詞による制限を加えない名詞のみの 20 クラスの計 320
クラスに着目し，エントロピーを計算した．
こ こ で ，car+red ク ラ ス ，sky+night ク ラ ス ，flower+summer クラス，に含まれる画像の一部を図 3に示す．

5. 2 実 験 方 法
前節のデータセットを用いて，以下のように実験を行った．
表 1 使用した 20 単語の名詞
beach bird boat bridge
car
cat
cloud
cup
dog flower fruit house people sea
sky
snow
sun
tower traintree
表 2 使用した 15 単語の形容詞
red
blue
green
black
white
circlesquare morningnight
wintersummernewoldbeautiful cool

5. 2. 1 領 域 分 割
領域分割には JSEG を使用した．分割を行う際の最大領域数は 10 領域である．ただし，この数字は最大の分割数であるため，領域数が 10 より小さくなる画像も多数存在する．また，小さい領域を統合する後処理も加えている．この際，画像を 1 とした時の相対サイズが 0.075 を超える領域は統合しないよう，パラメータ調整を行った．
5. 2. 2 BoF の作成
BoF を求めるために，まず，コードブックを作成した．コードブックの作成には，タグによる制限を加えずランダムに選択した 10000 枚の画像を使用した．この10000 枚の画像に対して Grid による特徴点決定を行い，Color-SIFT 特徴量を抽出し，全特徴量からランダムに100 万個の特徴量を選択した．この 100 万個の特徴量に対して，k-means 法を用いて k=1000 のクラスタリングを行った．そのため，本実験にて使用したコードブックのコードブックサイズは 1000 となっている．次に，デー
タセットとして用意したポジティブ画像とネガティブ画
像に対しても，同様に Color-SIFT 特徴を抽出した．そして先ほどのコードブックを用い，領域分割によって得た各部分領域ごとに，1000 次元の BoF を作成した．
5. 2. 3 正領域判定
正領域判定は，SVM を用いて行った．本実験では，
SVM による学習とテストを 5 回繰り返すことで，正領域を推定した．まずポジティブ画像の全領域の BoF をポ
ジティブデータ，ネガティブ画像の全領域の BoF をネガ
ティブデータとして SVM の学習を行い，それを用いて

図4

相互情報量の計算結果（赤：関連度が低いクラス，青：関連度が高いクラス）

全ポジティブデータをテストした．このテストで評価の表3高かった上位 600 個の BoF を次のポジティブデータおよびテストデータとし，残りの BoF はネガティブデータ
として，次の学習を行った．そして，2 回目のテストでは上位 500 個，3 回目のテストでは上位 400 個と 100 個ずつ減らした数の BoF をポジティブデータと見なすことにより，最終的に残った 200 個の領域が正領域であると判断した．

5. 2. 4 pLSA による特徴量分布の計算
本実験では，fold-in heuristics を用いて各クラスでpLSA の計算を行うために，まず，pLSA のベース分布を求めた．ベース分布を求める際に使用したのは，ポジ
ティブ画像における全領域の BoF からランダムに選択した 20000 個の BoF である．この BoF に対して pLSAを用いてクラスタリングを行い，特徴量分布を求めた．
この際のクラスタリングにおけるクラスタ数は 300 とした．また各クラスの分布を求める際は，クラスタ数の異なる 3 種類のベース分布による fold-in heuristics の手法を使用した．
5. 2. 5 エントロピーおよび相互情報量の計算
エント ロピ ーは pLSA を用いて計算した同時確率
P (z|d) を用いて計算を行った．また，エントロピーを用
いて相互情報量 M I を計算した．計算結果は，次の節にて掲載する．
5. 2. 6 タグ共起による関連度の計算
まず Flickr より，タグ X によるタグ検索の検索枚数と，タグ X，Y による AND 検索の検索枚数を調べた．
次に，その検索枚数から NGD を用いて関連度を計算した．この計算結果も，次の節にて掲載する．

相互情報量による類似度が高い主なクラス
sea+morning sky+morning

sun+redsky+night
sun+beautiful
car+redflower+blue
sun+circle
表 4 タグ共起による類似度が高い主なクラス
snow+wintersky+blue
tree+green
flower+green
sea+bluesun+beautiful
flower+red
sun+blue

5. 3 実 験 結 果
各クラスについて相互情報量を計算した．pLSA によるクラスタリングのクラスタ数を 300 とした際の相互情報量の計算結果を図 4 に示す．形容詞と組み合わせたク
ラスでは，名詞のみのクラスのエントロピーからの減少量を掲載している．また，相互情報量が大きく，またはNGD が小さくなり，類似度が高いと判断された主なクラスを表 3，4 に示す．また，共起を用いた類似度に関する NGD の計算結果を図 5 に示す．

6. 考

察

実験結果より，各クラスの相互情報量について比較を行う．相互情報量は名詞と形容詞を組み合わせた各クラ
スにおける画像分布が広がると減少し，狭まると増大する．したがって，相互情報量が大きいクラスでは，名詞と形容詞の間に高い視覚的関連性があると判断する．また，タグ共起による関連度を測る NGD は小さいほど意
味的関連性があると判断する．

6. 1 相互情報量についての考察
まず，色が大きく影響している画像の多いクラスで相

図5

図6

タグ共起による NGD の計算結果（赤：関連度が低いクラス，青：関連度が高いクラス）

色が大きく影響したクラスの正領域の一例

図7

色に関する形容詞と組み合わせたクラスの正領域の一例

互情報量が大きくなりやすい傾向を発見した（図 6 参照）．

大きかったクラスでは，正領域内に特定の物体や色が含例としては，sea+morning，sky+morning，bridge+blue

まれているのに対して，相互情報量が小さかったクラス

クラスが挙げられる．sky+morning クラスに含まれるでは，必ずしも類似した物体や色が含まれておらず，こ

画像の正領域を見ると，朝焼けの赤色や，晴天の空のよれによって視覚的関連性を直感に基づいて正しく計算でうな青色が多くを占めた領域となっていた．このためクきたのだと考えられる．

ラス内の画像分布が狭くなり，相互情報量の増大につながったと考えられる．しかし，bridge+blue クラスに含まれる画像には，青い橋の画像が少ないにも関わらず，

6. 2 タグ共起による類似度との比較についての考察

視覚的関連性が高くなった．これは，橋全体を写すため第一に，タグ共起による関連性は低いが，視覚的な関に遠景画像が多く，橋の周囲の海や川，また空の青色が連性が高いクラスが存在していた（図 8 参照）．例とし

画像や正領域に多く含まれてしまい，視覚的関連性が高て，people+old クラスを挙げる．old と組み合わせたクくなったのだと考えられる．

ラスでは，視覚的関連性，タグによる関連性ともに関連

次に，色に関する形容詞と組み合わせたクラスに着目性が低くなっているが，その中でも house や people とすると，形容詞の示す色が名詞の示す物体を直接修飾しいった人工物や生物に関わる名詞と組み合わせた時に，ているクラスにおいて，相互情報量が大きくなる傾向

視覚的関連性が，他のクラスと比較して高くなるというが存在した（図 7 参照）．色に関する形容詞と組み合わ傾向が見受けられた．

せたクラスにおいて，相互情報量の大きい例としては，また，対照的にタグ共起による関連性は高いが，視覚

sun+red，car+red クラスを，相互情報量の小さい例としては，cat+red，dog+red クラスを挙げることができる．このようなクラスについて考えると，相互情報量が的な関連性が低いクラスも存在していた（図 9 参照）．
例としては，beach+summer，sky+green クラスが挙げられる．beach+summer クラスでは，浜辺の画像だけ

7. 2 今後の課題
今回の実験ではデータセットが Flickr のみであること
や，使用した特徴量が Color-SIFT のみであることから，他のデータセットや特徴量を使用した実験を行うことも改良点として挙げられるのではないかと考える．これについては，データセットや特徴量の組み合わせを数種類用意し，エントロピーの増減の変化が各組み合わせの間で見受けられるかどうかにも着目したいと思う．
図8

タグによる関連度が低く、視覚的関連度が高いクラスの正領域の一例

また，今回求めた視覚的関連性の分析結果を利用する
ことで，ノイズとなる画像を減らした，視覚的関連性を考慮したようなデータセットの作成に発展させたいと考えている．さらに，そのデータセットを用いることに
よって，名詞と形容詞の同時認識という分野における学
習および分類精度を向上させることができるのではないかと期待している．
文

図9

タグによる関連度が高く、視覚的関連度が低いクラスの正領域の一例

でなく，海水浴をしている人間の画像も多いために，視覚的な関連性が低くなったのだと考えられる．そして，

sky+green クラスでは，草原の画像が多く含まれており，
green と共起しやすい grass のようなタグと sky タグの共起も同様に高いことから，タグ共起による関連性が高くなったのだと考えられる．しかし，視覚的な関連性を用いることで，関連性の低さを示すことができた．

7. お わ り に
7. 1 ま と め
本論文では，Flickr から特定の名詞と形容詞の両方のタグが付いた画像を収集し，それらの画像から特徴量抽出を行い，画像分布をエントロピーという形で数値として計算した．また，名詞と形容詞の間にある視覚的関連性について，エントロピーの増減から名詞と形容詞を組み合わせたクラスごとに比較，考察を行った．
結果として，特定のクラスでは直感的な視覚的類似に伴った，相互情報量の計算結果を得ることができた．そのため，色に関するような形容詞を組み合わせたクラス
における視覚的関連性は，タグ間の関連性を示しやすいという傾向を得ることができた．
しかし，クラス全体および類似度の上位の結果を見ると，NGD を用いたタグ共起による類似度のほうが，より直感に合う結果を示していた．

献[1] T. L. Berg, A. C. Berg, and A. J. Shih. Automatic attribute discovery and characterization from noisy web
data. In Proc. of European Conference on Computer
Vision, pp. 663–676, 2010.
[2] D. Parikh and K. Grauman. Interactively building a
discriminative vocabulary of nameable attributes. In
Proc. of IEEE Computer Vision and Pattern Recognition.
[3] A. Farhadi, I. Endres, D. Hoiem, and D. Forsyth. Describing objects by their attributes.
[4] S. Dhar, V. Ordonez, and T.L. Berg. High level describable attributes for predicting aesthetics and interestingness. In Proc. of IEEE Computer Vision and
Pattern Recognition, pp. 1657–1664. IEEE, 2011.
[5] 柳井啓司, Kobus Barnard. 一般物体認識のための単語
概念の視覚性の分析. 情報処理学会論文誌: コンピュー
タビジョン・イメージメディア, Vol. 48, No. SIG10(CVIM17), pp. 88–97, 2007.
[6] 秋間雄太, 川久保秀敏, 柳井啓司. Folksonomy を用いた画像特徴とタグ共起に基づく画像オントロジーの自動構築. 電子情報通信学会論文誌. D, 情報・システム,
Vol. 94, No. 8, pp. 1248–1259, 2011.
[7] 川久保秀敏, 柳井啓司. 単語概念の視覚性と地理的分布の関係性の分析. 電子情報通信学会論文誌. D, 情報・シ
ステム, Vol. 93, No. 8, pp. 1417–1428, 2010.
[8] Y. Deng and B. S. Manjunath. Unsupervised segmentation of color-texture regions in images and video.
IEEE Transactions on Pattern Analysis and MachineIntelligence, Vol. 23, No. 8, pp. 800–810, 2001.
[9] D. G. Lowe. Distinctive image features from scaleinvariant keypoints. International Journal of Computer Vision, Vol. 60, No. 2, pp. 91–110, 2004.
[10] G. Csurka, C. Bray, C. Dance, and L. Fan. Visual
categorization with bags of keypoints. In Proc. of
ECCV Workshop on Statistical Learning in Computer
Vision, pp. 59–74, 2004.
[11] T. Joachims. SVM light : Support Vector Machine.
http://svmlight.joachims.org/.
[12] T. Hofmann. Unsupervised learning by probabilistic
latent semantic analysis. Machine Learning, Vol. 43,
pp. 177–196, 2001.
[13] R.L. Cilibrasi and P.M.B. vitanyi. The google similarity distance. Knowledge and Data Engineering, IEEE
Transactions on, Vol. 19, No. 3, pp. 370–383, 2007.