「画像の認識・理解シンポジウム (MIRU2009)」 2009 年 7 月

単語概念の視覚性と地理的分布の関係性の分析
川久保秀敏†

柳井 啓司†† 電気通信大学 情報工学科
東京都調布市調布ヶ丘 1-5-1
E-mail: †kawaku-h@mm.cs.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし

本研究の目的は，単語概念と画像特徴量の関係性を Web 上の大量の画像データを用いて定量的に分析することである．具体的には，（1） Bag-of-Features 表現を用いた画像領域エントロピーによる単語の視覚性の分析，（2） 位置情報付きの画像の分布を表すジオエントロピーによる単語概念の地理的分布の分析，（3）画像領域エントロ
ピーとジオエントロピーによる単語の視覚性と地理的分布の関連性の分析，を行った．本研究では，230 語の名詞と，

100 語の形容詞について，Web からそれぞれ対応する画像を 500 枚ずつ収集し，これらの分析を行った．分析の結果，“sun” や”rainbow” など空に関する名詞は，他の単語に比べて画像領域エントロピーが小さく，ジオエントロピーが大きい傾向が分かった．一方，地名・地域名や偉人名に関する単語は，ジオエントロピーが小さく，画像領域エント
ロピーが大きい傾向にあった．
キーワード 一般物体認識，画像領域エントロピー，位置情報つき画像

An Analysis of the Relation between Visual Concepts and Geo-locations
Hidetoshi KAWAKUBO† and Keiji YANAI†† Department of Computer Science, The University of Electro-Communications
E-mail: †kawaku-h@mm.cs.uec.ac.jp, ††yanai@cs.uec.ac.jp
Abstract The purpose of this study is to analyze a relationship between word concepts and features of images. In
this paper, we explore (1) visualness of word concepts with “image region entropy” with the bag-of-features (BoF)
representation, (2) geographical distributions of word concepts with “geo-entropy” which is estimated from a large
amount of geotagged images, and (3) a relationship between visualness of concepts and geographical distributions.
In the experiments, we collected 500 images per concept for 230 noun concepts and 100 adjective concepts fromthe Web, and applied the proposed BoF-based image region entropy and geo-entropy to all the collected images.
From analysis of the results, we found the following tendencies: Word concepts related to “sky” such as “sun” and“rainbow” have smaller image region entropy and larger geo-entropy. In contrast, concepts related to places, areasand historical persons have larger image region entropy and smaller geo-entropy.
Key words generic object recognition, image region entropy, geotagging images

1. は じ め に近年，デジタルカメラや WWW（World Wide Web）の普及によって，一般の個人が生活の中でデジタル画像を扱う機会が増加している．デジタル画像を取り扱う際，画像の内容を理解する必要が生じることがある．そのた
め，計算機が画像の内容を認識し，認識結果を画像への自動処理に生かすことへのニーズが高まっている．現在，計算機による画像内容の自動認識は，限定された状況下で実用化されている．一部のデジタルカメラは，被写体の顔の位置や表情を認識する機能を持っている．この機能は認識対象を人間の顔に限定することで，実用化に足る認識精度を得ている．

一方，制限の無い実世界画像に対して，画像中の物体を認識することを「一般物体認識」[1] という．一般物体
認識の目的の一つとして，画像に対して内容を意味する
単語を付与することがある．計算機による一般物体認識
では，画像の視覚特徴量やメタデータといった情報をもとに付与する単語を決定する．特徴量と結び付きの強い
単語ほど，視覚性を持つ単語と言え，一般物体認識に用いるのに適している．一般物体認識に適した単語を自動的に選出するためには，単語と画像特徴の関係性を定量化する必要性がある．また，単語は地域や文化によって，対応する画像が異なる場合がある．例えば，日本の家とヨーロッパの家，アフリカの家，エスキモーの家は，それぞれ見た目が大きく異なり，「家」に対応する画像特徴

量は地域によって異なってくる．
本研究の目的は，単語概念の視覚性と地理的分布を定量化し，視覚性と地理的分布の関連性を分析することである．具体的には，「家」のように地域によって異なる視覚特徴を持つ単語概念と，「空」のような世界中どこに行っても大きな変化がない単語概念を，Web から収集した大量の位置情報付き画像データから自動的に発見する手法を提案する．
本研究の分析は，一般物体認識における学習データセットを構築する際に，位置に依存するローカルな単語
概念，依存しないグローバルな単語概念を区別してデー
タセットを構築することを可能とし，様々な地域，文化に対応した認識システムの実現に役立つ．また，単語概
念と画像特徴量・位置情報の結び付きを調べることは，
位置情報を用いた一般物体認識 [2] において，適した単語を自動選出することや，画像データセットの自動作成に役立つ．
近年，Web 上の写真共有サービスには，撮影場所の位
置情報が付与された画像が増加している．特に，Flickr
ではすでに 4000 万枚の位置情報付きの画像が登録されている．本研究は，そうした大量の位置情報付き画像を活用する新しい画像認識研究のための基礎的な研究であると言える．
単語概念の視覚性の定量化は，「画像領域エントロ
ピー」[3], [4] を用いて行う．視覚特徴量として SIFT [5]と Bag-of-Features 表現 [6] を用いる．単語概念の地理的分布は，エントロピーに基づく手法で定量化する．本研
究では 230 語の名詞と 100 語の形容詞を実験対象単語としている．

2. 関 連 研 究
単語概念と視覚特徴の関係性を調査した既存研究として，柳井らの研究 [3], [4] がある．柳井らは単語概念の視覚性を定量化する手法として画像領域エントロピーを提案し，150 語の形容詞について視覚特徴との関係性の強さを調査した．柳井らの研究の結果では，色名の画像領
域エントロピーが小さくなる傾向があった．これは特徴
量に色特徴を用いたためである．
Koskela らは人手でラベル付けされたデータセットを用いて，概念と特徴量の関係性や，概念間の類似性について調査を行っている [7]．Koskela らはラベル付き映像のキーフレーム画像から視覚特徴量を算出し，280 種類の概念（複数の単語で示される概念を含む）との関係性を調査している．Koskela らの研究の結果では，データセット中で出現頻度の高い概念はエントロピーが大きかった．出現頻度が低い概念にはエントロピーが大きい
ものも小さいものもあった．
柳井らの研究や，Koskela らの研究ではエントロピーに基づく手法で，単語概念と画像特徴量の関係を分析している．本研究もまた，エントロピーを利用した手法で実験と分析を行っている．エントロピーを用いた手法では，単語に関する特徴量のばらつきを分析することができる．一方で，単語概念と特徴量の関係性をモデル化する研究が存在する．Weijer らは色名とピクセル値の関係性をモデル化し，11 語の色名について学習実験を行っている [8]．Ferrari らは縞模様や水玉模様など，部分領域のペアで表現される視覚属性に対応したモデルを提案している [9]．Gupta らは前置詞や比較形容詞に注目し，2つ部分領域の関係性をモデル化している [10]．Gupta らは提案したモデルを用いて，部分領域へのラベル付け実験を行っている．
単語概念の視覚性の分析に，位置を取り入れた研究は従来はなく，本研究が初めてである．関連する研究としては，J. Hays らの画像から位置情報を推定する研究のIM2GPS がある [11] ．彼らは，600 万枚という大量の位
置情報付き画像に対して，類似画像検索をすることによって任意の 1 枚の画像について，地球上での撮影位置の確率分布を求めことが出来ることを示した．この結果
は，画像の位置の分布パターンについて，画像の種類と深く関連があることを示唆している．

3. 方

針

3. 1 単語と視覚特徴量の関係性の分析
本研究では，柳井らが提案した「画像領域エントロピー」[3], [4] を用いて単語の視覚性を分析する．画像領域エントロピーを求める手順の概要を以下に示す．
（ 1 ） 単語に関係する画像データセットを用意する．
（ 2 ） 画像を領域分割する．
（ 3 ） 部分領域ごとに特徴量を抽出する．
（ 4 ） 単語に関係する部分領域（正領域）を自動選出
する．
（ 5 ） 正領域に関して，特徴量の分布を算出する．
（ 6 ） 正領域に関する特徴量分布のエントロピーを求
め，画像領域エントロピーとする．
柳井らは視覚特徴量として，色・テクスチャ・形状を用いているが，本研究では SIFT 記述子 [5] と Bag-ofFeatures 表現 [6] を用いる．また，柳井らは混合ガウス
分布を用いて，正領域の選出と特徴量分布の算出を行っている．一方，本研究では正領域の選出に SVM [12] を利用し，特徴量分布の算出には pLSA [13] を用いる．

3. 2 単語とジオタグの関係性の分析
ジオタグとは写真が撮影された場所の緯度と経度である．Web 上の写真共有サービス Flickr [14] が提供している Web API [15] を用いることで，単語に関連する画像のジオタグを収集することが可能である．本研究では，単語について収集したジオタグのばらつきをエントロピーで評価する．このエントロピーをジオエントロピーと呼ぶことにする．

表 1 正領域の選出手順

図1

4. 手

単語 X の画像領域エントロピーを求める手順順

4. 1 画像領域エントロピーの算出手順
本研究における，画像領域エントロピーを求める手順を図 1 に示し，各手順についての説明を述べる．
4. 1. 1 実験画像の収集
本研究では，単語概念に関する画像のデータセットとして，Web 上から収集した画像のデータセットを用いる．Web 上からの画像収集では，Flickr,Yahoo の Web
API [15], [16] を用いて画像検索を行う．各単語を検索ク
エリとし，検索結果の上位のものから順に 500 枚を収集する．Flickr API では検索結果のソート順に relevanceを指定し，ジオタグがついていない画像も収集している．Flickr API を用いて収集した画像と，Yahoo 画像
検索 API を用いて収集した画像は，別々のデータセッ
トとする．また，人手で作成されたデータセットとしてCaltech256 [17] を利用する．
4. 1. 2 一般画像データセットについて
一般画像データセットは，画像一般を表すためのデー
タセットである．画像領域エントロピーを求める際に，結果を比較可能なものとするためには，基準となる潜在トピックモデルが必要である．基準となる潜在トピックを生成するために大量の一般画像データを用いる．Web
上から収集した画像の中から 10000 枚をランダムに選出
し，一般画像データセットとした．
4. 1. 3 前処理・領域分割・SIFT 記述子抽出
画像に対する前処理では，まず長辺が 400 ピクセルを越える画像を，長辺が 400 ピクセルになるように縮小する．そして SIFT 記述子を抽出するためのグレースケー
ル化した画像を作成する．
領域分割は JSEG [18] を利用して行う．領域の数が多い場合は領域結合処理が行われ，10 個前後の部分領域が得られる．
SIFT++ [19] を用いて，SIFT 記述子抽出をグレース

step.1 : 正と負の学習データのそれぞれ 1/3 をランダムに選出し，それらを用いて SVMを学習させる．
step.2 : 正と負の全学習データを SVM で評価する．各データの評価結果として，符号つきの値を得る．値が大きいほど正データであると評価されている．
step.3 : 正の学習データのうち，評価結果の値が大きい 1/3 を選出し，正領域とする．選
出結果を出力する．
step.4 : 負の学習データのうち，評価結果の値が小さい 1/6 を選出する．さらに，ランダ
ムに 1/6 を選出する．
step.5 : step.3 で選出したデータと，step.4 で選出したデータを用いて SVM を学習させる．
step.6 : step.2 に戻る．

ケール化した画像に対して行う．特徴点は SIFT アルゴ
リズムの DoG 処理によるものではなく，画像中のランダムな座標点 2000 個を特徴点とするようにした．
4. 1. 4 Bag-of-Features 表現
領域分割で得られた各部分領域を，Bag-of-Features 表
現によって特徴ベクトル化する．部分領域に含まれる特徴点から抽出された SIFT 記述子を用いて，code bookに関するヒストグラムを作成する．Code book は一般画
像データセットから抽出した SIFT 記述子を k-means 法
でクラスタリングして作成する．Code book の要素数は300 とした．
4. 1. 5 SVM による正領域の選出
Bag-of-Features 表現ベクトルをもとに，SVM を用いて単語に関係する「正領域」を選出する．
正領域の選出手順を表 1 に示す．単語に関する画像
データセットから得られた部分領域が正領域の候補であり，それらの Bag-of-Features 表現ベクトルが正の学習データとして使われる．候補となる領域のうち，1/3 が正領域として選出される．部分領域を単位として選出処理を行うため，正領域が 1 つも選出されない画像も有り得る．選出手順の反復部分は 5 回実行され，5 種類の選
出パターンが得られる．
SVM の学習の際には，単語に関係しない負の学習デー
タを与える必要がある．Web 上から収集された画像のうち，500 枚をランダムに選出し，負の学習データを作るための画像データセットとした．これは一般画像デー
タセットの作成方法と同じである．画像一般についてのデータを負とすることで，単語特有の Bag-of-Features
表現ベクトルを学習しようと考えた．
4. 1. 6 pLSA のパラメータ推定選出された正領域の Bag-of-Features 表現ベクトルを用いて，pLSA のパラメータ推定を行う．正領域の選出パターンは 5 種類得られる．それぞれの選出パター

ンについてパラメータ推定を行う．パラメータ推定は
fold-in heuristics [13] を用いて行い，一般画像についての P (w|z) を指定する．w は Bag-of-Features 表現でのcode book の要素を示し，z は pLSA の潜在トピックを示す．
一般画像についての P (w|z) は，一般画像データセッ
トを用いて求める．一般画像データセットに対して Bagof-Features 表現ベクトル作成までの処理を行い，pLSAの通常のパラメータ推定で P (w|z) を求める．潜在トピッ
クの個数は 300 とした．一般画像についての P (w|z) は，実験全体で共通のものを用いる．
4. 1. 7 画像領域エントロピー算出
pLSA のパラメータ推定結果をもとに，単語 X の画像
領域エントロピー H(X) 算出する．パラメータ推定で求まった確率 P (z|d) を用いて算出する．ここでの d は正領域を示す．
画像領域エントロピーを求める計算式を式 (1)・式 (2)に示す．式中の I は正領域の数を示している．5 種類の選出パターンそれぞれについて計算を行い，5 つの画像
領域エントロピーを得る．SVM による正領域の選出パ
ターンが 5 種類あるため，5 種類のエントロピーが求まる．その中の最小値を，最終的な画像領域エントロピーとする．
X
P (zk |X) log2 P (zk |X)(1)
H(X) = −k

P (zk |X) =1X
P (zk |dX
i )
I i

(2)

4. 2 ジオエントロピーの算出手順
単語に関係するジオタグをヒストグラムにし，エント
ロピーを求める．ジオタグは Flickr API を用いて収集する．Flickr のジオタグつき画像は，一部のユーザーによって大量に投稿されていることがある．同一ユーザー
によって投稿されたジオタグは，各単語に関して最大 10個までしか収集しないようにした．
緯度・経度を 10 度ごとに区切って，ヒストグラムのビンとした．よってヒストグラムは 648 次元となる．ヒスト
グラムは合計が 1.0 になるように正規化される．単語 Xについてのヒストグラムからジオエントロピー Hgeo (X)を求める式を式 (3) に示す．ヒストグラムの要素を bi で表している．
X
Hgeo (X) = −bi log2 bi(3)

表 2 230 語の名詞
africa, airplanes, alexander, alligator, america, ant, asia, bach, backpack,banana, barbecue, battle, beach, bear, beauty, beaver, bee, beer, beetle,
board, boat, bob, book, box, bread, brother, buddha, bug, building, burger,bus, butterfly, cactus, cake, california, canada, candy, canoe, car, castle,cat, cedar, chair, chalk, cherry, chicken, china, circle, city, coffee, coke,color, computer, cookie, coral, crow, dandelion, daughter, desert, desk,
dessert, deutschland, dice, dish, doctor, dog, dolphin, dragonfly, dream,
duck, eagle, edison, eel, egg, egypt, eiffel tower, election, elephant, elevator, erica, europe, father, fern, field, fireworks, fish, flea, flower, fly, fork,
france, frog, fruit, game, gates, giraffe, goat, goose, gorilla, grape, grass,
grasshopper, gun, half, ham, hawk, height, helicopter, hibiscus, hornet,
horse, house, ice cream, india, insect, italia, ivy, japan, jellyfish, jump,
kangaroo, kayak, killer whale, lamp, lavender, lawn, leaf, lemon, level, library, light, lincoln, lion, lizard, locust, love, mangrove, manta, mantis,
marriage, mars, milk, mint, monkey, moon, mosquito, moss, moth, mother,mountain, mouse, mozart, museum, mushroom, napoleon, new york, octopus, owl, oyster, palm, paris, park, parrot, party, pen, penguin, people,
phone, pine, pizza, plant, pool, pope, potato, pride, pyramid, rabbit, rainbow, rice, rome, rose, salad, salmon, santa claus, school, sea, shakespeare,shark, ship, shrimp, sister, sky, skyscraper, snail, snake, socks, son, sound,spider, sport, square, starfish, steak, sun, sushi, swan, sword, tea, teacher,
temple, test, thomas, tiger, toad, tokyo, tool, town, tripod, tulip, tuna,turtle, usa, valley, village, watch, waterfall, whale, wine, worm, zoo

表 3 100 語の形容詞
aerial, ancient, antique, bad, beautiful, best, better, big, black, blue,
botanical, bottom, bright, brown, cherry, classic, clean, clear, cold, colourful, concrete, cool, crazy, cute, dark, digital, dry, electric, empty, famous,
female, first, general, good, grand, gray, great, green, happy, hard, heavy,high, historic, holy, hot, human, iced, interior, international, large, latest,
long, male, medieval, military, mobile, modern, more, most, national, natural, nautical, new, nice, old, older, oldest, open, orange, outdoor, pink,present, public, purple, rainy, red, rural, rusted, scenic, second, sexy, short,small, special, sunny, sweet, top, traditional, tropical, twin, underwater,urban, vintage, warm, welcome, white, wide, wild, wooden, yellow

表 4 データセットの比較に用いる 30 語の名詞
airplanes, backpack, bear, buddha, butterfly, cactus, cake, canoe, dice,dog, duck, eiffel tower, elephant, fireworks, goose, helicopter, horse, kayak,
mars, mushroom, people, pyramid, rainbow, skyscraper, socks, spider,swan, tripod, watch, waterfall

実験対象とした．実験対象単語を表 2 と表 3 に示す．
全実験対象単語について画像領域エントロピーとジ
オエントロピーを算出した．画像領域エントロピーはFlickr から収集した画像を用いて求めた．
名詞のうち表 4 に示す 30 語については，Yahoo の
Web API を利用して収集した画像を用いた場合と，Caltech256 の画像を用いた場合についても画像領域エント
ロピーを求めた．
名詞と形容詞について求めた画像領域エントロピーとジオエントロピーの一部を表にして示す．まず画像領域
エントロピーについて，名詞の中での大小 20 位を表 5に示し，形容詞の中での大小 10 位を表 6 に示す．次にジオエントロピーについて，名詞の中での大小 20 位を表 7に示し，形容詞の中での大小 10 位を表 8 に示す．名詞
230 語について，2 種類のエントロピーの大小 46 語の重なりを図 2 に示す．各単語の 2 種類のエントロピー値をプロットしたものを図 3 と図 4 に示す．
表 4 に示した 30 語の名詞について，3 種類の画像デー
タセットを用いて画像領域エントロピーを求めた．その結果を表 9 に示す．各単語について，3 つの画像領域エントロピーの中で最も小さい値を太字にしている．

i

ビンの区切る緯度・経度を 5 度ずらすことで，4 通りのヒストグラムが得られる．4 通りのヒストグラムから
4 つのジオエントロピーを求め，その中の最小値を最終的なジオエントロピーとする．

5. 実 験 結 果
本研究の実験では 230 語の名詞と，100 語の形容詞を

6. 考

察

本節では，まず，画像領域エントロピーを算出するために行う正領域の選出について考察を行う．次に画像領域エントロピーとジオエントロピーの算出結果について考察を行い，最後に単語に関する画像データセットについて考察する．

表 5 名詞の画像領域エントロピー H(X)
小さい 20 単語
単語
H(X)
sun
3.6497
rainbow
4.5538moon
4.6686dragonfly 4.7550
sky
5.1049mantis
5.1897egg
5.2288
airplanes
5.3851bee
5.4210light
5.4524fly
5.4916
coffee5.6160bug
5.6407mouse
5.6558butterfly
5.6785lemon
5.7096dream
5.7173
lamp
5.7347
insect
5.7560tulip
5.7700

表6

大きい 20 単語
単語
H(X)
horse
7.3057pizza
7.3071salad
7.3093africa7.3101japan
7.3387oyster
7.3435flea
7.3590tiger
7.3874rice
7.3906rome
7.4013usa
7.4020backpack
7.4086
italia7.4111town
7.5177
santa-claus 7.5431
house
7.5598napoleon
7.5704school7.6173lincoln
7.7327
mozart7.8349図2

エントロピーの大小の重なり（名詞について）

形容詞の画像領域エントロピー H(X)
小さい 10 単語
単語
H(X)orange5.5608yellow
5.6780dark
5.7451latest
5.8305white
5.9033clean
5.9623pink
5.9857
botanical 6.0937
happy
6.1351nautical
6.2085大きい 10 単語
単語
woodenoldestconcreteolderinternational
traditional
generalpublicvintagehistoric

H(X)7.34697.37287.38277.3905
7.39947.42687.50157.5253
7.59727.6257

図3

２種類のエントロピー値の分布 (名詞)

図4

２種類のエントロピー値の分布 (形容詞)

表 7 名詞のジオエントロピー Hgeo (X)
小さい 10 単語
単語
deutschland
rome
tokyo
paris
eiffel-tower
california
new-york
italiafranceegypt
japan
mozartlincolneuropecanadacastlebachnapoleonindia
shakespeare

Hgeo (X)0.26020.38430.62530.67300.74610.8776
1.02641.31051.4833
1.84762.29732.69042.7962
3.03793.2612
3.39483.4406
3.46863.48743.5342大きい 10 単語
単語
beetlegrasshopper
ricewaterfallmonkey
boat
sun
pool
bananaparrotsea
motherteacherlizardfruit
hibiscus
ant
coral
fish
mosquito

Hgeo (X)5.32255.3301
5.34255.34495.36005.37555.41095.42255.46745.47675.49365.51145.54175.54485.57795.58565.61475.65655.7831
5.9759表 8 形容詞のジオエントロピー Hgeo (X)
小さい 10 単語
単語
Hgeo (X)
medieval 3.4364
modern3.7842new
3.8983rainy
4.1315grand
4.1568cherry4.1782big
4.2196nice
4.2972
public4.3603historic
4.4289大きい 10 単語
単語
Hgeo (X)yellow
5.2554blue
5.2709cute
5.2842small
5.3409beautiful
5.3897dry
5.4144colourful
5.4545
tropical
5.5687
underwater 5.7688
traditional
5.8487

6. 1 正領域の選出結果について
SVM を利用して行った正領域選出の結果について考察する．画像領域エントロピーを求めるために選出された正領域の一部を図 5 と図 6 に示す．赤い線が部分領域の境界を示し，正領域には「正」と書かれた緑のラベルが付いている．単語は画像領域エントロピーが小さかった 3 語と大きかった 3 語である．
類似した特徴を持つ領域が数多く出現していれば，それらが正領域として選出されており，正領域選出の処理は概ね狙い通りに動作していると考える．
“sun”, “rainbow”, “moon” といった単語では，単語が示す物体や空の領域が多く存在したため，それらが正領域に選出されている．“orange”, “yellow” では，単語が示す色を持つ領域が多かった．しかし今回の実験では，正領域の選出に色特徴を用いていないため，他の色を持
つ領域が多く選出されている．“dark” では黒く平坦な領域が多かったため，そうした領域が多く選出されている．
視覚との関係性が弱い単語では，様々な画像が収集さ表 9 3 通りの画像データセットから求めた
画像領域エントロピーの比較
単語
airplanes
backpack
bear
buddhabutterfly
cactus
cake
canoe
dice
dog
duck
eiffel-towerelephant
fireworks
goosehelicopter
horse
kayak
mars
mushroom
peoplepyramid
rainbow
skyscraper
socks
spiderswan
tripodwatch
waterfall

表 10

画像データの収集方法
Caltech256
FlickrYahoo
3.89065.3851
6.86355.39037.40866.7522
7.2956
7.10266.71537.60146.9686
7.1653
6.86135.6785
7.12196.31566.96016.64657.64047.03147.28357.05637.20957.3451
6.78486.3372
6.56677.37497.12107.05307.2922
7.12697.53986.10216.62266.75997.3135
7.14676.92605.77396.09375.91397.39256.7513
6.97936.8465
7.11747.62186.90097.30577.05467.2011
6.61477.6775
3.15176.67676.5565
6.3381
7.11307.03787.3143
6.8875
7.57396.87656.67367.12073.86864.55386.12275.35886.24496.82186.05107.19657.5213
5.97606.1141
7.29877.02086.87427.80302.90256.46074.94196.58486.59876.65176.5121
6.86596.3780

最終的な画像領域エントロピーを与えた反復回数の統計
反復
回数
1
2
3
4
5

名詞 230 語
Flickr
4
12
22
57
135

名詞 30 語Yahoo Caltech256
2
0
2
1
1
1
9
4
16
24

形容詞 100 語
Flickr2
6
8
26
58

れる．そのため多様な物体の領域が選出されている．抽象度が高い単語や，多義性を持つ単語では，どういった領域を正領域とするかは難しい問題である．今後の課題
として，各領域が正である確率を求めた上で，それを画像領域エントロピーの計算に組み込むことが考えられる．

6. 1. 1 正領域を選出する反復処理について
本研究の実験では，正領域の選出を反復して 5 回行っている．5 回の反復のうち，どの回数の選出結果が，最も小さい画像領域エントロピーを与えたのかを調べた（表10）．反復を重ねた場合の選出結果が，最終的な画像領域エントロピーを与える傾向にある．反復処理によって，より小さい画像領域エントロピーを与えるような正領域が得られていることが分かる．

6. 2 名詞のエントロピーについて
名詞について求めた画像領域エントロピーとジオエン
トロピーについて考察する．まず，最も特徴的かつ自然な結果として，地名・地域名のジオエントロピーが小さくなる傾向があったことが挙げられる．また，過去の偉人の名前も小さいジオエントロピーを示す傾向にあった．
地名・地域名や偉人名といった単語は画像領域エントロ
ピーが大きい傾向にあった（図 2）．これは地名が示す場
所に存在する多様な物体が被写体になりうることや，偉図5

正領域の選出結果の一部（名詞）

人にちなんだ物体の視覚的多様さを示している．
画像領域エントロピーが小さい単語には，“sun” や“rainbow” といった空に関する単語が挙げられる．これ
らの単語のジオエントロピーは大きい傾向にあった（図2）．世界中に同じような見た目で存在する物は，世界の誰が撮影しても似たような画像となるため画像領域エントロピーが小さくなったと考えられる．反面，世界中に広く存在するためにジオエントロピーが大きくなる傾向にあると考えられる．
“dragonfly”, “mantis”, “bee” といった昆虫の画像は接写撮影がなされているものが多く，背景がぼやけている傾向にあった．ぼやけた領域が多いことが，他の単語に比べて画像領域エントロピーが小さい理由と考えられる．
図 2 では，2 種類のエントロピーがともに小さい単語と，ともに大きい単語が少なくなっている．図 3 を見ると，両方のエントロピーが小さい場合が少ない傾向にあると分かる．
図 2 において 2 種類のエントロピーがともに小さいと分類された “tulip” について考える．“tulip” に関して

図 7 “tulip” に関する画像とジオタグ

図 8 “dolphin” に関する画像とジオタグ
図 6 正領域の選出結果の一部（形容詞）

収集した画像の一部と，ジオタグの分布を図 7 に示す．
“tulip” に関するジオタグは，イギリスやオランダに多く分布している．チューリップの花の色には複数の種類がある．今回の実験では色特徴を使っていないため，小さい画像領域エントロピーが得られたと考えられる．
2 種類のエントロピーがともに大きいと分類された“dolphin”, “rice” について考える．収集した画像の一部と，ジオタグの分布を図 8 と図 9 に示す．“dolphin” のジオタグは海に面した場所に広く分布している．人工物
やマークとしてのイルカの画像も収集されたが，本物のイルカを撮影した写真が多かった．写真の撮影シーンは船上や水中，水族館のショーと多様であり，人間が同時に写っている場合もあった．以上のような理由で画像領域エントロピーが大きくなったと考えられる．
“rice” のジオタグは，日本やタイなどの米を主食とす
る国を中心に，世界に広く分布している．米料理の見た目が多様であることや，英単語の “rice” が米と稲の両方を示すことが影響し画像領域エントロピーが大きくなったと考えられる．

図 9 “rice” に関する画像とジオタグ

6. 3 形容詞のエントロピーについて
図 3 と図 4 を比較すると，形容詞に関する 2 種類のエントロピー値は，名詞に関するものに比べて，小さい値が少ないと分かる．形容詞は，物体名を示す名詞よりも抽象的であるため，名詞に比べて小さいエントロピーが得られない傾向にあると考えられる．
色を示す単語の画像領域エントロピーが小さい傾向にあった（表 6）．ただし色名については，正領域の選出が正しく行えていないと言える（図 6 の “orange”, “yellow”）
正領域を選出する際に色特徴も用いるようすれば，正しく選出できるようになると考えられる．

6. 4 単語に関する画像データセットについて
表 9 を見ると，30 単語中 16 単語で Caltech256 の画像を用いた場合の画像領域エントロピーが，他の場合の値より小さかった．caltech256 は人手で作成されたデータセットであり，類似した画像が多く含まれている上に，
単語の多義性が排除されている．そのため画像領域エントロピーが小さくなる傾向が出たと考えられる．
Flickr API を用いた場合と Yahoo 画像検索 API を用いた場合を比較すると，30 単語中 19 単語で Flickr API
を用いた場合の方が，画像領域エントロピーが小さい．
Yahoo 画像検索 API では幅い広い Web ページを検索対象としており，画像が存在する Web ページのテキストを用いた検索が行われる．Flickr API では，Flickr に投稿された画像のみが検索対象であり，Flickr のユーザーが付与したタグや説明文が検索に利用される．こうした画像検索の対象範囲や手法の違いが，画像領域エントロ
ピーの差として現れたと考える．

7. お わ り に本研究では，Web 上から収集した画像を用いて単語の視覚性を分析し，単語とジオタグの関係性についても分析を行った．視覚特徴量として SIFT 記述子による
Bag-of-Features 表現を利用し，画像領域エントロピーを用いて分析を行った．単語とジオタグの関係性の分析にはジオエントロピーを用いた．
実験の結果，空に関係する名詞から他の単語に比べて小さい画像領域エントロピーが得られた．また，接写されることが多い虫の画像は，背景のぼやけが共通点となる．それが今回の実験では一種の視覚性として評価された．地名・地域名や偉人名といった単語は，ジオエント
ロピーが小さく，画像領域エントロピーが大きい傾向にあった．
上記の大小傾向は，人間の常識に合致するものとなっている．このことは Web 上の画像と位置情報から，一般物体認識のためのデータセットを自動作成することの可能性を示している．
今回の実験では，正領域を選出するための特徴量と，エントロピーを算出するための特徴量が同一かつ 1 種類であった．色特徴を用いなかったため，色名に関する正領域の選出が正しく行えなかった．数種類の特徴量を利用して正領域の選出を高精度化し，エントロピーを各特徴量ごとに求めれば，単語概念の視覚性についてより詳細な分析を行うことができる．
今回，単語の視覚性と地域性はそれぞれ別々に求めた．

今後の課題として，それらを組み合わせた実験を行うことが挙げられる．例えば，画像のジオタグを利用して，世界の各地域ごとに画像を収集し，同一単語の各地域における視覚性を求める実験などが考えられる．
文

献[1] 柳井：“一般物体認識の現状と今後”, 情報処理学会論
文誌: コンピュータビジョン・イメージメディア, 48,
SIG16 (CVIM19), pp. 1–24 (2007).
[2] K. Yaegashi and K. Yanai: “Can geotags help image
recognition ?”, Proc. of Pacific-Rim Symposium on
Image and Video Technology (2009).
[3] 柳井, K. Barnard：“一般物体認識のための単語概念の視覚性の分析”, 情報処理学会論文誌: コンピュータビ
ジョン・イメージメディア, 48, SIG10 (CVIM17), pp.
88–97 (2007).
[4] K. Yanai and K. Barnard: “Image region entropy: A
measure of “visualness” of web images associated with
one concept”, Proc. of ACM International Conference
Multimedia, pp. 420–423 (2005).
[5] D. G. Lowe: “Distinctive image features from scaleinvariant keypoints”, International Journal of Computer Vision, 60, 2, pp. 91–110 (2004).
[6] G. Csurka, C. Bray, C. Dance and L. Fan: “Visual categorization with bags of keypoints”, Proc. of ECCV
Workshop on Statistical Learning in Computer Vision, pp. 59–74 (2004).
[7] M. Koskela, A. Smeaton and J. Laaksonen: “Measuring Concept Similarities in Multimedia Ontologies: Analysis and Evaluations”, IEEE Transaction
on Multimedia, 9, 5, pp. 912–922 (2007).
[8] J. Van de Weijer, C. Schmid and J. Verbeek: “Learning color names from real-world images”, Proc. ofIEEE Computer Vision and Pattern Recognition(2007).
[9] V. Ferrari and A. Zisserman: “Learning visual attributes”, Advances in Neural Information Processing
Systems (2007).
[10] A. Gupta and L. Davis: “Beyond nouns: Exploiting
prepositions and comparators for learning visual classifiers”, Proc. of European Conference on Computer
Vision (2008).
[11] J. Hays and A. A. Efros: “IM2GPS: Estimating
geographic information from a single image”, Proc.
of IEEE Computer Vision and Pattern Recognition(2008).
[12] V. Vapnik: “The Nature of Statistical Learning Theory”, Springer-Verlag (1995).
[13] T. Hofmann: “Unsupervised learning by probabilistic
latent semantic analysis”, Machine Learning, 43, pp.
177–196 (2001).
[14] Flickr: http://www.flickr.com/.
[15] Flickr API: http://www.flickr.com/services/api/.
[16] Yahoo 画像検索 API：http://developer.yahoo.co.
jp/search/image/V1/imageSearch.html.
[17] Caltech 256 image dateset: http://www.vision.
caltech.edu/Image_Datasets/Caltech256/.
[18] Y. Deng and B. S. Manjunath: “Unsupervised segmentation of color-texture regions in images andvideo”, IEEE Transactions on Pattern Analysis andMachine Intelligence, 23, 8, pp. 800–810 (2001).
[19] A. Vedalidi: “Sift++”, http://vision.ucla.edu/~vedaldi/code/siftpp/siftpp.html.