社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

VisualRank における位置情報活用の検討
川久保秀敏†

柳井啓司†† 電気通信大学大学院 情報工学専攻
東京都調布市調布ヶ丘 1-5-1
E-mail: †kawaku-h@mm.cs.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし

本論文では VisualRank を用いて位置情報付き画像をランク付けする手法を提案する．提案手法では，カラーヒストグラムと SIFT 記述子 [1] による Bag-of-Features 表現 [2] を用いて画像の類似度を計算する．ランキングを求めるときに，地理上の一点を指定し，位置情報を用いて VisualRank のバイアスベクトルを作成する．代表的な視覚特徴を持ち，指定した地点の近くで撮影された画像ほど上位にランキングされる．本論文では提案手法を用いて 350
語の単語について実験を行った．名詞 250 語と形容詞 100 語についてＷｅｂ上から位置情報付き画像を収集し，各単語について代表的画像のランキングを求めた．
キーワード

VisualRank 位置情報付き画像 Web 画像 画像ランキング

Inquest of VisualRank for Geotagging images
Hidetoshi KAWAKUBO† and Keiji YANAI†† Department of Computer Science, The University of Electro-Communications
E-mail: †kawaku-h@mm.cs.uec.ac.jp, ††yanai@cs.uec.ac.jp
Abstract In this paper, we propose a image ranking system for geotagging images. In proposal system, we use
VisualRank using color histgrams and Bag-of-Features representations of SIFT descriptors to calc similarities ofimages. Proposal system need a geographical coordinate as a parameter. The parameter will be used in making
geotaged-base bias vectors. We tested the system using 250 noun concepts and 100 adjective concepts. We collected
images from web about each word concept. Then we calced image ranking about each concept.
Key words VisualRank, geotagging image, web images, image ranking

1. は じ め に本研究では，VisualRank を用いて位置情報付き画像に対するランク付けを行う．位置情報付き画像とは，撮影された場所

本論文では，VisualRank [3] を用いた位置情報付き画像のラの緯度・経度（ジオタグ）が付与された写真画像である．現在，ンキング手法を提案する．提案手法では，VisualRank の中でWeb 上には大量の位置情報付き画像が存在し，画像の位置情位置情報にもとづくバイアスベクトルを用いることによって画報を一般物体認識 [4] に生かすことを目指す研究がある [5], [6]．

像の視覚特徴と位置情報の両方に基づいたランキングを生成す

本研究は，そうした研究で用いる位置情報付き画像データセッる．提案手法ではランキングを求めるときに，地理上の一点をトの自動作成に役立てることを目的の 1 つとしている．

指定する．代表的な視覚特徴を持ち，指定した地点の近くで撮影された画像ほど上位にランキングされる．

1. 1 研究の背景

2. 関 連 研 究
He らは画像データベースの分析手法として，ImageRank [7]現在，Web 上の画像検索エンジンではテキストベースによるを提案した．ImageRank では，まず画像の近傍関係をグラフ手法が主に使われており，画像特徴に基づく検索手法の研究が化し，画像から画像への遷移確率を求める．そして遷移確率行行われている．テキストベースの手法による検索結果に，画像特列の固有ベクトルを用いて，代表画像を決定している．

徴を用いた修正を加えることで検索精度の向上を目指す研究がJing らによって提案された VisualRank [3] は PageRank アあり，そうした研究の 1 つに VisualRank がある．VisualRank

ルゴリズム [8] を画像に適用したものであり，画像間の類似を用いると，画像集合に対してランキングを生成し，類似画像度をもとに画像のランキングを得る手法である．Jing らは，の多い代表画像を示すことができる．

VisualRank をテキストベースの画像検索結果を修正するため—1—

に用いている [3]．画像の類似度には SIFT 特徴 [1] のマッチ数作っておき，，それらを合成することで，特徴量を混合した類似を使い，商品画像やランドマーク画像を対象にした実験が行わ度行列を得ることができる（式 (3)）．

れている．

VisualRank では，しばしば上位画像の見た目が似かより，検索結果の多様性が失われる．そこで安倍らは，検索結果の多様性を高めた Multiclass VisualRank を提案している [9], [10]．

Multiclass VisualRank では，ランク付けの前に画像をクラスタリングしておき，個々のクラスタに対して別々に VisuakRankを実行する．そして各クラスタ内でのランキング上位画像を並列に提示する．事前にクラスタリングを行うことで，検索結果の多様性を確保している．

Scombine = β Scolor + (1 − β) SBoF ,(0 <=β<= 1)(3)

Scolor , SBoF は各特徴を用いて作成した類似度行列を示し，それらを合成して得られる類似度行列が Scombine である．β を変化させることで，特徴量の重みを設定することが可能である．

4. 2 補正ベクトル提案手法では地理上の一点の座標をパラメータとして与え，注目点とする．注目点に近い地点で撮影された画像の VisualRank
値をより大きくするために，不均一な補正ベクトル（バイアスベクトル）を用いた．バイアスベクトルによる補正は各反復ス

3. VisualRank

テップでかかるため，『注目点付近の画像によく類似した画像』
各画像の VisualRank 値からなる列ベクトル R は式 (1) を反復し，収束させることで得られる．

R=S×Rの VisualRank 値も間接的に大きくなる．
位置情報によるバイアスベクトル Pigeo は，まず式 (4) のよ(1)

うにして作成し，VisualRank ベクトル R と同じ 1-norm になるよう正規化して使用した（式 (5)）. Di は画像 i の位置情報

式 (1) 中の S は，類似度行列の各列を正規化したものである．
各列の合計が１になるように正規化することで，VisualRank値の合計が変化しないようにする．
式 (1) に示した反復ステップに，補正ベクトル P を加えたもと注目点の距離である．地球を半径 1 の完全な球体と近似して，球面三角法で計算した（式 (6)）．

pgeo=iDi
π(4)Pigeo =

pgeo
i||R||1||pgeo ||1(5)のが式 (2) である．

R = α(S × R) + (1 − α)P,(0 <=α<= 1)(2)

補正ベクトル P として一様なベクトルを与えると，各画像のVisualRank 値を均等化させる方向へ補正がかかる．一方，不均一なベクトルを与えると，一部の画像を強調するバイアスが¡Di = cos−1 sin(lati ) sin(latA ) +¢cos(lati ) cos(latA ) cos(long i − long A )(6)かかる．補正の強度はパラメータ α によって調整する．多くの

lati , long i は画像 i の緯度・経度であり，latA , long A は注目点場合，α >= 0.8 を満たす値が設定される．の緯度・経度である．

4. 提 案 手 法

5. 実

本研究では位置情報つき画像を対して VisualRank を使用し，5. 1 位置情報付き画像の収集

験

画像特徴と位置情報の両方に基づくランキングを生成する手法

オンラインアルバムサービス Flickr [11] では，位置情報付きを提案する．提案手法ではランキングを生成する際に，地理上画像のみを対象にした画像検索を行うことが可能である．本研の一点を注目点として指定する．代表的な視覚特徴を持ち，撮究では位置情報画像の収集に，Flickr の検索機能を利用した．

影された地点が注目点に近い画像ほど上位にランキングされる．

名詞 250 語と形容詞 100 語の合計 350 語について，Flickr

画像の類似度行列はカラーヒストグラムと SIFT 記述子 [1]上で検索を行い，位置情報付き画像を 2000 枚ずつ収集した．

による Bag-of-Features 表現ベクトル [2] を用いて作成し，補実験に用いた単語を表 1，表 2 に示す．画像を収集するために正ベクトルは位置情報を用いて作成する．それぞれについてのFlickr が提供している WebAPI [12] を利用した．

説明を以下に述べる．

Flickr では，一部のユーザーが非常に類似した画像を大量に4. 1 画像の類似度投稿していることがある．そのため画像を収集するに当たって，[3] では，画像の類似度に SIFT 特徴のマッチ数を用いてい同一ユーザーが投稿した画像の枚数を制限した．

る．これは商品やランドマークといった特定の見た目を持つ物

5. 2 VisualRank の算出体の画像について有効である．本研究ではより多様な見た目を画像を収集したのち，単語ごとに VisualRank を算出した．

持つ単語に対応するため，カラーヒストグラムと SIFT 記述子提案手法で VisualRank を求める際に与える注目点パラメータによる Bag-of-Features 表現を用いた．これらの特徴表現手法には，世界の 10 都市の座標を用いた．画像特徴量のカラーヒは一般物体認識の分野で良く使われているものである．

ストグラムは RGB 空間での 64 次元とし，SIFT 記述子による類似度にはヒストグラムインタセクションを用いた．カラー
ヒストグラムと Bag-of-Features 表現それぞれで類似度行列をBoK 表現は 500 次元とした．
画像特徴量の混合パラメータ β や，位置情報によるバイア—2—表 1 250 語の名詞
africa, airplane, alexander, alligator, america, ant, arc de triomphe, arm,
asia, bach, backpack, banana, barbecue, battle, beach, bear, beauty, beaver,bee, beer, beetle, big ben, board, boat, bob, book, box, bread, brother, buddha, bug, building, burger, bus, butterfly, cactus, cake, california, canada,
candy, canoe, car, castle, cat, cedar, chair, chalk, chicken, china, circle,
city, coffee, coke, color, computer, cookie, coral, crow, dandelion, daughter,
desert, desk, dessert, deutschland, dice, dish, doctor, dog, dolphin, dragon,dragonfly, dream, duck, eagle, edison, eel, egg, egypt, eiffel tower, election, elephant, elevator, erica, europe, face, father, fern, field, fireworks,fish, flea, flower, fly, fork, france, frog, fruit, game, gates, giraffe, goat,goose, gorilla, grape, grass, grasshopper, gun, half, ham, hawk, head, height,helicopter, hibiscus, hornet, horse, hospital, house, ice cream, india, insect, italia, ivy, japan, jellyfish, jump, kangaroo, kayak, lamp, lavender,lawn, leaf, leg, lemon, level, library, light, lincoln, line, lion, lizard, love,machu picchu, mangrove, manta, mantis, marriage, mars, milk, mint, monkey, moon, mosquito, moss, moth, mother, mountain, mouse, mozart, museum, mushroom, napoleon, new york, niagara, octopus, olive, owl, oyster,palm, paris, park, parrot, party, pasta, pen, penguin, people, phone, pine,
pizza, plant, playstation, pool, pope, potato, president, pride, pyramid,rabbit, rainbow, rice, rome, rose, salad, salmon, salt, santa claus, school,sea, shakespeare, shark, ship, shrimp, sister, sky, skyscraper, snail, snake,socks, son, sound, spider, sport, square, starfish, statue of liberty, steak,sugar, sun, sushi, swan, sword, tea, teacher, temple, test, thomas, tiger,toad, tokyo, tool, town, train, tripod, tulip, tuna, turtle, uluru, usa, valley,village, watch, waterfall, wave, whale, wii, wine, worm, xbox, zoo

表 2 100 語の形容詞
aerial, ancient, antique, bad, beautiful, best, better, big, black, blue, botanical, bottom, bright, brown, cherry, classic, clean, clear, cold, colourful,concrete, cool, crazy, cute, dark, digital, dry, electric, empty, famous, female, first, general, good, grand, gray, great, green, happy, hard, heavy,high, historic, holy, hot, human, iced, interior, international, large, latest,
long, male, medieval, military, mobile, modern, more, most, national, natural, nautical, new, nice, old, open, orange, outdoor, pink, present, public,purple, rainy, red, rich, rural, rusted, scenic, second, sexy, short, small,special, strong, sunny, sweet, top, traditional, tropical, twin, underwater,urban, vintage, warm, welcome, white, wide, wild, wooden, yellow

表 3 実験で用いた注目点の都市名と座標（北緯・東経が正値）た西洋の家の画像が上位に来ている．
一方，図 3，図 3 は位置情報によるバイアスを用いて注目点に sydney を設定した場合の結果である．シドニー付近で撮影された家の画像のとシドニー・オペラハウスの画像が上位 10枚に入っており，注目点付近で撮影された画像の代表画像が得られている．パラメータ α によってバイアスの強さを設定することで，地域性と視覚の世界的代表さのどちらを重視するかを調整することができる．図 4 は図 3 に比べて視覚の代表さをより優先した場合の結果であり，上位 10 枚の中に日本で撮影された画像が 1 枚入っている．
図 5，図 6，図 7 は’pyramid’ をクエリとした結果である．図

5 はカイロを注目点とした結果であり，エジプトのピラミッドの画像が上位画像になっている．図 6 は注目点がパリであり，ルーブル美術館の前にあるピラミッド型の建築物が上位に表示される．図 7 はリオデジャネイロを注目点としているもののメキシコのピラミッドが主な上位画像となっている．これは，リオデジャネイロ付近には’pyramid’ に対応する画像が無く，エジプトよりもメキシコの方がリオデジャネイロに近いためであると考えられる．図 8，図 9，図 10，図 11 の図は，’traditonal’に関する結果であり，各地の民族的な人物画像が上位画像と都市名

緯度

経度

tokyo

35.689506

139.691701

beijing

39.904667

116.408198

図 12 から図 14 は’ napoleon’ の結果である．パリでは歴史

sydney-33.867139

151.207114

上のナポレオンに関する画像が得られシドニーではナポレオン

delhi

28.635308

77.22496

フィッシュの画像が得られている．シドニーの結果においては

cairo

30.064742

31.249509

BoF のみを使った方が上位にナポレオンフィッシュの画像が多

paris

48.8566667

2.3509871

cape town-33.9237762 18.4233455

new york

40.714269-74.005973

san francisco

37.7749295-122.4194155

パラメータを自動的に選択する手法を提案手法へ取り入れる場

rio de janeiro -22.9035393 -43.2095869

合には，単語と注目点の組に関して求めるようにすべきと考えなっている．

い．注目点によって，代表画像に含まれる物体の種類が大きくことなることがある都分かる．そのため今後，最適な特徴量やられる．
表 4 実験で用いたパラメータ値

6. 1 テキストタグによる類似度を用いた場合

0.80

0.00

Flickr 上の画像にはユーザによってテキストタグが付与され0.850.25ている．タグに基づくの類似度を用いた実験を追加して行い，α 0.90 β0.50

結果を求めた．

0.95

0.75

1.00

1.00

タグベースの類似度は以下のようにして算出した．

step.1 クエリに関する画像に付与されることの多かった上位
500 種類のタグをコードブックとする．ただし，クエリ自体はスの強さを決定するパラメータ α はそれぞれ 5 種類の値を試コードブックに入れない．

した．

step.2 各画像はコードブックに関する 500 次元のベクトルで実験で使用した注目点とパラメータの値を，表 3，表 4 に示す．

6. 結表現する．各次元に対応するタグが付与されていれば，その次元の値を 1 とし，付与されていなければ 0 とする．

果

step.3 step.2 で求めたベクトルのコサイン類似度を画像間の類似度とする．

本研究では，350 語の単語について提案手法を用いて実験を

図 1 はタグによる類似度を使った場合の結果である．類似度行った．それらの結果は，http://mm.cs.uec.ac.jp/kawaku/

以外のパラメータは，図 13 や図 14 と同じである．タグによgeovisualrank/ にて閲覧できるようにする予定である．

る類似度を使うと上位画像ほとんどが魚の画像となった．上位

ここでは結果の一部を示す．

画像に付与されていたタグを確かめたところ，“fish”’, “sea”,

図 2，図 3 に’house’ をクエリとした場合の実験結果を示す．

“underwater” などのタグが共通していた．タグは人手でつけ

図 2 は位置情報によるバイアスを使わずに，類似度のみでランられたものであり，内容に直接関係がある場合が多く，検索結ク付けを行った結果である．ヨーロッパやアメリカで撮影され果を向上させるために有用であると考えられる．そのため今後—3—

は，視覚特徴だけでなくタグも活用して類似度を求めることを検討している．

図1systems, vol.30, no.1-7, pp.107–117, 1998.
[9] 安倍 満，吉田悠一，“Visualrank の多クラスへの拡張 : 画像
特徴量を用いた類似画像の自動分類とランキング付け手法，”電子情報通信学会技術研究報告，PRMU2008-178，pp.183–188，
Dec. 2008．
[10] M. Ambai and Y. Yoshida, “Multiclass VisualRank: image
ranking method in clustered subsets based on visual features,” 2009.
[11] “Flickr,” http://www.flickr.com/.
[12] “Flickr API,” http://www.flickr.com/services/api/.

タグによる類似度を使用した場合．’napoleon’ での上位画像と分布（注目点：sydney ．α = 0.85)

7. お わ り に
本論文では，VisualRank [3] を用いた位置情報付き画像のランキング手法を提案した．提案手法では，VisualRank での類似度の計算にカラーヒストグラムと，SIFT 記述子によるBag-of-Features 表現を用いた．また，パラメータとして与えた地理的座標の近くで撮影された画像を強調するバイアスベクトルを用いた．
提案手法を用いて 350 語の単語について実験を行った．バイアスベクトルによって注目点付近で取られた画像のランクが上がることや，注目点を変化させることで結果が変わることを確認した．
今後の課題として，提案手法によるランキングの定量的評価，他手法との比較，適切なパラメータの自動選択を可能にすることが挙げられる．
文

献[1] D.G. Lowe, “Distinctive image features from scale-invariant
keypoints,” International Journal of Computer Vision,
vol.60, no.2, pp.91–110, 2004.
[2] G. Csurka, C. Bray, C. Dance, and L. Fan, “Visual categorization with bags of keypoints,” Proc. of ECCV Workshop
on Statistical Learning in Computer Vision, pp.59–74, 2004.
[3] Y. Jing and S. Baluja, “Visualrank: Applying pagerank tolarge-scale image search,” IEEE Transactions on PatternAnalysis and Machine Intelligence, vol.30, no.11, pp.1870–1890, 2008,.
[4] 柳井啓司，“一般物体認識の現状と今後，” 情報処理学会論文誌:
コンピュータビジョン・イメージメディア，vol.48，no.SIG16(CVIM19)，pp.1–24，2007．
[5] 川久保秀敏，柳井啓司，“Bag-of-features 表現を用いたエントロ
ピーによる単語の視覚性の分析，” 情報処理学会研究会報告: コン
ピュータビジョン・イメージメディア研究会，vol.2009，no.29，pp.267–274，2009．
[6] H. Kawakubo and K. Yanai, “An analysis of the relation
between visual concepts and geo-locations using geotagged
images on the web,” IEEE ICME WS on Internet Multimedia Search and Mining, pp.1644–1647, 2009.
[7] X. He, W.Y. Ma, and H. Zhang, “ImageRank: spectral techniques for structural analysis of image database,” IEEE International Conference on Multimedia and Expo, pp.25–28,
2003.
[8] S. Brin and L. Page, “The anatomy of a large-scale hypertextual Web search engine,” Computer networks and ISDN—4—

図 2 ’house’ での上位画像 10 枚と，上位 100 枚の分布（位置情報によるバイアス無し，color50%+BoF50%）

図 3 ’house’ で の 上 位 画 像 10 枚 と ，上 位 100 枚 の 分 布（ 注 目 点:sydney．α = 0.85，color50%+BoF50%）

図 4 ’house’ で の 上 位 画 像 10 枚 と ，上 位 100 枚 の 分 布（ 注 目 点：sydney．α = 0.95，color50%+BoF50%）—5—図 5 ’pyramid’ での上位画像 10 枚（注目点：cairo．α = 0.85，color50%+BoF50%）

図 6 ’pyramid’ での上位画像 10 枚（注目点：paris．α = 0.85，color50%+BoF50%）

図 7 ’pyramid’ での上位画像 10 枚（注目点：rio de janeiro ．α = 0.85，color50%+BoF50%）

図 8 ’traditional’ での上位画像 10 枚（注目点：tokyo．α = 0.85，color50%+BoF50%）

図 9 ’traditional’ での上位画像 10 枚（注目点：sydney．α = 0.85，color50%+BoF50%）

図 10 ’traditional’ で の 上 位 画 像 10 枚（ 注 目 点：rio de janeiro ．α=0.85，color50%+BoF50%）

図 11 ’traditional’ での上位画像 10 枚（注目点：delhi ．α = 0.85，color50%+BoF50%）

図 12 ’napoleon’ での上位画像 10 枚（注目点：paris，α = 0.85，color50%+BoF50%）

図 13 ’napoleon’ での上位画像 10 枚（注目点：sydney ．α = 0.85，color50%+BoF50%）

図 14 ’napoleon’ での上位画像 10 枚（注目点：sydney ．α = 0.85，BoF のみ）—6—