VisualRankにおける位置情報活用の検討
電気通信大学大学院
情報工学専攻川久保 秀敏 柳井 啓司

概要




本研究では，VisualRankを用いた位置情報付き画像のランキング手法を提案提案手法では，位置情報付き画像の視覚特徴と位置情報の両方を考慮してランク付けを行なう提案手法で，上位にランキングされる画像は
 代表的な視覚特徴をもつ画像
 パラメータとして不えた座標に，近い地点で撮影された

画像

概要


視覚特徴
 カラーヒストグラム
 SIFT記述子による Bag-of-Features表現



350語の単語について，Flickrから位置情報付き画像を収集し，実験を行った 視覚特徴の代わりにテキストタグを用いた場合でも実験を行った

研究の目的

提案手法を用いて，視覚特徴と位置情報の両方を考慮したランキングを得る

クエリに関する，地域ごとの代表画像を得る

各地の代表画像の例
結果例： house に関する，各地の代表画像
アジア

座標パラメータ：東京

アジア諸国の家

アメリカ

同：ニューヨーク

洋風の家
ホワイトハウス

オーストラリア

同：シドニー

洋風の家オペラハウス

地域別代表画像の利用
単語に関する，地域ごとの代表画像を得る

位置情報付き画像のデータセットの自動作成

一般物体認識への位置情報の活用

関連研究


川久保秀敏，柳井啓司，“Bag-of-Features 表現を用いたエントロピーによる単語の視覚性の分析”，CVIM，2009，3月

位置情報を一般物体認識に活用することを目指す研究 単語の視覚性と地域性を自動的に計算するために，単語に関する収集画像を分析．
例：sun

視覚のエントロピー 小

位置のエントロピー 大

利用手法 VisualRank

VisualRank PageRankアルゴリズムを画像に適用したもの
 Jingらによって提案された


Y.Jing and S.Baluja,“VisualRank: Applying pagerank to large-scale
image search,” IEEE Trans PAMI, 2008

画像間の類似度をもとに，画像のランキングを得る．

モナリザ画像の類似関係のグラフ
中心に，代表的な視覚を持つ画像

VisualRank

更新式（補正ベクトルなし）

R  SRVisualRank値ベクトルRをSにかけることで更新 更新式を反復し，Visualrank値を収束させる

○
○

○

○○ ○ ○ ○
○ ○ ○ ○
○ ○ ○ ○  ○ ○ ○ ○

S

R

R ： 各画像のVisualRank値が並んだベクトル

S ： 画像の類似度行列を列ごとに正規化したもの（正規化することで，更新時にVisualRank値の合計が変化しない）

VisualRank

更新式（補正ベクトルあり）
R   (S  R)  (1   ) P

○
○

○

○

(0    1)

○ ○ ○ ○
○
○
○ ○ ○ ○ 1    
○
○ ○ ○ ○   ○ ○ ○ ○○SRP

Pの要素の合計値はRのものと等しくする

更新時にVisualRank値の合計が変化しない

VisualRank

更新式（補正ベクトルあり）
R   (S  R)  (1   ) P○○ △○ ○□P(0    1)

P ： 補正ベクトル・均一な場合VisualRank値の均等化
・丌均一な場合
一部の画像を強調するバイアス

 ： 補正の強さを調整するパラメータ0.8～0.9程度の値が良いとされる

SIFT対応点による類似度


Jingらは類似度にSIFT特徴の対応点数を利用

商品画像やランドマーク画像など，同一物体が写っていることが予想される場合に有効
 上位に同一物体の画像が並びやすい

関連研究： MultiClass VisualRank

安倍らによって提案された，多様な上位画像を並列に提示する手法
安倍満，吉田悠一，“Visualrank の多クラスへの拡張: 画像特徴量を用いた類似画像の自動分類とランキング付け手法" PRMU2008-178，pp.183-188

 まず画像のクラスタリングを行い，各クラスタについてそれぞれVisualRankを適用する．
 各クラスタの上位画像を並列に提示して，多様性を確保．
クラスタ１のランキング
クラスタ２のランキング
クラスタ３のランキング

関連研究： ImageRank

Heらによる，画像のランク付けに関する研究X.He, W.Y.Ma, and H.Zhang,“ImageRank: spectral techniques
for structural analysis of image database," IEEE ICME,2003.

 画像の近傍関係をグラフ化

 マルコフモデルによる画像間の遷移確率を求める
 遷移確率行列の固有ベクトルを用いて代表画像を決定．

提案手法
VisualRankを用いて位置情報付き画像に対するランク付けを行う．
 位置情報付き画像の視覚特徴と位置情報の両方を考慮したランキング
 パラメータ

 によって，どちらを重視するかを設定

類似度行列

視覚特徴を利用丌均一な補正ベクトル（バイアスベクトル）

位置情報を利用提案手法


視覚特徴には，カラーヒストグラムとSIFT記述子によるBoF表現を使用．
 様々な単語をクエリとするため，一般物体認識でよく用いる特徴を利用


位置情報によるバイアスベクトルの作成
 ランキングを生成する際に，地理上の一点を指定し，注目点とする．
 バイアスベクトルでは，注目点に近い座標で撮影された画像に大きい値を不え強調

類似度


視覚特徴量
 64次元のカラーヒストグラム（RGB色空間）

 500次元のBag-of-Features表現（SIFT記述子）

類似度には，ヒストグラムインタセクションを使用
 各特徴量で類似度行列を求めておき，合成


類似度


視覚特徴の代わりにテキストタグを用いる場合
 画像に多く付不された上位５００のタグを求める（クエリごとに求める，クエリ自体は除く）
 上位タグについてのバイナリベクトルを画像ごとに作成（０：付不されていない， １：付不されている）
 画像間の類似度は，タグバイナリベクトルのコサイン類似度

位置情報によるバイアス

注目点に近い座標で撮影された画像に大きい値を不える

各画像の撮影位置情報と注目点の距離（角度）を球面三角法で求める．
 地球を半径１の球とする

Di  cos 1 sinlat i sinlat A   coslat i coslat A coslong i  long A lat i , long i ：画像 i の位置情報

lat A , long A ：注目点の座標

位置情報によるバイアス

注目点に近い座標で撮影された画像に大きい値を不える
論文中の式（４）の訂正
  Digeopi

東京を注目点とした場合


P はVisualRank値の合計値
  Digeoに正規化される．
正 pi geo

Pgeo
geo

Piigeo

PiR11geoi誤 pDi位置情報によるバイアス

注目点に近い座標で撮影された画像に大きい値を不える
geoip  Di


東京を注目点とした場合

P geo はVisualRank値の合計値に正規化される．

geo
P
Pi geo  igeo
PiR1
1

東京と中心とするアジアの画像に大きい値

実験

名詞250語と形容詞100語をクエリ単語とした．



Flickrから位置情報付き画像を収集
 各単語について２０００枚ずつ収集

 同一ユーザが投稿した画像は１０枚まで



各単語について，提案手法でランキングを求めた．

実験

注目点として，以下の１０都市の座標を用いた．
東京

北京
シドニー

サンフランシスコ
ニューヨークリオデジャネイロ
パリ

カイロ
ケープタウン
デリー

結果


実験結果を
http://mm.cs.uec.ac.jp/kawaku/geovisualrank/
で公開中 サーバーが丌調な場合があり，原因を調査中

結果 各地のpyramid
注目点 ：カイロ α：０．８５
視覚特徴： color, BoF 50%ずつ

注目点 ：パリ α：０．８５
視覚特徴： color, BoF 50%ずつ

結果 各地のpyramid
メキシコのピラミッドが上位に．
注目点 ：NY α：０．８５
ブラジルのピラミッド画像が殆どなかったため
視覚特徴： color, BoF 50％
対応策• 上位画像と注目点の距離で，結果の信頼度を評価• 上位画像の平均位置を新注目点として再度ランキング

注目点 ：リオ α：０．８５
視覚特徴： color, BoF 50％

結果 traditional


文化に関係する単語は地域差が出やすい？



各地の traditional α：０．８５ 特徴： color, BoF 50％

注目点：シドニー
注目点：東京注目点：リオ結果 gamegame α：０．８５ 特徴： color, BoF 50％

注目点：東京テレビゲーム関係の画像

注目点：ケープタウン

屋外の画像

結果 特徴量による変化
注目点パリ α＝0.85

カラーヒストグラムのみ

ＳＩＦＴによるＢｏＦ表現のみ

テキストタグ上記３種を33%ずつ

結果 特徴量による変化
各特徴をそれぞれ用いた結果をまとめる方が多様な画像をもつデータセット作成に生かせると予想

カラーヒストグラムのみ
ＳＩＦＴによるＢｏＦ表現のみ

上記2種を50%ずつ

結果 house αによる変化“house”での結果 バイアスなし,α=1.0
特徴量は color 50%, BoF 50%
結果 house αによる変化


α=0.0, 注目点に近い順

結果 house αによる変化


α=0.5

結果 house αによる変化


α=0.8

結果 house αによる変化


α=0.85

結果 house αによる変化


α=0.90結果 house αによる変化


α=0.95

結果 house αによる変化“house”での結果 バイアスなし,α=1.0
特徴量は color 50%, BoF 50%


今後


提案手法の評価 被験者に評価させる（ Amazon Mechanical Turk ?）

他手法との比較
 位置情報での絞り込んだ画像でのVisualRank テキスト検索時のクエリに地域名を足した場合
 位置情報によるバイアスの作成方法を変えたもの

評価・比較をもとに，提案手法の改良を行ない，位置情報付き画像データセットの自動作成へ活用まとめ



VisualRankを用いた位置情報付き画像のランキング手法を提案
視覚特徴と位置情報の両方を考慮したランキング
提案手法を用いて，350単語に関するＦｌｉｃｋｒ画像のランキングを生成した．
今後，提案手法の評価・改良・活用