Folksonomyによる階層構造画像データベースの構築

CVIM研究会
電気通信大学 情報工学専攻
柳井研究室
秋間 雄太
2010年3月19日

背景
Folksonomyとは？

専門家
分類

コンテンツ
利用

ユーザ

分類

一般ユーザが自由にタグ付けを行うことでユーザ自身が扱いやすいデータセットが構築される
YANAI Lab.

背景
Folksonomyの欠点

autumnチャーシューメン
語彙が統一されていない！
fall
ラーメン

語彙間の関係を構築することで解決
YANAI Lab.

背景
Folksonomyに基づいた画像データセットFlickr• タグなどによって意味的な価値を画像に付与

しかし，• 基本的に付与されているタグは単なる単語の羅列• 概念間の関係を加味したものではない

視覚情報を含んだオントロジーが作成できれば，より詳細な画像検索などが可能になる
YANAI Lab.

オントロジーとは

autumnチャーシューメン
計算機による＝人間の理解
分類や関連付けfall
ラーメン単なる画像検索から意味情報を考慮した検索へ- sandやbeachとしかタグが付いていない画像をseaやskyでも検索可能に
YANAI Lab.

目的
本研究の目的- 階層構造を持った画像データベースの構築- 200万枚の画像からなる大規模画像データセットを用いる- 視覚による表現，タグによる表現，視覚とタグを統合した表現の３種類で構築- 意味的にあるいは視覚的に分布の広い概念ほど上位の概念であると仮定して上位下位関係を推定

YANAI Lab.

得られる階層構造の例

YANAI Lab.

階層構造自動構築の利点
画像検索の補助として利用可能- 作成された構造から検索の興味を広げる- 検索による画像の絞り込み- 画像検索ワードの対応しない画像にもヒット- ヒット数の少ない検索ワードでも豊富な画像を表示- タグの付いていない画像の検索画像認識や画像アノテーションへの利用- 構築する画像オントロジーは各概念に対応する画像の平均的な画像特徴量の分布情報を保持
YANAI Lab.

関連研究
WordNet- 概念間の意味関係を構築したデータベース- 上位下位関係をオントロジーとして利用可能- 画像検索システムなどには向かない視覚情報による- 固有名詞やタイムリーな情報に弱い
自動的に作成された階層構造を視覚情報以外の自動階層構造構築
オントロジーとするような- Tangらは画像以外のFolksonomyを利用[Tanget al
研究は存在しないIJCAI2009]- PlangprasopchokらはFlickrの既存の関係を利用[Plangprasopchok et al ACM WWW Conf2009]YANAI Lab.

WordNetとの比較例
WordNetの階層の例

本実験で作成される
階層の例

beach

sandsiliconSiatomicnumber
14

専門的な要素が強い

直観的な関係YANAI Lab.

階層構造構築の手順• Flickrからおよそ200万枚のタグ付き画像を取得• 画像特徴とタグ共起を用いた３種類の方法で画像を表現• pLSAを用いてノイズ画像を除去• 各概念を表現するトピックベクトルを生成• 概念ベクトルから各概念間の距離を測定• 距離によって関係する概念を取得• 概念ベクトルからエントロピーを算出• エントロピーの大小で上下関係を決定YANAI Lab.

Flickr APIでの画像取得についてランダムに200万枚分の画像情報を取得

タグ•bird•goose•swanny•Bali BirdPark

取得できる画像例
YANAI Lab.

タグ付き画像表現ベクトルの種類
視覚特徴による表現- Bag-of-Keypoints表現- ベクトル次元：1000

タグ共起による表現- Bag-of-Words表現(Bag-of-Tags表現)- ベクトル次元：4345

視覚特徴とタグ特徴を統合した表現- それぞれの表現のpLSAトピックベクトルの結合- ベクトル次元：200
YANAI Lab.

probabilistic Latent Semantic Analysis
確率的なクラスタリング手法- Wordベクトル，Bag-of-Keypointsどちらも適応可能- 確率的分類が最適になるような，
画像 d, word w, トピック z間の関係を算出

YANAI Lab.

Fold-in heuristics
200万枚全てでpLSAは困難

大規模なデータセット
特定のパラメータ(全体パラメータと同一と仮定)

一部の十分大きな小分けにしたデータセット
データセットpLSAによるパラメータ推定

推定パラメータ

推定パラメータを用いてpLSAの計算

YANAI Lab.

タグ特徴と視覚特徴の統合
視覚特徴

タグ共起特徴

pLSA

pLSA

Ptag z | d Pvisual z | d 
結合

統合特徴
YANAI Lab.

ノイズ画像除去

Concept : moon

pLSAによるトピック作成

全体を反映する
データセット
トピックのConceptらしさの度合い

Not moon dataset

重みが大きくなることが考えられる概念に所属しやすいトピックで画像に重みづけ

YANAI Lab.

概念ベクトルの生成

Animal概念ベクトルAnimalYANAI Lab.

概念間関係概念間距離- JSダイバージェンスを利用- P, Q はそれぞれの概念の確率分布(ベクトル表現)- 距離が近い：概念同士が密接に関係- 距離が遠い：概念同士の関係性がうすい
YANAI Lab.

概念間関係概念間の上下関係

エントロピー大エントロピー小AnimalBird

YANAI Lab.

階層構造の構築方法
非巡回有向グラフ(Directed Acyclic Graph，DAG)による表現
1. 起点となる概念を決める
2. 距離の近い概念を算出する
3. エントロピーの大小によって上位下位関係を決定
4. 1-3を繰り返し

YANAI Lab.

関係とは

roadco-occurrence

carwheel

本実験ではpart of
これらのそれぞれの区別は行っていない
Prius(今後の課題)instance of

red
修飾司

YANAI Lab.

実験についてFlickrによる大規模画像データセット- 合計およそ200万枚のタグ付き画像- 非巡回有向グラフを作成する概念は計2657個

各設定- ノイズ除去によって，各概念の上位n枚はを用いて計算する- これは画像枚数が少ない概念(200枚程度)でもおよそ100枚の画像を利用できるように設定
YANAI Lab.

実験データセットの傾向

YANAI Lab.

ノイズ画像除去の評価

YANAI Lab.

ノイズ画像除去例 ( fire )YANAI Lab.階層構造の例
実際に作成した階層構造- http://mm.cs.uec.ac.jp/akima/flickr_dag/

YANAI Lab.

cuteの下位構造比較
child

タグ表現による
階層構造
femaledaughterYANAI Lab.

cuteの下位構造比較
cute

catpuppy

statue

視覚表現による
階層構造

YANAI Lab.

mountainの下位構造の比較
視覚表現による階層構造
mountaindawn

タグ表現による階層構造

valleyskylineYANAI Lab.

mountainの下位構造の比較
表現統合による階層構造

YANAI Lab.

bridgeの上位構造の比較
視覚表現による階層構造

usabridge

YANAI Lab.

bridgeの上位構造の比較
タグ表現による階層構造

citywideangle

polarizer

landmark

tripodYANAI Lab.

bridgeの上位構造の比較
統合表現による階層構造

wideangle
cityscaperiverhighway

YANAI Lab.

階層構造比較の考察
概念の表現方法ごとの違い- 視覚表現 : 視覚的に類似性のある関係性- データベース特有あるいは人間の知り得ない新しい関係性を抽出できる可能性がある- タグ表現 : 意味的に関連する言葉としての関係に近い- 人間の認識に近い関係を抽出できる可能性がある- 統合表現 : 両方を足し合わせたような関係で画像検索に利用できる可能性が高い
YANAI Lab.

まとめ作成した階層構造に関して- 言葉の意味と視覚的類似性を考慮した関係を抽出- データセットの傾向の考察に有効- 表現方法の違いで多様な形を表す- 検索システムなどの応用の可能性を発見

YANAI Lab.

今後の課題現在は形状のみなので，色などその他の特徴も組み込む
概念のばらつきを維持したままのノイズ除去
関係性の種類の認識を行えるようにする
Co-occurrence各概念の画像枚数をより豊富にPart of- 現在はランダムに200万枚取得したため，Instance of
枚数の少ない概念が存在
修飾司

数値的な評価をおこなう- 画像検索の補助などに利用できれば可能

YANAI Lab.

YANAI Lab.