Folksonomyによる階層構造画像データベースの構築

電気通信大学 情報工学専攻
柳井研究室
秋間 雄太，川久保 秀敏，柳井 啓司
2010年7月28日

Folksonomyを用いた画像特徴とタグ共起に基づく画像オントロジーの自動構築(Folksonomyによる階層構造画像データベースの構築)
電気通信大学 情報工学専攻
柳井研究室
秋間 雄太，川久保 秀敏，柳井 啓司
2010年7月28日

背景
Folksonomyとは？

専門家- ユーザによる分類
分類

コンテンツ
利用

ユーザ

分類

一般ユーザが自由にタグ付けを行うことでユーザ自身が扱いやすいデータセットが構築される
YANAI Lab.

背景
Folksonomyの欠点

autumnチャーシューメン
語彙が統一されていない！
ラーメン
fall
語彙間の関係を構築することで解決
YANAI Lab.

背景
Folksonomyに基づいた画像データセット• オンラインアルバムサービスFlickr• タグなどによって意味的な価値を画像に付与

しかし，• 基本的に付与されているタグは単なる単語の羅列• 概念間の関係を加味したものではない

Foloksonomyの意味情報と、画像の視覚情報を用いて、オントロジーが作成できれば、より詳細な画像検索などが可能になる
YANAI Lab.

オントロジーとはautumn
チャーシューメン
計算機による＝人間の理解
分類や関連付けfallラーメン単なる画像検索から意味情報を考慮した検索へ- beachとしかタグが付いていない画像をseaでも検索可能に
YANAI Lab.

目的・手法概要
本研究の目的- 階層構造を持った画像データベースの構築- 200万枚の画像からなる大規模画像データセットを用いる- 視覚による表現，タグによる表現，視覚とタグを統合した表現の３種類でそれぞれ構築- 特徴分布の広い概念ほど上位の概念であると仮定して上位下位関係を推定

YANAI Lab.

得られる階層構造の例

YANAI Lab.

階層構造自動構築の利点
画像検索の補助として利用可能- クエリ拡張に利用し、入力検索クエリに直接対応しない画像も検索対象に。
- 語彙の関係性を利用した範囲の絞り込み画像認識や画像アノテーションへの利用- 画像データセットは各概念について画像特徴量の分布情報を保持

YANAI Lab.

関連研究
WordNet- 概念間の意味的関係を構築したデータベース- 上位下位関係をオントロジーとして利用可能
視覚情報による- 画像検索システムなどには向かない
自動的に作成された- 固有名詞やタイムリーな情報に弱い
階層構造をオントロジーとするような視覚情報以外による自動階層構造構築
研究は少ない- Tangらは画像以外のFolksonomyを利用[Tanget alIJCAI2009]- PlangprasopchokらはFlickrの既存の関係を利用[Plangprasopchok et al ACM WWW Conf2009]YANAI Lab.

WordNetとの比較例
WordNetの階層の例

本実験で作成される階層の例

beachsandsiliconSiatomicnumber14

専門的な知識も直観的な関係
YANAI Lab.

階層構造構築の手順• Flickrからおよそ200万枚のタグ付き画像を取得• 画像特徴とタグ共起を用いた３種類の方法で画像を表現• pLSAを用いてノイズ画像を除去• 各概念を表現するトピックベクトルを生成• 概念ベクトルから各概念間の距離を測定• 距離によって関係する概念を取得• 概念ベクトルからエントロピーを算出• エントロピーの大小で上下関係を決定
YANAI Lab.

Flickr APIでの画像取得についてランダムに200万枚分の画像情報を取得

タグ•bird•goose•swanny•Bali Bird
Park取得できる画像例
YANAI Lab.

画像の表現方法
視覚特徴による表現- Bag-of-Keypoints表現- ベクトル次元：1000

タグ特徴による表現- Bag-of-Words表現(Bag-of-Tags表現)- ベクトル次元：4345

YANAI Lab.

トピックベクトルの算出
視覚特徴

タグ共起特徴

pLSA

pLSA

Ptag z | d Pvisual z | d 
視覚トピックベクトル

タグトピックベクトル

結合

Pcombined z | d 

統合特徴
pLSA

統合トピックベクトル（各トピックベクトルは，実験では100次元とした）

YANAI Lab.

probabilistic Latent Semantic Analysis
確率的なクラスタリング手法- 画像は複数の潜在トピックへ確率的に帰属する- 確率的分類が最適になるような，
画像 d, 単語 w, 潜在トピック z間の関係を算出

YANAI Lab.

ノイズ画像除去

Concept : moon

pLSAによる
トピック作成重みが大きくなる全体を反映する
データセット
トピックの概念らしさの度合い

画像と概念の関係性を計算

Not moon dataset

YANAI Lab.

概念ベクトルの生成

Animal概念ベクトルAnimalYANAI Lab.

概念間関係概念間距離- JSダイバージェンスを利用- P, Q はそれぞれの概念の確率分布(ベクトル表現)

YANAI Lab.

概念間関係概念間の上下関係

エントロピー大エントロピー小AnimalBird

YANAI Lab.

階層構造の構築方法
非巡回有向グラフ(Directed Acyclic Graph，DAG)による表現
1. 起点となる概念を決める2. 距離の近い概念を算出する
3. エントロピーの大小によって上位下位関係を決定
4. 1-3を繰り返し

YANAI Lab.

関係とは

road
co-occurrence

carwheel

本実験ではpart of
これらのそれぞれの区別は行っていない
Prius(今後の課題)instance ofredadjective

YANAI Lab.

実験についてFlickr画像による大規模画像データセット- 合計およそ200万枚のタグ付き画像- 階層構造を構築する概念の数は2657

各設定- ノイズ除去によって，各概念の上位n枚はを用いて計算する- これは画像枚数が少ない概念(200枚程度)でもおよそ100枚の画像を利用できるように設定
YANAI Lab.

cuteの下位構造
child

タグ表現による階層構造

femaledaughterYANAI Lab.

cuteの下位構造
cute

cat
puppy

statue

視覚表現による階層構造

YANAI Lab.

mountainの下位構造
視覚表現による階層構造
mountaindawn

タグ表現による階層構造

valleyskyline

YANAI Lab.

mountainの下位構造
統合表現による階層構造

YANAI Lab.

表現方法の比較
表現方法ごとの違い- 視覚表現 : 視覚的な類似を持った関係性- データベース特有あるいは人間の知り得ない新しい関係性を抽出できる可能性がある- タグ表現 : 意味的に関連する言葉としての関係に近い- 人間の認識に近い関係を抽出できる可能性がある- 統合表現 : 両方を足し合わせたような関係で画像検索などに利用できる可能性が高い
YANAI Lab.

利用と評価のための予備実験
Flickr上での検索で、直接の上位語・下位語をAND検索クエリとして追加- 上位１０枚の精度を人手で評価- 元となるクエリに対応する画像かどうか- １００のクエリについて評価
追加前

下位語追加

上位語追加

７.４枚
８.１枚
８.１枚
- 評価できないクエリはスキップ：外国の地名など- 実験の再設計と、規模の拡大

OK画像数平均YANAI Lab.

まとめ階層構造を持った画像データベースの構築
構築した階層構造について- タグと視覚に基づき概念の関係を抽出- 表現方法の違いで多様な形を表す- 検索システムなどへの活用の可能性を発見

YANAI Lab.

今後の課題他の視覚特徴量も利用する（色など）関係性の種類の認識を行えるようにする
Co-occurrence既存のオントロジーの活用

Part of- 例：Wordnet内にある単語では、そのデータを活用
Instance ofadjective
もっと大規模な評価を行う

YANAI Lab.

ポスター
IS3-70YANAI Lab.