DCNN特徴を用いたWebからの質感画像の収集と分析

PRMU研究会

下田 和, 柳井 啓司
電気通信大学 情報理工学部 総合情報学科ⓒ 2011 UEC Tokyo.

背景• 様々な画像認識– 食事画像– 動物画像• 新しい特徴量– これまで局所特徴量 + コーディング（SIFT, SURF→bovw, vlad, fisher）– 現在 DCNN特徴（ Deep Convolutional Neural Network activation feature ）ⓒ 2011 UEC Tokyo.

目的• 質感語に対応した画像の認識– 質感語（特にオノマトペ（擬音語））
ごつごつ画像– 一般の物体認識より難しい– 新しい特徴量（DCNN特徴）で認識が行えるのか• 意味的な認識に有効な特徴量– オノマトペ画像の多様性– 認識を通して、どういった画像に対してどのような特徴が有効であるかⓒ 2011 UEC Tokyo.

質感語としてオノマトペの利用• オノマトペとは– 擬態語や擬音語– しわしわ、ふわふわ、ざらざらなど– 質感、音、食感、物体の状態

ふわふわ画像の例ⓒ 2011 UEC Tokyo.

関連研究• 素材画像の認識– Flickr Material Database (FMD)– 一般の画像認識より意味的な認識• 有効な特徴量– Improved fisher vector (IFV)– Deep Convolutional Neural
Network activation feature (DCNN)

FMD imageⓒ 2011 UEC Tokyo.

実験の手順• データセットの構築– 代表的なオノマトペ画像データセットはない– オノマトペデータセットを作るところから始める– 画像認識を使って自動で構築• データセットの視覚性の評価– ランダム画像との分離度で評価ⓒ 2011 UEC Tokyo.

データセットの構築（概要）ⓒ 2011 UEC Tokyo.

オノマトペ画像の収集• bingAPIを利用• 一つのクエリにつき1000枚画像を収集
検索結果には上位
でもノイズ画像が含まれてしまう（モクモク検索結果 上位50枚）

リランキングⓒ 2011 UEC Tokyo.

リランキング手順• 画像認識によるリランキング
ランキング画像に学習したSVMを適用

このリランキングを二回繰り返すⓒ 2011 UEC Tokyo.

リランキングの例• Queryを入力し、bingAPIでWeb画像を収集「ざらざら」

図1 検索結果上位50まで（ざらざら）ⓒ 2011 UEC Tokyo.

リランキングの例• 検索結果の上位10枚を使ってリランキング

図2 リランキング結果その1（ざらざら）ⓒ 2011 UEC Tokyo.

リランキングの例• リランキング結果の上位20枚でリランキング

図3 リランキング結果その2 データセット（ざらざら）ⓒ 2011 UEC Tokyo.

認識可能性の評価• 測定方法– ランダム画像5000枚を正例画像50枚に混ぜ，学習モデルを使って，分離（5 fold cross varidation）– 分離度合いで，認識可能性を評価
分離度大⇒認識可能性が高い
分離度小⇒認識可能性が低いⓒ 2011 UEC Tokyo.

ランダム画像

画像を混ぜ、リランキングを行いソート
リランキング
結果を評価

認識率の評価• 平均適合率ⓒ 2011 UEC Tokyo.

画像認識• 画像特徴量（2種類を比較）– Improved fisher vector (IFV)• SURF 128次元、クラスタ数 256– Deep Convolutional Neural Network (DCNN)• 分類器– Support vector machine (SVM)• 線形SVMⓒ 2011 UEC Tokyo.

DCNN特徴の抽出• Overfeat[Pierre Sermanet et al, 2013]– ImageNet Challenge の 1000 カテゴリ，100万枚でpre-training– layer5，6，7 の出力結果を扱うⓒ 2011 UEC Tokyo.

実験• オノマトペ画像の認識 （20種類）ⓒ 2011 UEC Tokyo.

自動収集されたオノマトペ画像の精度評価

FeatureIFV

Layer5(DCNN)

Layer6(DCNN)

Layer7(DCNN)

平均値(%)

60.4

85.2

89.6

85.1

リランキングにはLayer6が有効ⓒ 2011 UEC Tokyo.

認識可能性の評価（Layer6データセット）• ランダム画像との分離度

FeatureIFV

Layer5(DCNN)

Layer6(DCNN)

Layer7(DCNN)

平均値(%)

21.5

55.6

51.3

73.9

ⓒ 2011 UEC Tokyo.

ランダム画像との分離度の可視化「ふわふわ」（赤枠はノイズ画像）

Fisher2.8%

Layer7(DCNN)
47.4%「ごつごつ」
Fisher3.8%

Layer7(DCNN)
72.8%ⓒ 2011 UEC Tokyo.

ランダム画像との分離の可視化「ざらざら」（赤枠はノイズ画像）

Fisher51.4%

Layer7(DCNN)
92.4%「じゅわじゅわ」
Fisher2.1%

Layer7(DCNN)
96.6%ⓒ 2011 UEC Tokyo.

【追加実験】名詞＋オノマトペ画像
オノマトペ画像のみだと特定の物体に偏る場合がある
・例）ごつごつ→山の画像が多い
ランダム画像との分離→山画像の認識？

名詞＋オノマトペ画像の認識
・名詞内でオノマトペのマルチクラス分類
・オノマトペ以外の要素が認識に関わる可能性を抑える（例ふわふわケーキ、パサパサケーキ、サクサクケーキ）ⓒ 2011 UEC Tokyo.

同一名詞内オノマトペマルチクラス分類• DCNN特徴

5 fold cross varidation で実験• 名詞と組み合わせたオノマトペは、Webテ
キスト検索の共起頻度に基づき自動選択-

クラス数が少なくなるので形容詞も使用

名詞

犬5クラス

靴6クラス

分類率(%)

52.5

85.7ⓒ 2011 UEC Tokyo.

ケーキ
7クラス

72.3

花7クラス

84.6

名詞＋オノマトペ画像の認識• ケーキ＋オノマトペ画像ⓒ 2011 UEC Tokyo.

ケーキ内オノマトペマルチクラス分類

72.3%ⓒ 2011 UEC Tokyo.

名詞＋オノマトペ画像の認識• 花＋オノマトペ画像ⓒ 2011 UEC Tokyo.

名詞内オノマトペマルチクラス分類

84.6%ⓒ 2011 UEC Tokyo.

まとめ• オノマトペ画像のWeb画像を自動収集し、認識可能性を評価した– 認識可能性は単語による差が大きかった– 「ふわふわ」などは認識可能性が低く、「ざらざら」、「じゅわじゅわ」などは認識可能性が高い• さらに、名詞＋オノマトペに対応する画像の分類可能性も評価した– 同一名詞内での分類であってもオノマトペを分類することができたⓒ 2011 UEC Tokyo.

今後の課題• 高精度な特徴量の導入– DCNN特徴のFine-tuningを行う• 質感語に対応する領域の推定• 単一オノマトペ＋様々な名詞の組み合わせに対応した画像の収集と分析– 名詞が異なってもオノマトペが認識できるかどうか（例 ふわふわケーキ VS ふわふわ犬）ⓒ 2011 UEC Tokyo.

ご清聴ありがとうございましたⓒ 2011 UEC Tokyo.