OS3-1

既存カテゴリの活用とクラウドソーシングによる食事画像データセットの自動拡張
電気通信大学 総合情報学専攻
河野 憲之, 柳井 啓司

背景• データセットの大規模化– 数百種類や数千種類など– クラウドソーシングの利用• ノイズデータの除去• クラウドソーシングの問題点– コストが少なからずかかる– 性能は完璧ではないデータのノイズ除去を事前に自動で行うことによって，コスト削減と精度向上を目指す． 2

目的• 既存の画像データセットに新カテゴリを追加– 「食事画像データ」を題材とする．
– Webから画像収集し，ノイズ除去– 画像認識による自動ノイズ除去– Amazon Mechanical Turk（AMT)を用いて，ノイズ除去．

沖縄そば• 画像に付与する情報– クラスラベル– 位置情報 (バウンディングボックス)
3

関連研究• 食事画像データセット– UEC Food100 [ICME2013]• 本研究では，これを拡張• クラウドソーシングによる画像知識ベース構築– ImageNet (http://image-net.org) [CVPR2009]• Web画像検索＋AMT• 画像認識 + active learning + クラウドソーシング– 物体検出器とAMTを組み合わせ [CVPR2012]4

データセット自動構築の流れ 概要
1. Webから食事画像を収集– キーワードによるWeb画像収集

2. 画像認識による自動ノイズ除去– 食事画像判別 と 個別食事識別– 既存の食事画像データを利用

3. AMTによる手動ノイズ除去– サンプル選択，画像選択，バウンディングボックス描画5

データセット自動構築の流れ 詳細

6

1. Webから食事画像を収集• 新規カテゴリのキーワードを準備– 例) 「マンゴープリン」「ティラミス」• 収集– WebAPI (Flickr, Twitter, Bing)でキーワードによる画像検索– 現地語キーワードと，英訳キーワードの両方を使用
7

２．画像認識によるノイズ除去• ２段階フィルタリングによる自動ノイズ除去
1. 食事画像判別器••

食事・非食事画像分類
既存食事データセットを学習画像

２．個別食事識別器••

新規カテゴリ・非新規カテゴリ分類
食事画像判別器の評価値の高い画像を学習画像
8

2.1. 食事画像判別器• 目的– 食事画像 と 非食事画像を判別• 画像認識器による判別– 画像特徴量+ linear SVM– 正例：UEC-FOODの100カテゴリを１３カテゴリに集約，– 負例: 食事名で検索した時に間違えやすい画像．
• レストラン、出店、飲食店、夕食会– １３の識別器を学習し，最大スコアを「食事度(foodness)」 とする．
9

2.1 作成されたグループと属する食事例

10

2.2. 個別食事識別器• 目的– 目的のカテゴリの食事画像かどうか識別– [問題点]新規カテゴリのため学習データが存在しない．
– 転移学習を利用して，既存カテゴリの知識を利用• 画像認識器による判別 (A-SVM以外は2.1と同じ)––––

画像特徴量 + adaptive SVM[擬似正例] 食事画像判別器の評価値上位画像[負例]食事画像判別器の評価値下位画像
最も類似している食事グループ画像をソースドメイン11
データとする．

Webから収集• ティラミス12

食事画像判別適用後• ティラミス13

個別識別器適用後• ティラミス14

転移学習で，ソースドメインとなった画像例
ターゲット 最も類似した食事グループ
沖縄
そばプマリンンゴーロミーネ
ネス
トナチョ
ス

15

3. AMTによる手動ノイズ除去• 人間の力を借りてノイズ除去
最後に，バウンディングボックス(BB)付与
沖縄そば• 3段階のクラウドソーシング処理– サンプル画像選択タスク– ノイズ除去タスク– BB付与タスク

16

3.1. クラウドソーシングでサンプル画像を取得• 問題点– ワーカーは対象の料理について知らない– ノイズを除去しても、少なからず含まれる• 目的– 後のタスク（ノイズ除去，BB付与）でワーカーに提示するための一般的な少数で高信頼のサンプル画像の取得• AMTで処理する画像– 評価値上位を画像類似度で並び替えして、使用
17

3.1. サンプル選択タスク• タスクの特徴– 30枚を与えて、最大7枚、一般的なサンプルを選択してもらう– リンクを与えるので勉強してもらう– $0.06、4人• 少し高め、外部リンクで勉強させる、また重要であるため– 質の向上• サンプル選択をしないとヒットを提出できない• 設置したリンクをたどらないとヒットを提出できない
18

3.1. サンプル選択結果• 5~7枚取得し、対象の食事である– 100カテゴリ100%• ワーカーからの評価– 他のタスクで有用性を調査
ノイズ除去
BB付与

有用

普通

有用でない

89.59
91.68

7.90
7.02

2.52
1.31

サンプル有無による性能評価は未調査
19

3.2. クラウドソーシングでノイズ画像の除去• タスクの目的– 人手による対象でない食事画像の除去• タスクの特徴– １タスク $0.03, 5人– 結果の結合は多数決– 未判定が5つ以上あると、提出できない

20

3.3. クラウドソーシングでBB付き食事画像を取得• タスクの目的– バウンディングボックスの付与– 人手による対象でない食事画像の除去• タスクの特徴– １タスク $0.05、4人– 質の向上• 現在の状況の提示• 入力時にノイズのチェック
21

3.3. タスク例
取得したサンプル画像

バウンディングボックス付与タスク

22

3.3. 実際のページ例

233.3. 収集結果例
アップルパイ24

実験設定• 実験内容– クラウドソーシングに用いる画像と性能の評価– タスク分散による性能の評価• 選別方法– 食事画像判別器: FC– 個別食事カテゴリ識別器: A-SVM– AMTによるノイズ除去タスク: AMT
25

実験内容
• 実験1
– コスト (100枚をデータセットに追加する平均賃金)– 回収率 (投げた画像の内、パスした割合)• 実験2– 構築されたデータセットの適合率

26

実験結果
コスト
ノイズ除去

総量

BB付与

回収率[%]

コスト[$]

回収率[%]

コスト[$]

コスト[$]

FC--

64.2

3.11

3.11

FC + A-SVM

--

74.7

2.68

2.68

80.9

0.74

86.7

2.31

3.16

FC + A-SVM + AMT

適合率適合率[%]上昇[%]

FC91.10-

FC + A-SVM

94.19+ 3.09

FC + A-SVM + AMT

97.83+ 3.64

27

ワーカーの国別人口• 自由回答によるワーカーの国別人口– インド人が圧倒的に多い
indiausa

Canada French uk

Asia

1668

394

20433• 今回対象にした食事は、日本を含む5か国– インド人は未知の食事も多い
28

悪意のあるワーカー• 特定の一人の悪意のあるワーカーの結果

29

まとめと課題• クラウドソーシングを用い、食事画像データセットの自動拡張に取り組んだ– 256種類に拡張• データのノイズ除去を事前に行うことによって、コスト削減と性能が向上した• 今後の課題– 食事画像以外のデータセットの構築– 個別のワーカーの信頼性評価の導入
30

他の発表
• [SS3-41]: ILSVRC on a Smartphone.
Yoshiyuki Kawano, Keiji Yanai.

• [DS2-4]: FoodCam256: 線形識別器の重み圧縮を用いた256種類食事画像認識アプリケーション
河野 憲之, 柳井 啓司 et al.

31

32

3.1. ページ例

33

3.2. タスク例
取得したサンプル画像

ノイズ除去タスク

その他、タスクの説明や、よい例、悪い例などを提示
34

3.2. 実際のページ例

35