Deformable Part Model を用いた料理の位置検出

PRMU研究会 (2011/12/16)

松田 裕司, 柳井 啓司
電気通信大学 大学院情報理工学研究科 総合情報学専攻ⓒ 2011 UEC Tokyo.

背景• モバイルデバイスを用いた食事記録の普及– 栄養バランスの評価– 食生活の改善• 一般的な記録方式はテキスト入力や選択– より早く・簡単に記録を取ることを期待ⓒ 2011 UEC Tokyo.

目的• 食事画像から料理を推定する– 手軽に食事の記録が取れる

推定

食事画像
ⓒ 2011 UEC Tokyo.

関連研究• FoodLog (東京大学相澤研究室) [Kitamuraet al. CEA2009][宮崎ら MIRU2011]– 画像からカロリーや栄養を直接推定– どんな種類の料理でも栄養推定が可能– 料理の種類の記録には不向き

推定

http://www.foodlog.jpⓒ 2011 UEC Tokyo.

関連研究• [Yang et al. CVPR2010]– 61種類のファーストフードデータセット– 食材の位置関係を特徴量化• [Zong et al. ISM2010]– 同様のデータセット– SIFT特徴点検出＋LBP特徴ⓒ 2011 UEC Tokyo.

従来研究• 食事認識システム [甫足ら MIRU2011]– 85種類の認識対象– 候補領域推定により複数品目への対応ⓒ 2011 UEC Tokyo.

本研究• 従来研究の拡張– 対象の料理を100種類に拡張– Deformable Part Modelを用いて料理位置の検出精度向上– Manifold Rankingによる共起関係を用いた再ランキングⓒ 2011 UEC Tokyo.

認識手法（概要）
料理候補位置検出

理想イメージ図

特徴抽出

種類分類

共起関係による再ランキングⓒ 2011 UEC Tokyo.

ごはん，豚カツ，みそ汁料理候補位置検出（従来手法）

円検出

領域分割

全体
ESS
Efficient Subwindow Searchⓒ 2011 UEC Tokyo.

料理候補位置検出（提案手法）

円検出

Deformable Part Modelⓒ 2011 UEC Tokyo.

領域分割

Deformable Part Model [Felzenszwalb et al. CVPR 2008]• 全体像とパーツの組み合わせでモデル化– 全体とパーツの形状およびパーツの位置ずれ・変形に対するコストで評価– 特徴量：HOG– 識別は線形SVM– Pascal VOC 2009 winnerⓒ 2011 UEC Tokyo.

Deformable Part Model• 各料理についてモデルを作成– 画像1枚につき各料理一つずつ位置を出力– 画像1枚あたり100領域ⓒ 2011 UEC Tokyo.

画像特徴量• 候補領域ごとに画像表現ベクトルを作成• 色特徴, SIFT, CSIFT– 局所パターン特徴– 1000次元のBoF、3x3空間ピラミッド表現• HOG– オブジェクトの大まかな形• Gabor– 周期的濃淡変化ⓒ 2011 UEC Tokyo.

種類分類• MKL-SVM分類器– 複数の特徴を統合– 各料理について分類器を作成 (1-vs-rest)• 候補料理の出力– 各料理の評価値は全候補領域中の最大値– 上位N個を出力ⓒ 2011 UEC Tokyo.

共起関係の利用• 一緒に食べられる料理間には関係がある– 同時出現頻度の利用• 共起関係を用いてより上位に正しい料理が来るように結果を再ランキングⓒ 2011 UEC Tokyo.

共起頻度（一部）
ごカ天ハ味餃鶏目納冷グけ牛フ炊
ごはん
カレーライス
天丼
ハンバーガー
みそ汁
餃子
鶏の唐揚げ
目玉焼き
納豆
冷奴
グリーンサラダ
けんちん汁
牛丼
フライドポテト
炊き込みご飯ⓒ 2011 UEC Tokyo.

Manifold Ranking• PageRankの一般化• 類似するデータが多いものが上位に来るように再ランキングする手法• 画像検索においてユーザからのフィードバックを用いて再ランキングする際に用いられているⓒ 2011 UEC Tokyo.

Manifold Ranking• y: 元のスコア, S: 類似度行列,α:パラメータ• 本研究では，類似度の代わりに共起確率を用いる– 共起確率の集計は学習・テスト区別無しⓒ 2011 UEC Tokyo.

Manifold Ranking• 再ランキングの例
1.ピザトースト
2.みそ汁
3.豚カツ
4.ごはん
5.コーンスープ
6.ナスの油味噌
7.ウィンナーのソテー
8.サンマの塩焼き
9.茶碗蒸し10.目玉焼きⓒ 2011 UEC Tokyo.

1.ごはん
2.みそ汁
3.ピザトースト
4.グリーンサラダ
5.豚カツ
6.ウィンナーのソテー
7.コーンスープ
8.目玉焼き9.なすの油味噌
10.さんまの塩焼き実験設定• データセット– 100種類の料理– 学習セット：8854品の料理オブジェクト– テストセット：複数品目画像500枚（1178品）• 評価方法ⓒ 2011 UEC Tokyo.

認識対象料理ⓒ 2011 UEC Tokyo.

ご飯類：18種類ⓒ 2011 UEC Tokyo.

麺類：11種類ⓒ 2011 UEC Tokyo.

パン類：11種類ⓒ 2011 UEC Tokyo.

肉類：11種類ⓒ 2011 UEC Tokyo.

魚介類：8種類ⓒ 2011 UEC Tokyo.

惣菜：33種類ⓒ 2011 UEC Tokyo.

サラダ：3種類、汁物：5種類ⓒ 2011 UEC Tokyo.

実験概要
1. DPMのみとMKLで再認識した場合の比較

2. 提案手法と従来手法との比較
3. 共起関係を用いたManifold Rankingによる再ランキングⓒ 2011 UEC Tokyo.

DPMのみとMKLで再認識した場合の比較
0.70.6

分類率0.50.4

0.3

0.2

DPMのみ
41.5％

DPM+MKL

52.8％

0.1

0.0
123456

78910

候補数

DPM+MKL

DPMのみ

DPMのみで検出を行うよりもMKLで複数特徴を用いて再認識したほうが良いⓒ 2011 UEC Tokyo.

従来手法と提案手法の比較
料理領域が既知の場合
0.70.6

分類率

0.5
0.4
0.3
0.2

提案手法
（DPM+円+領域分割）

従来手法（円＋領域分割＋ESS＋全体）

0.1

56.0％

52.4％

0.0
123456789

候補数

提案手法

DPM

円検出

領域分割

ⓒ 2011 UEC Tokyo.

正解領域

従来手法

10認識結果の例

ごはん

みそ汁

鮭のムニエル ウィンナーのソテー

目玉焼き

けんちん汁

オムレツ

ⓒ 2011 UEC Tokyo.

とんかつ再ランキングの結果
0.7
0.6

分類率

0.5
0.4
0.3

再ランキング前
56.0％

再ランキング後(α=0.04)

0.2

64.4％
0.1
0.0
1

2

3

4

5

6

7

8

候補数

共起なし

α=0.03α=0.04ⓒ 2011 UEC Tokyo.

α=0.05910

再ランキングの例
1.ごはん
2.さんまの塩焼き
3.ウィンナーのソテー
4.ハンバーガー
5.鮭の塩焼き6.寿司
7.干物
8.目玉焼き9.茶碗蒸し10.ホットドッグⓒ 2011 UEC Tokyo.

1.ごはん
2.みそ汁
3.グリーンサラダ
4.目玉焼き5.ウィンナーのソテー
6.冷奴
7.さんまの塩焼き
8.卵焼き
9.ハンバーガー
10.鮭の塩焼き

まとめ• 提案手法– Deformable Part Model の適用– Manifold Ranking• 評価実験
– DPM：56.0% （3.6 ポイント向上）– 共起関係：64.4%（8.4 ポイント向上）ⓒ 2011 UEC Tokyo.

今後の課題• 料理位置検出の工夫– 各料理ごとではなく上位の階層で検出• データセットの拡充– より現実的な共起関係の抽出– 主菜・副菜の組み合わせなど• 単品画像と複数品画像の識別ⓒ 2011 UEC Tokyo.

ご清聴ありがとうございましたⓒ 2011 UEC Tokyo.