「画像の認識・理解シンポジウム (MIRU2012)」 2012 年 8 月

料理間の共起関係を考慮した食事画像認識松田裕司†

柳井啓司†† 電気通信大学大学院 情報理工学研究科 総合情報学専攻〒 182-8585 東京都調布市調布ヶ丘 1-5-1
E-mail: †matsuda-y@mm.cs.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし

本研究では，料理間の共起を用いて複数の料理を含む画像の認識精度の改善を行う．提案手法では，食事画像データベースや Web 上のテキストから料理間の共起確率を求め，Manifold Ranking を用いて，SVM による評価値の再ランキングを行った．複数品目を含む画像に対して，100 種類の料理について分類を行い性能の評価を行ったところ，10 個の候補を表示したときに，データベースから共起確率を求めた場合に，従来手法と比べて 7.4 ポイン
ト向上し，63.33%の分類率，Web から共起確率を求めた場合に，従来手法と比べ 0.35 ポイント向上し，56.27% を達成し，複数品目を含む画像に対して共起関係を用いることが有効であることが示された．
キーワード

食事画像認識, 共起

2. 関 連 研 究
食 事 画 像 の 認 識 に 関 す る 関 連 研 究 と し て ，Food-Log（注 1）では，画像から得られる画像特徴を用いて，栄養を直接推定している．この方法は，どのような種類の料理でも認識対象にすることもできるが，認識結果が本当に正しいかどうかは，知識のないユーザーには理解しづ(a) 入力画像(b) 結果表示

図 1 本研究で構築した認識エンジンは入力画像から料理の候補推定し出力する．

らい．それに対して，本研究では，複数品目を含むような画像にも対応し，料理の種類を認識してユーザーの記録のサポートを行い，その後，栄養を計算するというアプローチを最終目標としている．

1. は じ め にYang ら [1] は，野菜やパンや肉などの材料の位置関係を特徴ベクトルとする事で，米国でよく食べられている

近年，携帯電話やスマートフォン等の情報端末を利用

61 種類のファーストフードの分類に取り組み，28.2%のして食事記録をとるサービスが普及しつつある．食事情精度で分類する事ができた．また，Zong ら [2] も同様の報を記録することで，食生活について意識したり，栄養ファーストフードデータセット [3] に対して，SIFT 特徴分の評価を行うことができる．食事情報を記録する際

点検出と Local Binary Pattern 記述子を用いた分類で，の一般的な方法として，ユーザーがテキストを入力し，ベンチマークよりも良い分類精度を出した．我々の研究サービスに登録してある食べ物を検索する方法や，サーでは，これらの米国の食生活に基づくデータセットとはビスに登録してある食べ物から階層的なリンクを用いて異なり，日本でよく食べられている物を中心にデータ選択する方法が挙げられる．それらは，摂取した食品毎セットを構築している．に登録をする必要があり，複数品目の料理を毎食記録す

我々は以前から食事画像認識について研究をしているのは特に手間が大きい．そこで，より手軽に，より短る [4]. そこでは，複数の料理が写っている画像や対象の時間で食事の記録をとる方法が望まれている．

料理が大きく写っていないものも考慮するために，ESS,本研究では，食事内容を少ない手間で記録するために，円検出, 領域分割を用いて料理領域の推定を行った．85

画像認識技術を用いて，画像中に含まれると推測される種類の料理を対象とした実験の結果，10 個の候補を表料理名の候補を表示する認識エンジンを構築した (図 1)．

示するとき，一品が写ってる画像において 71.6%，複数（注 1）：http://www.foodlog.jp䜽䜶䝸⏬ീ
ᩱ⌮㡿ᇦ᥎ᐃ

඲య

෇᳨ฟ

DPM

㡿ᇦศ๭

(a) 入力画像㡿ᇦ⤫ྜ(b) 輪郭抽出

図3(c) 円検出

円検出の流れ⏬ീ⾲⌧䝧䜽䝖䝹ColorSIFT

CSIFT

HOGGabor

3. 1. 1 候補領域検出ᩱ⌮ศ㢮

複数の料理が写っている画像では，特徴ベクトルを作MKL-SVM成する前処理として，候補領域の推定を行うことで，認識精度が向上する [4]．本研究では，画像全体に加えて，SVM䛾ホ౯್䝷䞁䜻䞁䜾

Manifold Ranking䛻䜘䜛෌䝷䞁䜻䞁䜾

Deformable Part Model，円検出，領域分割を用いて料理の位置推定を行っている．

a ) Deformable Part Modelㄆ㆑⤖ᯝ⾲♧

図 2 認識の流れFelzenszwalb らは，全体を表す global root filter と複数のパーツモデルの 2 層でオブジェクトを定義する De-formable Part Model(DPM) [5] を提案した．モデルの学品目が写っている画像において，60.2% の分類率を達

習には，各パーツの相対的な位置関係も含まれており，成した．本研究では，料理領域推定の精度が良くなかっ検出の際には，パーツの HOG 特徴量によるスコアと位た ESS に代わり，スライディングウィンドウ方式の物体置関係の変形によるスコアで評価される．

検出手法である Deformable Part Model [5] を採用している．
以前の研究では各料理は独立して認識を行っていた．
しかし，複数のオブジェクトを含む画像認識ではオブジェクト間の関係が重要な手がかりとして利用されている．先行研究として，データセットから得られた共起行本研究では，100 種類の各料理モデルを作成し，それぞれについて検出を行っている．モデルの学習および検出には [8] を使用した。

b) 円 検 出
画像から円形の輪郭を抽出する事で，皿の領域を検出し，それを候補領域とする．

列と Web 検索エンジンを利用して得られた共起行列をまず，入力画像をグレースケール画像に変換し，Canny基に CRF を用いて認識結果の改善を行ったもの [6] やEdge Detector により，輪郭を抽出する．抽出された輪共起関係と空間関係を木構造を用いてモデル化し，オブ郭に対して，Hough 変換による円検出を行うことで，画ジェクト検出の精度改善を行ったもの [7] がある．本研像から円形の輪郭を抽出する (図 3)．

究では，データセットおよび検索エンジンから得られた

なお，予備実験では楕円検出も試みたが，楕円検出で料理間の共起確率を基に Manifold Ranking を用いて複は楕円領域が多く抽出され過ぎる場合がしばしばあった

数品目を含む画像において認識精度の改善を行う．

ため，今回は円検出のみを用いることとした．

3. 認 識 手 法c) 領 域 分 割
領域分割とは，似た色を持つ領域に画像を分割する本研究で作成した料理画像認識エンジンの処理の概要事である．本研究では，領域分割アルゴリズムとしてを図 2 に示す．認識対象の画像が与えられたら，従来手JSEG [9] （注 2）を用いた．JSEG では，色空間の量子化を法に基づいて，画像中の料理領域を推定し，各候補領域行い，カラークラスマップを作成することで，空間分割に対して SVM による分類を行う．次に料理の共起確率を行う．JSEG では，パラメータとして分割後の領域数を利用し Manifold Ranking で SVM の評価値の再ランを設定することができる．本研究では，画像をおよそ 10キングを行う．最終的な分類結果は，再ランキング後の個の領域に分割し，候補領域とした．

スコア上位 N 個を表示する．

3. 1 従 来 手 法認識対象の画像が与えられてから SVM による評価値を得るまでの手法についての詳細を記述する．

また，領域分割によって得られた領域の 2 つを結合した時の円形度が，結合された 2 つの領域より大きくなる
場合，結合した領域も料理の候補領域とする (図 4)．円
（注 2）：http://vision.ece.ucsb.edu/segmentation/jseg/software/3. 2 共起関係を用いた再ランキング
一般に食事には組み合わせが存在し，“ごはん” と” みそ汁” や” ハンバーガー” と” フライドポテト” は一緒に(a) 入力画像(b) 領域分割の結果(c) 領域の結合

図 4 領域分割での候補領域検出食べられることが多いが，“寿司” と” ハンバーガー” などは一緒に食べられることはほとんどないと考えられる．
独立に求められた各料理の評価値に対して，このよう形度とは，領域がどの程度円に近いかを示す指標である．

な料理間の共起の統計情報を用いることで，複数の料理円形度は領域の面積を S ，領域の周囲長を L とした場合，が存在する場合の認識精度の向上をはかる．

(4πS)/L2 で求められ，この値は最大 1 となり，大きい

3. 2. 1 Manifold Ranking

ほど円形に近い．

本研究では，共起情報を反映させる手法として，Man-d ) 候補領域の選定

ifold Ranking [10] を用いる．Manifold Ranking とは，それぞれの手法で検出した候補領域は以後の処理で同Google の Page Rank を一般化したもので，類似する等に扱うために，検出領域を含む bounding box とした．

データが多いものほど上位に来るようにスコアを再ラン

このとき，各手法で検出した候補領域に対して，領域のキングする手法である．画像検索においては，He ら [11]形を調べ，明らかに間違っている候補領域を除去する事が，検索結果に対する適合性フィードバックに Manifoldで，分類にかかる計算コストを削減し，かつ，ノイズとRanking を用いた手法を提案している．

なる評価値も削減する．本研究では，検出された候補領最初の q 個をクエリとするデータ X

域の短辺が 60 ピクセル以下の物は小さすぎる領域とし{x1 , · · · , xq , xq+1 , · · · , xn } が与えられ，X についてのて候補領域から除外する．さらに，学習画像から各種類

ランキングスコア f = {f1 , · · · , fn }, xi がクエリであの料理の縦横比の平均と標準偏差を計算しておき，縦横るときに yi = 1，それ以外では yi = 0 とするベクト比の値が平均値を中心として標準偏差の ±2 倍以内の範ル y = {y1 , · · · , yn }T を定義する．このとき，Manifold囲から外れている，縦横比が極端なものを候補領域からRanking のアルゴリズムは，以下のようになる．
Manifold Ranking のアルゴリズム除外する．

=

3. 1. 2 候補領域に対する種類分類（ 1 ） xi .xj の距離からなる類似行列 W を作成

a) 特 徴 量する．

本研究では，候補領域を分類するために，色特徴，（ 2 ） Dii が W の i 行目の総和となる対角行列をSIFT, CSIFT, HOG, Gabor の 5 つの画像特徴を用いた．

用いて，S = D−1/2 W D −1/2 のように対称正規化を

色特徴，SIFT, CSIFT は 10pixel ごとの Dense Sam-行う．

pling で抽出を行い，3 × 3 の各領域で 1000 次元の Bag（ 3 ） f (t + 1) = αSf (t) + (1 − α)y の計算を収束of Features 表現にして，合計 9000 次元の特徴ベクトルするまで行う．ここで，α は [0, 1) をとるパラメーとした．HOG は，領域を 8 × 8 セルに分割し，1 ブロッターである．

ク 3 × 3 で合計 36 ブロックとし，全体で 2916 次元の特（ 4 ） 収束した結果 f ∗ の値に基づいてランキン徴ベクトルとした．Gabor は，領域を 8 × 8 セルに分割し，それぞれで 6 方向，4 周期のガボール変換カーネルグする．
∗によって特徴を抽出することで，1536 次元の特徴ベクト

また，Zhou らは [10] で，反復の結果が f = (1 − α)(I −ルとした．

αS)−1 y) に収束することを示した．

b) 分 類 器
本 研 究 で は ，分 類 器 と し て Support Vector Ma-chine(SVM) を用いて，各料理クラスに対する評価値を求める．その際，複数の画像特徴を利用しているため，Multiple Kernel Learning(MKL) により複数のカーネルを線形結合して，最終的な統合カーネルを得る．ここで本研究では，画像の類似度行列の代わりに料理の共起行列を用いて，分類器による評価値の再ランキングを行う．
つまり，提案手法における最終的な評価値は次のようにして得られる．

r∗ = (I − αS)−1 r(1)の料理ごとの評価値は，多数の候補領域から得られた評価値のうち最も高いものをその料理の評価値としてみな

ここで，r∗ は再ランキング後の評価値， r は初期の評価している．

値，S は共起確率行列である．

Si,j = P

ci,jk∈F ∧k=j| ck,j,(3)

71117ഐᄲ㻌 10101औ॒ऽभව൏㻌 8110ฟᕄ㻌 14114ਲ௉ᕄ 㻌

行列は式 (3) のようにして求める．

11ढ़ॶᕄ 㻌ス中の画像から共起頻度を求める方法である．共起確率14ଠᕄ 㻌

ひとつは，これまで収集してきた料理画像データベー

810ᆈढ़ॶ㻌 8ঁথং‫ش‬फ़‫ش‬㻌a ) データベース

1010ᆷऌ੢ाओන 㻌

法の 2 通りで求めた．

811დभར๐ऑ 㻌7ฟᕄ 㻌40ইছॖॻএॸॺ㻌 55731278711র෾५␗উ 㻌

Normalized Google Distance を利用し Web から得る方ॢজ‫ش‬থ१ছॲ㻌 37औ॒ऽभව൏ 㻌

本研究では，共起確率をデータベースから得る方法と3740

ഐᄲ 㻌96

ओम॒㻌 96ঁথং␗फ़␗ 㻌௡⍭ᅑ㻌

3. 2. 2 共 起 確 率ᆈढ़ॶ 㻌(2)ओम॒ 㻌௡⍭ᅑ 㻌(1 + exp(−vi ))−1ri = P.
−1j (1 + exp(−vj ))ইছॖॻএॸॺ 㻌うにして得られる．

ॢজ␗থ१ছॲ 㻌

SVM の出力値 vi に基づく初期の評価値 r は，次のよ

87842011120

1114র෾५‫ش‬উ㻌

88დभར๐ऑ㻌 374

ଠᕄ㻌 121ᆷऌ੢ाओන㻌 71111ढ़ॶᕄ㻌 8ਲ௉ᕄ㻌 7

ここで，ci,j は料理画像データベース中で料理 i と料理 jが同時に出現した回数を表しており，F は認識対象の料

図 6 データベースから得られた共起頻度行列 (一部)

理カテゴリー全体の集合を表す．
習用に単品画像を 8500 枚，複数品目画像を 400 枚，評b ) Normalized Google Distance
もうひとつは，Web から料理同士の共起確率を得る方法である．これには Normalized Google Distance(NGD)[12] という検索エンジンのヒット件数を用いた単語間の価用に複数品目画像を 500 枚用いた．評価用の 500 枚の画像には合計 1178 品の料理が含まれている．
学習用の複数品目を含む画像 400 枚から得られた共起頻度の行列を図 6 に示す．この図は，赤色が濃いほど類似性尺度を利用する．

NGD は，x, y を単語とし，f (x) を単語 x のヒット件数，f (x, y) を単語 x と y のアンド検索時のヒット件数，M を検索エンジンの保持する総 Web ページ数とすると，共起する頻度が高いことを示している．大部分は青色になっており，共起しない組み合わせであるが，ごはんや丼ものなどとみそ汁やサラダの組み合わせがあるほか，ハンバーガーとフライドポテトなどの組み合わせも存在

式 (4) で求められる．

する．

N GD(x, y) =max(log f (x), log f (y)) − log f (x, y)log M − min(log f (x), log f (y))(4)

ただし，NGD は類似性の尺度であるため類似する単語同士の場合に値が小さくなるため，式 (5) のようにして共起行列に変換する．

4. 2 評 価 方 法
分類結果の評価に用いる基準として，以下で定義する
分類率を用いる．
分類率 =第 N 候補までに挙げられた正しい料理の数
認識対象の料理数

ただし，画像中に対象としている 100 種類以外の料理含まれている場合，それは料理数に数えないものとする．

exp(−N GD(f oodi , f oodj )k∈F ∧k=j| exp(−N GD(f oodk , f oodj ))0Si,j=P

4. 実

(5)

験

4. 1 データセット
実験には我々が構築している食事画像データセットを

4. 3 実 験 結 果
本実験では，共起を利用しない場合をベースラインとして，データベースから得られた共起確率を利用する場
合，Web から得られた共起確率を利用する場合との比較を行った．

用いる．このデータセットには，100 種類の料理がそれ提案手法では，Manifold Ranking を用いる際に，パラぞれ 100 枚以上含まれており，複数品目の料理が写ってメーター α を指定する必要がある．今回の実験では，0いる画像は 900 枚含まれている．今回の実験で認識対象から 0.3 まで 0.05 刻みで評価を行い，最も分類率が高くとしている 100 種類の料理を図 5 に示す．その中から学なった α = 1.0 を採用した．α を変化させたときの分類

ごはん

うな重

ピラフ

親子丼

カツ丼

カレーライスピザ

サンドウィッチ

かけうどん

天ぷらうどん

ざるそば

ラーメン

野菜の天ぷら味噌汁

コーンスープ

おでん

オムレツ

たたき

茶碗蒸し

豚カツ

南蛮漬け

納豆

冷奴

ポテトサラダウィンナーの天ぷら盛り合
わせ

春巻き

ソテー

鶏の唐揚げ

グリーンサラダ マカロニサラダ

チキンライス

チャーハン

天丼

ビビンバ

トースト

クロワッサン

ロールパン

ぶとうパン

惣菜パン

ハンバーガー

天津麺

焼きそば

スパゲッティ

お好み焼き

たこ焼き

グラタン

野菜炒め

コロッケ

なすの油味噌

ほうれん草炒め餃子

シチュー

魚の照り焼き

魚のフライ

鮭の塩焼

鮭のムニエル

刺身

さんまの塩焼

すき焼き

酢豚

煮魚

肉じゃが

ハンバーグ

ビーフステーキ

干物

豚肉の生姜焼き

麻婆豆腐

焼き鳥

ロールキャベツ

卵焼き

目玉焼き

角煮

筑前煮

海鮮丼

ちらし寿司

たい焼き

エビチリ

ローストチキン

シュウマイ

オムライス

カツカレー

中華スープ

牛丼

おにぎり

ピザトースト

つけ麺

フライドポテト

きんぴらごぼうホットドッグ

炊き込みご飯

チンジャオ

冷やし中華

ロースー

けんちん汁

豚汁

寿司

チャーシューメン

がんもどきの煮物

ゴーヤーチャン
プルー

スパゲッティ
ミートソースエビフライ

図 5 100 種類の料理のサンプル

0.64

0.7

Baseline

0.63
0.6

DB

0.62
0.5

ীథ૨

ীథ૨

0.61
0.60
0.59
0.58

0.4
0.3
0.2

0.57
0.56

0.1

0.55
00.05

0.1

0.15

0.2

0.25

0.3

01

Alpha
図72

34567

8

910লৡ౜ଓમ৶ਯ

データベースから求めた共起確率を利用した場合の α
図 9 DB から求めた共起確率を利用した場合
0.564
0.563

0.60.562

Baseline
0.5

NGD

0.56
0.40.559

ীథ૨

ীథ૨

0.561

0.5580.557

0.570.56

0.3

0.55
0.540.2

0.556

0.53
0.520.555
00.05

0.10.15

0.20.250.3

Alpha0.10.5181

図 8 Web から求めた共起確率を利用した場合の α率の変動は図 7 および図 8 に示す．

91002345678910লৡ౜ଓમ৶ਯ
図 10 Web から求めた共起確率を利用した場合

データベースから得られた共起確率を利用した場合とWeb から共起確率を推定した場合それぞれについて，出データベースから得られた共起確率を利用した場合に力候補料理数を変化させたときの分類率の推移を図 9, 図は，候補料理を 10 個まで出力したとき，共起を利用しな10 に示す．

い場合と比べ 7.4 ポイント向上し 63.33%の分類率を達成した．また，Web から得られた共起確率を利用した場合

分類率を達成し，共起関係を用いることが有効であるこਫखऎীథऔोञમ৶भੜਸਯ4035とを示した．

3025

今後は，データセットの拡充を行いより一般的な料理20間の共起を反映させることや，検索エンジンを用いた手1510法はあまり有効では無かったため，他の共起を表すソー5スを見つけることが課題となる．

0-5

また，提案手法は複数品目画像に対しては有効である
ことが示されたが，単品画像に対しては，データベース
મ৶੡

図 11 10 個の料理を出力した際の料理別の正しく認識された数の変化から得られた共起確率を用いて Manifold Ranking を適応したところ，分類率が 68.14%と 3.09 ポイント下がる結果となった．そのため，単品が写っている画像であるか，複数品が写っている画像であるかを識別する必要性には，同様に候補料理を 10 個まで出力したとき，共起を利用しない場合と比べ 0.35 ポイント向上し 56.27%の分類率を達成した．
データベースから得られた共起確率を利用することで，共起を利用しない場合よりも良い認識精度が得られ，提案手法の有効性が示された．しかし，Web から得られた共起確率を利用した場合には，ほとんど改善が無かった．
これは，Web 上に存在するテキストが同時に食べられる料理という意味での共起関係を表していないことが要因であると考えられる．

4. 4 料理ごとの認識結果
データベース中の共起頻度を用いたときの結果について，10 個の候補を出力した場合に正しく認識された数に変化があったものを料理別に図 11 にまとめた．今回の実験では，多くの料理と共起する頻度の高かった，グリーンサラダ，味噌汁，ごはんの 3 品目に関して特に認識精度の向上があった．一方で，画像中に前述の 3 品目が含まれない場合についても同様に上位に再ランキングされ，共起頻度の高くない他の料理の順位が下がってしまい，それにより 10 位以下となってしまうケースもい
くつかみられた．しかし，“ごはん”，“みそ汁”，“グリーンサラダ” は，画像中に表れる回数も多いため，全体としては分類率が向上するという結果になっている．

5. ま と め
本研究では，Manifold Ranking を用いて，料理間の共起関係を反映させることで，複数品目画像における認識精度の向上をはかった．

10 個の料理を表示するとき，データベースからの共起確率を用いた場合に，従来手法と比べ 7.4 ポイント向上
し，63.33%の分類率，Web からの共起確率を用いた場
合に，従来手法と比べ 0.35 ポイント向上し，56.27%のもある．
文

献[1] S. Yang, M. Chen, D. Pomerleau and R. Sukthankar:“Food recognition using statistics of pairwise localfeatures”, Proc. of IEEE Computer Vision and Pattern Recognition (2010).
[2] Z. Zong, D. Nguyen, P. Ogunbona and W. Li: “Onthe combination of local texture and global structure
for food classification”, 2010 IEEE International Symposium on MultimediaIEEE, pp. 204–211 (2010).
[3] M. Chen, K. Dhingra, W. Wu, L. Yang, R. Sukthankar and J. Yang: “Pfid: Pittsburgh fast-food image dataset”, IEEE International Conference on Image ProcessingIEEE, pp. 289–292 (2009).
[4] 甫足, 松田, 柳井：“候補領域推定による複数品目に対応した食事画像認識”, 画像の認識・理解シンポジウム(MIRU), pp. 1–7 (2011).
[5] P. Felzenszwalb, R. Girshick, D. McAllester andD. Ramanan: “Object detection with discriminativelytrained part-based models”, IEEE Transactions onPattern Analysis and Machine Intelligence, 32, 9, pp.
1627–1645 (2010).
[6] A. Rabinovich, A. Vedaldi, C. Galleguillos, E. Wiewiora
and S. Belongie: “Objects in context”, Proc. of IEEEInternational Conference on Computer Vision (2007).
[7] M. J. Choi, J. J. Lim, A. Torralba and A. S. Willsky:“Exploiting hierarchical context on a large databaseof object categories”, Proc. of IEEE Computer Vision
and Pattern Recognition (2010).
[8] P. F. Felzenszwalb, R. B. Girshick and D. McAllester:“Discriminatively trained deformable part models, release 4”.
[9] Y. Deng and B. S. Manjunath: “Unsupervised segmentation of color-texture regions in images andvideo”, IEEE Transactions on Pattern Analysis andMachine Intelligence, 23, 8, pp. 800–810 (2001).
[10] D. Zhou, J. Weston, A. Gretton, O. Bousquet andB. Schölkopf: “Ranking on data manifolds”, Advances in Neural Information Processing Systems, 16,
pp. 169–176 (2004).
[11] J. He, M. Li, H. Zhang, H. Tong and C. Zhang:“Manifold-ranking based image retrieval”, Proc. ofACM International Conference Multimedia, pp. 9–16
(2004).
[12] R. Cilibrasi and P. vitanyi: “The google similaritydistance”, Knowledge and Data Engineering, IEEE
Transactions on, 19, 3, pp. 370–383 (2007).