情報処理学会研究報告
IPSJ SIG Technical Report

料理画像認識を用いたモバイル食事記録システム
河野 憲之1

柳井 啓司1

概要：近年，スマートフォンの性能が大きく向上している．そこで，スマートフォンの計算資源のみを用い，スマートフォン上でリアルタイムに料理画像認識を行い，ユーザの食事記録の補助を行うシステムを提案する．それは，カラーヒストグラムと Bag-of-SURF を fast χ2 kernel SVMs で 50 種類の料理を分類し，また，認識する領域をユーザが与えるとバックグラウンドで GrabCut によるその領域の補正と，認識結果が誤った場合を考慮し，SVM の評価値に基づき認識結果が向上する方向を写すように指示するシステ
ムである．実験では正しい料理領域が与えられ料理の候補を 5 つ提示した場合，81.55%の分類率を達成した．また，ユーザによるシステム評価を行い提案システムの有用性を検証した．
キーワード：スマートフォン，料理認識，食事記録，ユーザインタラクティブ

1. はじめにに提案システムはリアルタイムに画像認識を行うと伴に，認識結果が誤っていた場合を考慮し，次にどの方向を写す

近年，健康志向の高まりによりスマートフォンから利用と認識結果が期待されたものになるか提示する．また，計できる食事記録システムが多く現れるようになった．しか算コストの高い，認識する領域の決定はユーザに入力ししながら，一般的な階層型メニューより選択する方法は，てもらうが，バックグラウンドでその領域の補正を行う，

毎日複数回使用することを考えると手間が大きく，継続しユーザインタラクティブなシステムである．

た利用が難しい．また，画像認識を用いて食事記録を取る

図 1 は提案システムのイメージである．

ことのできるシステムも提案されているが，いずれのシス
テムにおいてもサーバに画像を送信し，そこで画像処理を

2. 関連研究行うため，ユーザ数の増加に対して多数の計算機が必要に料理画像認識は料理に決まった形はなく，同じ料理でなる，デバイスとサーバ間での通信コストがかかる，ネッ

あっても視覚的変化が大きいため難しいタスクである．松トワーク環境によっては利用できない，という問題が存在

田ら [1] は複数検出手法により料理領域を推定後，SIFT，する．

HOG，Gabor，カラーヒストグラム特徴を MKL-SVM によまた，近年クアッドコアの CPU を搭載したスマートフォ

り 100 種類の食事画像に対して分類を行った．Yang ら [2]ンが一般的になり，一世代前の PC と同程度のスペックには，画素間の距離や角度等，材料の位置関係を特徴量とすまでなっている．そのため，従来はリアルタイムに動作さる手法により，ファストフードの分類を行った．本研究でせることができなかった処理も複数コアを用いることによも，料理認識を行い，料理を分類して結果上位をユーザにり高速に処理させることが可能になった．

提示する．

そこで本研究では，近年のスマートフォンの性能向上に

食事記録システムとしては，一般的な画像認識を用いな着目し，スマートフォン上でリアルタイムに，また χ2 カー

い場合は，料理データベースの拡大が容易であるが，手動ネルの近似線形化手法を適用し高精度に食事画像認識を行による入力のため手間が多く，継続した利用が難しい．画い，食事記録をとる補助を行うシステムを提案する．さら像認識を用いた食事記録システムには，食事画像からバランス推定を行い，その結果を返す FoodLog[3] や，チェッ1

電気通信大学 情報工学科．現在，同大学院 情報理工学研究科 総

カーボードとともに食事を撮影し，食事の分類と量の認識

合情報学専攻所属

c 2012 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report

プレートマッチングによりリアルタイムに物体検出や追跡を行うアプリケーションが提案されるなど近年モバイルと画像認識の研究が盛んに行われている．本研究では視覚的変化の大きい料理に対してスマートフォンの計算資源のみを用いてリアルタイムに料理認識を行う．
ユーザインタラクティブなシステムとしては Yu ら [8]の研究が挙げられる．Yu らはモバイル位置検索で認識を誤った場合を考慮し，次にどの視点を撮影すればよいかを，オフラインで求めた顕著性とオンラインで画像マッチ(a) システムを食事にかざす

ㄆ㆑⤖ᯝ

ಙ㢗ᗘ

㣗஦⏬ീಖᏑ

ング，Gist+SVM により求め，それをユーザに返す Active

Quert Sensing（AQS）を提案した．本研究でも，処理に時間のかかる部分はユーザに補助してもらい，また料理のあると推定された方向を提示することによりユーザインタラ
クティブなシステムを構築する．

᪉
ྥ
ᥦ
♧

3. システム概要
本システムの目的は画像認識技術を利用してユーザの食事記録をとる補助と食事記録を見直すことで食生活を確認

㣗஦㑅ᢥ

ㄆ㆑㡿ᇦ

㔞ධຊ

(b) システムの認識画面
図 1 提案システムのイメージできるようにすることである．

3.1 食事記録登録
本システムの食事記録登録の基本的な使用の流れを以下に，例を図 2 に示す．

を行う TADAproject[4] がある．しかし，いずれもサーバに画像データを送り，画像処理をしているため通信コストが高く，一度のみの認識となり認識を誤った場合は，ユー
ザが後から手動で直すことになる．本研究でも，画像認識( 1 ) ユーザはシステムを起動し，食事にスマートフォンをかざす．

( 2 ) ユーザは料理領域を入力する．入力後バックグラウン
ドで領域補正が行われる．

を用いた食事記録システムを構築するが，スマートフォン( 3 ) 料理認識を行う．料理領域が入力されていれば逐次料上でリアルタイムに認識，その場で記録することにより簡理領域に対して認識を行い，入力されていなければフ単に正確な食事記録をとることのできるシステムを提案す

レーム全体で料理認識を行う．

る．なお，本研究では，料理の量はユーザに入力してもらい料理の種類の認識のみになっている．

( 4 ) 一定時間後，認識結果上位を提示する．この一定時間の間料理認識を繰り返し，各領域の各料理のスコアはスマートフォンと画像認識の研究では，近年のスマートそれぞれの認識結果の平均とし，最終的に全スコアをフォンの普及によりスマートフォンから利用できる画像認

ソートし，評価値の高い料理名から順にリストに表示識システムが多く現れるようになった．物体認識システム

する．

として有名な Google Goggles*1 は，ロゴや建造物など特( 5 ) ユーザは認識結果上位から料理を選択する．結果が定物体を認識するアプリケーションである．また，Kumar

誤っていた場合は，料理性の高い方向が提示されていら [5] の一定条件下で葉の画像をサーバに送り，葉独自のるので，参考にスマートフォンを動かし見えを変化さ

湾曲具合から特徴量を抽出し，葉を認識するアプリケー

せる．

ション Leaf snap や，Maruyama[6] らの色特徴を抽出し 30( 6 ) 未選択の料理があれば，2 もしくは 3 に戻る．

種類の食材を認識しレシピを返すアプリケーション，Lee( 7 ) 食事画像を保存する．

ら [7] のビデオからテンプレートを学習しそれを強度と方( 8 ) 食事記録を登録する．ユーザは，登録した食事のバラ

向の記述子に分解し，テスト時には複数スケールでのテン

ンスを閲覧可能である．

http://www.googles.com/mobile/goggles/

記録にはメモや位置情報も登録でき，サーバにアップ

c 2012 Information Processing Society of Japan

2*1

情報処理学会研究報告
IPSJ SIG Technical Report䝇䝬䞊䝖䝣䜷䞁䜢㣗஦䛻䛛䛦䛩ㄆ㆑䜢ጞ䜑䜛

(a) 食事記録(b) 栄養素詳細(c) 食事画像(d) Map(e) 食の傾向(f) 食事記録（Web）

ᩱ⌮㡿ᇦ䜢ධຊ䛩䜛ᩱ⌮䜢㑅ᢥ䛩䜛
㣗஦⏬ീ䜢ಖᏑ䛩䜛㣗஦グ㘓䜢Ⓩ㘓䛩䜛

図 2 使用の流れ

ロードすることにより食事記録をユーザ間で共有可能である．

3.2 食事記録閲覧
記録システムとしては以下のように閲覧できる．例を図3 に示す．

(g) Map（Web）( 1 ) 日ごとに食事記録を閲覧する．食事記録閲覧画面にお図 3 記録閲覧

いて，1 日の食事の評価を新 毎日の食事のカロリーガ
イドブック 外食編／ファストフード・コンビニ編／
市販食品編／家庭のおかず編 [9] より 4 群点数，また4. 認識手法

ユーザ情報設定により設定された性別，年代，運動習慣から日本人の食事摂取基準*2 より摂取目安カロリーを参照し，5 つ星で行い表示している．

( 2 ) Google Maps 上で閲覧する．記録した食事画像に位置情報を付与することで Map 上で閲覧可能である．

( 3 ) 最近の食の傾向の確認．最近食べた回数の多い料理や組み合わせ，過去の履歴から各料理の頻度を求めそれと最近の食べた料理の回数から食の傾向を表示して4.1 領域補正
特徴抽出する領域はユーザにより正しく与えられることが理想であるが，実際にシステムを使用する上で正確に料理領域を与えることは手間であり，また背景を多く含む場
合認識精度は一般に低下する．
そこで，本研究ではユーザは料理全体を含むように領域を入力するという制約を与え，領域分割手法により料理領域を推定し，認識する領域の補正を行う．領域分割手法にいる．

( 4 ) アップロードされた食事記録の閲覧．記録した食事画
像をサーバにアップロードすることにより，食事記録を共有閲覧可能である．

は，矩形内の画素値を前景と背景に分離する GrabCut を適用することにより料理領域の補正を行う．

4.1.1 GrabCut
GrabCut[10] は，与えられた矩形領域内は前景と背景が混在するモデルとして色分布から GMM（Gaussian Mixture

*2

厚生労働省

「日本人の食事摂取基準 (2010 年度版)」p.61

c 2012 Information Processing Society of Japan

Model）を作成する．そして，作成した GMM を基に各画3

情報処理学会研究報告
IPSJ SIG Technical Report

素の前景らしさ，背景らしさの尤度を求めそれにより求めた前景，背景ラベルを GrabCuts のシードラベルとするこf (x) =

=

M
X

(1)

yi αi hx, xi i + b

i=1

きく，ユーザが料理領域を入力後，料理認識を行うと同時にバックグラウンドで一度のみ認識領域の補正を行う．まyi αi K(x, xi ) + b

i=1とにより領域分割を行う．
認識を行うごとに GrabCut を適用するにはコストが大

M
X

= h

M
X

yi αi xi , xi + b

i=1

た，動画でリアルタイムに認識を行うためカメラの位置は= hw, xi + b(2)

固定ではない．そのため，領域補正を行う入力画像と領域
補正後の画像はずれがあることが想定される．従って，最終的な領域は前景領域を全て含む最小の矩形領域で表現した．

と展開，変形できるため，あらかじめ，サポートベクトルとサポートベクトルの重みの積の総和を計算しておくこと
で，特徴次元数 N だけの乗算にバイアス値を足すだけで出力値を得ることができ，必要なメモリ量も O(N ) である．

4.2 特徴量SVM の学習には，LIBLINEAR[13] を使用した．

本システムは，モバイルデバイス上で画像処理を行うた

BoF 表現した特徴ベクトルなどを直接線形 SVM で識別

め，高次元特徴量などを多数使用することはできない．そすると，識別性能が悪いことが知られている．そのため，

こで本研究では，カラーヒストグラム，カラーモーメン

特徴ベクトルを非線形写像して，高次元空間で線形識別をト，カラーオートコレログラム，ガボール, HOG，PHOG，行うカーネルトリックにより識別性能が大きく向上する

Bag-of-SURF より有効であったカラーヒストグラムと Bag-が，同時にスケーラビリティも低下する．そこで，explicit

of-SURF を画像特徴量として使用する．また，計算コスト

embedding 手法により，線形識別機での適用を可能にすを抑えるために画像サイズが大きい場合には，総ピクセル

る．本研究では，kernel feature maps を用いる．

数が 3 万になるようにアスペクト比を保ったままリサイズ
した．

4.2.1 カラーヒストグラム
画像を 3 × 3 に分割し，それぞれの領域から 64 次元 RGB
カラーヒストグラムを抽出し結合することで 576 次元特徴ベクトルを得た．

4.2.2 Bag-of-SURF
SURF[11] は照明変化，スケール変化，回転に対して頑健な 64 次元特徴量である．SURf を 8 ピクセルごと

4.4 Kernel feature maps
Kernel feature maps は直接線形 SVM を適用できるよ
うに，得られた特徴ベクトルをあらかじめ少しだけ高次元空間に写像しておくことで，線形 SVM を適用しても非線
形 SVM と同等の性能をだすことが可能である．Vedaldi
ら [14] は，Hellinger，χ2 ，intersection，Jensen-Shannon（JS）の任意の additive カーネルの写像 φ が以下に近似表
現できることを示した．

にスケールを 12，16 ピクセルとして dense sampling し，φω = κ ωpxe−ihω,log xi(3)

Bag-of-Features 表現で 500 次元の特徴ベクトルを得た．
離の逆数を割り当てることで soft 割り当て [12] を行い，最本研究では，χ2 カーネルの写像を利用する．χ2 カーネルpの写像 φ は eiω log x xsech(πω) で表される．また，特徴

近傍コードワード探索は，近似最近傍探索により行った．

ベクトルの次元数を d とすると，写像後の次元数は近似の

また，最近傍 3 つにコードワードまでのユークリッド距

オーダー n に対し，d × (2n + 1) 次元になる．本研究では4.3 分類器
分類器に線形 SVM を用い，one-vs-rest 法により多クラn = 1 とした．n = 1 のとき写像の一つは以下のように表
現できる．



ス分類を行う．線形カーネルは K(x, z) = hx, zi で表される．線形 SVM は，入力ベクトルを x，出力値を f (x)，サφ(x) =

ポートベクトルを xi ，サポートベクトルの重みを αi ，サ




√ 

x
0.6 cos(0.6 log x)

(4)

0.6 sin(0.6 log x)

ポートベクトルの数を M ，クラスラベルを yi ∈ {+1, −1}，
バイアス値を b としたとき，0.8

そして，正規化が正しく行われるため L1 正規化したヒスト
グラムと相性がよいのでカラーヒストグラム，Bag-of-SURF
ともに適用した．

c 2012 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report

4.5 方向提示
料理が正しく認識されない場合，料理の見え方を変更しごはんなければ評価値は変わらず，目的の料理は一向にリストに

カレーラ
イス

トースト

ハンバー
ガー

ピザ

サンド
ウィッチ

かけう
どん

お好み焼
ほうれん
グラタン コロッケ 草炒め
き

味噌汁

ウィン
ナーの
ソテー

オムレツ

酢豚

すし

チャー
ハン

天丼

現れない．そこで，料理を認識する際，料理を認識し易い方向を推定し提示することにより，次の認識ではその領域

ラーメン 焼きそばを写すようにユーザに促す．結果として，認識結果が変わり目的の料理がリストに提示されることが期待される．
本研究では，Bag-of-SURF を直接線形 SVM に適用した

餃子

魚のフラ
鶏の唐揚
茶碗蒸し
イ
げ

豚カツ

南蛮漬け 肉じゃが

ハンバー 豚肉の生グ
姜焼き 麻婆豆腐

焼き鳥

ロール
キャベツ 目玉焼き

春巻き

チンジャ
スパゲ
シュウマ
オ
ティミー
たい焼き エビチリ
イ
ロースー
トソース

評価値による効率の良い Window 探索を用いる．BoF と線形 SVM の評価値を用いて物体検出を行う手法には ESS（Efficient SubWindow Search）[15] が挙げられる．BoF を

納豆

直接線形 SVM に適用した評価値の場合，特徴ベクトルをコードワードに割り当てることはそれに対応する式 2 の w

エビフラ ポテトサ グリーン マカロニ
イ
ラダ
サラダ
サラダ

の要素を累積することに相当する．また，式 2 の w は，

w = w+ + w−

豚汁

牛丼

フライド きんぴら
ポテト
ごぼう

ホット
ドック

炊き込み
ご飯

図 4 50 種類の料理のサンプル(5)と表現できるため，ある矩形内の線形 SVM の評価値は w+と w− それぞれについて積分画像を作成しておくことにより，O(1) の計算量で得ることができる．soft 割り当ての場
合は，スケーリングを考慮しなければ w とコードワードに割り当てられた値との積を累積することで可能である．
探索する Window は入力されている矩形領域を B × B の領域と考え，各辺が（B − 2）の矩形領域を，与えられた矩形領域の内側であり少なくとも互いの 1 辺が重なるように

Window を 8 ピクセルずつスライドさせ 1 周するまでそれぞれ評価値を得た． ここで，B = 2x （3 ≤ x ≤ 6, x ∈ N）とした．Window ごとに各カテゴリの評価値が得られるが，全ての評価値の中で最も評価値が高かった矩形領域の重心の方向を最終的な方向として，矢印でユーザに提示する．
図 1 や図 2 の認識中の画像において料理領域や全体画像の上部に矢印が提示されている．
各 SVM の学習には負例に他カテゴリの前景領域と全画
像の背景画像から抽出した特徴を加えてオフラインで学習した．

料理名がラベル付けしてある．50 種類の料理は，食事のバ
ランスがよくなるように選択した．図 4 は，本研究で対象にした 50 種類の料理のサンプルである．

5.1.1 実験設定と評価方法
精度評価実験は，以下の項目に対して行う．

( 1 ) 特徴量の分類性能の評価( 2 ) 領域推定による分類性能の評価( 3 ) 料理のある方向提示の評価
1 では，正解領域が与えられた 50 種類の料理について検証，評価に各 20 枚，残りを学習に使用して，データを入れ換えて 5 回実験した平均値により評価した．
初めに，使用する特徴量を他のいくつかの特徴量について性能を比較し，次に特徴量を結合時の評価を行う．比較手法としては，χ2 カーネルの近似線形化手法を適用した特徴量単体（Color（fast chi2），SURF（fast chi2）），非線形 χ2 -RBF カーネルをサブカーネルとした MKL-SVM（Multiple Kernel Learning）（Color+SURF（chi2-RBF）），

feature map を適用せずに直接線形 SVM に適用した場合（Color+SURF（linear））とする．

5. 実験
5.1 精度評価実験

2 では，ユーザが入力した領域が実際の料理領域より大きくとった場合で評価した．1 で使用した 5,000 枚の評価

本来は本システムはスマートフォン上で画像処理を行う

画像のうち，料理領域の幅か高さを一方に拡大した際に，ため，実際にスマートフォン上で評価することが望ましい

背景を 25%以上含む合計 1,912 枚の画像を使用した．ここが，[1] で使用されているデータセットから各 100 枚以上

ではカテゴリごとの画像枚数が異なるので，いずれのカテ

ある 50 種類の画像，合計 6,781 枚からなるデータセット

ゴリも背景情報による性能劣化は同程度であると仮定し，を構築し精度評価実験を行った．このデータセットには，

背景を含む場合での認識精度低下の程を評価した．

正解領域となるバウンディングボックスとそれに対応する

1，2 での評価方法は，以下に定義する分類率を用いて行った．

c 2012 Information Processing Society of Japan5

情報処理学会研究報告

0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

top5
top1
ศ㢮⋡

ศ㢮⋡

IPSJ SIG Technical Report

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

0%
25%
25%, GrabCut1≉ᚩ㔞Color(fast chi2)
SURF(fast chi2)
Color+SURF(fast chi2)
Color+SURF(linear)
Color+SURF(chi2-RBF)

3

4

5

4

5

6

7

8

9

10

図 7 背景を含む場合の分類結果

ศ㢮⋡

ศ㢮⋡

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
2

3

ೃ⿵ᩘ

図 5 各特徴量での分類率

1

2

6

7

8

9

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

hard
soft

±20° ±40° ±60° ±80° ±100° ±120° ±140° ±160° ±180°10

チᐜゅᗘㄗᕪ

ೃ⿵ᩘ

図 8 料理が 15%ずれた場合の hard 割り当てと soft 割り当てでの図 6 各手法による分類率

分類率

分類率 =

候補 N 位までに正解を含む画像枚数
評価画像枚数

ザは提示されたリストから選択するため，5 位以内の認識精度が重要であり，5 位以内で比較すると 1.6%の認識精度

3 で は ，2 と 同 じ 評 価 画 像 を 使 用 し た ．料 理 領 域 をの差のみであり，速度とメモリの面で線形 SVM の方が大10,15,20,25% 周囲にずらした領域に対して，料理のある方きく有利であることからモバイル上で画像認識を行う本研

向を推定する精度を評価した．評価方法は，以下に定義す究の場合には適した手法であることがわかる．

る分類率を用いて行った．

（2） 領域補正よる分類性能の評価
食事領域に背景を含むとき，領域補正を行わなかった場分類率 =合と行った場合の分類率を図 7 に示す．

角度の許容誤度が y 度以内になった画像枚数
評価画像枚数

図 7 より，領域補正を行わなかった場合は，背景を 25%

5.1.2 実験結果含む場合 1 位で 12.8%，5 位以内で 10.1%の精度低下が見（1） 特徴量の分類性能の評価られたが，領域推定を行うことにより 1 位で 5.2%，5 位以2

各特徴量単体での分類結果を図 5 に示す．図 5 より，χ内で 4.4%の精度低下で済み，有効性が示された．背景をカーネルの近似線形化手法によりカラーヒストグラムと含まないとき，領域補正を行った場合は分類率に変化はあBag-of-SURF の分類性能が大きく向上し，相補的な関係にまり見られなかった．これは，GrabCut 適用後，矩形領域あることから本システムではこれらの特徴量を採用した．

で料理領域を表現していることが考えられる．

次に，特徴量結合時の分類結果を図 6 に示す．図 6 よ（3） 料理のある方向提示の評価

り，特徴量を結合することで精度が向上し，正解領域が与料理領域を 15%ずらしてその方向を提示する精度を hard

えられたとき 1 位に 53.5%，5 位以内に 81.6%の認識精度割り当てと soft 割り当てで評価した結果を図 8 に示す．図であった．また，非線形 χ2 -RBF カーネルの場合は，1 位

8 より，hard 割り当ては ±20◦ 以内に 29.7%，±40◦ 以内にで 57.3%，5 位以内で 83.2%の認識精度であった．構築し47.5%の精度で，soft 割り当ては ±20◦ 以内に 31.8%，±40◦たシステムでは料理候補を 5 つまで表示可能であり，ユー

以内に 50.3%の精度で料理のある方向を提示可能であるこc 2012 Information Processing Society of Japan6

情報処理学会研究報告

ศ㢮⋡

IPSJ SIG Technical Report㣗஦㡿ᇦ⿵ṇ

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

㣗஦㡿ᇦ㻌 㻌
᭱ึ䛾䜏

10%
15%
20%
25%

GrabCut

SURF
SURFศ㢮
Ⰽᢳฟศ㢮᪉ྥ᥎ᐃ
±20° ±40° ±60° ±80° ±100° ±120° ±140° ±160° ±180°

チᐜゅᗘㄗᕪ

ホ౯್ྲྀᚓ
䝁䜰1

図 9 料理が 10,15,20,25%ずれた場合の分類率

䝁䜰2

䝁䜰3

䝁䜰4

図 10 画像処理の流れとがわかる．従って，本システムでは高い精度となった

表 1 平均実行時間

soft 割り当てを使用した．

平均実行時間 [sec]次に，料理領域を 10,15,20,25%ずらしてその方向を提示

領域推定

0.70

認識

0.26

方向提示

0.091

認識+方向提示0.34

する精度を評価した結果を図 9 に示す．
図 9 より，料理のずれが大きいほど精度が高くなってい◦

ることがわかる．料理が 25%ずれた場合は，±20 以内に◦34.5%，±40 以内に 54.2%の精度で料理の方向を示すこと
表 2 システム 5 段階評価が可能である．

評価項目

平均点

認識のよさ

3.4

使いやすさ

4.2

方向提示のよさ

2.4

手動 or 本システム

3.8

5.2 速度評価実験
5.2.1 評価デバイス
本研究では，スマートフォンの性能向上にも着目しているため，高性能なスマートフォンを用いて実験を行う．今回
実験に使用したデバイスは Galaxy NoteII（1.6GHz Quad

処理の大部分は SURF の特徴記述と最近傍コードワード

Core Android4.1）である．

探索に要した．また，バックグラウンドで領域推定を行っ5.2.2 実装ている場合は，認識部分の平均実行時間は，0.31sec であっ本システムは，高速化のために今後一般になると考えらた．表 1 より，複数領域が与えられても，それらの領域かれる 4 コアのデバイスを想定して，並列処理を行っている．

ら評価値を得て，リアルタイムにリストを更新可能である

特に，画像認識の場合は容易に並列可能な部分が多い．

ことがわかる．

そこで，本研究では，システムの画像処理をする部分の流れは図 10 のようにした．
最もコストの高い SURF の特徴記述と，コードワード割

5.3 ユーザによる評価実験
5.3.1 実験設定

り当てを 4 コアで並列処理し，次に，コストの非常に小さ

被験者は学生 5 人である．1 食 3 品として 3〜4 食，各 2

い SURF を分類とカラーヒストグラム抽出分類はシング回ずつ使用してもらい，システムの評価を得た．評価項目

ルコアで，また，それと方向推定を 4 コアで並列処理をしは，「認識の良さ」，「使いやすさ」，「方向提示のよさ」，「手た．GrabCut も初期モデルの作成を 2 並列で行っている．

動 or 本システム」として，5 をよい（本システム），3 をそして，SVM は，オフラインで学習しておき，近似最近傍

普通とした 5 段階評価である．また，各食品選択までに要探索のための kd-tree を構築した．

した時間を計測し，比較として階層型メニューによる手動

5.2.3 実験結果

での記録も同様に計測した．

領域推定部分，認識部分，方向提示部分，認識と方向提示の部分の速度をそれぞれ 20 回計測し，その平均値を表 1に示す．

c 2012 Information Processing Society of Japan

5.3.2 実験結果
各食品選択までに要した時間を図 11 に，5 段階評価の結果を表 2 にそれぞれ示す．

7

情報処理学会研究報告
IPSJ SIG Technical Report

参考文献

25
ᥦ᱌䝅䝇䝔䝮

ᅇᩘ

20

[1]

ᡭື

15

୰ኸ್

[2]

10
5
15䡚

14.0䡚15.0

13.0䡚14.0

12.0䡚13.0

11.0䡚12.0

10.0䡚11.0

8.0䡚9.0

9.0䡚10.0

7.0䡚8.0

6.0䡚7.0

5.0䡚6.0

4.0䡚5.0

3.0䡚4.0䡚2.0

2.0䡚3.00[3]ᐇ⾜᫬㛫[sec][4]
図 11 食品選択に要する時間

食品選択に要する時間の本システムの中央値は 5.1 秒，
手動は 5.7 秒であった．ユーザからのコメントは，
「認識率

[5]

が上がれば使ってみたい」，「不適当な結果の食品を除外する機能がほしい」，「認識対象を増やすか，別途登録できるようにしてほしい」などが挙げられた．

[6]

今回の場合は，手動よりも少し早く選択でき，使いやすいという評価を得た．しかしながら，本システムで認識できない食品や時間が非常にかかる食品も存在し，この点に関して対処が必要である．また，方向提示のよさも高い評[7]

価を得ることができなかった．これは，精度が現状では高くないため示された方向に動かしても，期待する料理名が[8]

リストに提示されなかったことが考えられる．

6. おわりに[9]

本研究では，スマートフォン上でリアルタイムに食事認識をする，ネットワークに依存しない食事記録システムを[10]提案した．提案システムは 50 種類の料理に対して，正しい
料理領域が与えられたとき，候補を 5 つ提示し 81.6%の認[11]

識精度であった．また，バックグラウンドでは料理の領域の補正を行い，さらに，認識を誤った場合を考慮し，ユー[12]

ザに料理のある方向を提示するインタラクティブなシステ
ムである．
今後は，現在はユーザ情報を使用していないので，本システムを使用するごとにユーザ情報を収集し，それを動的[13]に識別機に反映させることにより，ユーザに特化した識別機を構築する．また，方向提示は高い評価を得ることがで[14]きなかったので，形状を考慮するなど他の手法について考察する．さらに，2 次元方向の提示でなく，傾き等考慮した 3 次元方向の提示への拡張を目指す．そして，認識する料理の数を増やす．単純に増やしただけでは，認識性能は一般に悪くなるので，ユーザが認識する料理を選択できる[15]

松田裕司, 甫足創, 柳井啓司. 候補領域推定に基づく複数品
目食事画像認識. 電子情報通信学会論文誌 D, Vol. J95-D,
No. 8, pp. 1554–1564, 2012.
S. Yang, M. Chen, D. Pomerleau, and R. Sukthankar.
Food recognition using statistics of pairwise local features. In Proc. of IEEE Computer Vision and Pattern
Recognition, 2010.
K. Kitamura, T. Yamasaki, and K. Aizawa. Foodlog:
Capture, analysis and retrieval of personal food images
via web. In Proc. of ACM Multimedia Workshop on
Multimedia for Cooking and Eating Activities, pp. 23–
30, 2009.
A. Mariappan, M. Bosch, F. Zhu, C.J. Boushey, D.A.
Kerr, D.S. Ebert, and E.J. Delp. Personal dietary assessment using mobile devices. In Proc. of the IS&T/SPIE
Conference on Computational Imaging VII, Vol. 7246,
pp. 72460Z–1–72460Z–12, 2009.
N. Kumar, P. Belhumeur, A. Biswas, D. Jacobs,
W. Kress, I. Lopez, and J. Soares. Leafsnap: A computer
vision system for automatic plant species identification.
In Proc. of European Conference on Computer Vision,
2012.
T. Maruyama, Y. Kawano, and K. Yanai. Real-time mobile recipe recommendation system using food ingredientrecognition. In Proc. of ACM Multimedia Workshop on
Interactive Multimedia on Mobile and Portable Devices,pp. 27–34, 2012.
T. Lee and S. Soatto. Learning and matching multiscale
template descriptors for real-time detection, localizationand tracking. In Proc. of IEEE Computer Vision and
Pattern Recognition, 2011.
F.X. Yu, R. Ji, and S.F. Chang. Active query sensing formobile location search. In Proc. of the 19th ACM International Conference on Multimedia, pp. 3–12, 2011.
香川芳子. 新毎日の食事のカロリーガイドブック 外食編／ファストフード・コンビニ編／市販食品編／家庭のおかず編. 女子栄養大学出版部, 2002/05.
C. Rother, V. Kolmogorov, and A. Blake. Grabcut:
Interactive foreground extraction using iterated graphcuts. In Proc. of ACM SIGGRAPH, pp. 309–314, 2004.
Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc
Van Gool. Speeded-up robust features (SURF). Computer Vision and Image Understanding, Vol. 110, No. 3,
pp. 346–359, 2008.
J. Philbin, O. Chum, M. Isard, J. Sivic, and A. Zisserman. Lost in quantization: Improving particular object retrieval in large scale image databases. In Proc. ofIEEE Computer Vision and Pattern Recognition, pp.
1–8, 2008.
R. E. Fan, K. W. Chang, C. J. Hsieh, X. R. Wang, andC. J. Lin. LIBLINEAR: A library for large linear classification. The Journal of Machine Learning Research,
Vol. 9, pp. 1871–1874, 2008.
A. Vedaldi and A. Zisserman. Efficient additive kernels
via explicit feature maps. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, No. 3,
pp. 480–492, 2012.
C. H. Lampert, M. B. Blaschko, and T. Hofmann. Beyond sliding windows: Object localization by efficientsubwindow search. In Proc. of IEEE Computer Vision
and Pattern Recognition, 2008.

ようにし，ユーザが食べるが，認識対象にないという料理が少なくなるようにする．

c 2012 Information Processing Society of Japan

8