DEIM Forum 2013 D3-4

食事認識を用いたモバイル食事管理システム
河野

憲之†

柳井

啓司††

† 電気通信大学 電気通信学部 情報工学科 〒 182-8585 東京都調布市調布ヶ丘 1-5-1†† 電気通信大学 大学院情報理工学研究科 総合情報学専攻 〒 182-8585 東京都調布市調布ヶ丘 1-5-1
E-mail: †kawano-y@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし 近年、スマートフォンの性能が大きく向上している。そこで、本研究では、通常サーバにデータを送り、画像処理をする部分をスマートフォン上でリアルタイムに実行することにより、通信コストのかからない、ネットワー
クに依存しない食事管理システムを提案する。50 種類の料理に対して、背景を含まない料理の領域が与えられたとき、候補を 5 つ提示し 81.6%の認識精度であった。また、バックグラウンドでは料理の領域の補正を行い、さらに、認識を誤った場合を考慮し、ユーザに料理のある方向を提示する。ユーザに提示する料理の方向は、認識する領域から料理が 15%ずれていた場合、角度差 ±20◦ 以内に 31.8%、±40◦ 以内に 50.3%の精度で、食事のある方向を提示可能であることを確認した。
キーワード

モバイル、食事認識、食事管理、ユーザインタラクティブ

1. は じ め に
近年、健康志向の高まりによりスマートフォンなどのモバイ
ルデバイスから食事記録をとることのできるシステムが多く現れるようになった。一般的な食事管理システムの記録方法は、テキスト入力や階層型メニューによる選択などが挙げられるが、入力に手間がかかり、継続した利用が難しい。
また、スマートフォンの普及により、それに伴いスマートフォンの性能も大きく向上し、スマートフォン上で以前より計算コストの高い処理をすることが可能になった。スマートフォンから画像処理を利用する一般的なシステムは、スマートフォンを通信手段として利用することが多いが、通信コストがかかり、ネットワークにも依存する。
そこで本研究では、スマートフォン上で食事認識をリアルタイムに行うことにより、ネットワークに依存しないモバイル食事管理システムを提案する。図 1 は提案システムのイメージで(a) システムを食事にかざす

ㄆ㆑⤖ᯝ

ಙ㢗ᗘ

㣗஦⏬ീಖᏑ

ある。

㣗஦㡿ᇦ䛾᪉ྥ

2. 関 連 研 究
食事認識は食べ物に決まった形はなく、同じカテゴリ内であっても視覚的変化が大きいため、難しいタスクである。松田ら [1] は、円検出、JSEG、DPM により食事領域推定後、SIFT、

HOG、Gabor、カラーヒストグラムにより 100 種類の食事画像に対して複数品の分類に取り組んだ。Yang ら [2] は、画素間の距離や角度等、材料の位置関係を特徴量とする手法により、ファストフードの分類に取り組んだ。本研究でも、食事認識を行い、料理を分類して結果上位をユーザに提示する。
食事管理システムとしては、一般的な画像認識を用いない場
合は、料理データベースの拡大が容易であるが、手動による入力のため手間が多く、継続した利用が難しい。画像認識を用い

㣗஦㑅ᢥ

ㄆ㆑㡿ᇦ
(b) システムの認識画面

図 1 提案システムのイメージ㔞ධຊた食事管理システムでは、食事画像からバランス推定をし、そ（ 5 ） ユーザは認識結果上位から料理を選択するの結果を返す FoodLog [3] や、チェッカーボードとともに食事（ 6 ） 未選択の料理があれば、2 もしくは 3 に戻るを撮影し、食事の分類と量の認識を行う TADAproject [4] があ（ 7 ） 食事画像を保存するる。しかし、いずれもサーバに画像データを送り、画像処理し（ 8 ） 食事記録を登録するているため通信コストが高く、認識を誤った場合は、ユーザが2 では、ユーザによる料理の領域 (以後、料理領域) 入力は対角後から手動で直すことになる。本研究でも食事認識を用いた

線を引くことで矩形領域とし、バックグラウンドで領域推定に

食事管理システムを構築するが、スマートフォン上でリアルタ

よる料理領域の補正が行われる。料理領域は 4 つまで入力可能

イムに認識、記録することにより、簡単に正確な食事記録をとであり、料理領域を入力しなければフレーム全体から食事認識ることのできるシステムを提案する。なお、本研究では、量はを行う。4 では、一定時間食事認識を繰り返し、最終的な出力

ユーザに入力してもらい、食事の種類の認識のみになっている。

値は各出力値の平均としている。また、結果リストの更新の間

スマートフォンと画像認識の研究では、近年のスマートフォ

隔はユーザ調査により決定した。5 では、料理があると考えらンの普及により、スマートフォンから利用できる画像認識シスれる方向を提示することにより、認識結果上位に目的の料理がテムが多く現れるようになった。物体認識アプリケーションと現れなかった場合の対処をする。記録にはメモや位置情報も登（注 1）

して有名な Google Goggles

は、ロゴや芸術品、建造物な録でき、サーバにアップロードすることにより食事記録をユーどを認識し、その情報を返すアプリケーションである。また、

ザ間で共有可能である。

Kumar ら [5] の一定の環境条件下 (照明、背景) で撮影した葉3. 2 食事記録閲覧の画像をサーバに送り、葉独自の湾曲具合から形状特徴を抽出

管理システムとしては以下のように閲覧できる。例を図 3 にし、その葉から種を認識して結果を返すアプリケーション Leaf示す。

snap や、Maruyama ら [6] の、モバイル上で 30 種類の食材を（ 1 ） 日ごとに食事記録を閲覧認識し、レシピを返すアプリケーションがある。スマートフォ（ 2 ） Google Maps 上で閲覧

ン上でリアルタイム性に重点をおいたアプリケーションとして、（ 3 ） 最近の食の傾向の確認

Lee ら [7] の研究がある。複数スケールでのテンプレートマッチ（ 4 ） アップロードされた食事記録の閲覧ングを提案し、ユーザが登録した物体に対して物体検出や追跡

また 1 日の食事の評価を [9] より 4 群点数を用いて 5 つ星で行をリアルタイムに実現した。本研究では、視覚的変化の大きい

い、Web から記録を閲覧できるように Web サイトを作成した。

食事に対してスマートフォンの計算資源のみで認識を行う。
ユーザインタラクティブなシステムとして Yu ら [8] の研究

4. 認 識 手 法がある。モバイル位置検索で認識を間違えた場合を考慮し、次本システムはモバイル上で認識するため、高次元特徴量などにどの視点を撮影すればよいかを、オフラインで場所ごとに求を多数使用することができない。本研究では、カラーヒストグ

めた顕著性、オンラインで画像マッチング、Gist 特徴と SVM

ラム、カラーモーメント、カラーオートコレログラム、Gabor、により認識しやすい視点を求め、それをユーザに返す Active

HOG、PHOG、Bag-of-SURF からその性能を比較し、よい結

Query Sensing(AQS) を提案した。本研究においても、処理に果となった特徴量を使用した。

時間のかかる部分はユーザに補助してもらい、また料理のある

食事画像認識の研究における特徴量の性能を示したもので方向を提示することによりユーザインタラクティブなシステム

は、Bosch ら [10] は色特徴が、Hoashi ら [11] は局所特徴が、李を構築する。

ら [12] は、テクスチャ特徴がそれぞれ分類器に SVM を用いて

3. システム概要

最もよいという結果になった。しかし、実験環境の違いもあり、同一特徴量が最高の性能を示しているわけでないことからも、

本システムの目的は画像認識技術を利用してユーザの食事記

特徴量の比較検討を行った。なお、モバイルで扱うために次元録をとる補助と食事記録を見直すことで食生活を確認できるよ

数が大きくなりすぎないようにそれぞれ設定し、画像サイズがうにすることである。

大きい場合には、総ピクセル数が 3 万になるようにアスペクト

3. 1 食事記録登録
本システムの食事記録登録の基本的な使用の流れを以下に、比を保ったままリサイズした。

4. 1 特 徴 量

例を図 2 に示す。

4. 1. 1 カラーヒストグラム（ 1 ） 食事にスマートフォンをかざす

カラーヒストグラムは色分布を表現した特徴量である。画像（ 2 ） ユーザは料理領域を入力する

を 3 × 3 に分割し、RGB 色空間、HSV 色空間、La*b*色空間（ 3 ） 食事認識を行う

それぞれ 4 色ずつに減色し、合計 64 次元特徴ベクトルを各領（ 4 ） 一定時間後、認識結果上位を提示する域から抽出することで 3 種類各 576 次元特徴ベクトルを得た。

4. 1. 2 カラーモーメント（注 1）：http://www.googles.com/mobile/goggles/

カラーモーメントは、カラーヒストグラムと同様に色分布を

㣗
஦
双
厭
厸
去

㣗
஦
ㄆ
㆑

㣗
஦
㑅
ᢥ

㡿
ᇦ
ෆ
䜢
ㄆ
㆑

㣗
஦
⏬
ീ
ಖ
Ꮡ

(a) 閲覧 (1 日ごとに閲覧、4 群点数に基づき 5 つ星で評価する。)(b) 詳細情報 (1 食分の栄養素を表示する。)(c) 食事画像 (記録した食事画像を表示する。)(d) Map(位置情報を付けると Google Maps 上に表示する。)

䝞
䝷
䞁
䝇
☜
ㄆ

Ⓩ
㘓
(e) 食の傾向 (ユーザの食事の傾向を表示する。)

図2

使用の流れ

(f) 詳細情報 (Web にアップロードして表示する。)

図3

記録閲覧

表現した特徴量であるが、一般にカラーヒストグラムよりも少ない情報量で表現することが可能である。画像を 5 × 5 に分割し、RGB 色空間と HSV 色空間、RGB 色空間と La*b*色空間

= h

M
X

yi αi xi , xi + b

i=1= hw, xi + b(2)の各チャンネルの平均と分散を算出し、合計 12 次元特徴ベク
トルを各領域から抽出することで 2 種類各 300 次元特徴ベクトと展開、変形できるため、あらかじめ、サポートベクトルとサルを得た。

ポートベクトルの重みの積の総和を計算しておくことで、特徴

4. 1. 3 カラーオートコレログラム

次元数 N だけの乗算にバイアス値を足すだけで出力値を得る

カラーオートコレログラム [13] は、隣接する色の相関を表現しことができる。

た特徴量である。対象を同色の画素同士としているため、カラー

SVM の学習には、liblinear [18] を使用した。

コレログラムよりも少ない情報量で表現することができる。RGB

BoF 表現した特徴ベクトルなどを直接線形 SVM で識別する

色空間を 4 色ずつに減色し、距離を 2k + 1(0 <=k<= 16, k : 整と、識別性能が悪いことが知られている。そのため、特徴ベク

数) として 1024 次元特徴ベクトルを得た。

トルを非線形写像して、高次元空間で線形識別を行うカーネル
トリックにより識別性能が大きく向上するが、同時にスケーラ

4. 1. 4 Gabor
Gabor は、局所的な濃淡情報の周期と方向を表現した特徴量

ビリティも低下する。そこで、explicit embedding 手法により、である。画像を 4 × 4 に分割し、各領域から 6 方向、4 周期の線形識別機での適用を可能にする。本研究では、kernel feature

ガボールフィルタにより得られる 24 次元、合計 384 次元特徴

maps を用いる。
4. 3 Kernel feature maps

ベクトルを得た。

Kernel feature maps は直接線形 SVM を適用できるように、

4. 1. 5 HOG
HOG [14] は、輝度の勾配方向をヒストグラム化した特徴量得られた特徴ベクトルをあらかじめ高次元空間に写像しておである。画像を 6 × 6 に分割し、1296 次元特徴ベクトルを得た。

くことで、線形 SVM を適用しても非線形 SVM と同等の性能

4. 1. 6 PHOG

をだすことが可能である。Vedaldi ら [19] は、Hellinger、χ2 、

PHOG [15] は、画像をいくつかのレベルに分割し、各領域

intersection、Jensen-Shannon(JS) の任意のカーネルの写像 φで勾配ヒストグラムを作成する。ピラミッドレベルは 3 を使用
し、合計 680 次元特徴ベクトルを得た。

が以下に近似表現できることを示した。

φ ω = κωpxe−ihω,log xi(3)

4. 1. 7 Bag-of-SURF
SURF [16] は、スケール変化、回転、照明変化に頑健な 64 次

本研究では、χ2 カーネルの写像を利用する。χ2 カーネルの写p

元特徴ベクトルである。8 ピクセルごとにスケールを半径 12、像 φ は eiω log x

16 ピクセルとして dense sampling し、Bag-of-Features 表現の特徴ベクトルの 3 倍になるようにし、L1 正規化した特徴ベで 500 次元と、1000 次元の特徴ベクトルを得た。

クトルと相性がよいとされる [19] ので、L1 正規化したカラー

soft 割り当て [17] は、複数コードワードに割り当てることにxsech(πω) で表される。写像後の次元数は元

ヒストグラム、PHOG、SURF に対して使用した。

より再現性を高めることができる。本研究では、最近傍 3 つにまた、Perronnin ら [20] は特徴ベクトルの各要素の平方根をコードワードまでのユークリッド距離の逆数を割り当てることとったベクトルが Hellinger カーネルに対する正確な写像になで soft 割り当てと通常の hard 割り当てを行った。また、最近ることを示したので、同様に L1 正規化した特徴ベクトルに対

傍コードワード探索には kd-tree に基づく近似最近傍探索によして比較した。

4. 4 領 域 推 定り行った。

特徴抽出する領域はユーザによって正確に与えられることが

4. 2 分 類 器
本研究では、分類器に線形 SVM を用い、one-vs-rest 法によ理想であるが、実際にシステムを使用する上で正確に料理領域

り多クラス分類を行う。線形カーネルは K(x, z) = hx, zi で表を与えるには手間がかかり、背景を多く含む場合、認識精度はされる。線形 SVM は、入力ベクトルを x、出力値を f (x)、サ一般に低下する。

ポートベクトルを xi 、サポートベクトルの重みを αi 、サポー

そこで本研究では、ユーザに対して料理全体を含むように領

トベクトルの数を M 、クラスラベルを yi ∈ {+1, −1}、バイア域を入力する、という制約を与え、領域分割手法により料理領ス値を b としたとき、域を推定し、料理領域の補正を行う。領域分割手法は、矩形内

f (x) =

M
Xの画素値を前景と背景に分離する GrabCut を用いて料理領域

yi αi K(x, xi ) + b

i=1

=

M
X
i=1

(1)

の推定を行う。

4. 4. 1 GrabCutyi αi hx, xi i + b

GrabCut [21] は、与えられた、矩形領域内は前景と背景が混在すると仮定し、矩形領域外は背景として色分布から GMM を作成し、各画素の前景らしさ、背景らしさの尤度を求め、領域分割を行う。

6,781 枚のデータセットを構築し、精度評価実験を行った。この認識ごとに GrabCut を適用するにはコストが大きいため、

データセットには、Ground Truth となるバウンディングボッ

ユーザが料理領域を与え、認識を開始すると同時にバックグラ

クスとそれに対応する料理名がラベル付けしてある。50 種類のウンドで GrabCut による料理領域の補正を行う。また、動画

料理は、食事のバランスがよくなるように選択した。図 4 は、でリアルタイムに認識し結果を提示するためカメラの位置は固本研究で対象にした 50 種類の料理のサンプルである。

定でない。従って、最終的な領域は前景領域を全て含む最小の矩形領域で表現する。入力された料理領域を前景を含むとし、この領域を含まない重心が重なり面積を 4 倍した矩形領域を背ごはん景として GrabCut を適用した。また、この領域全体が大きい

カレーラ
イス

トースト

ハンバー
ガー

ピザ

サンド かけうど
ウィッチ
ん

お好み焼
ほうれん
グラタン コロッケ
き
草炒め

味噌汁

ウィン
ナーの
ソテー

オムレツ

すし

チャーハ
ン

天丼

場合には総ピクセル数を 6 万にリサイズした。

4. 5 方 向 提 示

ラーメン 焼きそば

料理が正しく認識されない場合、料理の見え方を変更しなけ

酢豚

れば評価値は変わらず、認識させたい料理はリストに一向に現れない。そこで、料理を認識する際、料理を認識し易い方向を

餃子

魚のフラ
鶏の唐揚
茶碗蒸し
イ
げ

豚カツ

南蛮漬け 肉じゃが

焼き鳥

ロール
目玉焼き
キャベツ

春巻き

チンジャ
スパゲ
シュウマ
オ
たい焼き エビチリ
ティミー
イ
ロースー
トソース

指示することにより、正しい認識結果が得られる領域を写すよ

ハンバー 豚肉の生
麻婆豆腐
グ
姜焼き

うに促す。
本研究では、Bag-of-SURF を直接線形 SVM に適用した評価

納豆値による Window 探索を用いた。線形 SVM の評価値を用いて物体検出する手法には、ESS(Efficient Subwindow Search) [22]などがある。BoF を直接線形 SVM に適用した評価値の場合、エビフラ ポテトサ グリーン マカロニ
イ
ラダ
サラダ
サラダ

特徴ベクトルをコードワードに割り当てることは、それに対応

豚汁

牛丼

フライド きんぴら
ポテト
ごぼう

ホット
ドック

炊き込み
ご飯

図 4 50 種類の料理のサンプルする式 2 の w の値を累積することに相当する。また、式 2 の w
は、

5. 1. 2 実験設定と評価方法

w = w+ + w−

精度評価実験は、以下の項目に対して行う。

(4)（ 1 ） 各特徴量の分類性能の評価と表現できるため、ある矩形内の線形 SVM の評価値は w+（ 2 ） 特徴量結合時の評価と w− それぞれについて積分画像を作成しておくことにより、（ 3 ） 領域推定による分類性能の評価

O(1) の計算量で得ることができる。前述の soft 割り当ての場（ 4 ） 料理のある方向提示の評価

合は、スケーリングを考慮しなければ w とコードワードに割り

1、2 では、正解領域が与えられた 50 種類の料理について検証、当てられた値との積を累積することにより可能である。

評価に各 20 枚、残りを学習に使用して、データを入れ換えて探索する Window は入力されている矩形領域を B × B の領

5 回実験した平均値により評価した。2 により、特徴結合時の域と考え、各辺が (B − 2) の矩形領域を、与えられた矩形領域

精度を評価し、本システムの識別機を構築した。また、領域推の内側であり少なくとも互いの 1 辺が重なるように Window

定を適用した場合の精度も評価した。

を 8 ピクセルずつスライドさせ 1 周するまでそれぞれ評価値を3 では、ユーザが入力した領域が実際の料理領域より大きく得た。ここで、B = 2x (3 <=x<
= 6, x : 整数) とした。Window
ごとに各カテゴリの評価値が得られるが、全ての評価値の中でとった場合で評価した。1 で使用した 5,000 枚の評価画像のうち、料理領域の幅か高さを一方に拡大した際に、背景を 25%以

最も評価値が高かった矩形領域の重心の方向を最終的な方向と上含む合計 1,912 枚の画像を使用した。ここでは、カテゴリご

して、矢印でユーザに提示する。図 1 や図 2 の認識中の画像にとの画像枚数が異なるので、いずれのカテゴリも背景情報によ

おいて料理領域や全体画像の上部に矢印が提示されている。

る性能劣化は同程度であると仮定し、背景を含む場合での認識

各 SVM の学習には負例に他カテゴリの前景領域と全画像の背景画像から抽出した特徴を加えてオフラインで学習した。

5. 実

験

5. 1 精度評価実験
5. 1. 1 データセット

精度低下の程を評価した。

1、2、3 での評価方法は、以下に定義する分類率を用いて
行った。
分類率 =

候補 N 位までに正解を含む画像枚数
評価画像枚数4 で は 、3 と 同 じ 評 価 画 像 を 使 用 し た 。料 理 領 域 を本来は本システムはスマートフォン上で認識するため、実際

10,15,20,25% 周囲にずらした領域に対して、料理のある方にスマートフォン上で評価することが望ましいが、[1] で使用さ向を推定する精度を評価した。評価方法は、以下に定義する分れているデータセットから 50 種類の画像が 100 枚以上、合計類率を用いて行った。

分類率 =

角度の許容誤度が y 度以内になった画像枚数
評価画像枚数

5. 1. 3 実 験 結 果（1） 各特徴量の分類性能の評価
正解領域に対して、各特徴量単体で分類した結果を図 5 に
示す。

ศ
㢮
⋡

0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

5఩௨ෆ
1఩

1
0.9
0.8
0.7
ศ 0.6
㢮 0.5
⋡ 0.4
0.3
0.2
0.1
0

color
SURF
color+SURF

1

2

3

4

5

6

7

8

9

10

ೃ⿵ᩘ
図 6 特徴量結合時の分類結果
1
0.9
0.8
0.7
ศ 0.6
㢮 0.5
⋡ 0.4
0.3
0.2
0.1
0

≉ᚩ㔞
図5

各特徴量の分類結果⫼ᬒ䜢ྵ䜐๭ྜ

0%25%
25%, GrabCut

1

図 5 より、Bag-of-SURF は、soft 割り当てにより性能が向

2

3

4

5

6

7

8

9

10

ೃ⿵ᩘ

上し、特徴量は各料理領域に対して 900 から 950 個程度サンプ
図 7 背景を含む場合の分類結果

リングしているが、この場合コードブックサイズを 1000 にす2

るよりもコードブックサイズ 500 で χ カーネルの写像を適用した方が精度が高い結果が得られる。カラーヒストグラムは各度低下で済むことが示された。背景を含まないとき、領域推定

要素の平方根をとっただけでは、カラーオートコレログラムよを行った場合は分類率に変化はあまり見られなかった。これは、り低い精度となったが、χ カーネルの写像を適用することでGrabCut 適用後、矩形領域で物体を表現していることが考え

大きく向上した。また、近年提案されているバイナリ記述子にられる。

ついても実験したが、精度が低かった。これは、BoF 表現にし

（4） 料理のある方向提示の評価た際、情報量が少ないために量子化誤差が大きくなったためと料理領域を 15%ずらしてその方向を提示する精度を hard 割

2

り当てと soft 割り当てで評価した結果を図 8 に示す。

考えられる。
2

この実験の結果を踏まえ本研究で使用する特徴量は、χ カー

1

ネルの写像を適用した、相補的な関係にあるカラーヒストグラ

0.9

ムと Bag-of-SURF とした。

0.8
0.7

（2） 特徴量結合時の評価
特徴量の結合は、各識別器の出力値の重み付き和とする。カテゴリごとの識別器の重みは検証セットを用いて求めた。正解

hard
soft

ศ 0.6
㢮 0.5
⋡ 0.4
0.3

領域に対して、カラーヒストグラムのみ、SURF のみ、カラー

0.2

ヒストグラムと SURF 結合時の結果を図 6 に示す。

0.10

図 6 より、特徴量を結合することで精度が向上し、正解領域±20° ±40° ±60° ±80° ±100°±120°±140°±160°±180°が与えられたとき 1 位に 53.5%、5 位以内に 81.6%の認識精度ゅᗘ䛾チᐜㄗᕪ

となった。構築したシステムでは料理候補を 5 つまで表示可能なため、5 位以内の認識精度が重要である。

図 8 料理が 15%ずれた場合の hard 割り当てと soft 割り当てでの分
類率（3） 領域推定による分類性能の評価
食事領域に背景を含むとき、領域推定を行わなかった場合と行った場合の分類精度を図 7 に示す。
図 7 より、領域推定を行わなかった場合は、背景を 25%含む
場合 1 位で 12.8%、5 位以内で 10.1%の精度低下が見られたが、領域推定を行うことにより 1 位で 5.2%、5 位以内で 4.4%の精

図 8 より、hard 割り当ては ±20◦ 以内に 29.7%、±40◦ 以内に 47.5%の精度で、soft 割り当ては ±20◦ 以内に 31.8%、±40◦以内に 50.3%の精度で料理のある方向を提示可能であることが示された。従って、本システムでは高い精度となった soft 割り

当てを使用した。

モデルの作成を 2 並列で行っている。そして、SVM は、オフ

次に、料理領域を 10,15,20,25%ずらしてその方向を提示する
精度を評価した結果を図 9 に示す。

ラインで学習しておき、近似最近傍探索のための kd-tree を構築した。

5. 2. 3 実 験 結 果
10.9

領域推定部分、認識部分、方向提示部分、認識と方向提示の0.8部分の速度をそれぞれ 20 回計測し、その平均値を表 1 に示す。

0.7

10%
15%
20%
25%

ศ 0.6
㢮 0.5
⋡ 0.4

表 1 平均実行時間
平均実行時間 [sec]
領域推定

0.70

認識

0.26

0.1

方向提示

0.091

0

認識+方向提示

0.34

0.3
0.2

±20° ±40° ±60° ±80° ±100°±120°±140°±160°±180°ゅᗘ䛾チᐜㄗᕪ
図 9 料理が 10,15,20,25%ずれた場合の分類率

図 9 より、料理のずれが大きいほど精度が高くなっていることがわかる。料理が 25%ずれた場合は、±20◦ 以内に 34.5%、±40◦ 以内に 54.2%の精度で料理の方向を示すことが可能である。

索に要した。また、バックグラウンドで領域推定を行っている場合は、認識部分の平均実行時間は、0.31sec であった。表 1
より、複数領域が与えられても、それらの領域から評価値を得て、リアルタイムにリストに反映可能であることがわかる。

5. 3 ユーザによる評価実験
5. 3. 1 実 験 設 定

5. 2 速度評価実験

被験者は学生 5 人である。1 食 3 品として 3〜4 食、各 2 回ず

5. 2. 1 評価デバイス
本研究では、スマートフォンの性能向上にも着目しているため、高性能なスマートフォンを用いて実験を行う。今回実験に使用したデバイスは Galaxy NoteII(1.6GHz Quad Core

つ使用してもらい、システムの評価を得た。評価項目は、「認識の良さ」、「使いやすさ」、「方向提示のよさ」、「手動 or 本シス
テム」として、5 をよい (本システム)、3 を普通とした 5 段階評価である。また、各食品選択までに要した時間を計測し、比Android4.1) である。
5. 2. 2 実

処理の大部分は SURF の特徴記述と最近傍コードワード探

較として階層型メニューによる手動での記録も同様に計測した。

装本システムは、高速化のために今後一般になると考えられる

4 コアのデバイスを想定して、並列処理を行っている。特に、画像認識の場合は容易に並列可能な部分が多い。

5. 3. 2 実 験 結 果
各食品選択までに要した時間を図 11 に、5 段階評価の結果
を表 2 にそれぞれ示す。

そこで、本研究では、システムの画像処理をする部分の流れ
25

は図 10 のようにした。

ᮏ䝅䝇䝔䝮

20

ᡭື
㣗஦㡿ᇦ⿵ṇ

㣗஦㡿ᇦ㻌 㻌

ᅇ 15
ᩘ 10

୰ኸ್

᭱ึ䛾䜏

GrabCut

SURF

5

図 11

ホ౯್ྲྀᚓ
䝁䜰2

䝁䜰3

食品選択に要する時間

䝁䜰4

表 2 システム 5 段階評価
図 10 画像処理の流れ

評価項目

平均点

認識のよさ

3.4

最もコストの高い SURF の特徴記述と、コードワード割り当

使いやすさ

4.2

てを 4 コアで並列処理し、次に、コストの非常に小さい SURF

方向提示のよさ2.4を分類とカラーヒストグラム抽出分類はシングルコアで、また、

手動 or 本システム

3.8

それと方向推定を 4 コアで並列処理をした。GrabCut も初期

15䡚

14.0䡚15.0

13.0䡚14.0

12.0䡚13.0

11.0䡚12.0

10.0䡚11.0

8.0䡚9.0

9.0䡚10.0

7.0䡚8.0

6.0䡚7.0᫬㛫[sec]᪉ྥ᥎ᐃ䝁䜰1

5.0䡚6.0

4.0䡚5.0

3.0䡚4.0

䡚2.0

SURFศ㢮
Ⰽᢳฟศ㢮

2.0䡚3.00食品選択に要する時間の本システムの中央値は 5.1 秒、手動は 5.7 秒であった。ユーザからのコメントは、「認識率が上がれば使ってみたい」、「不適当な結果の食品を除外する機能がほしい」、「認識対象を増やすか、別途登録できるようにしてほしい」などが挙げられた。
今回の場合は、手動よりも少し早く選択でき、使いやすいという評価を得た。しかしながら、本システムで認識できない食品や時間が非常にかかる食品も存在し、この点に関して対処が必要である。また、方向提示のよさも高い評価を得ることができなかった。これは、精度が現状では高くないため示された方向に動かしても、期待する料理名がリストに提示されなかったことが考えられる。

6. お わ り に本研究では、スマートフォン上でリアルタイムに食事認識をする、ネットワークに依存しない食事管理システムを提案した。
提案システムは 50 種類の料理に対して、背景を含まない料理の領域が与えられたとき、候補を 5 つ提示し 81.6%の認識精度であった。また、バックグラウンドでは料理の領域の補正を行い、さらに、認識を誤った場合を考慮し、ユーザに料理のある方向を提示する。認識する領域から料理が 15%ずれていた場
合、角度差 ±20◦ 以内に 31.8%、±40◦ 以内に 50.3%の精度で、25%ずれていた場合、角度差 ±20◦ 以内に 34.5%、±40◦ 以内に 54.2%の精度であることを確認した。
今後は、現在はユーザ情報を使用していないので、ユーザ情報を収集して、それを識別機に反映させることにより、ユーザごとに特化した識別機を構築する。また、方向提示は高い評価を得ることができなかったので、形状を考慮するなど他の手法について考察する。さらに、2 次元方向の提示でなく、傾き等考慮した 3 次元方向の提示への拡張を目指す。
認識精度に関しては、次元圧縮を適用し、使用する特徴量などを追加することなどが考えられる。また、認識する料理の数を増やす。単純に増やしただけでは、認識性能は一般に悪くなるので、ユーザが認識する料理を選択できるようにし、ユーザが食べるが、認識対象にないという料理が少なくなるように
する。
文

献

[1] 松田裕司, 甫足創, 柳井啓司. 候補領域推定に基づく複数品目食事画像認識. 電子情報通信学会論文誌 D, Vol. J95-D, No. 8,
pp. 1554–1564, 2012.
[2] S. Yang, M. Chen, D. Pomerleau, and R. Sukthankar. Foodrecognition using statistics of pairwise local features. In
Proc. of IEEE Computer Vision and Pattern Recognition,
2010.
[3] K. Kitamura, T. Yamasaki, and K. Aizawa. Foodlog: Capture, analysis and retrieval of personal food images via web.
In Proc. of ACM Multimedia Workshop on Multimedia for
Cooking and Eating Activities, pp. 23–30, 2009.
[4] A. Mariappan, M. Bosch, F. Zhu, C.J. Boushey, D.A. Kerr,
D.S. Ebert, and E.J. Delp. Personal dietary assessment using mobile devices. In Proc. of the IS&T/SPIE Conference
on Computational Imaging VII, Vol. 7246, pp. 72460Z–1–

72460Z–12, 2009.
[5] N. Kumar, P. Belhumeur, A. Biswas, D. Jacobs, W. Kress,
I. Lopez, and J. Soares. Leafsnap: A computer vision system for automatic plant species identification. In Proc. ofEuropean Conference on Computer Vision, 2012.
[6] T. Maruyama, Y. Kawano, and K. Yanai. Real-time mobile recipe recommendation system using food ingredientrecognition. In Proc. of ACM Multimedia Workshop on Interactive Multimedia on Mobile and Portable Devices, pp.
27–34, 2012.
[7] T. Lee and S. Soatto. Learning and matching multiscale
template descriptors for real-time detection, localizationand tracking. In Proc. of IEEE Computer Vision and Pattern Recognition, 2011.
[8] F.X. Yu, R. Ji, and S.F. Chang. Active query sensing formobile location search. In Proc. of the 19th ACM International Conference on Multimedia, pp. 3–12, 2011.
[9] 香川芳子. 新毎日の食事のカロリーガイドブック 外食編／ファストフード・コンビニ編／市販食品編／家庭のおかず編. 女子栄
養大学出版部, 2002/05.
[10] M. Bosch, F. Zhu, N. Khanna, C.J. Boushey, and E.J. Delp.
Combining global and local features for food identificationin dietary assessment. In Proc. of IEEE International Conference on Image Processing, pp. 1789–1792. IEEE, 2011.
[11] H. Hoashi and K. Yanai. Image recognition of 85 food categories by feature fusion. In Proc. of The second Workshop
on Multimedia for Cooking and Eating Activities, 2010.
[12] 李賀, 杉山春樹, 相澤清晴. 一般食事画像認識に対する特徴量・認識手法の比較検討. 画像の認識・理解シンポジウム (MIRU2012),
2012.
[13] J. Huang, S.R. Kumar, M. Mitra, W.J. Zhu, and R. Zabih.
Image indexing using color correlograms. In Proc. of IEEE
Computer Vision and Pattern Recognition, pp. 762–768,
1997.
[14] N. Dalal and B. Triggs. Histograms of oriented gradientsfor human detection. In Proc. of IEEE Computer Vision
and Pattern Recognition, Vol. 1, pp. 886–893. IEEE, 2005.
[15] A. Bosch, A. Zisserman, and X. Munoz. Representing shapewith a spatial pyramid kernel. In Proc. of the 6th ACM International Conference on Image and Video Retrieval, pp.
401–408, 2007.
[16] Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc
Van Gool. Speeded-up robust features (SURF). Computer
Vision and Image Understanding, Vol. 110, No. 3, pp. 346–
359, 2008.
[17] J. Philbin, O. Chum, M. Isard, J. Sivic, and A. Zisserman.
Lost in quantization: Improving particular object retrieval
in large scale image databases. In Proc. of IEEE Computer
Vision and Pattern Recognition, pp. 1–8, 2008.
[18] R. E. Fan, K. W. Chang, C. J. Hsieh, X. R. Wang, andC. J. Lin. LIBLINEAR: A library for large linear classification. The Journal of Machine Learning Research, Vol. 9,
pp. 1871–1874, 2008.
[19] A. Vedaldi and A. Zisserman. Efficient additive kernels via
explicit feature maps. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, No. 3, pp. 480–492,
2012.
[20] F. Perronnin, J. Sánchez, and Y. Liu. Large-scale image categorization with explicit data embedding. In Proc. of IEEE
Computer Vision and Pattern Recognition, pp. 2297–2304,
2010.
[21] C. Rother, V. Kolmogorov, and A. Blake. Grabcut: Interactive foreground extraction using iterated graph cuts. In
Proc. of ACM SIGGRAPH, pp. 309–314, 2004.
[22] C. H. Lampert, M. B. Blaschko, and T. Hofmann. Beyond
sliding windows: Object localization by efficient subwindow
search. In Proc. of IEEE Computer Vision and Pattern
Recognition, 2008.