情報処理学会研究報告
IPSJ SIG Technical Report

食事画像カロリー量推定における回帰による手法と検索による手法の比較
會下

拓実1,a)

柳井

啓司1,b)

概要：我々は食事画像からの直接カロリー量推定において, 回帰による手法と検索による手法の比較を行う. これまでに回帰による手法と検索による手法として, それぞれ CNN を用いた回帰による食事画像からのカロリー量直接推定手法 [6] と従来の画像特徴量に基づく類似画像検索によるカロリー量推定手法 [11]が提案されている. これら二つは代表的な手法であると考えられるが, いままで厳密に比較されたことはな
かった. CNN を用いた回帰による手法 [6] では料理 15 カテゴリに関して合計 4877 枚のカロリー量がアノテーションされた食事画像データセットが使用され, 検索による手法 [11] では料理カテゴリを無視した
合計 6522 枚のデータセットが使用されており, 我々の知る限り, これらの回帰による手法と検索による手法は同一データセットによる比較実験は未だになされていない. そこで本研究では, [6] のデータセットを用いて, CNN を用いた回帰による手法と類似画像検索による手法の比較を行う. また, 料理カテゴリを無視した合計 68,774 枚の大規模なカロリー量付き食事画像データセットを構築し, 同様に比較実験を行う.
なお本研究では, 類似画像検索による手法 [11] では, BoF やカラーヒストグラムのような従来の画像特徴
量の代わりに CNN の中間層から抽出した特徴量などを使用する.

の料理カテゴリ分類などの食事画像認識タスクでは, CNN

1. はじめにを用いた画像認識手法により精度が大幅に向上しているが,

近年, 食事に関する健康志向の高まりにより, 多くの食事管理を目的とするモバイルアプリケーションがリリー

食事画像からのカロリー量推定については未解決の問題となっている.

スされ, 毎日の食事のバランスやカロリー量などを記録す

食事画像からのカロリー量推定については, これまでにることが以前より容易になった. いくつかのモバイルアプ

いくつかのアプローチが提案されている. 主要なアプロー

リでは, 画像認識技術を用いることで, 料理写真のみからチとして, 食事画像から推定された料理カテゴリと料理の料理の名称を自動で推定することが可能となっている. し

サイズもしくは体積に基づいてカロリー量を推定するもの

かしカロリー量の記録に関しては, 多くのアプリでは, 料がある [4], [5], [8], [12], [13], [14]. この手法には, 料理カテ

理カテゴリや料理の量などの情報についてユーザーによゴリ内の差異を考慮できないという問題がある. また, 食る手入力が必要であり, このような手間のかかる作業や主事画像からの料理の量の推定において, CNN を使用する場

観的な判断が要求される. こうした食事管理アプリにおけ合, 使用する食事画像に対して高コストなアノテーションるユーザーの負担を軽減させるために, モバイルデバイスなどが必要になることが多い. しかし, カロリー量は料理

上での画像認識技術による食事画像からの自動認識は有カテゴリと量に強く依存していると考えられるため, この効であると考えられ, これまでにいくつかの研究が存在すアプローチは有効かつ重要である. 別のアプローチとして,る [1], [5], [8], [12], [13], [20].

料理カテゴリや量の推定なしに食事画像から直接カロリー

しかしそうしたものの多くは, 推定された食品の種類, あ

量を推定する手法が存在する. これまでに [6], [11] がこのるいはユーザーによって与えられた標準サイズと比較したアプローチを適用している. 宮崎ら [11] は, 料理カテゴリ

相対的なサイズから食品の種類ごとにカロリー量を計算しや量を推定せず, 食事画像から直接カロリー量を推定した.

ており, 現状では, 全自動での食事画像からのカロリー量推

食事画像からの直接カロリー量推定には, カロリー量がア定が可能なアプリケーションは存在しない. 食事画像からノテーションされた食事画像が必要であり, 宮崎らは, 食事

1
a)
b)

電気通信大学大学院 情報理工学研究科
ege-t@mm.inf.uec.ac.jp
yanai@cs.uec.ac.jp

情報学専攻所属c 2012 Information Processing Society of Japan⃝

管理サービス Food-Log*1 に投稿された 6512 枚の食事画*1

http://www.foodlog.jp/

1情報処理学会研究報告
IPSJ SIG Technical Report

像に対して, 栄養士の方にカロリー量をアノテーションしてもらうことでデータセットを構築した. 宮崎らは, この
データセットを用いて, 類似画像検索によるカロリー量推定手法を提案した. この手法では, 与えられたクエリ画像に対して, カロリー量付き食事画像データベースから類似画像を上位 k 枚まで検索し, その類似画像にアノテーション
されているカロリー量からカロリー量を計算する. 類似画
像検索には, BoF やカラーヒストグラムなどの従来の画像
特徴量が用いられた. この宮崎らの手法は, 料理カテゴリ

図1

回帰によるカロリー量推定に使用する multi-task CNN のアー
キテクチャ ([6]).

に依存していないため, あらゆる料理に対応することが可とでカロリー量を推定する. ただし, BoF やカラーヒスト

能であるが, 検索による手法としてはデータベースの食事グラムなどの従来の画像特徴量の代わりに CNN 特徴ベク

画像数や, 使用した画像特徴量の表現力が十分ではなかっトルなどを使用する.

たことなどが考えられる.
これに対して我々は [6] において, CNN を用いた回帰によるカロリー量推定を提案しており, 食事画像からの料

2.1 回帰によるカロリー量推定
我々は [6] に従い, CNN を用いて回帰による食事画像か

理カテゴリとカロリー量の同時推定のために multi-task

らのカロリー量直接推定を行う. [6] では, Web 上のレシピ

CNN を用いた. [6] では, Web 上のレシピ情報サイトか情報サイトからカロリー量付き食事画像を収集することでらカロリー量がアノテーションされた食事画像を収集す

データセットを構築し, これを用いて multi-task CNN をることでデータセットを構築し, これを用いて multi-task

学習している. この multi-task CNN は 図 1 に示すように,

CNN を学習した. この multi-task CNN は, 一品の料理が料理カテゴリ分類タスクとカロリー量推定タスクを同時に写った写真 1 枚を入力として, 料理カテゴリとカロリー量行っており, 一品の食品が写った食事画像から料理カテゴを同時に出力する. 料理カテゴリとカロリー量の間には強リとカロリー量を同時に推定する. Multi-task CNN を用い

い相関が存在するため, 我々はこれらを同時に学習するこて料理カテゴリと食材を同時に推定した Chen and Ngo [3]とで, 別々に学習した場合の精度を上回ると考えた. Chen

は, それぞれのタスクが独自の中間層を持っているとき性and Ngo [3] は料理カテゴリと食材の有無を同時に推定す

能が向上したと述べており, 本研究で使用する multi-task

る multi-task CNN を提案し, これらの同時学習により精CNN のアーキテクチャはこれに従う. 学習には ImageNet

度が向上することを示している. [6] では, 使用されるデーの 1000 種類分類タスクによって事前学習済みのモデルを

タセットは, 料理カテゴリとカロリー量の同時学習のため使用する.

に料理 15 カテゴリに限定され, また, 類似画像検索による手法 [11] との厳密な比較実験がなされていない.
本論文では, 食事画像からの直接カロリー量推定におけ[6] に従い, カロリー量推定タスクの学習に使用する損失関数 Lcal は, 絶対誤差を Lab , 相対誤差を Lre とすると次のように定義される.

る代表的手法である, 回帰による手法 [6] と検索による手法 [11] について, 同一のデータセットを用い, 比較実験を行う. 本実験ではデータセットとして, [6] の料理 15 カテ
ゴリのデータセットと本研究で構築する料理カテゴリを無視した 68,774 枚の大規模データセットをそれぞれ用いる.
なお, 我々は検索ベースの手法 [11] に関して, 従来の画像
特徴量の代わりに CNN の中間層から抽出される特徴量な

Lcal = λre Lre + λab Lab

λ は各損失項にかかる重みである. ある画像 x を入力したときの推定値を y, y に対する正解値を g とすると, 絶対誤差 Lab と相対誤差 Lre は下のように定義される.

Lab = |y − g|

どを使用する.

2. 手法
本研究では, 食事画像からのカロリー量直接推定において, 回帰による手法と検索による手法の比較を行う. 本章
では本研究で使用するこれら二つの手法について述べる.
回帰による手法では [6] に従い, 図 1 のような食事画像から料理カテゴリとカロリー量を同時に推定する multi-task

CNN を用い, カロリー量を推定する. 検索による手法では [11] に従い, 画像特徴量に基づき類似画像検索を行うこ

c 2012 Information Processing Society of Japan
⃝

(1)

Lre =

(2)

|y − g|g(3)

また, 料理カテゴリ分類タスクの損失関数 Lcat として, 交
差エントロピー誤差を使用する. ある画像 x を入力したときの出力層のユニット i の出力値を yi , yi に対する教師
データの値を gi とすると, 食事カテゴリ分類タスクの損失
関数 Lcat は次のように定義される.

Lcat = −n∑gn log yn

(4)

n=1

2

情報処理学会研究報告
IPSJ SIG Technical Report

これら二つのタスクを同時に学習するために, [6] では各タが検索タスクにおいて最も優れていることを示しているた

スクの損失関数の線形和を全体損失関数 L として定義してめ, 我々は joint-learning を使用する.

いる.

L=

Joint-learning では予め, 入力として与える参照画像, 類N
1∑N

似画像, 非類似画像を決める. 我々はまず, 類似画像と非類(λre Lre + λab Lab + λcat Lcat )

(5)

n=0

似画像のそれぞれを, 参照画像と同じ料理カテゴリの画像と参照画像と, 異なる料理カテゴリの画像と定義する. さλ は各損失項にかかる重みであり, 各 λ の値が近い値に収らに, より確実に学習を進めるために, 画像 Ii と画像 Ij の束するように決定されることが多い. 本実験ではすべての類似度を表す類似スコア ri,j = r(Ii , Ij ) を導入し, 参照画

λ を 1 に設定した状態で一度学習を行い, そのとき各イテ

像 I に対して r(I, I+ ) > T+ を満たす画像 I+ を類似画像

レーションで得られる損失の値をタスクごとに保持しておとして使用し, r(I, I− ) < T− を満たす画像 I− を非類似画

き, 最終的に全イテレーションにおける損失の値の平均値像として使用する. 学習時にはこれら三枚の画像を入力との逆数を各タスクの損失項にかかる重みとして使用する.

して, 各画像から CNN 特徴ベクトルが得られる.

ただし本実験では, Lre = 1 と固定した.

特徴量抽出ネットワークでは, 参照-類似と参照-非類似
それぞれの特徴ベクトル間のユークリッド距離が, 参照-類

2.2 検索によるカロリー量推定

似間では小さく, 参照-非類似間では大きくなるように学習

宮崎ら [11] は, BoF やカラーヒストグラムなどの従来のする. 参照画像, 類似画像, 非類似画像それぞれの CNN 特

画像特徴量に基づき, カロリー量付き食事画像データベー

徴ベクトルを f, f+ , f− とすると, [21] に従い, 特徴量抽出

スから類似画像上位 k 枚を検索し, それらの画像にアノネットワークの損失関数 LR は次のように定義される.

テーションされたカロリー量の平均値を計算することでカロリー量を推定している.
我々は宮崎ら [11] の手法に従い, 検索によるカロリー量推定を行う. ただし, 従来の画像特徴量の代わりに CNNの中間層から得られる特徴ベクトルを使用する. 我々はImageNet1000 種類分類タスクによって事前学習済みの
VGG16 [19] を画像特徴量抽出器として使用し, 全結合層の出力である 4096 次元ベクトルを画像特徴量として利用す
る. 実験ではまず, データベース用画像から画像特徴ベク

LR = max(0, g + ∥f+ − f ∥2 − ∥f− − f ∥2 )(6)

分類ネットワークでは, 各画像で料理カテゴリ分類タスクが行われ, 損失関数として交差エントロピー誤差が使用される. 分類ネットワークの損失関数 LC は, 各画像の損失の線形和で表される.
最終的に全体損失関数 L は以下のように定義される.

L = LR + λLC(7)

トルを計算し, カロリー量付き食事画像データベースを構築する. カロリー量推定時には, 各テスト画像から画像特徴ベクトルを計算し, 特徴ベクトル間のユークリッド距離に基づきデータベースから類似画像を検索する.

λ は損失項にかかる重みであり, 本実験では λ = 1 とする.

3. データセット

さらに我々は, より画像検索タスクに適した特徴量を得る

本実験では, [6] の料理 15 カテゴリのカロリー量付き食ために, Simo-Serra ら [18] が提案した joint learning の手事画像データセットを用い, 食事画像からのカロリー量推法を使用する. 彼らは特徴量抽出ネットワークと分類ネッ

定について, 回帰による手法 [6] と検索による手法 [11] のトワークの共同学習を行うことで, 識別に有効な特徴表現を比較を行う. また, 本研究では料理カテゴリを無視した大学習した. 学習時には入力として参照画像, 類似画像, 非類

規模データセットを構築し, 同様に比較実験を行う. 本章

似画像それぞれがパラメータを共有する同一のネットワー

では実験に使用するこれら二種類のデータセットについて

クに与えられ, 各画像から CNN 特徴ベクトルが得られる.

述べる.

特徴量抽出ネットワークでは参照-類似と参照-非類似それぞれの特徴ベクトル間のユークリッド距離を最適化することにより, 有用な特徴表現を学習し, 分類ネットワークでは,

3.1 料理 15 カテゴリのカロリー量付き食事画像データセット得られた特徴ベクトルから分類タスクを行うことで有用な[6] では, Web 上のレシピ情報サイトからカロリー量付き

feature map を学習する. 推定時には画像一枚を入力する

食事画像を収集することでデータセットを構築した. また,ことで CNN 特徴ベクトルが得られ, これを画像特徴量と料理カテゴリとカロリー量の同時学習のために料理 15 カ

して検索タスクに使用する. 有用な特徴量を学習する手法

テゴリがアノテーションされており, 合計 4877 枚のデーとして他にも siamese-network [2] や triplet-network [21]タセットとなっている. 実験では学習用画像として 70 %をなどが存在するが, 下田ら [17] は, これらの手法を食事画使用し, 残りの 30 %をテストに用いる. このデータセット

像検索タスクに適用し Simo-Serra ら [18] の joint-learningを用い, 回帰による手法と検索による手法の比較を行う.

c 2012 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

3.2 料理カテゴリを無視した大規模カロリー量付き食事

誤差 20%以内 (%)

Top-1(%)

VGG16 single-task

29.2

100.4

0.783

46.0

—

ResNet50 single-task

31.1

96.7

0.789

47.0

—

理 15 カテゴリは少ないと考えられる. そこで本研究でResNet101 single-task

29.4

94.7

0.797

49.4

—

は, [6] において除かれていた料理 15 カテゴリ以外のすべVGG16 multi-task

28.0

96.5

0.805

47.2

83.2

ての食事画像も使用し, 料理カテゴリを無視した大規模カ

ResNet50 multi-task

30.6

93.2

0.803

49.0

83.9

ResNet101 multi-task

29.6

91.9

0.807

50.8

82.0

[6] では料理カテゴリとカロリー量の同時学習のために料理 15 カテゴリに制限されている. 現状, CNN を用いた
料理 100 カテゴリに対するクラス分類の正解率が 90% [9]に近くなり, 高精度に分類することが可能になっていることを考えると, CNN を用いた手法を評価するにあたり料

ロリー量付き食事画像データセットを構築する. データ

相関係数

絶対誤差 (kcal)

定結果
相対誤差 (%)

画像データセット

表 1 料理 15 カテゴリのデータセットでの回帰によるカロリー量推

セットの構築にあたり, 我々はノイズ除去を行った. まず

256 × 256 より小さい画像を除去し, 次に物体検出ネット
ワークである Faster R-CNN [15] を用い, 食事画像に対しカロリー量推定結果を示す. カロリー量推定の評価指標とて料理の検出を行い, 複数の料理が含まれる画像を自動でして相対誤差, 絶対誤差, 推定値と正解値の相関係数, 相対除去した. Faster R-CNN は料理の検出を行うために, バ

誤差 20% 以内の推定値の割合を用いた. また, 料理カテゴ

ウンディングボックス付きの食事画像データセットである

リ分類に関しては Top-1 精度を示す. 表 1 からいずれのモUECFOOD-100 [10] を用いて学習したものを使用した. 最デルに関しても, 料理カテゴリとカロリー量の同時学習に

終的に我々は, 料理カテゴリを無視した 68,774 枚のカロよる精度の向上が見られ, ResNet101 が最も優れていた.

リー量付き食事画像データセットを構築した. 実験では学

4.1.2 画像検索によるカロリー量推定

習用画像として 80 %を使用し, 残りの 20 %をテストに用い, 二つの手法の比較実験を行う.

4. 実験
本実験では, 料理 15 カテゴリのデータセットと料理カ

検索による手法では, 学習用画像から画像特徴量データ
ベースを作成する. 推定時には, クエリ画像から検索された上位 k 枚の画像を使用し, それらにアノテーションされたカロリー量の平均値を計算する. ベースラインとして, ImageNet1000 種類分類タスクによって事前学習済み

テゴリを無視した大規模デーセットそれぞれを用い, 回帰の VGG16 [19] から得られる fc6 層と fc7 層の出力であるによる手法と検索による手法を用い, 食事画像からのカロ

4096 次元ベクトルを画像特徴量として使用する. 画像特徴

リー量推定を行う. 回帰による手法では, CNN 学習時に,量データベースの作成には料理 15 カテゴリのカロリー量

最後の 1k イテレーションから 100 イテレーション間隔で付き食事画像データセットの学習用画像を用いる.

得られた 10 個のモデルを使用し, 各モデルから得られた推定値の平均値を最終的な推定値とする.

Joint-learning [18] に よ る ネ ッ ト ワ ー ク の 学 習 に は,
UECFOOD-100 中の本実験が対象とする料理 15 カテゴリに対応する画像を使用する. 最適化手法として SGD を使

4.1 料理 15 カテゴリのデータセットでのカロリー量推定

用し, Momentum 値は 0.9 とし, バッチサイズは 8 とする.

ここでは料理 15 カテゴリのカロリー量付き食事画像デー

学習率 0.0001 において 10k イテレーション学習する. モ

タセットを用い, 食事画像からのカロリー量推定を行う.

デルには ImageNet の 1000 種類分類タスクにおいて事前

4.1.1 回帰によるカロリー量推定

学習済みの VGG16 を用い, fc6 層から得られる特徴ベク

回帰による手法では, 料理 15 カテゴリのカロリー量付

トルを学習時とテスト時に画像特徴量として使用する. 画

き食事画像データセットの学習用画像を用い, CNN の学像特徴量データベースの作成には料理 15 カテゴリのカロ習を行う. 料理カテゴリとカロリー量の同時学習を行う

リー量付き食事画像データセットの学習用画像を用いる.

multi-task CNN と, カロリー量のみを学習する single-task

まず, 表 2 に各特徴量での検索精度を示す. クエリ画像

CNN の両方について実験を行う. 最適化手法として SGDと同じ料理カテゴリの画像が検索された場合を正解として,を使用し, Momentum 値は 0.9 とし, バッチサイズは 8 と各クエリ画像に対して, 検索された上位 k 件の画像から平する. 学習率 0.001 において 50k イテレーション, さら

均適合率 AP@k が求まる. 評価指標として, 料理カテゴリに 0.0001 において 20k イテレーション学習する. モデルごとに計算される平均適合率の平均値 mAP@kには VGG16 [19], ResNet50/101 [7] を使用し, いずれも値を用いる. 表 3 に料理 15 カテゴリのデータセットでのImageNet の 1000 種類分類タスクにおいて事前学習済み検索によるカロリー量推定結果を示す. Joint-learning [18]のモデルを利用する.

により UECFOOD-100 を学習した VGG16 の特徴量にお表 1 に料理 15 カテゴリのデータセットでの回帰によるc 2012 Information Processing Society of Japan
⃝の平均

いて, 大幅に精度が向上したことがわかる.

4

情報処理学会研究報告
IPSJ SIG Technical Report
表 5

VGG16(ImageNet) fc6

39.8

48.7

46.2

VGG16(ImageNet) fc7

34.0

45.4

43.8

63.4

70.6

68.0

VGG16(UECFOOD-100)

fc6

料理カテゴリを無視した大規模データセットでの回帰による手法と検索による手法の比較
誤差 20%以内 (%)

mAP@10

誤差 20%以内 (%)

mAP@5

相関係数

mAP@1

絶対誤差 (kcal)

各特徴量における画像検索精度

相対誤差 (%)

表 2

VGG16 fc6 k=10

121.5

142.9

0.330

24.7

47.3

VGG16 fc7 k=10

126.9

145.6

0.315

24.6

46.5

VGG16 single-task

60.0

132.0

0.436

23.5

48.0

表 3 料理 15 カテゴリのデータセットでの検索によるカロリー量推

相対誤差 (%)

絶対誤差 (kcal)

相関係数

誤差 20%以内 (%)

定結果

VGG16 fc6 (k=5)

48.2

117.2

0.677

42.3

VGG16 fc6 (k=10)

48.9

112.9

0.698

44.2

VGG16 fc6 (k=15)

50.1

113.2

0.699

45.0

VGG16 fc7 (k=5)

53.3

122.9

0.641

40.1

VGG16 fc7 (k=10)

54.5

118.9

0.666

42.7

VGG16 fc7 (k=15)

55.1

117.5

0.675

43.4

VGG16(UECFOOD-100) fc6 (k=5)

38.5

100.6

0.763

46.5

VGG16(UECFOOD-100) fc6 (k=10)

38.4

97.0

0.780

49.4

VGG16(UECFOOD-100) fc6 (k=15)

38.7

96.0

0.781

50.3

4.2 料理カテゴリを無視した大規模データセットでのカ
ロリー量推定
この実験では, 本研究で構築した料理カテゴリを無視した大規模カロリー量付き食事画像データセットを用いてカロリー量推定を行う.
回帰による手法では, 学習用画像を用いて single-task

CNN を学習し, 残りの 20%をテストに使用する. 学習率
表 4 料理 15 カテゴリのデータセットでの回帰による手法と検索に0.001 において 150k イテレーション, さらに 0.0001 にお絶対誤差 (kcal)

相関係数

誤差 20%以内 (%)

いて 50k イテレーション学習する. 今回使用するデータ相対誤差 (%)

よる手法の比較

32.4

93.6

0.784

50.0

VGG16 single-task

29.2

100.4

0.783

46.0

VGG16 multi-task

28.0

96.5

0.805

47.2

ルを画像特徴量として使用する. 画像特徴量データベース

Joint-learning (k=5)

38.5

100.6

0.763

46.5

の作成には学習用画像を用いる. この実験で使用するデー

Joint-learning (k=10)

38.4

97.0

0.780

49.4

タセットには料理カテゴリのアノテーションがないため,

Joint-learning (k=15)

38.7

96.0

0.781

50.3

joint learning [18] は使用しない.

Baseline

セットには料理カテゴリがアノテーションされていないた
め, multi-task CNN は使用しない.
検索による手法では, ImageNet の 1000 種類分類タスクにおいて事前学習済みの VGG16 [19] をそのまま利用し,全結合層の fc6 層と fc7 層から得られる 4096 次元ベクト

表 5 に料理カテゴリを無視した大規模なデータセットで

4.1.3 回帰による手法と検索による手法の比較
ここでは回帰による手法と検索による手法についてまとめる.

のカロリー量推定の結果を示す.

5. おわりに

さらに, 上記二つの手法に加えて, よりシンプルなベース

本研究では, 回帰による手法と検索による手法をそれぞラインとして, 推定された料理カテゴリに応じて, 登録されれ用いて食事画像からのカロリー量を推定し, 手法の比較

たカロリー量を推定値とする手法の評価も行う. この手法を行った. 実験では, 料理 15 カテゴリのデータセットと料のために料理 15 カテゴリに関して CNN を用いてクラス

理カテゴリを無視した大規模データセットをそれぞれ用い,分類を行う. モデルには ImageNet の 1000 種類分類タス

各手法の性能評価を行った.

クにおいて事前学習済みの VGG16 を用い, 学習率 0.001
において 20k イテレーション学習したものを使用する.

本研究で扱った回帰による手法と検索による手法は, 料理の量を考慮しないカロリー量推定であった. そこで今後

表 4 に回帰による手法と検索による手法をまとめる. 表 4

は, 料理の量に基づくカロリー量推定に取り組むことを考の手法は, いずれも VGG16 [19] を使用したものである. まえている. カロリー量は料理カテゴリと量に強く依存する

た, 図 2 に各カロリー量推定手法での推定値と正解値の相ためこのアプローチは有効であり, これまでに, 領域分割と関を示す. 図 2 を見ると, 回帰による手法は他の手法と比基準物体を用いる手法 [13], [16] や, 複数視点からの画像やべて大幅な推定誤りが少なく, 全体的に安定していること

奥行き推定により三次元推定を行う手法 [5], [8] などが提がわかる. 表 4 の相対誤差, 相関係数からも同様のことが案されているが, 我々はまず, カロリー量推定と物体検出を言える.

組み合わせることを考えている.

c 2012 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report(b) 検索による手法(Joint-learning [18], k = 15).

(a) Baseline(料理カテゴリ分類).

(c) 回帰による手法(VGG16 ベースの multi-task CNN).

図 2 各カロリー量推定手法における推定値と正解値の相関

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

V. Bettadapura, E. Thomaz, A. Parnami, D. G. Abowd,
and A. Essa. Leveraging context to support automatedfood recognition in restaurant. In Proc. of the 2015
IEEE Winter Conference on Applications of Computer
Vision (WACV), 2015.
J. Bromley, I. Guyon, E. Sckinger, and R. Shah. Signature verification using a siamese time delay neural network. In Advances in Neural Information Processing
Systems, 1994.
J. Chen and C. W. Ngo. Deep-based ingredient recognition for cooking recipe retrival. In Proc. of ACM International Conference Multimedia, 2016.
M. Chen, Y. Yang, C. Ho, S. Wang, E. Liu, E. Chang,
C. Yeh, and M. Ouhyoung. Automatic chinese food
identification and quantity estimation. In Proc. of SIGGRAPH Asia Technical Briefs, page 29, 2012.
J. Dehais, M. Anthimopoulos, and S. Mougiakakou. Gocarb: A smartphone application for automatic assessment of carbohydrate intake. In Proc. of ACM MM
Workshop on Multimedia Assisted Dietary Management, 2016.
T. Ege and K. Yanai. Simultaneous estimation of foodcategories and calories with multi-task cnn. In Proc.
of IAPR International Conference on Machine Vision
Applications(MVA), 2017.
K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In arXiv preprint
arXiv:1512.03385, 2015.
F. Kong and J. Tan. Dietcam: Automatic dietary assessment with mobile camera phones. In Proc. of Pervasiveand Mobile Computin, pages 147–163, 2012.
N. Martinel, G. L. Foresti, and C. Micheloni. Wide-slice
residual networks for food recognition. In arXiv preprint
arXiv:1612.06543, 2016.
Y. Matsuda, H. Hajime, and K. Yanai. Recognition ofmultiple-food images by detecting candidate regions. In
Proc. of IEEE International Conference on Multimedia
and Expo, 2012.
T. Miyazaki, G. Chaminda, D. Silva, and K. Aizawa. Image ‐ based calorie content estimation for dietary assessment. In Proc. of IEEE ISM Workshop on Multimedia
for Cooking and Eating Activities, 2011.

c 2012 Information Processing Society of Japan
⃝

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

A. Myers, N. Johnston, V. Rathod, A. Korattikara,
A. Gorban, N. Silberman, S. Guadarrama, G. Papandreou, J. Huang, and P. K. Murphy. Im2calories: towards an automated mobile vision food diary. In Proc.
of IEEE International Conference on Computer Vision,
2015.
K. Okamoto and K. Yanai. An automatic calorie estimation system of food images on a smartphone. In Proc. of
ACM MM Workshop on Multimedia Assisted Dietary
Management, 2016.
P. Pouladzadeh, S. Shirmohammadi, and R. Almaghrabi.
Measuring calorie and nutrition from food image. In
IEEE Transactions on Instrumentation and Measurement, pages 1947–1956, 2014.
S. Ren, K. He, R. Girshick, and J. Sun. Faster R-CNN:
Towards real-time object detection with region proposal
networks. IEEE Transactions on Pattern Analysis andMachine Intelligence, 2016.
W. Shimoda and K. Yanai. CNN-based food image segmentation without pixel-wise annotation. In Proc. of
IAPR International Conference on Image Analysis andProcessing, 2015.
W. Shimoda and K. Yanai. Learning food image similarity for food image retrieval. In Proc. of International
Conference on Multimedia Big Data (BIGMM), 2017.
E. Simo-Serra and H. Ishikawa. Fashion style in 128
floats: Joint ranking and classification using weak data
for feature extraction. In Proc. of IEEE Computer Vision and Pattern Recognition, 2016.
K. Simonyan and A. Zisserman. Very deep convolutional
networks for large-scale image recognition. In arXiv
preprint arXiv:1409.1556, 2014.
R. Tanno, K. Okamoto, and K. Yanai. Deepfoodcam: A
dcnn-based real-time mobile food recognition system. In
Proc. of ACM MM Workshop on Multimedia Assisted
Dietary Management, 2016.
J. Wang, Y. Song, T. Leung, C. Rosenberg, J. Wang,
J. Philbin, B. Chen, and Y. Wu. Learning fine-grained
image similarity with deep ranking. In Proc. of IEEE
Computer Vision and Pattern Recognition, 2014.

6