社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

CNN による複数品食事画像の同時カロリー推定とそのモバイル実装
會下拓実†

丹野良介†

柳井啓司†

† 電気通信大学大学院情報理工学研究科〒 182–8585 東京都調布市調布ヶ丘 1–5–1
E-mail: †{ege-t,tanno-r}@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし近年では, 食に関する健康志向の高まりにより個人の食事記録を支援するアプリケーションが数多く登場している. そうしたアプリの中には画像認識技術により料理写真から料理名の候補を自動で提案するものまで存在するが, 料理のカロリー量計算に関しては, ユーザーが入力した情報からカロリー量を推定するものや, 栄養士の方が料理画像からカロリー量を推定するものなどがある. このようなアプリにより栄養学の知識のない一般ユーザーがカロリー量を記録することが可能になったが, これらのカロリー量推定方法は人手による操作に手間やコストがかかるという問題がある. そこで本研究では, Convolutional Neural Network(以下 CNN) を用いた画像認識手法を用い, 複数料理画像の同時カロリー量推定を行い, さらにそのモバイル実装を行う. 我々はまず Faster R-CNN [10] による物体検出を行い, 複数料理画像から個々の料理を検出し, さらに検出された料理に対してカロリー量推定を行う. このカロリー量推定では, 食事画像からのカロリー量推定 [1] を用い, 検出された料理のクロップ画像からカロリー量を推定する. また, 本研究では実際の食事で使用することを考慮し, モバイル実装も行う. このモバイル実装では既存のフレームワー
クで学習したモデルを iOS 用にコンバートすることで推論処理を iOS 上で行う. 実験ではカロリー量推定が端末上でリアルタイムに行われることを確認した.
キーワード

カロリー量推定, アプリケーション, 深層学習

1. は じ め にする. 本研究では CNN を用いた物体検出ネットワークである

Faster R-CNN [10] により複数料理画像からの単品料理の検出近年, 日々の食事のカロリー量を記録することのできるアプを行う. Faster R-CNN は, 従来研究と比較して高精度かつ高リケーションが数多く公開されているが, これらのカロリー量速な物体検出を実現し, 後に多くの研究に応用されている. 本の推定には, ユーザー入力による情報が必要であったり, 栄養士研究ではこの Faster R-CNN より複数料理画像からの料理の検を雇ったりと人手のかかるものとなっている. また, 中には画出を行い, さらに検出された単品料理を切り出した画像からカ像認識技術により料理の写真からその料理名の候補を自動で提ロリー量推定を行うことで複数料理画像の同時カロリー量推定案するものまで存在するが, 単品料理の画像にのみ対応していを実現する.

る場合が多く, 複数の料理が並ぶ場面では, ユーザーは 1 品ず

會下ら [1] は CNN を用い料理画像から直接カロリー量を推つ写真を撮るか, 画像から手作業で単品料理の画像を切り出す定するネットワークを構築した. 料理の種類ごとに固定された必要があり, 手間がかかる.

カロリー量を使用する方法と異なり, この手法では食材や調理

一方, 画像認識分野では CNN の登場により飛躍的に精度が向手順の違いによる料理の見た目の違いを考慮したカロリー量推上し, クラス分類や物体検出を高精度に行うことが可能となっ定が行われることが期待でき, 例えば同一カテゴリの料理だとており, 既にこのような画像認識技術を用いたアプリケーショしても食材の違いによる見た目の違いに応じて異なるカロリーンは数多く存在する.

量を出力する. ただし, このネットワークの入力は単品料理のそこで本研究では, CNN を用いた画像認識手法を用い, 複数画像にのみ対応しており, 複数料理画像から個々の料理のカロ料理画像の同時カロリー量推定を行い, さらにそのモバイル実リー量を推定することはできない. そこで本研究では, 物体検装を行う. 我々はまず複数料理画像から個々の料理を検出し, 検出により事前に単品料理を検出し, 単品料理の矩形領域をカロ出された料理のカロリー量を推定することで, 複数料理画像中リー量推定ネットワークの入力として使用する. また, このネッの複数の料理のカロリー量を同時に推定する. また, このカロ

トワークの出力のカロリー量の値は, 1 人分のカロリー量の値リー量推定の処理をモバイル OS 上で行う.となっている. したがって画像中の料理の量が何人前であって本研究では画像認識分野のタスクの 1 つである物体検出にも, その料理の 1 人分の量に対応するカロリー量を出力する.

より個々の料理を検出する. 物体検出は画像に含まれる対象物

また本研究ではこの複数品食事画像の同時カロリー推定のモ体の矩形領域とカテゴリを推定する技術であり, これにより画バイル実装を行う. 一般的に CNN の学習は膨大な計算量を必

像中の個々の料理のカテゴリとバウンディングボックスを推定要とするため GPU の使用が必須であるが, 学習済みモデルを—1—用いた推論処理にはそこまで多くの計算資源は必要ではなくiPhone 上での利用が可能となっている. 実際, これまでに我々は高速化の工夫及び省メモリ化を行うことで深層学習を用いたリアルタイム画像認識システムのモバイル上での動作を実現している. 本研究では既存のフレームワークで学習したモデルをiOS 上で使えるように変換し, 推論部分を独自に実装する.
まとめると, 本研究では複数料理画像に対して Faster R-CNN [1] を用い, 単品料理の検出を行う. さらにカロリー量推定と組み合わせることで複数料理画像からの同時カロリー量推定を行う. また, そのモバイル実装を行う.

2. 関 連 研 究
現在では様々な自動カロリー量推定システムが提案されて

図 1 Faster R-CNN のネットワークの概略図 ( [11]).

いる. 宮崎ら [4] は食事画像からカロリー量を直接推定している. 色ヒストグラムや SURF などの低レベル特徴量に基づいて, データベース上の類似画像を検索し, 特徴量ごとに類似度の高い上位 n 枚のカロリー量の平均値を計算し, それらの値から最終的にカロリー量を推定している. データセットには Web報を統合して食品の量を推定する. 最後に食事カテゴリや量の情報から食品のカロリー量を推定している. ただしこの研究では, カロリー量情報付きのデータセットが不足し, 十分に評価が行われていない.

サービスである FoodLog に投稿された食事画像 6512 枚を使用している. このデータセットには複数料理画像も含まれており,3. 手

各料理画像には 1 人分のカロリー量がアノテーションされていここでは複数料理画像の同時カロリー量推定手法とその実装る. したがってこの手法では料理の量に応じたカロリー量を推法法について説明する.

定することはできない. 本研究のカロリー量もこれと同様で食3. 1 Faster R-CNN

事画像からカロリー量を直接推定するものである.

Faster R-CNN [10] は物体検出タスクにおいて最新研究の基

岡元らはモバイル上でのカロリー量推定システム Grillcam [7]盤となっている手法であり, 二つのモジュールで構成される.

を提案している. このシステムはまず, 食事シーンを撮影し, 口１つ目のモジュールは, 候補領域を生成する Region Pro-と箸を検出することでその 2 点が近づいた瞬間の画像を切り出posal Network(RPN) である. この RPN は１層の全結合層し, 画像認識を行うことで料理カテゴリを推定し, カロリー量を(VGG16 [13] では 512 次元) と, それに続いて枝分かれする reg記録している. 食事シーンを動画に撮影しているため, 食べたlayer と cls layer で構成される. RPN の入力は, 特徴マップ量が不明瞭な焼き焼き肉や鍋といった料理にも適用可能である.

(VGG16 では最後の畳み込み層の出力) 上の 3 × 3 の spatial

また, 岡元ら [6] は食品と一緒に大きさが既知の基準物体を撮

window であり, 出力は後述する anchor の個数分のバウンディ影することで食品の体積を推定し, 高精度のカロリー量推定をングボックスとそれに対応するスコアである. この出力のスコ実現した. この手法ではまず, 基準物体と食品を一緒に撮影し,アは各バウンディングボックスにおいて物体が存在する確率を基準物体と食品の領域を比較することで食品の大きさを推定しカロリー量を計算する. 食品の領域の抽出では, まずエッジにより背景から皿領域を検出し, その皿領域に対して k-means に表している. 実際には RPN は, 3 × 3 のカーネルを持つ畳み込み層と, それに続いて枝分かれする 1 × 1 のカーネルを持つ畳み込み層により実装される. また, RPN では物体の形状に柔軟より色情報に基づく領域分割を行い, 最終的に GrabCut によりに対応するために 9 個の anchor を導入しており, この anchor

皿領域から食品領域を推定する.

は 3 スケール (1282 , 2562 , 5122 ピクセル) と 3 アスペクト比

Pouladzadeh ら [8] も食品とユーザーの親指を同時に撮影す(2 : 1, 1 : 1, 1 : 2) の形状をもつ. そして RPN では各 spatial

ることで指の大きさと比較を行い食品の大きさを求め, カロリーwindow において, anchor を基準とする 9 個の候補領域を生成量を推定するシステムを提案している. しかし指の出し方や角する.

度, 映り方などによっては誤差が生じてしまう可能性がある.

2 つ目のモジュールは, RPN により生成された候補領域をMyers ら [5] はモバイル上で動作するカロリー量推定システ

洗練する Fast R-CNN detector [2] である. この Fast R-CNN

ムを提案しており, 食事/非食事の認識, 複数品目の認識, 深度

detector の入力は RPN により生成された候補領域であり, 出力推定, 領域分割などの複数のタスクを CNN により行い, カロはバウンディングボックスとクラス確率である. このバウンディリー量を推定している. まず, 食事/非食事認識により画像中にングボックスはクラスごとに推定される. このように Faster食品が存在するかを判定し, その後マルチラベル認識により画R-CNN は 2 つのモジュールにより構成され, 畳み込み層によ像中の複数の食品を認識する. 次に深度推定と領域分割を行い,り実装される. 重要なことは RPN と Fast R-CNN detector のオブジェクトの三次元構造と食品の領域を抽出し, これらの情—2—

図 2 カロリー量推定のためのネットワークの概略図 ( [1]).

両方のネットワークは畳み込み層を共有しており, システム全図 3 CoreML を用いた iOS アプリ deploy フロー.

体は単一のネットワークであるということである (図 1). 入力
画像は一度だけ畳み込み層を通過し, RPN が生成する候補領域が Fast R-CNN detector により洗練される. 結果的に Faster

R-CNN は高精度かつ高速な物体検出を実現した.
3. 2 食事画像からのカロリー量推定
本研究では食事画像からのカロリー量推定 [1] により, Faster

R-CNN により検出された単品料理のクロップ画像からカロリー量を推定する. このネットワークの入力は単品料理の画像に限られ, また, 出力のカロリー量は料理画像中の料理の量に関係なく１人分の量に対応するカロリー量を出力する. ここから

図 4 UEC FOOD-100 [3] に含まれる複数料理画像の例.

は [1] に従い, 本研究で使用するネットワークについて説明する.
我々は [1] のカロリー量付き食事画像データセットを用い, 図 2のネットワークを学習する. このネットワークは VGG16 [13]に基づいており, 出力層がカロリー量を出力する単一のユニットで構成され, 1 人分の量に対するカロリー量を出力する. このような回帰問題においては, 一般的に損失関数として 2 乗和誤差が用いられるが, [1] では次のような損失関数 Lcal を使用している. 絶対誤差を Lab , 相対誤差を Lre とすると, カロリー量推定タスクの損失関数 Lcal は下のように定義される.

Lcal = λre Lre + λab Lab

3. 4 実 装 法
本研究では「CoreML」を用いて複数料理画像のカロリー量推定のモバイル実装を行う. CoreML(ML: Machine Learning)とは iOS11 から追加された機械学習 API 群のことであり, 学習済みモデルを iOS 上で推論できるようにモデルを変換して利用することができる. また, 学習済みモデルを CoreML 用に変換するコンバータ「coremltools」も同時に公開されている. CoreML を用いたアプリ実装フローを図に示す.CoreML(1)

が現在サポートしている深層学習フレームワークは Caﬀe 及びKeras(TensorFlow backend) の 2 つであり,学習したモデル

ただし λ は各損失にかかる重みである. 絶対誤差は推定値と正を coremltools により CoreML 用に変換して利用する. 学習済

解値の差の絶対値であり, 相対誤差は絶対誤差と正解値の比でみモデルを変換するコンバータの存在がする点や, CNN の各ある. ある画像 x を入力したときの推定値を y, y に対する正解レイヤー実装などは CoreML により隠蔽して利用できる点で,値を g とすると, 絶対誤差 Lab と相対誤差 Lre は下のように定iOS10 と比べて容易に深層学習をアプリに実装できるように義される.

なっている. 本研究ではフレームワークは Keras を利用し,

Lab = |y − g|
Lre =|y − g|g

(2)

(3)

3. 3 複数食事画像からの同時カロリー量推定「coremltools」で.mlmodel に変換後のモデルを CoreML で利用している.

4. データセット
本研究では複数料理画像からの単品料理の検出の学習と評価

本研究ではまず, Faster R-CNN [10] により複数料理画像中のためにバウンディングボックス付きの複数料理画像を含むの単品料理を検出し, そのバウンディングボックスに基づき画UEC Food-100 [3] を使用する. また, 複数料理画像の同時カロ像を切り出すことで単品料理画像を生成し, これをカロリー量リー量推定の評価のために合計カロリー量がアノテーションさ推定ネットワーク [1] に入力として与えることで, 各単品料理のれた学校給食画像を使用する.

カロリー量が得られる. これにより各単品料理のカロリー量が4. 1 UEC Food-100

1 枚の複数料理画像から推定される.

UEC FOOD-100 [1] は料理 100 カテゴリに関する食事画像—3—

データセットであり, 複数料理画像も含まれている. 単品料理

表 1 UEC Food-100 [3] に含まれる複数料理画像からの料理検出結果

画像は各料理カテゴリ 100 枚以上あり, 合計 11566 枚ある. そ(料理カテゴリごとに AP を計算). 100 カテゴリ (全体), 53 カ
テゴリ (評価用データ数 >=10 のカテゴリ), 11 カテゴリ (評価用れに加え, 複数料理画像は 1174 枚ある. 合わせて 12740 枚のすべての画像にバウンディングボックスが付与されている. このデータセットは Faster R-CNN の学習と評価に使用される. 図

5 に UEC FOOD-100 に含まれる複数料理画像の例を示す.

データ数 >=50 のカテゴリ).

UEC Food-100
mAP(%)

100 カテゴリ 53 カテゴリ 11 カテゴリ(all)(#item>=10) (#item>=50)

R-CNN (in [12])

26.0

21.8

25.7

4. 2 合計カロリー量付き学校給食画像[12]’s method (BP)

49.9

55.3

55.4

学校給食画像は Web 上の給食ブログから収集された. この

Faster R-CNN

42.0

46.3

57.9

給食ブログでは一日ごとに給食画像と共に合計カロリー量の値が掲載される. 合計カロリー量とは, 個々の料理のカロリー量

表 2 UEC Food-100 [3] に含まれる複数料理画像からの料理検出結果の合計値であり, 個々の料理のカロリー量は不明である. この(料理カテゴリを無視し, 評価用データ全体で AP を計算). 100
カテゴリ (全体), 53 カテゴリ (評価用データ数 >=10 のカテゴ

データセットは合計 690 枚の合計カロリー量付き学校給食画像を有し, 複数料理画像からの同時カロリー量推定の評価に使用

UEC Food-100
AP(%)

される.

5. 実リ), 11 カテゴリ (評価用データ数 >=50 のカテゴリ).

験100 カテゴリ 53 カテゴリ 11 カテゴリ
(all)(#item>=10) (#item>=50)[12]’s method (BP)

57.3

58.0

58.8

Faster R-CNN

57.7

59.2

67.0

まず UEC Food-100 [3] を用い, 複数料理画像からの単品料理の検出の実験を行う. 次に合計カロリー量付き学校給食画像を用い, 複数食事画像の同時カロリー量推定の評価を行う. このとき Faster R-CNN [10] の学習にはバウンディグボックスがアノテーションされているがカロリー量がアノテーションされていない学校給食画像を使用し, カロリー量推定ネットワー
ク [1] の学習にはカロリー量付き食事画像データセット [1] を使用する. 最後に複数料理画像のカロリー量推定の実装について述べる.

5. 1 複数料理画像から料理の検出
本実験では UECFood-100 を用いて Faster R-CNN を学習し評価を行う. ネットワークの学習ではパラメータの初期値とし

図 5 UEC Food-100 [3] に含まれる複数料理画像からの料理検出例.て VGG16 [13] の事前学習済みモデルを使用する. 最適化手法
として SGD を使用し, momentum 値を 0.9, weight decay 値を−3

表 1 に示す. また, 図 5 に検出結果の例を示す. 我々の手法はにお

11 カテゴリの mAP において [12] の精度を超え, 特に日本食ににおいて 20k 回反復す

頻繁に現れるようなサンプル数の多い “ごはん” や “味噌汁” にる. RPN と Fast R-CNN detector の 2 つのモジュールを学習

おいて高い精度での検出が見られた. [12] と比較すると, “ごはするためにネットワーク全体を Approximate joint training [11]ん” と “味噌汁” に関してそれぞれ, 60.0%から 90.2%, 68.3%かにより学習する. この Approximate joint training では, RPNら 80.2%の向上が得られた. さらに [12] に従い, 料理カテゴリにより生成される候補領域は事前計算されたものとして扱われ,を無視し, 全体で AP(%) を計算した結果を表 2 に示す. サン

RPN の損失と Fast R-CNN の損失が独立に誤差逆伝搬され, 共プル数の多い “ごはん” や “味噌汁” が強調されるため, 精度の有された畳み込み層において 2 つの損失が結合されて誤差逆伝向上が見られた.

0.0005 とする. また, バッチサイズを 1 として学習率 10−4いて 50k 回反復し, その後, 学習率 10搬される. 評価指標として PASCAL VOC detection task

5. 2 複数料理画像の同時カロリー量推定の標準的な評価指標である mean Average Precision(mAP) を

本実験では Faster R-CNN とカロリー量推定ネットワークを（注 1）

使用する.

組み合わせ, 複数料理画像の同時カロリー量推定を行う.

学習には単品料理画像を使用し, テストには複数料理画像を

複数料理画像からの単品料理の検出にはバウンディングボッ使用する. また, 下田ら [12] の手法との比較を行う. 下田らはクスがアノテーションされた学校給食画像を学習した Faster

誤差逆伝搬により得られるサリエンシーマップに基づき領域分

R-CNN を用いる. これは評価に用いる画像が学校給食画像で割を行い料理の検出を行った. [12] に従い, 100 カテゴリ, 53 カあるためである. このバウンディングボックス付き学校給食画

テゴリ (評価用サンプル数 >=10 のカテゴリ), 11 カテゴリ (評像は日本の給食の料理 21 カテゴリに関する食事画像データセッ

価用サンプル数 >=50 のカテゴリ) それぞれについての mAP をトである. 合計 4877 枚の学校給食画像はすべて複数料理画像であり, バウンディングボックスが付与されている. これらの（注 1）：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/index.html

画像は, Web 上の給食センターが更新している給食ブログから—4—

ネットワークを使用する. [1] で構築されたカロリー量付き食事
画像データセットは, Web 上のレシピ情報サイトから大量に収取されたものであったが, [1] では料理カテゴリ分類を行うために料理 15 カテゴリに含まれる画像のみを使用していた. この料理 15 カテゴリは本実験の評価に使用する学校給食画像中の<= 誤差 40%(%)

データセットが異なるため参考値である.

<= 誤差 20%(%)

収集されたカロリー量付き食事画像で学習したカロリー量推定

量推定 [1] は料理 15 カテゴリのみを対象としており, 使用した
絶対誤差 (kcal)

また, 単品料理画像からのカロリー量推定には, [1] において

表 3 複数料理画像からの同時カロリー量推定結果. 単品料理カロリー

相対誤差 (%)

収集された.

4376

単品料理カロリー量推定 [1]30.2 105.7

複数料理合計カロリー量推定21.4 136.8 53.0 85.1

料理にはほとんど対応しておらず, この料理 15 カテゴリのデータセットで学習したカロリー量推定ネットワークを学校給食画像に用いることは難しいと考えられる. そこで本研究では, 料理カテゴリを限定せず, [1] で収集された大量のカロリー量付き食事画像を使用し, カロリー量推定ネットワークの学習を行う.
ノイズ除去として我々はまず 256 × 256 以下の画像を取り除いた. また, [1] のカロリー量推定ネットワークの入力は単品料理の画像にのみ対応しているため, UEC Food-100 により学習済
みの Faster R-CNN により複数の料理が検出された画像の除去も行った. 最終的に我々は 55,020 枚のカロリー量付き食事画像を使用して図 2 に示すカロリー量推定ネットワークの学習を行った. パラメータなどの値は主に [1] に従う. 最適化手法として SGD を使用し, Momentum 値は 0.9 とし, バッチサイズは8 とする. 学習率 10−3 において 150k 回反復し, その後 10−4 において 50k 回反復する.
こうしてそれぞれ学習された Faster R-CNN とカロリー量推定ネットワークを組み合わせることで複数料理画像の同時カロリー量推定を行う. まず Faster R-CNN により複数料理画像中の単品料理のバウンディングボックスと料理カテゴリを推定す

図 6 複数料理画像からの同時カロリー量推定結果の例. バウンディン

る. 次に各単品料理のバウンディングボックスに基づき単品料

グボックス中の数字は推定された各料理のカロリー量 (kcal) で理画像を切り出し, これをカロリー量推定ネットワークに入力ある. ES は推定されたカロリー量の合計値 (kcal) であり, GTとして与えることで, 各単品料理のカロリー量が得られる. 最は合計カロリー値の正解値 (kcal) である.

終的に推定された各料理のカロリー量から合計カロリー量を計算する. 評価には合計カロリー量付き学校給食画像データセッ果を上回っている. 本手法では合計カロリー量を計算しているトを使用する. 評価では, 単品料理ごとに推定されたカロリーため, 各単品料理の推定カロリー量の誤差が緩和されているの量の正確さではなく, それらの合計カロリー量の正確さの評価ではないかと考えられる.

を行う. ただしこの実験では Faster R-CNN により “牛乳” と図 6 に複数料理画像の同時カロリー量推定結果の例を示す.

分類された料理に関しては 134kcal と固定する. カロリー量推

図 6 のように各単品料理のカロリー量が推定され, それらの合定ネットワークの学習データに学校給食の “牛乳” が含まれて計値が計算される. 同一の料理を複数回検出することや, 料理いることは考えづらく, また, サイズが定まっており, カロリーが存在しない領域を検出してしまうような過剰な検出により,値に大きな変動はないと考えられるためである.

計算された合計カロリー量が正解値よりも高い値になってしま

表 3 に複数料理画像の同時カロリー量推定の結果を示す. 比う例が多く見られた. 密集する同一カテゴリのバウンディング

較のために [1] の料理 15 カテゴリを対象とする単品料理画像にボックスの統合や, 非料理画像 (0kcal) の学習によりこれに対対するカロリー量推定の結果を示すが, 使用されるデータセッ処することができるのではないかと考えられる.

トが異なるため参考比較である. [1] に基づき, カロリー量推定

5. 3 複数料理画像の同時カロリー量推定のモバイル実装の評価指標として相対誤差, 絶対誤差, 相対誤差 20% 以内の推本実験では料理検出とカロリー推定を組合せた複数料理画像

定値の割合, 相対誤差 40%以内の推定値の割合を用いた. 絶対の同時カロリー量推定システムのモバイル実装を行う. 本アプ

誤差は推定値と正解値の差の絶対値であり, 相対誤差は正解値

リの処理イメージを図 7 に示し, あり, 動作例を図 8 に示す. カに対する絶対誤差の割合である. 表 3 からわかるように, 相対ロリー値を推定するワークフローは以下のようになる.

誤差や相対誤差 20%/40%以内の推定値の割合に関して, [1] の（ 1 ） YOLOv2 [9] を用いて食事検出をする.

料理 15 カテゴリの単品料理画像に対するカロリー量推定の結（ 2 ） 検出された各単品領域のバウンディングボックス情報—5—

文

図7

アプリの処理イメージ

図8

アプリ使用例から画像をクロップする.
（ 3 ） クロップした各単品画像をカロリー値推定ネットワー
クに入力とする.
料理検出器としては高速な検出が可能な最新の物体検出ネッ
トワークである YOLOv2 を使用する. 料理検出器の学習では,

UEC Food-100 [3] を用いて, YOLOv2 を fine-tune する.
カロリー値推定ネットワークの学習では, カロリー量付き食事画像データセット [1] を用いて, カロリー量と料理カテゴリを同時に推定する Multi-task CNN [1] を fine-tune する. ただ
しここでは Multi-task CNN の元となるネットワークとしてInception-v3 を使用する. フレームワークは Keras を利用し,「coremltools」で.mlmodel に変換後のモデルを CoreML で利献[1] T. Ege and K. Yanai. Simultaneous estimation of foodcategories and calories with multi-task cnn. In Proc. ofIAPR International Conference on Machine Vision Applications(MVA), 2017.
[2] R. Girshick. Fast R-CNN. In Proc. of IEEE International
Conference on Computer Vision, 2015.
[3] Y. Matsuda, H. Hajime, and K. Yanai. Recognition ofmultiple-food images by detecting candidate regions. InProc. of IEEE International Conference on Multimedia andExpo, 2012.
[4] T. Miyazaki, G. Chaminda, D. Silva, and K. Aizawa. Image‐ based calorie content estimation for dietary assessment.
In Proc. of IEEE ISM Workshop on Multimedia for Cooking
and Eating Activities, 2011.
[5] A. Myers, N. Johnston, V. Rathod, A. Korattikara,A. Gorban, N. Silberman, S. Guadarrama, G. Papandreou,
J. Huang, and P. K. Murphy. Im2calories: towards an automated mobile vision food diary. In Proc. of IEEE International Conference on Computer Vision, 2015.
[6] K. Okamoto and K. Yanai. An automatic calorie estimation system of food images on a smartphone. In Proc. ofACM MM Workshop on Multimedia Assisted Dietary Management, 2016.
[7] K. Okamoto and K. Yanai. Grillcam: A real-time eatingaction recognition system. In International Conference on
Multimedia Modeling, 2016.
[8] P. Pouladzadeh, S. Shirmohammadi, and R. Almaghrabi.
Measuring calorie and nutrition from food image. In IEEE
Transactions on Instrumentation and Measurement, pages
1947–1956, 2014.
[9] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You
Only Look Once: Unified, real-time object detection. In
Proc. of IEEE Computer Vision and Pattern Recognition,
2016.
[10] S. Ren, K. He, R. Girshick, and J. Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems, 2015.
[11] S. Ren, K. He, R. Girshick, and J. Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016.
[12] W. Shimoda and K. Yanai. CNN-based food image segmentation without pixel-wise annotation. In Proc. of IAPR
International Conference on Image Analysis and Processing, 2015.
[13] K. Simonyan and A. Zisserman. Very deep convolutionalnetworks for large-scale image recognition. In arXiv preprintarXiv:1409.1556, 2014.

用している. モバイル OS 上において複数の料理のカロリー量を同時にリアルタイムに推定することが可能であることを示した.

6. お わ り に本研究ではまず Faster R-CNN [10] による複数料理画像からの単品料理の検出を行い, これとカロリー量推定 [1] を組み合わせることで, 複数料理画像の同時カロリー量推定を行った. また, モバイル実装を行い, 複数料理画像の同時カロリー量推定がモバイル OS 上においてリアルタイムに実行可能であることを確認した. 今後の課題として, 物体検出とカロリー量推定を単一のネットワークで行い同時学習することや, 料理の量に応じたカロリー量推定を行うことなどを考えている.

—6—