情報処理学会 インタラクション 2017
IPSJ Interaction 20172-405-54
2017/3/2

物体認識を用いた糖質制限者の為の栄養素自動算出システム
志津野 之也1

濱川 礼1

概要：本論文では料理に対して物体認識を行い，その料理に含まれる栄養素を算出する栄養素自動算出システムについて述べる．近年，料理の多様化に伴い，糖尿病患者数は年々増加している．糖尿病の治療並びに予防として食事療法が一般的に取り組まれており，その一つが糖質制限である．しかし，糖質制限を誤ると新たな病気を引き起こす可能性がある．そこで本研究では料理の物体認識を行い，料理名，食品栄養データベース，料理の質量を用いて糖質制限者に糖質，タンパク質，脂質量を提供する事で適切な栄養摂取を維持しながら，健康的に糖質制限を継続する事を支援する栄養素自動算出システムを提案する．

Automatic Nutrient Calculation System for Carbohydrate Limiters
Using Object Recognition
YUKIYA SHIZUNO1

REI HAMAKAWA1

Abstract: In this paper, we describe an automatic nutrient calculation system which performs object recognition on dishes and calculates carbohydrate, protein and lipid contents contained in the dish. Recently, withthe diversification of cooking, the number of diabetic patients has been increasing year by year. Diet therapy
is commonly addressed as treatment and prevention of diabetes, one of which is carbohydrate restriction.
However, erroneous carbohydrate restriction may cause new diseases. Therefore, in this research, we propose
an automatic nutrient calculation system which enables continuation of carbohydrate restriction that object
recognition of cooking is carried out, and by providing the amount of carbohydrate, protein, and lipid tothe carbohydrate restricted person using the recognized dish and food nutrition database, while maintaining
proper nutritional intake, healthy.

1. はじめに
近年，人々の料理の多様化に伴い，糖尿病患者数は年々番ダイエット等がある [8]．
本研究では糖尿病の原因となる摂取糖質量をコントロールする事で，食後の高血糖値を防ぐ，糖質制限に着目した．

増加している．国際糖尿病連合 (IDF)[1] によると世界の糖尿病患者数は増加を続けており，2015 年度の世界の糖尿病患者数は 4 億 1,500 万人となった．
ここで糖尿病とは糖質を摂取する事で血液中の血糖値が上昇し高血糖となり，この状態が断続的に続く症状であ

1.1 糖尿病に関するアプリケーション
現在，糖尿病患者数の増加に伴い糖尿病に関するアプリ
ケーションは数多く存在する．

る [2][3][4]．また、糖尿病の治療並びに予防として，食事療

比木らが運営する「Welby」[9] は患者の糖尿病治療に対法が一般的に取り組まれている [5][6]．食事療法とは身体するモチベーション向上を目的としたクラウド・アプリの状態に応じてある程度の制限を加えた食事であり，疾病サービスであり会員数は国内最大級を誇っている. ユーザの改善や病気を悪化させないための重要な役割を果たしては血糖値，インスリン，食事内容，血圧などを記録する．

いる [7]．糖尿病の食事療法はカロリー制限，糖質制限 順

記録したデータを web 上やアプリ内でシェアする事で，他

1

中京大学 情報科学研究科© 2017 Information Processing Society of Japanの糖尿病の患者や医師から食事内容や血糖値の変化につい575

情報処理学会 インタラクション 2017
IPSJ Interaction 2017てのフィードバックを受け取る事ができる．

2-405-54
2017/3/2

三大栄養素とは，人間の身体になくてはならない栄養素

株式会社リンクアンドコミュニケーションの「カロリーのうち，特に重要なものと位置づけられている栄養素の事

ママ」[10] は食事内容の記録，カロリー計算，管理を行うを指す．ここで [12] によると炭水化物とは糖質と食物繊維

スマートフォン用のアプリケーションである．ユーザは毎で構成されている．しかし，糖質は体内に取り入れられエ食のメニューを登録する事で摂取カロリー量を確認，記録ネルギー源となるが食物繊維は体内で消化する事ができなする事が出来る．糖尿病の食事療法であるカロリー制限をい．また，食物繊維を多く含む野菜や海藻類を除けば，炭支援するアプリケーションである．

水化物と糖質は同量なので本論文では炭水化物を糖質とし「Welby」[9] や「カロリーママ」[10] 以外にも糖尿病にて表記する [3]．

関するアプリケーションは数多く存在しており，糖尿の治療や予防の為に使用されている．

2.2 システムの構成
図 1 にシステムの構成図を示す．最初に料理一品に対し1.2 導入食事療法について
本システムでは以下の理由から，糖尿病の食事療法から糖質制限を取り入れた．てスマートフォンやタブレットデバイスに付属されているカメラにより料理の撮影と物体認識を行う．また物体認識とは別に，パーソナル電子天びん [13] から料理の質量を取糖尿病の最大の原因となるのが血糖値を上昇させる糖質

得し Raspberry Pi 3 を介してクラウドサーバに質量を保存である．[2] によると，摂取糖質量をコントロールする事でする．そして物体認識によって得られた料理名を用いて，食後の高血糖値を防ぐ，糖質制限の考え方は他の食事療法

食品栄養データベースにマッチングを行い，その料理名のに比べ有効的だと言える．

100g あたりの栄養素を取得する．最後にクラウドサーバ

上海前向きコホートの研究 [11] では上海に居住する女性

6 万 4854 人，男性 5 万 2512 人を追跡調査を行った．追跡に保存されている実際の料理の質量から，実際の料理に含まれている栄養素を出力する．

調査中男性被験者は 189 人女性被験者は 120 人が心血管病を発症した．その発症リスクを糖質の摂取量によって四つに分けて解析した結果，男女ともに糖質摂取量が多いほどリスクが高く男性では糖質摂取量が最も多いグループで3.2 倍であった．よってこの科学的根拠から糖質制限は糖尿病の食事療法において効果的だと言える [2]．

2. 提案システム「Welby」[9] 等の医師や栄養士から食事の内容や血糖値

図 1 システムの構成の変化のフィードバックを受け取るアプリケーションはFig. 1 System configuration

フィードバックを受け取るまでに時間を必要とする．よって食事の際に利用することが困難である．その結果，食事後にフィードバックを受けることになり実用的では無いと

2.3 物体認識部

考える．また，「カロリーママ」[10] 等のユーザが登録した物体認識部では物体認識を行い，料理名を判定している.

食事内容から摂取したカロリーや栄養素を算出するアプリ

本手法では認識の際に docomo Developer support[14] が提ケーションはユーザが実際に食べた食事の量を加味してお供している画像認識 API を使用する．[14] によると，このらず，アプリケーションが算出する値は正しいとは言え無画像認識 API は，Deep Learning を用いて 1000 枚以上のい．

学習データから，名称と判定のスコアを返却する API であ

そこで本研究では料理の物体認識を行い，料理名，食品る．また今後，学習データ数や認識可能な対象物を拡大し栄養データベース，料理の質量を用いて糖質制限者に糖質，てく予定である．本システムでは，この画像認識 API の学

タンパク質，脂質量を提供する事で適切な栄養摂取を維持

習データ数や今後のデータ数，認識対象物数の拡大に着目しながら，健康的に糖質制限を継続する事を支援する栄養して本 API を使用した．

素自動算出システムを提案する．

2.4 質量測定部
2.1 栄養素の種類

質量測定部 (図 2) ではパーソナル電子天びん [13] を用料理に含まれる栄養素は数多く存在する．そこで本シスいて料理の質量測定を行う．測定した質量をクラウドサー

テムでは，[12] が定める三大栄養素である糖質，タンパクバに保存する為に [13] を Raspberry Pi 3 に USB 接続して質，脂質を対象とする．

データ (質量) をクラウドサーバに送信する (図 3)．本手法© 2017 Information Processing Society of Japan576

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

ではクラウドサーバに Firebase[15] を使用している．[15]は個々のクライアントが「データベースのローカルコピー」を持ち，通常の読み書きはこのローカルコピーに対して行う事でリアルタイム処理を実現している．本手法ではこのリアルタイム処理に着目して [15] を取り入れた．

2-405-54
2017/3/2

3. 関連研究3.1 食事療法支援に関する研究
川島らは，在宅で食事療法を行う慢性疾患を持つ高齢者を対象ユーザとして，在宅の高齢者と栄養士を繋ぐ web アプリケーションの提案・開発を行った [18]．ユーザは食事の記録，料理の新規登録，栄養士からのメッセージと栄養摂取状況の確認を行う．栄養士側では高齢者側から送られてきた料理データの確認，修正，登録を行い，各データから高齢者へのフィードバックを行う．

図 2質量測定部の構成図

Fig. 2 Configuration diagram of mass measurement unit

[18] は料理の登録をユーザが行っているが，本システム
では予め 1200 件以上の料理別栄養素データを所持している. また，糖質量並びにタンパク質，脂質をリアルタイムで表示することで，栄養士のフィードバックを待たず，今食べている料理に含まれる栄養素を知ることができる．

3.2 糖尿病患者の為の研究
Joachim Dehais らは，1 型糖尿病患者を対象にした尿病患者支援アプリケーションの提案・開発を行った [19]．使用法として，ユーザはお皿に盛り付けられた複数の料理に
図 3 質量計測の例

対して異なる角度から 1 回ずつ計 2 回撮影を行う．画像認

Fig. 3 Example of mass measurement

識から，お皿に盛り付けされている料理を Pasta，Breadedfood，Green salad の 3 種類に分割する．また，撮影された 2 枚の異なる角度の画像から 3D オブジェクトを生成す

2.5 栄養素算出部

る．これにより，お皿に盛られている料理の質量をそれぞ

栄養素算出部では物体認識部から得られた料理名，クラれ算出し，サーバとマッチングしてユーザに，糖質量，質ウドサーバに保存されている料理の質量，そして食品栄養量，そして投与すべきインスリン量を提供するアプリケー

データベースを用いて実際の料理に含まれる糖質，タンパションである．

ク質，脂質量を算出する．

[19] はお皿に盛り付けされている料理は Pasta，Breadedfood，Green salad の 3 種類でしか判別しておらず，正確2.5.1 食品栄養データベースな料理を判別しているものでは無い．ここで本システムは本システムの食品栄養データベースはカロリー Slism[16]食品栄養データベースに保存されている 1200 種類以上のに記載されている料理データを参考に作成し，1200 種類以食品栄養データから糖質，タンパク質，脂質量を算出して上の食品栄養データを保持している (表 1)．Slism[16] は三いるので，より正確な糖質，タンパク質，脂質量を算出す大栄養素以外に厚生労働省 [17] が定めたビタミン群，ミネる事ができると考える．

ラル，脂肪酸，アミノ酸や料理に使用されている材料 (肉じゃがの場合，じゃがいもや醤油等) が記載されている．

3.3 生活習慣病に関しての研究

物体認識部で得られた料理名を食品栄養データベースから

今津らはユーザの目標体重と目標期間から推奨摂取カロマッチングを行い，100g あたりの糖質，タンパク質，脂質リー量と，れに応じた食事メニューを推薦する生活習慣予量を取得する．
表 1防支援システムを提案した [20]．ユーザは現在の体重，目
食品栄養データベースの要素

標体重，目標期間，等をシステムに登録する．システムはTable 1 Elements of food nutrition database

ユーザが登録したデータから減らすべき体重量とカロリーカラム名量を計算する．計算結果からシステムはユーザに毎食の推

料理名奨摂取カロリー量と推奨食事メニューを提供する．

100g あたりの糖質[20] はユーザに対して実際に摂取する食事と推奨したメ

100g あたりのタンパク質ニューを比較することで，生活習慣病予防の意識を高める100g あたりの脂質事が可能である．しかし，本システムではユーザが食事を行う料理に対して栄養素を算出するのでより強く生活習慣© 2017 Information Processing Society of Japan577情報処理学会 インタラクション 2017
IPSJ Interaction 20172-405-54
2017/3/2

病予防の意識を高める事ができると考える．

4. 評価・考察
本論文ではシステムの処理時間，物体認識の精度，栄養素の算出精度の評価を行った．各評価結果を下記に示す．

4.1 処理時間
処理時間の評価では，本システムの物体認識から栄養素

表 2評価を行った食品

Table 2 Food that was evaluatedお好み焼き

マカロニサラダ

とんかつ

春巻き

卵焼き

酢豚

サンドイッチ

カキフライ

サラダ

きんぴらレンコン

たこ焼き

八宝菜

グラタン

ミートスパゲッティ

カルボナーラ

コロッケ

いなり寿司

麻婆豆腐丼

カツ丼

チャーハン

チキンライス

算出までの処理時間を計測した．評価方法として料理を撮

焼きそば

エビチリ

焼売

影し，物体認識が行われるタイミングで計測を開始して 栄

ひじきの煮物

ほうれん草の胡麻和え

きんぴらゴボウ養素算出するまでの時間を計測した．今回， この一連の処

ゆで卵

ポテトサラダミートボール

理を計 10 回行い，平均処理時間を求めた．評価に使用したデバイスはタブレットデバイスの Nexus10 である．
評価の結果，10 回の平均処理時間は 12.6ms となった．
ここで，Nielsen Norman Group[21] の調査によると，システムの処理時間で働くユーザーの心理変化は以下の 3 つに表される．

( 1 ) 100ms
タスクに対して，即時の応答があるように感じられる

表 3

誤認識した料理名

Table 3 False recognized dish name
実際の料理名

誤認識した料理名

お好み焼き

ケバブ

ポテトサラダ

おにぎり

カキフライ

コロッケ

サラダ

カルパッチョ

麻婆豆腐丼

麻婆豆腐

限度

カツ丼

親子丼

( 2 ) 1000ms

ミートボール

ビーフシチュー

遅延を感じるが, 連続的なタスクへの集中力は妨げられない限度.

( 3 ) 10000ms
処理中のアプリケーションに関心を向けていられる限度.
この事から，本システムの平均処理時間である 12.6ms はユーザに対して快適な処理速度だと言える.

4.2 物体認識の精度
本システムの物体認識精度の評価を行う為，食品 30 品

(表 2) に対して本システムの物体認識を行った．評価の結果，認識率は約 77% であった（システムが判定した上位三つの料理名を含む）．表 3 に実際の料理名と本システムが誤認識した料理名，7 品を示す．ここで，誤認識した料理名とはシステムが誤認識した上位三つの料理名の内，最もスコアが高い料理名である．誤認識を行った原因を形状・色が起因して起こる誤認識と撮影領域外から起因して起こおにぎりの例
実際のポテトサラダ
図 4 色・形状が起因する例

Fig. 4 Example caused by color and shape

4.2.2 撮影領域外から起因して起こる誤認識
一部の料理において，料理の外見だけでは認識できない事がある．その例が表 3 で挙げた麻婆豆腐丼を麻婆豆腐と誤認識したケースである (図 5)．今回の場合，ご飯を覆うように盛り付けされた麻婆豆腐によってシステムは麻婆豆腐の下に存在するご飯を検知せず麻婆豆腐だけを検知した事で誤認識が行われた．

る誤認識の 2 つに分けて考える．

4.2.1 形状・色が起因して起こる誤認識
今回の評価で最も多かった誤認識の原因が形状・色が起因していると考える．実際の料理の形状・色が他の料理の形状・色に類似しているため誤った料理を判定する問題である．例えばポテトサラダを物体認識した場合，誤認識しておにぎりと判定された．これは盛り付けられたポテトサラダの形状が三角形に類似し，白色が占める面積が大きい為であると考える (図 4)．

© 2017 Information Processing Society of Japan

図 5

麻婆豆腐丼

Fig. 5 Sichuan Tofu Bowl

578

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-405-54
2017/3/2

質量のヒストグラム (図 8(中)) では誤差が大きい料理が二4.3 栄養素の算出精度栄養素の算出精度の評価を行う為，栄養成分表示が記載つある．その料理名はエビチリ，八宝菜であった．その理されている食品 30 品について本システムを使用して糖質，由として考えられるのが八宝菜，エビチリの調味料である

タンパク質，脂質を算出し，栄養成分表示が示す各栄養素

片栗粉である．片栗粉は 100g あたり糖質 81.6g 含んでいと比較した．図 6， 図 7 は「五目あんかけそば」におけるる．よって調理する際に使用された片栗粉の量の差により，両者の栄養素の例である．

八宝菜やエビチリに含まれる糖質量と食品栄養データベー
スに保存されている栄養素とで誤差が生じると考える．

5. 展望
本論文では料理の物体認識を行い，料理名，食品栄養データベース，料理の質量を用いて糖質制限者に糖質，タンパク質，脂質量を提供し，健康的に糖質制限を継続する事を可能にする栄養素自動算出システムの提案，実装，評価を行った．本研究で得られた課題点を以下に纏める
図 6

システムが算出したタンパク質，脂質，糖質量Fig. 6 The protein, lipid, sugar mass calculated by the system

5.1 物体認識精度
本システムの物体認識精度の認識率は約 77%（システムが判定した上位三つの料理名を含む）であったが，日々多様化を続ける料理文化に対応するために認識率を更に向上させる必要がある．認識率を向上させる為に以下の手法を提案し今後，開発を行う．
本 シ ス テ ム で 使 用 し て い る docomo Developer sup-port[14] とは別に，独自に DeepLearning を用いた料理画像分類器を開発してシステムに追加する．物体認識部の図 7 栄養成分表示

処理点順として，初めは docomo Developer support[14] がFig. 7 Nutrition component indication

提供している画像認識 API を用いて物体認識を行う．正
誤判定はユーザに行ってもらい，誤認識が行われた際に独ここで栄養素算出精度の評価グラフ (図 8) を作成するにあたり，栄養成分表示に記載されている糖質，タンパク質，脂質とのオフセットを % で示す為に下記の式を用いた(式 1)．整合率が 100% の時を誤差 0 とする．例えば-0.1 の場合食品成分に記載されている栄養素より-10% 栄養量が少ない事を指す．成分表に記載されている各栄養素を Na ，システムが算出した各栄養素を Ns ，誤差を O とする．

O=

Ns−1
Na

自に開発した食事画像分類器を用いて物体認識を行う．これにより，[14] が提供している画像認識 API では誤認識した料理を認識可能になり，本システムの認識率向上に繋がると考える．
料理画像分類器の開発において，Google の機械学習ライブラリである TensorFlow を用いて CNN 法 (Convolu-tional Neural Network) による料理画像分類器を構築予定である．また，学習データにはユーザが本システムで撮影(1)した料理写真を使用する事を想定している．本システムが誤認識を行った際，ユーザに正しい料理名を撮影画像にラ栄養素の算出精度の評価結果を図 8 に示す．評価の結ベル付けを行ってもらう．ラベル付けされた画像データは果，システムが算出した三つの栄養素のプラス誤差は平均クラウドサーバに保存する．クラウドサーバに保存された

約 0.3%，マイナス誤差は約-0.1% となった．ここで，消費画像データを使用して料理画像分類器の学習を行う．今回

者庁 [22] が定める食品表示基準よると栄養成分表示に記提案した手法を用いる事で現在使用している画像認識 API

載されている栄養素にはそれぞれ一定の許容差の範囲があでは判定する事が不可能であった料理も判定する事が可能

る．今回評価対象にした糖質，タンパク質，脂質の許容差になり，形状・色が起因して起こる誤認識や撮影領域外かの範囲は −20 % ∼ +20% である．ここで本システムが算ら起因して起こる誤認識の問題を解決する事ができ，本シ出した糖質，タンパク質，脂質の誤差はプラス誤差は平均ステムの認識率が向上すると考える．

約 0.3%，マイナス誤差は約-0.1% なので食品表示基準の許容差の範囲を加味すると有効性がある数値だと言える．しかし，図 8 から誤差が大きい料理も存在する．例えば，糖© 2017 Information Processing Society of Japan

5.2 栄養素算出精度評価の結果，システムが算出した糖質，タンパク質，脂質579

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 82-405-54
2017/3/2

栄養素別ヒストグラム (左) 脂質，(中) 糖質，(右) タンパク質

Fig. 8 Histogram by nutrient (left) Lipid, (medium) carbohydrate, (right) proteinのプラス誤差は平均約 0.3%，マイナス誤差は-0.1% となり
消費者庁 [22] が定める食品表示基準の許容差の範囲を加味[11]

すると信頼性がある数値だと言える．しかし誤差が大きい料理も存在する．そこで本システムが使用している食品栄養データベース以外に，参照するデータベースの種類を増やす事でより正確な数値を算出する事が可能になると考える．例えば本データベースにカロリー Slism[16] が提供している料理名ごとの材料 (肉じゃがの場合，じゃがいもや[12][13][14]醤油等) を新たに追加する．更に，文部科学省が提供する
食品成分データベース [23] を参照して本データベースと組[15]

み合わせる手法を考える．食品成分データベース [23] は料[16]

理名ではなく，食品名 (例じゃがいも，牛肉) や調味料ごとの栄養素，ビタミン，ミネラルが保存されている．そこで，[17]

物体認識から得られた料理名を用いて，本データベースに[18]新たに追加した料理名ごとの材料を取得する．最後に，取得した料理名ごとの材料から食品成分データベース [23] に保存されている食品名や調理名ごとの栄養素を取得して，[19]各栄養素の合計値をユーザに返す．これにより現在の手法に比べて材料，調味料単位の糖質，タンパク質，脂質量を参照する事が可能になり，より正確な数値を算出する事が[20]可能になると考える．
参考文献
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]

[21]

国際糖尿病連合 (IDF)[22]
http://www.idf.org/
江部康二: 人類最強の「糖質制限」論 ケトン体を味方に[23]して痩せる、健康になる,SB 新書
夏井睦: 炭水化物が人類を滅ぼす 糖質制限から見た生命の科学, 光文社新書
日本糖尿病学会: 糖尿病治療ガイド, 文光堂
アメリカ糖尿病学会
http://www.diabetes.org/?referrer=https://www.google.co.jp/
日本糖尿病学会
www.jds.or.jp/
国立循環器病研究センター循環器情報サービス
http://www.ncvc.go.jp/cvdinfo/
山口徹・北原光夫: 今日の治療指針 2015 年版, 医学書院
Welby
https://welby.jp/
カロリーママ© 2017 Information Processing Society of Japan

http://www.linkncom.co.jp/
Yu D, Shu XO, Li H, Xiang YB, Yang G, Gao YT, Zheng
W, Zhang X.:Dietary carbohydrates, refined grains,glycemic load, and risk of coronary heart disease in Chinese adults., American Journal of Epidemiology2013 Sep
5.
e-ヘルスネット
https://www.e-healthnet.mhlw.go.jp/
AND パーソナル電子天びん EJ2000
https://www.aandd.co.jp/adhome/products/balance/ej.html
docomo Developer support
https://dev.smt.docomo.ne.jp/?p=index
Firebasehttps://firebase.google.com/?hl=ja
カロリー Slism
http://calorie.slism.jp/
厚生労働省
http://www.mhlw.go.jp/川島 , 吉野, 紀平, 伊井, 岡本, 江上, 藤原, 石川, 入江: 新規料理登録機能を持つ高齢者を対象にした栄養管理シス
テムの開発と評価, 情報処理学会論文誌 Vol.56 No.1 171(Jan. 2015)
Joachim Dehais, Marios Anthimopoulos, Stavroula
Mougiakakou:GoCARB: A Smartphone Application for
Automatic Assessment of Carbohydrate Intake,MADiMa’16
今津, 水本, 孫, 柴田, 安本, 伊藤: 天井照明に設置したセン
サデバイスを用いた食事画像自動記録システムの提案, マルチメディア通信と分散処理ワークショップ 平成 23 年
10 月
Nielsen Norman Grouphttps://www.nngroup.com/
消費者庁
http://www.caa.go.jp/
食品データベース
http://fooddb.mext.go.jp/580