(57)【要約】【課題】食事管理における利用者利便性の向上を図る。【解決手段】本発明に係る食事管理システムは、ユーザ端末のアプリケーションプログラムと、サーバ装置とを含み、アプリケーションプログラムは、コンピュータを、食事画像を撮像する撮像手段と、食事画像を記憶する画像記憶手段と、所定タイミングで未送信の食事画像を取得する取得手段と、取得した食事画像を送信する送信手段として機能させ、サーバ装置は、食事品目と食事品目の画像特徴量とが記憶された食事品目記憶手段と、食事画像を受信する受信手段と、食事画像の画像特徴量と撮像日時とを抽出する画像処理手段と、食事品目の画像特徴量と抽出した食事画像の画像特徴量との一致度合いに基づいて食事品目を特定する食事品目特定手段と、食事画像の撮影日時と特定した食事品目とに基づく食事管理情報を記憶する食事管理情報記憶手段とを有する。【選択図】図７
2019125166.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末のアプリケーションプログラムと、サーバ装置とを含み、ユーザの食事を管理する食事管理システムであって、
前記アプリケーションプログラムは、コンピュータを、
撮像日時を含む食事画像を撮像する撮像手段と、
前記食事画像を記憶する画像記憶手段と、
所定タイミングで、前記サーバ装置に未送信の前記食事画像を、前記画像記憶手段から取得する取得手段と、
前記取得手段により取得した前記食事画像を、前記サーバ装置に送信する送信手段として機能させ、
前記サーバ装置は、
食事品目と、該食事品目の画像特徴量とが予め記憶された食事品目記憶手段と、
前記食事画像を、前記ユーザ端末から受信する受信手段と、
前記受信手段により受信した前記食事画像の画像特徴量と撮像日時とを抽出する画像処理手段と、
前記食事品目記憶手段に登録された食事品目の画像特徴量と、前記画像処理手段により抽出した前記食事画像の画像特徴量との一致度合いに基づいて、該食事画像に含まれる食事品目を特定する食事品目特定手段と、
前記食事画像の撮影日時と前記食事品目特定手段により特定した前記食事品目とに基づく食事管理情報を記憶する食事管理情報記憶手段と、
を有することを特徴とする食事管理システム。
【請求項２】
前記所定タイミングは、前記アプリケーションプログラムが起動されたタイミング、又は、起動された該アプリケーションプログラムからユーザにより所定操作がなされたタイミングであって、
前記取得手段は、
前記サーバ装置に最新の撮影日時の情報を要求し、前記画像記憶手段から前記サーバ装置から受信した前記最新の撮影日時よりも新しい撮影日時の前記食事画像を取得し、
前記サーバ装置は、
前記要求に応じて、前記食事管理情報記憶手段に記憶された前記食事画像の撮影日時のうち、最新の撮影日時を送信する要求応答手段と、
を有することを特徴とする請求項１に記載の食事管理システム。
【請求項３】
前記サーバ装置は、
前記食事品目特定手段により一の食事画像から複数の食事品目が特定された場合、該一の食事画像と、該食事画像の撮影日時と、ユーザに確認させる該複数の食事品目とを、前記ユーザ端末に送信する食事品目確認手段を有し、
前記食事管理情報記憶手段は、
前記ユーザ端末から前記複数の食事品目のうち、一の食事品目が入力確認されたとき、前記食事画像の撮影日時と入力確認された該一の食事品目とに基づく食事管理情報を記憶すること、
を特徴とする請求項１又は２に記載の食事管理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、食事管理システムに関する。
【背景技術】
【０００２】
従来より、摂取した食事品目（食事メニュー）に基づいてカロリー計算や栄養管理を行うことで、利用者の健康管理やダイエットに役立てる食事管理システムやダイエット管理システムが知られている。利用者は、食事品目、食事日時、食事種（朝食、昼食、夕食）などの記録を入力する必要がある。
【０００３】
また近年では、利用者がスマートフォンなどの携帯端末上からアプリを立ち上げて、付属のカメラで食事写真を撮影すると、画像解析により食事品目が自動的に認識されるので、食事品目の記録を簡単に行えるものもある。
【０００４】
これに関する技術として、例えば特許文献１には、利用者識別子毎に、過去に摂取した食事における食事要素毎の記録食事要素画像とその栄養成分値とを蓄積した食事要素記録手段と、利用者が撮影した摂取食事画像を受信する摂取食事画像受信手段と、摂取食事画像から１つ以上の食事要素画像を抽出する食事要素抽出手段と、抽出された食事要素画像毎に、食事要素記録手段に蓄積された、利用者識別子における最も類似する記録食事要素画像を識別する画像識別手段と、検出された記録食事要素画像に対応する食事要素の栄養成分値を検索する栄養成分値検索手段と、全ての栄養成分値を合計する栄養成分値算出手段と、利用者識別子毎に栄養成分値を蓄積管理する栄養成分値記録手段とを有する栄養管理サーバが記載されている。
【０００５】
また例えば、特許文献２には、食物の画像を撮像する撮像手段１と、撮像された画像データから食品の種類を識別する食品識別手段２と、撮像された画像データから食品の量を識別する食品量識別手段３と、食品識別手段２と食品量識別手段３から栄養解析を行う栄養解析手段４と、栄養解析結果を表示する栄養解析結果表示手段５を備え、食品識別手段２により食品の種類を、食品量識別手段３により食品の量を知り、栄養解析手段４により食品のカロリー栄養解析をする栄養解析装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−０２８３８２号公報
【特許文献２】特開２００７−１２２３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来、食事管理を行う場合、利用者は食事する度に食事品目の記録を毎回行わなければならないという手間を要する。また、上記特許文献１、２の発明の場合においても、利用者が食事する度に毎回アプリを起動して、食事写真を撮影し、食事品目の記録を毎回行う必要がある。
【０００８】
利用者が記録を忘れてしまった場合には、過去の食事を思い出しながらまとめて記録することも可能である。しかしながら、事後的に食べた食事品目の記憶を全て正確に呼び起こすことは困難であるため、正確な食事管理ができなくなるなどして、結局、食事管理自体が長く続かなくなってしまう可能性が高い。
【０００９】
食事管理やダイエットは、きちんと継続して記録することが成果への第一歩である。最初は頑張るものの段々と記録が面倒になってやめてしまうという人も多い。このため、食事管理アプリやダイエットアプリにおいては、継続率を高めるため、投稿（記録）のハードルをいかに下げられるかが課題である。
【００１０】
本発明は、上記の点に鑑み提案されたものであり、一つの側面では、毎回の食事記録を必ずしも不要とし、食事管理における利用者利便性の向上を図ることを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するため、本発明に係る食事管理システムは、ユーザ端末のアプリケーションプログラムと、サーバ装置とを含み、ユーザの食事を管理する食事管理システムであって、前記アプリケーションプログラムは、コンピュータを、撮像日時を含む食事画像を撮像する撮像手段と、前記食事画像を記憶する画像記憶手段と、所定タイミングで、前記サーバ装置に未送信の前記食事画像を、前記画像記憶手段から取得する取得手段と、前記取得手段により取得した前記食事画像を、前記サーバ装置に送信する送信手段として機能させ、前記サーバ装置は、食事品目と、該食事品目の画像特徴量とが予め記憶された食事品目記憶手段と、前記食事画像を、前記ユーザ端末から受信する受信手段と、前記受信手段により受信した前記食事画像の画像特徴量と撮像日時とを抽出する画像処理手段と、前記食事品目記憶手段に登録された食事品目の画像特徴量と、前記画像処理手段により抽出した前記食事画像の画像特徴量との一致度合いに基づいて、該食事画像に含まれる食事品目を特定する食事品目特定手段と、前記食事画像の撮影日時と前記食事品目特定手段により特定した前記食事品目とに基づく食事管理情報を記憶する食事管理情報記憶手段と、を有する。
【発明の効果】
【００１２】
本発明の実施の形態によれば、食事管理における利用者利便性の向上を図ることができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る食事管理システムの構成例を示す図である。
【図２】本実施形態に係る食事管理システムのハードウェア構成例を示す図である。
【図３】本実施形態に係る食事管理システムのソフトウェア構成例を示す図である。
【図４】本実施形態に係るユーザ管理ＤＢ１０７ａのデータ例を示す図である。
【図５】本実施形態に係る食事品目ＤＢ１０７ｂのデータ例を示す図である。
【図６】本実施形態に係る食事管理ＤＢ１０７ｃのデータ例を示す図である。
【図７】本実施形態に係るユーザ端末の食事画像保存例を示す図である。
【図８】本実施形態に係る食事管理アプリの食事画像解析画面の一例を示す図である。
【図９】本実施形態に係る食事管理アプリの食事画像解析画面の一例を示す図である。
【図１０】本実施形態に係る食事管理アプリの食事画像解析画面の一例を示す図である。
【図１１】本実施形態に係る食事管理アプリの食事画像解析画面の一例を示す図である。
【図１２】本実施形態に係る食事管理アプリの食事画像解析画面の一例を示す図である。
【図１３】本実施形態に係る食事管理アプリの食事管理情報画面の一例を示す図である。
【図１４】本実施形態に係る食事管理アプリの食事管理情報画面の一例を示す図である。
【図１５】本実施形態に係る食事管理サーバ１０及びユーザ端末２０間の食事登録処理を示すシーケンス図である。
【図１６】本実施形態に係る食事管理ＤＢ１０７ｃのデータ例を示す図である。
【発明を実施するための形態】
【００１４】
本発明の実施の形態について、図面を参照しつつ詳細に説明する。
【００１５】
＜システム構成＞
図１は、本実施形態に係る食事管理システムの構成例を示す図である。図１の食事管理システム１００は、食事管理サーバ１０及びユーザ端末２０を含み、ネットワーク３０を介して接続されている。
【００１６】
食事管理サーバ１０は、摂取した食事品目（食事メニュー）に基づいてカロリー計算や栄養管理を行うサーバ装置である。ユーザは食事管理を行うことで、自身の健康管理やダイエットに役立てる。
【００１７】
ユーザ端末２０は、例えばスマートフォン、タブレット端末、ＰＣなど、食事管理を行うための端末装置である。ユーザ端末２０には予め食事管理アプリ（食事管理アプリケーション・プログラム）がインストールされる。また、ユーザは食事の度にユーザ端末２０付属のカメラで食事画像（食事写真）を撮り貯めしておいて、都合のよいときに食事管理アプリを起動するだけで、撮り貯めしておいた食事画像を食事管理サーバ１０にアップロードできる。アップロードされた食事画像は食事管理サーバ１０の画像解析により食事品目が自動的にまとめて認識されるので、食事品目の記録を事後的にも簡単に行えるものである。
【００１８】
ネットワーク３０は、有線、無線を含む通信ネットワークである。ネットワーク３０は、例えば、インターネット、公衆回線網、ＷｉＦｉ（登録商標）などを含む。
【００１９】
＜ハードウェア構成＞
図２は、本実施形態に係る食事管理システムのハードウェア構成例を示す図である。図２に示されるように、食事管理サーバ１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、及び通信装置１５を有する。
【００２０】
ＣＰＵ１１は、各種プログラムの実行や演算処理を行う。ＲＯＭ１２は、起動時に必要なプログラムなどが記憶されている。ＲＡＭ１３は、ＣＰＵ１１での処理を一時的に記憶したり、データを記憶したりする作業エリアである。ＨＤＤ１４は、各種データ及びプログラムを格納する。通信装置１５は、ネットワーク３０を介して他装置との通信を行う。
【００２１】
ユーザ端末２０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ユーザ用メモリ２４、通信装置２５、表示装置２６、入力装置２７、及びカメラ２８を有する。
【００２２】
ＣＰＵ２１は、各種プログラムの実行や演算処理を行う。ＲＯＭ２２は、起動時に必要なプログラムなどが記憶されている。ＲＡＭ２３は、ＣＰＵ２１での処理を一時的に記憶したり、データを記憶したりする作業エリアである。ユーザ用メモリ２４は、ＨＤＤやＳＳＤであって、食事画像などの各種ユーザデータや食事管理アプリなどの各種プログラムを格納し保存する。通信装置２５は、ネットワーク３０を介して他装置との通信を行う。
【００２３】
表示装置２６は、液晶ディスプレイ等のカラーディスプレイである。入力装置２７は、固有の操作キーやボタンなどで実現される。また入力装置２７は、操作キーやボタンに代え、ディスプレイ画面上のタップ座標（タッチ座標）を検知可能なタッチパネルにより実現されうる。この場合、入力操作は画面上のタッチパネルとプログラムにより制御されるソフトウェアキー等とにより実現される。
【００２４】
カメラ２８は、ユーザ端末２０に付属し、食事画像などの画像を撮像する撮像装置である。
【００２５】
＜ソフトウェア構成＞
図３は、本実施形態に係る食事管理システムのソフトウェア構成例を示す図である。
【００２６】
食事管理サーバ１０は、主な機能部として、要求応答部１０１、送受信部１０２、画像処理部１０３、食事品目特定部１０４、食事品目確認部１０５、及び記憶部１０７を有する。
【００２７】
要求応答部１０１は、ユーザ端末２０からの要求に応じて、食事管理ＤＢ（Data Base）１０７ｃに記憶された食事画像の撮影日時のうち、最新の撮影日時を送信する。
【００２８】
送受信部１０２は、食事画像を、ユーザ端末２０から受信する。
【００２９】
画像処理部１０３は、送受信部１０２により受信した食事画像から、食事画像の画像特徴量と撮像日時とを抽出する。
【００３０】
食事品目特定部１０４は、食事品目ＤＢ１０７ｂに登録された食事品目の画像特徴量と、画像処理部１０３により抽出した食事画像の画像特徴量との一致度合いに基づいて、食事画像に含まれる食事品目を特定する。
【００３１】
食事品目確認部１０５は、食事品目特定部１０４により一の食事画像から複数の食事品目が特定された場合、一の食事画像と、食事画像の撮影日時と、ユーザに確認させる複数の食事品目とを、ユーザ端末２０に送信する。
【００３２】
記憶部１０７は、ユーザ情報が予め登録されたユーザ管理ＤＢ１０７ａ、食事品目情報や食事品目の画像特徴量等が予め登録された食事品目ＤＢ１０７ｂ、ユーザが摂取した食事品目に基づいた食事管理情報等を記憶する食事管理ＤＢ１０７ｃを記憶する。
【００３３】
ユーザ端末２０は、主な機能部として、撮像部２０１、取得部２０２、送受信部２０３、及び記憶部２０５を有する。
【００３４】
撮像部２０１は、カメラ２８を用いて撮像日時を含む食事画像を撮像する。
【００３５】
取得部２０２は、アプリケーションプログラムが起動されたタイミング等で、食事管理サーバ１０に最新の撮影日時の情報を要求し、ユーザ端末２０に撮り貯めされている画像内から食事管理サーバ１０から受信した最新の撮影日時よりも新しい撮影日時の食事画像を取得する。
【００３６】
送受信部２０３は、取得部２０２により取得した食事画像を未送信の食事画像として、食事管理サーバ１０に送信する。
【００３７】
記憶部２０５は、ユーザ端末２０のユーザ用メモリ２４に食事画像を記憶する。
【００３８】
なお、各機能部は、食事管理サーバ１０及びユーザ端末２０を構成するコンピュータのＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア資源上で実行されるコンピュータプログラム及び食事管理アプリによって実現されるものである。これらの機能部は、「手段」、「モジュール」、「ユニット」、又は「回路」に読替えてもよい。また、食事管理サーバ１０における記憶部１０７の各ＤＢは、ネットワーク３０上の外部記憶装置に配置することも可能である。
【００３９】
（各種データベース）
図４は、本実施形態に係るユーザ管理ＤＢ１０７ａのデータ例を示す図である。ユーザ管理ＤＢ１０７ａは、ユーザ（利用者）のユーザ情報が予め登録されたデータベースであり、例えば、「ユーザＩＤ」、「パスワード」、「メールアドレス」、「年齢」、「性別」、「身長」、「体重」などのデータ項目を有する。
【００４０】
「ユーザＩＤ」は、管理上、ユーザ毎に付番される固有の識別子を示す。なお、ユーザとは食事管理システム１００におけるユーザ端末２０のユーザ（利用者）である。
【００４１】
「パスワード」は、食事管理システム１００のログイン・パスワードを示す。
【００４２】
「メールアドレス」は、ユーザのメールアドレスを示す。
【００４３】
「年齢」、「性別」、「身長」、「体重」は、ユーザ属性情報としての年齢、性別、身長、体重を示す。
【００４４】
なお、これらユーザ情報は、ユーザ自身が会員登録を行うことによって予め入力登録されうる。
【００４５】
図５は、本実施形態に係る食事品目ＤＢ１０７ｂのデータ例を示す図である。食事品目ＤＢ１０７ｂは、様々な食事の食事品目情報や食事品目の画像特徴量が予め登録されたデータベースであり、例えば、「品目ＩＤ」、「品目名」、「カロリー」、「たんぱく質」、「脂質」、「炭水化物」、「糖質」、「食物繊維」、「塩分」、「画像特徴量」などのデータ項目を有する。
【００４６】
「品目ＩＤ」は、管理上、食事品目毎に付番される固有の識別子を示す。
【００４７】
「品目名」は、食事品目の名称を示す。
【００４８】
「カロリー」は、食事品目のカロリー（熱量）を示す。
【００４９】
「たんぱく質」、「脂質」、「炭水化物」、「糖質」、「食物繊維」、「塩分」は、それぞれ食事品目のたんぱく質、脂質、炭水化物、糖質、食物繊維、塩分の含有量を示す。
【００５０】
「画像特徴量」は、食事品目の画像から抽出された特徴量データを示す。食事品目の「画像特徴量」との比較・類似に基づいて、ユーザにより撮影された食事画像内の食事品目を特定する際に用いられる。食事品目の「画像特徴量」は、精度向上を目的として、予め大量の食事品目のサンプル画像から抽出されているが、運用開始後にユーザの食事画像から一層数々の特徴量が自動的に抽出され、食事品目の「画像特徴量」として食事品目の画像の特徴がより高精度に学習されるようにしてもよい（ディープラーニング）。
【００５１】
図６は、本実施形態に係る食事管理ＤＢ１０７ｃのデータ例を示す図である。食事管理ＤＢ１０７ｃは、ユーザが摂取した食事の情報を管理するためのデータベースであり、例えば、「ユーザＩＤ」、「年月日」、「食事種」、「品目ＩＤ」、「品目名」、「カロリー」、「たんぱく質」、「脂質」、「炭水化物」、「糖質」、「食物繊維」、「塩分」、「食事画像」、「撮影日時」などのデータ項目を有する。
【００５２】
「ユーザＩＤ」は、食事を食べたユーザＩＤを示す。
【００５３】
「年月日」は、食事を行った年月日を示す。
【００５４】
「食事種」は、食事が朝食、昼食、夕食、又は間食の何れかを示す。
【００５５】
「品目ＩＤ」は、食べた食事の品目ＩＤを示す。
【００５６】
「品目名」は、食べた食事の品目名を示す。
【００５７】
「カロリー」、「たんぱく質」、「脂質」、「炭水化物」、「糖質」、「食物繊維」、「塩分」は、食べた食事に含まれる「カロリー」、「たんぱく質」、「脂質」、「炭水化物」、「糖質」、「食物繊維」、「塩分」を示す。
【００５８】
「食事画像」は、ユーザにより撮影された食事画像データを示す。
【００５９】
「撮影日時」は、「食事画像」の撮影日時を示す。撮影日時は、一般に撮影された画像の有するＥｘｉｆ情報から取得可能である。
【００６０】
＜利用例＞
（食事画像保存例）
図７は、本実施形態に係るユーザ端末の食事画像保存例を示す図である。
【００６１】
食事の際、ユーザはユーザ端末２０のカメラ２８を用いて、食事の画像（写真）を撮影する。撮影された食事画像ａ０〜ａ８は、ユーザ端末２０のユーザ用メモリ２４に保存される。食事管理システム１００において、ユーザは食事の度に食事画像を食事管理サーバ１０に送信する必要はない。ユーザは食事の度に食事画像だけを撮影して撮り貯めしておく。
【００６２】
ユーザは食事画像を都合のよいときに食事管理サーバ１０に送信することができる。具体的には、ユーザがユーザ端末２０の食事管理アプリを起動することで、食事管理アプリが食事管理サーバ１０にアクセスし、食事画像ａ０〜ａ８のうち、食事画像ａ０は１／１２に送信済みであるとすると、１／１３〜１４の間に撮り貯めしてあった未送信である食事画像ａ１〜ａ８が食事管理サーバ１０に自動アップロードされる。
【００６３】
なお、ユーザが食事管理アプリを起動した際に自動アップロードする他、食事管理アプリ上からユーザがアップロードしたい食事画像を選択し、送信操作を行うことで、保存中の食事画像（食事写真）が食事管理サーバ１０に手動アップロードすることも可能である。
【００６４】
また、ユーザはカメラ２８を用いて、食事画像以外の画像（写真）を撮ることも可能である。画像は食事画像と同様、ユーザ端末２０のユーザ用メモリ２４に保存される。
【００６５】
（食事画像解析）
図８は、本実施形態に係る食事管理アプリの食事画像解析画面の一例を示す図である。
【００６６】
ユーザがユーザ端末２０の食事管理アプリを起動すると、アプリのトップ画面Ｔ１が表示される。また、上述したように撮り貯めしてあった食事画像ａ１〜ａ８が食事管理サーバ１０に自動アップロードされる。
【００６７】
トップ画面Ｔ１において、「食事登録」ｔ１が操作されると、食事登録画面Ａへ遷移する。食事登録はユーザが食べた食事品目、日付、食事種、食べた量等の情報を入力する画面である。入力方法はいくつかあるが、ここでは食事管理アプリの「食事画像解析」機能を利用すべく「食事画像解析」ａ１が操作されると、食事解析結果画面Ｂへ遷移する。
【００６８】
図９〜１１は、本実施形態に係る食事管理アプリの食事画像解析画面の一例を示す図である。食事画像解析画面には、アップロードされた食事画像に基づいて特定された食事品目が表示される。食事画像解析画面Ｂ１〜Ｂ８は、食事画像ｂ１、日付ｂ２、食事種選択欄ｂ３、食事品目選択欄ｂ４、摂取率選択欄ｂ５を含む。
【００６９】
食事画像ｂ１は、食事画像解析対象となっている食事画像を示す。
【００７０】
日付ｂ２は、当食事の日を示す。食事画像の撮影日時に基づいて自動抽出される。
【００７１】
食事種選択欄ｂ３は、当食事の食事種を選択入力する欄である。デフォルトは食事画像の撮影日時に基づいて朝食、昼食、夕食、又は間食の何れかが自動抽出されるが、ユーザが選択修正することも可能である。例えば、遅い時間帯の朝食の場合、食事画像の撮影日時に基づいて昼食と判断されうるため、ユーザが昼食との表示を朝食に修正する。
【００７２】
食事品目選択欄ｂ４は、複数の食事品目の中からユーザが正しい当食事の食事品目を選択入力する欄である。食事画像解析によって食事画像解析対象の食事画像から複数の食事品目が特定された場合には、ユーザが正しい一の食事品目を選択入力する。例えば、正しくは食事品目がピザの場合であっても、食事画像の撮影条件（色、形又は角度等）などによりオムレツやグラタンといった他の食事品目とも解析される可能性もあるため、ユーザがこの中から食事画像に写っている食事品目はピザを正解として選択する。なお、食事品目選択欄ｂ４の中に正解がない場合、「メニュー検索」から正解を入力できる。また、食事画像解析によって食事画像解析対象の食事画像から一のみの食事品目が特定された場合には、食事品目を選択不要である。
【００７３】
摂取率選択欄ｂ５は、ユーザが食べた食事品目の量・割合を特定するため、当食事の食事品目の摂取率を選択入力する欄である。デフォルトは１００％とされるが、ユーザが食べた割合を選択又は入力修正することも可能である。例えば、当食事品目の半分だけを食べた場合、５０％に修正する。
【００７４】
図９〜１１に示されるように、食事画像ａ１〜ａ８に対する食事解析結果のうち、ユーザにより選択入力される正しい当食事の食事品目は、以下の通りである。
【００７５】
食事画像ａ１：１／１３（土）  夕食  ピザ１切れ（食事品目）
食事画像ａ２：１／１３（土）  夕食  千切りキャベツ（食事品目）
食事画像ａ３：１／１４（日）  朝食  焼きそば（食事品目）
食事画像ａ４：１／１４（日）  朝食  みかん（食事品目）
食事画像ａ５：１／１４（日）  夕食  ご飯（食事品目）
食事画像ａ６：１／１４（日）  夕食  コロッケ（食事品目）
食事画像ａ７：１／１４（日）  夕食  焼きサバ（食事品目）
食事画像ａ８：１／１４（日）  夕食  ワカメスープ（食事品目）
なお、対象の食事画像がない場合、食事画像解析画面には表示されない（図１２のＢ０）。また、食事画像以外の画像（写真）が食事画像解析対象となった場合であっても、このような画像は画像内から食事品目が抽出されないため、食事解析結果画面には表示されない。
【００７６】
（食事管理情報）
図１３及び１４は、本実施形態に係る食事管理アプリの食事管理情報画面の一例を示す図である。食事登録（図９〜１１）が行われると、食事管理情報画面Ｔ２−１の食事管理情報に情報が反映される。食事管理情報画面Ｔ２−１の食事管理情報には、食事画像の撮影日時の日において食べた食事の「カロリー」、「たんぱく質」、「脂質」、「炭水化物」、「糖質」、「食物繊維」、「塩分」などの集計値が表示される。また、食事管理情報画面Ｔ２−２には、食事画像の撮影日時の日において食べた食事の食事品目及び食事管理情報の内訳が食事種毎に表示される。具体的には、食事画像ａ１〜ａ８の撮影日時のそれぞれの日において、食事画像ａ１〜ａ８に基づく食事品目の食事管理情報及びその内訳が食事種毎に表示される。
【００７７】
例えば、１／１３（土）の夕食の場合、千切りキャベツ及びピザ１切れ、並びに各々の「カロリー」、「たんぱく質」、「脂質」、「炭水化物」、「糖質」、「食物繊維」、「塩分」が表示されている。
【００７８】
また、１／１４（土）の朝食の場合、焼きそば、みかん、１／１４（土）の夕食の場合、ワカメスープ、ご飯、コロッケ、焼きサバ、並びに各々の「カロリー」、「たんぱく質」、「脂質」、「炭水化物」、「糖質」、「食物繊維」、「塩分」が表示されている。
【００７９】
＜食事登録処理＞
図１５は、本実施形態に係る食事管理サーバ１０及びユーザ端末２０間の食事登録処理を示すシーケンス図である。
【００８０】
Ｓ１１〜１３：まず食事の際、ユーザによりユーザ端末２０のカメラ２８を用いて、食べた食事画像（写真）が撮影される。ユーザは食事の度に食事画像だけを撮影して撮り貯めしておく。ユーザ端末２０の撮像部２０１は撮像日時を含む食事画像を撮像し、記憶部２０５はユーザ用メモリ２４に食事画像を記憶する。
【００８１】
Ｓ１４：ユーザが都合のよい任意のタイミングで食事管理アプリを起動する。ユーザ端末２０の取得部２０２は、食事管理アプリが起動されたタイミングで、食事管理サーバ１０に最新の撮影日時の情報を要求する。なお、要求には食事管理アプリのユーザＩＤが含まれる。
【００８２】
Ｓ２１：食事管理サーバ１０の要求応答部１０１は、ユーザ端末２０からの要求に応じて、食事管理ＤＢ１０７ｃに記憶された食事画像の撮影日時のうち、最新の撮影日時を送信（応答）する。
【００８３】
図１６は、本実施形態に係る食事管理ＤＢ１０７ｃのデータ例を示す図である。例えば図１５の食事管理ＤＢ１０７ｃの場合、食事画像の撮影日時のうち、最新の撮影日時「２０１８／１／１２  １９：４５」が送信される。
【００８４】
Ｓ１５：ユーザ端末２０の取得部２０２は、受信した最新の撮影日時よりも新しい撮影日時の食事画像を、ユーザ用メモリ２４から全て取得する。これにより食事管理サーバ１０に未送信の食事画像（即ち前回送信してから今回迄の間に撮り貯めされている食事画像）が全て取得される。
【００８５】
図７の場合、受信した最新の撮影日時「２０１８／１／１２  １９：４５」よりも新しい撮影日時の食事画像ａ１〜ａ８を、ユーザ用メモリ２４から取得する。なお、食事画像ａ０は最新の撮影日時「２０１８／１／１２  １９：４５」よりも撮影日時が新しくない、即ち既に送信済みの食事画像であるため取得されない。
【００８６】
Ｓ１６：ユーザ端末２０の送受信部２０３は、S１５で取得した全ての食事画像を、食事管理サーバ１０に送信する。
【００８７】
Ｓ２２：食事管理サーバ１０の送受信部１０２は、食事画像を、ユーザ端末２０から受信する。
【００８８】
Ｓ２３：食事管理サーバ１０の画像処理部１０３は、受信した食事画像から、食事画像の画像特徴量と撮像日時とを抽出する。食事画像の画像特徴量の抽出方法は従来手法によればよく、撮像日時は食事画像のＥｘｉｆ情報から取得可能である。
【００８９】
Ｓ２４：食事管理サーバ１０の食事品目特定部１０４は、食事品目ＤＢ１０７ｂに登録された食事品目の画像特徴量と、Ｓ２３で抽出した食事画像の画像特徴量との一致度合いが所定値以上の食事品目を特定することにより（画像特徴量が所定閾値以上近似する食事品目を特定することにより）、食事画像に含まれる食事品目を特定する。
【００９０】
Ｓ２５：食事管理サーバ１０の食事品目確認部１０５は、Ｓ２４で一の食事画像から複数の食事品目が特定された場合、その食事画像と、食事画像の撮影日時と、ユーザに確認させる複数の食事品目とを、ユーザ端末２０に送信する。これにより食事管理アプリ上、食事画像と、食事画像の撮影日時と、ユーザに確認させる複数の食事品目とが表示される。
【００９１】
例えば、図９の食事画像ａ１の場合、食事画像ａ１からは複数の食事品目「ピザ１切れ」、「オムレツ」、「グラタン」が特定されており、食事管理アプリの食事画像解析画面Ｂ１においては、食事画像ａ１、食事画像の撮影日時に対応する日付ｂ２の１／１３及び食事種選択欄ｂ３の夕食）、ユーザに確認させる食事品目選択欄ｂ４の食事品目「ピザ１切れ」、「オムレツ」、「グラタン」が表示されている。
【００９２】
Ｓ１７：ユーザが食事画像と食事画像の撮影日時を元に正しい一の食事品目を入力確認すると、選択入力された一の食事品目が食事管理サーバ１０に送信される。
【００９３】
図９の食事画像ａ１の場合、一の食事品目「ピザ１切れ」が選択入力される。
【００９４】
Ｓ２６：食事管理サーバ１０の記憶部１０７は、食事画像の撮影日時とＳ１７で特定した食事品目とに基づいた食事管理情報、食事画像、食事画像の撮影日時を、食事品目ＤＢ１０７ｂに記憶する。
【００９５】
図９の食事画像ａ１の場合、食事画像の撮影日時「２０１８／１／１３  ７：０３」と一の食事品目「ピザ１切れ」とに基づく食事管理情報として年月日（２０１８／１／１３）、食事種（朝食）、「ピザ１切れ」に対応する「品目ＩＤ」、「品目名」、「カロリー」、「たんぱく質」、「脂質」、「炭水化物」、「糖質」、「食物繊維」、「塩分」、加えて食事画像（ａ１．ｊｐｇ）及び食事画像の撮影日時（２０１８／１／１３  ７：０３）を、食事品目ＤＢ１０７ｂに記憶する。
【００９６】
なお、Ｓ１５において、ユーザ端末２０の取得部２０２は、ユーザ用メモリ２４から取得する対象の食事画像として、受信した最新の撮影日時よりも新しい撮影日時の食事画像のみならず、以下の条件を付加してもよい。
・現在日時から例えば撮影日時が７２時間以内の食事画像とする。ユーザにできる限りこまめな更新（アップロード）を推奨し、あまりに古い食事画像を除外するためである。これは食事管理の継続にもつながる。
・ユーザ端末２０がＷｉｆｉ（登録商標）のネットワーク環境下にあること、画像容量が５ＭＢ以下の食事画像とすること。ユーザ端末２０の画像送信に係る負担を少なくするためである。
【００９７】
＜総括＞
従来、食事管理を行う場合、利用者は食事する度に食事を食べた日付（年月日）、食事種、食事品目の記録を毎回行わなければならないという手間を要する。利用者が記録を忘れてしまった場合には、過去の食事を思い出しながらまとめて記録することも可能である。しかしながら、事後的に食べた食事品目の記憶を全て正確に呼び起こすことは困難であるため、正確な食事管理ができなくなるなどして、結局、食事管理自体が長く続かなくなってしまう可能性が高い。
【００９８】
本実施形態によれば、ユーザは食事の度にユーザ端末２０付属のカメラで食事画像（食事写真）を撮り貯めしておいて、都合のよいときに食事管理アプリを起動するだけで、撮り貯めしておいた食事画像を食事管理サーバ１０にアップロードできる。アップロードされた食事画像は食事管理サーバ１０の画像解析により食事品目が自動的にまとめて認識される。
【００９９】
即ち、ユーザは食事の度、食べた各々の食事画像だけを撮り貯めしておけばよい。その後ユーザは都合のよいときに食事管理アプリを起動するだけで、食事管理サーバ１０上、各々の食事を食べた日付（年月日）、食事種、食事品目、食事品目のカロリーや栄養成分が自動登録される。これにより食事管理アプリ上食事登録が簡単になるため、利用者は記録が面倒になることなく、食事管理やダイエットを継続して続けやすくなる。
【０１００】
以上、本実施形態に係る食事管理システム１００によれば、毎回の食事記録を必ずしも不要とし、食事管理における利用者利便性の向上を図ることが可能である。
【０１０１】
なお、本発明の好適な実施の形態により、特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【０１０２】
１０      食事管理サーバ
２０      ユーザ端末
３０      ネットワーク
１００    食事管理システム
１０１    要求応答部
１０２    送受信部
１０３    画像処理部
１０４    食事品目特定部
１０５    食事品目確認部
１０７    記憶部
１０７ａ  ユーザ管理ＤＢ
１０７ｂ  食事品目ＤＢ
１０７ｃ  食事管理ＤＢ
２０１    撮像部
２０２    取得部
２０３    送受信部
２０５    記憶部
【図１】
2019125166.tif 000003
【図２】
2019125166.tif 000004
【図３】
2019125166.tif 000005
【図４】
2019125166.tif 000006
【図５】
2019125166.tif 000007
【図６】
2019125166.tif 000008
【図７】
2019125166.tif 000009
【図８】
2019125166.tif 000010
【図９】
2019125166.tif 000011
【図１０】
2019125166.tif 000012
【図１１】
2019125166.tif 000013
【図１２】
2019125166.tif 000014
【図１３】
2019125166.tif 000015
【図１４】
2019125166.tif 000016
【図１５】
2019125166.tif 000017
【図１６】
2019125166.tif 000018
【手続補正書】
【提出日】平成30年5月9日(2018.5.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザ端末のアプリケーションプログラムと、サーバ装置とを含み、ユーザの食事を管理する食事管理システムであって、
前記アプリケーションプログラムは、コンピュータを、
撮像日時を含む食事画像及び前記食事画像以外の画像を撮像する撮像手段と、
前記食事画像及び前記食事画像以外の画像を記憶する画像記憶手段と、
ユーザにより前記アプリケーションプログラムが起動されたタイミングで、前記サーバ装置に未送信の前記食事画像及び前記食事画像以外の画像を、前記画像記憶手段から取得する取得手段と、
前記取得手段により未送信の前記食事画像及び前記食事画像以外の画像が取得されると、取得した全ての該食事画像及び該食事画像以外の画像を、前記サーバ装置に送信する送信手段として機能させ、
前記サーバ装置は、
食事品目と、該食事品目の画像特徴量とが予め記憶された食事品目記憶手段と、
前記食事画像及び前記食事画像以外の画像を、前記ユーザ端末から受信する受信手段と、
前記受信手段により受信した前記食事画像及び前記食事画像以外の画像の画像特徴量と撮像日時とを抽出する画像処理手段と、
前記食事品目記憶手段に登録された食事品目の画像特徴量と、前記画像処理手段により抽出した前記食事画像及び前記食事画像以外の画像の画像特徴量との一致度合いに基づいて、該食事画像に含まれる食事品目を特定する食事品目特定手段と、
前記食事品目特定手段により前記食事品目が特定されない前記食事画像以外の画像は非表示であって、前記食事品目が特定された前記食事画像と該食事画像に含まれると特定された前記食事品目とを含む食事画像解析画面を表示する表示手段と、
前記食事画像の撮影日時と前記食事品目特定手段により特定した前記食事品目とに基づく食事管理情報を記憶する食事管理情報記憶手段と、
を有することを特徴とする食事管理システム。
【請求項２】
前記取得手段は、
前記サーバ装置に最新の撮影日時の情報を要求し、前記画像記憶手段から前記サーバ装置から受信した前記最新の撮影日時よりも新しい撮影日時の前記食事画像を取得し、
前記サーバ装置は、
前記要求に応じて、前記食事管理情報記憶手段に記憶された前記食事画像の撮影日時のうち、最新の撮影日時を送信する要求応答手段と、
を有することを特徴とする請求項１に記載の食事管理システム。
【請求項３】
前記サーバ装置は、
前記食事品目特定手段により一の食事画像から複数の食事品目が特定された場合、該一の食事画像と、該食事画像の撮影日時と、ユーザに確認させる該複数の食事品目とを、前記ユーザ端末に送信する食事品目確認手段を有し、
前記食事管理情報記憶手段は、
前記ユーザ端末から前記複数の食事品目のうち、一の食事品目が入力確認されたとき、前記食事画像の撮影日時と入力確認された該一の食事品目とに基づく食事管理情報を記憶すること、
を特徴とする請求項１又は２に記載の食事管理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記の課題を解決するため、本発明に係る食事管理システムは、ユーザ端末のアプリケーションプログラムと、サーバ装置とを含み、ユーザの食事を管理する食事管理システムであって、前記アプリケーションプログラムは、コンピュータを、撮像日時を含む食事画像及び前記食事画像以外の画像を撮像する撮像手段と、前記食事画像及び前記食事画像以外の画像を記憶する画像記憶手段と、ユーザにより前記アプリケーションプログラムが起動されたタイミングで、前記サーバ装置に未送信の前記食事画像及び前記食事画像以外の画像を、前記画像記憶手段から取得する取得手段と、前記取得手段により未送信の前記食事画像及び前記食事画像以外の画像が取得されると、取得した全ての該食事画像及び該食事画像以外の画像を、前記サーバ装置に送信する送信手段として機能させ、前記サーバ装置は、食事品目と、該食事品目の画像特徴量とが予め記憶された食事品目記憶手段と、前記食事画像及び前記食事画像以外の画像を、前記ユーザ端末から受信する受信手段と、前記受信手段により受信した前記食事画像及び前記食事画像以外の画像の画像特徴量と撮像日時とを抽出する画像処理手段と、前記食事品目記憶手段に登録された食事品目の画像特徴量と、前記画像処理手段により抽出した前記食事画像及び前記食事画像以外の画像の画像特徴量との一致度合いに基づいて、該食事画像に含まれる食事品目を特定する食事品目特定手段と、前記食事品目特定手段により前記食事品目が特定されない前記食事画像以外の画像は非表示であって、前記食事品目が特定された前記食事画像と該食事画像に含まれると特定された前記食事品目とを含む食事画像解析画面を表示する表示手段と、前記食事画像の撮影日時と前記食事品目特定手段により特定した前記食事品目とに基づく食事管理情報を記憶する食事管理情報記憶手段と、を有する。