(57)【要約】【課題】食事の質量を測定し、かつその画像を取得することにより精度良く栄養成分の算出ができる管理システムを提供する。【解決手段】このカロリー管理システムは、ネットワークを介してユーザの食事の栄養成分を管理する管理システムであって、食器を含む食事の質量を計測するトレイ１と、トレイ１に乗せられた食器を含む食事を撮影して画像を取得する撮像装置２２と、栄養成分を管理する管理サーバ３と、を備える。管理サーバ３は、食事のレシピを記憶する記憶手段３５と、食事の質量と画像を解析する解析手段３２と、解析手段３２の解析結果に基づいて、食事のレシピを記憶手段３５で記憶したレシピから特定し、特定したレシピに対応する食事の栄養成分を算出する算出手段３１と、を備える。【選択図】図１
2018005720.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介してユーザの食事の栄養成分を管理する管理システムであって、
食器を含む食事の質量を計測するトレイと、
前記トレイに乗せられた前記食器を含む食事を撮影して画像を取得する撮像装置と、
前記栄養成分を管理する管理サーバと、
を備え、
前記管理サーバは、
食事のレシピを記憶する記憶手段と、
前記食事の質量と前記画像を解析する解析手段と、
前記解析手段の解析結果に基づいて、前記食事のレシピを前記記憶手段で記憶したレシピから特定し、前記特定したレシピに対応する前記食事の栄養成分を算出する算出手段と、
を備える
ことを特徴とする管理システム。
【請求項２】
前記解析手段は、
前記撮像装置で取得した食事の画像を解析する画像解析手段と、
前記トレイで計測した質量を解析する質量解析手段と、
を含み、
前記算出手段は、前記画像解析手段による前記画像の解析結果に基づいて前記食事のレシピを前記記憶手段で記憶したレシピを特定し、前記質量解析手段による前記質量の解析結果に基づいて前記特定したレシピに対応する前記食事の栄養成分を算出する
ことを特徴とする請求項１に記載の管理システム。
【請求項３】
前記管理サーバは、
前記食事を盛るための食器の質量を登録する登録手段
をさらに備え、
前記質量解析手段は、前記トレイで計測した食事の質量と、前記登録手段で登録した食器の質量に基づいて前記ユーザが摂取する食事の質量を算出する
ことを特徴とする請求項２に記載の管理システム。
【請求項４】
前記記憶手段は、前記算出手段で算出した栄養成分と、前記食事を摂取するユーザの情報を紐付けて記憶する
ことを特徴とする請求項１〜３のいずれか１項に記載の管理システム。
【請求項５】
前記栄養成分は、少なくともカロリー、塩分、脂質、タンパク質、炭水化物を含む
ことを特徴とする請求項１〜４のいずれか１項に記載の管理システム。
【請求項６】
食事の質量を計測するトレイと、前記トレイに乗せられた食事を撮影して画像を取得する撮像装置と、カロリーを管理する管理サーバとを含む管理システムにおいて実行される、ユーザの食事の栄養成分を管理する管理方法であって、
前記食事の質量と前記画像を解析する解析工程と、
前記解析工程での解析結果に基づいて、管理サーバの記憶手段で記憶したレシピを特定し、前記食事の栄養成分を算出する算出工程と、
を有する
ことを特徴とする管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、食事の栄養線分を管理する管理システムに関し、特に食事の質量から正確にカロリーを管理する管理システムに関する。
【背景技術】
【０００２】
近年、スマートフォンなどの携帯端末で食事の画像を取得して自動的に食事のカロリー等の栄養成分を算出するシステムが存在する。また、特に、例えば、糖尿病を患っている人等は、カロリー管理を厳密に行う必要がある。そこで、例えば、特許文献１では、カメラと秤を用いて食事の摂取量を計測する技術を開示している。また、特許文献２では、食事をカメラで撮影した画像を基に栄養成分を算出する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４８３８３８３号公報
【特許文献２】特開２０１１−２８３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、食事の質量を計測することは可能であるが、計測した食事の摂取量からカロリー等の栄養成分の算出をしようとすると、調理方法により正確に算出することが難しい。また、特許文献２では、カメラで撮影した食事から栄養成分を算出しているが、画像だけでは、どれだけの質量なのかが分からず、正確なカロリーや栄養成分を算出することが難しい。また、糖尿病を患っている人等、カロリー管理を厳密に行う必要があるユーザにとっては、特許文献１や特許文献２の方法では、厳密にカロリー管理を行うことが難しい。
【０００５】
本発明は、上記課題を鑑みて、食事の質量を測定し、かつその画像を取得することにより精度良く栄養成分の算出ができる管理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の管理システムは、ネットワークを介してユーザの食事の栄養成分を管理する管理システムであって、食器を含む食事の質量を計測するトレイと、前記トレイに乗せられた前記食器を含む食事を撮影して画像を取得する撮像装置と、前記栄養成分を管理する管理サーバと、を備え、前記管理サーバは、食事のレシピを記憶する記憶手段と、前記食事の質量と前記画像を解析する解析手段と、前記解析手段の解析結果に基づいて、前記食事のレシピを前記記憶手段で記憶したレシピから特定し、前記特定したレシピに対応する前記食事の栄養成分を算出する算出手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、食事の質量を測定し、かつその画像を取得することにより精度良く栄養成分の算出ができる管理システムを提供することができる。これにより、より簡易な方法でより正確に食事のカロリー管理を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】カロリー管理システム全体を示す図である。
【図２】トレイの構成を示す図である。
【図３】端末の構成を示すブロック図である。
【図４】管理サーバの構成を示すブロック図である。
【図５】食器を管理サーバに登録する処理を示すフローチャートである。
【図６】カロリー管理ステム全体の処理を示すフローチャートである。
【図７】管理サーバにおけるカロリー算出処理を示すフローチャートである。
【図８】画像解析の処理を示すフローチャートである。
【図９】質量解析の処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
まず、図１を参照して、本実施形態に係る食事の栄養成分を管理する管理システムの構成について説明する。図１に示す管理システムは、ネットワークを介して相互に通信を行い、食事の質量を計測するトレイ１と、食事の画像を取得し、取得した画像やカロリー等の栄養成分の表示を行う端末２と、トレイ１で計測した質量と、端末２で取得した画像から食事の栄養成分管理を行う管理サーバ３とを含む。本実施形態では、トレイ１で計測した食事の質量と、端末２で取得した画像を基に管理サーバ３で質量解析及び画像解析を行い、カロリー分析を行って、その結果を端末２へ送信し、ユーザに対して表示させる。従って、ユーザが摂取する食事の各メニューの質量やカロリーをより正確に把握することができる。なお、本実施形態では、栄養成分として、カロリーについて説明するが、これに限定することなく、例えば、塩分、脂質、タンパク質、炭水化物等の栄養成分をそれぞれ管理してよい。
【００１０】
次に、図２を参照して、本実施形態に係るトレイ１の構成について説明する。図２（Ａ）に示すように、本実施形態に係るトレイ１は、質量を計測する箇所が４箇所（計測部１（１１）〜計測部４（１４））に分割され、それぞれで質量を計測することで、より正確に食事の質量を計測することができる。例えば、主食、主菜、副菜、汁物など複数品の食事である場合、これらが、それぞれ計測部１（１１）〜計測部４（１４）に載せられることで、より正確な質量計測が可能となる。また、図２（Ｂ）に示すように、トレイ１は、計測部１（１１）〜計測部４（１４）の他に端末２や管理サーバ３と通信可能な通信部１５を介して、計測部１（１１）〜計測部４（１４）で計測した質量を端末２に送信する。なお、本実施形態では、トレイ１から端末２を介して管理サーバ３に質量を送信する構成としているが、これに限定することなく、例えば、トレイ１が直接管理サーバ３に質量を送信する構成としてもよい。また、本実施形態では、質量を計測する箇所を４箇所としているが、これに限定することなく、２箇所や６箇所等、適宜必要に応じて変更してもよい。
【００１１】
次に、図３を参照して、端末２の構成について説明する。端末２は、各構成要素を含め端末２の全体を制御する制御部２１と、画像を取得するカメラ（撮像装置）２２と、カメラ２２で取得した画像や、管理サーバ３から送信された情報等を表示する表示部２３と、トレイ１や管理サーバ３等と通信を行う通信部２４を含む。なお、本実施形態に係る端末２は、例えば、小型ＰＣ、携帯電話、スマートフォンなどの携帯用端末であってよく、図３に示す各構成要素を備える情報処理装置であればよい。
【００１２】
次に、図４を参照して、管理サーバ３の構成について説明する。管理サーバ３は、制御部３１と、解析部３２と、登録部３３と、端末２と通信を行う通信部３４と、ＤＢ３５とを含む。制御部３１は、各構成要素を含む管理サーバ３全体を制御し、食事のカロリーを算出する算出手段として機能する。解析部３２は、端末２から送信された画像を解析する画像解析部３２１と、質量を分析する質量解析部３２２とを含む。登録部３３は、端末２から送信された個人の識別情報や食器情報等をＤＢ３５に登録する。
【００１３】
ＤＢ３５は、予め登録されているレシピ記憶部３５１と、レシピ記憶部３５１で記憶されているレシピにおける食事の栄養成分を記憶する栄養成分記憶部３５２と、予め登録されている食器や登録部３３で登録された食器の質量や種類を記憶する食器記憶部３５３とを含む。なお、本実施形態におけるレシピには、出来上がりの画像、食材やその調理方法、栄養成分等の情報が含まれる。また、ＤＢ３５は、ユーザの情報を含み、例えば、食器の情報を食器記憶部３５３に登録する際に、登録部３３によりＤＢ３５に含まれるユーザの情報と紐付けて登録される。さらに、ユーザ情報と、食事の解析結果や摂取カロリー・各栄養成分等を紐付けて記憶しておくことで、ユーザ毎の管理が可能となる。なお、本実施形態では、図４に示すような構成としているが、これに限定することなく、例えば、レシピ記憶部３５１と栄養成分記憶部３５２が一体となるような構成でもよく、適宜変更してよい。
【００１４】
次に、図５を参照して、食器の登録処理について説明する。本実施形態では、食事の質量をより正確に計測するために、予め食器の種類や重さを食器記憶部３５３に登録しておく。まず、ステップＳ５０１において、トレイ１に空の食器を載せて食器の質量を計測し、端末２のカメラ２２により食器の画像を取得する。次に、ステップＳ５０２において、取得した質量及び画像を管理サーバ３に送信し、管理サーバ３の画像解析部３２１は、受信した画像を解析し、食器の種類を特定する。このとき、非同期に質量解析部３２２により食器の質量解析を行ってもよい。
【００１５】
次に、ステップＳ５０３において、登録部３３は、画像解析部３２１による画像解析の結果、食器が既に食器記憶部３５３に登録されているか否かを判定する。当該食器が食器記憶部３５３に登録されていない場合（Ｎｏ）、ステップＳ５０４において、登録部３３は、当該食器の種類や画像、及び質量解析部３２２による食器の質量解析の結果をユーザの情報と紐付けて、新規にＤＢ３５に登録する。一方、当該食器が既に登録済みである場合（Ｙｅｓ）、ステップＳ５０５において、登録部３３は、当該食器の登録情報をＤＢ３５に記憶されたユーザの情報と紐付けて、ＤＢ３５に登録する。既に登録済みの食器として、例えば、オリジナル食器を製造している場合が考えられる。この場合、予め食器の種類や質量を計測して食器記憶部３５３に登録しておけば、オリジナルの食器にタグ等を付し、そのタグ等を画像解析部３２１により解析することで、食器の質量を解析することなく、個人情報と紐付けるだけでよい。
【００１６】
次に、図６を参照して、本実施形態に係るカロリー算出処理について説明する。まず、ステップＳ６０１において、端末２のカメラ２２で食事の画像を取得する。この時、例えば、主食、主菜、副菜、汁物など複数品の食事である場合、これら全てを含む食事全体の画像を取得する。また、トレイ１で計測された食事の質量を、通信部２４を介して取得する。次に、ステップＳ６０２において、端末２の通信部２４を介して、管理サーバ３へ取得した食事の画像と計測された質量を送信する。次に、ステップＳ６０３において、管理サーバ３は、通信部３４を介して端末２から送信された食事の画像と質量を受信する。次に、ステップＳ６０４において、解析部３２は、受信した食事の画像と質量をそれぞれ解析する。
【００１７】
次に、ステップＳ６０５において、管理サーバ３は、ステップＳ６０４の解析結果からＤＢ３５に記憶された情報に基づいてレシピを特定し、カロリー分析を行って、各食事のカロリーを特定する。次に、ステップＳ６０６において、管理サーバ３は、ステップＳ６０５の分析の結果を、通信部３４を介して端末２に送信する。そして、ステップＳ６０７において、端末２は、通信部２４を介して、管理サーバ３から送信された分析結果を受信する。次に、ステップＳ６０８において、端末２は、受信した分析の結果を不図示の表示部に表示する。以上により、ユーザが撮影した食事のそれぞれの質量やカロリーが正確に表示される。
【００１８】
次に、図７を参照して、管理サーバ３が画像や質量を解析してカロリーを算出する処理について説明する。これは、図６のステップＳ６０３〜ステップＳ６０５の処理に該当する。まず、ステップＳ７０１において、端末２から送信された食事の画像及びトレイ１で計測された食事の質量を受信する。次に、ステップＳ７０２において、画像解析部３２１は、受信した食事の画像を解析する。次に、ステップＳ７０３において、質量解析部３２２は、受信した食事の質量を解析する。なお、ステップＳ７０２とステップＳ７０３の処理については、非同期に行われるものとし、順番が逆になってもよい。次に、ステップＳ７０４において、ステップＳ７０２の画像解析の結果から、ＤＢ３５のレシピ記憶部３５１に記憶されているレシピを特定し、特定したレシピに基づいて栄養成分記憶部３５２に記憶されている栄養成分を特定する。次に、ステップＳ７０３の質量解析の結果、及びステップＳ７０４で特定した栄養成分から食事のカロリーを算出する。
【００１９】
次に、図８を参照して、ステップＳ７０２の画像解析の処理について説明する。まず、ステップＳ８０１において、画像解析部３２１は、端末２から送信された複数品の食事を含む食事全体の画像を取得する。次に、ステップＳ８０２において、取得した画像を解析し、各食事を判定（特定）する。つまり、主食、主菜、副菜、汁物が含まれる場合、取得した画像から、主食、主菜、副菜、汁物をそれぞれ分割する。この時、主食、主菜、副菜、汁物が盛られている食器の種類についても、画像から食器記憶部３５３に記憶されている食器の中からそれぞれの食器を特定する。次に、ステップＳ８０３において、画像からレシピ記憶部３５１に記憶されているレシピと一致するレシピを特定しる。つまり、分割した主食、主菜、副菜、汁物の画像に合致する画像を有するレシピをレシピ記憶部３５１から特定する。
【００２０】
次に、図９を参照して、ステップＳ７０３の質量解析の処理について説明する。まず、ステップＳ９０１において、質量解析部３２２は、端末２から送信されたトレイ１で計測された質量を取得する。この時、計測部１（１１）〜計測部４（１４）で計測した質量全体、例えば、主食、主菜、副菜、汁物など複数品の食事である場合、これら全てを含む食事全体の質量を取得する。次に、ステップＳ９０２において、計測部１（１１）〜計測部４（１４）の各エリアの質量を取得する。次に、ステップＳ９０３において、画像解析部３２１が画像解析により特定した食器の質量を食器記憶部３５２から取得し、各エリアの質量から対応する食器の質量を減算することで、食事の質量を求める。
【００２１】
例えば、計測部１（１１）に主食が載せられている場合、ステップＳ９０２で計測部１（１１）の質量が特定され、画像解析部３２１が端末２で取得した画像から食器を特定することで、計測部１（１１）の質量から当該食器の質量を減算することで、食器の質量を含まない主食そのものの質量が特定される。次に、ステップＳ９０４において、ステップＳ８０３で減算した結果、各食事（例えば、主食、主菜、副菜、汁物）の質量が算出される。
【００２２】
以上、本実施形態によれば、食事の質量を測定し、かつその画像を取得することにより精度良くカロリー計算を行い、管理する管理システムを提供することができる。なお、本実施形態では、端末にカメラと表示部を設けているが、これに限定することなく、例えば、カメラを端末とは別に設けてもよく、また表示部をトレイに設けてもよい。この場合、ユーザは、トレイに設けられた表示部でカロリーを把握することができる。つまり、カメラと表示部をトレイに設ける場合、食堂などで１品ずつトレイに食事を載せる毎に画像を撮影し、トレイで質量を計測して、リアルタイムでカロリー計算し、そのカロリーを表示をすることで、ユーザのカロリーがリアルタイムで確認が可能となる。
【００２３】
また、本実施形態では、食事の画像解析と質量解析から食事のカロリーを算出する方法について説明したが、カロリーに限定することなく、例えば、塩分や脂質、糖質等の栄養線分毎に摂取量を算出してよい。この場合、ユーザの情報と紐付けを行うことで、定期的（例えば、１週間、１か月、１年等）に自信が摂取した食事におけるカロリーや栄養成分を管理することができる。また、これらの情報を基に個人の嗜好を分析・学習することにより、適切なレシピの提供など、個人に合わせた栄養管理を行うことができる。
【００２４】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００２５】
１    トレイ
３    管理サーバ
２２  カメラ
３１  制御部
３２  解析部
３５  ＤＢ
【図１】
2018005720.tif 000003
【図２】
2018005720.tif 000004
【図３】
2018005720.tif 000005
【図４】
2018005720.tif 000006
【図５】
2018005720.tif 000007
【図６】
2018005720.tif 000008
【図７】
2018005720.tif 000009
【図８】
2018005720.tif 000010
【図９】
2018005720.tif 000011