(57)【要約】【課題】専門家のアドバイスメッセージの作成において、標準化および効率化を図りつつ、よりクライアントに合ったアドバイスメッセージを作成することができる健康管理サーバを提供する。【解決手段】本発明の食事量推定プログラムは、指標画像とサイズ情報とが関連付けられた指標画像データセットと、素材画像と素材名とが関連付けられた素材画像データセットと、素材と当該素材の栄養価とが関連付けられた栄養価データセットとを記憶する記憶部、ユーザの食事画像を取得する取得部、食事画像に含まれる指標画像と素材画像とを特定する特定部、特定した指標画像に関連付けられたサイズ情報に基づいて、特定した素材画像に関連付けられた素材の量を推定する推定部、推定された素材の量に基づいて、素材に関連付けられた栄養価を補正し、補正後栄養価を算定する補正部、としてコンピュータを機能させる。【選択図】図１
2018049584.tif 000002
【特許請求の範囲】
【請求項１】
指標画像とサイズ情報とが関連付けられた指標画像データセットと、素材画像と素材名とが関連付けられた素材画像データセットと、前記素材と当該素材の栄養価とが関連付けられた栄養価データセットとを記憶する記憶部、
ユーザの食事画像を取得する取得部、
前記食事画像に含まれる前記指標画像と素材画像とを特定する特定部、
特定した前記指標画像に関連付けられた前記サイズ情報に基づいて、特定した前記素材画像に関連付けられた前記素材の量を推定する推定部、
推定された前記素材の量に基づいて、前記素材に関連付けられた前記栄養価を補正し、補正後栄養価を算定する補正部、としてコンピュータを機能させる
食事量推定プログラム。
【請求項２】
請求項１に記載の食事量推定プログラムであって、
前記指標画像データセットは、前記サイズ情報に関連付けられた誤差情報を更に含んでおり、
前記特定部は、前記食事画像に含まれる前記指標画像が複数ある場合に、より誤差の少ない指標画像を特定する、
食事量推定プログラム。
【請求項３】
請求項１又は請求項２に記載の食事量推定プログラムであって、
前記コンピュータを、取得した前記食事画像内に存在するオブジェクトの選択操作と当該オブジェクトのサイズ情報の入力操作とをユーザから受付ける指標受付部として更に機能させ、
前記推定部は、選択された前記オブジェクトの入力された前記サイズ情報に基づいて、特定した前記素材画像に関連付けられた前記素材の量を推定する、
食事量推定プログラム。
【請求項４】
請求項１乃至請求項３のいずれかに記載の食事量推定方法であって、
前記取得部は、前記ユーザから第１の食事画像と当該第１の食事画像の摂取後の画像である第２の食事画像とを取得し、
前記補正部によって前記第１の食事画像に基づいて算定された第１の補正後栄養価と、前記第２の食事画像に基づいて算定された第２の補正後栄養価との差分を求める差分算定部、としてコンピュータを機能させる
食事量推定プログラム。
【請求項５】
請求項４に記載の食事量推定プログラムであって、
前記取得部は、前記ユーザの前記食事画像に付与される時刻情報に基づいて、前記第１の食事画像及び前記第２の食事画像を特定して取得する、
食事量推定プログラム。
【請求項６】
指標画像とサイズ情報とが関連付けられた指標画像データセットと、素材画像と素材名とが関連付けられた素材画像データセットと、前記素材と当該素材の栄養価とが関連付けられた栄養価データセットとを記憶するステップと、
ユーザの食事画像を取得するステップと、
前記食事画像に含まれる前記指標画像と素材画像とを特定するステップと、
特定した前記指標画像に関連付けられた前記サイズ情報に基づいて、特定した前記素材画像に関連付けられた前記素材の量を推定するステップと、
推定された前記素材の量に基づいて、前記素材に関連付けられた前記栄養価を補正し、補正後栄養価を算定するステップと、を含む
食事量推定方法。
【請求項７】
指標画像とサイズ情報とが関連付けられた指標画像データセットと、素材画像と素材名とが関連付けられた素材画像データセットと、前記素材と当該素材の栄養価とが関連付けられた栄養価データセットとを記憶する手段と、
ユーザの食事画像を取得する手段と、
前記食事画像に含まれる前記指標画像と素材画像とを特定する手段と、
特定した前記指標画像に関連付けられた前記サイズ情報に基づいて、特定した前記素材画像に関連付けられた前記素材の量を推定する手段と、
推定された前記素材の量に基づいて、前記素材に関連付けられた前記栄養価を補正し、補正後栄養価を算定する手段と、を備える
食事量推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、食事量推定プログラム、食事量推定方法及び食事量推定装置に関する。
【背景技術】
【０００２】
近年、ダイエットやメタボリックシンドロームの予防等の健康意識の高まりを受けて、専門家の指導を受ける健康指導サービスが普及している。また、ＩＴ化に伴い、専門家とクライアントが直接対面することなく、オンライン上で健康指導サービスを受けるケースが増加している。
【０００３】
このような健康指導サービスにとして、消費カロリーを考慮に入れたメニューを提供し、カロリー表記がなくても摂取カロリーを容易に取得しその記録管理する技術が提案されている（例えば、特許文献１参照）。
備える技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２５２１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の発明は、真の食事量を算定することはできない。
【０００６】
そこで、本発明は、食事量を推定し得る技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば、第１の食事量推定プログラムとして、
指標画像とサイズ情報とが関連付けられた指標画像データセットと、素材画像と素材名とが関連付けられた素材画像データセットと、前記素材と当該素材の栄養価とが関連付けられた栄養価データセットとを記憶する記憶部、
ユーザの食事画像を取得する取得部、
前記食事画像に含まれる前記指標画像と素材画像とを特定する特定部、
特定した前記指標画像に関連付けられた前記サイズ情報に基づいて、特定した前記素材画像に関連付けられた前記素材の量を推定する推定部、
推定された前記素材の量に基づいて、前記素材に関連付けられた前記栄養価を補正し、補正後栄養価を算定する補正部、としてコンピュータを機能させる
食事量推定プログラムが得られる。
【０００８】
本発明によれば、第２の食事量推定プログラムとして、第１に記載の食事量推定プログラムであって、
前記指標画像データセットは、前記サイズ情報に関連付けられた誤差情報を更に含んでおり、
前記特定部は、前記食事画像に含まれる前記指標画像が複数ある場合に、より誤差の少ない指標画像を特定する、
食事量推定プログラムが得られる。
【０００９】
本発明によれば、第３の食事量推定プログラムとして、第１又は第２に記載の食事量推定プログラムであって、
前記コンピュータを、取得した前記食事画像内に存在するオブジェクトの選択操作と当該オブジェクトのサイズ情報の入力操作とをユーザから受付ける指標受付部として更に機能させ、
前記推定部は、選択された前記オブジェクトの入力された前記サイズ情報に基づいて、特定した前記素材画像に関連付けられた前記素材の量を推定する、
食事量推定プログラムが得られる。
【００１０】
本発明によれば、第４の食事量推定プログラムとして、第１乃至第３のいずれかに記載の食事量推定方法であって、
前記取得部は、前記ユーザから第１の食事画像と当該第１の食事画像の摂取後の画像である第２の食事画像とを取得し、
前記補正部によって前記第１の食事画像に基づいて算定された第１の補正後栄養価と、前記第２の食事画像に基づいて算定された第２の補正後栄養価との差分を求める差分算定部、としてコンピュータを機能させる
食事量推定プログラムが得られる。
【００１１】
本発明によれば、第５の食事量推定プログラムとして、第４に記載の食事量推定プログラムであって、
前記取得部は、前記ユーザの前記食事画像に付与される時刻情報に基づいて、前記第１の食事画像及び前記第２の食事画像を特定して取得する、
食事量推定プログラムが得られる。
【００１２】
本発明によれば、
指標画像とサイズ情報とが関連付けられた指標画像データセットと、素材画像と素材名とが関連付けられた素材画像データセットと、前記素材と当該素材の栄養価とが関連付けられた栄養価データセットとを記憶するステップと、
ユーザの食事画像を取得するステップと、
前記食事画像に含まれる前記指標画像と素材画像とを特定するステップと、
特定した前記指標画像に関連付けられた前記サイズ情報に基づいて、特定した前記素材画像に関連付けられた前記素材の量を推定するステップと、
推定された前記素材の量に基づいて、前記素材に関連付けられた前記栄養価を補正し、補正後栄養価を算定するステップと、を含む
食事量推定方法が得られる。
【００１３】
本発明によれば、
指標画像とサイズ情報とが関連付けられた指標画像データセットと、素材画像と素材名とが関連付けられた素材画像データセットと、前記素材と当該素材の栄養価とが関連付けられた栄養価データセットとを記憶する手段と、
ユーザの食事画像を取得する手段と、
前記食事画像に含まれる前記指標画像と素材画像とを特定する手段と、
特定した前記指標画像に関連付けられた前記サイズ情報に基づいて、特定した前記素材画像に関連付けられた前記素材の量を推定する手段と、
推定された前記素材の量に基づいて、前記素材に関連付けられた前記栄養価を補正し、補正後栄養価を算定する手段と、を備える
食事量推定装置が得られる。
【発明の効果】
【００１４】
本発明によれば、ユーザの摂取した食事の実質量を推定することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、食事量推定プログラムの実施の形態によるユーザ端末画面例を示す図である。
【図２】図２は、図１のユーザ端末の機能構成を示すブロック図である。
【図３】図３は、食事画像の解析処理のフローわ示す図である。
【図４】本実施の形態による食事画像から各素材を認識しているときの状態をと雌図である。
【図５】本実施の形態による食事量推定プログラムの指標の例を示す模式図である。
【図６】図５の指標を使用して素材の量を推定する方法の概念図である。
【図７】本実施の形態による食事量推定プログラムにおいて、予め素材量の量に応じた栄養価をを有している場合のデータテーブルの概念図である。
【図８】指標とサイズ情報と、誤差範囲とが関連付けられたデータテーブルの概念図である。
【図９】素材と栄養価とが関連付けられたデータテーブルの概念図である。
【図１０】本発明の第２の実施の形態に用いられる食後の状態の食事画像に含まれる各素材を認識している状態を示す図である。
【発明を実施するための形態】
【００１６】
（第１の実施の形態）
＜概要＞
以下、本発明の第１の実施の形態について、図面を参照しながら説明する。図１に示されるように、本発明の食事量推定プログラムは、ユーザ端末１０のカメラ等を用いてユーザにより撮影された食事の写真（食事画像）に基づいて、写真に含まれる素材（白飯、魚、味噌汁等）の栄養価を推定するためのものである。より詳しくは、個体差が小さい指標に基づいて各素材の量（ふつう、大盛、ハーフ等）を推定し、より正確な栄養価計算に資するものである。
【００１７】
＜構成＞
本実施形態の食事量推定プログラムは、情報処理装置（ユーザ端末）１０を利用して具現化される。図２に示されるように、ユーザ端末１０は、処理部１１、メインメモリ１２、外部メモリ１３、インタフェース１４、通信部１５及びカメラ部１６等を備え、これらはバスを介して電気的に相互に接続される。処理部１１は、外部メモリ１３に格納されたプログラム・モジュール、及びカメラ部１６に格納された各種データ等をメインメモリ１２にロードして、順次プログラムを実行することにより食事量推定プログラムによる処理を制御する。特に、処理部１１は、カメラ部１６を介して取得した食事写真に基づいて素材、量及び栄養価を算定してユーザが実際に摂取した素材の栄養価を推定する。インタフェース１４は、タッチパネルやタッチキーボード等のユーザの操作を受け付ける。
【００１８】
なお、ユーザ端末１０の情報処理の全部又は一部を、ネットワークを介して接続された他の端末（サーバ、クラウドコンピュータと等）を利用して一以上の処理に分散することとしてもよい。この場合には、ユーザ端末１０及び他の端末全体で情報処理装置が構成される。
【００１９】
＜動作＞
本実施の形態による食事量推定は、学習ステップと識別ステップとの２段階に分けられ、識別ステップは更に、食事内容特定ステップと素材量特定ステップと栄養価算定ステップの３つに分けることができる。
【００２０】
学習ステップでは、写真に特定の素材が含まれているか否かを推定する素材識別器を素材ごとに学習することとなる。学習処理の流れとしては、食事画像に特定の素材が含まれているか否かを判定する。そして、素材名の有無をラベルとし、得られた特徴量を用いて、サポートベクターマシーン（Support Vector Machine: SVM）により素材識別器を学習する。この処理を各素材に対して行い，各素材に対する素材識別器を構築する。
【００２１】
本実施の形態によるSVMは、２クラス判別のための教師あり学習によるパターン認識手法であり、多数の食事画像から抽出した素材一覧の中に識別したい素材が含まれるか否かを調べる。調べた結果からその素材が含まれているか否かを素材のラベルとする。食事画像から算出した特徴量とラベルを学習データとして、SVMにより食事画像中に含まれる各素材の識別器を構築する。
【００２２】
識別ステップでは、学習で構築した識別器を用いて食事画像に各素材が含まれるか否かを特定して、食事画像から特徴量を算出し、識別器を用いて食事画像中の各素材を特定する食事内容特定ステップ、各素材中に含まれる指標（詳しくは後述する）の有無を抽出して指標がある場合には素材全体の大きさを算出する素材量特定ステップ、栄養価テーブルを参照して特定した素材の栄養価を特定した上で素材の大きさを考慮して栄養価を補正する栄養価算定ステップの順に処理が進む。
【００２３】
以下、識別ステップについて更に詳しく説明する。図３に示されるように、ユーザ端末１０は、カメラ部１６によって撮影された食事の写真（以下、「料理画像」と呼ぶ）を読み込む（ステップＳ３０１）。読み込んだ食事画像から特徴量を算出し各素材を特定する。このとき、図４に示されるように、複数の素材が１枚の食事画像内に存在している場合には、素材毎にバウンディングボックスで領域を自動的に（又は手動で）特定することとしてもよい。
【００２４】
図４においては、ごはんを識別したボックス１０２、野菜の煮びたしを識別したボックス１０４、魚を識別したボックス１０６、味噌汁を識別したボックス１０８及びひじき和えを識別した１１０が表示されている。このとき、ボックスの近傍に特定した素材の名称を表示し、誤っている場合にはユーザによって訂正させることとしてもよい。
【００２５】
続いて、食事画像の各素材から指標画像を特定する（ステップＳ３０３）。本実施の形態における指標とは、大きさにおいて個体差の少ないものが適用できる。本実施の形態においては「米粒」としている。指標画像の特定が終わると当該指標画像を用いて各素材のサイズを特定する（ステップＳ３０４）。
【００２６】
本実施の形態においては、図６に示されるように、標準的な米粒の直径として5mmというサイズを用いて、ごはん（素材）の大きさを算出することとしている。本実施の形態においては、ご飯のように「普通盛り」、「大盛り」「小盛り」のように慣例的にサイズが観念できる素材については、素材サイズの直径（最大長）が予め分類されている。詳しくは、図７に示されるように、直径が100〜130mmの場合には通常サイズのごはん（普通盛り）として認識し、直径が131〜150mmの場合には大きいサイズのごはん（大盛り）として認識し、直径が80〜99mmの場合は小さいサイズのごはん（小盛り）として認識する。
【００２７】
なお、図７に示されるデータテーブルは、直径サイズに基づいて素材のサイズを分類しているが、指標を用いて素材の面積を算出し、面積に応じて素材のサイズを認識することとしてもよい。
【００２８】
本実施の形態においては、米粒を指標としてすべての素材のサイズを算出し、これを素材の量としていたが、食事画像内に米がない場合には当該食事画像内に含まれている他の指標を用いることとしてもよい。例えば、図８に示されるような指標テーブルを参照して、食事画像内に存在する指標を特定することとしてもよい。
【００２９】
図８に示される指標テーブルは、指標と、指標サイズと、誤差とを含む。本実施の形態においては、指標テーブルに登録されている複数の指標画像が存在している場合、誤差が少ないものを指標として選択する。例えば、食事画像内にうどん（Udon noodle）と箸（chopsticks）との両方が含まれていた場合には、誤差の少ないうどんの幅（6mm）を使用して素材のサイズを算出する。
【００３０】
また、食事画像内に指標テーブルに登録されている指標が存在しない場合には、ユーザによって、食事画像内の任意のオブジェクト（食材のサイズや皿のサイズ等およそのサイズがわかるもの等が好ましい）と、その実寸サイズとを登録させることとしてもよい。また、例えば、自分の指、硬貨、スケールなどの補助指標と一緒に撮影することとしてもよい。この場合、予め又は事後的に当該補助指標のサイズ情報を登録することとすればよい。
【００３１】
次に、特定した各素材の栄養価を栄養価データベースに格納される栄養情報を読み込んで特定する（ステップＳ３０５）。栄養情報は、素材毎に、熱量、単数化物量、脂質、タンパク質、ビタミン群、ミネラル等の各種栄養量が登録されている。認識した素材は当該データベースを参照することによって栄養価が取得される。
【００３２】
続いて、特定した素材の量に基づいて素材の栄養価を補正する。栄養価の補正は、例えば、あらかじめ栄養価データベースに当該栄養量を有する標準的なサイズ情報（すなわち、その栄養価を取得した時に用いた素材のサイズ／面積等の大きさに関する情報）を関連付けておき、当該サイズとの比較に基づいて所定の係数を算定し、栄養価データベースの各値に当該係数を乗じて算出する。例えば、魚（鮭）の切り身について、標準的サイズ情報（１２０ｍｍ）と、当該サイズにおける標準栄養価とを関連付けけたデータセットを参照し、食事画像内の切り身の実寸サイズ情報（９０ｍｍ）に応じて、標準栄養価に所定の係数を乗じて補正した栄養価を実栄養価として採用することとすればよい。
【００３３】
なお、補正の方法はこれに限られず、標準面積との比較することとしてもよい。このようにして各素材の補正後栄養価とその総和（補正後総栄養価）がユーザ端末１０の画面に表示される（図１参照）。
【００３４】
以上説明した本発明の第１の実施の形態によれば、食事画像を撮影した際の食事とカメラの距離（すなわち食事画像の遠近）に応じて指標のサイズも変動することから、画像内に含まれる素材の量を適切に推定することができる。
【００３５】
なお、食事画像の取得は、ユーザ端末のカメラ部等によって行われていてもよいし、（他のカメラ等によって撮影された場合などには）ユーザ端末又はこれと電気的に接続されたクラウド／ローカルストレージに格納された食事画像を直接またはネットワーク等を介して取得することとしてもよい。
【００３６】
（第２の実施の形態）
本発明の第２の実施の形態による食事量推定プログラムは、食前及び食後の２枚の食事画像から、実際の摂取量を推定するものに関する。本実施の形態における、学習ステップ及び識別ステップは上述した第１の実施の形態とほぼ同じであるため、異なる部分のみ説明し、共通する部分は説明を省略する。本実施の形態においては、食前の食事画像及び食後の食事画像の夫々対して上述した栄養価を算定し、食前の食事画像に基づいて推定した栄養価から食後の食事画像に基づいて推定した栄養価を減じることにより、実際の摂取栄養価を推定する。
【００３７】
食後の食事画像の識別ステップにおいては、図１０に示されるように、食べ残された素材のみが特定される。即ち、残された野菜の煮びたしを認識するバウンディングボックス１０４’、残された魚を認識するバウンディングボックス１０６’、残されたひじき和えを認識するバウンディングボックス１１０’とが表示される。
【００３８】
なお、本実施の形態においては、食前の食事画像と食後の食事画像を、カメラ部において撮影した際に画像と関連付けられて保存されるタイムスタンプによって自動で選定することとしてもよい。これにより、ユーザは食べ始めと食べ終わりの写真を撮影するだけで、容易に摂取した栄養価を知ることができる。
【符号の説明】
【００３９】
１０  ユーザ端末
１１  処理部
１２  メインメモリ
１３  外部メモリ
１４  インターフェース
１５  通信部
１６  カメラ部
【図１】
2018049584.tif 000003
【図２】
2018049584.tif 000004
【図３】
2018049584.tif 000005
【図４】
2018049584.tif 000006
【図５】
2018049584.tif 000007
【図６】
2018049584.tif 000008
【図７】
2018049584.tif 000009
【図８】
2018049584.tif 000010
【図９】
2018049584.tif 000011
【図１０】
2018049584.tif 000012