(57)【要約】 【課題】  摂取した食品の量を簡単な装置で自動的に測定する。【構成】  2.5Dカメラにより、食事を構成する食器と食品の距離画像とカラー画像とを撮像し、食品識別部により食品の種類を識別し、体積計算部により種類毎の食品の量を求める。食べる前の種類毎の食品の量を記憶し、食べ残した種類毎の食品の量を引き、摂取した食品の種類と量とを求める。【選択図】    図１
2018147415.tif 000002
【特許請求の範囲】
【請求項１】
食事を構成する食器と食品の、距離画像とカラー画像とを撮像する2.5Dカメラと、
2.5Dカメラからの距離画像とカラー画像とを入力として、摂取した食品の種類と量を求める情報処理装置とを備え、
前記情報処理装置は、
前記距離画像と前記カラー画像とから、食品の種類を識別する食品識別部と、
前記距離画像から、種類毎の食品の量を求める体積計算部と、
食べる前に撮像した距離画像とカラー画像とから求めた、食べる前の種類毎の食品の量を記憶する記憶手段と、
食べた後に撮像した距離画像とカラー画像とから、前記体積計算部により求めた、食べ残した種類毎の食品の量を、食べる前の種類毎の食品の量から引く演算手段、とを備えている、食事識別システム。
【請求項２】
複数の要素から成る食品に対し、食べた後に撮像した距離画像とカラー画像とから、要素毎の食べ残した食品の量を求める手段を備えていることをことを特徴とする、請求項１の食事識別システム。
【請求項３】
食器を載せたトレーのＩＤを読み取る手段と、読み取ったＩＤを記憶する手段を備えていることを特徴とする、請求項１または２の食事識別システム。
【請求項４】
2.5Dカメラからの、食器に盛られた食品の距離画像とカラー画像とを入力として、情報処理装置により食品の種類と量とを求める、食事識別システムのためのプログラムであって、
前記情報処理装置を、
入力された距離画像とカラー画像とから、食品の種類を識別する食品識別部と、
距離画像から、種類毎の食品の量を求める体積計算部と、
食べる前に撮像した距離画像とカラー画像とから求めた、食べる前の種類毎の食品の量を記憶する記憶手段と、
食べた後に撮像した距離画像とカラー画像とから、前記体積計算部により求めた、食べ残した種類毎の食品の量を、食べる前の種類毎の食品の量から引く演算手段、として機能させる、食事識別プログラム。  
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像認識を用いた食事の識別に関し、特に食べ残した食品の量を識別することに関する。
【背景技術】
【０００２】
人などが摂取している栄養価を推定できると健康の増進に有効で、このためには食べ残した食品の量を推定する必要がある。病院、高齢者の介護施設などでは、「少し残した」、「ほとんど食べた」などの状況を看護士、介護士などから聞き取り、食事の状況の把握に努めることが行われている。しかし「少し残した」、「ほとんど食べた」などでは、摂取した食品の量を正確に表しているとは言い難い。
【０００３】
特許文献１（特開2002-236755）では、食べる前と食べた後の食品を撮像し、摂取栄養価を栄養士が入力する。この手法では、自動的に栄養価を求めることはできない。
【０００４】
特許文献２（特開2013-36906）では、食事の前後での食品の重量変化を測定すると共に、近赤外の赤外線吸収スペクトルから食品の重量当たりの栄養価を推定する。しかしながら、近赤外の吸収スペクトルの測定装置は高価で、食事の前後に食品の重量を測定するので自動化には向いていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2002-236755
【特許文献２】特開2013-36906
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この発明の課題は、人などが摂取した食品の量を、簡単な装置で自動的に測定することにある。
【課題を解決するための手段】
【０００７】
この発明の食事識別システムは、
食事を構成する食器と食品の、距離画像とカラー画像とを撮像する2.5Dカメラと、
2.5Dカメラからの距離画像とカラー画像とを入力として、摂取した食品の種類と量を求める情報処理装置とを備え、
前記情報処理装置は、
前記距離画像と前記カラー画像とから、食品の種類を識別する食品識別部と、
前記距離画像から、種類毎の食品の量を求める体積計算部と、
食べる前に撮像した距離画像とカラー画像とから求めた、食べる前の種類毎の食品の量を記憶する記憶手段と、
食べた後に撮像した距離画像とカラー画像とから、前記体積計算部により求めた、食べ残した種類毎の食品の量を、食べる前の種類毎の食品の量から引く演算手段、とを備えている。
【０００８】
この発明の食事識別プログラムは、2.5Dカメラからの、食器に盛られた食品の距離画像とカラー画像とを入力として、情報処理装置により食品の種類と量とを求める、食事識別システムのためのプログラムであって、
前記情報処理装置を、
入力された距離画像とカラー画像とから、食品の種類を識別する食品識別部と、
距離画像から、種類毎の食品の量を求める体積計算部と、
食べる前に撮像した距離画像とカラー画像とから求めた、食べる前の種類毎の食品の量を記憶する記憶手段と、
食べた後に撮像した距離画像とカラー画像とから、前記体積計算部により求めた、食べ残した種類毎の食品の量を、食べる前の種類毎の食品の量から引く演算手段、として機能させる。  
【０００９】
この発明では、食品の距離画像とカラー画像の双方から食品の種類を識別するので、カラー画像のみに頼るよりも、正確に食品の種類を識別できる。病院、介護施設など、メニューが限定されている場合、食器毎の食品の種類をほぼ100%の確率で識別できる。メニューが豊富な食堂でも、食器の種類により食品の候補を制限すると、カレーやハンバーグなどでのトッピングの種類を誤ることを除けば、ほぼ100%食品の種類を識別できる。
【００１０】
2.5Dカメラを用いると、食品の距離画像から食品の立体的な形状が分かり、食品の体積を正確に求めることができる。食品の体積の測定例を図１４，図１５に示し、距離画像から正確に食品の体積を測定できることが分かる。なお食品の量は、体積、重量、栄養価などで表す。この発明では食べる前の食品の量を記憶し、食べ残した食品の量を同様に求めて、食べる前の食品の量から引く。これによって、食品の種類毎に摂取した食品の量を識別できる。食品の種類の識別が正確で、体積も正確に測定できるので、実際に食べた量も正確に求めることができる。
【００１１】
好ましくは、複数の要素から成る食品に対し、食べた後に撮像した距離画像とカラー画像とから、要素毎の食べ残した食品の量を求める手段を設ける。ここでの要素は、麺、ご飯などの炭水化物と、スープなどの液体、肉類あるいは魚類、野菜、などの、大きな食品の種類のことである。うどん、蕎麦など、麺類とスープから成る食品では、麺とスープを合計でいくら食べ残したかよりも、麺をいくら食べ残したかの方が重要である。カレーライス、丼ものなど、ご飯とルーあるいは具から成る食品では、全体でいくら食べ残したかよりも、ご飯とルーや具を各々どれだけ食べ残したかが分かることが好ましい。
【００１２】
距離画像とカラー画像を用いると、食品の量を要素毎に求めることができる。そこで食べた後に撮像した距離画像とカラー画像とから、要素毎の食べ残した食品の量を求めると、栄養の摂取量をより正確に求めることができる。なお半透明なスープの中の麺の量など、ご飯とルーの量など、識別が難しいものは、学習により識別能力を高めることができる。またうどん、ラーメンなどの食べる前の食品での、要素毎の割合は、レシピ等から推定しても良い。
【００１３】
好ましくは、食器を載せたトレーのＩＤを読み取る手段と、読み取ったＩＤを記憶する手段を設ける。トレーに食器を載せ、トレーのＩＤを食事に対応させると、食べる前後のデータを対応させることができる。
【００１４】
好ましくは、距離画像において、食品までの距離が不連続に変化するラインを食品の輪郭として抽出すると共に、距離画像において、食品までの距離が不連続に変化し、かつ両端が食品の輪郭に繋がっているラインを食品の輪郭に追加することにより、互いに重なっている食品を個々の食品へ切り分ける輪郭抽出部を、前記情報処理装置がさらに備えている。このようにすると、複数の食品が互いに重なっている場合でも、個々の食品へ切り分けることができる。
【図面の簡単な説明】
【００１５】
【図１】実施例の食事識別システムのハードウェアを示す図
【図２】変形例の食事識別システムのブロック図
【図３】実施例での準備段階のアルゴリズムを示すフローチャート
【図４】実施例での食品の切り分けアルゴリズムを示すフローチャート
【図５】実施例での食べ残しを求める処理を示すフローチャート
【図６】食品の輪郭抽出の説明図
【図７】食品の中実度の説明図
【図８】実施例での食品の体積推定を示す図
【図９】重なり合った食品の体積推定を示す図
【図１０】丼内の食品の体積推定を示す図
【図１１】カレーライスの食べ残しを模式的に示す図
【図１２】食事の例を示す写真
【図１３】唐揚げの写真で、（ａ）はカラー画像を、（ｂ）は距離画像を示す。
【図１４】唐揚げの体積の測定値と真の重量の分布を示す図
【図１５】白飯の体積の測定値と真の重量の分布を示す図
【発明を実施するための形態】
【００１６】
以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。
【実施例】
【００１７】
図１〜図１５に実施例を示す。図１は、配膳用のワゴン車１２に2.5Dカメラ４を取り付けた例を示す。カメラ４は図１の左上に示すように、カラーカメラ５と、線分状のパターン光を線分と直角な方向にスキャンするように照射するIRレーザ６と、パターン光の像を撮像するIRカメラ７とを備えている。IRレーザ６はパターン光を図の矢印のようにスキャンし、IRカメラ７は受光したパターン光の歪み（線分からの歪み）を検出して、物品表面までの距離画像を作成する。パターン光を撮像する代わりに、レーザ光で物品表面をスキャンし、反射光を受光するまでの時間から、距離画像を作成しても良い。ワゴン車１２は通路１０に沿って移動し、配膳及びトレーの回収などを行い、食事はバーコードなどのＩＤ１５付きのトレー１４上の食器１７に盛られ、１６はトレー１４の上面となる平面である。なおこの明細書で、食事は人などが食べる食物を意味する。ＩＤはＲＦＩＤなどでも良く、その場合、バーコードリーダ２１をＲＦＩＤリーダに変更する。
【００１８】
情報処理装置２は、2.5Dカメラからの距離画像とカラー画像とにより、食事を構成する食品の種類と、食品毎の量を識別する。唐揚げとキャベツ、ご飯とルー、麺類とスープあるいはソースなどから成る食品では、これらの要素の種類と量を識別する。情報処理装置２は、2.5Dカメラ４と一体でも良く、あるいはサーバとして別に設けられていても良い。２０はバスで、バーコードリーダ２１などのＩＤリーダが接続され、トレー１４のＩＤ１５，あるいは食事の届け先の人のＩＤなどを読み取る。平面検出部２２は、トレー１４の距離画像から、トレー１４上部の平面１６までの距離を検出する。輪郭抽出部２３は、距離画像に基づき食品の輪郭を抽出し、特に食品が重なっている場合に、これらを切り分けるように輪郭を抽出する。揚げ物と付け合わせのキャベツなどのように、食品によりカラー画像の特徴が異なる場合、輪郭抽出部２３はカラー画像も使用する。
【００１９】
特徴量抽出部２４は、食品の距離画像から特徴量を抽出する。抽出する特徴量は、食品の重心等、食品の中心を表す点から表面までの距離の分布、特にその平均値と標準偏差などで有る。これらの特徴量は、食品の見かけの面積の平方根など、食品の大きさを表す量との比として用いても良い。また食品表面での法線の向きが保たれる距離、例えば法線の向きの自己相関距離、食品表面での凹凸の程度、シワの程度なども特徴量となる。自己相関距離、凹凸の程度、シワの程度は、大きな食品であれば自然と大きくなるものではないので、食品の大きさで正規化する必要はない。これらの特徴量は、物品表面の形態が球、直方体などの中実で平滑な形状に近いか、凹凸や空隙が多い複雑な形状に近いかを表している。そして中実な形状では体積の測定値当たりの重量が大きく、凹凸や空隙の多い形状では体積の測定値当たりの重量が小さい、との経験則が成立する。
【００２０】
体積計算部２５は食品の距離画像から、食品の体積の測定値を求める。カメラ４では食品の底面は見えないので、平皿の上の食品に対しては、距離画像での食品の縁から鉛直下向きに皿の表面まで食品がある、丼内の食品では、食品の底面は丼の表面と同じである、などを仮定して、体積の測定値を求める。  
【００２１】
中実度計算部２６は、食品の特徴量に基づいてその中実度を求める。ここに中実度は、食品が体積の測定値内を中実に充たしていると大きく、空隙が多いと小さくなるパラメータである。体積の測定値に中実度と比重を乗算し、あるいは体積の測定値を第１主成分、中実度を第２主成分とする主成分分析を行い、比重を乗算すると、食品の重量が得られる。なお中実度の処理成しでも、十分正確な食品量が求まるので、中実度計算部２６は必ずしも設けなくても良い。
【００２２】
食品識別部２７は、前処理として、食器の形状、あるいは形状と色彩により、食品の種類を絞り込み、距離画像及びカラー画像により食品の種類を識別する。食器の形状等による前処理は省略しても良い。食品量計算部２８は、体積計算部２５で求めた食品の体積の測定値と、食品の種類で定まる比重の積を、中実度により補正し、食品の量、例えば重量を求める。重量の代わりに、食品の真の体積を求めても良く、中実度により処理は省略可能である。
【００２３】
情報処理装置２は、これらの他に、図示しないＣＰＵとプログラムメモリ、食器データのメモリ、学習データのメモリ、画像データのメモリ、及び作業用データのメモリ、入出力、通信機能、等を備えている。メモリ３０は食器のデータ、例えば食器毎の形状と色彩、及び盛付る食品の種類を記憶する。食器の形状は、円形、長方形、正方形などの輪郭形状の他に、食品を盛る面の形状（皿ではほぼ平面でその高さをデータに含む、丼ではほぼ半球面でその高さをデータに含む）を含んでいる。さらに食器を距離画像で見たときの、食器が占める体積の測定値を記憶する。食器から対応する食品の種類が制限され、これらを食品識別での食品の種類の候補として使用する。
【００２４】
メモリ３１は学習データを記憶し、既知の食品の2.5Dデータ（距離画像とカラー画像）、食品の種類、量、距離画像とカラー画像の特徴量、中実度などの学習データを記憶する。食品が複数の要素から成る場合、食品の種類と量の代わりに、食品の要素と量を記憶する。これらのデータは、2.5Dカメラからの距離画像とカラー画像と比較し、食品の種類と量（複数の要素を含む食品に対しては要素毎の食品の量）を求めるためのものである。
【００２５】
メモリ３２は、トレーのＩＤなどと対応付けて、配膳時の食品の種類毎の量を記憶する。トレーの回収時に、トレーのＩＤを読み取り、カラー画像と距離画像とから、同様に食品の種類と量を求め、メモリ３２が記憶している配膳時の量から引いて、摂取した食品の量を種類毎に求める。
【００２６】
通信部３４は、外部のサーバなどと通信する。例えば配膳時に、バーコードリーダ２１により読み取った食事をする人のＩＤと、食品の種類と量などを送信する。図示しない外部のサーバは、食事をする人のＩＤと、食品の種類と量などを照合し、その人に合った食事であることを確認し、必要に応じ食事の料金に変換する。
【００２７】
通信部３４は、食事をする人のＩＤと摂取した食品の量と種類とを外部サーバに通信する。これによって、個人毎の食事の摂取状況を管理できる。なおこの発明は、病院、介護施設に限らず、社員食堂、一般の食堂などでも使用できる。2.5Dカメラを備えたスマートフォンのアプリとして用いると、パーソナルユースもできる。メモリ３６は、食品の種類毎に、重量当たりの栄養価を記憶し、図示しないＣＰＵにより食事に含まれる栄養価を求める。栄養価を外部サーバで求めると、メモリ３６は不要である。
【００２８】
図２は、スマートフォン４０に2.5Dカメラ４を実装し、外部の情報処理装置２と通信する食事識別システムを示している。食べる前後の各々に、食事のカラー画像と距離画像をスマートフォン４０から情報処理装置２へ送信する。そして情報処理システム２から返信される食事の摂取状況（食べる前の食事の量から食べ残した食事の量を引いたもの）を、スマートフォン４０が記憶し表示する。
【００２９】
食事の識別では、食べる前と食べた後の各々に、図３の「準備」と図４の「食品の切り分け」を実行し、図５で実際に摂取した食品の量を種類毎に求める。
【００３０】
図３は準備のアルゴリズムを示し、ステップ１でトレーあるいは食器を載せたテーブルなどを2.5Dカメラで撮像する。ステップ２で、トレーの平面あるいはテーブルの平面などを検出し、カメラからの距離画像を、トレーの平面、テーブルの平面などからの高さを表す距離画像に変換する。ステップ３で食器の縁を距離画像から求め、食器の輪郭を高さを含めて抽出する。必要に応じて食器表面のカラー画像を参照し、食器データと比較して、食器の種類を識別する。トレー上の食事の例を図１３に示す。
【００３１】
ステップ４では、距離画像を用いて、食器を含む体積を求め、食器データとして記憶している食器の体積の測定値を引いて、食品の体積の測定値を求める。またステップ５で、食器の種類から食品の候補を抽出する。例えば食器が長皿であれば魚料理などが候補となり、小鉢、丸い大皿、小皿、碗、丼などの食器の種類、及び、必要な場合、食器の種類と色彩の模様により、食品の種類の候補を制限できる。例えば白ご飯、チャーハンなどに対しては、図３で食品の量を求めることができる。  
【００３２】
図４は、食品の切り分けアルゴリズムを示す。ステップ６で、距離画像から食品の境界を抽出する。ここで問題になるのは、同種の食品が接触している場合で、この状況を図６に示す。食品６０，６１は唐揚げなどで、互いに接触している。食品が互いに接触していない部分の輪郭P1，P2は、食器との間で高さが不連続に変化するため、容易に抽出できる。食品６０の輪郭P3が食品６１上に重なっている場合、輪郭P3の内外での高さの変化はシワP5の両側での高さの変化よりも通常は大きい。
【００３３】
ここで、
・  輪郭P3の内外での高さの変化は、シワP5での高さの変化よりも大きい場合が多いこと、
・  輪郭P3は輪郭P1，P2につながり、食品６０，６１を１個の物体と見たときに、物体を横断しているが、シワP5は食品６０，６１を横断することは少ないこと、及び
・  輪郭P3との境目で、輪郭P1，P2は一般に鋭角で交わり、
・  輪郭P3は輪郭P1，P2のいずれか一方と向きが連続するように繋がること、を加味すると、シワP5と区別して、輪郭P3を抽出できる。そして輪郭P3の両側での高さから、輪郭P3は食品６０の輪郭であることも識別できる。必要であれば、輪郭P2の上下の端部を接続するように、食品６１の輪郭P4を推定できる。なお唐揚げと付け合わせのキャベツが重なっているような場合、唐揚げとキャベツでは色彩の特徴が異質なので、より簡単に輪郭を抽出できる。  
【００３４】
図６で、個々の食品６０，６１への切り分けが完了すると、食品６０，６１の大きさ、高さ、距離画像でのテクスチャー（凹凸の程度）、色彩と色彩上のテクスチャーなどから、食品の種類を決定する。
【００３５】
ステップ７で距離画像から食品の中実度を求め、ステップ１０で中実度による補正を行う。なおステップ７，１０は省略しても良い。中実度のモデルを図７に示す。７０は食器の面で、７１，７２は唐揚げなどの同種の食品とする。発明者の経験によると、食品の体積の測定値が同じでも、凹凸あるいはシワが多い食品７１は、凹凸あるいはシワが少ない食品７２よりも軽い。食品７１で凹凸あるいはシワが多いことは、その表面Ｓが変化に富むことを意味する。そして凹凸あるいはシワが多いことは、距離画像で食品の表面までの距離が不連続に変化すること、即ち高さの段差があること、食品の重心から表面までの距離の分布が広いこと、あるいは図に矢印で示す表面の法線方向が不規則に変化すること、などから検出できる。凹凸あるいはシワの少ない食品７２では、表面Ｓ'は平滑で、重心から表面までの距離の分布は狭く、表面からの法線方向は連続的にゆっくりと変化する。
【００３６】
距離画像から食品７１の重心Ｇ、食品７２の重心Ｇ'を推定できる。食品７１について、表面Ｓの各点に対し、重心Ｇからの距離を求め、距離の平均値、標準偏差などの統計量を求める。同様に、食品７２の表面Ｓ'の各点に対し、重心Ｇ'からの距離の平均値、標準偏差などの統計量を求める。距離の標準偏差は食品７１では、食品７２によりも大きくなる。
【００３７】
重心Ｇ，Ｇ'からの距離に代えて、表面での法線方向の自己相関距離などを求めても、表面Ｓ，Ｓ'の変化の程度を求めることができる。食品７１では法線方向の相関が保たれる距離は短く、食品７２では長い。そこで表面Ｓ'の変化が小さい食品７２では中実度が高く、表面Ｓの変化が激しい食品７１では中実度が低くなるように、中実度を定める。
【００３８】
ステップ８では、図８〜図１０のようにして、食品毎の体積の測定値を求める。図８では、カメラ４により食品７３の距離画像を取得する。ここで食品７３の底面などは撮像できないので、食品７３の縁（輪郭）から鉛直下向きに面７０まで食品７３が存在するなどのことを仮定し、体積の測定値を求める。
【００３９】
図９では、キャベツなどの付け合わせから成る食品７４の上に、唐揚げなどの食品７３が乗っている。距離画像とカラー画像とから、キャベツと唐揚げの境界は簡単に抽出できる。そこでキャベツから成る食品７４の露出部から図の破線のように、その上面を推定できる。唐揚げからなる食品７３は互いに接触しているが、例えば図６のアルゴリズムにより、個別の唐揚げの境界を抽出する。そしてキャベツから成る食品７４の上面からの見かけの総体積を求め、比重を乗算する。
【００４０】
なお多数の唐揚げが積み重なり、個々の唐揚げに切り分けることが難しい場合、唐揚げの見かけの総体積を求めて、個々の唐揚げに切り分けることを省略しても良い。この場合、例えば唐揚げが積み重なっている場合の学習データを参照し、体積の測定値と、図７と同様に求めた中実度と、比重から、唐揚げの真の重量を推定する。
【００４１】
図１０では、丼７６に盛られた食品７７の体積を推定する。丼７７の形状を食器データから読み出し、食品７７の体積を推定する。図１２にトレー上の食事の例を示す。
【００４２】
ステップ９で、食品が複数種の要素から成る場合に、要素毎の体積を推定する。例えば麺類がスープから透けて見えている場合、類似の状況での学習データを参照して、麺の量とスープの量を推定する。麺が見えない場合、例えば麺は食べたと推定する。またカレー、丼ものなどの場合、ご飯を主とする領域、ご飯とルーあるいは具が混ざった領域、ルーあるいは具が主な領域に３分割し、領域毎の体積を求める。      
【００４３】
食べ残しのカレーライスの例を図１１に示し、皿８０上にご飯を主とする領域８１とご飯とルーが混ざった領域８２がある。これらの領域をカラー画像と距離画像とから切り分け、領域８１，８２毎の体積を推定する。  
【００４４】
ステップ１０で、食品毎の体積の測定値を中実度で補正し、比重を乗算して、食品毎の重量を求める。ステップ１１では、食品の種類毎の量を、トレーのＩＤと対応させて記憶する。
【００４５】
図３，図４の処理を食べる前と食べた後に実行し、図５のステップ１２，１３により、実際に食べた食品の量を食品の種類（要素）毎に求める。
【００４６】
図１２にトレー上の食事の例を示す。図１３に３個の唐揚げのカラー画像（ａ）と距離画像（ｂ）を示し、中実度の補正なしでの体積の測定値と、真の重量の関係とを図１４に示す。重量誤差の平均値は約５％、誤差の最大値は１６％であった。測定した体積を中実度により補正すると、誤差の平均値は約４％、誤差の最大値は１１％に減少した。  
【００４７】
図１５は、白飯での体積の測定値（中実度の補正なし）と真の重量との関係を示す。中実度の補正なしで、極めて正確に白飯の重量を推定できた。  
【００４８】
実施例では、食べる前と食べた後に食品の種類と体積を正確に求めることができるので、実際に食べた食品の量を種類毎に求めることができる。人手による重量の測定、栄養士による栄養価の入力などは不要である。食品が複数の要素から成る場合でも、要素毎の摂取量を識別できる。またトレーのＩＤと対応付けることにより、食べる前と後のデータを対応付けることができる。
【符号の説明】
【００４９】
２          情報処理装置
４          2.5Dカメラ
５          カラーカメラ
６          IRレーザ
７          IRカメラ
１０        通路
１２        ワゴン車  
１４        トレー
１５        ＩＤ
１６        平面
１７        食器
２０        バス
２１        バーコードリーダ
２２        平面検出部
２３        輪郭抽出部
２４        特徴量抽出部
２５        体積計算部
２６        中実度計算部
２７        食品識別部
２８        食品量計算部
３０〜３２  メモリ      
３３        演算部
３４        通信部      
３６        メモリ      
４０        スマートフォン
６０，６１  食品
７０        食器の面
７１，７２  食品
７３，７４  食品
７６        丼
７７        米飯
８０        皿
８１，８２  領域
P1〜P4      輪郭
P5          シワ
Ｓ，Ｓ’    表面    
【図１】
2018147415.tif 000003
【図２】
2018147415.tif 000004
【図３】
2018147415.tif 000005
【図４】
2018147415.tif 000006
【図５】
2018147415.tif 000007
【図６】
2018147415.tif 000008
【図７】
2018147415.tif 000009
【図８】
2018147415.tif 000010
【図９】
2018147415.tif 000011
【図１０】
2018147415.tif 000012
【図１１】
2018147415.tif 000013
【図１２】
2018147415.tif 000014
【図１３】
2018147415.tif 000015
【図１４】
2018147415.tif 000016
【図１５】
2018147415.tif 000017