(57)【要約】 【課題】  同じ食器に複数の食事が載っている場合でも、食事の種類を識別する。【構成】  トレイのカラー画像と、トレイの深度画像を撮像する。食器の輪郭を表す複数の特徴点から成る食器モデルを記憶し、食器モデルを深度画像に対し移動させる。移動中の複数の位置で、食器モデルの特徴点と深度画像での深度とを比較し、食器モデルに従って食器の種類を識別する。食器の種類に基づいて食事の候補を選択し、カラー画像から食事の種類を識別し、識別結果を表示するタッチパネル付きのモニタに表示する。モニタでは、食事の数を追加するための追加ボタンを食器の付近に表示し、追加ボタンにユーザがタッチすると、食事の候補のメニューを表示し、メニューからユーザが入力した食事の種類に基づいて、食器内の食事の数と種類を訂正する。【選択図】    図１２
2020160816.tif 000002
【特許請求の範囲】
【請求項１】
食事の種類を識別する食事識別システムであって、
トレイ内のカラー画像あるいは白黒画像を撮像する第１のカメラと、
トレイ内の深度画像を撮像する深度カメラと、
食器の輪郭を表す複数の特徴点から成り、各特徴点は、食器の中心からの距離と食器の中心と交わる線分からの方位と深度のデータを有する食器モデルを、複数個記憶するメモリと、
食器モデルの中心を深度画像に対し移動させるスキャン処理部と、
スキャン処理部により移動中の複数の位置において、食器モデルの特徴点の深度と深度画像での対応する点の深度とを、特徴点毎に比較することにより、食器モデルと深度画像とのマッチング度合いを評価し、かつマッチング度合いが所定の条件を充たす際に、食器モデルに従って食器の種類を識別する評価部と、
識別した食器の種類に基づいて食事の候補を選択し、選択した食事の候補と、前記カラー画像あるいは白黒画像とから食事の種類を識別する食事識別部と、
食事の識別結果を表示するタッチパネル付きのモニタと、
ヒューマンインターフェースとを備え、
モニタとヒューマンインターフェースとにより、
食器内の食事の数を追加するための追加ボタンを食器の付近に表示し、
追加ボタンにユーザがタッチすると、識別した食器の種類に基づいて食事の候補のメニューを表示し、
表示したメニューからユーザが入力した食事の種類に基づいて、食器内の食事の数と種類を訂正する、食事識別システム。
【請求項２】
前記モニタと前記ヒューマンインターフェースとにより、
トレイ内でかつ食器外の食事を追加するための第２の追加ボタンを表示し、
第２の追加ボタンにユーザがタッチすると、食事の候補の第２のメニューを表示し、
第２のメニューからユーザが入力した食事の種類に基づいて、食器外の食事の数と種類を訂正する、請求項１の食事識別システム。
【請求項３】
第１のカメラからのカラー画像あるいは白黒画像と、深度カメラからの食器の深度画像と、タッチパネル付きのモニタを用い、コンピュータにより食事の種類を識別する食事識別プログラムであって、
前記コンピュータを、
食器の輪郭を表す複数の特徴点から成り、各特徴点は、食器の中心からの距離と食器の中心と交わる線分からの方位と深度のデータを有する食器モデルを、複数個記憶するメモリと、
食器モデルの中心を深度画像に対し移動させるスキャン処理部と、
スキャン処理部により移動中の複数の位置において、食器モデルの特徴点の深度と深度画像での対応する点の深度とを、特徴点毎に比較することにより、食器モデルと深度画像とのマッチング度合いを評価し、かつマッチング度合いが所定の条件を充たす際に、食器モデルに従って食器の種類を識別する評価部と、
識別した食器の種類に基づいて食事の候補を選択し、選択した食事の候補と、前記カラー画像あるいは白黒画像とから食事の種類を識別する食事識別部として動作させると共に、  前記コンピュータにより、
前記モニタに、食器内の食事の数を追加するための追加ボタンを食器の付近に表示し、  前記追加ボタンにユーザがタッチすると、識別した食器の種類に基づいて食事の候補のメニューをモニタに表示し、
モニタに表示したメニューからユーザが入力した食事の種類に基づいて、食器内の食事の数と種類を訂正する、食事識別プログラム。    
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、食事識別システムと識別プログラムに関する。
【背景技術】
【０００２】
特許文献１（ＪＰ２００９−１７６２０９Ａ）は、食器の種類が判明すれば単価も定まるとの前提で、食器の識別により食事料金の精算を行うことを提案している。この技術では、ステレオカメラにより食器を撮像することにより、食器を識別する。食器毎に単価があらかじめ定まっているので、識別した食器に対応する単価を加算すると、食事の料金が得られる。
【０００３】
出願人は、距離画像とカラー画像とから、食器の種類を識別し、食器の種類に基づいて食事の候補の種類を制限し、カラー画像から食事を識別することを提案した（特許文献２：ＪＰ２０１８−１４７４１６Ａ）。
【０００４】
ところで食堂、カフェテリア等の利用者が、１枚の皿にあるいは１個の食器に、揚げ物、ご飯ものなど、複数の食事を選んで乗せることがある。利用者が任意に選んだ複数の食事を切り分け、食事毎に画像識別することは難しい。なおこの場合、食器を識別しても、食事の識別はできない。従って、利用者が複数種類の食事を選んで１個の食器に載せる形式の場合、食事の識別は困難になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】ＪＰ２００９−１７６２０９Ａ
【特許文献２】ＪＰ２０１８−１４７４１６Ａ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この発明の課題は、食事の識別において、利用者が選んだ複数種類の食事が１個の食器に載っている場合にも対応できるようにすることにある。
【課題を解決するための手段】
【０００７】
この発明の食事識別システムでは、
トレイ内のカラー画像あるいは白黒画像を撮像する第１のカメラと、
トレイ内の深度画像を撮像する深度カメラと、
食器の輪郭を表す複数の特徴点から成り、各特徴点は、食器の中心からの距離と食器の中心と交わる線分からの方位と深度のデータを有する食器モデルを、複数個記憶するメモリと、
食器モデルの中心を深度画像に対し移動させるスキャン処理部と、
スキャン処理部により移動中の複数の位置において、食器モデルの特徴点の深度と深度画像での対応する点の深度とを、特徴点毎に比較することにより、食器モデルと深度画像とのマッチング度合いを評価し、かつマッチング度合いが所定の条件を充たす際に、食器モデルに従って食器の種類を識別する評価部と、
識別した食器の種類に基づいて食事の候補を選択し、選択した食事の候補と、前記カラー画像あるいは白黒画像とから食事の種類を識別する食事識別部と、
食事の識別結果を表示するタッチパネル付きのモニタと、
ヒューマンインターフェースとを備えている。
【０００８】
この発明の食事識別プログラムは、第１のカメラからのカラー画像あるいは白黒画像と、深度カメラからの食器の深度画像と、タッチパネル付きのモニタを用い、コンピュータにより食事の種類を識別する。
この発明では、前記コンピュータを、
食器の輪郭を表す複数の特徴点から成り、各特徴点は、食器の中心からの距離と食器の中心と交わる線分からの方位と深度のデータを有する食器モデルを、複数個記憶するメモリと、
食器モデルの中心を深度画像に対し移動させるスキャン処理部と、
スキャン処理部により移動中の複数の位置において、食器モデルの特徴点の深度と深度画像での対応する点の深度とを、特徴点毎に比較することにより、食器モデルと深度画像とのマッチング度合いを評価し、かつマッチング度合いが所定の条件を充たす際に、食器モデルに従って食器の種類を識別する評価部と、
識別した食器の種類に基づいて食事の候補を選択し、選択した食事の候補と、前記カラー画像あるいは白黒画像とから食事の種類を識別する食事識別部として動作させる。
【０００９】
この発明では、モニタとヒューマンインターフェースとにより、
・  食器内の食事の数を追加するための追加ボタンを食器の付近に表示し、
・  追加ボタンにユーザがタッチすると、識別した食器の種類に基づいて食事の候補のメニューを表示し、
・  表示したメニューからユーザが入力した食事の種類に基づいて、食器内の食事の数と種類を訂正する。
【００１０】
この発明では、食器モデルの中心を深度画像に対し移動させながら、食器モデルと深度画像とのマッチング度合いを評価する。食器モデルに対応する食器がその位置にあれば、複数の特徴点に渡って特徴点の深度と深度画像での深度は一致し、そうでなければ、食器モデルと深度画像とで深度が一致しない。この発明は、複数の特徴点の一部が隠れても、残る特徴点でマッチングできるので、食器が重なり輪郭が一部隠れる場合の食事識別に適している。
【００１１】
食器の種類を識別すると食事の候補が定まり、食事の画像を用いて食事を識別できる。しかし１個の食器に複数の食事が載っている場合、正確な識別は困難である。そこで食器内の食事の数を追加するための追加ボタンを食器の付近に表示し、追加ボタンにユーザがタッチすると、食事の候補のメニューを表示し、ユーザの入力をアシストする。そしてユーザが入力した食事の種類に基づいて、食器内の食事の数と種類を訂正する。このようにすると、１個の食器に複数の食事が載っている場合でも、食事の種類と数を決定できる。
【００１２】
好ましくは、前記モニタと前記ヒューマンインターフェースとにより、
・  トレイ内でかつ食器外の食事を追加するための第２の追加ボタンを表示し、
・  第２の追加ボタンにユーザがタッチすると、食事の候補の第２のメニューを表示し、
・  第２のメニューからユーザが入力した食事の種類に基づいて、食器外の食事の数と種類を訂正する。このようにすると、食器外に置かれた食事の種類と数も決定できる。
【００１３】
好ましくは、食器モデルは、回転不要または１／ｎ回転で不変（ｎは１以上の自然数）の属性を備え、かつ食器モデルの属性が１／ｎ回転で不変の場合、スキャン処理部により食器モデルの中心を移動させることと同時に、食器モデルを中心回りに１／ｎ回転させる回転制御部をさらに備えている。
【００１４】
食器モデルの形状が円形で無い場合、食器モデルの向きによって、マッチングの度合いが変化する。しかし正方形の食器モデルであれば、90°回転させると食器モデルは元に戻る。また長方形の食器モデルであれば、180°回転させると食器モデルは元に戻る。そこで食器モデルに回転不要（円形）、１／ｎ回転で不変との属性を持たせ、この属性に従って食器の向きを変化させると、食器モデルと食器とで向きが異なっていてもマッチング度合いを評価できる。
【００１５】
好ましくは、食器モデルとして、特徴点の数が多くかつ少なくとも食器の種類毎に設けられた詳細モデルと、特徴点の数が少なくかつモデルの数が詳細モデルの数よりも少ない簡易モデルとの、少なくとも２種類のモデルを設ける。ここで１個の簡易モデルに１個〜複数個の詳細モデルを対応させる。評価部は、簡易モデルでのマッチング度合いが所定の条件を充たす際に、対応する１個〜複数個の詳細モデルとのマッチング度合いを評価する。
【００１６】
最初から詳細モデルを適用すると、マッチング度合いの評価に時間がかかる。これに対して最初に簡易モデルを適用し、有望な場合に詳細モデルを適用すると、評価を高速で行える。特に１個の簡易モデルに複数個の詳細モデルが対応すると、簡易モデルのマッチング度合いが高い際に、複数個の詳細モデルを順に評価できる。すると簡易モデルを適用する回数を減らし、処理をより高速で行える。勿論、１個の詳細モデルのみに対応する簡易モデルがあっても良い。  
【００１７】
好ましくは、背が高い食器モデルから背の低い食器モデルへの順に食器モデルを用いる。背が高い食器は輪郭が隠れにくく、識別が容易である。容易に識別できる食器から順に特定し、残る食器はその後に識別する。  
【図面の簡単な説明】
【００１８】
【図１】実施例の食事識別システムのブロック図
【図２】実施例のアルゴリズムの概略図
【図３】実施例の食事識別アルゴリズムのフローチャート
【図４】実施例でのモデルの適用順序を模式的に示す図
【図５】互いに重なる食器を模式的に示す図
【図６】円形の食器モデルを示す図
【図７】正方形に近い食器モデルを示す図
【図８】長方形に近い食器モデルを示す図
【図９】食器の種類を約半数決定した状態を模式的に示す図
【図１０】実施例の食事識別アルゴリズムのフローチャート
【図１１】実施例での食事の種類と数の入力アルゴリズムのフローチャート
【図１２】実施例での食事の種類と数の入力過程を模式的に示す図
【発明を実施するための形態】
【００１９】
以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。
【実施例】
【００２０】
図１〜図１２に実施例を示す。図１は食事識別システム２の構成を示し、テーブルの上面０１に置かれたトレイ０２上の食事を識別する。なおこの明細書で、食事は「○○うどん」、「鳥の唐揚げ」、「鮭おにぎり」、「サツマイモの天ぷら」など、識別の単位となる食品あるいは食品の集まりを意味する。食事は、食器Ｗ１〜Ｗ３等に載せられているものと、おにぎりなどトレイ０２上に直接載せられているものを想定する。
【００２１】
撮像装置３は例えばカラーカメラ４と深度カメラ５とを備えている。カラーカメラ４からのカラー画像と、深度カメラ５からの深度画像を、入力インターフェース６を介して、食事識別システム２に入力し、カラー画像をメモリ７に記憶する。深度画像はノイズを伴う場合が多いので、好ましくは平滑化部９により深度を平滑化し、メモリ８に記憶する。ノイズが小さい場合、平滑化せずに深度画像をメモリ８に記憶させても良い。またノイズが大きい場合でも、平滑化せずに深度画像を記憶し、読み出す都度平滑化しても良い。
【００２２】
シーケンサー１０〜評価部１４は、食器モデルを用いて深度画像上に食器に割り当てる。なおインターフェース６〜後述のヒューマンインターフェース３０，インターフェース３６は、図示しないコンピュータのＣＰＵとメモリに記憶した食事識別プログラムとにより実現できる。食器モデルに関して、簡易モデルをメモリ１６に、詳細モデルをメモリ１７に記憶し、簡易モデルが定まると詳細モデルが１個〜複数個定まる。詳細モデルの数は識別する食器の種類の数以上で、簡易モデルの数は詳細モデルの数よりも少なく、例えば食器の種類よりも少ない。メモリ１８は、作業データの記憶、識別結果の記憶等に用いる。
【００２３】
シーケンサー１０は適用する簡易モデルの順序を定め、一般に背が高い食器モデルから適用する。背が高い食器モデルは、輪郭が隠れにくく、識別が容易である。同じ背の高さの食器モデルが複数ある場合、識別が容易な大きな食器モデルから適用しても、ルールを定めず任意の順序で適用しても良い。
【００２４】
スキャン制御部１１は、深度画像に対し食器モデルの中心を移動させ、深度画像を食器モデルによりスキャンする。また食器モデルが円形でなく、中心回りの回転により特徴点の配置が変化する場合、スキャンと同時に、回転制御部１２により食器モデルをその中心回りに回転させる。食器モデルの中心の位置毎に（スキャンでの１回の移動毎に）、１回転までの範囲で全回転角分、食器モデルを回転させても良い。またスキャン時間を短縮するため、簡易モデルのマッチングでは、食器の中心が次の位置へ移動する毎に、所定角度ずつ回転させても良い。
【００２５】
評価部１４は、食器のモデルの位置（食器モデルの中心位置）毎に、また回転させる場合には位置と回転角とのペア毎に、食器モデルの各特徴点での深度と、深度画像での対応点の深度とを比較し、これらの誤差を求める。なお深度画像での対応点は、食器モデルの特徴点と画像上の位置が一致する点である。そして例えば誤差の２乗和を求め、食器モデルでの特徴点の総数などで割って、マッチング度合いとする。深度画像での対応点が他の食器により覆われていると推定できる場合、あるいは食器モデルでの対応点が深度画像の視野から外れている場合、食器モデルでの特徴点の総数よりも、比較可能な特徴点の数が少なくなる。このような場合、上記の２乗和を、実際に使用した特徴点の数で割っても良い。マッチング度合いは、２乗和に限らず、誤差の絶対値の和など、適宜の方法で評価できる。
【００２６】
食器Ｗ１〜Ｗ３の種類を識別すると、食事識別部２０は食器内の食事の種類あるいは種類に加えて量を識別する。食事識別のアルゴリズムは、例えば特許文献２に記載のものを用いる。識別した食事の種類をヒューマンインターフェース３０を介してタッチパネル型のモニタ３２に表示し、ユーザ（トレイを運んできた利用者、カフェテラスの店員等）による入力を受付ける。これは、１つの食器に複数の食事が盛られている場合、食事の識別が難しいこと、及びラップされたおにぎりなど、食器Ｗ１〜Ｗ３上ではなく、トレイ０２上に直接置かれた食事があることのためである。ユーザの入力により訂正した識別結果を、出力インターフェース３６を介して、レジ装置３８等へ出力する。
【００２７】
図２は実施例全体のアルゴリズムを示し、ステップ１でトレイ０２の深度画像とカラー画像を撮像する。なおカラー画像の代わりに白黒画像を用いても良い。ステップ２で食器の種類を識別し、ステップ３で食器内の食事を識別する。ステップ４で、モニタ３２とヒューマンインターフェース３０を介して食事の種類を入力し、識別結果を訂正する。
【００２８】
図３，図４に食器識別アルゴリズムを示す。背が高い食器モデルから低い食器モデルへの順にスキャンし、他の食器の陰になりにくいためマッチングが容易な食器からマッチングする。また食器モデルが円形で無い場合、回転させながらスキャンする（ステップ２１）。マッチングでは、深度画像からの輪郭抽出（食器の切り分け）は行わず、また深度画像から欠落領域を推定する（輪郭が閉じるように延長する）等の処理も行わない。特徴点の一部が深度画像から欠落していても、残る特徴点で識別できる。経験によると、特徴点の５０％以上が深度画像内に見えていると、識別に成功した。このように、特徴点の欠落に対する頑健性が高い。    
【００２９】
そして簡易モデルがマッチングすると、詳細モデルに切り替える。この時、狭い範囲で詳細モデルの中心位置と向きを変化させ、正確なマッチングを行う（ステップ２２）。マッチングに成功すると、食器の種類を決定し、例えばワーキングデータに食器の種類と位置及び向きのデータを記憶させる。好ましくは、食器が覆っているエリアをマスクし、以降の食器の識別で、このエリア内の特徴点は利用しないようにする（ステップ２３）。そして食器の種類と位置及び向きを出力する（ステップ２４）。
【００３０】
図５はトレイ０２上の食器Ｗ１〜Ｗ５を示し、実線と破線とで挟んだ範囲が輪郭である。食器Ｗ１が最も背が高く、他の食器により特徴点が隠れていない。食器Ｗ１〜Ｗ５には円形（Ｗ１、Ｗ３〜Ｗ５）、角形（Ｗ２）などの形状があり、輪郭から食器の中心へ移動すると急激に高さが低下するもの（Ｗ４）と、肉厚である等のため高さの低下が小さいもの（Ｗ１，Ｗ３）がある。何れもの食器も、輪郭よりも外側で高さが急激に低下する。
【００３１】
食器モデルの例を図６〜図８に示す。食器モデルは、モデルの中心Ｃと複数の特徴点Ｐとから成り、簡易モデルと詳細モデルの双方に用いる特徴点を記号●で示し、Ｐ１〜Ｐ４等の符号を用いた。○で示し番号の無い符号Ｐで示す特徴点Ｐは、詳細モデルでのみ使用する。中心Ｃから例えば最初の特徴点Ｐ１へ向かう線分Ｓ１から、例えば反時計回りに特徴点Ｐの方位θを定め、各特徴点は、中心Ｃからの距離ｒと、方位θと、深度ｄとを備えている。また特徴点から中心Ｃへの方向を内側、中心Ｃとは反対への方向を外側とする。特徴点の外側で深度は急増する。特徴点から中心への方向に沿って、輪郭が平坦か急峻かを示すため、例えば特徴点から中心へ一定の距離移動した際の深度の変化分（輪郭の勾配）などのデータを、特徴点に追加しても良い。
【００３２】
図６の食器モデルは円形で、回転不要の属性を有する。図７の食器モデルは１／４回転すると回転前の形状と一致するので、１／４回転の属性を有し、図８では１／２回転の属性を有する。１回転しないと回転前の形状に戻らない場合、回転に関する属性は１回転である。
【００３３】
食器モデルとのマッチングでは、中心Ｃを移動させて深度画像をスキャンし、回転が必要な属性の場合、所定の角度範囲で食器モデルを中心Ｃ回りに回転させる。中心の位置と回転角のペア毎に、特徴点に対応する深度画像上の点の深度を読み出し、特徴点の深度との誤差を評価する。そして誤差を積算し、用いた特徴点の数などで正規化すると、マッチング度合いが得られる。
【００３４】
簡易モデルが所定値以上のマッチング度合いを示す場合、詳細モデルとのマッチングを行う。なお簡易モデルが定まると、詳細モデルは１個〜複数個定まる。また簡易モデルに比べ、詳細モデルでは中心の１回の移動距離及び１回の回転角を小さくし、より正確なマッチングを行う。ただし中心を移動させる範囲、及び食器モデルを回転させる角度範囲は、簡易モデルのマッチングで得られた値の付近に制限する。そしてマッチング度合いが最高でかつ所定値以上の食器モデルが正しいものとする。
【００３５】
図９は５個の食器の内で、３個までマッチングに成功した状態を示す。食器モデルの背の高さを特徴点の深度の平均値等に基づいて定める。背が高い食器は輪郭が隠れにくいので、モデルとのマッチングも容易で、図９では最も背が高い大皿からマッチングを開始している。図９で、右下の食器とその下部に示した食器モデルとをマッチングするものとする。食器モデルを配置すると、特徴点Ｐ３の対応点は大皿に隠れていると推定できる。そこで特徴点Ｐ３をマッチングから除外することが好ましい。同様に、深度画像の視野から外れていると推定できる特徴点があれば、マッチングから除外することが好ましい。
【００３６】
図１０は食器内の食事の識別アルゴリズムを示す。食器の種類毎に食事の種類の候補を食事識別部２０に登録しておき、食事の候補を抽出する（ステップ３１）。食器モデルでの底面を越えるものを食事とし、深度画像から食事の輪郭を抽出する（ステップ３２）。これによって食事の候補をさらに限定し、かつ食事の量と食事の数（例えば１皿内の天ぷらなどの数）を推定できる。深度画像とカラー画像から食事の特徴量を抽出し（ステップ３３）、特徴量から食事の種類を識別する（ステップ３４）。
【００３７】
しかしながら、食事の識別にはエラーが有り得る。特に１つの食器に複数の食事が載せられている場合は、個々の食事の抽出が困難なことと、食事が互いに重なって食事全体の画像を得にくいことなどのため、食事識別の精度が低下する。そこで図１１のアルゴリズムを用い、図１２のようにして、識別結果を編集あるいは訂正する。用いるハードウェアは、図１のタッチパネル付きのモニタ３２とヒューマンインターフェース３０である。
【００３８】
図１２の左上のようにモニタに識別結果を表示し、例えば食事の画像の付近、識別した食事名を表示する。登録ボタン４０は識別結果を確定させるためのボタン、＋ボタン４１〜４３は食事を追加するためのボタンで、食器に対応するように表示する。＋ボタン４１は食器Ｗ１に、＋ボタン４３は食器Ｗ２に対応する。全ての食器に＋ボタンを表示しても良く、逆に一部の食器には＋ボタンを表示しなくても良い。また＋ボタン４２は食器外の食事、図の場合トレイ０２の左上のおにぎりなどを入力するためのボタンである。
【００３９】
皿Ｗ１内に「かぼちゃ」（天ぷら）と表示し、丼Ｗ２内に「塩豚うどん」と識別結果を表示し、皿Ｗ１の識別結果は誤っている。そこでユーザは訂正が必要なエリアを図の破線のように指示し、＋ボタン４１にタッチし、食事の個数を増すことを入力する（ステップ４１）。なお食事の個数を追加せずに、識別結果を「かぼちゃ」から「げそ」等に訂正する場合、＋ボタン４１にタッチせず、訂正しようとする食事を指定する。また訂正しようとするエリアあるいは食事を指定する代わりに、単に皿Ｗ１内の任意の点にタッチし、皿Ｗ１に関する識別結果を訂正することを指定しても良い。  
【００４０】
＋ボタン４１がタッチされたことに対応し、モニタにメニュー４４を表示し、皿Ｗ１内の食事の候補画像を表示する（ステップ４２）。メニューが多く、一度に表示できない場合、メニューの上部に「天ぷら」「おでん」など、メニューの種類を表示し、どの種類のメニューを表示するか、ユーザに入力してもらう。図では「天ぷら」のメニューを表示し、天ぷらの画像と名前を種類毎に表示する。
【００４１】
ユーザはメニュー４４から天ぷらの種類と数を入力し（ステップ４３）、例えば皿Ｗ１の食事を「さつまいも」と「コロッケ」と訂正し、決定ボタン４５にタッチし、訂正結果を決定する（ステップ４４）。
【００４２】
トレイ０２には食器Ｗ１，Ｗ２に載っていない食事がある（ステップ４５）ので、該当個所を例えば図１２の左下の破線のように指定し、＋ボタン４２にタッチする（ステップ４６）。ここでの該当個所は入力結果を表示する場所であり、入力したい食事の付近でなくても良い。
【００４３】
食事の候補のメニュー４６をモニタに表示し、メニューの種類が多い場合、「ご飯」、「その他」などのカテゴリー毎にメニューを切り替え、ここでは「ご飯」をユーザが選択したとする。またメニュー４６には食事の画像（図示を省略）を食事名と共に表示する（ステップ４７）。ユーザは、メニュー４６の食事の画像あるいは食事名にタッチすることにより、食事を追加あるいは編集する（ステップ４８）。入力した食事の種類を例えば「梅おにぎり」と「鮭おにぎり」のように表示し、入力が完了するとユーザは決定ボタン４５にタッチし、入力内容を決定する（ステップ４９）。
【００４４】
以上のように入力を完了すると、図１２の右下のように食事名が食事の画像の付近に表示され、ユーザが登録ボタン４０にタッチすると、識別及びユーザが入力した食事のリストに基づいて、食事料金の精算、あるいは患者毎の食事内容の記録等が行われる。
【符号の説明】
【００４５】
０１        テーブルの上面
０２        トレイ
２          食器識別システム
３          撮像装置
４          カラーカメラ
５          深度カメラ
６          入力インターフェース
７，８      メモリ
９          平滑化部
１０        シーケンサー
１１        スキャン制御部
１２        回転制御部
１４        評価部
１６〜１８  メモリ
２０        食事識別部
３２        モニタ
３６        出力インターフェース
３８        レジ装置
４０        登録ボタン
４１〜４３  ＋ボタン
４４，４６  メニュー表示
４５        決定ボタン
Ｃ            食器の中心
Ｐ            特徴点
Ｓ１          線分
θ            方位
Ｗ            食器    
【図１】
2020160816.tif 000003
【図２】
2020160816.tif 000004
【図３】
2020160816.tif 000005
【図４】
2020160816.tif 000006
【図５】
2020160816.tif 000007
【図６】
2020160816.tif 000008
【図７】
2020160816.tif 000009
【図８】
2020160816.tif 000010
【図９】
2020160816.tif 000011
【図１０】
2020160816.tif 000012
【図１１】
2020160816.tif 000013
【図１２】
2020160816.tif 000014