(57)【要約】【課題】  提供物に対する顧客の関心度を適切に判定することを可能とするシステム及び方法を提供する。【解決手段】  システムは、料理及び飲料の少なくともいずれか１つを含む提供物の提供に用いる第１食器を撮像する撮像部と、前記撮像部によって撮像された画像に基づいて、前記第１食器の絶対位置の変化履歴を特定する分析部と、を備える。前記分析部は、前記第１食器の絶対位置の変化履歴に基づいて、前記提供物に対する前記顧客の関心度を判定する。【選択図】  図２
2020170289.tif 000002
【特許請求の範囲】
【請求項１】
料理及び飲料の少なくともいずれか１つを含む提供物の提供に用いる第１食器を撮像する撮像部と、
前記撮像部によって撮像された画像に基づいて、前記第１食器の絶対位置の変化履歴を特定する分析部と、を備え、
前記分析部は、前記第１食器の絶対位置の変化履歴に基づいて、前記提供物に対する顧客の関心度を判定する、システム。
【請求項２】
前記分析部は、前記第１食器の絶対位置の変化履歴及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記第１食器の絶対位置の変化履歴に基づいて前記関心度を判定する、請求項１に記載のシステム。
【請求項３】
前記撮像部は、前記提供物の飲食に用いる第２食器を撮像し、
前記分析部は、前記撮像部によって撮像された画像に基づいて、前記第１食器に対する前記第２食器の相対位置の変化履歴を特定し、
前記分析部は、前記第２食器の相対位置の変化履歴に基づいて、前記関心度を判定する、請求項１又は請求項２に記載のシステム。
【請求項４】
前記分析部は、前記第２食器の相対位置の変化履歴及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記第２食器の相対位置の変化履歴に基づいて前記関心度を判定する、請求項３に記載のシステム。
【請求項５】
前記分析部は、前記撮像部によって撮像された画像に基づいて、前記顧客の前に設けられる所定領域に対する前記第１食器の相対位置を特定し、
前記分析部は、前記第１食器の相対位置に基づいて、前記関心度を判定する、請求項１乃至請求項４のいずれか１項に記載のシステム。
【請求項６】
前記撮像部は、前記提供物の飲食に用いる第２食器を撮像し、
前記分析部は、前記撮像部によって撮像された画像に基づいて、前記第２食器の位置が所定位置であるか否かを特定し、
前記分析部は、前記第２食器の位置が前記所定位置であるか否か及び前記提供物が提供されてから経過した時間に基づいて、前記関心度を判定する、請求項１乃至請求項５のいずれか１項に記載のシステム。
【請求項７】
前記分析部は、前記第２食器の位置が前記所定位置であるか否か、前記提供物が提供されてから経過した時間及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記第２食器の位置が前記所定位置であるか否か及び前記提供物が提供されてから経過した時間に基づいて前記関心度を判定する、請求項６に記載のシステム。
【請求項８】
前記撮像部は、前記顧客を撮像し、
前記分析部は、前記撮像部によって撮像された画像に基づいて、前記顧客が離席したか否かを判定し、
前記分析部は、前記顧客が離席したか否か及び前記提供物が提供されてから経過した時間に基づいて、前記関心度を判定する、請求項１乃至請求項７のいずれか１項に記載のシステム。
【請求項９】
前記分析部は、前記顧客が離席したか否か、前記提供物が提供されてから経過した時間及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記顧客が離席したか否か及び前記提供物が提供されてから経過した時間に基づいて前記関心度を判定する、請求項８に記載のシステム。
【請求項１０】
前記分析部は、前記撮像部によって撮像された画像に基づいて、前記第１食器における前記提供物の残量を特定し、
前記分析部は、前記提供物の残量に基づいて、前記関心度を判定する、請求項１乃至請求項９のいずれか１項に記載のシステム。
【請求項１１】
前記分析部は、前記提供物の残量及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記提供物の残量に基づいた前記関心度を判定する、請求項１０に記載のシステム。
【請求項１２】
前記分析部は、前記提供物が提供されてから経過した時間が長いほど、前記関心度が低くなるように前記関心度を変更する、請求項１乃至請求項１１のいずれか１項に記載のシステム。
【請求項１３】
料理及び飲料の少なくともいずれか１つを含む提供物の提供に用いる第１食器を撮像するステップと、
前記撮像部によって撮像された画像に基づいて、前記第１食器の絶対位置の変化履歴を特定するステップと、
前記第１食器の絶対位置の変化履歴に基づいて、前記提供物に対する顧客の関心度を判定するステップと、を備える、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム及び方法に関する。
【背景技術】
【０００２】
従来、次の料理又は飲料を配膳するタイミングを適切に特定する方法が提案されている。具体的には、料理、飲料及び食器の映像に基づいて、料理又は飲料について初期量及び現在量を比較し、比較結果に基づいて、次の料理又は飲料を配膳するタイミングを適切に特定する方法が例示されている（例えば、特許文献１）。
【０００３】
また、顧客から離れた位置に皿が放置されている場合に、その皿に盛られた料理について食事が終了していると判定する、２つの皿が重ねられている場合に、その２つの皿に盛られた料理について食事が終了していると判定する、ナイフやフォークが所定マナー又は所定ルールに従って置かれている場合に、食事が終了していると判定するといったケースが例示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２５２４９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した方法では、料理の全てを食べ終える、飲料の全てを飲み終えるといった前提で考えられており、料理又は飲料などの提供物を残すケースが想定されていない。言い換えると、提供物を片付けるタイミングを特定する上で、提供物に対する顧客の関心度の適切な特定について改善の余地がある。
【０００６】
そこで、本発明は、上述した課題を解決するためになされたものであり、提供物に対する顧客の関心度を適切に判定することを可能とするシステム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の特徴は、システムであって、料理及び飲料の少なくともいずれか１つを含む提供物の提供に用いる第１食器を撮像する撮像部と、前記撮像部によって撮像された画像に基づいて、前記第１食器の絶対位置の変化履歴を特定する分析部と、を備え、前記分析部は、前記第１食器の絶対位置の変化履歴に基づいて、前記提供物に対する顧客の関心度を判定することを要旨とする。
【０００８】
第２の特徴は、第１の特徴において、前記分析部は、前記第１食器の絶対位置の変化履歴及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記第１食器の絶対位置の変化履歴に基づいて前記関心度を判定することを要旨とする。
【０００９】
第３の特徴は、第１の特徴又は第２の特徴において、前記撮像部は、前記提供物の飲食に用いる第２食器を撮像し、前記分析部は、前記撮像部によって撮像された画像に基づいて、前記第１食器に対する前記第２食器の相対位置の変化履歴を特定し、前記分析部は、前記第２食器の相対位置の変化履歴に基づいて、前記関心度を判定することを要旨とする。
【００１０】
第４の特徴は、第３の特徴において、前記分析部は、前記第２食器の相対位置の変化履歴及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記第２食器の相対位置の変化履歴に基づいて前記関心度を判定することを要旨とする。
【００１１】
第５の特徴は、第１の特徴乃至第４の特徴のいずれかにおいて、前記分析部は、前記撮像部によって撮像された画像に基づいて、前記顧客の前に設けられる所定領域に対する前記第１食器の相対位置を特定し、前記分析部は、前記第１食器の相対位置に基づいて、前記関心度を判定することを要旨とする。
【００１２】
第６の特徴は、第１の特徴乃至第５の特徴のいずれかにおいて、前記撮像部は、前記提供物の飲食に用いる第２食器を撮像し、前記分析部は、前記撮像部によって撮像された画像に基づいて、前記第２食器の位置が所定位置であるか否かを特定し、前記分析部は、前記第２食器の位置が前記所定位置であるか否か及び前記提供物が提供されてから経過した時間に基づいて、前記関心度を判定することを要旨とする。
【００１３】
第７の特徴は、第６の特徴において、前記分析部は、前記第２食器の位置が前記所定位置であるか否か、前記提供物が提供されてから経過した時間及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記第２食器の位置が前記所定位置であるか否か及び前記提供物が提供されてから経過した時間に基づいて前記関心度を判定することを要旨とする。
【００１４】
第８の特徴は、第１の特徴乃至第７の特徴のいずれかにおいて、前記撮像部は、前記顧客を撮像し、前記分析部は、前記撮像部によって撮像された画像に基づいて、前記顧客が離席したか否かを判定し、前記分析部は、前記顧客が離席したか否か及び前記提供物が提供されてから経過した時間に基づいて、前記関心度を判定することを要旨とする。
【００１５】
第９の特徴は、第８の特徴において、前記分析部は、前記顧客が離席したか否か、前記提供物が提供されてから経過した時間及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記顧客が離席したか否か及び前記提供物が提供されてから経過した時間に基づいて前記関心度を判定することを要旨とする。
【００１６】
第１０の特徴は、第１の特徴乃至第９の特徴のいずれかにおいて、前記分析部は、前記撮像部によって撮像された画像に基づいて、前記第１食器における前記提供物の残量を特定し、前記分析部は、前記提供物の残量に基づいて、前記関心度を判定することを要旨とする。
【００１７】
第１１の特徴は、第１０の特徴において、前記分析部は、前記提供物の残量及び前記顧客が前記提供物の飲食を終了したか否かを学習し、前記提供物の残量に基づいた前記関心度を判定することを要旨とする。
【００１８】
第１２の特徴は、第１の特徴乃至第１１の特徴のいずれかにおいて、前記分析部は、前記提供物が提供されてから経過した時間が長いほど、前記関心度が低くなるように前記関心度を変更することを要旨とする。
【００１９】
第１３の特徴は、方法であって、料理及び飲料の少なくともいずれか１つを含む提供物の提供に用いる第１食器を撮像するステップと、前記撮像部によって撮像された画像に基づいて、前記第１食器の絶対位置の変化履歴を特定するステップと、前記第１食器の絶対位置の変化履歴に基づいて、前記提供物に対する顧客の関心度を判定するステップと、を備えることを要旨とする。
【発明の効果】
【００２０】
本発明によれば、提供物に対する顧客の関心度を適切に判定することを可能とするシステム及び方法を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、実施形態に係るシステム１００を説明するための図である。
【図２】図２は、実施形態に係る撮像画像の一例である。
【図３】図３は、実施形態に係る処理装置１２０を示す図である。
【図４】図４は、実施形態に係る関心度の判定を説明するための図である。
【図５】図５は、実施形態に係る関心度の判定を説明するための図である。
【図６】図６は、実施形態に係る関心度の判定を説明するための図である。
【図７】図７は、実施形態に係る関心度の判定を説明するための図である。
【図８】図８は、実施形態に係る関心度の判定を説明するための図である。
【図９】図９は、実施形態に係る方法を示す図である。
【図１０】図１０は、実施形態に係る方法を示す図である。
【発明を実施するための形態】
【００２２】
以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
【００２３】
但し、図面は模式的なものであり、各寸法の比率又は／及び形状などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法又は／及び形状などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率又は／及び形状が異なる部分が含まれている場合があることは勿論である。
【００２４】
［開示の概要］
開示の概要に係るシステムは、料理及び飲料の少なくともいずれか１つを含む提供物の提供に用いる第１食器を撮像する撮像部と、前記撮像部によって撮像された画像に基づいて、前記第１食器の絶対位置の変化履歴を特定する分析部と、を備える。前記分析部は、前記第１食器の絶対位置の変化履歴に基づいて、前記提供物に対する前記顧客の関心度を判定する。
【００２５】
開示の概要によれば、分析部は、第１食器の絶対位置の変化履歴に基づいて、関心度を判定する。従って、提供物に対する顧客の関心度を適切に判定することができる。
【００２６】
例えば、第１食器の絶対位置の変化履歴を用いることによって、飲食の途中で第１食器を遠ざけた後に、飲食を再開するために第１食器を再び近づけるケースを想定した場合に、第１食器の絶対位置の「変化履歴」に基づいて関心度が判定されるため、提供物に対する顧客の関心度を適切に判定することができる。
【００２７】
開示の概要に係るシステムは、料理及び飲料の少なくともいずれか１つを含む提供物の提供に用いる第１食器及び前記提供物の飲食に用いる第２食器を撮像する撮像部と、前記撮像部によって撮像された画像に基づいて、前記第１食器に対する前記第２食器の相対位置の変化履歴を特定する分析部と、を備える。前記分析部は、前記第２食器の相対位置の変化履歴に基づいて、前記関心度を判定する。
【００２８】
開示の概要によれば、分析部は、第１食器に対する第２食器の相対位置の変化履歴に基づいて関心度を判定する。従って、第１食器上の提供物に対する顧客の関心度を適切に判定することができる。
【００２９】
［実施形態］
（システム）
以下において、実施形態に係るシステムについて説明する。図１は、実施形態に係るシステム１００を説明するための図である。
【００３０】
図１に示すように、システム１００は、レストランなどの飲食店で用いられる。レストランは、椅子１０（ここでは、椅子１０Ａ及び椅子１０Ｂ）と、テーブル２０と、天井３０と、を有する。システム１００は、撮像装置１１０と、処理装置１２０と、を有する。処理装置１２０は、撮像装置１１０と無線又は有線で接続されており、撮像装置１１０から撮像画像を受信する。処理装置１２０は、レストランに設けられていてもよく、レストランから離れた場所に設けられていてもよい。処理装置１２０がレストランから離れた場所に設けられる場合には、撮像装置１１０とインターネットを介して接続されてもよい。
【００３１】
撮像装置１１０は、テーブル２０上に設けられる食器を撮像する撮像部である。例えば、撮像装置１１０は、天井３０に設けられており、テーブル２０の上方から食器を撮像する。食器は、料理及び飲料の少なくともいずれか１つを含む提供物の提供に用いる第１食器を含む。例えば、第１食器は、料理の提供に用いる皿、椀、飲料の提供に用いるグラス、カップなどである。食器は、提供物の飲食に用いる第２食器を含んでもよい。例えば、第２食器は、ナイフ、スプーン、フォーク、箸などである。
【００３２】
例えば、撮像装置１１０は、図２に示す画像を撮像する。図２に示すように、撮像装置１１０は、第１食器８０を撮像する。第１食器８０は、皿８１、グラス８２を含んでもよい。撮像装置１１０は、第２食器９０を撮像してもよい。第２食器９０は、ナイフ９１、スプーン９２、フォーク９３を含んでもよい。撮像装置１１０は、椅子１０に座る顧客５０を撮像してもよい。撮像装置１１０は、第１食器８０によって提供される提供物を撮像してもよい。
【００３３】
処理装置１２０は、撮像装置１１０によって撮像された画像（以下、撮像画像とも称する）に基づいて、第１食器８０によって提供される提供物に対する顧客５０の関心度を判定する。処理装置１２０の詳細については後述する（図３を参照）。
【００３４】
（処理装置）
以下において、実施形態に係る処理装置について説明する。図３は、実施形態に係る処理装置１２０を示す図である。
【００３５】
図３に示すように、処理装置１２０は、通信部１２１と、記憶部１２２と、分析部１２３と、を有する。
【００３６】
通信部１２１は、通信モジュールによって構成される。通信モジュールは、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎなどの規格に準拠する無線通信モジュールであってもよく、ＩＥＥＥ８０２．３などの規格に準拠する有線通信モジュールであってもよい。
【００３７】
通信部１２１は、撮像装置１１０から撮像画像を受信する。通信部１２１は、顧客が飲食を行っている間において撮像画像を定期的に受信する。
【００３８】
記憶部１２２は、不揮発性メモリなどのメモリ又は／及びＨＤＤ（Ｈａｒｄ  ｄｉｓｃ  ｄｒｉｖｅ）などの記憶媒体を含む。記憶部１２２は、撮像画像を記憶する。
【００３９】
分析部１２３は、少なくとも１つのプロセッサ又は／及び少なくとも１つの回路を含む。分析部１２３は、撮像装置１１０によって撮像された撮像画像に基づいて、提供物に対する顧客５０の関心度を判定する。具体的には、分析部１２３は、以下の判定要素に基づいて関心度を判定する。以下に示す各要素は、撮像画像の画像認識によって特定される。
【００４０】
分析部１２３は、関心度が閾値を下回ったか否かに基づいて、次アクションを行うタイミングを特定してもよい。分析部１２３は、関心度が閾値を下回った場合に、次アクションを従業員などに通知してもよい。次アクションは、第１食器８０を片付けるアクションであってもよく、次の提供物を提供するアクションであってもよい。
【００４１】
（１）第１食器８０の絶対位置の変化履歴
分析部１２３は、撮像装置１１０によって撮像された画像に基づいて、第１食器８０の絶対位置の変化履歴を特定する。分析部１２３は、テーブル２０上等における第１食器８０のテーブル２０などに固定された絶対位置の変化履歴に基づいて関心度を判定する。
【００４２】
第１に、第１食器８０が皿８１であるケースについて例示する。図４に示すように、皿８１の絶対位置の変化履歴は、所定領域７０の外側に皿８１が移動する変化、所定領域７０の内側に皿８１が移動する変化、皿８１を持ち上げる変化などの履歴である。所定領域７０は、顧客５０の前に設けられる領域であり、料理を食べる際に皿８１が配置される領域である。変化履歴は、瞬時的な１枚の撮像画像から特定されるものではなく、２枚以上の撮像画像から判定されることに留意すべきである。
【００４３】
例えば、分析部１２３は、所定領域７０の外側に皿８１が移動する場合に、関心度が低くなるように関心度を変更してもよい。分析部１２３は、所定領域７０の内側に皿８１が移動する場合に、関心度が高くなるように関心度を変更してもよい。分析部１２３は、皿８１を持ち上げる頻度が低いほど、関心度が低くなるように関心度を変更してもよい。分析部１２３は、皿８１を持ち上げる頻度が高いほど、関心度が高くなるように関心度を変更してもよい。分析部１２３は、皿８１を持ち上げる回数が多いほど、皿８１によって提供される料理が減っていると想定して、関心度が低くなるように関心度を変更してもよい。さらには、分析部１２３は、料理が提供されてから経過した時間が長いほど、関心度が低くなるように関心度を変更してもよい。
【００４４】
さらに、例えば、分析部１２３は、所定領域７０の内側に皿８１が存在する時間が長いほど、関心度が高くなるように関心度を変更してもよい。分析部１２３は、所定領域７０の外側に皿８１が存在する時間が長いほど、関心度が低くなるように関心度を変更してもよい。さらには、分析部１２３は、飲料が提供されてから経過した時間が長いほど、関心度が低くなるように関心度を変更してもよい。
【００４５】
このような構成によれば、皿８１の絶対位置の変化履歴と料理に対する顧客５０の関心度との相関関係に着目するという新たな知見に基づいて、料理の残量に依存せずに、関心度を適切に判定することができる。ここでは、所定領域７０の外側に皿８１を移動したからといって、直ちに料理に対する関心がないと判定するのではなく、関心度というパラメータの導入によって、料理に対する関心の有無又は／及び変遷を適切に判定することができる点に留意すべきである。
【００４６】
第２に、第１食器８０がグラス８２であるケースについて例示する。図５に示すように、グラス８２の絶対位置の変化履歴は、所定領域７０の外側にグラス８２が移動する変化、所定領域７０の内側にグラス８２が移動する変化、グラス８２を口元に運ぶ変化、グラス８２をテーブルに戻す変化などの履歴である。所定領域７０は、顧客５０の前に設けられる領域であり、飲料を飲む際にグラス８２が配置される領域である。グラス８２について用いる所定領域７０の範囲は、皿８１について用いる所定領域７０の範囲と異なってもよい。変化履歴は、瞬時的な１枚の撮像画像から特定されるものではなく、２枚以上の撮像画像から判定されることに留意すべきである。
【００４７】
例えば、分析部１２３は、所定領域７０の外側にグラス８２が移動する場合に、関心度が低くなるように関心度を変更してもよい。分析部１２３は、所定領域７０の内側にグラス８２が移動する場合に、関心度が高くなるように関心度を変更してもよい。分析部１２３は、グラス８２を口元に運ぶ頻度が低いほど、関心度が低くなるように関心度を変更してもよい。分析部１２３は、グラス８２を口元に運ぶ頻度が高いほど、関心度が高くなるように関心度を変更してもよい。分析部１２３は、グラス８２を口元に運ぶ回数が多いほど、グラス８２によって提供される飲料が減っていると想定して、関心度が低くなるように関心度を変更してもよい。さらには、分析部１２３は、飲料が提供されてから経過した時間が長いほど、関心度が低くなるように関心度を変更してもよい。
【００４８】
このような構成によれば、グラス８２の絶対位置の変化履歴と飲料に対する顧客５０の関心度との相関関係に着目するという新たな知見に基づいて、飲料の残量に依存せずに、関心度を適切に判定することができる。ここでは、所定領域７０の外側にグラス８２を移動したからといって、直ちに飲料に対する関心がないと判定するのではなく、関心度というパラメータの導入によって、飲料に対する関心の有無又は／及び変遷を適切に判定することができる点に留意すべきである。
【００４９】
（２）第２食器９０の相対位置の変化履歴
分析部１２３は、撮像装置１１０によって撮像された画像に基づいて、第１食器８０に対する第２食器９０の相対位置の変化履歴を特定する。分析部１２３は、第２食器９０の相対位置の変化履歴に基づいて関心度を判定する。
【００５０】
図６に示すように、第１食器８０（ここでは、皿８１）に対する第２食器９０（ここでは、ナイフ９１及びフォーク９３）の相対位置の変化履歴は、第２食器９０が第１食器８０の内側に移動する変化、第２食器９０が第１食器８０の外側に移動する変化、第２食器９０が第１食器８０の内側で移動する変化、第２食器９０が第１食器８０の内側に存在する時間、第２食器９０が第１食器８０の外側に存在する時間などの履歴である。変化履歴は、瞬時的な１枚の撮像画像から特定されるものではなく、２枚以上の撮像画像から判定されることに留意すべきである。
【００５１】
例えば、分析部１２３は、第２食器９０が第１食器８０の内側に移動する場合に、関心度が高くなるように関心度を変更してもよい。分析部１２３は、第２食器９０が第１食器８０の外側に移動する場合に、関心度が低くなるように関心度を変更してもよい。分析部１２３は、第２食器９０が第１食器８０の内側で移動する頻度が高いほど、関心度が高くなるように関心度を変更してもよい。分析部１２３は、第２食器９０が第１食器８０の内側で移動する頻度が低いほど、関心度が低くなるように関心度を変更してもよい。分析部１２３は、第２食器９０が第１食器８０の内側に存在する時間が長いほど、関心度が高くなるように関心度を変更してもよい。分析部１２３は、第２食器９０が第１食器８０の外側に存在する時間が長いほど、関心度が低くなるように関心度を変更してもよい。分析部１２３は、第２食器９０が第１食器８０の内側に移動する回数が多いほど、第１食器８０によって提供される提供物が減っていると想定して、関心度が低くなるように関心度を変更してもよい。さらには、分析部１２３は、提供物が提供されてから経過した時間が長いほど、関心度が低くなるように関心度を変更してもよい。
【００５２】
このような構成によれば、第１食器８０に対する第２食器９０の相対位置の変化履歴と提供物に対する顧客５０の関心度との相関関係に着目するという新たな知見に基づいて、提供物の残量に依存せずに、関心度を適切に判定することができる。ここでは、第２食器９０を第１食器８０の外側に移動したからといって、直ちに提供物に対する関心がないと判定するのではなく、関心度というパラメータの導入によって、提供物に対する関心の有無を適切に判定することができる点に留意すべきである。
【００５３】
（３）第１食器８０の相対位置
分析部１２３は、撮像装置１１０によって撮像された画像に基づいて、顧客５０の前に設けられる所定領域７０に対する第１食器８０の顧客５０の姿勢に対して定義される相対位置を特定する。例えば、第１食器８０の相対位置は、顧客５０の姿勢に対して定義されてもよい。このようなケースにおいて、第１食器８０の相対位置は、顧客５０の顔の位置及び／又は向きに相対的に決められてもよい。分析部１２３は、第１食器８０の相対位置に基づいて関心度を判定する。
【００５４】
ここでは、図４に示したように、第１食器８０が皿８１であるケースについて例示する。所定領域７０に対する第１食器８０の相対位置は、所定領域７０の外側に皿８１が存在するか、所定領域７０の内側に皿８１が存在するなどの位置である。
【００５５】
例えば、分析部１２３は、所定領域７０の内側に皿８１が存在する時間が長いほど、関心度が高くなるように関心度を変更してもよい。分析部１２３は、所定領域７０の外側に皿８１が存在する時間が長いほど、関心度が低くなるように関心度を変更してもよい。さらには、分析部１２３は、飲料が提供されてから経過した時間が長いほど、関心度が低くなるように関心度を変更してもよい。
【００５６】
このような構成によれば、提供物の残量に依存せずに、関心度を適切に判定することができる。
【００５７】
（４）第２食器９０の位置が所定位置であるか否か
分析部１２３は、撮像装置１１０によって撮像された画像に基づいて、第２食器９０の位置が所定位置であるか否かを特定する。分析部１２３は、第２食器９０の位置が所定位置であるか否か及び提供物が提供されてから経過した時間に基づいて関心度を判定する。
【００５８】
図７に示すように、第２食器９０としてナイフ９１及びフォーク９３を例示する。所定位置は、テーブルマナーとして食事の終了を知らせる位置であってもよい。所定位置は、第２食器９０の初期位置であってもよい。初期位置は、図４などで示すように、皿８１の左右の位置であってもよい。
【００５９】
分析部１２３は、第２食器９０の位置が所定位置である場合に、関心度が低くなるように関心度を変更してもよい。分析部１２３は、第２食器９０の位置が所定位置でない場合に、関心度が高くなるように関心度を変更してもよい。分析部１２３は、提供物が提供されてから経過した時間が長いほど、関心度が低くなるように関心度を変更してもよい。ここで、第２食器９０の位置が所定位置であるか否かだけではなく、経過時間に基づいて関心度を判定することによって、第２食器９０の位置が所定位置になる偶発的なタイミングで提供物に対する関心がないと誤判定される可能性を低減することができる。
【００６０】
このような構成によれば、提供物の残量に依存せずに、関心度を適切に判定することができる。
【００６１】
（５）顧客５０が離席したか否か
分析部１２３は、撮像装置１１０によって撮像された画像に基づいて、顧客５０が離席したか否かを判定する。分析部１２３は、顧客５０が離席したか否か及び提供物が提供されてから経過した時間に基づいて関心度を判定する。
【００６２】
図８に示すように、分析部１２３は、顧客５０が離席した場合に、関心度が低くなるように関心度を変更してもよい。分析部１２３は、顧客５０が離席していない場合に、関心度が高くなるように関心度を変更してもよい。分析部１２３は、提供物が提供されてから経過した時間が長いほど、関心度が低くなるように関心度を変更してもよい。ここで、顧客５０が離席したか否かだけではなく、経過時間に基づいて関心度を判定すること、又は／及びトイレに立つなどの離席理由の別途の分析によって、顧客５０が離席する偶発的なタイミング（例えば、トイレへの離席）で提供物に対する関心がないと誤判定される可能性を低減することができる。
【００６３】
このような構成によれば、提供物の残量に依存せずに、関心度を適切に判定することができる。
【００６４】
（6）提供物の残量
分析部１２３は、撮像装置１１０によって撮像された画像に基づいて、第１食器８０における提供物の残量を特定する。分析部１２３は、提供物の残量に基づいて関心度を判定する。
【００６５】
例えば、分析部１２３は、提供物の残量が少ないほど、関心度が低くなるように関心度を変更してもよい。分析部１２３は、提供物の残量が多いほど、関心度が高くなるように関心度を変更してもよい。分析部１２３は、提供物が提供されてから経過した時間が長いほど、関心度が低くなるように関心度を変更してもよい。
【００６６】
（７）組合せ
分析部１２３は、上述した判定要素（１）〜（６）の中から選択された２以上の判定要素に基づいて関心度を判定してもよい。例えば、分析部１２３は以下の式に基づいて関心度を判定してもよい。
【００６７】
【数１】
2020170289.tif 000003
ここで、Sは、関心度であり、S0は、関心度の初期値である。Nは、判定要素の個数である。xiは、時刻tiに発生したi番目の判定要素である。f(xi, ti)は、i番目の判定要素で変更される関心度を表す関数である。
【００６８】
実施形態では、判定要素に基づいて変更される関心度の程度（例えば、f(xi, ti)）は、判定要素と対応付けられたルールとして予め定められている。ルールは、記憶部１２２又は分析部１２３に記憶される。ルールは、経験則などによって定められてもよい。
【００６９】
（処理装置）
以下において、実施形態に係る方法について説明する。図９及び図１０は、実施形態に係る方法を示す図である。図９に示すフローは、撮像画像の受信毎に行われるケースを例示する。但し、図９に示すフローは、撮像画像の受信によらずに定期的に行われてもよい。
【００７０】
図９に示すように、ステップＳ１０において、処理装置１２０は、撮像画像を撮像装置１１０から受信する。
【００７１】
ステップＳ２０において、処理装置１２０は、提供物に対する顧客５０の関心度を判定する。
【００７２】
ステップＳ３０において、処理装置１２０は、ステップＳ２０で判定された関心度が閾値を下回っているか否かを判定する。判定結果がＹＥＳである場合に、処理装置１２０は、ステップＳ４０の処理を行う。判定結果がＮＯである場合に、処理装置１２０は、一連の処理を終了し、撮像画像の受信を待ち受ける。
【００７３】
ステップＳ４０において、処理装置１２０は、次アクションを従業員などに通知してもよい。次アクションは、第１食器８０を片付けるアクションであってもよく、次の提供物を提供するアクションであってもよい。
【００７４】
図１０に示すように、上述したステップＳ２０では以下の処理が行われる。
【００７５】
ステップＳ２１において、処理装置１２０は、第１食器８０の絶対位置の変化履歴に基づいて関心度を判定する。これに加えて、処理装置１２０は、提供物が提供されてから経過した時間に基づいて関心度を判定してもよい。関心度の判定方法は上述した通りである。
【００７６】
ステップＳ２２において、処理装置１２０は、所定領域７０に対する第１食器８０の相対位置に基づいて関心度を判定する。関心度の判定方法は上述した通りである。
【００７７】
ステップＳ２３において、処理装置１２０は、第１食器８０に対する第２食器９０の相対位置の変化履歴に基づいて関心度を判定する。これに加えて、処理装置１２０は、提供物が提供されてから経過した時間に基づいて関心度を判定してもよい。関心度の判定方法は上述した通りである。
【００７８】
ステップＳ２４において、処理装置１２０は、第２食器９０の位置が所定位置であるか否か及び提供物が提供されてから経過した時間に基づいて関心度を判定する。関心度の判定方法は上述した通りである。
【００７９】
ステップＳ２５において、処理装置１２０は、顧客５０が離席したか否か及び提供物が提供されてから経過した時間に基づいて関心度を判定する。関心度の判定方法は上述した通りである。
【００８０】
ステップＳ２６において、処理装置１２０は、第１食器８０における提供物の残量に基づいて関心度を判定する。これに加えて、処理装置１２０は、提供物が提供されてから経過した時間に基づいて関心度を判定してもよい。関心度の判定方法は上述した通りである。
【００８１】
ここでは、６つの判定要素に基づいて関心度を判定するケースを例示しているが、実施形態はこれに限定されるものではない。関心度は、１以上の判定要素に基づいて判定されればよい。
【００８２】
（作用及び効果）
実施形態では、分析部１２３は、例えば、第１食器８０の絶対位置の変化履歴に基づいて、関心度を判定する。従って、提供物の残量に依存せずに、提供物に対する顧客５０の関心度を適切に判定することができる。
【００８３】
実施形態では、分析部１２３は、例えば、第１食器８０に対する第２食器９０の相対位置の変化履歴に基づいて関心度を判定する。従って、第１食器８０上の提供物に対する顧客５０の関心度を適切に判定することができる。
【００８４】
［変更例］
以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００８５】
実施形態では、判定要素に基づいて変更される関心度の程度は、判定要素と対応付けられたルールとして予め定められている。これに対して、判定要素に基づいて変更される関心度の程度は、撮像画像に基づいた学習によって定められる。例えば、学習は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）に代表される機械学習である。
【００８６】
学習データは、顧客５０が提供物の飲食を終了したか否かを含む。提供物の飲食の終了は、関心度がなくなったことを意味しており、提供物の全ての飲食の終了とは同義ではないことに留意すべきである。
【００８７】
学習データは、顧客５０が提供物の飲食を終了したか否かに加えて、撮像画像の画像認識結果を含む。撮像画像は、定期的に撮像されるか、若しくは、タイプスタンプを含む。従って、学習データは、撮像画像の画像認識結果に加えて時間の要素を含む。
【００８８】
上述したように、変更例１に係る機械学習は、教師データが存在する学習である。言い換えると、学習データは、顧客５０が提供物の飲食を終了したか否かでラベル付けされた撮像画像の画像認識結果及び時間である。
【００８９】
（１）第１食器８０の絶対位置の変化履歴
分析部１２３は、第１食器８０の絶対位置の変化履歴及び顧客５０が提供物の飲食を終了したか否かを学習する。学習データは、第１食器８０の画像認識結果及び時間を含む。従って、学習データは、第１食器８０の絶対位置の移動頻度、第１食器８０の絶対位置の移動回数、提供物が提供されてから経過した時間などを含むことができる。このような構成によれば、分析部１２３は、学習結果を用いることによって、第１食器８０の絶対位置の変化履歴に基づいた関心度の判定精度を高めることができる。
【００９０】
（２）第２食器９０の相対位置の変化履歴
分析部１２３は、第１食器８０に対する第２食器９０の相対位置の変化履歴及び顧客５０が提供物の飲食を終了したか否かを学習する。学習データは、第１食器８０の画像認識結果、第２食器９０の画像認識結果及び時間を含む。従って、学習データは、第２食器９０の相対位置の移動頻度、第２食器９０の相対位置の移動回数、提供物が提供されてから経過した時間などを含むことができる。このような構成によれば、分析部１２３は、学習結果を用いることによって、第２食器９０の相対位置の変化履歴に基づいた関心度の判定精度を高めることができる。
【００９１】
（３）第１食器８０の相対位置
分析部１２３は、所定領域７０に対する第１食器８０の相対位置及び顧客５０が提供物の飲食を終了したか否かを学習する。学習データは、所定領域７０の画像認識結果、第１食器８０の画像認識結果及び時間を含む。従って、学習データは、所定領域７０の内側に第１食器８０が存在する時間、所定領域７０の外側に第１食器８０が存在する時間、提供物が提供されてから経過した時間などを含むことができる。このような構成によれば、分析部１２３は、学習結果を用いることによって、第１食器８０の相対位置に基づいた関心度の判定精度を高めることができる。
【００９２】
（４）第２食器９０の位置が所定位置であるか否か
分析部１２３は、第２食器９０の位置が所定位置であるか否か、提供物が提供されてから経過した時間及び顧客５０が提供物の飲食を終了したか否かを学習する。学習データは、第１食器８０の画像認識結果、第２食器９０の画像認識結果及び時間を含む。このような構成によれば、分析部１２３は、学習結果を用いることによって、第２食器９０の位置が所定位置であるか否かに基づいた関心度の判定精度を高めることができる。
【００９３】
（５）顧客５０が離席したか否か
分析部１２３は、顧客５０が離席したか否か、提供物が提供されてから経過した時間及び顧客５０が提供物の飲食を終了したか否かを学習する。学習データは、第１食器８０の画像認識結果、顧客５０の画像認識結果及び時間を含む。このような構成によれば、分析部１２３は、学習結果を用いることによって、顧客５０が離席したか否かに基づいた関心度の判定精度を高めることができる。
【００９４】
（６）提供物の残量
分析部１２３は、提供物の残量及び顧客５０が提供物の飲食を終了したか否かを学習する。学習データは、第１食器８０の画像認識結果、提供物の画像認識結果及び時間を含む。このような構成によれば、分析部１２３は、学習結果を用いることによって、提供物の残量に基づいた関心度の判定精度を高めることができる。
【００９５】
（７）組合せ
分析部１２３は、上述した判定要素（１）〜（６）の中から選択された２以上の判定要素を学習してもよい。例えば、学習は、２以上の判定要素を入力層として、顧客５０が提供物の飲食を終了したか否かを出力層として有するモデルを生成する深層学習であってもよい。
【００９６】
［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【００９７】
実施形態では特に触れていないが、上述した判定要素（１）〜（６）は、以下のように分類されてもよい。具体的には、判定要素（１）〜（３）については、顧客５０の意識的動作に起因しない要素であるため、無意識的な要素であると考えてもよい。判定要素（４）及び（５）については、顧客５０の意識的動作に起因する要素であるため、意識的な要素であると考えてもよい。判定要素（６）については、顧客５０に依存しない客観的な要素であると考えてもよい。このようなケースにおいて、無意識的な要素（判定要素（１）〜（３））及び客観的な要素（判定要素（６））よりも意識的な要素（判定要素（４）及び（５））が総合的な関心度に対して大きな影響を与えると考えられる。従って、総合的な関心度を判定する際に、意識的な要素の重み付けが無意識的な要素及び客観的な要素よりも高くてもよい。
【００９８】
実施形態では、説明の簡略化のために、撮像画像によって２次元の画像認識を行うケースを例示した。しかしながら、実施形態はこれに限定されるものではない。撮像画像によって３次元の画像認識が行われてもよい。
【００９９】
実施形態では特に触れていないが、処理装置１２０が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。
【０１００】
或いは、処理装置１２０が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【符号の説明】
【０１０１】
１０…椅子、２０…テーブル、３０…天井、５０…顧客、７０…所定領域、８０…第１食器、９０…第２食器、１００…システム、１１０…撮像装置、１２０…処理装置、１２１…通信部、１２２…記憶部、１２３…分析部
【図１】
2020170289.tif 000004
【図２】
2020170289.tif 000005
【図３】
2020170289.tif 000006
【図４】
2020170289.tif 000007
【図５】
2020170289.tif 000008
【図６】
2020170289.tif 000009
【図７】
2020170289.tif 000010
【図８】
2020170289.tif 000011
【図９】
2020170289.tif 000012
【図１０】
2020170289.tif 000013