(57)【要約】      （修正有）【課題】飲食店等において、店内に滞在中の顧客の状況を人工知能による画像または音声その他センサーでリアルタイムに把握し適切な接客等のオペレーションを行うことを支援する【解決手段】店内各所に取り付けたカメラＳ０６で顧客及びテーブル上の料理等を撮影し、統合管理サーバーＳ０１へ送信する。統合管理サーバーＳ０１は、あらかじめ蓄積した様々な情報からその状況を解析し、従業員へディスプレイＳ０７（又は、スピーカー、イヤフォン）を通じて文字や映像、音声その他の方法にて指示を行う。従業員は、その指示に基づいて接客やサービス（注文伺い、配膳、片付け等）を行う。さらに統合管理サーバーＳ０１は、逐次情報を蓄積するとともに傾向等を学習し以降の解析や指示に利用し、解析や指示の正確性や合理性を向上させる機能を持つ。【選択図】図１
2019185172.tif 000002
【特許請求の範囲】
【請求項１】
飲食店内に設置された、画像撮影用カメラ、音声収集用マイク、その他センサー類、情報処理装置、ディスプレイ、スピーカー、イヤフォーン等が、有線または無線で接続された構成されており、店内の各テーブルや顧客の画像や音声を状況を撮影し記録する手段を備え、店内の温度や湿度その他の状況を収集し、各画像や音声等は店内の特定の場所を表す記号番号と関連付けされ、あらかじめ記録された顧客やテーブル上の料理や皿、コップの状態に基づき、それらが空き皿か否か、料理の減り具合等をカメラ等で撮影した画像と照らし合わせ判断し、判断した結果に基づき店の従業員に指示をテキスト（文字）に表示または音声による伝達を行う、判断した結果をオーダーリングシステムやPOSシステムと連携し注文の状況と照らしあわせたり、さらに従業員への指示した結果をフィードバックし判断精度を向上させる手段を備えたことを特徴とするシステム。
【請求項２】
請求項１に記載した撮影した画像は、店内の部屋番号やテーブル番号で関連付けし、どの部屋やテーブルの状態であるか識別する手段を備えたことを特徴とするシステム。
【請求項３】
請求項１に記載した撮影した画像内の料理（又は飲料）は、あらかじめ撮影し意味づけした画像と比較し、人工知能の画像認識技術でどの料理か識別できる。また同技術で、その料理の減り具合や空き皿になった状態を識別できる手段を備えたことを特徴とするシステム。
【請求項４】
請求項３に記載した料理の減り具合や空き皿の状況を認識し、従業員へ注文伺いや空き皿を下げる等の伝達を行う手段を備えたことを特徴とするシステム。
【請求項５】
請求項１に記載したオーダリングシステムと連携して、既に注文が入っている料理（又は飲料）が配膳されたかどうかを認識し記録する。その情報に基づき、配膳が規定の時間より遅延しているような場合に、従業員に伝達する手段を備えることを特徴とするシステム。
【請求項６】
請求項４または請求項５に記載したシステムから従業員へ伝達する手段として、テキスト（文字）のみでなく音声合成を行い音声で伝達する手段を備えたことを特徴とするシステム。
【請求項７】
請求項１に記載しあ画像や音声等の収集を通じて認識して行なった指示の結果をシステムによる自動または従業員によるフィードバックにより精度を向上させる手段を備えることを特徴とするシステム。
【請求項８】
さらに、他店の実施結果を学習することにより精度を向上させる手段を備えることを特徴とするシステム。
【請求項９】
請求項１に記載した状況とは、顧客の表情、入店時間、滞在時間、人数、性別や年齢及び全部又は一部の組み合わせ、気温、天気、季節、周辺のイベント、行事等の全部または一部の組み合わせを含むことを特徴とするシステム
【請求項１０】
請求項９に記載した様々な状況と対応（アドバイス）の関連づけを人工知能に学習させることにより、状況と対応（アドバイス）の範囲が広がることを特徴とするシステム
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人工知能を用いた画像認識および音声認識等を通じて、状況解析を行い、状況に即した適切な対応を行うために必要なアドバイス情報を提供する情報提供方法に関する。
【背景技術】
【０００２】
近年、人工知能技術の進展により、画像や音声認識の精度が向上し、状況認識の精度が向上し、物体の識別や表情の識別等が可能となっている。
【０００３】
飲食店等の情報技術の適用については、従業員または顧客が直接注文を指示（オーダー）するオーダーリングシステムや会計計算を行うためのレジ（POSレジ）が普及しつつある状況である。
【０００４】
人口知能による状況認識の技術をさらに機械学習やディープラーニング等の人口知能技術をもって高度な判断を行うことが可能となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、飲食店の店内等において、飲料や料理の状態や顧客の状態をタイムリーに適切に認識し、顧客が快適に過ごせるよう、情報表示端末（または音声端末）でを用いて、従業員に適切なタイミングで適切な対応を行うことができるようアドバイス情報を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、前記の課題を解決するために、図１に示す飲食店内に設置された、画像撮影用カメラ、音声収集用マイク、その他センサー類、情報処理装置、ディスプレイ、スピーカー、イヤフォーン等が、有線または無線で接続された構成されている。本システムは、店内の各テーブルや顧客の画像や音声を状況を撮影し記録する手段を備える。さらに、店内の温度や湿度その他の状況を収集し記録する手段を備える。各画像や音声等は店内の特定の場所を表す記号番号と関連付けする手段を備える。顧客やテーブル上の料理や皿、コップの状態をあらかじめ記録しておき、それらが空き皿か否か、料理の減り具合等をカメラ等で撮影した画像と照らし合わせ判断する手段を備える。判断した結果に基づき店の従業員に指示をテキスト（文字）に表示または音声による伝達を行う手段を備える。空き皿か否か等を判断した結果をフィードバックし判断精度を向上させる手段を備えたことを特徴とする。
【０００７】
撮影した画像は、店内の部屋番号とテーブル番号で関連付けし、どの部屋やテーブルの状態であるか識別する手段を備えたことを特徴とする。
【０００８】
撮影した画像内の料理（又は飲料）は、あらかじめ撮影した画像と比較し、どの料理か識別できる。また、その料理の減り具合や空き皿になった状態を識別できる手段を備えたことを特徴とする。
【０００９】
料理の減り具合や空き皿の状況を認識し、従業員へ注文伺いや空き皿を下げる等の伝達を行う手段を備えたことを特徴とする。
【００１０】
オーダーリングシステムと連携して、既に注文が入っている料理（又は飲料）が配膳されたかどうかを認識し記録する。その情報に基づき、配膳が規定の時間より遅延しているような場合に、従業員に伝達する手段を備えることを特徴とする。
【００１１】
システムから従業員へ伝達する手段として、テキスト（文字）のみでなく音声合成を行い音声で伝達する手段を備えたことを特徴とする。
【００１２】
画像や音声等の収集を通じて認識して行なった指示の結果をシステムによる自動または従業員によるフィードバックにより精度を向上させる手段を備えることを特徴とする。
【００１３】
さらに、他店の実施結果を学習することにより精度を向上させる手段を備えることを特徴とする。
【発明の効果】
【００１４】
本発明のシステムによれば、店内の顧客の状況を常に注視しなくとも、システムが検知し伝達するので、適切な接客を実施することが可能となる。
【００１５】
飲食店の接客に不慣れな従業員であってもシステムの指示により一定水準の接客が維持できる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態におけるシステムの構成図である。
【図２】本発明の一実施形態におけるシステムの画像の撮影から従業員への指示伝達までのフローチャート図である。
【図３】本発明の一実施形態における従業員への指示伝達と従業員からのフィードバックの具体例である。
【発明を実施するための形態】
【００１７】
本発明の一実施形態について図面を参照して説明する。図１は、システムの構成図である。本システムは、インターネットS02がルーターS03を介して接続されている総合管理サーバーS01と店舗サーバーS04、集音用のマイクS05、画像撮影用のカメラS06、従業員へ伝達のためのディスプレイ（又はスピーカーイヤフォン）S07、その他センサーS08、オーダリング（又はＰＯＳ）装置S09、その他センサーS09を備える。なお、図1に示したシステム構成図では、各装置1台として示されているが、これらは各々複数台あってもよい。
【００１８】
総合管理サーバーS01は、画像の知識ベースや画像の学習や店舗の運営に資する知識を蓄積し、店舗サーバーの問い合わせに応える。
【００１９】
店舗サーバーは、店内に設置されたマイクやカメラ、その他センサー等からデータを収集し、一時的に蓄積し、総合管理サーバーに中継及び問い合わせを行なう。また、店内のディスプレイに表示するための制御やスピーカーイヤフォン等に発音するための音声合成等の処理を行なう。
【００２０】
総合管理サーバー及び店舗サーバーは、役割分担し動作するが各々の役割の分担は異なってもよい。
【００２１】
マイクS05、カメラS06、その他センサーS08は、店内の状況（画像、音声、温度他）を常時収集し、店舗サーバーへ送信する。
【００２２】
ディスプレイ（又はスピーカー、イヤフォーン）S07は、店舗サーバーからの指示をテキスト（文字）とし表示したり、声として従業員へ伝達する。
【００２３】
オーダリング装置（又はPOS装置）S09は、店舗サーバーから問い合わせを受け、顧客の注文した料理等の情報を伝達する。
【００２４】
図2に基づき、本システムの一実施形態を説明する。店内では常にカメラが画像を撮影している（F101）。店舗サーバーは常に画像の変化を検知し解析（F102）しており、変化がある（F103）と総合管理サーバーに画像を送信し、画像の意味と対処について問い合わせを行なう（F104）。問い合わせを受けた総合管理サーバーは、知識ベースにより変化の意味を解析し（F105）、その対処方法を店舗サーバーに送信し、ディスプレイへテキスト（文字）表示することにより従業員へ伝達する（F106）。同時に音声で従業員が装着したイヤフォンに伝達する場合もある。従業員は、伝達・指示された内容に基づき、配膳等の対処を行なう。対処を行なった後、対処が済んだ旨の回答を音声等でマイクを通じてシステムに行なう。システムの指示が誤りだった場合は、誤りであった旨の回答をマイクを通じてシステムに行なう（F107）。システムは、指示の結果を解析し、自らの知識ベースに蓄積又は修正（F108）を行なう。
【００２５】
図3は、一実施形態におけるディスプレイ装置S07による、従業員への指示伝達の例である。左側はシステムの指示、右側は従業員の回答である。Ｆ201は4番テーブルの空き皿が多くなったことをシステムが検知して下げ膳の指示を行なった状態、下げ膳を行なった従業員は音声による回答で完了した旨を回答（F202）した。F203は、8番テーブルの焼き鳥の画像が認識できないことから、配膳が規定の時間より遅れていることと解釈し、従業員に配膳を促す指示を行なった状態（F204）、従業員の確認により焼き鳥は既に配膳されていたことをシステムに回答（F205）、システムはこの回答を元に知識ベースの修正を行なう。F206は、5番テーブルのコップが空になっている状態を検知して注文伺いの指示を行なった状態、F207は本指示に対する回答である。F208は、顧客のテーブルの状態を検知し、3番テーブルに優先的な配膳を行なうよう指示した状態（F209）である。
【符号の説明】
【００２６】
S01  総合管理サーバー
S02  インターネット
S03  ルーター
S04  店舗サーバー
S05  マイク
S06  カメラ
S07  ディスプレイ
S08  その他センター
S09  オーダリング・POS装置
【図１】
2019185172.tif 000003
【図２】
2019185172.tif 000004
【図３】
2019185172.tif 000005