(57)【要約】  店舗管理装置は、店舗に来店する来店者の情報を記録する来店者テーブルを生成し、所定処理完了後に、店舗から退店する来店者の情報を来店者テーブルから削除する。所定処理とは、例えば、来店者の商品購入の決済である。また、来店者テーブルは、来店者が店舗を退店するときの退店許可の判定に利用される。
2019181499.tif 000002
【特許請求の範囲】
【請求項１】
店舗に来店する来店者の情報を記録する来店者テーブルを生成する来店者テーブル生成部と、
所定処理完了後に、前記店舗から退店する前記来店者の情報を前記来店者テーブルから削除する来店者テーブル管理部と、
を具備する店舗管理装置。
【請求項２】
前記来店者と、前記来店者が有する商品に係る商品情報とを含む販売管理情報を記録する販売管理テーブルを生成する販売管理部を更に具備した請求項１に記載の店舗管理装置。
【請求項３】
前記来店者テーブル管理部により、前記来店者の情報が前記来店者テーブルから削除されている場合に、前記来店者の退店許可を判定する退店許可部を更に具備した請求項２に記載の店舗管理装置。
【請求項４】
前記所定処理は前記来店者の商品購入の決済であり、前記退店許可部は、前記販売管理テーブルに未決済の商品情報が記録されている場合に、前記来店者の退店不許可を判定する請求項２に記載の店舗管理装置。
【請求項５】
前記来店者テーブルに前記来店者の情報が存在し、かつ、前記販売管理テーブルに未決済の商品情報が記録されている場合に、決済要求を行う決済管理部を更に具備した請求項２に記載の店舗管理装置。
【請求項６】
前記来店者テーブル管理部は、前記来店者が有する商品に係る商品情報を前記販売管理テーブルに記録するときに、前記来店者の情報が前記来店者テーブルに存在しない場合、前記来店者の情報を前記来店者テーブルに記録する、請求項２に記載の店舗管理装置。
【請求項７】
前記来店者テーブル管理部は、複数の来店者が同一の同行グループに属すると判定した場合、前記複数の来店者の情報を関連付けて前記来店者テーブルに記録する、請求項２に記載の店舗管理装置。
【請求項８】
前記所定処理は前記来店者の商品購入の決済であって、当該決済完了後に、前記来店者の情報を前記来店者テーブルから削除するとともに、前記来店者と同一の同行グループに属する他の来店者の情報を前記来店者テーブルから削除する、請求項７に記載の店舗管理装置。
【請求項９】
前記来店者が有する商品を同一の同行グループに属する他の来店者に受け渡したかを判定する行為検出部を更に具備し、前記販売管理部は、前記来店者の販売管理情報を前記他の来店者の販売管理情報に統合して前記販売管理テーブルに記録する、請求項７に記載の店舗管理装置。
【請求項１０】
店舗に来店する来店者の情報を記録する来店者テーブルを生成し、
所定処理完了後に、前記店舗から退店する前記来店者の情報を前記来店者テーブルから削除する、店舗管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗管理装置および店舗管理方法に関する。
【背景技術】
【０００２】
店舗において、顔認証を用いて顧客管理を行う技術が知られている。また、店舗の来店者が購入した商品を自動的に特定して自動決済を行う技術が開発されている。購入商品について自動決済を行う場合には、商品と、商品を手に取った来店者と、来店者が商品をレジカウンタに持ち運ぶ状態を自動的に特定する必要がある。すなわち、来店者の情報を保持するデータテーブルや、来店者が持ち運ぶ商品の情報を保持するデータテーブルを、コンピュータ上で作成する必要がある。特許文献１は、顔認証を用いた情報処理システムを開示しており、来店者情報をデータテーブル上で管理することができる。具体的には、特許文献１には、会員の登録情報と来店者の顔情報とを対応付けて来店者情報として来店者データベースに記録すること（段落００６０）、退店した顧客の来店者情報を来店者データベースから削除すること（段落００７１）が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１２６７４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の来店者データベースは、来店者に関する情報を記憶することにより、来店者が店舗内に存在することを証明するものであるが、来店者情報を店舗管理の自動処理に適用することができる。例えば、来店者情報を店舗内における商品管理や決済に用いることができる。このように、来店者情報を応用する技術の開発が求められている。【０００５】
本発明は、上述の課題に鑑みてなされたものであり、来店者情報を店舗管理の自動処理に適用することができる店舗管理装置および店舗管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の態様によれば、店舗管理装置は、店舗に来店する来店者の情報を記録する来店者テーブルを生成する来店者テーブル生成部と、所定処理完了後に、店舗から退店する来店者の情報を来店者テーブルから削除する来店者テーブル管理部と、を具備する。【０００７】
本発明の第二の態様によれば、店舗管理方法は、店舗に来店する来店者の情報を記録する来店者テーブルを生成し、所定処理完了後に、店舗から退店する来店者の情報を来店者テーブルから削除する。【０００８】
上記において、所定処理とは、例えば、来店者の商品購入の決済である。また、来店者テーブルは、来店者が店舗を退店するときの退店許可の判定に利用される。
【発明の効果】
【０００９】
本発明によれば、来店者が店舗内に存在することを証明する来店者情報を店舗管理の自動処理に適用することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態による店舗管理装置を備えた店舗管理システムの外観図である。
【図２】店舗管理システムが適用される店舗内において複数の商品棚が配列されている状態を示す斜視図である。
【図３】本発明の一実施形態による店舗管理装置のハードウェア構成図である。
【図４】本発明の一実施形態による店舗管理装置の機能ブロック図である。
【図５】本発明の一実施形態による店舗管理方法における来店者テーブル生成処理のフローチャートである。
【図６】本発明の一実施形態による店舗管理方法における来店者ＩＤ特定処理のフローチャートである。
【図７】本発明の一実施形態による店舗管理方法における第一の店舗管理処理のフローチャートである。
【図８】本発明の一実施形態による店舗管理方法における第二の店舗管理処理のフローチャートである。
【図９】本発明の一実施形態による店舗管理方法における第三の店舗管理処理のフローチャートである。
【図１０】本発明の一実施形態による店舗管理方法における第四の店舗管理処理のフローチャートである。
【図１１】本発明の一実施形態による店舗管理方法における第五の店舗管理処理のフローチャートである。
【図１２】本発明の一実施形態に係る店舗管理装置１の基本構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
本発明に係る店舗管理装置および店舗管理方法について、添付図面を参照して説明する。まず、本発明の一実施形態による店舗管理装置１について説明する。
図１は、本発明の一実施形態に係る店舗管理装置１を備えた店舗管理システム１００の外観図である。店舗管理装置１は、店舗２０内に設けられた各種の装置と通信接続される。店舗２０の出入口には、入退ゲート２が設置される。店舗２０内には、複数の商品棚２１が設置される。商品棚２１には、各種の商品が陳列されている。
【００１２】
店舗管理システム１００において、来店者は、店舗２０の入退ゲート２を通って入店又は退店する。入退ゲート２には、入退口カメラ２４が設置され、入退ゲート２を通って入店する来店者の顔を撮影し、その顔画像を店舗管理装置１へ送信する。なお、店舗２０には一つの入退ゲート２が設置されるものとしたが、入店ゲートと退店ゲートとを店舗２０の異なる位置に設置してもよい。
【００１３】
なお、店舗２０は、店員が常駐している有人店舗に限定されるものではなく、店員が常駐していない無人店舗であってもよい。また、店舗２０にはＰＯＳ端末が設置され、店員が手動でＰＯＳ端末を操作して、来店者が購入して店舗２０外に持ち出す商品の決済を行ってもよい。或いは、店舗２０にカメラなどのセンシング装置を設置し、来店者が購入して店舗２０外に持ち出す商品について自動決済を行ってもよい。通常、来店者は、入退ゲート２を通って店舗２０に来店した際、商品棚２１に陳列される商品に触れ、商品棚２１から商品を手に取り、カートに商品を入れるなどした後に、入退ゲート２を通って退店する。来店者が入退ゲート２を通って店舗２０に来店してから退店するまでの間、店舗２０に設置された撮影装置やモーションセンサなどのセンシング装置が、来店者の特徴情報や位置情報、来店者が手に取った商品の識別情報や位置情報などを判定するためのセンシング情報を取得して、店舗管理装置１へ送信する。店舗管理装置１は、センシング情報に基づいて、購入商品の自動決済、来店者に対する推奨品の一覧の提示処理、来店者がカートに入れた商品の記憶処理などの所定処理を実行する。
【００１４】
店舗管理装置１は、上述の所定処理を実行するにあたり、来店者に関連する情報（来店者情報）をデータベースに記録する。来店者情報は、来店者が店舗２０内に存在することを証明するものであるが、店舗管理装置１は、来店者情報を用いて適切な店舗管理の自動処理を行う。
【００１５】
図２は、店舗２０内において複数の商品棚２１が配列された状態を示す斜視図であり、来店者が商品棚２１から商品を選択して手に取る様子を示している。商品棚２１の上部には、来店者の顔画像を撮影する第一カメラ３が設けられているが、複数個の第一カメラ３を設けてもよい。また、来店者（顧客）のモーションをセンシングするモーションセンサ４が商品棚２１の上方に設置されている。さらに、来店者が手に取った商品や、商品棚２１に返却した商品の画像を撮影する第二カメラ５が商品棚２１の上部に設置されている。なお、第一カメラ３や第二カメラ５を商品棚２１に設置する必要はなく、店舗２０の天井や床などの他の場所に設置してもよい。すなわち、第一カメラ３は来店者の顔画像を撮影できる位置に設置すればよく、第二カメラ５は来店者が手に取った商品や商品棚２１に返却した商品の画像を撮影できる位置に設置すればよい。また、商品棚２１には、店舗設置端末２２が設けられる。
【００１６】
図３は、店舗管理装置１のハードウェア構成図である。店舗管理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１０４、インタフェース１０５、及び通信モジュール１０６を具備している。なお、ＨＤＤ１０４は、ＳＤＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）としてもよい。
【００１７】
図４は、店舗管理装置１の機能ブロック図である。店舗管理装置１のＣＰＵ１０１は、ＲＯＭ１０２やＨＤＤ１０４などに予め記憶される店舗管理プログラムを読み出して実行することにより、図４に示す機能部を実現している。すなわち、店舗管理装置１は、制御部１０、来店者テーブル生成部１１、第一位置情報取得部１２、第二位置情報取得部１３、行為検出部１４、処理対象者特定部１５、来店者テーブル管理部１６、販売管理部１７、決済管理部１８、及び退店許可部１９を具備する。
【００１８】
店舗管理装置１は、データベース４０と接続されている。また、店舗管理装置１は、第一通信ネットワーク８を経由して、店舗２０に設置される各種の装置と通信接続されており、具体的には、入退ゲート２、第一カメラ３、モーションセンサ４、第二カメラ５、商品検知センサ６、ゲート装置２３、および入退口カメラ２４と通信接続されている。第一通信ネットワーク８は、例えば、店舗管理装置１と店舗２０に設置される各種の装置とを繋ぐ専用ネットワークである。店舗管理装置１は、第二通信ネットワーク９を経由して、来店者の携帯する端末７と通信接続される。第二通信ネットワーク９は、例えば、携帯電話網、無線通信網、インターネットなどである。なお、来店者が店舗２０に入店したときに、端末７が第二通信ネットワーク９ではなく、第一通信ネットワーク８と通信接続されてもよい。
【００１９】
店舗管理装置１において、制御部１０は他の機能部１１〜１９を制御する。来店者テーブル生成部１１は、来店者情報を記憶して、来店者の退店許可の判定に利用される来店者テーブルを生成する。来店者情報は、例えば、来店者の顔特徴量、来店者ＩＤ、来店者の携帯する端末７のアドレスなどである。第一位置情報取得部１２は、第一カメラ３が撮影した来店者の顔画像に基づいて、商品棚２１に陳列される商品に近づく来店者の生体特徴情報の位置を示す第一位置情報を取得する。第一カメラ３は、撮像範囲に映る人物の生体特徴情報の検出に用いられるものであり、例えば、商品棚２１に設置されて、商品棚２１の前に位置する人物の顔を撮影する。生体特徴情報として、例えば、人物の顔特徴情報、人物の眼の虹彩の特徴情報などであってもよい。なお、第一位置情報取得部１２は、入退口カメラ２４から取得した来店者の顔画像に基づいて、来店者の生体特徴情の位置を示す第一位置情報を取得してもよい。
【００２０】
第二位置情報取得部１３は、モーションセンサ４から取得したセンシング情報に基づいて、商品棚２１に接近する人物のうち商品に手を伸ばした対象人物の位置を示す第二位置情報を取得する。モーションセンサ４は、例えば、商品棚２１の上方の天井に設置され、天井から見て下方の対象人物を検出する。
【００２１】
行為検出部１４は、商品を移動する行為や来店者の行為を検出する。例えば、商品棚２１に陳列された商品を撮影する第二カメラ５の画像や、商品検知センサ６による商品の検知情報に基づいて、商品を移動する行為を検出する。商品の移動行為とは、来店者が商品を手に取った行為、商品を商品棚２１に返却した行為、来店者による商品の接触行為、来店者が商品をカートに入れる行為などを意味する。また、行為検出部１４は、店舗２０内において来店者に対して商品の受け渡しがあったか否かを検出する。さらに、行為検出部１４は、店舗２０内において移動する来店者の位置を追跡する。
【００２２】
処理対象者特定部１５は、移動行為がなされた商品のＩＤや位置、第一位置情報と第二位置情報との位置関係に基づいて、商品に対する移動行為を行った対象人物の生体特徴情報を特定し、その生体特徴情報に対応する人物のＩＤを来店者テーブルから読み出す。
【００２３】
来店者テーブル管理部１６は、来店者の購入商品の決済完了後に、来店者テーブルから来店者情報を削除するか、或いは、来店者テーブルにおける来店者情報を更新する。販売管理部１７は、来店者が手に取って持ち運んでいる商品の情報（商品情報）を記憶する販売管理テーブルを生成する。
【００２４】
決済管理部１８は、来店者の購入商品に対する決済を行うとともに、その決済が完了したか否か判定する。例えば、来店者テーブルに来店者情報が存在し、かつ、未決済の購入商品の商品情報が販売管理テーブルに記憶されている場合には、決済管理部１８は、購入商品の決済を促すメッセージを来店者の近傍の装置（例えば、来店者の端末７など）に送信する。退店許可部１９は、店舗２０を退店する来店者に関する来店者情報が来店者テーブルから削除されている場合には、退店許可を所定の装置へ出力する。また、退店許可部１９は、来店者の未決済の購入商品に関する商品情報が販売管理テーブルに記録されていない場合に、退店許可を所定の装置へ出力する。
【００２５】
次に、本発明の一実施形態による店舗管理方法について図５乃至図１１を参照して説明する。
図５は、来店者テーブル生成処理のフローチャートである（ステップＳ１０１〜Ｓ１０５）。まず、来店者テーブル生成部１１は、来店者の顔画像を入退口カメラ２４から取得する（Ｓ１０１）。来店者テーブル生成部１１は、来店者の顔画像の特徴量と、データベース４０に予め記憶されている多数の顧客（以下、登録ユーザと称する）の顔画像の特徴量とを比較して、両者の特徴量の差が許容範囲内にあり、来店者と同一人物であると認定できる登録ユーザの特徴量をデータベース４０から選択する（Ｓ１０２）。来店者テーブル生成部１１は、登録ユーザの特徴量に紐づく登録ユーザＩＤをデータベース４０から読み取り、その登録ユーザＩＤに紐づいてデータベース４０に記録されている登録ユーザの端末７のアドレスを取得する（Ｓ１０３）。来店者テーブル生成部１１は、本人確認情報を来店者の端末７へ送信する（Ｓ１０４）。来店者テーブル生成部１１は、登録ユーザＩＤと、来店者の顔画像の特徴量と、来店者の端末７のアドレスとを紐づけて来店者テーブルに記録する（Ｓ１０５）。これにより、店舗２０に入店した来店者について来店者テーブルが生成される。
【００２６】
なお、来店者テーブル生成部１１は、入退口カメラ２４から取得した来店者の顔画像の代わりに、店舗２０に設置された第一カメラ３により取得した来店者の顔画像を用いて、上記のステップＳ１０１〜Ｓ１０５を実行して来店者テーブルを生成してもよい。
【００２７】
上述の来店者テーブルは、店舗管理装置１による商品の移動行為の検出にも利用される。具体的には、来店者テーブルに記録された情報を用いて、商品棚２１から商品を手に取った来店者を特定し、商品を持ち歩いている来店者を特定する。また、来店者テーブルは、店舗管理装置１の他の処理にも利用される。例えば、来店者テーブルに記録された情報を用いて、購入商品の決済を行う来店者を特定し、店舗２０から退店する来店者を特定することができる。
【００２８】
上記の来店者特定処理において、第一カメラ３が商品棚２１の前に位置する来店者などの人物を商品棚２１側から撮影し、その撮影した静止画像又は動画像を店舗管理装置１へ送信する。また、モーションセンサ４は、店舗２０の天井などの商品棚２１の上方から見て下方に位置する来店者をセンシングし、そのセンシング情報を店舗管理装置１へ送信する。モーションセンサ４のセンシング情報として、例えば、赤外線により得られた物体の位置までの距離を画像に変換した距離画像であってもよい。商品検知センサ６は、商品棚２１に陳列した商品毎に設置されている。商品検知センサ６は、具体的には、商品の下に敷かれたシート状の形状をしており、商品の重量による圧力を検出する圧力センサ、或いは、商品の重量を検出する重量センサなどであってもよい。来店者が商品棚２１から商品を手に取った場合には、商品検知センサ６は、そのセンサＩＤと、商品棚２１上の商品について付与された店舗２０内の座標と、を含む商品取得信号を店舗管理装置１へ送信する。
【００２９】
処理対象者特定部１５は、第一カメラ３、モーションセンサ４、第二カメラ５から取得した人物の特徴情報や骨格情報の位置を示す座標を検出した時刻の対応関係と、商品検知センサ６あら取得したセンサＩＤに紐づけて記憶された商品ＩＤと座標を検出した時刻の対応関係とに基づいて、来店者テーブルから来店者ＩＤを特定する。このようにして、処理対象者特定部１５は、処理対象者を特定する。
【００３０】
次に、商品棚２１から商品を手に取った来店者の来店者ＩＤを特定する処理について説明する。図６は、来店者ＩＤ特定処理のフローチャートである（ステップＳ１１０１〜Ｓ１１１１）。
第一位置情報取得部１２は、商品棚２１の前に位置する来店者を撮影できるように設置された複数の第一カメラ３のそれぞれから、１秒間に数枚乃至数十枚程度の画像を取得する。第一位置情報取得部１２は、第一カメラ３から取得した画像に映る来店者の生体特徴情報を検出する（Ｓ１１０１）。生体特徴情報は、人物の顔の特徴情報や眼の虹彩の特徴情報などであってもよい。第一位置情報取得部１２は、画像から来店者の生体特徴情報を取得できた場合、その生体特徴情報を取得した空間座標を算出する。例えば、予め画角や撮影方向に基づく３次元撮影空間領域が決定されている場合、第一位置情報取得部１２は、第一カメラ３による３次元撮影空間領域をデータベース４０から取得し、その３次元撮影空間領域と、画像に出現した生体特徴情報の画像内座標と、その生体特徴情報の大きさなどに基づいて、所定の計算式により、生体特徴情報が出現する３次元撮影空間領域における３次元座標を算出する。また、第一位置情報取得部１２は、第一カメラ３の３次元撮影空間領域における３次元座標から店舗空間領域における３次元座標への変換式を用いて、生体特徴情報が出現する店舗空間領域内での３次元座標を算出する（Ｓ１１０２）。第一位置情報取得部１２は、画像から生体特徴情報を取得できた場合、その画像を送信した第一カメラ３のＩＤと、その検出時刻と、生体特徴情報と、生体特徴情報が出現した店舗空間領域内の３次元座標と、を対応付けて第一処理テーブルに記録する（Ｓ１１０３）。
【００３１】
第二位置情報取得部１３は、商品棚２１の上方の天井などに設置されて商品棚２１の前に位置する来店者を上方から下方に向けて撮影できる複数のモーションセンサ４から、１秒間に数枚乃至数十枚程度の距離画像を取得する。第二位置情報取得部１３は、モーションセンサ４の距離画像に映る来店者の画像を解析し、画像における来店者の頭部の位置、来店者が商品に向けて伸ばした腕の軸などの骨格情報を検出する（Ｓ１１０４）。骨格情報には、例えば、距離画像を解析して得られた来店者の腕の軸の直線部分を示すベクトルや座標、来店者の手の先端の座標などが含まれる。なお、骨格情報には、来店者を上方から見た頭部、腕、手の先端などの位置を特定するための座標やベクトル、腕の軸を表す式などが少なくとも含まれる。上記の距離画像から来店者の腕の軸や手の先端を表す骨格情報を取得できた場合、第二位置情報取得部１３は、骨格情報から来店者の腕や手の先端の空間座標を算出する。第一位置情報取得部１２と同様に、第二位置情報取得部１３は、予め画角や撮影方向に基づく３次元撮影空間領域を記憶している。第二位置情報取得部１３は、モーションセンサ４について３次元撮影空間領域をデータベース４０から取得し、その３次元撮影空間領域と、画像において出現した骨格情報の画像内座標と、モーションセンサ４からの距離などに基づいて、所定の計算式により骨格情報が出現する３次元撮影空間領域における３次元座標を算出する。また、第二位置情報取得部１３は、３次元撮影空間領域における３次元座標から店舗空間領域の３次元座標への変換式を用いて、骨格情報が出現する店舗空間領域内での３次元座標を算出する（Ｓ１１０５）。第二位置情報取得部１３は、画像から骨格情報を取得できた場合、その画像を送信したモーションセンサ４のＩＤと、検出時刻と、骨格情報と、その骨格情報が出現した店舗空間領域内の３次元座標と、を対応付けて第二処理テーブルに記録する（Ｓ１１０６）。
【００３２】
商品検知センサ６は、例えば、商品の重量や商品の重量による圧力を検知しており、商品の重量や圧力の増減に応じて、所定の情報を店舗管理装置１へ送信する。商品の重量や圧力の減少が閾値以上の場合、減少を示すフラグと、センサＩＤと、商品の陳列位置と、商品取得行為の検出時刻とを含む商品取得行為情報が店舗管理装置１へ送信される。一方、商品検知センサ６は、商品の重量や圧力の増加が閾値以上の場合、増加を示すフラグと、センサＩＤと、商品の陳列位置と、商品返却行為の検出時刻とを含む商品返却行為情報を商品管理装置１へ送信する。その後、行為検出部１４は、商品検知センサ６から商品取得行為情報や商品返却行為情報を取得する（Ｓ１１０７）。行為検出部１４は、商品取得行為情報に含まれるセンサＩＤに紐づいて記録されている商品ＩＤを取得することで、その商品ＩＤに対応する商品が商品棚２１から取得されたことを検出する。また、行為検出部１４は、商品返却行為情報に含まれるセンサＩＤに紐づいて記憶されている商品ＩＤを取得することで、その商品ＩＤに対応する商品が商品棚２１に戻されたことを検出する。行為検出部１４は、商品取得行為情報又は商品返却行為情報に含まれるセンサＩＤに関連する商品ＩＤ、商品の陳列位置、行為検出時刻を処理対象者特定部１５へ送出する。
【００３３】
処理対象者特定部１５は、移動行為がなされた商品の商品ＩＤ、商品陳列位置、行為検出時刻を行為検出部１４から取得すると、商品の陳列位置に相当する店舗空間領域の３次元座標から所定距離以内に近接した座標を含み、かつ、行為検出時刻と所定時間差以内の検出時刻に紐づく骨格情報が第二処理テーブルに記録されているか判定する。処理対象者特定部１５は、移動行為がなされた商品の３次元座標から所定距離以内に近接した座標を含み、かつ、行為検出時刻と所定時間差以内の検出時刻に紐づく骨格情報が第二処理テーブルに記録されている場合、その骨格情報を取得する（Ｓ１１０８）。骨格情報には、例えば、来店者の手の先端の３次元座標が含まれている。処理対象者特定部１５は、商品の３次元座標と来店者の手の先端の３次元座標がほぼ同時刻に近接している場合には、来店者の手の先端の３次元座標を含む骨格情報を、商品を手に取った来店者の骨格情報と推定して取得する。従って、処理対象者特定部１５は、移動行為がなされた商品の３次元座標に基づいて取得した骨格情報に含まれる来店者の頭部の３次元座標と骨格情報の検出時刻とを取得する（Ｓ１１０９）。処理対象者特定部１５は、来店者の頭部の３次元座標から所定距離以内の３次元座標に紐づき、かつ、検出時刻が所定時間差以内の来店者の顔の特徴情報を第一処理テーブルから取得する（Ｓ１１１０）。処理対象者特定部１５は、移動行為がなされた商品の位置に基づいて商品に手を伸ばした来店者の骨格情報が示す位置（第二位置情報）を特定し、骨格情報が示す位置に基づいて位置関係が有意な来店者の顔の特徴情報が出現する位置（第一位置情報）を検出する処理の一態様を実現するものである。店舗管理装置１が予め来店者の顔の特徴情報と来店者ＩＤとを紐づけてデータベース４０内の来店者テーブルに記憶している場合、処理対象者特定部１５は、来店者テーブルを参照して、骨格情報から取得した来店者の顔の特徴情報を用いて、来店者ＩＤを検出する（Ｓ１１１１）。このように、店舗管理装置１は、上述のセンシング装置から取得した情報に基づいて、来店者の生体特徴情報や骨格情報から来店者ＩＤを特定することができる。
【００３４】
販売管理部１７は、来店者ＩＤと第二カメラ５が撮影した画像から特定された商品ＩＤと紐づけてデータベース４０のデータテーブルに記録される販売管理テーブルを更新する。販売管理部１７は、販売管理テーブルを来店者の近傍に配置される表示装置に表示してもよい。これにより、来店者は、自身が商品棚２１から手に取ってカートに入れた商品の一覧を確認することができる。
【００３５】
来店者が商品を商品棚２１に戻した場合、商品検知センサ６は、センサＩＤや商品棚２１上の商品の店舗２０内の座標などの位置情報を含む商品返品行為情報を店舗管理装置１へ送信する。販売管理部１７は、商品返品行為情報が示す商品検知センサ６のセンサＩＤに紐づけて記憶する商品のＩＤや位置情報、人物の特徴情報や骨格情報に基づいて、販売管理テーブルに記録されている来店者ＩＤと商品ＩＤとの紐づけを解除する。処理対象者特定部１５は、来店者ＩＤと商品ＩＤとの紐づけを解除する場合でも、処理対象となる来店者ＩＤを来店者テーブルから特定する。
【００３６】
行為検出部１４は、商品検知センサ６のセンシング情報の代わりに、第二カメラ５から得た画像に基づいて、来店者が商品棚２１から手に取った商品のＩＤと、商品棚２１上の商品の店舗２０内の座標とを検出してもよい。また、行為検出部１４は、第二カメラ５から得た画像に基づいて、来店者が商品棚２１に戻した商品のＩＤと、商品棚２１上の商品の店舗２０内の座標とを検出してもよい。つまり、行為検出部１４は、商品検知センサ６のセンシング情報と第二カメラ５の画像の少なくとも一方に基づいて、来店者による商品の移動行為を検出すればよい。
【００３７】
上述の処理により、販売管理部１７は、来店者が商品棚２１上のどの商品を手に取って、どの商品を商品棚２１に戻したかの情報を記憶することができる。また、来店者が店舗２０を退店するときに入退ゲート２を通過する際に、入退口カメラ２４が来店者の顔画像を撮影しており、来店者テーブル生成部１１は、顔画像の特徴量に基づいて特定した来店者ＩＤを来店者テーブルから削除する。販売管理部１７は、データベース４０に記録されている来店者ＩＤと、商品ＩＤと、来店者の購入商品の決済用のクレジットカード番号などを用いて、自動決済を行うことができる。
【００３８】
次に、店舗管理装置１により実施される店舗管理処理について図７乃至図１１を参照して説明する。図７は、第一の店舗管理処理のフローチャートである（ステップＳ２０１〜Ｓ２０８）。上述のように、来店者テーブル生成部１１が来店者テーブルを生成した後、店舗管理装置１は、第一の店舗管理処理を実行する。まず、行為検出部１４は、第一位置情報に基づいて、来店者の位置を検出して来店者を追跡する。具体的には、来店者が店舗２０内を歩いて所定の商品棚２１の前に位置して、所望の商品を手に取った場合、第一位置情報取得部１２は、商品に接近する人物の顔の特徴量に対応する店舗空間領域内の３次元座標を示す第一位置情報を第一カメラ３から取得した画像に基づいて特定する。行為検出部１４は、来店者の顔画像の特徴量に紐づけて、店舗空間領域における来店者の３次元座標を来店者テーブルに記録する。なお、店舗空間領域内の来店者の３次元座標の記録処理は、店舗２０内の複数の位置に設置された第一カメラ３により撮影された画像に基づいて、繰り返し行われる。これにより、行為検出部１４は、店舗２０内において移動する来店者を追跡する（Ｓ２０１）。
【００３９】
また、第二位置情報取得部１３は、商品棚２１上の商品へ接近する人物のうち、商品に手を伸ばした来店者の手の先端の３次元座標を示す第二位置情報を、モーションセンサ４のセンシング情報に基づいて検出する。そして、行為検出部１４は、来店者の手の先端に位置する商品の３次元座標を示す商品位置情報を、商品検知センサ６により検知された商品に対する移動行為を示す移動情報と、商品棚２１上の商品の店舗２０内の座標とに基づいて検出する。行為検出部１４は、第一位置情報、第二位置情報、及び商品の位置情報との関係に基づいて、どの来店者がどの商品を手に取ったかを認識する（Ｓ２０２）。行為検出部１４は、来店者が商品棚２１上の商品を手に取る行為があったことを示す商品取得行為情報を処理対象者特定部１５へ送出する。処理対象者特定部１５は、商品取得行為情報、第一位置情報、第二位置情報、及び商品位置情報に基づいて、商品を手に取った来店者を特定し、来店者ＩＤを来店者テーブルから読み出す。処理対象者特定部１５は、来店者ＩＤと商品取得行為情報とを販売管理部１７へ送出する。商品検知センサ６のセンシング情報に基づく商品の移動情報により、来店者が商品を商品棚２１に戻したことを示す場合、行為検出部１４は、商品返却行為情報を処理対象者特定部１５へ送出する。処理対象者特定部１５は、商品返却行為情報、第一位置情報、第二位置情報、及び商品位置情報に基づいて、商品返却行為を行った来店者を特定し、来店者ＩＤを来店者テーブルから読み出す。処理対象者特定部１５は、来店者ＩＤと商品返却行為情報とを販売管理部１７へ送出する。
【００４０】
販売管理部１７は、処理対象者特定部１５から得た行為情報（すなわち、商品取得行為情報又は商品返却行為情報）に基づいて、商品棚２１上の商品に対して行われた来店者の行為を判定する（Ｓ２０３）。販売管理部１７は、処理対象者特定部１５から得た行為情報が商品取得行為情報を示す場合、来店者ＩＤが販売管理テーブルに記録されているか判定する。そして、販売管理部１７は、処理対象者特定部１５から商品取得行為情報を得ているものの、販売管理テーブルに来店者ＩＤが記録されていない場合、来店者ＩＤを販売管理テーブルに記録するとともに、来店者ＩＤに紐づけて来店者が手に取った商品のＩＤを販売管理テーブルに記録する。一方、販売管理部１７は、処理対象者特定部１５から商品取得行為情報を得ており、かつ、販売管理テーブルに来店者ＩＤが記録されている場合、来店者ＩＤに紐づけて来店者が手に取った商品のＩＤを販売管理テーブルに記録する。また、販売管理部１７は、処理対象者特定部１５から商品取得行為情報を得た場合、来店者が手に取った商品のＩＤに紐づけて記録されている購入数量を１増加する。なお、特定の商品のＩＤが来店者テーブルの来店者ＩＤに紐づけて初めて販売管理テーブルに記録される場合、販売管理部１７は、来店者が手に取った商品の購入数量を１に設定する。これにより、少なくとも来店者ＩＤ、商品ＩＤ、購入数量を含む販売管理情報が販売管理テーブルに記録される。なお、販売管理情報に含まれる商品ＩＤや購入数量は、来店者の買物リストに相当する。
【００４１】
販売管理部１７は、処理対象者特定部１５から得た行為情報に基づいて販売管理情報の更新が必要か否かを判定する（Ｓ２０４）。販売管理部１７は、処理対象者特定部１５から商品返却行為情報を得た場合、販売管理情報の更新が必要と判定し、販売管理テーブルに記録されている商品ＩＤに対応する購入数量を１減じる。販売管理部１７は、来店者ＩＤに紐づいて販売管理テーブルに記録されている商品ＩＤに対応する購入数量が「１」であった場合、その商品ＩＤを販売管理テーブルから削除する。これにより、販売管理部１７は、販売管理テーブルに記録される販売管理情報を更新する（Ｓ２０５）。
【００４２】
来店者は、所望の商品を選択してカート（又は、商品カゴ）に入れて店舗２０内を移動する。来店者は、所望の商品をカートに入れ終わると、店舗２０のレジカウンタに設置されているＰＯＳ端末へ移動するか、或いは、入退ゲート２へ移動する。店舗管理装置１は、ＰＯＳ端末や入退口カメラ２４との連携により購入商品の決済を行う。例えば、ＰＯＳ端末に備えられるカメラにより来店者の顔を撮影する。ＰＯＳ端末は、商品購入に係る商品情報と購入数量を光学読取装置やＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）アンテナを介して取得し、商品情報や購入数量と来店者の顔画像を含む決済要求を店舗管理装置１へ送信する。店舗管理装置１は、決済要求を受信する（Ｓ２０６）。処理対象者特定部１５は、来店者の顔画像の特徴量と、来店者テーブルに記録される顔画像の特徴量とに基づいて、商品購入の決済を行う来店者ＩＤを特定する。決済管理部１８は、商品購入の決済を行う来店者ＩＤに紐づいて来店者テーブルに記録される商品情報や購入数量と、ＰＯＳ端末から取得した商品情報と購入数量とが一致した場合には、決済を行う。商品購入の決済において、決済管理部１８は、来店者ＩＤに紐づいてデータベース４０に記録されているクレジット番号を取得し、クレジット番号と合計金額とを決済サーバへ送信する。決済管理部１８は、来店者の商品購入に係る決済が完了したか否かを判定する（Ｓ２０７）。決済管理部１８は、決済サーバから決済完了の通知を受信すると、来店者の商品購入に係る決済が完了したと判定する。
【００４３】
店舗管理装置１は、下記の手順で商品購入の決済を行ってもよい。例えば、入退口カメラ２４が来店者の顔を撮影し、その顔画像を店舗管理装置１へ送信する。処理対象者特定部１５は、来店者の顔画像の特徴量と来店者テーブルに記録される来店者の顔画像の特徴量とに基づいて、商品購入の決済を行う来店者ＩＤを特定する。決済管理部１８は、来店者ＩＤに紐づいて来店者テーブルに記録される商品情報や購入数量に基づいて合計金額を算出する。その後、上記と同様に、決済サーバを経由して決済を行う。
【００４４】
決済管理部１８は、商品購入の決済を完了すると、来店者テーブル管理部１６と販売管理部１７に対して、商品購入の決済が完了した来店者ＩＤを含むレコードの削除要求を送出する。来店者テーブル管理部１６は、削除要求を受信すると、削除要求に含まれる来店者ＩＤに紐づく情報を来店者テーブルから削除する（Ｓ２０８）。販売管理部１７は、削除要求を受信すると、削除要求に含まれる来店者ＩＤに紐づく販売管理情報を販売管理テーブルから削除する。
【００４５】
上記のように、店舗管理装置１は、商品購入の決済が完了した来店者に関する情報を来店者テーブルと販売管理テーブルから削除する。このように、決済完了に係る来店者の情報を削除することにより、来店者テーブルと販売管理テーブルに記録される情報量を低減することができる。また、来店者テーブルを用いた来店者の検索数と、販売管理テーブルを用いた販売管理の検索数を低減できるため、検索処理の負荷を軽減することができる。
【００４６】
図８は、第二の店舗管理処理のフローチャートである（ステップＳ３０１〜Ｓ３０８）。上述のように、商品購入について決済が完了して、来店者が入退ゲート２を通って退店するとき、入退口カメラ２４が来店者の顔を撮影して、顔画像を含む退店判定要求を店舗管理装置１が送信される。店舗管理装置１が退店判定要求を受信すると（Ｓ３０１）、退店許可部１９は、顔画像の特徴量が来店者テーブルに記録されているかを来店者テーブル管理部１６に問い合わせる。来店者テーブル管理部１６は、退店判定要求に係る顔画像の特徴量が来店者テーブルに含まれているか否かを判定する（Ｓ３０２）。来店者テーブル管理部１６は、来店者テーブルに顔画像の特徴量が含まれている場合には、特徴量に対応する来店者ＩＤを含む特徴量有りの判定結果を退店許可部１９へ送出する。来店者テーブルに顔画像の特徴量が含まれていない場合には、特徴量無しの判定結果を退店許可部１９へ送出する。退店許可部１９は、判定結果が特徴量無しの場合には、来店者の商品購入の決済が完了していると判定して、来店者の退店を許可する（Ｓ３０３）。
【００４７】
来店者テーブル管理部１６の判定結果が特徴量無しの場合には、来店者の商品購入の決済が完了していない可能性が有るため、退店許可部１９は、判定結果から来店者ＩＤを読み取り、来店者ＩＤに紐づく販売管理情報が販売管理テーブルに記録されているかを販売管理部１７に問い合わせる。販売管理部１７は、販売管理テーブルに来店者ＩＤに紐づく販売管理情報が含まれているか否かを判定する（Ｓ３０４）。販売管理部１７は、販売管理テーブルにおいて販売管理情報の有無を示す判定結果を退店許可部１９へ送出する。判定結果が販売管理情報の無いことを示す場合、退店許可部１９は、来店者の商品購入に係る決済が完了していると判定して、来店者の退店を許可する（Ｓ３０５）。この場合、退店許可部１９は、入退ゲート２に退店許可を送信する（Ｓ３０６）。これにより、店舗２０の入退ゲートが開く。
【００４８】
販売管理部１７の判定結果が販売管理情報の有ることを示す場合、退店許可部１９は、来店者の商品購入に係る決済が完了していないと判定して、来店者を退店不許可とする（Ｓ３０７）。この場合、退店許可部１９は、退店不許可を入退ゲート２や入退ゲート２の近傍に設置されているゲート装置２３へ送信する（Ｓ３０８）。退店不許可に従って、入退ゲート２を開く動作を停止する。また、ゲート装置２３は、来店者に商品購入の決済が完了していないかを確認することを促す画面情報をモニタに表示する。これにより、商品購入の決済が完了していない来店者が不正に店舗２０の外に退店することを防止することができる。また、店舗管理装置１は、来店者に対して決済が完了していないかを確認するよう促すことができる。
【００４９】
図９は、第三の店舗管理処理のフローチャートである（ステップＳ２５０１〜２５０４）。来店者の商品購入の決済が完了した後であっても、再度、店舗２０内の商品棚２１に陳列されている商品を購入して決済を行う場合がある。この場合、１回目の決済により、来店者の情報が来店者テーブルから削除されているため、来店者の情報を来店者テーブルに再度追加する必要がある。このような処理について、以下に説明する。
【００５０】
図７に示す第一の店舗管理処理のステップＳ２０５において、販売管理部１７が販売管理情報の更新を開始した後、販売管理部１７は、処理対象者特定部１５から得た来店者ＩＤが来店者テーブルに含まれているか問い合わせる。来店者テーブル管理部１６は、来店者ＩＤが来店者テーブルに含まれているか否か判定する（Ｓ２５０１）。来店者テーブル管理部１６は、来店者テーブルにおける来店者ＩＤの有無を示す判定結果を販売管理部１７へ送出する。販売管理部１７は、判定結果が来店者テーブルに来店者ＩＤのあることを示す場合、処理対象者特定部１５から取得した行為情報に基づいて販売管理情報を更新する（Ｓ２５０２）。判定結果が来店者テーブルに来店者ＩＤの無いことを示す場合、販売管理部１７は、来店者ＩＤと、来店者ＩＤに紐づいてデータベース４０に記録されている来店者の顔画像の特徴量と、来店者の携帯する端末７のアドレスとを紐づけて来店者テーブルに記録する（Ｓ２５０３）。その後、販売管理部１７は、処理対象者特定部１５から取得した行為情報に基づいて販売管理情報を更新する（Ｓ２５０４）。
【００５１】
このようにして、再度の決済を行う来店者の情報が来店者テーブルに記録される。その後、来店者テーブルに含まれる来店者ＩＤを用いて、来店者の商品購入について決済が再度行われる。
【００５２】
図１０は、第四の店舗管理処理のフローチャートである（ステップＳ２０１〜Ｓ２０８、Ｓ４０１〜Ｓ４０３）。店舗２０に入店する来店者に同行する他の来店者が存在する場合、それらの来店者を含むグループ（以下、来店者グループと称する）について、商品購入の決済回数が１回のみであることが想定される。この場合、決済終了後、来店者グループに含まれる全ての来店者の情報を一括して来店者テーブルから削除することが好ましい。このような処理について、以下に説明する。
【００５３】
図７と同様に、図１０にはステップＳ２０１〜Ｓ２０８が含まれているため、その説明を適宜割愛する。ステップＳ２０１〜Ｓ２０６の実行時に、来店者テーブル管理部１６は、店舗空間領域における来店者の３次元座標を行為検出部１４から取得する。来店者テーブル管理部１６は、現在時刻を基準として、所定時間前までの所定期間における来店者の３次元座標に基づく距離を来店者ＩＤ毎に比較して、複数の来店者が同行していると推定できる来店者ＩＤのグループを特定する。例えば、複数の来店者の３次元座標に基づく距離が所定期間において所定割合以上である場合には、来店者テーブル管理部１６は、それらの来店者が同行していると判定して、同一の同行グループＩＤ（すなわち、同一の来店者グループのＩＤ）を付与する。来店者テーブル管理部１６は、店舗２０への来店時に同行していると判定した複数の来店者のＩＤに紐づけて同一の同行グループＩＤを来店者テーブルに記録する。例えば、家族で店舗２０に来店する場合、家族を構成する複数の来店者が一つのグループとして特定される。
【００５４】
来店者は、商品棚２１から所望の商品を選択してカート（又は、商品カゴ）に入れて、店舗２０内を移動する。来店者は、所望の商品をカートに入れ終わると、レジカウンタに設置されているＰＯＳ端末や入退ゲート２へ移動する。決済管理部１８は、来店者の商品購入に係る決済が完了したか判定する（Ｓ２０７）。決済管理部１８は、決済が完了すると、来店者テーブル管理部１６と販売管理部１７に決済の完了した来店者ＩＤを含む削除要求を送出する。
【００５５】
来店者テーブル管理部１６は、削除要求を受信すると、来店者テーブルに記録されている来店者ＩＤに同行グループＩＤが紐づいているか否かを判定する（Ｓ４０１）。来店者テーブル管理部１６は、来店者テーブルにおいて来店者ＩＤに同行グループＩＤが紐づいている場合、来店者に対して同行者が存在すると判定する。その場合、来店者テーブル管理部１６は、同行グループＩＤに紐づく他の来店者ＩＤを来店者テーブルから取得する。他の来店者ＩＤは、商品購入の決済の対象となった来店者に同行する他の来店者のＩＤである。来店者テーブル管理部１６は、決済対象の来店者の同行者を示す他の来店者ＩＤに紐づく販売管理情報が販売管理テーブルに記録されているかを販売管理部１７に問い合わせる。販売管理部１７は、販売管理テーブルに他の来店者ＩＤに紐づく販売管理情報が含まれているか否かを判定する（Ｓ４０２）。
【００５６】
販売管理部１７は、同一の同行グループに紐づく全ての来店者ＩＤについて販売管理情報の有無を示す判定結果を来店者テーブル管理部１６へ送出する。判定結果が販売管理情報の無いことを示す場合、来店者テーブル管理部１６は、決済管理部１８から受信した削除要求に含まれる来店者ＩＤと、来店者ＩＤと同一の同行グループに含まれる他の来店者ＩＤとに紐づく情報を来店者テーブルから削除する（Ｓ４０３）。判定結果が販売管理情報の有ることを示す場合、来店者テーブル管理部１６は、来店者テーブルから来店者ＩＤなどを削除することなく、削除要求に係る処理を終了する。また、来店者テーブル管理部１６は、ステップＳ４０１において、来店者ＩＤに同行グループＩＤが紐づいていない判定した場合、その来店者ＩＤに紐づく情報を来店者テーブルから削除する（Ｓ２０８）。
【００５７】
上述の処理により、商品購入の決済の対象となった来店者に同行者が存在する場合、同行者グループに含まれる全ての来店者の情報を来店者テーブルから一括して削除することができる。これにより、来店者テーブルにおける同行グループに含まれる他の来店者の検索数を低減することができ、店舗管理装置１の検索処理の負荷を軽減することができる。なお、ステップＳ４０２において、同行者を示す他の来店者ＩＤに紐づく販売管理情報が販売管理テーブルに含まれると判定された場合には、その同行グループに含まれる他の来店者ＩＤの販売管理情報は削除されないこととなる。この場合、図８に示すステップＳ３０４で、他の来店者が店舗２０を退店するときに、販売管理テーブルに販売管理情報が含まれると判定されるため、ステップＳ３０７において退店許可部１９は、他の来店者の退店不許可と判定する。
【００５８】
図１１は、第五の店舗管理処理のフローチャートである（ステップＳ２０１〜Ｓ２０８、Ｓ４０１〜Ｓ４０３、Ｓ５０１〜Ｓ５０３）。来店者が商品棚２１から商品を手に取った後に、同行者である他の来店者に商品を手渡す可能性が想定される。その場合、店舗管理装置１は、実際に商品を購入する来店者に対して適切に決済を行う必要がある。このような処理手順について、以下に説明する。
【００５９】
図１１には、図１０に示すステップＳ２０１〜Ｓ２０８、Ｓ４０１〜Ｓ４０３が含まれているため、その説明を適宜割愛する。図１１において、行為検出部１４は、店舗２０内を移動する来店者を追跡する（Ｓ２０１）。行為検出部１４は、第一位置情報と第二位置情報と商品位置情報との関係に基づいて、どの来店者がどの商品を取得したか認識する（Ｓ２０２）。その後、図７において説明したステップＳ２０３〜Ｓ２０５の実行後、行為検出部１４は、来店者が手に取った商品を他の来店者に受け渡したか否かを判定する（Ｓ５０１）。
【００６０】
説明の便宜上、来店者の生体特徴情報の位置を第一位置情報、来店者の手の先端の位置を第二位置情報、他の来店者（同行者）の生体特徴情報の位置を第三位置情報、他の来店者の手の先端の位置を第四位置情報と称する。上述のステップＳ５０１について、具体的には、来店者の手の先端の３次元座標を示す第二位置情報と商品の３次元座標を示す商品位置情報と、他の来店者（同行者）の手の先端の３次元座標を示す第四位置情報とが近接していると認識するための所定距離以内であるかを判定する。来店者の手の先端位置と他の来店者の手の先端位置が近接していると判定される場合（ステップＳ５０１の判定結果「ＹＥＳ」）、行為検出部１４は、商品の３次元座標を示す商品位置情報と他の来店者の手の先端の３次元座標を示す第四位置情報との間の距離が、商品を把持していると認識できる所定距離以内であり、かつ、商品位置が移動しているかを判定する。行為検出部１４は、商品位置情報と第四位置情報との距離が商品の把持を認識できる所定距離以内であり、かつ、商品位置が移動している場合、商品が来店者から他の来店者へ受け渡されたと判定する。
【００６１】
行為検出部１４は、来店者から他の来店者（同行者）に商品が受け渡されたことを示す行為情報を処理対象者特定部１５へ送出する。行為情報には、来店者の手の先端位置を示す第二位置情報と来店者の顔の位置を示す第一位置情報と、商品の位置を示す商品位置情報と、他の来店者の顔の位置を示す第三位置情報と、他の来店者の手の先端位置を示す第四位置情報と、来店者から他の来店者へ商品が受け渡されたことを示す識別子と、が含まれる。処理対象者特定部１５は、行為情報を取得すると、第一位置情報と第三位置情報とに基づいて、商品を受け渡した来店者と他の来店者の顔の特徴量を撮影画像から抽出する。処理対象者特定部１５は、来店者と他の来店者の顔の特徴量に基づいて、２つの来店者ＩＤを来店者テーブルにて特定する。処理対象者特定部１５は、商品の受け渡しを行った来店者と他の来店者に対応する２つの来店者ＩＤを含む受渡情報を販売管理部１７へ送出する。
【００６２】
販売管理部１７は、受渡情報を受信すると、受渡情報に含まれる２つの来店者ＩＤを読み取る。販売管理部１７は、２つの来店者ＩＤに紐づく２つの販売管理情報が販売管理テーブルに存在するか判定する（Ｓ５０２）。説明の便宜上、商品の受渡元となる来店者のＩＤには第１の販売管理情報が紐づけられ、商品の受渡先となる他の来店者のＩＤには第２の販売管理情報が紐づけられているものとする。販売管理部１７は、２つの来店者ＩＤに紐づく２つの販売管理情報が販売管理テーブルに含まれる場合、販売管理部１７は、第一の販売管理情報と第２の販売管理情報とを統合すると判定する。例えば、販売管理部１７は、商品の受渡先を示す第四位置情報に対応する他の来店者の顔の位置（第三位置情報）に係る来店者ＩＤを特定し、その来店者ＩＤに紐づく第２の販売管理情報に、商品の受渡元である来店者のＩＤに紐づく第１の販売管理情報を統合する（Ｓ５０３）。また、販売管理部１７は、複数の来店者ＩＤに同じ同行グループＩＤが付与されている場合、その同行グループＩＤに属する来店者ＩＤに紐づく複数の販売管理情報の中で、最も商品購入数が多い来店者ＩＤの販売管理情報に、同行グループＩＤに属する他の来店者ＩＤに紐づく販売管理情報を統合する。
【００６３】
そして、店舗管理装置１が決済要求を受信すると（Ｓ２０６）、図１０に示した第四の店舗管理処理と同様に、ステップＳ２０７以降の手順（すなわち、Ｓ２０７、Ｓ４０１〜Ｓ４０３、Ｓ２０８）が実施される。この場合、来店者に対して他の来店者（同行者）が同行しているため、ステップＳ４０３において、来店者テーブル管理部１６は、決済管理部１８から受信した削除要求に含まれる来店者ＩＤと、同一の同行グループに含まれる他の来店者ＩＤとに紐づく情報を来店者テーブルから削除する。
【００６４】
上述のように、来店者と他の来店者との間で商品が受け渡された場合でも、その商品の受け渡しと受け取りを行った来店者同士を同行者と認定して、同行者で一つの販売管理情報を管理することができる。これにより、商品購入について漏れの無い決済を行うことができる。
【００６５】
図１２は、本発明の一実施形態に係る店舗管理装置１の基本構成を示すブロック図である。店舗管理装置１は、少なくとも来店者テーブル生成部１１と、来店者テーブル管理部１６と、を備える。来店者テーブル生成部１１は、店舗２０に来店する来店者の情報を記録し、退店許可の判定に利用される来店者テーブルを生成する。来店者テーブル管理部１６は、来店者の商品購入の決済完了後に、来店者テーブルから来店者の情報を削除する。
【００６６】
店舗管理装置１は、内部にコンピュータシステムを有しており、上述の処理過程は、コンピュータプログラムとしてコンピュータ読取可能な記録媒体に記憶されており、コンピュータがコンピュータプログラムを読み出して実行することにより、図５乃至図１１に示される処理手順を実現する。ここで、コンピュータ読取可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリなどをいう。また、コンピュータプログラムを通信回線によってコンピュータに配信し、コンピュータがコンピュータプログラムを実行するようにしてもよい。
【００６７】
上述のコンピュータプログラムは、店舗管理装置１の機能の一部を実現するためのものであってもよい。また、店舗管理装置１の機能をコンピュータシステムに既に記録されているプリインストールプログラムとの組み合わせで実現できる差分プログラム（差分ファイル）であってもよい。
【００６８】
最後に、本発明は、上述の実施形態に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲内における種々の改造や設計変更をも包含するものである。
【００６９】
本願は、２０１８年３月２０日に、日本国に出願された特願２０１８−５３２１５号に基づき優先権を主張し、その内容をここに援用する。
【産業上の利用可能性】
【００７０】
本発明は、店舗に来店する来店者の情報を自動的に来店者テーブルに記録し、商品購入の決済、店舗管理、退店許可判定などに利用するものであるが、店舗管理用途に限定されるものではなく、鉄道の駅や空港などの公共施設において利用者の行動を観察して管理する用途にも適用できる。
【符号の説明】
【００７１】
１  店舗管理装置
２  入退ゲート
３  第一カメラ
４  モーションセンサ
５  第二カメラ
６  商品検知センサ
７  端末
１０  制御部
１１  来店者テーブル生成部
１２  第一位置情報取得部
１３  第二位置情報取得部
１４  行為検出部
１５  処理対象者特定部
１６  来店者テーブル管理部
１７  販売管理部
１８  決済管理部
１９  退店許可部
２０  店舗
２１  商品棚
２３  ゲート装置
２４  入退口カメラ
４０  データベース
【図１】
2019181499.tif 000003
【図２】
2019181499.tif 000004
【図３】
2019181499.tif 000005
【図４】
2019181499.tif 000006
【図５】
2019181499.tif 000007
【図６】
2019181499.tif 000008
【図７】
2019181499.tif 000009
【図８】
2019181499.tif 000010
【図９】
2019181499.tif 000011
【図１０】
2019181499.tif 000012
【図１１】
2019181499.tif 000013
【図１２】
2019181499.tif 000014
【国際調査報告】
2019181499.tif 000015
2019181499.tif 000016
2019181499.tif 000017