(57)【要約】  商品に近づく接近人物の位置を示す第一位置情報を取得する。接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出する。商品に対する移動行為を検出する。検出された移動行為を行った対象人物に対応する人物のＩＤを、第一位置情報と第二位置情報との位置関係に基づき特定する。
2019038965.tif 000002
【特許請求の範囲】
【請求項１】
商品に近づく接近人物の位置を示す第一位置情報を取得する第一位置情報取得部と、
前記接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出する第二位置情報取得部と、
前記商品に対する移動行為を検出する行為検出部と、
検出された前記移動行為を行った前記対象人物に対応する識別情報を、前記第一位置情報と前記第二位置情報との位置関係に基づき特定する人物特定部と、
を備える店舗装置。
【請求項２】
前記人物特定部は、前記接近人物の顔の特徴情報が出現する前記第一位置情報と、前記商品に腕を伸ばした前記対象人物の当該腕を示す軸に関する第二位置情報と、検出された前記移動行為が行われた商品の第三位置情報とを取得して、取得した前記第三位置情報に基づき前記第二位置情報を特定し、当該第二位置情報に基づいて位置関係が有意な前記第一位置情報を検出し、前記検出した前記第一位置情報が示す位置における前記顔の特徴情報に対応する人物の識別情報を特定する
請求項１に記載の店舗装置。
【請求項３】
前記人物特定部の特定した前記対象人物の前記識別情報に対応する管理情報に、前記移動行為のうち前記商品の取得行為が行われた前記商品の前記識別情報を割り当てる販売管理部と、
を備える請求項１または請求項２に記載の店舗装置。
【請求項４】
前記販売管理部は、前記管理情報から、前記移動行為のうち前記商品の返却行為が行われた前記商品の前記識別情報を削除する
請求項３に記載の店舗装置。
【請求項５】
前記人物特定部の特定した前記対象人物の前記識別情報と、前記移動行為が行われた商品の識別情報とに基づいて、前記対象人物に対して前記商品の販売管理情報に関する提示情報を出力する情報出力部と、
を備える請求項１から請求項４の何れか一項に記載の店舗装置。
【請求項６】
前記第一位置情報取得部は、第一撮影手段によって撮影された前記対象人物の特徴情報の３次元空間内における前記第一位置情報を取得する
請求項１から請求項５の何れか一項に記載の店舗装置。
【請求項７】
前記行為検出部は前記商品の設置面の圧力または重量の変動に基づいて、前記移動行為が前記商品の取得行為か返却行為かを検出する
請求項１から請求項６の何れか一項に記載の店舗装置。
【請求項８】
前記行為検出部は、第二撮影手段によって撮影された前記商品の移動情報に基づいて、前記移動行為が前記商品の取得行為か返却行為かを検出する
請求項１から請求項６の何れか一項に記載の店舗装置。
【請求項９】
商品に近づく接近人物の位置を示す第一位置情報を取得し、
前記接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出し、
前記商品に対する移動行為を検出し、
検出された前記移動行為を行った前記対象人物に対応する識別情報を、前記第一位置情報と前記第二位置情報との位置関係に基づき特定する
店舗管理方法。
【請求項１０】
店舗装置のコンピュータに、
商品に近づく接近人物の位置を示す第一位置情報を取得し、
前記接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出し、
前記商品に対する移動行為を検出し、
検出された前記移動行為を行った前記対象人物に対応する識別情報を前記第一位置情報と前記第二位置情報との位置関係に基づき特定する、
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗装置、店舗管理方法、プログラムに関する。
【背景技術】
【０００２】
店舗において来店者が購入を希望する商品の自動決済を管理する技術が求められている。特許文献１には関連する技術として無人店舗に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２５３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
店舗等に設置される情報処理装置は来店者が手に取った商品や商品棚に返却した商品の認識精度を向上させる必要がある。【０００５】
そこでこの発明は、上述の課題を解決することのできる店舗装置、店舗管理方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、店舗装置は、商品に近づく接近人物の位置を示す第一位置情報を取得する第一位置情報取得部と、前記接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出する第二位置情報取得部と、前記商品に対する移動行為を検出する行為検出部と、検出された前記移動行為を行った前記対象人物に対応する識別情報を、前記第一位置情報と前記第二位置情報との位置関係に基づき特定する人物特定部と、を備える。【０００７】
本発明の第２の態様によれば、店舗管理方法は、商品に近づく接近人物の位置を示す第一位置情報を取得し、前記接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出し、前記商品に対する移動行為を検出し、検出された前記移動行為を行った前記対象人物に対応する識別情報を、前記第一位置情報と前記第二位置情報との位置関係に基づき特定する。【０００８】
本発明の第３の態様によれば、プログラムは、店舗装置のコンピュータに、商品に近づく接近人物の位置を示す第一位置情報を取得し、前記接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出し、前記商品に対する移動行為を検出し、検出された前記移動行為を行った前記対象人物に対応する識別情報を前記第一位置情報と前記第二位置情報との位置関係に基づき特定する、処理を実行させる。
【発明の効果】
【０００９】
本発明によれば、店舗内の人物が手に取った商品や商品棚に返却した商品の認識精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態による店舗システムの概略図である。
【図２】本発明の一実施形態による商品棚と商品棚から商品を取得する利用者の様子を示す図である。
【図３】本発明の一実施形態による店舗装置のハードウェア構成図である。
【図４】本発明の一実施形態による店舗装置の機能ブロック図である。
【図５】本発明の一実施形態による店舗装置の処理フローを示す図である。
【図６】本発明の一実施形態による店舗装置の最小構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態による店舗装置を図面を参照して説明する。
図１は同実施形態による店舗装置を備えた店舗システムの概略図である。
この図で示すように、店舗装置１は店舗２０内に設けられた各装置と通信接続される。店舗２０には例えば入退ゲート２が設けられる。店舗２０内には商品棚２１が複数設けられる。各商品棚２１には商品が並べられている。
【００１２】
本実施形態による店舗システム１００で管理される店舗２０は利用者が入退ゲート２を通って入店または退店する構造となっている。店舗２０には店員は常駐していなくてよい。店舗２０には店員が常駐していてもよい。利用者は商品棚２１から商品を手に取り、入退ゲート２を通って退店する。利用者が入退ゲート２を通って退店するまでの間、店内に設けられた何れかの撮影装置やモーションセンサなどのセンシング装置が、利用者の特徴情報や位置情報、その利用者が取得した商品の識別情報や位置等を判定するためのセンシング情報を取得し、店舗装置１へ送信する。店舗装置１は受信したそれらのセンシング情報を用いて、自動的に決済処理を行う。
【００１３】
図２は商品棚と商品棚から商品を取得する利用者の様子を示す図である。
商品棚２１それぞれに複数個の第一カメラ３が設けられてよい。また商品棚２１の上方にはユーザのモーションをセンシングするモーションセンサ４が設けられる。また商品棚２１には店舗２０の利用者が手に取った商品や、商品棚２１に返却した商品の画像を撮影する第二カメラ５が商品棚２１に上方に設けられる。なお第一カメラ３や第二カメラ５は、商品棚２１に設けられていなくてもよい。第一カメラ３や第二カメラ５は、天井や床など、顔画像や利用者が手に取った商品や、商品棚２１に返却した商品の画像撮影ができる位置であれば、どこに設けられていてもよい。
【００１４】
図３は店舗装置のハードウェア構成図である。
店舗装置１は、図３で示すようにＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、インタフェース１０５、通信モジュール１０６の各ハードウェア構成を一例として備える。ＨＤＤ１０４は、ＳＳＤ（Solid State Drive）であってもよい。
【００１５】
図４は店舗装置の機能ブロック図である。
店舗装置１のＣＰＵ１０１は記憶部に予め記録される店舗管理プログラムを読み出して実行する。これにより店舗装置１には制御部１１、第一位置情報取得部１２、第二位置情報取得部１３、行為検出部１４、人物特定部１５、販売管理部１６、情報出力部１７の各機能が備わる。
【００１６】
図４に示すように店舗装置１はデータベース１０と接続されている。店舗装置１は第一通信ネットワーク８を介して入退ゲート２、第一カメラ３、モーションセンサ４、第二カメラ５、商品検知センサ６、ゲート装置２３などの店舗２０内に備わる各装置と通信接続されている。第一通信ネットワーク８は例えば店舗装置１と店舗２０内の各装置とを繋ぐ専用の通信ネットワークである。店舗装置１はまた店舗２０の利用者が携帯する端末７と第二通信ネットワーク９を介して接続される。第二通信ネットワーク９は携帯電話網やインターネットである。
【００１７】
本実施形態による上述の店舗装置１の各機能により、店舗装置１は商品に近づく接近人物の生体の特徴情報の位置を示す第一位置情報を第一カメラ３から得た画像に基づいて取得する。第一カメラ３は撮影範囲に写る人物の生体の特徴情報の検出に利用されるカメラであり、一例としては商品棚２１にそれぞれ設置される。第一カメラ３は、商品棚２１の前に位置する人物の顔を撮影する。生体の特徴情報は、例えば顔の特徴情報や、眼の虹彩の特徴情報などであってよい。接近人物は来店者などの店舗利用者であってもよいし、店舗２０を管理する管理者であってもよい。
【００１８】
また店舗装置１は、接近人物のうち商品に腕を伸ばした対象人物の位置を示す第二位置情報を、モーションセンサ４から得たセンシング情報に基づいて検出する。モーションセンサ４は例えば各商品棚２１の位置の上方の天井に設置され、天井から下方の対象人物をセンシングする。そして店舗装置１は商品に対する移動行為を検出する。例えば店舗装置１は各商品棚２１に対応して設置され当該商品棚２１に配置された商品を撮影する第二カメラ５からの画像や、商品検知センサ６から得た情報に基づいて商品に対する移動行為を検出する。商品の移動行為とは商品を手に取った行為、商品を商品棚２１に返却した行為などである。店舗装置１は、移動行為が行われた商品のＩＤや位置、第一位置情報と第二位置情報との位置関係に基づいて商品に対する移動行為を行った対象人物の生体の特徴情報を特定する。店舗装置１は、その特徴情報に対応する人物のＩＤを取得する。そして店舗装置１は、特定した対象人物のＩＤに対応する販売管理情報等に対して、移動行為が行われた商品の識別情報を割り当てる等の管理を行う。
【００１９】
店舗装置１の商品に対する移動行為の検出処理について説明する。
店舗２０の利用者は入退ゲート２を通過する際、端末７に表示した２次元コード画像等のコード情報を入退ゲート２に設けられたゲート装置２３に翳す。これにより入退ゲート２は２次元コード画像を読み取り、当該２次元コードが示す店舗利用者等のＩＤを店舗装置１へ出力する。なお入退ゲート２は無線通信により端末７から店舗利用者等のＩＤを読み取るようにしてもよい。店舗装置１は店舗利用者等の人物のＩＤに紐づけた販売管理情報等を生成する。この時点において販売管理情報には商品の情報は紐づいていない。そして第一カメラ３は商品棚２１の前に位置している店舗利用者等の人物を商品棚２１側から撮影し、その撮影した画像や動画像を店舗装置１へ出力する。モーションセンサ４は天井などの商品棚２１の上方から下方の店舗利用者をセンシングし、そのセンシングにより得た情報を店舗装置１へ出力する。
モーションセンサ４がセンシングして出力する情報は、例えば赤外線により得られた各物体の位置までの距離を、画像に変換した距離画像などであってよい。
【００２０】
商品検知センサ６は例えば商品棚２１に陳列した商品ごとに設置されている。商品検知センサ６は、具体的には商品の下に敷かれたシート状の形状をしており当該シート形状に設定された各位置の商品の重量による圧力を検出する圧力センサや、当該重量そのものを検出する重量センサなどであってよい。商品検知センサ６は例えば利用者が商品を手に取った場合にはその商品検知センサ６のセンサＩＤと商品棚２１におけるその商品の店舗内の座標とを含む商品取得信号を店舗装置１へ出力する。店舗装置１は、第一カメラ３、モーションセンサ４、第二カメラ５から得た人物の特徴情報や骨格情報が示す各座標を検出した時刻の対応関係と、商品検知センサ６から受信した商品検知センサ６のセンサＩＤに紐づけて記憶する商品ＩＤや座標と、時刻の対応関係とに基づいて人物ＩＤを特定する。
店舗装置１は、特定した人物ＩＤと、第二カメラ５が撮影した画像から特定された商品ＩＤとを紐づけて、データベース１０のデータテーブルに記録される販売管理情報等を更新する。
【００２１】
商品検知センサ６は、商品が商品棚２１に戻された場合には、その商品検知センサ６のセンサＩＤや商品棚２１におけるその商品の店舗内の座標などの位置情報を含む商品返品行為情報を店舗装置１へ出力する。店舗装置１は、データベース１０に記録されている店舗利用者の識別情報（ＩＤ）と商品ＩＤとの紐づけを解除する処理を行う。具体的に、店舗装置１は、その商品返品行為情報が示す商品検知センサ６のセンサＩＤに紐づけて記憶する商品ＩＤや位置情報、また人物の特徴情報や骨格情報に基づいて、店舗利用者の識別情報（ＩＤ）と商品ＩＤとの紐づけを解除する処理を行う。
【００２２】
店舗装置１は商品検知センサ６から得た情報の代わりに、第二カメラ５から得た画像に基づいて、利用者が手に取った商品の識別情報と商品棚２１におけるその商品の店舗内の座標とを検出してもよい。また店舗装置１は第二カメラ５から得た画像に基づいて、商品棚２１に戻された商品の識別情報と商品棚２１におけるその商品の店舗内の座標とを検出してもよい。つまり、店舗装置１は商品検知センサ６と第二カメラ５から得た画像の少なくとも一方に基づいて、商品に対する移動行為を検出すればよい。移動行為とは利用者による商品棚２１から商品を取得する行為、または商品の商品棚２１へ戻す行為を示す。
【００２３】
このような処理により、店舗装置１は利用者がどの商品を手に取って、どの商品を商品棚２１に戻したかの情報を記憶することができる。また利用者は退店時に入退ゲート２を通過する際、端末７に表示した２次元コード画像を入退ゲート２に設けられたゲート装置２３に翳す。これにより入退ゲート２は２次元コード画像を読み取り、当該２次元コードが示す店舗利用者のＩＤを含んだ退店情報を店舗装置１へ出力する。店舗装置１は利用者が入退ゲート２を通って退店した際にデータベース１０の販売管理情報に記録されている当該利用者のＩＤと、商品のＩＤとの関係に基づいて、利用者の購入商品を自動で検出することができる。店舗装置１はデータベース１０に記録されている利用者のＩＤと、商品のＩＤと、利用者の決済用のクレジットカード番号などを用いて決済処理を自動で行うことができる。なお利用者の店舗２０への入店から退店までの店舗２０内の各装置の上記処理や店舗装置１の上記処理は一例である。他の処理によって、利用者が購入した商品を検出する処理が行われるようにしてもよい。
【００２４】
上述のように店舗装置１は店舗利用者が商品棚２１から商品を取得する行為や、店舗利用者が商品を商品棚２１へ戻す行為を検出するものであるが、どの人物がどの商品を取得したかの認識精度を高める必要がある。例えば商品棚２１の前に複数の人物が位置しており、そのうちの一人の人物が特定の商品を手に取った場合、どの人物がどの商品を取得したのかを精度良く認識しなければ、店舗装置１は自動で商品の購入処理を進めることはできない。以下、どの人物がどの商品を取得したかの認識精度を高めるための技術について詳細に説明する。店舗装置１は店員などの商品を購入する目的で来店した人物以外の人物がどの商品を取得したかを判定するものであってもよい。
【００２５】
図５は店舗装置における処理フローを示す図である。
店舗装置１の第一位置情報取得部１２は、複数の第一カメラ３それぞれから一例として１秒間に数枚〜数十枚程度の画像を取得する。複数の第一カメラ３は、各商品棚２１において棚前に位置する人物が撮影できるように設置される。第一位置情報取得部１２はそれら取得した画像に写る人物の生体の特徴情報を検出する（ステップＳ１０１）。生体情報は顔の特徴情報や眼の虹彩の特徴情報などであってよい。第一位置情報取得部１２は、画像中から生体の特徴情報を取得できた場合、その特徴情報が検出できた空間座標を算出する。例えば第一位置情報取得部１２に対して、予め画角や撮影方向に基づく３次元撮影空間領域が決定されているとする。
第一位置情報取得部１２は、各第一カメラ３についての３次元撮影空間領域をデータベース１０から取得する。第一位置情報取得部１２は、その取得した３次元撮影空間領域と、画像において出現した特徴情報の画像内座標と、特徴情報の大きさ等に基づいて、所定の算出式によって特徴情報が出現する３次元撮影空間領域における３次元座標を算出する。また第一位置情報取得部１２は、３次元撮影空間領域における座標から店舗空間領域を示す座標への変換式を用いて、特徴情報が出現する店舗空間領域内での３次元座標を算出する（ステップＳ１０２）。
第一位置情報取得部１２は、画像中から生体の特徴情報を取得できた場合、その画像を送信した第一カメラ３のＩＤと、検出時刻と、生体の特徴情報と、その特徴情報が出現した店舗空間領域内の３次元座標と、を対応付けて第一人物候補テーブルに記録する（ステップＳ１０３）。
【００２６】
第二位置情報取得部１３は、複数のモーションセンサ４から一例として１秒間に数枚〜数十枚程度の距離画像を取得する。複数のモーションセンサ４は、各商品棚２１の上方の天井等に設けられ棚前に位置する人物を上方から下方に向けて撮影できるように設置される。第二位置情報取得部１３はそれら取得した画像に写る人物の距離画像を解析し、画像中における頭部位置、人物が伸ばした腕の軸などの骨格情報を検出する（ステップＳ１０４）。骨格情報には、例えば距離画像において解析して得られた腕の軸の直線を示すベクトル、座標、手先端の座標などが含まれてよい。なお骨格情報には少なくとも上方から見た頭や腕や手先端の座標内の位置を特定するための座標やベクトル、腕の軸を表す式などが含まれる。
第二位置情報取得部１３は、画像中から腕の軸および手先端を含む骨格情報を取得できた場合、その骨格情報を示す腕や手先端の空間座標を算出する。第一位置情報取得部１２と同様に、第二位置情報取得部１３は予め画角や撮影方向に基づく３次元撮影空間領域を記憶している。第二位置情報取得部１３は各モーションセンサ４についての３次元撮影空間領域をデータベース１０から取得する。第二位置情報取得部１３は、その取得した３次元撮影空間領域と、画像において出現した骨格情報の画像内座標と、モーションセンサ４からの距離等に基づいて、所定の算出式によって骨格情報が出現する３次元撮影空間領域における３次元座標を算出する。また第二位置情報取得部１３は、３次元撮影空間領域における座標から店舗空間領域を示す座標への変換式を用いて、骨格情報が出現する店舗空間領域内での３次元座標を算出する（ステップＳ１０５）。
第二位置情報取得部１３は、画像中から骨格情報を取得できた場合、その画像を送信したモーションセンサ４のＩＤと、検出時刻と、骨格情報と、その骨格情報が出現した店舗空間領域内の３次元座標と、を対応付けて第二人物候補テーブルに記録する（ステップＳ１０６）。
【００２７】
商品検知センサ６は一例としては商品の重量や、当該重量による圧力を検知する。商品検知センサ６は、その重量や圧力の増減等に基づいて、重量や圧力の減少が閾値以上である場合には、減少を示すフラグとセンサＩＤと商品の配置位置（第三位置情報）と行為検出時刻とを含む商品取得行為情報を店舗装置１へ出力する。また商品検知センサ６は重量や圧力の増減等に基づいて、重量や圧力の増加が閾値以上である場合には、増加を示すフラグとセンサＩＤと商品の配置位置（第三位置情報）と行為検出時刻とを含む商品返却行為情報を店舗装置１へ出力する。
店舗装置１の行為検出部１４は商品検知センサ６から商品取得行為情報や商品返却行為情報を取得する（ステップＳ１０７）。行為検出部１４は商品取得行為情報に基づいて、商品取得行為情報に含まれるセンサＩＤに紐づいて記憶している商品ＩＤを取得する。これにより、行為検出部１４は、その商品ＩＤの商品が商品棚２１から取得されたことを検知する。また行為検出部１４は商品返却行為情報に基づいて、商品取得行為情報に含まれるセンサＩＤに紐づいて記憶している商品ＩＤを取得する。これにより、行為検出部１４は、その商品ＩＤの商品が商品棚２１に戻されたことを検知する。行為検出部１４は商品取得行為情報または商品返却行為情報に含まれるセンサＩＤに対応する商品ＩＤ、配置位置、行為検出時刻を人物特定部１５へ出力する。
【００２８】
人物特定部１５は行為検出部１４から移動行為が行われた商品ＩＤ、配置位置、行為検出時刻を取得すると、次の判定処理を行う。すなわち、人物特定部１５は、配置位置が示す店舗空間領域における３次元座標に所定距離以内となる近い座標を含み、行為検出時刻と所定時間差以内の検出時刻に紐づく骨格情報が第二人物候補テーブルに記録されているか否かを判定する。人物特定部１５は、移動行為が行われた商品の３次元座標に所定距離以内となる近い座標を含み、行為検出時刻と所定時間差以内の検出時刻に紐づく骨格情報が第二人物候補テーブルに記録されている場合、その骨格情報を取得する（ステップＳ１０８）。
例えば骨格情報には手の先端の３次元座標が含まれている。人物特定部１５は商品の３次元座標と手の先端の３次元座標がほぼ同時刻に接近している場合には、その手の先端の３次元座標を含む骨格情報を、商品を手に取った人物の骨格情報と推定してその骨格情報を取得する。したがって人物特定部１５は移動行為が行われた商品の３次元座標に基づいて、上述のように取得した骨格情報に含まれる頭部の３次元座標とその骨格情報の検出時刻とを取得する（ステップＳ１０９）。
人物特定部１５はその頭部の３次元座標から所定距離以内の３次元座標に紐づくと共に、検出時刻が所定時間差以内の顔の特徴情報を第一人物候補テーブルから取得する（ステップＳ１１０）。この人物特定部１５の処理は、取得した商品の位置（第三位置情報）に基づき商品に腕を伸ばした対象人物の骨格情報が示す位置（第二位置情報）を特定し、当該骨格情報が示す位置に基づいて位置関係が有意な顔の特徴情報が出現する位置（第一位置情報）を検出する処理の一態様である。位置関係が有意な顔の特徴情報は、例えば、骨格情報が示す位置と関連性や相関が高い、顔の特徴情報を示す。店舗装置１は、予め顔の特徴情報と人物のＩＤとを紐づけて予めデータベース１０内の人物特徴テーブルに記憶していることとする。人物特定部１５はその記憶情報に基づいて、骨格情報から取得した顔の特徴情報を用いて人物のＩＤを検出する（ステップＳ１１１）。
【００２９】
上述の処理によれば店舗装置１は、商品棚２１の商品を取得した人物の腕や手のモーションによる位置や移動行為が行われた商品の位置を検出する。店舗装置１は、人物の腕や手のモーションによる位置や商品の位置の対応関係に基づいて、どの商品がどの人物に取得されたか、またどの商品がどの人物により返却されたかを判定している。このような処理により従来と比較して精度良くどの商品がどの人物により取得されたか、またどの商品がどの人物から返却されたかを判定することができる。
【００３０】
上述のステップＳ１０７で示す商品取得行為情報や商品返却行為情報を取得する処理において、店舗装置１は、第二カメラ５から得た画像に基づいて、商品取得行為と商品返却行為の何れの移動行為が行われたのかを判定してもよい。例えば行為検出部１４は第二カメラ５それぞれから一例として１秒間に数枚〜数十枚程度の画像を取得する。第二カメラ５は、各商品棚２１の範囲に画角を合わせて当該棚に置かれている商品を撮影する。
行為検出部１４は商品棚２１に置かれている商品それぞれの画像データに基づいて、それら画像に写る商品それぞれの前後の移動量や商品の有無をパターンマッチング等や移動解析を行って順次検出し、移動した商品を特定する。また行為検出部１４は例えば前後に受信した画像間で商品棚２１に配置されていた商品が無くなっている場合には商品が取得されたと判定する。一方、行為検出部１４は前後に受信した画像間で商品棚２１に配置されていなかった商品が配置されている場合には商品が商品棚２１に戻されたと判定する。
【００３１】
そして行為検出部１４は商品が取得されたと判定した場合、その商品のＩＤと商品の配置位置を含む商品取得行為情報を生成する。商品のＩＤは、データベース１０等に商品の画像データに紐づいて記録されているＩＤであってよい。また商品の配置位置は第二カメラ５が撮影する画像内の座標に基づいて算出された店舗空間領域における３次元座標であってよい。行為検出部１４は商品が商品棚２１に戻されたと判定した場合、その商品のＩＤと商品の配置位置を含む商品返却行為情報を生成する。行為検出部１４は商品取得行為情報または商品返却行為情報に含まれる商品のＩＤや配置位置を人物特定部１５へ出力する。以降の人物特定部１５による処理は、上述した商品検知センサ６から得た移動行為が行われた商品の座標を用いて行う人物の特定処理と同様の処理であってよい。
【００３２】
なお図２で示すように商品を撮影する第二カメラ５は商品棚２１に複数設置され、行為検出部１４はそれぞれの第二カメラ５で撮影された画像に基づいて移動行為が行われた商品を判定してよい。第二カメラ５は商品棚２１だけでなく、天井や床に設置されていてもよい。複数の第二カメラ５が別々方向から移動行為が行われた商品を撮影し複数の画像を解析することで商品の認識精度を高めることができる。この場合、行為検出部１４は移動行為が行われた商品を異なる方向から撮影した各画像を、複数の第二カメラ５から順次取得する。行為検出部１４は複数の第二カメラ５から取得した各画像に写る商品をパターンマッチングにより検出する。また行為検出部１４は、その商品の３次元座標を、撮影方向、画角、商品の大きさなどの情報を算出式に代入して画像に写る商品の３次元座標を算出する。行為検出部１４は、同じ商品棚２１を撮影する複数の第二カメラ５それぞれから取得した各画像に写る同じ商品を、同じ時刻に検出した場合、それらが一つの商品であることを認識する。そして、行為検出部１４はそれら複数の画像から一つの商品の移動行為を認識する。なおデータベース１０には各商品の異なる複数の角度から見た場合の特徴情報や画像情報が記録されている。行為検出部１４はこのようなデータベース１０に記録されている商品の特徴情報や画像情報を用いて、新たに第二カメラ５で撮影された画像に写る商品を認識する。
【００３３】
人物特定部１５はステップＳ１１１において商品に移動行為を行った人物のＩＤを検出すると、販売管理情報を販売管理部１６へ出力する。販売管理情報は、その人物のＩＤと移動行為を示す情報である商品取得行為情報または商品返却行為情報を含む。販売管理部１６は販売管理情報から人物のＩＤと、商品取得行為情報または商品返却行為情報を取得する。販売管理部１６は商品取得行為情報または商品返却行為情報の何れを取得したかを判定する（ステップＳ１１２）。販売管理部１６は販売管理情報に商品取得行為情報が含まれる場合には、購入処理を行う（ステップＳ１１３）。すなわち、販売管理部１６は、人物ＩＤに紐づいてデータベース１０の販売管理テーブルに記録される商品情報に、商品取得行為情報に含まれる商品ＩＤを１つ加える。これにより人物ＩＤで示される人物が商品を購入したことがデータベース１０に記録される。
一方、販売管理部１６は販売管理情報に商品返却行為情報が含まれる場合には、返却処理を行う（ステップＳ１１４）。すなわち、販売管理部１６は、人物ＩＤに紐づいてデータベース１０の販売管理テーブルに記録される商品情報の中から、商品返却行為情報に含まれる商品ＩＤを１つ削除する返却処理を行う。これにより人物ＩＤで示される人物が商品を購入対象から外したことがデータベース１０に記録される。
【００３４】
なお販売管理部１６は人物ＩＤ、及び、販売管理テーブルの更新を行ったことを示す販売管理情報変更通知を情報出力部１７に出力する。情報出力部１７は販売管理情報変更通知を受け取ると、その通知に基づいて、当該人物ＩＤに紐づいてデータベース１０の人物管理テーブルに記録される端末７の端末ＩＤを取得する。情報出力部１７は端末ＩＤに基づいて、端末７へ送信する販売管理情報を生成する（ステップＳ１１５）。販売管理情報は一例としては人物ＩＤ、その人物ＩＤで特定される人物が手に取って購入商品とし判定された商品の名前、ＩＤ等の一覧、各商品の個数、各商品の単価、購入商品として判定された全商品の合計金額、とを含む情報であってよい。
情報出力部１７は、生成された販売管理情報を端末ＩＤに基づいて端末７へ送信する（ステップＳ１１６）。端末ＩＤは端末７のネットワーク上のアドレスや、端末７で記憶する専用アプリケーションプログラムに割り当てられたＩＤなどであってよい。端末７は販売管理情報を受信し画面に出力する。これによりステップＳ１１１で検出された人物の保持する端末７に販売管理情報が表示され、その人物は自分が店舗内で購入しようとしている商品の一覧や合計金額を把握することができる。
店舗装置１の制御部１１は処理を終了するか否かを判定する（ステップＳ１１７）。制御部１１は処理を終了しない場合には（ステップＳ１１７のＮＯ）、ステップＳ１０１からの処理を繰り返す。店舗装置１の各処理部は、上述の処理を店舗に備えられた各センサから得た情報に基づいて、各人物について並行に処理を行う。
【００３５】
上述の処理において店舗装置１の販売管理部１６は、人物特定部１５の特定した人物のＩＤに対応する販売管理情報に、その人物により移動行為が行われた商品のＩＤを割り当てる処理をしている。しかしながら、販売管理部１６はその商品が購入されようとしていることを示す販売管理情報として記憶する代わりに、その商品に対して人物が興味を抱いたことを示す商品価値管理情報として、他のデータテールブルにその商品ＩＤの情報を記録するようにしてもよい。
また上述の処理において店舗装置１の販売管理部１６は、人物特定部１５の特定した人物のＩＤに対応する販売管理情報に、その人物により商品棚２１に返却される移動行為が行われた商品のＩＤを割り当てる処理をしている。しかしながら、販売管理部１６はその商品が返却されたことを示す販売管理情報として記憶する代わりに、商品に対して人物が興味を抱いたが購入するまでに至らなかったことを示す商品価値管理情報として、他のデータテールブルにその商品ＩＤの情報を記録するようにしてもよい。
【００３６】
なお上述の店舗装置１の処理は商品棚２１の前に人物が一人だけ位置しており、その人物が商品を取得する場合や商品を商品棚２１に返却する場合の人物の特定と、移動行為が行われた商品の特定を行っている。しかしながら店舗装置１は商品棚２１の前に人物が複数人いた場合にも同様の処理によって、どの人物がどの商品に移動行為を行ったかを判定するようにしてもよい。この場合、第二位置情報取得部１３は、各モーションセンサ４から取得した距離画像を用いて、各距離画像に写る人物の骨格情報を人物ごとに精度良く検出する必要がある。第二位置情報取得部１３は距離画像に写る人物の人数に基づいて、それぞれの人物の骨格情報の検出処理を行うこととなるため、距離画像に写る人物の人数が多い程、第二位置情報取得部１３の処理負荷が重くなる。しかしながら店舗装置１の短時間あたりの処理能力が大きい場合、短時間で距離画像に写る人物の骨格情報を検出することができる。このように店舗装置１の短時間あたりの処理能力を大きくすることにより、人物の特徴情報の検出や、商品の移動行為の検出を短時間で行うことができる。
【００３７】
上述の処理において、情報出力部１７は生成された販売管理情報に含まれる人物ＩＤと商品ＩＤとに基づいて、宣伝動画像の画像データを取得してもよい。情報出力部１７は、販売管理情報に含まれる人物ＩＤと商品ＩＤとに基づいて、その商品やその商品の関連商品についての１つまたは複数の宣伝動画像をデータベース１０に記録される複数の宣伝動画像の中から画像データを特定する。そして情報出力部１７は、その特定した１つまたは複数の宣伝動画像の画像データを取得する。
情報出力部１７はこの画像データを、人物ＩＤで特定される端末ＩＤの端末７や、店舗２０内に設置され人物ＩＤで示される人物が位置する近傍の商品棚２１に設置されたモニタに出力する制御を行うようにしてもよい。
【００３８】
図６は店舗装置の最小構成を示す図である。
店舗装置１は少なくとも、第一位置情報取得部１２、第二位置情報取得部１３、行為検出部１４、人物特定部１５の各機能を備えればよい。
第一位置情報取得部１２は、商品に近づく接近人物の生体の特徴情報の位置を示す第一位置情報を取得する処理部である。
第二位置情報取得部１３は、接近人物のうち商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出する処理部である。
行為検出部１４は、商品に対する移動行為を検出する処理部である。
人物特定部１５は、検出された移動行為を行った対象人物の生体の特徴情報に対応する識別情報を第一位置情報と第二位置情報との位置関係に基づき特定する処理部である。
【００３９】
上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００４０】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４１】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限らない。
【００４２】
（付記１）
商品に近づく接近人物の位置を示す第一位置情報を取得する第一位置情報取得部と、
前記接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出する第二位置情報取得部と、
前記商品に対する移動行為を検出する行為検出部と、
検出された前記移動行為を行った前記対象人物に対応する識別情報を、前記第一位置情報と前記第二位置情報との位置関係に基づき特定する人物特定部と、
を備える店舗装置。
【００４３】
（付記２）
前記人物特定部は、前記接近人物の顔の特徴情報が出現する前記第一位置情報と、前記商品に腕を伸ばした前記対象人物の当該腕を示す軸に関する第二位置情報と、検出された前記移動行為が行われた商品の第三位置情報とを取得して、取得した前記第三位置情報に基づき前記第二位置情報を特定し、当該第二位置情報に基づいて位置関係が有意な前記第一位置情報を検出し、前記検出した前記第一位置情報が示す位置における前記顔の特徴情報に対応する人物の識別情報を特定する
付記１に記載の店舗装置。
【００４４】
（付記３）
前記人物特定部の特定した前記対象人物の前記識別情報に対応する管理情報に、前記移動行為のうち前記商品の取得行為が行われた前記商品の前記識別情報を割り当てる販売管理部と、
を備える付記１または付記２に記載の店舗装置。
【００４５】
（付記４）
前記販売管理部は、前記管理情報から、前記移動行為のうち前記商品の返却行為が行われた前記商品の前記識別情報を削除する
付記３に記載の店舗装置。
【００４６】
（付記５）
前記人物特定部の特定した前記対象人物の前記識別情報と、前記移動行為が行われた商品の識別情報とに基づいて、前記対象人物に対して前記商品の販売管理情報に関する提示情報を出力する情報出力部と、
を備える付記１から付記４の何れか一つに記載の店舗装置。
【００４７】
（付記６）
前記第一位置情報取得部は、第一撮影手段によって撮影された前記対象人物の特徴情報の３次元空間内における前記第一位置情報を取得する
付記１から付記５の何れか一つに記載の店舗装置。
【００４８】
（付記７）
前記行為検出部は前記商品の設置面の圧力または重量の変動に基づいて、前記移動行為が前記商品の取得行為か返却行為かを検出する
付記１から付記６の何れか一つに記載の店舗装置。
【００４９】
（付記８）
前記行為検出部は、第二撮影手段によって撮影された前記商品の移動情報に基づいて、前記移動行為が前記商品の取得行為か返却行為かを検出する
付記１から付記６の何れか一つに記載の店舗装置。
【００５０】
（付記９）
前記行為検出部は、第二撮影手段によって撮影された前記商品の有無に基づいて、前記移動行為が前記商品の取得行為か返却行為かを検出する
付記１から付記６の何れか一つに記載の店舗装置。
【００５１】
（付記１０）
商品に近づく接近人物の位置を示す第一位置情報を取得し、
前記接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出し、
前記商品に対する移動行為を検出し、
検出された前記移動行為を行った前記対象人物に対応する識別情報を、前記第一位置情報と前記第二位置情報との位置関係に基づき特定する
店舗管理方法。
【００５２】
（付記１１）
店舗装置のコンピュータに、
商品に近づく接近人物の位置を示す第一位置情報を取得し、
前記接近人物のうち前記商品に腕を伸ばした対象人物の位置を示す第二位置情報を検出し、
前記商品に対する移動行為を検出し、
検出された前記移動行為を行った前記対象人物に対応する識別情報を前記第一位置情報と前記第二位置情報との位置関係に基づき特定する、
処理を実行させるプログラム。
【００５３】
この出願は、２０１７年８月２５日に日本出願された特願２０１７−１６２６０９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００５４】
本発明によれば、店舗内の人物が手に取った商品や商品棚に返却した商品の認識精度を向上させることができる。
【符号の説明】
【００５５】
１・・・店舗装置
２・・・入退ゲート
３・・・第一カメラ
４・・・モーションセンサ
５・・・第二カメラ
６・・・商品検知センサ
７・・・端末
１０・・・データベース
１１・・・制御部
１２・・・第一位置情報取得部
１３・・・第二位置情報取得部
１４・・・行為検出部
１５・・・人物特定部
１６・・・販売管理部
１７・・・情報出力部
２０・・・店舗
２１・・・商品棚
【図１】
2019038965.tif 000003
【図２】
2019038965.tif 000004
【図３】
2019038965.tif 000005
【図４】
2019038965.tif 000006
【図５】
2019038965.tif 000007
【図６】
2019038965.tif 000008
【国際調査報告】
2019038965.tif 000009
2019038965.tif 000010
2019038965.tif 000011
2019038965.tif 000012