(57)【要約】【課題】顧客のプライバシーを守りつつ売り場の画像を送信することができるサーバ装置、及びプログラムを提供する。【解決手段】サーバ装置は、第１受信手段と、記憶制御手段と、第２受信手段と、抽出手段と、送信手段とを備える。前記第１受信手段は、商品が陳列された売り場を撮像する撮像装置が撮像した画像を受信する。前記記憶制御手段は、前記第１受信手段が受信した前記画像に人物が含まれていないことを条件に、当該画像を記憶部に記憶させる。前記第２受信手段は、商品に関する商品情報により指定された前記商品の売り場が撮像された前記画像を要求する画面要求を受信する。前記抽出手段は、前記第２受信手段が受信した前記商品情報により特定される商品が陳列された売り場の前記画像を前記記憶部から抽出する。前記送信手段は、前記抽出手段が抽出した前記画像を送信する。【選択図】図７
2019204453.tif 000002
【特許請求の範囲】
【請求項１】
商品が陳列された売り場を撮像する撮像装置が撮像した画像を受信する第１受信手段と、
前記第１受信手段が受信した前記画像に人物が含まれていないことを条件に、当該画像を記憶部に記憶させる記憶制御手段と、
商品に関する商品情報により指定された前記商品の売り場が撮像された前記画像を要求する画面要求を受信する第２受信手段と、
前記第２受信手段が受信した前記商品情報により特定される商品が陳列された売り場の前記画像を前記記憶部から抽出する抽出手段と、
前記抽出手段が抽出した前記画像を送信する送信手段と、
を備えるサーバ装置。
【請求項２】
前記抽出手段は、前記第２受信手段が受信した前記商品情報により特定される商品の在庫を示した在庫情報を抽出し、
前記送信手段は、前記在庫情報を送信する、
請求項１に記載のサーバ装置。
【請求項３】
前記抽出手段は、前記第２受信手段が受信した前記商品情報により特定される商品の売り場の位置を示した位置情報を抽出し、
前記送信手段は、前記位置情報を送信する、
請求項１又は２に記載のサーバ装置。
【請求項４】
前記抽出手段が抽出した前記画像に人物画像を追加する人物追加手段を更に備え、
前記送信手段は、前記人物追加手段が前記人物画像を追加した前記画像を送信する、
請求項１乃至３の何れか一項に記載のサーバ装置。
【請求項５】
前記人物追加手段は、事前に設定された前記撮像装置が撮像した前記画像であることを条件に、前記画像の事前に設定された位置に前記人物画像を追加する、
請求項４に記載のサーバ装置。
【請求項６】
コンピュータを、
商品が陳列された売り場を撮像する撮像装置が撮像した画像を受信する第１受信手段と、
前記第１受信手段が受信した前記画像に人物が含まれていないことを条件に、当該画像を記憶部に記憶させる記憶制御手段と、
商品に関する商品情報により指定された前記商品の売り場が撮像された前記画像を要求する画面要求を受信する第２受信手段と、
前記第２受信手段が受信した前記商品情報により特定される商品が陳列された売り場の前記画像を前記記憶部から抽出する抽出手段と、
前記抽出手段が抽出した前記画像を送信する送信手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、サーバ装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、ショッピングモール等の大型の店舗が増えている。大型店舗は広大な売り場を有しているため、顧客は売り場の何処に欲しい商品あるかが分からない場合がある。また、欲しい商品の売り場に顧客が辿り着いても、商品が売り切れている場合がある。
【０００３】
そこで、顧客の要求に応じて売り場を撮像した画像を送信する方策が考えられる。これにより、顧客は、商品の売り場と、売り場の所望の商品があるかを把握することが可能になる。しかしながら、売り場では多数の顧客が買い物を行っている。そのため、売り場を撮像した場合、画像には買い物をしている顧客が写り込んでいる場合がある。そして、顧客が写り込んだ画像を送信してしまうと、顧客のプライバシーを侵害してしまうおそれがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、顧客のプライバシーを守りつつ売り場の画像を送信することができるサーバ装置、及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態のサーバ装置は、第１受信手段と、記憶制御手段と、第２受信手段と、抽出手段と、送信手段とを備える。前記第１受信手段は、商品が陳列された売り場を撮像する撮像装置が撮像した画像を受信する。前記記憶制御手段は、前記第１受信手段が受信した前記画像に人物が含まれていないことを条件に、当該画像を記憶部に記憶させる。前記第２受信手段は、商品に関する商品情報により指定された前記商品の売り場が撮像された前記画像を要求する画面要求を受信する。前記抽出手段は、前記第２受信手段が受信した前記商品情報により特定される商品が陳列された売り場の前記画像を前記記憶部から抽出する。前記送信手段は、前記抽出手段が抽出した前記画像を送信する。
【図面の簡単な説明】
【０００６】
【図１】図１は、本実施形態にかかる商品購入補助システムの一例を示す説明図である。
【図２】図２は、カメラのハードウェア構成の一例を示すブロック図である。
【図３】図３は、顧客端末のハードウェア構成の一例を示すブロック図である。
【図４】図４は、店舗サーバのハードウェア構成の一例を示すブロック図である。
【図５】図５は、商品マスタのデータ構成の一例を示す説明図である。
【図６】図６は、カメラマスタのデータ構成の一例を示す説明図である。
【図７】図７は、商品購入補助システムの各種装置が備える特徴的な機能構成の一例を示すブロック図である。
【図８】図８は、商品指定画面の一例を説明する説明図である。
【図９】図９は、売り場画面の一例を説明する説明図である。
【図１０】図１０は、人物画像が追加された売り場画面の一例を説明する説明図である。
【図１１】図１１は、画面情報送信処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下、添付図面を参照して、サーバ装置、及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、サーバ装置、及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態のサーバ装置、及びプログラムは、商品購入補助システムの店舗サーバへの適用例である。
【０００８】
図１は、本実施形態にかかる商品購入補助システム１の一例を示す説明図である。商品購入補助システム１は、顧客が指定した商品が陳列された売り場の画像を送信することで買い物を補助するシステムである。商品購入補助システム１は、カメラ１０と、顧客端末２０と、店舗サーバ３０とを備える。カメラ１０と、店舗サーバ３０とは、店舗内ネットワーク等のネットワークを介して通信可能に接続されている。また、顧客端末２０と、店舗サーバ３０とは、インターネット等のネットワークを介して通信可能に接続されている。また、商品購入補助システム１は、カメラ１０と、顧客端末２０と、店舗サーバ３０とを何台ずつ備えていてもよい。
【０００９】
カメラ１０は、例えば店舗の各売り場に設置された撮像装置である。カメラ１０は、設置された売り場を撮像する。そして、カメラ１０は、撮像した画像を店舗サーバ３０に送信する。
【００１０】
顧客端末２０は、例えばスマートフォンやタブレット端末等の顧客が携帯する携帯端末である。顧客端末２０は、顧客が購入したい商品を指定する操作を受け付ける。顧客端末２０は、指定された商品の売り場の画像を店舗サーバ３０に要求する。顧客端末２０は、店舗サーバ３０から送信された画像を表示する。
【００１１】
店舗サーバ３０は、店舗に関する各種情報を記憶するサーバ装置である。店舗サーバ３０は、複数台のサーバ装置等により形成されていてもよい。また、店舗サーバ３０は、ハードウェアやソフトウェア等のコンピュータ資源を提供するクラウドサービス等により提供されるものであってもよい。
【００１２】
店舗サーバ３０は、カメラ１０から画像を受信した場合に、受信した画像を記憶する。その際、店舗サーバ３０は、顧客が含まれている画像と、顧客が含まれていない画像とを分別して記憶する。そして、店舗サーバ３０は、売り場の画像を要求された場合に、顧客が含まれていない売り場の画像を抽出する。そして、店舗サーバ３０は、抽出した売り場の画像を顧客端末２０に送信する。
【００１３】
次に、商品購入補助システム１の各種装置のハードウェア構成について説明する。
【００１４】
図２は、カメラ１０のハードウェア構成の一例を示すブロック図である。カメラ１０は、制御部１０１と、記憶部１０２と、通信インタフェース１０３と、撮像部１０４とを備える。これら各部は、データバスやアドレスバス等のシステムバス１０５を介して相互に接続している。
【００１５】
制御部１０１は、カメラ１０の全体の動作を制御し、カメラ１０が有する各種の機能を実現するコンピュータである。制御部１０１は、ＣＰＵ（Central  Processing  Unit）と、ＲＯＭ（Read  Only  Memory）と、ＲＡＭ（Random  Access  Memory）とを備える。ＣＰＵは、カメラ１０の動作を統括的に制御する。ＲＯＭは、電力が供給されていなくても各種データを保持する不揮発性の記憶媒体である。ＲＡＭは、指定した領域に対してデータを読み書き可能な記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部１０２等に格納されたプログラムを実行する。
【００１６】
記憶部１０２は、フラッシュメモリなどの記憶装置である。記憶部１０２は、制御プログラム１０６を記憶する。制御プログラム１０６は、オペレーティングシステムや、カメラ１０が備えている機能を発揮させるためのプログラムである。制御プログラム１０６には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【００１７】
通信インタフェース１０３は、ネットワークを介して、店舗サーバ３０等の他の装置と通信するためのインタフェースである。
【００１８】
撮像部１０４は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）等のイメージセンサである。
【００１９】
図３は、顧客端末２０のハードウェア構成の一例を示すブロック図である。顧客端末２０は、制御部２０１と、記憶部２０２と、通信インタフェース２０３と、表示部２０４と、操作部２０５とを備える。これら各部は、データバスやアドレスバス等のシステムバス２０６を介して相互に接続している。
【００２０】
制御部２０１は、顧客端末２０の全体の動作を制御し、顧客端末２０が有する各種の機能を実現するコンピュータである。制御部２０１は、ＣＰＵと、ＲＯＭと、ＲＡＭとを備える。ＣＰＵは、顧客端末２０の動作を統括的に制御する。ＲＯＭは、電力が供給されていなくても各種データを保持する不揮発性の記憶媒体である。ＲＡＭは、指定した領域に対してデータを読み書き可能な記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部２０２等に格納されたプログラムを実行する。
【００２１】
記憶部２０２は、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）などの記憶装置である。記憶部２０２は、制御プログラム２０７を記憶する。
【００２２】
制御プログラム２０７は、オペレーティングシステムや、顧客端末２０が備えている機能を発揮させるためのプログラムである。制御プログラム２０７には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【００２３】
通信インタフェース２０３は、ネットワークを介して、店舗サーバ３０等の他の装置と通信するためのインタフェースである。
【００２４】
表示部２０４は、例えば液晶ディスプレイ等の表示装置である。操作部２０５は、例えば表示部２０４に積層されたタッチパネルである。操作部２０５は、表示部２０４上のタッチ操作された箇所を検知して、表示部２０４が表示している表示要素に応じた操作が入力されたと判断する。これにより、操作部２０５は、表示部２０４が表示したキーが操作されたとしてキーの操作を受け付ける。なお、操作部２０５は、タッチパネルに限らず、ハードウェアキーを備えていてもよい。
【００２５】
図４は、店舗サーバ３０のハードウェア構成の一例を示すブロック図である。店舗サーバ３０は、制御部３０１と、記憶部３０２と、通信インタフェース３０３と、表示部３０４と、操作部３０５とを備える。これら各部は、データバスやアドレスバス等のシステムバス３０６を介して相互に接続している。
【００２６】
制御部３０１は、店舗サーバ３０の全体の動作を制御し、店舗サーバ３０が有する各種の機能を実現するコンピュータである。制御部３０１は、ＣＰＵと、ＲＯＭと、ＲＡＭとを備える。ＣＰＵは、店舗サーバ３０の動作を統括的に制御する。ＲＯＭは、電力が供給されていなくても各種データを保持する不揮発性の記憶媒体である。ＲＡＭは、指定した領域に対してデータを読み書き可能な記憶媒体である。そして、ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ又は記憶部３０２等に格納されたプログラムを実行する。
【００２７】
記憶部３０２は、ＨＤＤやＳＳＤ等の記憶装置である。記憶部３０２は、制御プログラム３０７と、商品マスタ３０８と、カメラマスタ３０９とを記憶する。また、商品マスタ３０８と、カメラマスタ３０９とは、他のサーバ装置等に記憶されていてもよい。
【００２８】
制御プログラム３０７は、オペレーティングシステムや、店舗サーバ３０が備えている機能を発揮させるためのプログラムである。制御プログラム３０７には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。
【００２９】
商品マスタ３０８は、商品に関する各種情報を記憶するデータベースである。ここで、図５は、商品マスタ３０８のデータ構成の一例を示す説明図である。商品マスタ３０８は、商品情報と、位置情報と、在庫情報とを関連付けて記憶する。商品情報は、商品に関する各種情報である。例えば、商品情報には、商品コード、名称、価格、及び製造者等が含まれる。商品コードは、商品を識別可能な識別情報である。名称は、商品の名称である。価格は、商品の販売価格である。製造者は、商品を製造した企業等である。位置情報は、店舗の売り場において商品が陳列されている位置を示す情報である。例えば、位置情報は、商品が陳列されている売り場や棚等の名称であってもよいし、商品が陳列されている位置を示す座標であってもよいし、商品が陳列されている位置を示す地図であってもよい。在庫情報は、商品の在庫数や、在庫の有無等を示す情報である。
【００３０】
カメラマスタ３０９は、カメラ１０に関する各種情報を記憶するデータベースである。ここで、図６は、カメラマスタ３０９のデータ構成の一例を示す説明図である。カメラマスタ３０９は、カメラコードと、位置情報と、人物追加フラグと、追加位置情報と、有人画像と、無人画像とを関連付けて記憶する。カメラコードは、カメラ１０を識別可能な識別情報である。位置情報は、カメラ１０が撮像している売り場の位置を示す情報である。
【００３１】
ここで、顧客は、商品の会計等の順番待ちにおいて売り場の何処に並ぶべきかが分からない場合がある。そこで、会計等の順番待ちの行列位置を撮像するカメラ１０の画像に、行列に並んでいる顧客の人物画像が追加される場合がある。人物追加フラグは、カメラ１０が撮像した画像に人物画像を追加するか否かを示すフラグである。追加位置情報は、カメラ１０が撮像した画像に追加する人物画像の位置を示す情報である。追加位置情報は、例えば、画像の座標を示す情報である。
【００３２】
有人画像は、カメラ１０が撮像した画像のうち、顧客等の人物が含まれている画像である。無人画像は、カメラ１０が撮像した画像のうち、顧客等の人物が含まれていない画像である。
【００３３】
通信インタフェース３０３は、ネットワークを介して、カメラ１０や顧客端末２０等の他の装置と通信するためのインタフェースである。
【００３４】
表示部３０４は、例えば液晶ディスプレイ等の表示装置である。操作部３０５は、例えばキーボードやマウス等の入力装置である。
【００３５】
次に、商品購入補助システム１の各種装置が備える特徴的な機能について説明する。ここで、図７は、商品購入補助システム１の各種装置が備える特徴的な機能構成の一例を示すブロック図である。
【００３６】
カメラ１０の制御部１０１は、記憶部１０２の制御プログラム１０６をＲＡＭに展開し、制御プログラム１０６に従って動作することで、図７に示す各機能部をＲＡＭ上に生成する。具体的には、カメラ１０の制御部１０１は、機能部として、通信制御部１００１、撮像制御部１００２、及び画像送信部１００３を備える。
【００３７】
通信制御部１００１は、通信インタフェース１０３を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部１００１は、店舗サーバ３０との通信を制御する。
【００３８】
撮像制御部１００２は、撮像部１０４を制御して、画像を撮像する。
【００３９】
画像送信部１００３は、撮像制御部１００２が撮像部１０４に撮像させた画像を通信制御部１００１に店舗サーバ３０へ送信させる。
【００４０】
顧客端末２０の制御部２０１は、記憶部２０２の制御プログラム２０７をＲＡＭに展開し、制御プログラム２０７に従って動作することで、図７に示す各機能部をＲＡＭ上に生成する。具体的には、顧客端末２０の制御部２０１は、機能部として、通信制御部２００１、操作制御部２００２、表示制御部２００３、及び画像要求部２００４を備える。
【００４１】
通信制御部２００１は、通信インタフェース２０３を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部２００１は、店舗サーバ３０との通信を制御する。
【００４２】
操作制御部２００２は、操作部２０５を制御して、各種操作を受け付ける。
【００４３】
表示制御部２００３は、表示部２０４を制御して、各種画像を表示させる。
【００４４】
画像要求部２００４は、指定した商品が陳列されている売り場の画像を店舗サーバ３０に要求する処理を制御する。さらに詳しくは、画像要求部２００４は、商品を指定する商品指定画面Ｇ１を表示制御部２００３に表示させる。
【００４５】
ここで、図８は、商品指定画面Ｇ１の一例を説明する説明図である。商品指定画面Ｇ１は、表示させたい売り場の商品を指定する画面である。商品指定画面Ｇ１には、商品情報入力領域Ｇ１１と、ＯＫボタンＧ１２と、キャンセルボタンＧ１３とを備える。商品情報入力領域Ｇ１１は、指定する商品の商品情報を入力する入力領域である。図８に示す商品情報入力領域Ｇ１１には、商品名称と、製造者と、形態とを入力する入力欄が表示されている。しかし、商品情報入力領域Ｇ１１は、これら項目に限らず、他の項目を入力する入力欄を備えていてもよいし、これら項目の何れかが無くてもよい。ＯＫボタンＧ１２は、商品情報入力領域Ｇ１１に入力した商品情報により特定される売り場を表示させる操作を受け付けるボタンである。キャンセルボタンＧ１３は、売り場の表示を中止する操作を受け付けるボタンである。
【００４６】
画像要求部２００４は、操作制御部２００２がＯＫボタンＧ１２を押下する操作を受け付けた場合に、商品情報により指定された商品の売り場の画像を有する画面を要求する画面要求を通信制御部２００１に送信させる。画面要求には、商品情報入力領域Ｇ１１に入力された商品情報が含まれている。そして、画像要求部２００４は、画面要求の応答として売り場画面Ｇ２の画面情報を受信した場合に、売り場画面Ｇ２を表示制御部２００３に表示させる。
【００４７】
ここで、図９は、売り場画面Ｇ２の一例を説明する説明図である。売り場画面Ｇ２は、商品指定画面Ｇ１で入力された商品情報により特定される商品が陳列された売り場の画像を含む画面である。売り場画面Ｇ２には、在庫表示領域Ｇ２１と、位置表示領域Ｇ２２と、売り場画像Ｇ２３と、閉じるボタンＧ２４とが含まれている。在庫表示領域Ｇ２１は、指定された商品の在庫状況を表示する領域である。在庫表示領域Ｇ２１には、例えば在庫の有無が表示される。また、指定された商品を店舗で取り扱っていない場合には、在庫表示領域Ｇ２１には、取り扱っていないことが表示される。図９に示す在庫表示領域Ｇ２１には、在庫の有無が表示されているが、在庫の有無に限らず、在庫数が表示されてもよい。位置表示領域Ｇ２２は、指定された商品が陳列されている売り場の位置を示す情報を表示する領域である。図９に示す位置表示領域Ｇ２２には、売り場の名称が表示されているが、売り場の名称に限らず、地図により売り場の位置を表示されてもよい。売り場画像Ｇ２３は、指定された商品が陳列されている売り場を撮像した画像である。閉じるボタンＧ２４は、売り場画面Ｇ２を閉じる操作を受け付けるボタンである。
【００４８】
ところで、顧客は、商品の会計等の順番待ちにおいて売り場の何処に並ぶべきかが分からない場合がある。そこで、商品指定画面Ｇ１で入力された商品情報により特定される商品が陳列された売り場の画像に、会計等の順番待ちの顧客の行列の位置が含まれている場合には、通信制御部２００１は、売り場画像Ｇ２３に人物画像が追加された画面情報を受信する。これにより、表示制御部２００３は、人物画像が追加された売り場画像Ｇ２３を表示させる。
【００４９】
ここで、図１０は、人物画像が追加された売り場画面Ｇ２の一例を説明する説明図である。図１０に示す売り場画像Ｇ２３には、会計等の順番待ちの顧客の行列を示す人物画像が表示されている。よって、顧客は、会計等の順番待ちで何処に並べばよいかが分かる。
【００５０】
店舗サーバ３０の制御部３０１は、記憶部３０２の制御プログラム３０７をＲＡＭに展開し、制御プログラム３０７に従って動作することで、図７に示す各機能部をＲＡＭ上に生成する。具体的には、店舗サーバ３０の制御部３０１は、機能部として、通信制御部３００１、人物検出部３００２、画像記憶部３００３、情報抽出部３００４、人物追加部３００５、及び画面生成部３００６を備える。
【００５１】
通信制御部３００１は、通信インタフェース３０３を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部３００１は、カメラ１０との通信を制御する。また、通信制御部３００１は、顧客端末２０との通信を制御する。
【００５２】
通信制御部３００１は、第１受信手段、第２受信手段、及び送信手段の一例である。通信制御部３００１は、例えばカメラ１０からカメラ１０が撮像した売り場の画像を受信する。また、通信制御部３００１は、例えば顧客端末２０から売り場画面Ｇ２を表示させる画面情報を要求する画面要求を受信する。そして、通信制御部３００１は、画面要求の応答として売り場画面Ｇ２を表示させる画面情報を送信する。
【００５３】
人物検出部３００２は、通信制御部３００１がカメラ１０から売り場の画像を受信した場合に、受信した画像に顧客等の人物が含まれているか否かを判定する。さらに詳しくは、例えば、記憶部３０２は、人物の形状等に共通して存在する特徴を示す特徴量を記憶する。そして、人物検出部３００２は、受信した画像から、記憶部３０２に記憶した特徴量と同様の特徴量を検出した場合に、画像に人物が含まれていると判定する。一方、人物検出部３００２は、受信した画像から、記憶部３０２に記憶した特徴量と同様の特徴量を検出しない場合に、画像に人物が含まれていないと判定する。
【００５４】
画像記憶部３００３は、記憶制御手段の一例である。画像記憶部３００３は、人物検出部３００２が画像に人物が含まれていると判定した場合に、画像を送信したカメラ１０を示すカメラコードに関連付けて、判定対象の画像を有人画像としてカメラマスタ３０９に記憶させる。また、画像記憶部３００３は、人物検出部３００２が画像に人物が含まれていないと判定した場合に、画像を送信したカメラ１０を示すカメラコードに関連付けて、判定対象の画像を無人画像としてカメラマスタ３０９に記憶させる。
【００５５】
情報抽出部３００４は、抽出手段の一例である。情報抽出部３００４は、通信制御部３００１が売り場画面Ｇ２を表示させる画面情報を要求する画面要求を受信した場合に、画面要求に含まれる商品情報が、商品マスタ３０８に記憶された何れの商品を示しているかを認定する。そして、情報抽出部３００４は、認定した商品に関する情報であって、売り場画面Ｇ２の生成に使用する各種情報を抽出する。
【００５６】
さらに詳しくは、情報抽出部３００４は、画面要求に含まれる商品情報の全部と一致する商品情報が商品マスタ３０８に記憶されているか否かを判定する。情報抽出部３００４は、商品情報の全部が一致する商品情報が商品マスタ３０８に記憶されている場合に、画面要求に含まれる商品情報は全部が一致した商品情報の商品を示していると認定する。また、情報抽出部３００４は、画面要求に含まれる商品情報により特定される商品を店舗で取り扱っていると判定する。そして、情報抽出部３００４は、認定した商品に関する情報を抽出する。
【００５７】
一方、情報抽出部３００４は、画面要求に含まれる商品情報の全部と一致する商品情報の商品が商品マスタ３０８に記憶されていない場合に、画面要求に含まれる商品情報の一部と一致する商品情報の商品が商品マスタ３０８に記憶されているか否かを判定する。情報抽出部３００４は、商品情報の一部が一致する商品情報の商品が商品マスタ３０８に記憶されている場合に、画面要求に含まれる商品情報は一部が一致した商品情報の商品を示していると認定する。また、情報抽出部３００４は、画面要求に含まれる商品情報により特定される商品は店舗で取り扱っていないが類似している商品は取り扱っていると判定する。そして、情報抽出部３００４は、認定した商品に関する情報を抽出する。
【００５８】
ここで、類似している商品の認定について、画面要求に含まれる商品情報で商品名称「名称Ａ」と製造者「製造者Ｂ」とが指定された場合を例に説明する。商品マスタ３０８には、商品名称「名称Ａ」と製造者「製造者Ａ」との商品情報は記憶されているが、商品名称「名称Ａ」と製造者「製造者Ｂ」との商品情報は記憶されていないとする。この場合、情報抽出部３００４は、画面要求に含まれる商品情報は商品名称「名称Ａ」の商品を、画面要求で指定された商品と認定する。
【００５９】
情報抽出部３００４は、画面要求に含まれる商品情報の全部と一致する商品情報の商品がある場合には、商品情報が一致した商品の位置情報と、在庫情報とを抽出する。一方、情報抽出部３００４は、画面要求に含まれる商品情報と類似する商品がある判定した場合には、類似する商品の位置情報を抽出する。また、情報抽出部３００４は、画面要求に含まれる商品情報と一致する商品は取り扱っていないことを示す在庫情報を生成する。
【００６０】
また、情報抽出部３００４は、抽出した位置情報と、カメラマスタ３０９の位置情報とを比較して、抽出した位置情報を含む範囲を撮像するカメラ１０を示すカメラコードを、カメラマスタ３０９から抽出する。そして、情報抽出部３００４は、抽出したカメラコードに関連付けられている最新の無人画像を、カメラマスタ３０９から抽出する。
【００６１】
人物追加部３００５は、人物追加手段の一例である。人物追加部３００５は、人物追加フラグ、及び追加位置情報に基づいて、情報抽出部３００４が抽出した無人画像に人物画像を追加する画像処理を実行する。さらに詳しくは、人物追加部３００５は、カメラマスタ３０９において、情報抽出部３００４が抽出した無人画像に関連付けられている人物追加フラグが、人物画像の追加を示しているか否かを判定する。人物追加部３００５は、人物追加フラグが追加を示している場合に、追加位置情報で指定された位置に行列に並んでいる人物画像を、情報抽出部３００４が抽出した画像に追加する。一方、人物追加部３００５は、人物追加フラグが追加不要を示している場合に、人物画像は追加しない。
【００６２】
画面生成部３００６は、画面情報を生成する。さらに詳しくは、画面生成部３００６は、情報抽出部３００４が抽出した位置情報と、情報抽出部３００４が抽出又は生成した在庫情報と、情報抽出部３００４が抽出した画像とに基づいて、売り場画面Ｇ２を表示させる画面情報を生成する。また、画面生成部３００６は、人物追加部３００５が人物画像を追加した場合には、人物画像の追加された画像に基づいて、売り場画面Ｇ２を表示させる画面情報を生成する。そして、画面生成部３００６は、生成した画面情報を通信制御部３００１に送信させる。
【００６３】
次に、店舗サーバ３０が実行する画面情報送信処理について説明する。ここで、図１１は、本実施形態の店舗サーバ３０が実行する画面情報送信処理の一例を示すフローチャートである。
【００６４】
通信制御部３００１は、画面要求を受信したか否かを判定する（ステップＳ１）。
【００６５】
画面要求を受信していないことを条件に（ステップＳ１；Ｎｏ）、店舗サーバ３０は、ステップＳ１で待機する。
【００６６】
画面要求を受信したことを条件に（ステップＳ１；Ｙｅｓ）、情報抽出部３００４は、画面要求に含まれる商品情報の全部と一致する商品情報の商品が商品マスタ３０８に記憶されているか否かを判定する（ステップＳ２）。
【００６７】
商品情報の全部が一致する商品が商品マスタ３０８に記憶されていることを条件に（ステップＳ２；Ｙｅｓ）、情報抽出部３００４は、該当する商品情報に関連付けられている在庫情報を抽出する（ステップＳ３）。
【００６８】
商品情報の一部が一致する商品が商品マスタ３０８に記憶されていることを条件に（ステップＳ２；Ｎｏ）、情報抽出部３００４は、画面要求に含まれた商品情報に該当する商品は取り扱っていないことを示す在庫情報を生成する（ステップＳ４）。
【００６９】
情報抽出部３００４は、商品情報の全部又は一部が一致する商品の位置情報を商品マスタ３０８から抽出する（ステップＳ５）。
【００７０】
情報抽出部３００４は、ステップＳ４で抽出した位置情報と、カメラマスタ３０９の各位置情報とを比較して、ステップＳ４で抽出した位置情報を含む範囲を撮像した無人画像をカメラマスタ３０９から抽出する（ステップＳ６）。
【００７１】
情報抽出部３００４は、ステップＳ６で抽出した無人画像に関連付けられている人物追加フラグが人物追加を示しているか否かを判定する（ステップＳ７）。人物追加フラグが人物追加を示していないことを条件に（ステップＳ７；Ｎｏ）、店舗サーバ３０は、ステップＳ９に移行する。
【００７２】
人物追加フラグが人物追加を示していることを条件に（ステップＳ７；Ｙｅｓ）、人物追加部３００５は、人物追加フラグに関連付けられている追加位置情報が示す無人画像の位置に、会計等の順番待ちに並ぶ顧客の行列を示す人物画像を追加する（ステップＳ８）。
【００７３】
画面生成部３００６は、位置情報と、在庫情報と、画像とに基づいて、売り場画面Ｇ２を表示させる画面情報を生成する（ステップＳ９）。
【００７４】
通信制御部３００１は、生成した画面情報を送信する（ステップＳ１０）。
【００７５】
以上により店舗サーバ３０は、画面情報送信処理を終了する。
【００７６】
以上のように、本実施形態に係る店舗サーバ３０は、商品の各売り場を撮像するカメラ１０が撮像した画像を受信する。そして、店舗サーバ３０は、受信した画像に顧客等の人物が含まれていない場合に、画像を無人画像としてカメラマスタ３０９に記憶させる。また、店舗サーバ３０は、売り場画面Ｇ２を表示させる画面情報を要求する画面要求を受信した場合に、画面要求に含まれる商品情報が示している商品を認定する。店舗サーバ３０は、認定した商品を陳列している売り場の画像を、カメラマスタ３０９の無人画像から抽出する。そして、店舗サーバ３０は、抽出した画像を含む売り場画面Ｇ２を表示させる画面情報を送信する。すなわち、店舗サーバ３０は、顧客が写り込んでいない売り場の画像を送信する。従って、本実施形態に係る店舗サーバ３０は、顧客のプライバシーを守りつつ売り場の画像を送信することができる。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７８】
また、上記実施形態では、画面生成部３００６は、情報抽出部３００４がカメラマスタ３０９の無人画像を使用して売り場画面Ｇ２を生成すると説明した。しかしながら、情報抽出部３００４は、有人画像から顧客が含まれていない画像を生成する。そして、画面生成部３００６は、情報抽出部３００４が生成した画像を使用して売り場画面Ｇ２を生成してもよい。例えば、情報抽出部３００４は、有人画像における顧客が写っている部分を特定する。情報抽出部３００４は、有人画像を撮像したカメラ１０と同一のカメラ１０が撮像した無人画像から、特定した部分の画像を切り出す。情報抽出部３００４は、有人画像における顧客が写っている部分の画像を、切り出した画像に置き換える。これにより、情報抽出部３００４は、有人画像から顧客が含まれていない画像を生成する。
【００７９】
上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
【００８０】
また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【００８１】
１  商品購入補助システム
１０  カメラ
２０  顧客端末
３０  店舗サーバ
３０８  商品マスタ
３０９  カメラマスタ
１００１、２００１、３００１  通信制御部
１００２  撮像制御部
１００３  画像送信部
２００２  操作制御部
２００３  表示制御部
２００４  画像要求部
３００２  人物検出部
３００３  画像記憶部
３００４  情報抽出部
３００５  人物追加部
３００６  画面生成部
【先行技術文献】
【特許文献】
【００８２】
【特許文献１】特開２０１６−２０７１６４号公報
【図１】
2019204453.tif 000003
【図２】
2019204453.tif 000004
【図３】
2019204453.tif 000005
【図４】
2019204453.tif 000006
【図５】
2019204453.tif 000007
【図６】
2019204453.tif 000008
【図７】
2019204453.tif 000009
【図８】
2019204453.tif 000010
【図９】
2019204453.tif 000011
【図１０】
2019204453.tif 000012
【図１１】
2019204453.tif 000013