(57)【要約】      （修正有）【課題】店舗内の顧客のプライバシーを保護しながら、実際に店舗で買い物をしているような感覚でユーザにオンラインショッピングを行わせるサーバ装置を提供する。【解決手段】サーバ１００と、ユーザのクライアントＰＣ２００と、小売店３００とで構成され、サーバ１００は、インターネット５０を介してクライアントＰＣ２００及び小売店３００と通信可能とされ、サーバ１００は、小売店３００内に設置された複数のカメラで撮像された店内画像を元に、小売店３００を模した仮想店舗空間を構築し、クライアントＰＣ２００のユーザにインターネット５０を介したショッピングサービスを提供し、クライアントＰＣ２００のユーザは、クライアントＰＣ２００にインストールされたブラウザを介してネットショッピングサービスを利用する。【選択図】図１
2012190094.tif 000002
【特許請求の範囲】
【請求項１】
店舗内の異なる場所に設置された複数のカメラで前記店舗の営業時間中にそれぞれ撮像されて逐次送信された、それぞれ複数の商品画像を含む複数の店舗内画像と、当該複数の店舗内画像がそれぞれ示す前記店舗内の領域の位置を示す複数の領域位置情報と、前記複数の商品画像にそれぞれ対応する商品に関する複数の商品情報と、前記複数の商品画像のそれぞれの前記店舗内画像上の位置を示す複数の商品位置情報とを、互いに対応付けて記憶する記憶部と、
前記カメラ及びユーザのクライアント装置と通信する通信部と、
前記複数の店舗内画像のうち、前記店舗内の第１の領域を示し、かつ、特定可能な人物の画像を含まない第１の店舗内画像を、前記クライアント装置へ送信して表示させ、
当該表示された第１の店舗内画像に対して前記クライアント装置において入力された方向指示操作に応じて、前記領域位置情報を基に、前記第１の領域に隣接する第２の領域を示し、かつ、特定可能な人物の画像を含まない第２の店舗内画像を、前記クライアント装置へ送信して表示させ、
前記第１の店舗内画像または前記第２の店舗内画像に含まれる商品画像の前記商品位置情報を含む、前記ユーザの商品選択操作情報を受信した場合に、前記商品位置情報を基に、前記商品画像に対応する商品情報を前記クライアント装置へ送信して表示させる
ように前記記憶部及び前記通信部を制御する制御部と
を具備するサーバ装置。
【請求項２】
請求項１に記載のサーバ装置であって、
前記制御部は、
前記第１の領域を示す複数の店舗内画像のうち最新の画像に前記人物の画像が含まれている場合、当該人物の画像のうち少なくとも顔の領域をマスク処理した画像を前記第１の店舗内画像として生成し、
前記第２の領域を示す複数の店舗内画像のうち最新の画像に前記人物の画像が含まれている場合、当該人物の画像のうち少なくとも顔の領域をマスク処理した画像を前記第２の店舗内画像として生成する
サーバ装置。
【請求項３】
請求項１に記載のサーバ装置であって、
前記制御部は、
前記第１の領域を示す複数の店舗内画像のうち、人物の画像を含まない候補画像を検索し、当該検索された候補画像のうち最新の画像を前記第１の店舗内画像として抽出し、
前記第２の領域を示す複数の店舗内画像のうち、人物の画像を含まない候補画像を検索し、当該検索された候補画像のうち最新の画像を前記第２の店舗内画像として抽出する
ように前記記憶部及び前記通信部を制御する
サーバ装置。
【請求項４】
請求項１に記載のサーバ装置であって、
前記制御部は、
前記第１の領域を示しそれぞれ異なる位置に前記人物の画像を含む複数の店舗内画像を合成して前記第１の店舗内画像を生成し、
前記第２の領域を示しそれぞれ異なる位置に前記人物の画像を含む複数の店舗内画像を合成して前記第２の店舗内画像を生成する
サーバ装置。
【請求項５】
請求項１に記載のサーバ装置であって、
前記ユーザのクライアント装置は、第１のユーザのクライアント装置と、第２のユーザのクライアント装置とを含み、
前記制御部は、前記第１の店舗内画像上または前記第２の店舗内画像上に、前記第１のユーザに対応する第１のアバター画像と、前記第２のユーザに対応する第２のアバター画像とを表示させ、前記第１のユーザにより前記第１のクライアント装置で入力された第１のテキスト情報を、前記第１のアバター画像が発言しているように表示させ、前記第２のユーザにより前記第２のクライアント装置で入力された第２のテキスト情報を、前記第２のアバター画像が発言しているように表示させるように前記通信部を制御する
サーバ装置。
【請求項６】
請求項１に記載のサーバ装置であって、
前記制御部は、前記第１の店舗内画像または前記第２の店舗内画像のうち少なくとも１つに、前記店舗に存在しない仮想売り場の入り口を示す入り口画像を合成し、当該入り口画像が前記クライアント装置により指示された場合に、前記店舗には存在しない商品の画像を含む前記仮想売り場の画像を表示させるように前記記憶部及び前記通信部を制御する
サーバ装置。
【請求項７】
店舗内の異なる場所に設置された複数のカメラで前記店舗の営業時間中にそれぞれ撮像されて逐次送信された、それぞれ複数の商品画像を含む複数の店舗内画像と、当該複数の店舗内画像がそれぞれ示す前記店舗内の領域の位置を示す複数の領域位置情報と、前記複数の商品画像にそれぞれ対応する商品に関する複数の商品情報と、前記複数の商品画像のそれぞれの前記店舗内画像上の位置を示す複数の商品位置情報とを、互いに対応付けて記憶し、
前記複数の店舗内画像のうち、前記店舗内の第１の領域を示し、かつ、特定可能な人物の画像を含まない第１の店舗内画像を、クライアント装置へ送信して表示させ、
前記表示された第１の店舗内画像に対して前記クライアント装置において入力された方向指示操作に応じて、前記領域位置情報を基に、前記第１の領域に隣接する第２の領域を示し、かつ、特定可能な人物の画像を含まない第２の店舗内画像を、前記クライアント装置へ送信して表示させ、
前記第１の店舗内画像または前記第２の店舗内画像に含まれる商品画像の前記商品位置情報を含む、前記ユーザの商品選択操作情報を受信した場合に、前記商品位置情報を基に、前記商品画像に対応する商品情報を前記クライアント装置へ送信して表示させる
情報処理方法。
【請求項８】
サーバ装置に、
店舗内の異なる場所に設置された複数のカメラで前記店舗の営業時間中にそれぞれ撮像されて逐次送信された、それぞれ複数の商品画像を含む複数の店舗内画像と、当該複数の店舗内画像がそれぞれ示す前記店舗内の領域の位置を示す複数の領域位置情報と、前記複数の商品画像にそれぞれ対応する商品に関する複数の商品情報と、前記複数の商品画像のそれぞれの前記店舗内画像上の位置を示す複数の商品位置情報とを、互いに対応付けて記憶するステップと、
前記複数の店舗内画像のうち、前記店舗内の第１の領域を示し、かつ、特定可能な人物の画像を含まない第１の店舗内画像を、クライアント装置へ送信して表示させ、
前記表示された第１の店舗内画像に対して前記クライアント装置において入力された方向指示操作に応じて、前記領域位置情報を基に、前記第１の領域に隣接する第２の領域を示し、かつ、特定可能な人物の画像を含まない第２の店舗内画像を、前記クライアント装置へ送信して表示させるステップと、
前記第１の店舗内画像または前記第２の店舗内画像に含まれる商品画像の前記商品位置情報を含む、前記ユーザの商品選択操作情報を受信した場合に、前記商品位置情報を基に、前記商品画像に対応する商品情報を前記クライアント装置へ送信して表示させるステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ユーザによるネットワークを介した商品／サービスの購入を可能とするサーバ装置、当該サーバ装置における情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、オンラインショッピングでは、例えばブラウザ上に商品の詳細情報とともに商品の動画が表示され、ユーザはそれらの情報を参照しながら購入する商品を選択し注文している。さらに、ユーザが実際の店舗内に存在する商品の映像を閲覧しながら商品を購入できるシステムも提案されている。
【０００３】
例えば、下記特許文献１には、店舗内の陳列棚に並べられた商品を撮像するために設置されたカメラから、商品の画像が店舗サーバへ送信され、それがユーザ端末装置のブラウザを介してユーザに参照されるオンラインショッピングシステムが開示されている。
【０００４】
また下記特許文献２には、ユーザがクライアント端末からサーバへアクセスし、移動操作キーの操作を行うことで、店舗内に設置された広角視野カメラの映像中から切り出された所望のエリアの画像を、あたかも店舗内を歩き回るかのように閲覧できるシステムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１６８０２２号公報
【特許文献２】特開２００５−１８４６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術では、店舗内の陳列棚及び商品の画像は表示されるものの、顧客用の通路等、店舗内の他の場所の画像は表示されないため、ユーザは実際にその店舗で買い物をしているような感覚を得ることはできない。
【０００７】
一方、上記特許文献２に記載の技術では、ユーザは実際の店舗で買い物をしているような感覚を得ることはできるものの、画像中に、実際に店舗で買い物をしている顧客の画像が写ってしまう可能性があり、プライバシーの保護の観点から問題がある。
【０００８】
以上のような事情に鑑み、本開示の目的は、店舗内の顧客のプライバシーを保護しながら、実際に店舗で買い物をしているような感覚でユーザにオンラインショッピングを行わせることができるサーバ装置、当該サーバ装置における情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本開示の一形態に係るサーバ装置は、記憶部と、通信部と、制御部とを有する。上記記憶部は、店舗内の異なる場所に設置された複数のカメラで上記店舗の営業時間中にそれぞれ撮像されて逐次送信された、それぞれ複数の商品画像を含む複数の店舗内画像と、当該複数の店舗内画像がそれぞれ示す上記店舗内の領域の位置を示す複数の領域位置情報と、上記複数の商品画像にそれぞれ対応する商品に関する複数の商品情報と、上記複数の商品画像のそれぞれの上記店舗内画像上の位置を示す複数の商品位置情報とを、互いに対応付けて記憶する。上記通信部は、上記カメラ及びユーザのクライアント装置と通信する。上記制御部は、上記複数の店舗内画像のうち、上記店舗内の第１の領域を示し、かつ、特定可能な人物の画像を含まない第１の店舗内画像を、上記クライアント装置へ送信して表示させるように上記記憶部及び上記通信部を制御する。また制御部は、当該表示された第１の店舗内画像に対して上記クライアント装置において入力された方向指示操作に応じて、上記領域位置情報を基に、上記第１の領域に隣接する第２の領域を示し、かつ、特定可能な人物の画像を含まない第２の店舗内画像を、上記クライアント装置へ送信して表示させるように上記記憶部及び上記通信部を制御する。さらに制御部は、上記第１の店舗内画像または上記第２の店舗内画像に含まれる商品画像の上記商品位置情報を含む、上記ユーザの商品選択操作情報を受信した場合に、上記商品位置情報を基に、上記商品画像に対応する商品情報を上記クライアント装置へ送信して表示させるように上記記憶部及び上記通信部を制御する。
【００１０】
この構成により、サーバ装置は、店舗内の顧客のプライバシーを保護しながら、実際に店舗で買い物をしているような感覚でユーザにオンラインショッピングを行わせることができる。
【００１１】
上記制御部は、上記第１の領域を示す複数の店舗内画像のうち最新の画像に上記人物の画像が含まれている場合、当該人物の画像のうち少なくとも顔の領域をマスク処理した画像を上記第１の店舗内画像として生成してもよい。また制御部は同様に、上記第２の領域を示す複数の店舗内画像のうち最新の画像に上記人物の画像が含まれている場合、当該人物の画像のうち少なくとも顔の領域をマスク処理した画像を上記第２の店舗内画像として生成してもよい。
【００１２】
これによりサーバ装置は、最新の店舗内画像に人物の画像が含まれていても、その顔をマスク処理することで、顧客のプライバシーを保護することができる。
【００１３】
上記制御部は、上記第１の領域を示す複数の店舗内画像のうち、人物の画像を含まない候補画像を検索し、当該検索された候補画像のうち最新の画像を上記第１の店舗内画像として抽出するように上記記憶部及び上記通信部を制御してもよい。また制御部は同様に、上記第２の領域を示す複数の店舗内画像のうち、人物の画像を含まない候補画像を検索し、当該検索された候補画像のうち最新の画像を上記第２の店舗内画像として抽出するように上記記憶部及び上記通信部を制御してもよい。
【００１４】
これによりサーバ装置は、店舗の営業時間中でありながらたまたま人物が映っていない画像のうち最新のものを第１及び第２の店舗内画像として用いることで、顧客のプライバシーを保護しながらクライアント装置のユーザに極力最新の店舗内画像を送信できる。
【００１５】
上記制御部は、上記第１の領域を示しそれぞれ異なる位置に上記人物の画像を含む複数の店舗内画像を合成して上記第１の店舗内画像を生成してもよい。また制御部は同様に、上記第２の領域を示しそれぞれ異なる位置に上記人物の画像を含む複数の店舗内画像を合成して上記第２の店舗内画像を生成してもよい。
【００１６】
これによりサーバ装置は、最新の店舗内画像の一部に人物が写っていても、当該一部に人物が写っていない他の店舗内画像を合成することで、極力最新かつ顧客のプライバシーを保護可能な店舗内画像を生成することができる。
【００１７】
上記ユーザのクライアント装置は、第１のユーザのクライアント装置と、第２のユーザのクライアント装置とを含んでいてもよい。この場合上記制御部は、上記第１の店舗内画像上または上記第２の店舗内画像上に、上記第１のユーザに対応する第１のアバター画像と、上記第２のユーザに対応する第２のアバター画像とを表示させ、上記第１のユーザにより上記第１のクライアント装置で入力された第１のテキスト情報を、上記第１のアバター画像が発言しているように表示させ、上記第２のユーザにより上記第２のクライアント装置で入力された第２のテキスト情報を、上記第２のアバター画像が発言しているように表示させるように上記通信部を制御してもよい。
【００１８】
これによりユーザは、他のユーザと一緒に会話をしながら買い物をしているような感覚で商品を購入することができる。
【００１９】
上記制御部は、上記第１の店舗内画像または上記第２の店舗内画像のうち少なくとも１つに、上記店舗に存在しない仮想売り場の入り口を示す入り口画像を合成し、当該入り口画像が上記クライアント装置により指示された場合に、上記店舗には存在しない商品の画像を含む上記仮想売り場の画像を表示させるように上記記憶部及び上記通信部を制御してもよい。
【００２０】
これによりサーバ装置は、ユーザに、実際に店舗で買い物をしているような感覚を提供するとともに、実際の店舗では購入できない商品を併せて提供することができ、実際に店舗を訪れることでは得られない特典を与えることができる。
【００２１】
本開示の他の形態に係る情報処理装置は、店舗内の異なる場所に設置された複数のカメラで上記店舗の営業時間中にそれぞれ撮像されて逐次送信された、それぞれ複数の商品画像を含む複数の店舗内画像と、当該複数の店舗内画像がそれぞれ示す上記店舗内の領域の位置を示す複数の領域位置情報と、上記複数の商品画像にそれぞれ対応する商品に関する複数の商品情報と、上記複数の商品画像のそれぞれの上記店舗内画像上の位置を示す複数の商品位置情報とを、互いに対応付けて記憶することを含む。当該方法では、上記複数の店舗内画像のうち、上記店舗内の第１の領域を示し、かつ、特定可能な人物の画像を含まない第１の店舗内画像が、クライアント装置へ送信され表示される。また、上記表示された第１の店舗内画像に対して上記クライアント装置において入力された方向指示操作に応じて、上記領域位置情報を基に、上記第１の領域に隣接する第２の領域を示し、かつ、特定可能な人物の画像を含まない第２の店舗内画像が、上記クライアント装置へ送信され表示される。さらに、上記第１の店舗内画像または上記第２の店舗内画像に含まれる商品画像の上記商品位置情報を含む、上記ユーザの商品選択操作情報が受信された場合に、上記商品位置情報を基に、上記商品画像に対応する商品情報が上記クライアント装置へ送信され表示される。
【００２２】
本開示のまた別の形態に係るプログラムは、サーバ装置に、記憶ステップと、第１の送信ステップと、第２の送信ステップと、第３の送信ステップとを実行させる。上記記憶ステップでは、店舗内の異なる場所に設置された複数のカメラで上記店舗の営業時間中にそれぞれ撮像されて逐次送信された、それぞれ複数の商品画像を含む複数の店舗内画像と、当該複数の店舗内画像がそれぞれ示す上記店舗内の領域の位置を示す複数の領域位置情報と、上記複数の商品画像にそれぞれ対応する商品に関する複数の商品情報と、上記複数の商品画像のそれぞれの上記店舗内画像上の位置を示す複数の商品位置情報とが、互いに対応付けられて記憶される。上記第１の送信ステップでは、上記複数の店舗内画像のうち、上記店舗内の第１の領域を示し、かつ、特定可能な人物の画像を含まない第１の店舗内画像が、クライアント装置へ送信され表示される。上記第２の送信ステップでは、上記表示された第１の店舗内画像に対して上記クライアント装置において入力された方向指示操作に応じて、上記領域位置情報を基に、上記第１の領域に隣接する第２の領域を示し、かつ、特定可能な人物の画像を含まない第２の店舗内画像が、上記クライアント装置へ送信され表示される。上記第３の送信ステップでは、上記第１の店舗内画像または上記第２の店舗内画像に含まれる商品画像の上記商品位置情報を含む、上記ユーザの商品選択操作情報を受信した場合に、上記商品位置情報を基に、上記商品画像に対応する商品情報が上記クライアント装置へ送信され表示される。
【発明の効果】
【００２３】
以上説明したように、本開示によれば、店舗内の顧客のプライバシーを保護しながら、実際に店舗で買い物をしているような感覚でユーザにオンラインショッピングを行わせることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係るオンラインショッピングシステムの概要を示した図である。
【図２】本発明の一実施形態に係るサーバのハードウェア構成を示した図である。
【図３】本発明の一実施形態における小売店内のカメラ設置態様を示した図である。
【図４】本発明の一実施形態に係るサーバが管理する商品データベースの例を示した図である。
【図５】本発明の一実施形態に係るサーバによる買い物画面の生成処理の流れを示したフローチャートである。
【図６】本発明の一実施形態におけるクライアントＰＣによる買い物画面の表示処理の流れを示したフローチャートである。
【図７】本発明の一実施形態に係るサーバにより表示される買い物画面の例を示した図である。
【図８】本発明の一実施形態に係るサーバによる商品購入受付処理の流れを示したフローチャートである。
【図９】本発明の一実施形態において表示される買い物画面の他の態様を示した図である。
【図１０】本発明の一実施形態において表示される買い物画面の他の態様を示した図である。
【図１１】本発明の他の実施形態における小売店検索の例を示した図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら、本開示の実施形態を説明する。
【００２６】
［システムの概要］
図１は、本開示の一実施形態におけるオンラインショッピングシステムの概要を示す図である。
【００２７】
同図に示すように、本システムは、サーバ１００と、ユーザのクライアントＰＣ（Personal Computer）２００と、小売店（内のサーバ）３００とで構成される。サーバ１００は、インターネット５０を介してクライアントＰＣ２００及び小売店３００と通信可能とされている。小売店３００は、例えばスーパーマーケットや百貨店である。
【００２８】
本実施形態において、サーバ１００は、小売店３００内に設置された複数のカメラで撮像された店内画像を元に、小売店３００を模した仮想店舗空間を構築し、クライアントＰＣ２００のユーザにインターネット５０を介したショッピングサービスを提供する。クライアントＰＣ２００のユーザは、クライアントＰＣ２００にインストールされたブラウザを介してネットショッピングサービスを利用する。
【００２９】
［サーバのハードウェア構成］
図３は、本発明の一実施形態に係るサーバ１００のハードウェア構成を示した図である。同図に示すように、サーバ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。
【００３０】
ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながらサーバ１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００３１】
入出力インタフェース１５には、表示部１６、入力部１７、記憶部１８、通信部１９等が接続される。
【００３２】
表示部１６は、例えばＬＣＤ、ＯＥＬＤ、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示部１６は、サーバ１００に内蔵されていてもよいし、サーバ１００に外部接続されていてもよい。
【００３３】
入力部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１７がタッチパネルを含む場合、そのタッチパネルは表示部２６と一体となり得る。
【００３４】
記憶部１８は、例えばＨＤＤや、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部１８には、クライアントＰＣ２００へネットショッピングサービスを提供するためのアプリケーション等のプログラムや、小売店３００から受信した店内画像や商品情報等のデータが記憶される。
【００３５】
通信部１９は、インターネット５０やＬＡＮに有線接続するためのＮＩＣ等であり、小売店３００からのデータの受信処理やクライアントＰＣ２００とのデータの送受信を担う。
【００３６】
図示しないが、クライアントＰＣ２００も、サーバ１００と同様のハードウェア構成を有している。
【００３７】
［小売店内のカメラの設置態様］
次に、小売店３００におけるカメラの設置態様について説明する。図３は、当該カメラの設置態様を示した図である。
【００３８】
通常、小売店における商品の陳列棚には、商品が段毎に垂直方向に陳列されるタイプと、水平方向に陳列されるタイプとがある。本実施形態では、この棚のタイプに応じて、小売店３００内に設置されるカメラの高さ位置が異なっている。
【００３９】
同図（Ａ）に示すように、商品が垂直方向に陳列されるタイプの商品棚３５の商品を撮像する場合、商品を極力その正面から撮像するため、カメラ３０は天井３１からやや離れた位置に設置される。例えば、床３２から天井３１までの高さが３００ｃｍであるとすると、床３２からカメラ３０までの高さは例えば２２０ｃｍとされる。当該高さは、床３２（通路）の幅によって適宜調整される。
【００４０】
一方、同図（Ｂ）に示すように、商品が水平方向に陳列されるタイプの商品棚３５の商品を撮像する場合、商品を極力正面から撮像するため、カメラ３０は天井  ３１とほぼ同じ高さに設置される。
【００４１】
このカメラ３０は、例えばＨＤ（High Definition）画像を撮像可能な360度パノラマＷｅｂカメラであり、小売店３００内の全範囲をカバーできるように複数の箇所に設置される。また本実施形態では、カメラ３０による撮像は、小売店３００の営業時間の間常に行われ、撮像画像は逐次サーバ１００へ送信される。サーバ１００は、後述する買い物画面において、これら撮像画像を、クライアントＰＣ２００のユーザの方向指示操作に応じて切り替えることで、ユーザに、あたかも実際に小売店内を闊歩しているような感覚を提供することができる。
【００４２】
［商品データベース］
次に、サーバ１００が管理する商品データベースについて説明する。図４は、当該商品データベースの例を示した図である。
【００４３】
同図に示すように、商品データベースは、小売店３００内で販売されている（すなわち、カメラ３０で撮像される）商品ごとに、商品ＩＤ、メーカー、商品名、関連Ｗｅｂページアドレス、価格、入荷日、消費期限、陳列棚位置情報、店内画像番号、店内画像内位置情報を管理する。
【００４４】
商品ＩＤは、他の各種情報を商品毎に紐付けるために用いられるユニークな識別子である。メーカー名及び商品名は、後述する買い物画面において表示される商品情報として用いられる。関連ウェブページアドレスは、例えばメーカーのＷｅｂサイト中の、当該商品の紹介ページのアドレスである。当該情報も、商品情報の一部として用いられる。
【００４５】
陳列棚位置情報は、当該商品が陳列されている棚の、小売店３００内における位置（領域）を識別する情報である。当該陳列棚位置情報は、クライアントＰＣ２００のユーザの方向指示操作に応じて、後述する買い物画面内の店内画像を切り替える際に用いられる。
【００４６】
店内画像番号は、小売店３００から送信されサーバ１００で記憶されている店内画像のうち、当該商品が写っている画像の番号（ＩＤ）を示す。当該店内画像番号は複数存在する場合もあり得る。店内画像内位置情報は、上記店内画像番号に対応する店内画像において該当商品が写っている位置を識別する情報（例えば座標情報）である。店内画像番号は、上記店内画像の切り替え等に用いられる。店内画像内位置情報は、クライアントＰＣ２００のユーザが店内画像中の特定の商品の領域にポインタを合わせた場合に、サーバ１００が上記商品情報の表示を行う際に用いられる。
【００４７】
ここで、小売店３００内の商品棚に陳列されている各商品には、例えば上記商品データベース内の各情報のうち、店内画像番号及び店内画像内位置情報を除く情報を記憶した二次元バーコードが付されているものとする。各商品は、当該二次元バーコードがカメラ３０により撮像可能なように陳列されている。すなわち、二次元バーコードは、各商品の正面に印刷されている。また、カメラ３０から店内画像が送信される際には、上記店内画像番号も併せて送信される。
【００４８】
そしてサーバ１００は、店内画像を受信すると、当該店内画像中の二次元バーコードの位置を店内画像内位置情報として記憶するとともに、当該二次元バーコードから、上記各情報を読み取り、上記店内画像番号と併せて上記商品データベースを作成し、店内画像と対応付けて記憶部１８に記憶する。
【００４９】
［システムの動作］
次に、以上のように構成されたネットショッピングシステムにおけるサーバ１００及びクライアントＰＣ２００の動作について説明する。以降の説明においては、サーバ１００ＣＰＵ１１及びクライアントＰＣ２００のＣＰＵを主な動作主体として説明するが、この動作はＣＰＵの制御下において実行される上記各ソフトウェア（アプリケーション）とも協働して行われる。
【００５０】
図５は、サーバ１００による買い物画面の生成処理の流れを示したフローチャートである。図６は、クライアントＰＣ２００による買い物画面の表示処理の流れを示したフローチャートである。
【００５１】
まず、クライアントＰＣ２００のユーザが、サーバ１００が運営するネットショッピングサービスのＷｅｂサイトにログインすると、サーバ１００のＣＰＵ１１は、小売店３００内の位置を選択する画面を生成してクライアントＰＣ２００のブラウザに表示させる。
【００５２】
当該選択画面上で、ユーザが特定の位置を選択すると、図６に示すように、クライアントＰＣのＣＰＵから、上記選択された位置に対応する店内画像データの要求情報が送信される（ステップ６０１）。この際、要求情報には、上記商品データベース中の陳列棚位置情報に対応する情報が含まれている。
【００５３】
一方、図７に示すように、サーバ１００のＣＰＵ１１は、上記店内画像要求データを受信したか否かを判断する（ステップ５０１）。受信したと判断すると、ＣＰＵ１１は、当該店内画像要求データに対応する、小売店３００内の領域を上記陳列棚位置情報を元に特定し、当該陳列棚位置情報に対応する店内画像のうち、最新の画像を検索する（ステップ５０２）。
【００５４】
続いてＣＰＵ１１は、当該最新の店内画像中に、人物が写っていないか否かを判断する（ステップ５０３）。当該判断は、例えば、従来から知られている人物認識技術のアルゴリズムを用いて行われる。すなわち、ＣＰＵ１１は、店内画像中から、肌色領域等の人間に関係のある特徴量を抽出することで、店内画像に人物が含まれているか否かを判断する。
【００５５】
店内画像中に人物が写っていると判断した場合（Ｎｏ）、ＣＰＵ１１は、当該人物が特定できないよう、当該人物が写っている領域をマスク処理する（ステップ５０４）。当該マスク処理は、人物の領域全体に施されてもよいし、顔のみに施されてもよい。
【００５６】
そしてＣＰＵ１１は、当該店内画像に、必要なＵＩ（User Interface）やレイアウトを整えて、買い物画面としての画像データを生成してクライアントＰＣ２００へ送信する（ステップ５０５）。
【００５７】
一方、図６に示すように、クライアントＰＣ２００のＣＰＵは、上記店内画像データ要求に応じて、ユーザが所望する領域の店内画像が受信できた場合（ステップ６０２のＹｅｓ）、当該店内画像中の商品情報データ依頼を送信する（ステップ６０３）。当該商品情報データは、当該店内画像中に含まれる各商品の情報（商品名、メーカー名等）である。当該データ依頼には、対応する店内画像番号が含まれる。
【００５８】
図５に示すように、サーバ１００のＣＰＵ１１は、上記商品情報データ依頼を受信すると（ステップ５０６のＹｅｓ）、上記記憶部１８から上記店内画像番号に対応する商品情報データを読み出し（ステップ５０７）、送信する（ステップ５０８）。
【００５９】
続いてＣＰＵは、上記商品情報データを受信すると（ステップ６０４のＹｅｓ）、当該商品情報データが連動した買い物画面を生成し（ステップ６０５）、それを表示する（ステップ６０６）。
【００６０】
図７は、当該買い物画面の例を示した図である。同図に示すように、買い物画面７０には、記憶部１８に記憶された店内画像７１が表示される。当該店内画像７１は、上記商品データベースにおいて、陳列棚位置情報により、上記ユーザが選択した位置と対応付けされている。
【００６１】
上記店内画像７１に含まれる商品の画像がポインタ７２によるユーザの操作によりポイントされた場合には、上記受信された商品情報データを基に、当該商品の商品情報７３がポップアップ表示される。当該商品情報には、例えば、商品名及びメーカー名が含まれる。また当該商品情報には、当該商品を紹介するＷｅｂページへのハイパーリンクが表示されてもよい。またそれとともに、当該商品情報に対応する商品を買い物かご（カート）へ入れるためのカート投入ボタン８１も表示される。
【００６２】
ユーザが店内画像７１上でポインタ７２を移動させるたびに、そのポインタ７２の下に存在する商品の商品情報が表示される。例えば、同図破線矢印及び破線吹き出しに示すように、ユーザがポインタ７２を商品棚上で垂直方向へ移動させると、その方向に沿って商品情報が逐次ポップアップ表示され、水平方向へ移動させると、その方向に沿って商品情報がポップアップ表示される。またユーザは、所定のボタン操作を行うことで、店内画像７１をズームさせ、商品画像の詳細を閲覧することも可能である。
【００６３】
また店内画像７１の例えば左下には、ユーザの現在の買い物カート内の商品の合計金額を示す合計金額領域７６が表示される。当該合計金額領域７６の例えば右側には買い物詳細ボタン７７が設けられる。当該買い物詳細ボタン７７がユーザにより押下されると、カーと内の商品情報の詳細（商品名、メーカー名、金額等）が表示される。
【００６４】
さらに買い物画面７０上には、ユーザのアバター７４ａも表示可能とされている。当該アバターは、例えば事前にユーザに選択されたものである。また、ユーザが他のクライアントＰＣのユーザ（以下、単に「他のユーザ」と称する）と同一の店内画像７１を閲覧している場合、当該他のユーザのアバター７４ｂも買い物画面７０上に表示される。買い物画面７０の右下には、コメント入力領域７８が設けられており、各ユーザが当該コメント入力領域７８へコメントを入力し、その右側の送信ボタン７９を押下すると、自身のアバターがしゃべっているようにコメント８０がポップアップ表示され、他のユーザにも閲覧可能となる。これにより、ユーザは、遠方の他のユーザと、アバターを使ってリアルタイムにおしゃべりをしながらショッピングをすることができる。
【００６５】
また、上記店内画像７１に仮に人物の画像が含まれていても、上述のように当該人物は事前にマスク処理されるため、小売店３００内の顧客のプライバシーを保護することができる。
【００６６】
店内画像７１上には、進行可能な方向を示す矢印７５も表示される。クライアントＰＣ２００のユーザは、当該矢印７５を参照しながら、当該買い物画面７０上で移動操作を行うことで、小売店３００内を闊歩するように、小売店３００内のあらゆる領域のあらゆるアングルの画像を閲覧して、所望の商品を検索することができる（ステップ６０７）。ユーザが例えば十字キー等を用いて当該矢印７５の方向へ移動する操作を行うと、その方向情報が、新たな店内画像データ要求としてサーバ１００へ送信される。当該方向情報は、その方向の領域を撮像した店内画像の陳列棚位置情報及び店内画像番号と対応付けられており、サーバ１００のＣＰＵ１１は、新たな店内画像データ要求を受信するたびに、上述のステップ５０１〜５０８の処理を繰り返す。
【００６７】
続いて、当該買い物画面７０上で、ユーザが購入したい商品が確定された場合（ステップ６０８のＹｅｓ）、クライアントＰＣ２００のＣＰＵは、当該商品に関する購入依頼データをサーバ１００へ送信する（ステップ６０９）。購入商品の確定は、例えば、買い物詳細ボタン７７により表示される買い物詳細情報上に併せて表示される、確定ボタン（図示せず）の押下等により行われる。
【００６８】
図８は、サーバ１００による商品購入受付処理の流れを示したフローチャートである。
【００６９】
同図に示すように、ＣＰＵ１１は、クライアントＰＣ２００から上記購入依頼データを受信すると（ステップ８０１のＹｅｓ）、ＣＰＵ１１は、記録制御データを生成する（ステップ８０２）。当該記録制御データは、例えば在庫管理、販売履歴作成等、各小売店３００にとって必要なデータである。
【００７０】
続いてＣＰＵ１１は、購入依頼受付データの生成にあたって商品情報が必要か否かを判断し（ステップ８０３）、必要な場合（Ｙｅｓ）には適宜当該商品情報を読み出して、購入依頼受付データを生成して送信する（ステップ８０５）。
【００７１】
続いてＣＰＵ１１は、生成した購入依頼データに適宜必要なヘッダデータ（メタデータ）を生成し（ステップ８０６）、記憶部１８等に記録する（ステップ８０７）。
【００７２】
一方、クライアントＰＣ２００のＣＰＵは、上記購入依頼受付データを受信すると（ステップ６１０のＹｅｓ）、当該データを表示する（ステップ６１１）。その後、例えば決済方法（クレジットカード／代金引換等）や、商品受け取り方法（配送／店舗引取り等）の選択が行われ、買い物が終了する。
【００７３】
［買い物画面上での各種機能］
本実施形態において、サーバ１００は、上述した基本的なネットショッピング機能のほか、ユーザの購買意欲を向上させるための各種機能を有する。以下、それら機能について説明する。
【００７４】
（オンラインショッピング限定エリア）
図９は、買い物画面７０の他の態様を示した図である。
【００７５】
同図（Ａ）に示すように、所定の店内画像７１の一部には、小売店３００には実際には存在しない仮想売り場への入り口（ドア）を示す入り口画像９１が合成されて表示される。
【００７６】
当該入り口画像９１が例えばポイント操作されると、同図（Ｂ）に示すように、買い物画面７０上には、小売店３００には実際には存在しない仮想売り場の仮想店内画像９２が表示される。当該仮想店内画像９２は、例えば小売店３００以外の場所で、小売店３００では販売されていない商品が、上記店内画像７１と同様にカメラで撮影されたものである。ユーザは、買い物画面７０上で、矢印７５に沿った方向へ移動操作を行うことで、仮想店内を闊歩するように各アングルの画像を閲覧することができる。また同図に示すように、ユーザは、仮想店内画像９２をズームアップ操作することで、商品の鮮度を確認することもできる。
【００７７】
サーバ１００のＣＰＵ１１は、上記入り口画像９１がポイントされた情報をクライアントＰＣから受信すると、上記仮想店内画像９２及びそれに写っている全商品の商品情報を記憶部１８から読み出してクライアントＰＣ２００へ送信する。クライアントＰＣ２００は、当該仮想店内画像９２及び商品情報を基に買い物画面７０を更新して表示する。
【００７８】
これによりサーバ１００は、実際の小売店３００では購入できない商品を併せて提供することができ、実際に小売店３００を訪れることでは得られない特典をユーザに与えることができる。
【００７９】
（デジタルサイネージとの連携）
図１０は、上記買い物画面７０のまた別の態様を示した図である。
【００８０】
小売店３００内によっては、デジタルサイネージ表示装置に、小売店３００で販売されている商品を使った料理のレシピが表示されている場合がある。このような場合、サーバ１００は、同図（Ａ）に示すように、当該商品の画像を含む店内画像７１ａを表示する際、併せて、例えば買い物画面７０の右側に、上記レシピ９５を表示させる。またそれと共に、サーバ１００は、当該レシピに含まれる食材に該当する商品の画像を含む店内画像７１へ移動させるためのプルダウンメニュー９６も表示させる。当該プルダウンメニュー９６には、レシピに含まれる食材の一覧が表示され、ユーザが当該一覧から１つの食材を選択すると、同図（Ｂ）に示すように、その食材を商品画像として含む店内画像７１ｂが新たに表示される。
【００８１】
同図の例では、ユーザがパスタの麺を含む店内画像７１ａを閲覧中に、パスタのレシピ９５が表示されるとともに、それに含まれるオリーブオイル、塩、トマト等の食材がプルダウンメニュー９６に表示され、そのうちユーザがオリーブオイルを選択することで、それを含む新たな店内画像７１ｂが表示されている。
【００８２】
［まとめ］
以上説明したように、本実施形態によれば、サーバ１００は、小売店３００内の顧客のプライバシーを保護しながら、実際に小売店３００内で買い物をしているような感覚でクライアントＰＣ２００のユーザにオンラインショッピングを行わせることができる。また、店内画像として最新のものが表示されるため、ユーザは、小売店３００に足を運ばなくても、リアルタイムにその小売店３００で買い物をしている感覚を味わうことができる。
【００８３】
［変形例］
本開示は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００８４】
上述の実施形態では、サーバ１００は、クライアントＰＣ２００から要求された位置の店内画像に人が写っている場合には、その人の領域をマスク処理した。しかし、サーバ１００は、マスク処理を行わずに、その位置の店内画像のうち、人が写っていない最新の画像をクライアントＰＣ２００へ送信してもよい。これにより、リアルタイム性は若干損なわれるが、マスク処理された人の画像によってその背面側の商品が隠れることがないため、ユーザの購買機会が向上する。
【００８５】
また、サーバ１００は、上記マスク処理の代わりに、上記最新の店内画像のうち人の領域の画像を、それ以前に撮像された該当位置の店内画像のうち上記人の領域に人が写っていない画像と入れ換えてもよい。すなわち、サーバ１００は、最新の店内画像に人が写っている場合、極力最新の少なくとも２枚の店内画像を合成することで、人が写っていない店内画像を生成してもよい。
【００８６】
さらに、カメラ３０が、例えば動体認識センサ等を備えることで、撮像範囲内に動体（人）が存在しないと判断した場合にのみ店内画像を撮影し、サーバ１００へ送信してもよい。また、サーバ２００が、カメラ３０から店舗内の映像をストリーミング受信し、上記動体（人）が存在しているか否かを判断し、人が存在しないと判断した場合にのみカメラ３０へ撮像指示を送信してもよい。これによりサーバ１００に蓄積される店内画像の容量及びサーバ１００の負荷が大幅に低減される。
【００８７】
上述の実施形態では、小売店３００が単一である場合、すなわち、サーバ１００が小売店３００と１対１で対応している場合について示されたが、サーバ１００に対して小売店３００が複数存在してもよい。この場合、ユーザは、複数の小売店３００から所望の小売店を検索してオンラインショッピングを行ってもよい。
【００８８】
図１１は、この場合の小売店検索の例を示した図である。
【００８９】
サーバ１００が運営するネットショッピングサービスのＷｅｂサイトにログインし、例えば検索メニューから商品検索を選択すると、同図（Ａ）に示すように、検索ボックス１１１と検索ボタン１１２を含む検索トップ画面が表示される。当該検索ボックス１１１にユーザが任意の商品名を入力して検索ボタン１１２を押下すると、同図（Ｂ）に示すように、検索結果として、検索対象の商品を販売している小売店の一覧１１３がハイパーリンク付きで表示される。当該一覧１１３からユーザが所望の小売店のハイパーリンクを選択すると、選択された小売店内のレイアウトと、上記検索対象の商品の棚の位置を示す情報（矢印及び該当する店内画像のサムネイル１１４ａ）とを含む商品位置情報１１４が表示される。ユーザが例えば当該サムネイル１１４ａをクリックすると、対応する店内画像７１を含む買い物画面７０が表示される。
【００９０】
上記検索結果では、予め登録されたユーザの住所に近い小売店ほど上位に表示されてもよい。また、当該ユーザの住所に最も近い小売店のみが表示されてもよい。いずれの場合も、小売店側は、ユーザが当該オンラインショッピングシステムを利用し、各小売店の品揃え等を把握していくことで、実際にその小売店に来店する可能性も高めることができる。
【００９１】
上述の実施形態においては、単一のサーバ１００が示された。しかし、上記システムでは、店舗内画像の提供、店舗内画像の蓄積、商品情報の提供、商品情報の蓄積、決済等の機能毎に別個のサーバが用意されてもよい。
【００９２】
上述の実施形態においては、クライアント装置としてＰＣ２００が示された。しかし、クライアント装置は、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等の携帯端末、デジタルスチルカメラ、デジタルビデオカメラ、テレビジョン装置、ゲーム機器、カーナビゲーション装置、記録再生装置等、携帯型／据置型の区別を問わず、他のあらゆる情報処理装置で有り得る。
【００９３】
［その他］
本発明は以下のような構成もとることができる。
（１）  店舗内の異なる場所に設置された複数のカメラで前記店舗の営業時間中にそれぞれ撮像されて逐次送信された、それぞれ複数の商品画像を含む複数の店舗内画像と、当該複数の店舗内画像がそれぞれ示す前記店舗内の領域の位置を示す複数の領域位置情報と、前記複数の商品画像にそれぞれ対応する商品に関する複数の商品情報と、前記複数の商品画像のそれぞれの前記店舗内画像上の位置を示す複数の商品位置情報とを、互いに対応付けて記憶する記憶部と、
前記カメラ及びユーザのクライアント装置と通信する通信部と、
前記複数の店舗内画像のうち、前記店舗内の第１の領域を示し、かつ、特定可能な人物の画像を含まない第１の店舗内画像を、前記クライアント装置へ送信して表示させ、
当該表示された第１の店舗内画像に対して前記クライアント装置において入力された方向指示操作に応じて、前記領域位置情報を基に、前記第１の領域に隣接する第２の領域を示し、かつ、特定可能な人物の画像を含まない第２の店舗内画像を、前記クライアント装置へ送信して表示させ、
前記第１の店舗内画像または前記第２の店舗内画像に含まれる商品画像の前記商品位置情報を含む、前記ユーザの商品選択操作情報を受信した場合に、前記商品位置情報を基に、前記商品画像に対応する商品情報を前記クライアント装置へ送信して表示させる
ように前記記憶部及び前記通信部を制御する制御部と
を具備するサーバ装置。
（２）上記（１）に記載のサーバ装置であって、
前記制御部は、
前記第１の領域を示す複数の店舗内画像のうち最新の画像に前記人物の画像が含まれている場合、当該人物の画像のうち少なくとも顔の領域をマスク処理した画像を前記第１の店舗内画像として生成し、
前記第２の領域を示す複数の店舗内画像のうち最新の画像に前記人物の画像が含まれている場合、当該人物の画像のうち少なくとも顔の領域をマスク処理した画像を前記第２の店舗内画像として生成する
サーバ装置。
（３）上記（１）に記載のサーバ装置であって、
前記制御部は、
前記第１の領域を示す複数の店舗内画像のうち、人物の画像を含まない候補画像を検索し、当該検索された候補画像のうち最新の画像を前記第１の店舗内画像として抽出し、
前記第２の領域を示す複数の店舗内画像のうち、人物の画像を含まない候補画像を検索し、当該検索された候補画像のうち最新の画像を前記第２の店舗内画像として抽出する
ように前記記憶部及び前記通信部を制御する
サーバ装置。
（４）上記（１）に記載のサーバ装置であって、
前記制御部は、
前記第１の領域を示しそれぞれ異なる位置に前記人物の画像を含む複数の店舗内画像を合成して前記第１の店舗内画像を生成し、
前記第２の領域を示しそれぞれ異なる位置に前記人物の画像を含む複数の店舗内画像を合成して前記第２の店舗内画像を生成する
サーバ装置。
（５）上記（１）から（４）のいずれかに記載のサーバ装置であって、
前記ユーザのクライアント装置は、第１のユーザのクライアント装置と、第２のユーザのクライアント装置とを含み、
前記制御部は、前記第１の店舗内画像上または前記第２の店舗内画像上に、前記第１のユーザに対応する第１のアバター画像と、前記第２のユーザに対応する第２のアバター画像とを表示させ、前記第１のユーザにより前記第１のクライアント装置で入力された第１のテキスト情報を、前記第１のアバター画像が発言しているように表示させ、前記第２のユーザにより前記第２のクライアント装置で入力された第２のテキスト情報を、前記第２のアバター画像が発言しているように表示させるように前記通信部を制御する
サーバ装置。
（６）上記（１）から（５）のいずれかに記載のサーバ装置であって、
前記制御部は、前記第１の店舗内画像または前記第２の店舗内画像のうち少なくとも１つに、前記店舗に存在しない仮想売り場の入り口を示す入り口画像を合成し、当該入り口画像が前記クライアント装置により指示された場合に、前記店舗には存在しない商品の画像を含む前記仮想売り場の画像を表示させるように前記記憶部及び前記通信部を制御する
サーバ装置。
【符号の説明】
【００９４】
１１…ＣＰＵ
１８…記憶部
１９…通信部
３０…カメラ
５０…インターネット
７０…買い物画面
７１…店内画像
７２…ポインタ
７３…商品情報
７４（７４ａ，７４ｂ）…アバター
７８…コメント入力領域
７９…送信ボタン
８０…コメント
９１…入り口画像
９２…仮想店内画像
１００…サーバ
２００…クライアントＰＣ
３００…小売店
【図１】
2012190094.tif 000003
【図２】
2012190094.tif 000004
【図３】
2012190094.tif 000005
【図４】
2012190094.tif 000006
【図５】
2012190094.tif 000007
【図６】
2012190094.tif 000008
【図８】
2012190094.tif 000009
【図７】
2012190094.tif 000010
【図９】
2012190094.tif 000011
【図１０】
2012190094.tif 000012
【図１１】
2012190094.tif 000013