(57)【要約】【課題】選択者が遠隔地にある複数の被選択物の映像を見ながらいずれかの被選択物を選択した際に、その選択結果を的確に特定する。【解決手段】仮店舗内に居る顧客が、実店舗内に在る複数の商品の映像を見ながら行う選択動作を行っている間に顧客の正面像を仮店舗内のカメラで撮像し、複数の商品の映像を実店舗内のカメラで撮像する。また、顧客側ユニットのサーバコンピュータが、選択動作が行われる際に実店舗内のカメラが撮像した映像を取得して当該映像を仮店舗内に設置された表示器に表示させる。さらに、店員側ユニットのサーバコンピュータが、仮店舗内のカメラが撮像した映像、及び、仮店舗内の表示器に表示されている映像のうち、選択動作において選択された商品が含まれている領域の映像を合成した合成映像を実店舗内に設置された表示器に表示させる。【選択図】図１０
2017055357.tif 000002
【特許請求の範囲】
【請求項１】
第一空間内に居る選択者が、前記第一空間から離れた第二空間内に在る複数の被選択物の映像を見ながら行う選択動作において、いずれの前記被選択物が選択されたのかを特定するために用いられる映像表示システムであって、
前記選択動作が行われている間に前記選択者の正面像を撮像するために前記第一空間内に設置された第一撮像装置と、
複数の前記被選択物を撮像するために前記第二空間内に設置された第二撮像装置と、
前記第二撮像装置が撮像した映像を表示するために前記第一空間内に設置された第一表示器と、
該第一表示器を制御して、映像を前記第一表示器に表示させる第一制御装置と、
前記第一表示器が撮像した映像を表示するために設けられた第二表示器と、
該第二表示器を制御して、映像を前記第二表示器に表示させる第二制御装置と、を有し、
前記第一制御装置は、前記選択動作が行われる際に前記第二撮像装置が撮像した映像を取得して当該映像を前記第一表示器に表示させ、
前記第二制御装置は、前記第一撮像装置が撮像した映像、及び、前記第一表示器に表示されている映像のうち、前記選択動作において選択された前記被選択物が少なくとも含まれている領域の映像の双方を取得し、当該双方を合成した合成映像を前記第二表示器に表示させることを特徴とする映像表示システム。
【請求項２】
前記第一制御装置は、前記第二撮像装置が撮像した映像のうち、前記第一表示器に表示可能なサイズの部分映像を前記第一表示器に表示させると共に、前記第一表示器に表示されている前記部分映像を前記第二制御装置に通知し、
前記第二制御装置は、前記第一撮像装置が撮像した映像と、前記第一制御装置が通知した前記部分映像中の前記領域の映像と、を合成した前記合成映像を前記第二表示器に表示させることを特徴とする請求項１に記載の映像表示システム。
【請求項３】
前記選択者の位置、顔の向き、視線及び顔の位置のうち、少なくとも一つを検出する検出部を有し、
該検出部の検出結果が変化した際、前記第一制御装置は、前記第二撮像装置が撮像した映像のうち、前記第一表示器に表示させる前記部分映像を前記検出結果の変化量に応じた分だけ変位させると共に、変位後の前記部分映像を前記第二制御装置に通知し、前記第二制御装置は、前記第一撮像装置が撮像した映像と、前記第一制御装置が通知した変位後の前記部分映像中の前記領域の映像と、を合成した前記合成映像を前記第二表示器に表示させることを特徴とする請求項２に記載の映像表示システム。
【請求項４】
複数の前記被選択物が前記第二空間内において並べられた状態で置かれている場合、前記第二制御装置は、前記第一撮像装置が撮像した映像と、前記第一表示器に表示されている映像のうち、複数の前記被選択物が並べられている前記領域と、を合成した前記合成映像を前記第二表示器に表示させることを特徴とする請求項１乃至３のいずれか一項に記載の映像表示システム。
【請求項５】
前記第二制御装置は、複数の前記被選択物が並べられている前記領域の映像を左右反転させ、反転後の前記領域の映像と、前記第一撮像装置が撮像した映像と、を合成した前記合成映像を前記第二表示器に表示させることを特徴とする請求項４に記載の映像表示システム。
【請求項６】
前記第二制御装置は、前記第一撮像装置が撮像した映像中、前記選択者の指先付近に前記領域の映像が配置されるように前記双方を合成した前記合成映像を前記第二表示器に表示させることを特徴とする請求項１乃至５のいずれか一項に記載の映像表示システム。
【請求項７】
前記選択者の身体各部の位置に関する値を計測するために前記第一空間内に設置された計測装置を更に有し、
前記第一制御装置は、前記計測装置の計測結果を前記第二制御装置に向けて送信し、
前記第二制御装置は、前記第一制御装置から受信した前記計測装置の計測結果に基づき、前記第一撮像装置が撮像した映像中、前記選択者の指先の位置を特定し、特定した前記選択者の指先付近に前記領域の映像が配置されるように前記双方を合成した前記合成映像を前記第二表示器に表示させることを特徴とする請求項６に記載の映像表示システム。
【請求項８】
第一空間内に居る選択者が、前記第一空間から離れた第二空間内に在る複数の被選択物の映像を見ながら行う選択動作において、いずれの前記被選択物が選択されたのかを特定するために用いられる映像表示方法であって、
前記選択動作が行われている間に、前記第一空間内に設置された第一撮像装置が、前記選択者の正面像を撮像することと、
前記第二空間内に設置された第二撮像装置が、複数の前記被選択物を撮像することと、
第一制御装置が、前記選択動作が行われる際に前記第二撮像装置が撮像した映像を取得して当該映像を前記第一空間内に設置された第一表示器に表示させることと、
第二制御装置が、前記第一撮像装置が撮像した映像、及び、前記第一表示器に表示されている映像のうち、前記選択動作において選択された前記被選択物が少なくとも含まれている領域の映像の双方を取得し、当該双方を合成した合成映像を第二表示器に表示させることと、を有することを特徴とする映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示システム及び映像表示方法に係り、特に、第一空間内に居る選択者が第一空間から離れた第二空間内に在る複数の被選択物の映像を見ながら行う選択動作において、いずれの被選択物が選択されたのかを特定するために用いられる映像表示システム及び映像表示方法に関する。
【背景技術】
【０００２】
ユーザが遠隔地に在る物を見るための情報通信技術は、電子商取引をはじめ、様々な分野で利用されている。例えば、特許文献１に記載の通信システム（特許文献１では「商品情報表示システム」と表記）では、店舗等において陳列された商品をカメラでリアルタイムに撮像し、その撮像映像を、通信ネットワークを介してリアルタイムに遠隔地の顧客に提供する。上記の通信システムを利用することにより、顧客は、撮像映像を見ながら遠隔地にある商品を選び、選んだ商品を購入することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４６６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、顧客が映像表示画面に表示されている商品のいずれかについて購入を希望する場合、店舗側ではその商品を把握する必要がある。かかる状況に対する対応手段としては、商品を選んでいる顧客をカメラでリアルタイムに撮像し、その撮像映像から顧客が選んだ商品を特定することが考えられる。
【０００５】
しかしながら、顧客が選択した商品を顧客の撮像映像のみから特定しようとすると、映像と商品との位置関係が明確になっていない限り困難であり、顧客がどの商品を選択したのかを正確に特定し得ない虞がある。とりわけ、顧客が見ている商品の撮像映像が変化する場合には、上記不具合が特に顕著に生じ得る。
【０００６】
そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、選択者が遠隔地にある複数の被選択物の映像を見ながらいずれかの被選択物を選択した際に、その選択結果を的確に特定することが可能な映像表示システムを提供することである。
また、本発明の他の目的は、選択者が遠隔地にある複数の被選択物の映像を見ながらいずれかの被選択物を選択した際に、その選択結果を的確に特定することが可能な映像表示方法を提供することである。
【課題を解決するための手段】
【０００７】
前記課題は、本発明の映像表示システムによれば、第一空間内に居る選択者が、前記第一空間から離れた第二空間内に在る複数の被選択物の映像を見ながら行う選択動作において、いずれの前記被選択物が選択されたのかを特定するために用いられる映像表示システムであって、（Ａ）前記選択動作が行われている間に前記選択者の正面像を撮像するために前記第一空間内に設置された第一撮像装置と、（Ｂ）複数の前記被選択物を撮像するために前記第二空間内に設置された第二撮像装置と、（Ｃ）前記第二撮像装置が撮像した映像を表示するために前記第一空間内に設置された第一表示器と、（Ｄ）該第一表示器を制御して、映像を前記第一表示器に表示させる第一制御装置と、（Ｅ）前記第一表示器が撮像した映像を表示するために設けられた第二表示器と、（Ｆ）該第二表示器を制御して、映像を前記第二表示器に表示させる第二制御装置と、を有し、（Ｇ）前記第一制御装置は、前記選択動作が行われる際に前記第二撮像装置が撮像した映像を取得して当該映像を前記第一表示器に表示させ（Ｈ）前記第二制御装置は、前記第一撮像装置が撮像した映像、及び、前記第一表示器に表示されている映像のうち、前記選択動作において選択された前記被選択物が少なくとも含まれている領域の映像の双方を取得し、当該双方を合成した合成映像を前記第二表示器に表示させることにより解決される。
【０００８】
以上のように構成された本発明の映像表示システムでは、選択者が選択動作を行う間、選択者の映像（正面像の映像）と、選択者により選択された被選択物を含む領域の映像と、を合成した合成映像が表示器（第二表示器）に表示されるようになる。このように選択者の映像と、選択者により選択された被選択物の映像とが同時に表示されることで、選択者と被選択物との位置関係が明確になる。これにより、選択者の選択結果を的確に特定することが可能となる。
【０００９】
また、上記の映像表示システムについて好適な構成を述べると、前記第一制御装置は、前記第二撮像装置が撮像した映像のうち、前記第一表示器に表示可能なサイズの部分映像を前記第一表示器に表示させると共に、前記第一表示器に表示されている前記部分映像を前記第二制御装置に通知し、前記第二制御装置は、前記第一撮像装置が撮像した映像と、前記第一制御装置が送信した前記部分映像中の前記領域の映像と、を合成した前記合成映像を前記第二表示器に表示させるとよい。
上記の構成によれば、選択者が第二撮像装置の撮像映像のうちの一部分（部分映像）を見ながらいずれかの被選択物を選択する際、その選択結果を的確に特定することが可能となる。
【００１０】
また、上記の映像表示システムについてより好適な構成を述べると、前記選択者の位置、顔の向き、視線及び顔の位置のうち、少なくとも一つを検出する検出部を有し、該検出部の検出結果が変化した際、前記第一制御装置は、前記第二撮像装置が撮像した映像のうち、前記第一表示器に表示させる前記部分映像を前記検出結果の変化量に応じた分だけ変位させると共に、変位後の前記部分映像を前記第二制御装置に通知し、前記第二制御装置は、前記第一撮像装置が撮像した映像と、前記第一制御装置が通知した変位後の前記部分映像中の前記領域の映像と、を合成した前記合成映像を前記第二表示器に表示させるとよい。
上記の構成によれば、本発明の映像表示システムの効果が有効に発揮されるようになる。具体的に説明すると、第一表示器を通じて選択者が見る映像（部分映像）が選択者の動きに応じて変化する。このような構成の下では、選択者の撮像映像のみから選択者の選択結果を特定しようとすることが特に困難となる。一方、上記の構成では、選択者の映像と、選択者が選択した被選択物を含む領域の映像と、を合成して表示する際、選択者が見ている映像の変化を反映した合成映像が表示されるようになる。この結果、選択者が見る映像が変化したとしても、選択者が選択した被選択物を的確に特定することが可能となる。
【００１１】
また、上記の映像表示システムについて更に好適な構成を述べると、複数の前記被選択物が前記第二空間内において並べられた状態で置かれている場合、前記第二制御装置は、前記第一撮像装置が撮像した映像と、前記第一表示器に表示されている映像のうち、複数の前記被選択物が並べられている前記領域と、を合成した前記合成映像を前記第二表示器に表示させるとよい。
上記の構成によれば、比較的簡単な手順で合成映像を表示することが可能となる。具体的に説明すると、第二空間内において、複数の被選択物が並べられている箇所は、予め決められている。したがって、第一表示器に表示されている映像の中から上記の領域の映像を抽出することは、比較的容易であり、このため、当該領域の映像と選択者の映像とを合成した合成映像を比較的簡単な手順で表示することが可能となる。
【００１２】
また、上記の映像表示システムについてより一層好適な構成を述べると、前記第二制御装置は、複数の前記被選択物が並べられている前記領域の映像を左右反転させ、反転後の前記領域の映像と、前記第一撮像装置が撮像した映像と、を合成した前記合成映像を前記第二表示器に表示させるとよい。
上記の構成によれば、選択者の選択結果を的確に把握する上で合成映像を適切に表示することが可能となる。具体的に説明すると、並べられている複数の被選択物の順序は、選択者の視線から見る場合（換言すると、第一表示器を通じて見る場合）と、選択者の視線とは反対方向から見る場合（つまり、選択者と向かい合う位置から見る場合）と、で互いに反転する。したがって、第一表示器に表示された映像のうち、複数の被選択物が並んでいる領域の映像を選択者の正面像の映像と合成する際に当該領域の映像を反転すれば、上述した見え方の違いを反映して合成映像を適切に表示することが可能となる。
【００１３】
また、上記の映像表示システムについて一段と好適な構成を述べると、前記第二制御装置は、前記第一撮像装置が撮像した映像中、前記選択者の指先付近に前記領域の映像が配置されるように前記双方を合成した前記合成映像を前記第二表示器に表示させるとよい。
上記の構成では、選択者が選択した被選択物を含む領域の映像が選択者の映像中の指先付近に配置されるように合成してなる合成映像を表示する。かかる合成映像によれば、選択者の指先の位置等を手掛かりにして、選択者が選択した被選択物を的確に特定することが可能となる。
【００１４】
また、上記の映像表示システムについて益々好適な構成を述べると、前記選択者の身体各部の位置に関する値を計測するために前記第一空間内に設置された計測装置を更に有し、前記第一制御装置は、前記計測装置の計測結果を前記第二制御装置に向けて送信し、前記第二制御装置は、前記第一制御装置から受信した前記計測装置の計測結果に基づき、前記第一撮像装置が撮像した映像中、前記選択者の指先の位置を特定し、特定した前記選択者の指先付近に前記領域の映像が配置されるように前記双方を合成した前記合成映像を前記第二表示器に表示させるとよい。
上記の構成によれば、第一撮像装置が撮像した映像において選択者の指先の位置を正確に特定することが可能となる。この結果、選択者が選択した被選択物を選択者の指先の位置等を手掛かりにして正確に特定することが可能となる。
【００１５】
また、前述の課題は、本発明の映像表示方法によれば、第一空間内に居る選択者が、前記第一空間から離れた第二空間内に在る複数の被選択物の映像を見ながら行う選択動作において、いずれの前記被選択物が選択されたのかを特定するために用いられる映像表示方法であって、（Ａ）前記選択動作が行われている間に、前記第一空間内に設置された第一撮像装置が、前記選択者の正面像を撮像することと、（Ｂ）前記第二空間内に設置された第二撮像装置が、複数の前記被選択物を撮像することと、（Ｃ）第一制御装置が、前記選択動作が行われる際に前記第二撮像装置が撮像した映像を取得して当該映像を前記第一空間内に設置された第一表示器に表示させることと、（Ｄ）第二制御装置が、前記第一撮像装置が撮像した映像、及び、前記第一表示器に表示されている映像のうち、前記選択動作において選択された前記被選択物が少なくとも含まれている領域の映像の双方を取得し、当該双方を合成した合成映像を第二表示器に表示させることと、を有することにより解決される。
上記の方法によれば、選択者が遠隔地にある複数の被選択物の映像を見ながらいずれかの被選択物を選択した際に、その選択結果を的確に特定することが可能となる。
【発明の効果】
【００１６】
本発明の映像表示システム及び映像表示方法によれば、選択者が遠隔地にある複数の被選択物の映像を見ながらいずれかの被選択物を選択した際に、その選択結果を的確に特定することが可能となる。これにより、映像表示システムを通じて選択者と会話している者（以下、特定者）は、選択者が選択した被選択物を特定し、その被選択物を適切に取り扱うことが可能となる。
【図面の簡単な説明】
【００１７】
【図１】第一空間内の様子を示した図である。
【図２】第二空間内の様子を示した図である。
【図３】ミラー型の表示器を示した図である。
【図４】本発明の一実施形態に係る映像表示システムの構成を示すブロック図である。
【図５】深度データ及び骨格モデルの説明図である。
【図６】図６の（Ａ）は、カメラの撮像範囲を示す図であり、（Ｂ）は、カメラの撮像映像のうち、表示される部分映像に関する説明図である。
【図７】第一制御装置が実行する映像表示処理の流れを示す図である。
【図８】選択者の顔の位置の変化に連動して部分映像が切り替わる状況を示す図であり、（Ａ）が切り替わる前の映像を、（Ｂ）が切り替わった後の映像を示している。
【図９】第二制御装置が実行する映像表示処理の流れを示す図である。
【図１０】合成映像を作成する手順を示す図である。
【図１１】変形例に係る合成映像の説明図である。
【図１２】第二の変形例に係る合成映像を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態（以下、本実施形態）について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするための一例であり、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得る。また、当然ながら、本発明にはその等価物が含まれる。
【００１９】
＜＜本実施形態に係る映像表示システムの概要＞＞
先ず、本実施形態に係る映像表示システム（以下、本システムＳ）について、その概要を説明する。本システムＳは、第一空間内に居る選択者が、第一空間から離れた第二空間内に在る複数の被選択物の映像を見ながら行う選択動作において、いずれの被選択物が選択されたのかを特定するために用いられる。
【００２０】
より具体的に説明すると、本システムＳは、遠隔地に居る者同士の間で行われる商品の売買等の取引に用いられる情報通信システムである。すなわち、本システムＳを利用することで、第一の当事者は、自分が店舗内で取り扱っている商品を、当該店舗から離れた場所に居る第二の当事者に対して販売することが可能である。換言すると、本システムＳを利用することで、第二の当事者は、遠隔地である店舗内に置かれた複数の商品の中から購入希望品を選択し、当該商品を購入することが可能である。
【００２１】
ここで、第二の当事者は、「選択者」に相当し、第二の当事者が居る空間は、「第一空間」に相当し、第一の当事者が居る店舗は、「第二空間」に相当する。また、第一の当事者が店舗内で取り扱っている商品は、「被選択物」に相当する。
【００２２】
以下では、本システムＳを物販目的で利用するケース、すなわち、本システムＳを利用して第一の当事者である店員Ｐが第二の当事者である顧客Ｃに商品Ｇを販売するケースを例に挙げて説明する。また、以下の説明では、図１乃至３を適宜参照することとする。図１は、顧客Ｃが居る空間内の様子を示した図である。図２は、店員Ｐが居る空間（すなわち、店舗）内の様子を示した図である。図３は、顧客Ｃが商品Ｇを選ぶ際に見る表示器を示した図、厳密には映像が表示された状態にある表示器の正面図である。
【００２３】
本ケースにおいて、店員Ｐは、店舗（以下、実店舗Ｒ）にて商品Ｇを販売する。実店舗Ｒは、上述した「第二空間」に該当し、実店舗Ｒには複数の商品Ｇが並べられた状態で置かれている。具体的に説明すると、図２に示すように、実店舗Ｒに設置された台（テーブル上の台）の上に複数種の商品Ｇが陳列されている。一方で、顧客Ｃは、実店舗Ｒとは異なる場所に設定された仮店舗Ｑに出向き、当該仮店舗Ｑにて実店舗Ｒに在る複数の商品Ｇの映像を見ながら、いずれかの商品Ｇを購入する。ここで、仮店舗Ｑは、上述した「第一空間」に該当し、具体的には、顧客Ｃが住む地域の集会所、空き店舗、介護施設や医療施設等の施設、若しくは顧客Ｃの自宅等である。
【００２４】
より具体的に説明すると、図１に示すように、仮店舗Ｑにはミラー型の表示器１０が設置されている。この表示器１０には、実店舗Ｒの映像、厳密にはリアルタイムで撮像された映像（以下、リアルタイム映像）が表示される。このリアルタイム映像には、図３に示すように、実店舗Ｒにて陳列されている複数の商品Ｇが映っている。これにより、仮店舗Ｑに居る顧客Ｃは、図１に示すように、表示器１０に表示されたリアルタイム映像を見ることにより、実店舗Ｒで実際に売られている複数の商品Ｇを視認することができる。そして、顧客Ｃは、表示器１０に表示された映像を見ながら複数の商品Ｇの中から購入希望品を選択する動作、すなわち選択動作を行う。
【００２５】
一方、図２に示すように、実店舗Ｒにもミラー型の表示器１０が設置されている。この表示器１０には、仮店舗Ｑのリアルタイム映像として、仮店舗Ｑに居る顧客Ｃの映像（厳密には、正面像）が表示される。実店舗Ｒ内の店員Ｐは、本システムＳを通じて、表示器１０に映し出された顧客Ｃと対話し、各商品Ｇの説明をする等の接客行為を行う。また、仮店舗Ｑに居る顧客Ｃが上記の選択動作を行った場合、店員Ｐは、表示器１０に表示された映像を見ることで当該選択動作を認知し、さらに、表示器１０に表示された映像から顧客Ｃが選択した商品Ｇ（購入希望品）を特定する。
【００２６】
その後、店員Ｐと顧客Ｃが各自、所定の手続きを行うことで、顧客Ｃが選んだ商品Ｇについての売買取引が成立し、後日、当該商品Ｇ（厳密には、顧客Ｃが選んだ商品Ｇと同種の商品Ｇ）が顧客Ｃに引き渡されるようになる。
【００２７】
以上のように本システムＳを利用することで、顧客Ｃは、実店舗Ｒに行かなくとも、実店舗Ｒに居る時に感じる雰囲気を擬似的に感じることができ、その雰囲気の中で商品Ｇの購入を行うことが可能となる。一方、店員Ｐは、実店舗Ｒとは異なる場所に居る顧客Ｃに対して、実店舗Ｒ内で陳列されている商品Ｇを販売することが可能である。このようなメリットにより、例えば、経済的理由等により実際に店舗を設置することが難しいエリアや実店舗Ｒから離れた遠隔地でも営業（物販）を行うことが可能となる。また、仮店舗Ｑを出店するのに必要なスペースは、上述したミラー型の表示器１０を設置する程度のスペースで足りるため、出店コストを抑えることが可能となる。
【００２８】
なお、実店舗Ｒ及び仮店舗Ｑにそれぞれ設置されたミラー型の表示器１０は、人物の全身映像を等身大で表示するのに適した形状及びサイズとなっており、具体的には、一般的な姿見と略同じ形状・サイズとなっている。
【００２９】
＜＜本実施形態に係る取引支援システムの構成について＞＞
次に、本システムＳについて、その具体的構成を説明する。本システムＳは、実店舗Ｒ及び仮店舗Ｑの双方に用意された情報通信用のユニット（以下、通信ユニット）によって構成されている。具体的に説明すると、実店舗Ｒにおいて店員Ｐにより利用される通信ユニット（以下、店員側ユニット１００Ａ）と、仮店舗Ｑにおいて顧客Ｃにより利用される通信ユニット（以下、顧客側ユニット１００Ｂ）によって本システムＳが構成されている。以下では、店員側ユニット１００Ａ及び顧客側ユニット１００Ｂのそれぞれの構成について説明することとする。
【００３０】
店員側ユニット１００Ａ及び顧客側ユニット１００Ｂは、略同様のメカ構成となっており、具体的に説明すると、図４に示すように、いずれのユニットにもサーバコンピュータ１とカメラ２と深度センサ３とマイク４とスピーカ５と表示器１０とが搭載されている。図４は、本システムＳのメカ構成を示すブロック図である。
【００３１】
サーバコンピュータ１は、本システムＳの中枢をなす装置であり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、通信用インタフェース及びハードディスクドライブ等を有するコンピュータである。また、サーバコンピュータ１には、映像表示プログラムがインストールされている。このプログラムがＣＰＵに実行されることで、サーバコンピュータ１は、各種機能を発揮するようになる。
【００３２】
サーバコンピュータ１の機能のうちの一つについて説明すると、サーバコンピュータ１は、対応する表示器１０を制御し、映像を当該表示器１０に表示させる。つまり、本実施形態においてサーバコンピュータ１は、制御装置として機能する。より具体的に説明すると、顧客側ユニット１００Ｂが有するサーバコンピュータ１は、「第一制御装置」に該当し、仮店舗Ｑに設置された表示器１０を制御し、当該表示器１０に映像を表示させる。他方、店員側ユニット１００Ａが有するサーバコンピュータ１は、「第二制御装置」に該当し、実店舗Ｒに設置された表示器１０を制御し、当該表示器１０に映像を表示させる。なお、本実施形態において、「映像」は、動画であり、具体的には、連続した複数のフレーム画像の集合体によって構成されたものである。
【００３３】
また、サーバコンピュータ１同士は、ネットワーク６を介して通信可能な状態で接続されており、サーバコンピュータ１間でデータの送受信を行う。
【００３４】
カメラ２は、撮像範囲（画角）内にある被写体の映像を撮像する撮像装置であり、本ケースでは公知のネットワークカメラによって構成されている。カメラ２が撮像した映像、すなわち撮像映像は、データ化された上で相手側のサーバコンピュータ１に向けて送信される。
【００３５】
具体的に説明すると、顧客側ユニット１００Ｂが有するカメラ２は、「第一撮像装置」に該当し、仮店舗Ｑ内に設置されている。このカメラ２は、仮店舗Ｑの内部空間を撮像し、仮店舗Ｑ内の所定位置（具体的には、カメラ２の前方位置）に顧客Ｃが立っているときには顧客Ｃの全身像（厳密には、正面像）を撮像する。そして、顧客側ユニット１００Ｂのカメラ２が撮像した映像のデータは、店員側ユニット１００Ａのサーバコンピュータ１に向けて送信される。
【００３６】
他方、店員側ユニット１００Ａが有するカメラ２は、「第二撮像装置」に該当し、実店舗Ｒ内に設置されている。このカメラ２は、実店舗Ｒの内部空間、特に、複数の商品Ｇが並べられているスペース（具体的には、商品Ｇが載置された台）を撮像する。また、上記のカメラ２は、実店舗Ｒ内の所定位置（具体的には、カメラ２の前方位置）に店員Ｐが立っているときには店員Ｐの全身像（厳密には、正面像）を撮像する。そして、店員側ユニット１００Ａのカメラ２が撮像した映像のデータは、顧客側ユニット１００Ｂのサーバコンピュータ１に向けて送信される。
【００３７】
深度センサ３は、所謂デプスセンサであり、赤外線方式にて計測対象物の深度を計測する計測装置である。具体的に説明すると、深度センサ３は、計測対象物に向けて赤外線を照射し、その反射光を受光することにより深度を計測する。ここで、「深度」とは、計測対象物各部の位置に関する値（計測値）であり、具体的には、基準位置から計測対象物までの奥行距離のことである。ちなみに、本ケースでは、表示器１０の映像表示面（前面）の位置が基準位置として設定されている。ただし、これに限定されるものではなく、基準位置については任意の位置に設定することが可能である。
【００３８】
なお、本ケースでは深度の計測結果を、カメラ２の撮像映像を所定数の画素に分割した際の当該画素毎に得る。そして、画素毎に得た深度の計測結果を映像単位でまとめると、図５に図示の深度データが得られるようになる。この深度データは、カメラ２の撮像映像（厳密には、フレーム画像）について画素別に深度の計測結果を示すデータであり、特に本ケースでは、深度の計測結果に応じて各画素の色・濃淡を設定して得られるビットマップデータとなっている。図５は、深度データ及び後述の骨格モデルを説明するための概念図である。
【００３９】
本実施形態では、上記の深度センサ３が実店舗Ｒ及び仮店舗Ｑの双方に設置されており、それぞれの店舗で計測対象物の深度を計測する。特に、仮店舗Ｑに設置された深度センサ３は、仮店舗Ｑにおいて顧客Ｃが表示器１０の前に立つと、顧客Ｃの身体各部の深度を計測する。かかる計測が実施されることにより、最終的に、顧客Ｃの身体各部について深度の計測結果を示す深度データが得られるようになる。この深度データについて図５を参照しながら説明すると、背景映像に属する画素（図中、黒塗りの画素）と、顧客Ｃの人物映像に属する画素（図中、白塗りの画素）とでは明らかに深度の計測結果が異なっている。
【００４０】
そして、上記の深度データと、これに対応するカメラ２の撮像映像（厳密には、顧客Ｃの人物映像を含む映像）とを用いることで、顧客Ｃの骨格モデルが特定されるようになる。骨格モデルとは、図５に示すように、顧客Ｃの身体各部（具体的には頭部、肩、肘、手、脚、胸、腹、腰、膝、足首、足等）に関する位置情報を簡易的にモデル化したものである。この骨格モデルを特定することで、カメラ２の撮像映像中、顧客Ｃの身体各部の位置を特定することが可能となる。なお、本実施形態では、骨格モデルに基づいて顧客Ｃの身体中の末端部、具体的には指先の位置まで特定することが可能である。
【００４１】
ちなみに、深度データから骨格モデルを特定する方法としては、公知の方法（例えば、特開２０１４−１５５６９３号公報や特開２０１３−１１６３１１号公報に記載の方法）が適用可能である。
【００４２】
マイク４は、音声を集音する装置である。また、マイク４が集音した音声は、データ化された上で相手側のサーバコンピュータ１に向けて送信されることになっている。具体的に説明すると、顧客側ユニット１００Ｂが有するマイク４は、仮店舗Ｑ内で発生した音声、例えば顧客Ｃの声を集音する。集音された音声のデータは、店員側ユニット１００Ａのサーバコンピュータ１に向けて送信される。他方、店員側ユニット１００Ａが有するマイク４は、実店舗Ｒ内で発生した音声、例えば店員Ｐの声を集音する。集音された音声のデータは、顧客側ユニット１００Ｂのサーバコンピュータ１に向けて送信される。
【００４３】
スピーカ５は、サーバコンピュータ１が受信した音声データを展開することで再生される音声（再生音）を発する装置である。具体的に説明すると、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのサーバコンピュータ１から音声データを受信すると、当該音声データを展開し、実店舗Ｒにて集音された音声をスピーカ５によって再生させる。他方、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１から音声データを受信すると、当該音声データを展開し、仮店舗Ｑにて集音された音声をスピーカ５によって再生させる。
【００４４】
表示器１０は、サーバコンピュータ１により制御され、サーバコンピュータ１が受信した映像データを展開することで再生される映像を表示する装置である。また、本実施形態に係る表示器１０は、前述したように、ミラー型のディスプレイ（例えば、国際公開第２００９／１２２７１６号に記載された姿見兼用ディスプレイ）によって構成されている。
【００４５】
ここで、顧客側ユニット１００Ｂが有する表示器１０は、「第一表示器」に相当し、仮店舗Ｑ内に設置されている。この表示器１０には、店員側ユニット１００Ａのカメラ２が撮像した映像が表示される。具体的に説明すると、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのサーバコンピュータ１から映像データを受信すると、顧客側ユニット１００Ｂの表示器１０を制御し、受信した映像データが示す映像（すなわち、実店舗Ｒ内の映像）を表示器１０に表示させる。
【００４６】
他方、店員側ユニット１００Ａが有する表示器１０は、「第二表示器」に相当し、実店舗Ｒ内に設置されている。この表示器１０には、顧客側ユニット１００Ｂのカメラ２が撮像した映像が表示される。具体的に説明すると、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１から映像データを受信すると、店員側ユニット１００Ａの表示器１０を制御し、受信した映像データが示す映像（すなわち、仮店舗Ｑ内の映像）を表示器１０に表示させる。
【００４７】
ところで、実店舗Ｒ内に設置された表示器１０、及び仮店舗Ｑ内に設置された表示器１０は、いずれも十分な高さを有する。このため、実店舗Ｒ内でカメラ２が店員Ｐを撮像した場合、仮店舗Ｑに設置された表示器１０に、店員Ｐの全身映像を等身大サイズにて表示することが可能である。同様に、仮店舗Ｑ内でカメラ２が顧客Ｃを撮像した場合、実店舗Ｒに設置された表示器１０に、顧客Ｃの全身映像を等身大サイズにて表示することが可能である。
【００４８】
一方、仮店舗Ｑ内に設置された表示器１０は、設置スペース削減等の理由から幾分幅狭な構造となっている。このため、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのカメラ２が撮像した映像のうち、仮店舗Ｑ内の表示器１０に表示可能なサイズの部分映像のみを当該表示器１０に表示させることになっている。かかる内容について図６の（Ａ）及び（Ｂ）を参照しながら詳しく説明する。図６の（Ａ）は、実店舗Ｒ内に設置されたカメラ２の撮像範囲を示す図である。図６の（Ｂ）は、当該カメラ２の撮像映像のうち、仮店舗Ｑ内に設置された表示器１０に表示される部分映像に関する説明図である。
【００４９】
実店舗Ｒ内に設置されたカメラ２は、図６の（Ａ）に示すように、実店舗Ｒの内部空間のうち、その画角内に位置する領域（図中、ハッチングが施された領域）の映像を撮像する。このときの撮像範囲には、実店舗Ｒにおいて複数の商品Ｇが陳列されているスペースが含まれている。
【００５０】
一方、仮店舗Ｑに設置された表示器１０に表示可能な映像のサイズについて述べると、その高さ（上下長さ）は、図６の（Ｂ）に示すように、カメラ２の撮像映像の高さと略同じである。その一方で、表示器１０に表示可能な映像の横幅は、同図に示すように、カメラ２の撮像映像の全幅に対して幾分短くなっている。このため、顧客側ユニット１００Ｂのサーバコンピュータ１は、カメラ２の撮像映像の全幅よりも幾分短くなった部分映像を、表示器１０に表示させることになる。
【００５１】
以上のように本ケースでは、実店舗Ｒ内に設置されたカメラ２が撮像した映像を仮店舗Ｑ内の表示器１０に表示させる際、当該映像の全体を一度に表示させることができない。より具体的に説明すると、実店舗Ｒ内に陳列された複数の商品Ｇを仮店舗Ｑ内の表示器１０に表示させる際、陳列されている全ての商品Ｇを一度に表示させることができない。
【００５２】
このような状況に対して、本ケースでは、仮店舗Ｑ内の表示器１０に表示させる部分映像を、当該表示器１０の前に立っている顧客Ｃの顔の位置に応じて切り替えることとしている。かかる内容を含め、以下、顧客側ユニット１００Ｂのサーバコンピュータ１が表示器１０に部分映像を表示させる映像表示処理について、既出の図６の（Ａ）及び（Ｂ）とともに図７、図８の（Ａ）及び（Ｂ）を参照しながら説明する。図７は、顧客側ユニット１００Ｂのサーバコンピュータ１が実行する映像表示処理の流れを示す図である。図８の（Ａ）及び（Ｂ）は、顧客Ｃの顔の位置が変化することに連動して部分映像が切り替わる状況を示す図であり、（Ａ）が切り替わる前の部分映像を、（Ｂ）が切り替わった後の部分映像をそれぞれ示している。また、図８の（Ａ）及び（Ｂ）には、それぞれ顧客Ｃの顔の位置を破線にて示している。なお、図８の（Ａ）及び（Ｂ）に図示された映像は、店員Ｐの映像が映っていない映像となっているが、当然ながら店員Ｐが映った映像であってもよい。
【００５３】
ちなみに、以下の説明では、表示器１０を正面視している顧客Ｃから見て右向きを「第一向き」と呼び、左向きを「第二向き」と呼ぶこととする。なお、これらの２つの向きとカメラ２の撮像映像との対応関係については、図６の（Ｂ）に図示した通りである。
【００５４】
顧客側ユニット１００Ｂのサーバコンピュータ１は、図７に図示の流れに沿って映像表示処理を実施する。具体的に説明すると、顧客側ユニット１００Ｂのサーバコンピュータ１は、通常、店員側ユニット１００Ａのサーバコンピュータ１から送られてくる映像（すなわち、実店舗Ｒの撮像映像）のうち、予め決められた範囲の映像であるデフォルトの部分映像を表示器１０に表示させる（Ｓ００１）。
【００５５】
また、顧客側ユニット１００Ｂのサーバコンピュータ１は、表示器１０の前方に顧客Ｃが立っているとき、深度センサ３の計測結果から深度データを取得する。さらに、顧客側ユニット１００Ｂのサーバコンピュータ１は、取得した深度データから顧客Ｃの骨格モデルを特定した上で、当該骨格モデルから顧客Ｃの顔の位置を検出する。このように顧客側ユニット１００Ｂのサーバコンピュータ１は、顧客側ユニット１００Ｂの深度センサ３と協働して、顧客Ｃの顔の位置を検出する検出部を構成する。
【００５６】
一方、表示器１０の前方に立っている顧客Ｃが顔を横方向（左右方向）に動かすと、顧客側ユニット１００Ｂのサーバコンピュータ１は、その前後で骨格モデルを特定し、移動前後の顔の位置をそれぞれ検出する。そして、顧客側ユニット１００Ｂのサーバコンピュータ１は、それぞれの検出結果から顧客Ｃの顔の位置変化を検知すると（Ｓ００２）、顔の位置が変化した際の向き及びその変位量を特定する（Ｓ００３）。ここで、変位量とは、顧客Ｃの顔の位置に関する検出結果の変化量（分かり易くは、顔の移動距離）のことである。なお、顔の位置が変化した際の向き及び変位量は、移動前後の骨格モデルを対比することで特定される。
【００５７】
その後、顧客側ユニット１００Ｂのサーバコンピュータ１は、特定した変化の向き及び変位量に応じて、表示器１０に表示させる部分映像を切り替える（Ｓ００４）。具体的に説明すると、顧客Ｃの顔の位置が第一向きに変位した場合、顧客側ユニット１００Ｂのサーバコンピュータ１は、変化前に表示されていた部分映像を前ステップＳ００３で特定した変位量の分だけ第二向きに変位させた部分映像を、表示器１０に表示させる（Ｓ００５）。反対に、顧客Ｃの顔の位置が第二向きに変位した場合、顧客側ユニット１００Ｂのサーバコンピュータ１は、変化前に表示されていた部分映像を前ステップＳ００３で特定した変位量の分だけずれた第一向きに変位させた部分映像を、表示器１０に表示させる（Ｓ００６）。
【００５８】
以上により、顧客Ｃは、表示器１０に表示されている映像（部分映像）を見ているときに顔を横移動させることで、移動後の顔の位置に応じた部分映像を見ることが可能となる。これにより、比較的幅狭な表示器１０であっても、店員側ユニット１００Ａのカメラ２が撮像した映像の全範囲を見回すこと（すなわち、覗き込み）が可能となる。この結果、図８の（Ａ）及び（Ｂ）に示すように、実店舗Ｒにて陳列されている複数の商品Ｇうち、顧客Ｃの顔の位置が変化する前の段階では表示されていなかった商品Ｇの映像は、顧客Ｃが顔の位置を変化させることで視認可能となる。
【００５９】
そして、表示器１０の前で顧客Ｃが顔を動かすと、その都度、顧客側ユニット１００Ｂのサーバコンピュータ１が上述した映像切り替えに係る一連の工程（厳密にはステップＳ００２〜ステップＳ００６）を繰り返し実施する。
【００６０】
なお、上述のケースでは、表示器１０の前方に立っている顧客Ｃの顔の位置を検出し、その検出結果が変化した場合に部分映像の切り替えがなされることとした。ただし、検出対象については、顧客Ｃの顔の位置に限定されるものではなく、顔の位置以外の内容、例えば、顧客Ｃの位置（立ち位置）、顔の向き及び視線を検出対象とし、これらのうち、少なくとも一つが変化した際に部分映像の切り替えがなされることとしてもよい。
【００６１】
以上のように、顧客側ユニット１００Ｂのサーバコンピュータ１は、映像表示処理において、顧客Ｃの顔位置の変化に連動させる形で仮店舗Ｑ内の表示器１０に表示させる映像（部分映像）を切り替える。一方で、表示器１０に表示させる映像が切り替わった場合、切り替わった後の映像については、店員Ｐ側でも把握しておく必要がある。なぜならば、顧客Ｃが切り替わった後の映像を見ながら選択動作を行った際、当該映像を把握していないと、どの商品Ｇが選択されたのかを的確に特定することができない。
【００６２】
また、切り替わった後の映像を把握し得たとしても、当該映像中、顧客Ｃが指定している箇所（すなわち、購入希望品として選択された商品Ｇの位置）が特定できなければ、顧客Ｃの選択結果を的確に特定することができない。
【００６３】
以上のような状況に対して、本ケースでは、仮店舗Ｑ内でカメラ２が撮影した顧客Ｃの映像を実店舗Ｒ内の表示器１０に表示させる際に、顧客Ｃが見ている映像（すなわち、仮店舗Ｑ内の表示器１０に表示されている部分映像）のうち、商品Ｇを含む領域の映像を併せて表示させることとしている。また、仮店舗Ｑ内の表示器１０に表示されている部分映像が切り替わったときには、実店舗Ｒ内の表示器１０に表示される上記領域の映像についても同様に切り替わるようになっている。
【００６４】
以下、上述の内容を含め、店員側ユニット１００Ａのサーバコンピュータ１が実行する映像表示処理について、図９及び図１０を参照しながら説明する。図９は、店員側ユニット１００Ａのサーバコンピュータ１が実行する映像表示処理の流れを示す図である。図１０は、合成映像を作成する手順を示す図である。
【００６５】
店員側ユニット１００Ａのサーバコンピュータ１は、図９に図示の流れに従って映像表示処理を実施する。具体的に説明すると、店員側ユニット１００Ａのサーバコンピュータ１は、通常、顧客側ユニット１００Ｂのサーバコンピュータ１から送られてくる映像（すなわち、仮店舗Ｑに居る顧客Ｃの映像）を受信し、受信した映像を表示器１０に表示させる（Ｓ０１１）。
【００６６】
一方、仮店舗Ｑにおいて顧客Ｃが表示器１０の表示映像を見ながら選択動作を行うと、これに連動する形で、店員側ユニット１００Ａのサーバコンピュータ１が後述する合成映像を表示器１０に表示させるようになる。
【００６７】
より詳しく説明すると、顧客側ユニット１００Ｂのサーバコンピュータ１は、仮店舗Ｑにおいて顧客Ｃが選択動作を行っている際、取得した深度データから顧客Ｃの骨格モデルを特定した上で、当該骨格モデルから指先の位置（具体的には、手全体に対する指先の相対位置）を特定する。その特定結果に基づき、顧客側ユニット１００Ｂのサーバコンピュータ１は、顧客Ｃの指先が所定状態（具体的には、表示器１０の表示画面中の一箇所に向けている状態）に在るかどうかを判定する。指先の位置が上記の状態に在ると判定したとき、顧客側ユニット１００Ｂのサーバコンピュータ１は、選択動作が行われていることを示すデータ（以下、選択動作実施通知情報）を生成し、当該データを店員側ユニット１００Ａのサーバコンピュータ１に通知する。
【００６８】
店員側ユニット１００Ａのサーバコンピュータ１は、選択動作実施通知情報を取得すると、仮店舗Ｑにおいて選択動作が行われていると判断する。店員側ユニット１００Ａのサーバコンピュータ１は、上記の判断結果をトリガーとして、実店舗Ｒ内の表示器１０に表示させる映像として合成映像を作成する。ここで、「合成映像」とは、顧客側ユニット１００Ｂのカメラ２が撮像した顧客Ｃの映像と、仮店舗Ｑ内の表示器１０に表示されている映像のうち、選択動作において選択された商品Ｇが含まれている領域の映像と、を合成した映像である。
【００６９】
合成映像を作成するに際して、店員側ユニット１００Ａのサーバコンピュータ１は、先ず、選択動作が行われている間に仮店舗Ｑ内の表示器１０に表示されている映像（部分映像）を特定する（Ｓ０１３）。より具体的に説明すると、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１から選択動作実施通知情報を取得するときに表示範囲特定情報を併せて取得する。この表示範囲特定情報は、店員側ユニット１００Ａのカメラ２が撮像した映像のうち、どの範囲の部分映像が現時点で仮店舗Ｑ内の表示器１０に表示されているのかを示す情報であり、店員側ユニット１００Ａのサーバコンピュータ１によって選択動作実施通知情報と併せて通知される。
【００７０】
以上のように、顧客側ユニット１００Ｂのサーバコンピュータ１は、店員側ユニット１００Ａのカメラ２が撮像した映像のうち、選択動作の実施中に仮店舗Ｑ内の表示器１０に表示されている部分映像を店員側ユニット１００Ａのサーバコンピュータ１に通知する。これにより、選択動作の実施中に顧客Ｃが見ている映像の内容を店員側ユニット１００Ａ側でも把握することが可能となる。
【００７１】
また、仮店舗Ｑ内の表示器１０の前で顧客Ｃが顔を動かした場合、顧客側ユニット１００Ｂのサーバコンピュータ１は、上述したように、上記表示器１０に表示される部分映像を変位させる。この際、顧客側ユニット１００Ｂのサーバコンピュータ１は、変位後の部分映像が店員側ユニット１００Ａのサーバコンピュータ１に通知する。つまり、図７に示すように、仮店舗Ｑ内の表示器１０に表示されている部分映像が変位したとき、顧客側ユニット１００Ｂのサーバコンピュータ１は、変位後の部分映像を示す表示範囲特定情報を店員側ユニット１００Ａのサーバコンピュータ１に通知する（Ｓ００７）。これにより、仮店舗Ｑ内の表示器１０に表示されている部分映像が変位したとき、変位後の部分映像を店員側ユニット１００Ａ側でも把握することが可能となる。
【００７２】
さらに、店員側ユニット１００Ａのサーバコンピュータ１は、通知された部分映像（すなわち、選択動作の実施中に仮店舗Ｑ内の表示器１０に表示されている部分映像）の中から指定領域の映像を抽出する（Ｓ０１４）。「指定領域の映像」とは、上記部分映像のうち、顧客Ｃが選択動作において選択した商品Ｇが少なくとも含まれている領域の映像である。より詳しく説明すると、本実施形態において、上記部分映像中、複数の商品Ｇが陳列されている領域の映像が指定領域の映像に該当する。
【００７３】
指定領域の映像を抽出する方法について図１０を参照しながら説明すると、部分映像において、複数の商品Ｇが陳列されている領域は、予め決まっている。厳密に説明すると、当該領域の上端位置と下端位置のそれぞれについて、部分映像に対する相対位置（図１０中、破線にて示す位置）が予め決まっている。そこで、本実施形態では、部分映像中、上述した上端位置と下端位置との間に在り、かつ、部分映像の左端から右端に亘った領域の映像を指定領域の映像としている。
【００７４】
そして、店員側ユニット１００Ａのサーバコンピュータ１は、仮店舗Ｑ内の表示器１０に表示されている部分映像のうち、上述した位置にある領域の映像を指定領域の映像として抽出する。以上のような手順により、店員側ユニット１００Ａのサーバコンピュータ１は、指定領域の映像を取得する。
【００７５】
なお、指定領域の抽出方法については上述の方法に限定されるものではない。例えば、顧客Ｃが選択動作を行っているときの指先の位置に応じて指定領域の映像を抽出してもよい。かかる方法について詳しく説明すると、選択動作が行われている間、顧客側ユニット１００Ｂのサーバコンピュータ１が顧客Ｃの指先の位置を示す情報（以下、指先位置情報）を生成し、選択動作実施通知情報及び表示範囲特定情報と共に店員側ユニット１００Ａのサーバコンピュータ１に通知する。指先位置情報を取得した店員側ユニット１００Ａのサーバコンピュータ１は、指先位置情報が示す指先の位置に基づき、部分映像中の指定領域、すなわち、複数の商品Ｇが陳列されている領域の映像を抽出する。このような方法で指定領域を抽出すれば、選択動作を行っている顧客Ｃの指先位置に基づいて複数の商品が陳列されている領域の映像を的確に抽出することが可能となる。
【００７６】
次に、店員側ユニット１００Ａのサーバコンピュータ１は、抽出した指定領域の映像を左右反転する映像処理を実行する（Ｓ０１５）。このように抽出した指定領域の映像を左右反転させるのは、後に当該映像を実店舗Ｒ内の表示器１０に表示させる際に店員Ｐの目線に合わせて表示するためである。分かり易く説明すると、店員Ｐが実店舗Ｒにおいて複数の商品Ｇを実際に見ているときの当該商品Ｇの並び順と、仮店舗Ｑ内の表示器１０に表示された映像での並び順とは、互いに左右反転した位置関係にある。このため、図１０に示すように、抽出した指定領域の映像を顧客Ｃの正面像の映像と合成する際に当該映像を反転すれば、合成映像を実店舗Ｒ内の表示器１０に表示するときに上記の位置関係を反映して適切に表示することが可能となる。
【００７７】
一方で、店員側ユニット１００Ａのサーバコンピュータ１は、通常時と同様、実店舗Ｒ内のカメラ２が撮像した映像を顧客側ユニット１００Ｂのサーバコンピュータ１から受信する。これにより、店員側ユニット１００Ａのサーバコンピュータ１は、実店舗Ｒ内のカメラ２が撮像した映像（すなわち、顧客Ｃの正面像を含む映像）を取得する。
【００７８】
また、店員側ユニット１００Ａのサーバコンピュータ１は、実店舗Ｒ内のカメラ２が撮像した映像中、顧客Ｃの指先（厳密には、選択動作において購入希望品を指している指先）が映っている位置を特定する（Ｓ０１６）。具体的に説明すると、店員側ユニット１００Ａのサーバコンピュータ１は、顧客側ユニット１００Ｂのサーバコンピュータ１から指先位置情報を取得する。この指先位置情報は、顧客Ｃが選択動作を行っている時に顧客側ユニット１００Ｂのサーバコンピュータ１が顧客Ｃの骨格モデルから顧客Ｃの指先位置を特定した際の特定結果を示す情報である。そして、店員側ユニット１００Ａのサーバコンピュータ１は、取得した指先位置情報から、実店舗Ｒ内のカメラ２が撮像した映像中における顧客Ｃの指先位置を特定する。
【００７９】
なお、指先位置の特定方法については上記の方法に限定されるものではない。実店舗Ｒ内のカメラ２が撮像した映像に対して店員側ユニット１００Ａのサーバコンピュータ１が映像解析処理を実行し、当該処理において顧客Ｃの指先位置の座標を特定してもよい。
【００８０】
指先位置の特定後、店員側ユニット１００Ａのサーバコンピュータ１は、実店舗Ｒ内のカメラ２が撮像した映像と、ステップＳ０１４で抽出した指定領域の映像と、を合成し、合成映像を作成する（Ｓ０１７）。映像合成の手順について図１０を参照しながら説明すると、店員側ユニット１００Ａのサーバコンピュータ１は、実店舗Ｒ内のカメラ２が撮像した映像と、ステップＳ０１５で左右反転させた後の指定領域の映像と、を合成する。また、このとき、店員側ユニット１００Ａのサーバコンピュータ１は、ステップＳ０１６で特定した顧客Ｃの指先付近に指定領域の映像（厳密には、左右反転後の指定領域の映像）が配置されるように映像同士を合成する。
【００８１】
そして、映像合成後、店員側ユニット１００Ａのサーバコンピュータ１は、上記の手順にて得た合成映像を実店舗Ｒ内の表示器１０に表示させる（Ｓ０１８）。これにより、実店舗Ｒ内の表示器１０には図１０に図示した合成映像、すなわち、顧客Ｃの正面像と顧客Ｃの指先付近に並べられた複数の商品Ｇ（厳密には、顧客Ｃが現時点で見ている商品Ｇ）とを同時表示した映像が表示されるようになる。これにより、店員Ｐは、実店舗Ｒ内の表示器１０に表示された合成映像を見ることで、顧客Ｃが選択動作において選択した商品Ｇ（すなわち、購入希望品）を的確に特定することが可能となる。
【００８２】
より具体的に説明すると、仮店舗Ｑにおいて表示器１０の前に立っている顧客Ｃが覗き込み動作のために顔を動かした場合、その顔の動きに連動する形で、仮店舗Ｑ内の表示器１０に表示されている映像（部分映像）が変化する。このような構成の下では、実店舗Ｒ内の表示器１０に顧客Ｃの映像（つまり、顧客側ユニット１００Ｂのカメラ２が撮像した映像）のみを表示させるだけでは、顧客Ｃの選択結果を特定するのが難しくなる。
【００８３】
これに対して、本実施形態では、実店舗Ｒ内の表示器１０に上記の合成映像を表示させることとしている。この合成映像中、指定領域の映像は、顧客Ｃが見ている映像（つまり、仮店舗Ｑ内の表示器１０に表示されている映像）の変化に合わせて同じように変化する。このため、顧客Ｃの顔の位置の変化に応じて顧客Ｃが見る映像が変わったとしても、実店舗Ｒ内の表示器１０には顧客Ｃが選択した商品Ｇが適切に表示されるようになる。この結果、顧客Ｃが選択した商品Ｇを的確に特定することが可能となる。
【００８４】
また、本実施形態において、店員側ユニット１００Ａのサーバコンピュータ１は、前述したように、合成映像を作成するにあたって顧客Ｃの指先位置を特定し、特定した指先付近に指定領域の映像が配置されるように映像合成を行う。これにより、店員Ｐは、実店舗Ｒ内の表示器１０に表示されている合成映像を見ることにより、当該合成映像中に映っている顧客Ｃの指先位置等を手掛かりにして顧客Ｃの購入希望品を正確に特定することが可能となる。
【００８５】
なお、合成映像は、顧客Ｃが行った選択動作を店員側ユニット１００Ａのサーバコンピュータ１が認識してから所定時間が経過するまで継続表示される（Ｓ０１９）。そして、所定時間が経過すると、実店舗Ｒに表示されている映像が上記の合成映像から元の映像、すなわち、顧客側ユニット１００Ｂのカメラ２が撮像した映像のみからなる単独映像へ戻るようになる（Ｓ０１１）。
【００８６】
以上までに説明した各ステップは、顧客Ｃが選択動作を行う度に繰り返し実行される。これにより、一人の顧客Ｃが複数の購入希望品のそれぞれに対して選択動作を行う都度、あるいは、複数の顧客Ｃのそれぞれが選択動作を行う都度、店員側ユニット１００Ａのサーバコンピュータ１が上記の合成映像を実店舗Ｒ内の表示器１０に表示させる。これにより、店員Ｐは、各選択動作において選択された商品Ｇ（購入希望品）を的確に特定することが可能となる。
【００８７】
＜＜その他の実施形態＞＞
上記の実施形態では、本発明の映像表示システムについて一例を挙げて説明した。また、上記の説明の中には、本発明の映像表示方法に関する説明が含まれている。すなわち、本システムＳにおいて、店員側ユニット１００Ａ及び顧客側ユニット１００Ｂのそれぞれのサーバコンピュータ１が上述のデータ処理を実行することで本発明の映像表示方法が実現される。換言すると、サーバコンピュータ１が実行する映像表示処理（特に、店員側ユニット１００Ａのサーバコンピュータ１が実行する映像表示処理）において本発明の映像表示方法が利用されている。つまり、上記の映像表示処理を構成する各ステップ（具体的には、Ｓ０１１〜Ｓ０１９）は、本発明の映像表示方法を構成する要素工程に相当することになる。
【００８８】
ところで、上記の実施形態は、本発明の映像表示システム及び映像表示方法の一例に過ぎず、他の例も考えられる。例えば、上記の実施形態では、顧客Ｃが選択動作を行って当該選択動作を店員側ユニット１００Ａのサーバコンピュータ１が認識すると、顧客Ｃの映像と指定領域の映像とを合成して合成映像を作成し、当該合成映像を所定時間だけ実店舗Ｒ内の表示器１０に表示させることとした。つまり、上記の実施形態では、選択動作が行われてから一定期間に限って合成映像を表示することとしたが、これに限定されるものではない。選択動作の有無にかかわらず、上記の合成映像が実店舗Ｒ内の表示器１０に常に表示されることとしてもよい。
【００８９】
また、上記の実施形態では、選択動作が行われている時に仮店舗Ｑ内の表示器１０に表示されている映像（部分映像）から、複数の商品Ｇが陳列されている指定領域の映像を抽出し、かかる映像を合成映像の素材として用いることとした。ここで、指定領域として抽出される範囲について説明すると、図１０に示すように、上下方向においては部分映像中の一部の範囲となっているが、左右方向においては部分映像の左端から右端まで亘った全範囲となっている。ただし、これに限定されるものではなく、図１１に示すように、指定領域として抽出される範囲が、上下方向及び左右方向の両方向において一部の範囲となっていてもよい。図１１は、変形例に係る合成映像についての説明図であり、図１０に対応した図である。
【００９０】
変形例に係る合成映像について図１１を参照しながら説明すると、同図に示すケースでは、顧客Ｃが購入希望品として選択した一の商品Ｇのみを取り囲む領域の映像が、指定領域として抽出されることになっている。このような構成であれば、複数陳列された商品Ｇのうち、顧客Ｃが選択した商品Ｇのみを合成映像中に表示させることになり、店員Ｐは、より容易且つより正確に選択結果を特定することが可能となる。その反面、上記のように指定領域を抽出する際には、顧客Ｃによって選択された一の商品Ｇのみを取り囲む範囲を特定しなければならず、そのためのデータ処理を別途実行する必要がある。かかる処理の負担を考慮すると、上記の実施形態（すなわち、部分映像中、予め決められた範囲を指定領域とするケース）の方が望ましいと考えられる。
【００９１】
また、上記の実施形態では、複数の商品Ｇが横方向に並べられていることとし、このために、指定領域の映像として抽出される映像についても横長な（左右方向に長い）映像となる。ただし、これに限定されるものではなく、図１２に示すように、複数の商品Ｇが縦方向に並べられており、指定領域の映像としても縦長（上下方向に長い）映像を抽出することとしてもよい。図１２は、第二の変形例に係る合成映像を示す図である。
【００９２】
また、上記の実施形態では、本システムＳを物販目的で利用するケースを例に挙げて説明した。ただし、本システムＳの用途は、物販目的に限定されるものではなく、物が介在する（取り扱われる）取引全般において利用可能である。また、物が介在する限りにおいては、取引以外のケース、例えばシステム利用者同士が対話する場面や、一方の者が他方の者に指導等をする場面でも本システムＳは利用可能である。
【００９３】
また、上記の実施形態では、店員Ｐと顧客Ｃが互いのリアルタイム映像を見ながら対話を行うために本システムＳを利用するケースを例に挙げて説明した。ただし、本システムＳについては、顧客Ｃに対して複数の商品Ｇの映像を見せる一方で、選択動作を行なっている状態の顧客Ｃの映像を遠隔地に居る者に対して表示するものであればよい。例えば、実店舗Ｒに代わる空間、例えば商品Ｇの配送会社に不図示の端末が設置されており、そのモニタに顧客Ｃの映像と顧客Ｃが選択した商品Ｇの映像とを合成した合成映像が表示されているとする。その一方で、顧客Ｃが仮店舗Ｑにおいて見る映像（すなわち、仮店舗Ｑ内に設置された表示器１０に表示される映像）には、人（具体的には、配送会社の従業員）が表示されていない。このように対話を前提としない商品Ｇの購入パターンに本システムＳが利用されてもよい。なお、上記のケースにおいて、商品Ｇの配送会社に設置された端末は、第二制御装置に相当し、当該端末のモニタは、第二表示器に相当する。
【符号の説明】
【００９４】
１  サーバコンピュータ（第一制御装置、第二制御装置）
２  カメラ（第一撮像装置、第二撮像装置）
３  深度センサ（計測装置）
４  マイク
５  スピーカ
１０  表示器（第一表示器、第二表示器）
１００Ａ  店員側ユニット
１００Ｂ  顧客側ユニット
Ｃ  顧客、Ｇ  商品、Ｐ  店員
Ｑ  仮店舗、Ｒ  実店舗
Ｓ  本システム（映像表示システム）
【図１】
2017055357.tif 000003
【図２】
2017055357.tif 000004
【図３】
2017055357.tif 000005
【図４】
2017055357.tif 000006
【図５】
2017055357.tif 000007
【図６】
2017055357.tif 000008
【図７】
2017055357.tif 000009
【図８】
2017055357.tif 000010
【図９】
2017055357.tif 000011
【図１０】
2017055357.tif 000012
【図１１】
2017055357.tif 000013
【図１２】
2017055357.tif 000014