(57)【要約】【課題】商品の購入手続きや忘備録のための「いいね」などの商品への操作が可能なコンピュータプログラム等の提供をすること。【解決手段】コンピュータプログラムは、仮想空間内に、実空間に配置した実オブジェクトに対応する仮想オブジェクトを配置し、前記実空間におけるユーザの状態に基づき前記仮想空間内での仮想オブジェクトの見え方を示す部分画像を生成し、生成した部分画像を前記実空間と重畳した状態で、視認可能に表示する処理をコンピュータに行わせる。【選択図】図１７
2019079439.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間内に、実空間に配置した実オブジェクトに対応する仮想オブジェクトを配置し、
前記実空間におけるユーザの状態に基づき前記仮想空間内での仮想オブジェクトの見え方を示す部分画像を生成し、
生成した部分画像を前記実空間と重畳した状態で、視認可能に表示する
処理をコンピュータに行わせるコンピュータプログラム。
【請求項２】
前記実空間のデータ、前記実オブジェクトのデータ、及び前記実オブジェクトの配置データを共通データベースから取得し、
取得した前記実空間のデータにおける座標系を前記仮想空間における座標系に変換し、
変換した座標系に基づいて、前記仮想空間を生成する
請求項１に記載のコンピュータプログラム。
【請求項３】
前記部分画像における前記実オブジェクトに対応する画像は、前記ユーザと前記実オブジェクトの距離により、表示又は非表示を切り替える
請求項１又は請求項２に記載のコンピュータプログラム。
【請求項４】
前記仮想オブジェクトは、前記実オブジェクトに関する所定の情報処理を行わせるための操作アイコンを含む
請求項１から請求項３のいずれか１項に記載のコンピュータプログラム。
【請求項５】
前記操作アイコンが選択された場合、前記実オブジェクトに関する数値の更新情報を出力し、
選択されたことを示す動画表示を行う
請求項４に記載のコンピュータプログラム。
【請求項６】
前記実オブジェクトに関する数値の更新情報を受信した場合、前記数値が更新したことを示す動画表示を行う
請求項１から請求項５のいずれか１項に記載のコンピュータプログラム。
【請求項７】
前記実オブジェクトは販売商品を含み、前記仮想オブジェクトは、前記販売商品に対する好感度を示す、いいねアイコンである
請求項１から請求項６のいずれか１項に記載のコンピュータプログラム。
【請求項８】
前記実オブジェクトは販売商品を含み、前記仮想オブジェクトは、前記販売商品の購入意思を示すカートインアイコンである
請求項１から請求項６のいずれか１項に記載のコンピュータプログラム。
【請求項９】
前記カートインアイコン又はいいねアイコンが選択された場合、前記販売商品のＩＤとユーザＩＤとを出力する
請求項７又は請求項８に記載のコンピュータプログラム。
【請求項１０】
前記実オブジェクトは販売商品を含み、前記仮想オブジェクトは、前記販売商品の色違いを含むバリエーション商品である
請求項１から請求項６のいずれか１項に記載のコンピュータプログラム。
【請求項１１】
前記実オブジェクトは販売商品を含み、前記仮想オブジェクトは、前記販売商品の利用シーンを表示する表示装置である
請求項１から請求項６のいずれか１項に記載のコンピュータプログラム。
【請求項１２】
前記実オブジェクトは販売商品を含み、前記実空間には複数の前記販売商品が配置されており、
複数の販売商品の中で、同時に購入される確率の高い２つの前記販売商品の組み合わせ情報を受信し、
受信した組み合わせ情報に基づき、前記２つの販売商品を同士の関係を示す前記仮想オブジェクトを生成する
請求項１から請求項１１のいずれか１項に記載のコンピュータプログラム。
【請求項１３】
前記実オブジェクトは販売商品を含み、前記実空間には複数の前記販売商品が配置されており、
前記実オブジェクトに関する数値は、各販売商品の売上数又はいいね数であり、
前記数値に基づいて、前記複数の販売商品の順位付けを行い、
順位付けの結果を前記仮想オブジェクトとして表示する
請求項６に記載のコンピュータプログラム。
【請求項１４】
前記実空間の原点に設置され、原点及び座標軸の方向を示すマーカを検知し、
検知したマーカの前記仮想空間における座標系における座標値及びマーカの向きにより、前記実空間の空間データにおける座標系を前記仮想空間における座標系に変換する
請求項２に記載のコンピュータプログラム。
【請求項１５】
実空間データ、該実空間に存在する実オブジェクトのデータ、及び該実オブジェクトの配置データを取得し、
前記実空間に設定された原点の表示端末における座標値を取得し、
取得した座標値に基づいて、前記実空間データにおける座標系を変換し、
前記実空間データ、前記実オブジェクトのデータ、及び前記配置データ、並びに変換した座標系に基づいて、仮想空間を生成し、
前記仮想空間内に、前記実オブジェクトに対応する仮想オブジェクトを配置し、
前記実空間におけるユーザの状態を取得し、
取得したユーザの状態に基づき前記仮想空間内での仮想オブジェクトの見え方を示す部分画像を生成し、
生成した部分画像を前記実空間と重畳した状態で、視認可能に前記表示端末で表示されるべく出力する
処理をコンピュータに行わせるコンピュータプログラム。
【請求項１６】
前記仮想オブジェクトは、前記実オブジェクトに関する所定の情報処理を行わせるための操作アイコンを含む
請求項１０に記載のコンピュータプログラム。
【請求項１７】
前記操作アイコンが選択され、前記実オブジェクトに関する数値の更新情報を取得した場合、前記更新情報を出力した表示端末以外の表示端末に対して、更新した数値を出力する
請求項１６に記載のコンピュータプログラム。
【請求項１８】
仮想空間内に、実空間に配置した実オブジェクトに対応する仮想オブジェクトを配置する配置部と、
実空間におけるユーザの状態に基づき前記仮想空間内での仮想オブジェクトの見え方を示す部分画像を生成する画像生成部と、
生成した部分画像を実空間と重畳した状態で、視認可能に表示する表示部と
を備える表示装置。
【請求項１９】
仮想空間を生成するコンピュータが、
前記仮想空間内に、実空間に配置した実オブジェクトに対応する仮想オブジェクトを配置し、
前記実空間におけるユーザの状態に基づき前記仮想空間内での仮想オブジェクトの見え方を示す部分画像を生成し、
生成した部分画像を前記実空間と重畳した状態で、視認可能に表示する
処理を行う表示方法。
【請求項２０】
実空間データ、該実空間に存在する実オブジェクトのデータ、及び該実オブジェクトの配置データを取得する第１取得部と、
前記実空間に設定された原点の仮想空間における座標系での座標値及び前記実空間の座標軸方向と前記仮想空間における座標軸方向との異同情報を取得する第２取得部と、
取得した座標値及び異同情報に基づいて、前記実空間データにおける座標系を変換する変換部と、
前記実空間データ、前記実オブジェクトのデータ、及び前記実オブジェクトの配置データ、並びに変換した座標系に基づいて、前記仮想空間を生成する第１生成部と、
前記仮想空間内に、前記実オブジェクトに対応する仮想オブジェクトを配置する配置部と、
前記実空間におけるユーザの状態を取得する第３取得部と、
取得したユーザの状態に基づき前記仮想空間内での仮想オブジェクトの見え方を示す部分画像を生成する第２生成部と、
生成した部分画像が前記実空間と重畳した状態で、視認可能に表示端末で表示されるべく出力する出力部とを
備える画像出力装置。
【請求項２１】
実空間データ、該実空間に存在する実オブジェクトのデータ、及び該実オブジェクトの配置データを取得し、
前記実空間に設定された原点の仮想空間における座標値を取得し、
取得した座標値に基づいて、前記実空間データにおける座標系を変換し、
前記実空間データ、前記実オブジェクトのデータ、及び前記配置データ、並びに変換した座標系に基づいて、前記仮想空間を生成し、
前記仮想空間内に、前記実オブジェクトに対応する仮想オブジェクトを配置し、
前記実空間におけるユーザの状態を取得し、
取得したユーザの状態に基づき前記仮想空間内での仮想オブジェクトの見え方を示す部分画像を生成し、
生成した部分画像が前記実空間と重畳した状態で、視認可能に表示端末で表示されるべく出力する
画像出力方法。
【請求項２２】
実空間の原点に設置され、原点及び座標軸の方向を示すマーカを検知し、前記マーカの表示端末における座標系での座標値及び前記実空間の座標軸方向と仮想空間における座標軸方向との異同情報を検知する検知部と、
前記実空間におけるユーザの状態を取得する状態取得部と、
検知した前記座標値及び前記異同情報並びに前記ユーザの状態を送信する状態送信部と、
前記ユーザの状態に基づく前記仮想空間における部分画像を受信する画像受信部と、
受信した部分画像を前記実空間と重畳した状態で、視認可能に表示する表示部と
を有する表示端末、及び
実空間データ、前記実空間に存在する実オブジェクトのデータ、及び該実オブジェクトの配置データを取得する第１取得部と、
前記表示端末から、前記座標値及び前記異同情報並びに前記ユーザの状態を受信する受信部と、
受信した座標値及び異同情報に基づいて、前記実空間データにおける座標系を変換する変換部と、
前記実空間データ、前記実オブジェクトのデータ、及び前記配置データ、並びに変換した座標系に基づいて、前記仮想空間を生成する第１生成部と、
前記仮想空間内に、前記実オブジェクトに対応する仮想オブジェクトを配置する配置部と、
受信したユーザの状態に基づき前記仮想空間内での仮想オブジェクトの見え方を示す部分画像を生成する第２生成部と、
生成した部分画像を送信する送信部と
を有する画像出力装置
を備える画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感を提供するコンピュータプログラム等に関する。
【背景技術】
【０００２】
近年、複合現実感（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ：ＭＲ）を提供する技術の開発が進められている。ＭＲは仮想空間と実空間との境界を感じさせないように、２つの空間を融合させる表示技術である。
【０００３】
ＭＲの使用場面として空間の共有技術がある。例えば、作業者複合現実空間において、作業者が観察しているＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）カメラ映像を含む複数のカメラ映像を遠隔地に指示者が選択的に表示して、指示者がこの映像を観察しながら作業者の空間をシームレスに知覚し、３次元的な作業指示を行えるようにする装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７３８８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方、ショールームや小売店舗においては、消費者の購買意欲を高めるために、ＭＲ技術の利用が検討されている。ショールームや小売店舗においては、複数人が空間を共有するが、他者とのコミュニケーションはほぼ皆無であるので、従来技術とは異なる機能を必要とする。特に、ショールームなど、商品を直接販売しない場所においては、簡単に購入の手続き等ができなければ、機会損失となる場合がある。
【０００６】
本発明は上記のような事情に鑑みてなされたものである。ショールーム等において、商品の購入手続きや忘備録のための「いいね」などの商品への操作が可能なコンピュータプログラム等の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明に係るコンピュータプログラムは、仮想空間内に、実空間に配置した実オブジェクトに対応する仮想オブジェクトを配置し、前記実空間におけるユーザの状態に基づき前記仮想空間内での仮想オブジェクトの見え方を示す部分画像を生成し、生成した部分画像を前記実空間と重畳した状態で、視認可能に表示する処理をコンピュータに行わせる。
【発明の効果】
【０００８】
本発明にあっては、ショールーム等において、商品の購入手続きや忘備録のための「いいね」などの商品への操作が可能となる。
【図面の簡単な説明】
【０００９】
【図１】空間情報共有システムの構成例を示す説明図である。
【図２】空間情報管理サーバのハードウェア構成例を示すブロック図である。
【図３】表示端末のハードウェア構成例を示すブロック図である。
【図４】空間ＤＢの例を示す説明図である。
【図５】配置ＤＢの例を示す説明図である。
【図６】対象物ＤＢの例を示す説明図である。
【図７】対象物種別ＤＢの例を示す説明図である。
【図８】対象物詳細ＤＢの例を示す説明図である。
【図９】端末ＤＢの例を示す説明図である。
【図１０】端末種別ＤＢの例を示す説明図である。
【図１１】セッションＤＢの例を示す説明図である。
【図１２】対象物アクションＤＢの例を示す説明図である。
【図１３】アクション種別ＤＢの例を示す説明図である。
【図１４】言語種別ＤＢの例を示す説明図である。
【図１５】ユーザＤＢの例を示す説明図である。
【図１６】空間情報管理サーバが行うセッション開始処理の手順を示すフローチャートである。
【図１７】ユーザ端末が行うセッション開始処理の手順を示すフローチャートである。
【図１８】変換行列算出処理の手順を示すフローチャートである。
【図１９】モード切替処理の手順を示すフローチャートである。
【図２０】アイコン選択処理の手順を示すフローチャートである。
【図２１】更新情報受信処理の手順を示すフローチャートである。
【図２２】非アクティブモードでの拡張現実画像を示す説明図である。
【図２３】アクティブモードでの拡張現実画像を示す説明図である。
【図２４】カートインアイコンの操作時の画面表示を示す説明図である。
【図２５】カートインアイコンの操作時の画面表示を示す説明図である。
【図２６】カートインアイコンの操作時の画面表示を示す説明図である。
【図２７】いいねアイコンの操作時の画面表示を示す説明図である。
【図２８】いいねアイコンの操作時の画面表示を示す説明図である。
【図２９】いいねアイコンの操作時の画面表示を示す説明図である。
【図３０】他ユーザがカート追加操作したときに行われる画面表示を示す説明図である。
【図３１】他ユーザがカート追加操作したときに行われる画面表示を示す説明図である。
【図３２】他ユーザかいいねをしたときに行われる画面表示を示す説明図である。
【図３３】他ユーザかいいねをしたときに行われる画面表示を示す説明図である。
【図３４】ランキング更新処理の手順を示すフローチャートである。
【図３５】ランキング情報の表示例を示す説明図である。
【図３６】ランキング情報の表示例を示す説明図である。
【図３７】歓迎メッセージの表示例を示す説明図である。
【図３８】セールバナーの表示例を示す説明図である。
【図３９】バリエーション表示の例を示す説明図である。
【図４０】利用シーン表示の例を示す説明図である。
【発明を実施するための形態】
【００１０】
以下実施の形態を、図面を参照して説明する。
【００１１】
以下の説明においては、一般消費者の生活において使用される商品を展示するショールームを題材とする。ショールーム内の空間が実空間である。また、展示している商品そのものを販売するのではなく、一般消費者が店舗で注文した商品（販売商品）をバックヤードから持ってきて販売するか、後日、配送を行う小売店舗を題材とする。実オブジェクトとは、ショールームに実際に展示される商品や陳列棚など、実空間に実際に存在するオブジェクト（物）である。仮想オブジェクトとは、仮想空間に配置されるオブジェクトである。仮想オブジェクトは実空間に実際には存在しないが、実空間に重畳するように表示することで、あたかも実空間に存在する実オブジェクトのように感じさせるオブジェクトである。対象物とは、実オブジェクト及び仮想オブジェクトの中で、ユーザが注目する可能性が高いオブジェクトをいう。また、ユーザの状態とは、ユーザが視認する実空間の範囲を検出可能な情報である。ユーザの状態は、例えば、ユーザの視点及び視線方向、又はユーザの位置及び姿勢である。
【００１２】
（実施の形態１）
図１は空間情報共有システム１００の構成例を示す説明図である。空間情報共有システム１００は空間情報管理サーバ１、ユーザ端末２、無線アクセスポイント３を含む。空間情報管理サーバ１はサーバコンピュータ、ブレードコンピュータなどで構成する。空間情報管理サーバ１は複数台のコンピュータにより構成してもよい。また、空間情報管理サーバ１が提供する機能をクラウドサービスにより提供してもよい。ユーザ端末２は例えば、透過型ヘッドマウントディスプレイ、非透過型ヘッドマウントディスプレイ又はスマートフォンである。ここで言うユーザとは、ショールームに訪れた一般消費者である。スマートフォンはＴａｎｇｏ、Ｄａｙｄｒｅａｍ（登録商標）などのＭＲやＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）に関係する技術に対応したものが望ましい。無線アクセスポイント３はＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信方式を採用したアクセスポイントである。無線アクセスポイント３はユーザ端末２と通信する。無線アクセスポイント３はインターネットなどのネットワークＮに接続されている。ユーザ端末２は無線アクセスポイント３、ネットワークＮを介して、空間情報管理サーバ１と通信を行う。
【００１３】
なお、以下の説明において、拡張現実画像は２つの意味を持つ。ユーザ端末２が非透過型ヘッドマウントディスプレイ又はスマートフォンの場合、仮想空間において、ユーザが視認する仮想空間の様子を表現した画像（部分画像）を生成する。部分画像は仮想オブジェクトの見え方を示す画像である。ユーザの状態に基づき、仮に、ユーザが仮想空間に存在しているのであれは、視認するであろう画像が部分画像である。生成した部分画像と実空間をカメラで撮影した画像とを重畳表示した合成画像を、ユーザ端末２は表示する。当該合成画像を拡張現実画像という。一方、ユーザ端末２が透過型ヘッドマウントディスプレイの場合、上述の部分画像のみを、ユーザ端末２を表示する。ユーザは透過する実空間の状況と表示された部分画像との両方を視認することで、２つ画像を合成した画像を脳で認識する。当該認識されるであろう画像も拡張現実画像という。
【００１４】
図２は空間情報管理サーバ１のハードウェア構成例を示すブロック図である。空間情報管理サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３、大容量記憶部１４、通信部１５、及び読み取り部１６を含む。各構成はバスＢで接続されている。
【００１５】
ＣＰＵ１１はＲＯＭ１２に記憶された制御プログラム（コンピュータプログラム）１Ｐにしたがい、ハードウェア各部を制御する。ＲＡＭ１３は例えばＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）又はフラッシュメモリである。ＲＡＭ１３はＣＰＵ１１によるプログラムの実行時に発生するデータを一時的に記憶する。
【００１６】
大容量記憶部１４は、例えばハードディスク又はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などである。大容量記憶部１４は各種ＤＢ（Ｄａｔａｂａｓｅ：データベース）を記憶する。大容量記憶部１４は、空間ＤＢ１４１、配置ＤＢ１４２、対象物ＤＢ１４３、対象物種別ＤＢ１４４、対象物詳細ＤＢ１４５、端末ＤＢ１４６、端末種別ＤＢ１４７、セッションＤＢ１４８、対象物アクションＤＢ１４９、アクション種別ＤＢ１４Ａ、言語種別ＤＢ１４Ｂ、ユーザＤＢ１４Ｃ、コンテンツＤＢ１４Ｄを含むデータベースを記憶する。これらのデータベースの一部又は全部をデータベースサーバなど空間情報管理サーバ１以外のサーバコンピュータに記憶してもよい。また、制御プログラム１Ｐを大容量記憶部１４に記憶してもよい。
【００１７】
通信部１５はネットワークＮを介して、他のコンピュータと通信を行う。読み取り部１６はＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）−ＲＯＭを含む可搬型記憶媒体１ａを読み取る。ＣＰＵ１１が読み取り部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１４に記憶してもよい。また、ネットワークＮ等を介して他のコンピュータからＣＰＵ１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１４に記憶してもよい。さらにまた、半導体メモリ１ｂから、ＣＰＵ１１が制御プログラム１Ｐを読み込んでもよい。
【００１８】
図３はユーザ端末２のハードウェア構成例を示すブロック図である。ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、大容量記憶部２４、通信部２５、センサ群２６及び表示部２７を含む。各構成はバスＢで接続されている。
【００１９】
ＣＰＵ２１はＲＯＭ２２に記憶された表示プログラム（コンピュータプログラム）２Ｐにしたがい、ハードウェア各部を制御する。ＲＡＭ２３は例えばＳＲＡＭ、ＤＲＡＭ又はフラッシュメモリである。ＲＡＭ２３はＣＰＵ２１によるプログラムの実行時に発生するデータを一時的に記憶する。
【００２０】
大容量記憶部２４は、例えばｍｉｃｒｏＳＤカードなどのメモリカード又はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などである。大容量記憶部２４は各種ＤＢ（Ｄａｔａｂａｓｅ：データベース）を記憶する。大容量記憶部２４は、空間ＤＢ２４１、配置ＤＢ２４２、対象物ＤＢ２４３、対象物種別ＤＢ２４４、対象物詳細ＤＢ２４５、対象物アクションＤＢ２４９、アクション種別ＤＢ２４Ａ、コンテンツＤＢ２４Ｄを含むデータベースを記憶する。これらのデータベースそれぞれは空間情報管理サーバ１の大容量記憶部１４に記憶している同名のデータベースに対応している。ユーザ端末２の大容量記憶部２４に記憶している各データベースは、空間情報管理サーバ１の大容量記憶部１４に記憶している対応データベースをミラーリングしたもの又はサブセット（一部）である。大容量記憶部２４に表示プログラム２Ｐを記憶してもよい。
【００２１】
通信部２５は無線アクセスポイント３及びネットワークＮを介して、空間情報管理サーバ等、他のコンピュータと通信を行う。ＣＰＵ２１が通信部１５を用いネットワークＮ等を介して、他のコンピュータから表示プログラム２Ｐをダウンロードし、大容量記憶部２４に記憶してもよい。
【００２２】
センサ群２６は各種のセンサを含む。センサ群２６はユーザの周囲空間を把握するためのセンサ、ユーザの位置や姿勢を把握するためのセンサ、及びユーザの視点や視線方向を検知するためのセンサ等を含む。ユーザの周囲空間を把握するためのセンサはＲＧＢイメージセンサ、深度センサ等である。ユーザの位置を把握するためのセンサやユーザの視線を検知するためのセンサはジャイロセンサー、デジタルコンパス、加速度センサ、近接センサ、モーション・トラッキングセンサ等である。
【００２３】
表示部２７は液晶表示パネルを含む。表示部２７は生成した仮想空間での画像を実空間に重畳するように表示する。ユーザ端末２が透過型ＨＭＤの場合、実空間は表示部２７には表示しない。ユーザ端末２が非透過型ＨＭＤやスマートフォンの場合は、撮影した実空間の画像と仮想空間の画像とを重畳した画像が生成され、表示部２７に表示される。ユーザ端末２が透過型又は非透過型ＨＭＤの場合、表示部２７は２枚の表示パネルを含み、ステレオ画像を表示する。
【００２４】
次に空間情報管理サーバ１の大容量記憶部１４が記憶しているデータベースについて説明する。図４は空間ＤＢ１４１の例を示す説明図である。空間ＤＢ１４１はショールームの静的な３次元データ（実空間データ）を記憶するデータベースである。静的な３次元データとは、壁、床、天井などからなる部屋の３次元形状データである。また、頻繁には変化しない照明、パーティション、商品陳列台、什器なども含める。なおここでは、メッシュモデルを採用する。メッシュモデルは、頂点、エッジ、面で構成され、多角形表現（三角形と四角形を含む）を使用して３次元形状を表現する。空間ＤＢ１４１は空間ＩＤ列、空間名列、メッシュファイル名列及び更新日列を含む。空間ＩＤ列は空間を一意に特定可能な空間ＩＤを記憶する。空間ＩＤは各ショールームに割り当てられる。複数の部屋や複数階からなるショールームなどは複数の空間ＩＤを割り当てる。また、１フロアであるが広大な床面積のショールームの場合などにも、複数の空間ＩＤを割り当ててもよい。空間名列はショールーム名などの空間の名称を記憶する。メッシュファイル名列は空間データ、すなわち、ショールームの３次元形状を記憶するファイルの名称を記憶する。各メッシュファイルは例えば、大容量記憶部１４に記憶する。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。
【００２５】
図５は配置ＤＢ１４２の例を示す説明図である。配置ＤＢ１４２は対象物の配置を記憶する。対象物はユーザが注目する物体である。ここでは、対象物はショールームに陳列される商品である。また、対象物には現実空間に重畳して表示するランキング情報、セール情報、ウェルカムメッセージを表示するバナーの配置も含む。配置ＤＢ１４２は空間ＩＤ列、対象物ＩＤ列、３次元座標列、回転列、スケール列及び更新日列を含む。空間ＩＤ列は対象物が配置されている空間の空間ＩＤを記憶する。対象物ＩＤ列は配置されている対象物の対象物ＩＤを記憶する。３次元座標列は対象物の配置位置を示す座標（ｘ，ｙ，ｚ）を記憶する。座標系は空間ＩＤ列に記憶している空間ＩＤで特定される空間での座標系である。回転列は配置されている対象物の回転状況をクォータニオン（四元数）で記憶する。スケール列は表示する際のスケールを記憶する。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。
【００２６】
図６は対象物ＤＢ１４３の例を示す説明図である。対象物ＤＢ１４３は対象物に対する主題データを記憶する。対象物ＤＢ１４３は対象物ＩＤ列、対象物種別ＩＤ列、在庫数列、いいね数列、切替距離列及び更新日列を含む。対象物ＩＤ列は対象物を一意に特定可能な対象物ＩＤを記憶する。対象物種別ＩＤ列は対象物の種別に対応する対象物種別ＩＤを記憶する。在庫数列は対象物（商品）の在庫数を記憶する。いいね数列は対象物に対するいいねの数を記憶する。いいねとは当該商品に対して、ユーザが好印象を抱いたことを示すアクションを起こした回数である。切替距離列は対象物に付加して表示する内容を切り替える距離を記憶する。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。なお、いいねは、ユーザの商品に対する評価（好感度）の一例である。すごくいいね、いいね、悪いね、すごく悪いね等の複数種類の評価を個別に記憶してもよい。この場合、評価の種類に合わせて、対象物ＤＢ１４３の列数を増やせばよい。また、数値評価とし、ユーザが点数を入力してもよい。この場合、点数の平均点、標準偏差など評価傾向を示す数値を記憶してもよい。
【００２７】
図７は対象物種別ＤＢ１４４の例を示す説明図である。対象物種別ＤＢ１４４は対象物の種別を記憶する。対象物種別ＤＢ１４４は対象物種別ＩＤ列、対象物名列、更新日時列を含む。対象物種別ＩＤ列は対象物種別を一意に特定可能な対象物種別ＩＤを記憶する。対象物名列は対象物の種別を示す名称を記憶する。図７に示す例では、陳列される商品の対象物種別ＩＤは１である。現実空間に重畳されるポップアップ画像の対象物種別ＩＤは２である。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。
【００２８】
図８は対象物詳細ＤＢ１４５の例を示す説明図である。対象物詳細ＤＢ１４５は対象物の属性などを記憶する。対象物詳細ＤＢ１４５は対象物ＩＤ列、言語種別ＩＤ列、テキスト列、価格列及び更新日時列を含む。対象物ＩＤ列は対応する対象物の対象物ＩＤを記憶する。言語種別ＩＤ列は言語を特定する言語種別ＩＤを記憶する。テキスト列は商品名等の商品の説明テキストを言語種別ＩＤで指定される言語種別ＩＤ列で特定される言語で記載したものを記憶する。価格列は商品の価格を記憶する。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。
【００２９】
図９は端末ＤＢ１４６の例を示す説明図である。端末ＤＢ１４６はユーザ端末２についての情報を記憶する。端末ＤＢ１４６は端末ＩＤ列、端末種別ＩＤ列及び更新日時列を含む。端末ＩＤ列はユーザ端末２を一意に特定する端末ＩＤを記憶する。端末種別ＩＤ列は端末の種別を示す端末種別ＩＤを記憶する。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。
【００３０】
図１０は端末種別ＤＢ１４７の例を示す説明図である。端末種別ＤＢ１４７は端末種別を記憶する。端末種別ＤＢ１４７は端末種別ＩＤ列、端末名列及び更新日時列を含む。端末種別ＩＤ列は端末種別の一意に特定可能な端末種別ＩＤを記憶する。端末名列は端末種別を示す名称を記憶する。端末種別は例えば、ＨｏｌｏＬｅｎｓ（登録商標）、Ｔａｎｇｏ、ＡＲｋｉｔである。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。
【００３１】
図１１はセッションＤＢ１４８の例を示す説明図である。セッションＤＢ１４８は空間情報管理サーバ１とユーザ端末２とのセッション履歴を記憶する。ユーザ端末２は表示プログラム２Ｐを開始時に、空間情報管理サーバ１に接続要求を行う。これに対して空間情報管理サーバ１の接続許可をする。許可の契機が、セッションの開始である。表示プログラム２Ｐの終了時又は所定時間以上、空間情報管理サーバ１とユーザ端末２との通信が途絶えた場合、セッションが終了する。空間情報管理サーバ１とユーザ端末２との通信は非同期である。セッションＤＢ１４８はセッションＩＤ列、ユーザＩＤ列、開始日時列及び終了日時列を記憶する。セッションＩＤ列はセッションを一意に特定するセッションＩＤを記憶する。セッションＩＤはセッション開始時に発番される。ユーザＩＤ列はユーザ端末２を利用しているユーザのＩＤを記憶する。開始日時列はセッションの開始日時を記憶する。終了日時列はセッションの終了日時を記憶する。
【００３２】
図１２は対象物アクションＤＢ１４９の例を示す説明図である。対象物アクションＤＢ１４９はユーザの対象物に対するアクションを記録する。ここで、アクションとは購入意思を示すために仮想カートへ商品を入れること（カートイン）や、商品に好感を持ったことを表明する（いいね）を含む。対象物アクションＤＢ１４９は、セッションＩＤ列、対象物ＩＤ列、端末ＩＤ列、発生日時列、アクション種別ＩＤ列、開始日時列及び終了日時列を含む。セッションＩＤ列はアクションが行われたセッションのＩＤを記憶する。対象物ＩＤ列はアクションの対象となった対象物のＩＤを記憶する。端末ＩＤ列はアクションを行ったユーザが使用したユーザ端末２のＩＤを記憶する。発生日時列はアクションの発生を記憶した日時を記憶する。アクション種別ＩＤ列は行われたアクションを示すＩＤを記憶する。開始日時列はアクションの開始を検知した日時を記憶する。終了日時列はアクションの終了を検知した日時を記憶する。
【００３３】
図１３はアクション種別ＤＢ１４Ａの例を示す説明図である。アクション種別ＤＢ１４Ａはアクション種別を記憶する。アクション種別ＤＢ１４Ａはアクション種別ＩＤ列、アクション名列及び更新日時列を含む。アクション種別ＩＤ列は、アクションの種別を一意に特定可能なアクションＩＤを記憶する。アクション名列はアクションの名称を記憶する。アクションの名称は、仮想カートへの商品投入を意味するカートイン、商品へ好感を持ったことを表明する、いいねを含む。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。
【００３４】
図１４は言語種別ＤＢ１４Ｂの例を示す説明図である。言語種別ＤＢ１４Ｂは言語種別を記憶する。言語種別ＤＢ１４Ｂは言語種別ＩＤ列、言語名列、更新日時列を含む。言語種別ＩＤ列は言語種別を一意に特定可能な言語種別ＩＤを記憶する。言語名列は言語の名称を記憶する。例えば、日本語、英語などである。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。
【００３５】
図１５はユーザＤＢ１４Ｃの例を示す説明図である。ユーザＤＢ１４Ｃはユーザに関する情報を記憶する。ユーザＤＢ１４ＣはユーザＩＤ列、氏名列、メールアドレス列、住所列、電話番号列、生年月日列、性別列、職業列及び更新日時列を含む。ユーザＩＤ列はユーザを一意に特定可能なユーザＩＤを記憶する。氏名列はユーザの氏名を記憶する。メールアドレス列はユーザが使用しているメールアドレスを記憶する。住所列はユーザの現住所を記憶する。電話番号列はユーザの電話番号を記憶する。生年月日列ユーザの生年月日を記憶する。性別列はユーザの性別を記憶する。職業列はユーザの職業を記憶する。更新日列は各レコードの更新日を記憶する。初期登録時、更新日列には登録日が記憶される。
【００３６】
続いて、空間情報管理サーバ１及びユーザ端末２が実行する処理について説明する。図１６は空間情報管理サーバ１が行うセッション開始処理の手順を示すフローチャートである。空間情報管理サーバ１のＣＰＵ１１はユーザ端末２から接続要求を受信する（ステップＳ１１）。ＣＰＵ１１は認証を行う（ステップＳ１２）。例えば、接続要求とともにユーザ端末２から送信されたユーザＩＤとパスワードとの組み合わせをパスワードＤＢの記憶内容と一致するか否かを判定する。又はユーザ端末２に付与されたアドレスが予め登録されているものであるか否かを判定する。アドレスは例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスである。ＣＰＵ１１は認証に成功したか否かを判定する（ステップＳ１３）。例えば、ユーザＩＤとパスワードとの組み合わせがパスワードＤＢの記憶内容と一致する場合、ＣＰＵ１１は成功と判定し、一致しない場合、ＣＰＵ１１は失敗と判定する。又は、ユーザ端末２に付与されたアドレスが予め登録されているものと一致する場合、ＣＰＵ１１は成功と判定し、一致しない場合、ＣＰＵ１１は失敗と判定する。ＣＰＵ１１は認証に失敗したと判定した場合（ステップＳ１３でＮＯ）、処理を終了する。ＣＰＵ１１は認証に成功したと判定した場合（ステップＳ１３でＹＥＳ）、セッションを生成する（ステップＳ１４）。具体的には、ＣＰＵ１１はセッションＩＤを発番する。ＣＰＵ１１はセッションＤＢ１４８に新たなレコードを追加し、セッションＩＤ、ユーザＩＤ、開始日時を対応する列に記憶する。終了日時列はＮＵＬＬ又は空白とする。ＣＰＵ１１はセッションＩＤをユーザ端末２に送信する（ステップＳ１５）。ＣＰＵ１１は空間ＩＤをユーザ端末２より受信する（ステップＳ１６）。ＣＰＵ１１は受信した空間ＩＤに関連するデータの同期処理をユーザ端末２と協働して行う（ステップＳ１７）。同期処理は公知の技術であるので、説明を省略する。ＣＰＵ１１は処理を終了する。
【００３７】
図１７はユーザ端末２が行うセッション開始処理の手順例を示すフローチャートである。ユーザ端末２のＣＰＵ２１は空間情報管理サーバ１へ接続要求を送信する（ステップＳ３１）。ＣＰＵ２１は空間情報管理サーバ１での認証が成功し、接続に成功したか否かを判定する（ステップＳ３２）。ＣＰＵ２１は接続に失敗したと判定した場合（ステップＳ３２でＮＯ）、エラー表示を行う（ステップＳ４０）。その後、処理を終了する。ＣＰＵ２１は接続に成功したと判定した場合（ステップＳ３２でＹＥＳ）、空間情報管理サーバ１からセッションＩＤを受信する（ステップＳ３３）。以降、空間情報管理サーバ１との通信において、セッションＩＤを用いる。ＣＰＵ２１は空間ＩＤを送信する（ステップＳ３４）。空間ＩＤは、例えば、ショールームに設置されたビーコンより取得する。ビーコンは所定の情報、ここでは、空間ＩＤを繰り返し送信する発信機である。また、空間ＩＤを示す２次元コードをショールームの所定の場所に表示し、それをセンサ群２６に含まれる受光素子で読み取ってもよい。さらにまた、空間ＩＤの情報を後述するマーカに記述してもよい。加えて、ユーザ端末２は空間ＩＤを送信せず、緯経度などの位置情報を空間情報管理サーバ１に送信し、位置情報をもとに空間情報管理サーバ１が空間ＩＤを求めてもよい。ＣＰＵ２１は送信した空間ＩＤに関連するデータの同期処理を空間情報管理サーバ１と協働して行う（ステップＳ３５）。ＣＰＵ２１は変換行列を算出する（ステップＳ３６）。変換行列は実空間の座標系で座標データをユーザ端末２で構成する仮想空間の座標系での座標データに変換するための行列である。ＣＰＵ２１は空間ＤＢ２４１に記憶しているメッシュファイルから空間データを読み出し、変換行列で座標変換を行った後、仮想空間を生成する（ステップＳ３７）。ＣＰＵ２１は配置ＤＢ２４２が記憶する配置データ等を用いて、仮想空間に対象物を配置する（ステップＳ３８）。ＣＰＵ２１は仮想空間の画像を実空間と重畳するように、表示部２７に表示する（ステップＳ３９）。ＣＰＵ２１は処理を終了する。その後、ユーザの状態に基づき、ＣＰＵ２１は表示画像を更新する。上述したように、ユーザの状態とは、例えば、ユーザの視点及び視線方向、又はユーザの位置及び姿勢である。当該処理は公知の技術であるから、説明を省略する。ユーザの視点及び視線方向の検出は、例えば、ユーザ端末２にアイトラッキングカメラを含めることにより行う。ユーザの位置については、例えば、ビーコンから位置を示す情報をユーザ端末２で受信して検知する。又は、ユーザ端末２で複数のＷｉＦｉアクセスポイントからの電波をそれぞれ受信し、それぞれの電波強度の違いにより位置を求める。姿勢については、ジャイロ、加速度センサにより、求める。
【００３８】
図１８は変換行列算出処理の手順を示すフローチャートである。ＣＰＵ２１は実空間に設置されたマーカの画像を取得する（ステップＳ５１）。マーカは実空間の原点に設置する。ＣＰＵ２１は取得した画像から、実空間の原点が自らの座標系でのどの座標値の点になるのかを求める。ＣＰＵ２１は、実空間での点の座標値を自らの座標系での点の座標値に変換するための平行移動行列を算出する（ステップＳ５２）。また、ＣＰＵ２１はマーカ近辺に写っているエッジより、実空間における座標軸の方向を検出する。ＣＰＵ２１は検出した実空間の座標軸の方向から、実空間におけるベクトルの方向を、自らの座標系でのベクトルの方向に変換するための回転行列を算出する（ステップＳ５３）。ＣＰＵ２１は算出した平行移動行列及び回転行列（異同情報）を、大容量記憶部２４に記憶する（ステップＳ５４）。ＣＰＵ２１は変換行列算出処理を終了し、処理を呼び出し元に戻す。
【００３９】
次に表示モードの切替処理について、説明する。ユーザ端末２の表示には２つのモードがある。アクティブモードと非アクティブモードである。モードは実空間に配置されている対象物、すなわち、商品毎に設定される。商品からユーザ端末２までの距離が所定距離以下の場合、当該商品はアクティブモードに設定される。商品からユーザ端末２までの距離が所定距離を超える場合、当該商品は非アクティブモードに設定される。所定距離は商品毎に規定される。所定距離は対象物ＤＢ２４３の切替距離列に記憶されている。アクティブモードの表示では、商品名、価格、在庫数、いいね数、操作アイコンなどが、実空間に重畳されて表示される。また、よく合わせ買いがされる２つの商品を結ぶ曲線（以下、「合わせ買い曲線」と記す。）が表示される。非アクティブモードでは、商品の存在を気付かせるための画像（以下、「ドーム画像」と記す。）、上記の合わせ買い曲線が表示される。よく合わせ買いがされる他の商品がない商品については、合わせ買い曲線は表示されない。よく合わせ買いがされる２つの商品、すなわち、合わせ買いがされる確率の高い２つの商品（組み合わせ情報）は、統計分析、例えはバスケット分析により求める。
【００４０】
図１９はモード切替処理の手順を示すフローチャートである。ＣＰＵ２１はユーザ端末２の現在位置を取得する（ステップＳ７１）。ＣＰＵ２１は空間に配置された対象物の中で、対象物種別が商品のものを１つ選択する（ステップＳ７２）。ＣＰＵ２１は選択した商品とユーザ端末２との距離を算出する（ステップＳ７３）。ＣＰＵ２１は算出した距離が切替距離以下であるか否かを判定する（ステップＳ７４）。ＣＰＵ２１は算出した距離が切替距離以下であると判定した場合（ステップＳ７４でＹＥＳ）、ドーム画像を削除する（ステップＳ７５）。操作アイコンなどを配置する（ステップＳ７６）。ＣＰＵ２１は選択した商品のモードをアクティブとする（ステップＳ７７）。ＣＰＵ２１は未処理の商品があるか否かを判定する（ステップＳ７８）。ＣＰＵ２１は未処理の商品があると判定した場合（ステップＳ７８でＹＥＳ）、処理をステップＳ７２に戻す。ＣＰＵ２１は未処理の商品がないと判定した場合（ステップＳ７８でＮＯ）、処理を終了する。ＣＰＵ２１は算出した距離が切替距離を超えると判定した場合（ステップＳ７４でＮＯ）、操作アイコンなどを削除する（ステップＳ７９）。ＣＰＵ２１はドーム画像を配置する（ステップＳ８０）。ＣＰＵ２１は選択した商品のモードを非アクティブとする（ステップＳ８１）。ＣＰＵ２１は処理をステップＳ７８に移す。モード切替処理は繰り返し実行される。
【００４１】
次に、操作アイコンによる操作について、説明する。モードがアクティブな商品については、商品近傍に表示される操作アイコンにより、操作が行える。上述のように、ここではカートインアイコンといいねアイコンが表示される。カートインアイコンは仮想カートに商品を入れる操作である。ＥＣ（Ｅｌｅｃｔｒｉｃ  Ｃｏｍｍｅｒｃｅ）サイトと連携し、実際に商品の購入が可能である。いいねはユーザが商品に対して好感を抱いたことを表明するものである。ユーザの履歴にも、いいねをしたことが残る。操作アイコンに対する操作は、ジェスチャーにより行う。
【００４２】
図２０はアイコン選択処理の手順を示すフローチャートである。ユーザ端末２のＣＰＵ２１はジェスチャーを認識する（ステップＳ９１）。ジェスチャーの認識は、センサ群２６に含まれるカメラ、画像センサから取得した画像を用いて行う。ＣＰＵ２１は認識したジェスチャーが所定のジェスチャーであるか否かを判定する（ステップＳ９２）。所定のジェスチャーは例えば、人差し指をテンポよく２回曲げる動作である。ＣＰＵ２１は認識したジェスチャーが所定のジェスチャーでないと判定した場合（ステップＳ９２でＮＯ）、処理を終了する。ＣＰＵ２１は認識したジェスチャーが所定のジェスチャーであると判定した場合（ステップＳ９２でＹＥＳ）、操作対象がカートインアイコンであるか否かを判定する（ステップＳ９３）。ＣＰＵ２１は操作対象がカートインアイコンであると判定した場合（ステップＳ９３でＹＥＳ）、在庫の引当を行う（ステップＳ９４）。在庫の引当は、例えば、連携するＥＣサイトの在庫を引き当てる。また、バックヤードに商品を確保しているときは、当該商品の在庫を引き当てる。ＣＰＵ２１は引当が成功したか否かを判定する（ステップＳ９５）。ＣＰＵ２１は引当が成功したと判定した場合（ステップＳ９５でＹＥＳ）、対象物ＤＢ２４３に記憶してある在庫数を更新する（ステップＳ９６）。ＣＰＵ２１はカートインアイコンを操作したことを示す動画を表示する（ステップＳ９７）。ＣＰＵ２１は処理を終了する。ＣＰＵ２１は引当が失敗したと判定した場合（ステップＳ９５でＮＯ）、失敗したことを表示部２７に表示する（ステップＳ９８）。ＣＰＵ２１は在庫数を更新する（ステップＳ９９）。ＣＰＵ２１は処理を終了する。ＣＰＵ２１は操作対象がカートインアイコンでないと判定した場合（ステップＳ９３でＮＯ）、操作対象がいいねアイコンであるか否かを判定する（ステップＳ１００）。ＣＰＵ２１は操作対象がいいねアイコンであると判定した場合（ステップＳ１００でＹＥＳ）、いいねされたことを空間情報管理サーバ１に通知する（ステップＳ１０１）。ＣＰＵ２１は対象物ＤＢ２４３に記憶してあるいいね数を更新する（ステップＳ１０２）。ＣＰＵ２１はいいねされたことを示す動画を表示する（ステップＳ１０３）。ＣＰＵ２１は処理を終了する。ＣＰＵ２１は操作対象がいいねアイコンでないと判定した場合（ステップＳ１００でＮＯ）、エラー表示を行い（ステップＳ１０４）、処理を終了する。ＣＰＵ２１はモードがアクティブの商品を表示している場合、アイコン選択処理を繰り返し実行する。
【００４３】
続いて、他のユーザがカートインアイコン又はいいねアイコンを操作した場合に、操作したユーザ以外が使用するユーザ端末２が行う処理を説明する。図２１は更新情報受信処理の手順を示すフローチャートである。ユーザ端末２のＣＰＵ２１は、空間情報管理サーバ１より更新情報を受信する（ステップＳ１１１）。更新情報には対象物種別が商品である対象物の対象物ＩＤと、更新された在庫数又はいいね数が含まれる。ＣＰＵ２１は更新された商品のモードがアクティブか否かを判定する（ステップＳ１１２）。ＣＰＵ２１は更新された商品のモードが非アクティブであると判定した場合（ステップＳ１１２でＮＯ）、更新された値はいいね数であるか否かを判定する（ステップＳ１１３）。ＣＰＵ２１は更新された値はいいね数であると判定した場合（ステップＳ１１３でＹＥＳ）、いいね数が更新されたことを示す動画を表示する（ステップＳ１１４）。ＣＰＵ２１は対象物ＤＢ２４３に記憶してあるいいね数を更新する（ステップＳ１１５）。ＣＰＵ２１は処理を終了する。ＣＰＵ２１は更新された値はいいね数でない、すなわち在庫数と判定した場合（ステップＳ１１３でＮＯ）、他者がカートイン操作をしたことを示す動画を表示する（ステップＳ１１６）。ＣＰＵ２１は対象物ＤＢ２４３に記憶してある在庫数を更新する（ステップＳ１１７）。ＣＰＵ２１は処理を終了する。ＣＰＵ２１は更新された商品のモードがアクティブである判定した場合（ステップＳ１１２でＹＥＳ）、更新された値はいいね数であるか否かを判定する（ステップＳ１１８）。ＣＰＵ２１は更新された値はいいね数であると判定した場合（ステップＳ１１８でＹＥＳ）、処理をステップＳ１１５へ移す。ＣＰＵ２１は更新された値はいいね数でない、すなわち在庫数と判定した場合（ステップＳ１１８でＮＯ）、処理をステップＳ１１７へ移す。なお、商品のモードがアクティブである場合においても、他のユーザがいいね又はカートインしたことを示す動画を表示してもよい。ユーザがカートインアイコン又はいいねアイコンにカーソルを合わせている場合や、カートインアイコン又はいいねアイコンを操作したことによる動画を表示している場合は、他のユーザがいいね又はカートインしたことを示す動画は表示しないことが望ましい。
【００４４】
以上の処理により、ユーザに提供される拡張現実画像の例を示す。図２２は非アクティブモードでの拡張現実画像を示す説明図である。実空間では、カップ５が陳列台６に配置されている。それに対して、仮想空間での対象物が実空間に重畳して表示されている。ドーム画像７１はカップ５に後光が差しているかのごとく、カップ５の後方に半球状の光を表現している。商品マーカ７２は三角錐状をなしている。商品マーカ７２は商品の位置を示している。また、合わせ買い情報部７３は合わせ買いがよくされる２つの商品を結ぶものである。合わせ買い情報部７３は２つ商品を結ぶ曲線部７３１、ポインタ７３２，サインボード７３３を含む。サインボード７３３には、「よく一緒に購入されている商品」との説明文を表示している。サインボード７３３はポインタ７３２とともに、曲線部７３１に沿って２つの商品間を往復する。ユーザはサインボード７３３を目で追うことにより、合わせ買いする商品を確認することが可能である。
【００４５】
図２３はアクティブモードでの拡張現実画像を示す説明図である。実空間は図２２の場合と同様である。アクティブモードでは、ドーム画像７１は削除されている。合わせ買い情報部７３に加えて、商品情報表示板７４、在庫数表示板７５、カートインアイコン７６及びいいねアイコン７７が重畳表示されている。商品情報表示板７４は矩形状半透明の板７４１に、商品名表示７４３、商品価格表示７４４が配置されている。さらに、これらの背景として、店名表示７４２が配置されている。在庫数表示板７５はカップ５の在庫数を表示する。カートインアイコン７６及びいいねアイコン７７は操作アイコンである。
カートインアイコン７６は、半透明素材のボックス７６１内に仮想カート７６２が配置されている。同様に、いいねアイコン７７は、半透明素材のボックス７７１内にいいね数を示すハート７７２が配置されている。ユーザが図示しないカーソルを、カートインアイコン７６又はいいねアイコン７７に合わせて、所定のジェスチャーを行うことにより、カップ５に対する操作を行える。カートインアイコン７６を操作した場合は、カップ５がカートに入る。いいねアイコン７７を操作した場合は、カップ５に対するいいね数が増える。
【００４６】
続いて、操作アイコンを操作した場合の画面表示について説明する。図２４から図２６はカートインアイコン７６の操作時の画面表示を示す説明図である。図２４はカーソルをカートインアイコン７６に合わせた場合の表示を示す。ユーザがユーザ端末２の姿勢を変えて、カーソルをカートインアイコン７６に合わせると、自分からカートインアイコンまで光線７８が飛んでいるような表示がされる。この状態で、ユーザが所定のジェスチャーを行うと、カートインアイコン７６に対する操作が行われる。仮想のカップ５１が仮想カート７６２に入る表示が行われる。図２５は仮想のカップ５１が仮想カート７６２に入る過程を示している。仮想のカップ５１が実のカップ５から上方向に離脱するように現れる。仮想のカップ５１はある程度の高さまで移動すると、仮想カート７６２上に移動する。仮想のカップ５１は下降し、仮想カート７６２に吸い込まれるように仮想カート７６２に入り消える。図２６は仮想のカップ５１がカートに入った後の表示である。カートに追加された旨を示す完了表示板７５１が表示される。在庫数表示板７５の在庫数が更新される。
【００４７】
いいねアイコン７７を操作した場合の画面表示について説明する。図２７から図２９はいいねアイコン７７の操作時の画面表示を示す説明図である。図２７はカーソルをいいねアイコン７７に合わせた場合の表示を示す。ユーザがユーザ端末２の姿勢を変えて、カーソルをいいねアイコン７７に合わせると、自分からカートインアイコンまで光線７９が飛んでいるような表示がされる。この状態で、ユーザが所定のジェスチャーを行うと、いいねアイコン７７に対する操作が行われる。カップ５に対するいいねがされたことを示す表示が行われる。図２８は表示過程を示している。ハート７７２から、泡のような球体７７３が飛び出している状態を表している。図２９は表示の最後を示している。更新後のいいね数を示すハート７７４が表示される。ハート７７４は暫くすると消える。いいねアイコンのハート７７２も更新後のいいね数を表示する。
【００４８】
次に、他のユーザがいいねやカートへの追加操作を行った場合の画面表示について説明する。次に説明する表示は、該当する商品が非アクティブである場合に行われる。図３０及び図３１は他ユーザがカート追加操作したときに行われる画面表示を示す説明図である。図３０は表示過程を示している。カップ５から、仮想のカップ５１が上昇する表示が行われる。仮想のカップ５１の上昇経路には、仮想のカップ５１を囲うような円管上の光柱５２が表示される。仮想のカップ５１は次第に上昇速度を挙げて視界から消える。その直後の様子を示したのが、図３１である。更新された在庫数を示す在庫数表示板７５２が表示される。在庫数表示板７５２は暫くすると消える。
【００４９】
続いて、他のユーザがいいねをしたときに行われる画面表示について説明する。図３２及び図３３は他ユーザかいいねをしたときに行われる画面表示を示す説明図である。図３２は表示過程を示している。カップ５に上からハート７７５が降ってくるような表示がされる。ハート７７５は光７７６に囲まれているような表示がされている。ハート７７５はカップ５に吸い込まれるようにして消える。図３３は降ってきた複数のハート７７５がすべて消えた後に表示される画面である。いいね数が更新されたいいね数表示板７７７が不表示される。いいね数表示板７７７は暫くすると消える。また、ユーザ間で実空間を共有することにより、他ユーザの購買体験を知り、自分の世界に取り込むことができる。
【００５０】
上述のように、本実施の形態は操作アイコンにより、いいねやカートインアイコンなどの操作アイコンにより、商品への操作が可能となる。他のユーザがいいねやカートに入れる操作した場合、それを知らせる表示をユーザ端末２は行うので、購入への意欲を高めることが期待される。合わせ買い情報部７３により、合わせ買いがよくされる商品においては、一方の商品に興味があるユーザに他方の商品に興味を持たせることが可能となる。
【００５１】
（変形例）
商品情報表示板７４、在庫数表示板７５、カートインアイコン７６及びいいねアイコン７７は、次のような処理で表示することも考えられる。ユーザ端末２のセンサ群２６により、ユーザが見ている商品（カップ５）の画像を取得する。画像認識により、取得した商品を特定する。特定した商品の在庫数、いいね数を対象物ＤＢ２４３より、取得する。取得した商品の画像に基づいて、商品情報表示板７４、在庫数表示板７５、カートインアイコン７６及びいいねアイコン７７の配置を決定し、画像を生成する。生成した画像を表示部２７に表示する。この場合、空間ＤＢ２４１が記憶する３次元データ、配置ＤＢ２４２が記憶する配置データは不要となる。しかし、取得した商品画像に含まれる商品の特定を迅速に正確に認識することが必要となる。そのために、各商品にＩＤを表示してもよい。ただし、視認できない又は目立たない方法が望ましい。例えば、赤外線ＬＥＤや電波によりＩＤを発信し、ユーザ端末２でＩＤを受信する。ＩＤを発信するアクティブＩＣタグを見えないように商品の接地面に貼り付け、ユーザ端末２でＩＤを受信する。可視光以外の赤外線や紫外線にのみ反応する不可視インクでＩＤを印字し、ユーザ端末２のスキャナでＩＤ読み取るなどが考えられる。
【００５２】
（実施の形態２）
本実施の形態は、実施の形態１に加えてランキング情報など、その他の情報も合わせて表示する形態である。まず、ランキング情報の表示について説明する。ランキングとは売上数量やいいね数などにより、複数の商品について順位付けを行うことである。ランキング情報はランキングの結果である。図３４はランキング更新処理の手順を示すフローチャートである。図３４に示すのはユーザ端末２が行う処理である。ＣＰＵ２１は空間情報管理サーバ１から、ランキングの更新情報を取得する（ステップＳ１３１）。ＣＰＵ２１はランキング情報が視野範囲に表示されているか否か判定する（ステップＳ１３２）。ＣＰＵ２１はランキング情報が視野範囲に表示されていると判定した場合（ステップＳ１３２でＹＥＳ）、１位の商品が変更された否かを判定する（ステップＳ１３３）。ＣＰＵ２１は１位の商品が変更されたと判定した場合（ステップＳ１３３でＹＥＳ）、１位の変更を含めた順位が変更される様子を画像で表示する（ステップＳ１３４）。１位の変更においては、１位に表示されている商品変更する。また、１位のランキング表示と、陳列されている１位の商品とを結ぶ曲線の変更を行う。その他の順位の変更は、順位の変更のみを行う。ＣＰＵ２１は１位の商品が変更されていないと判定した場合（ステップＳ１３３でＮＯ）、順位の変更を動画表示する（ステップＳ１３５）。ＣＰＵ２１はランキング情報が視野範囲に表示されていないと判定した場合（ステップＳ１３２でＮＯ）、ランキング情報を更新する（ステップＳ１３６）。ＣＰＵ２１は１位の商品が変更された否かを判定する（ステップＳ１３７）。ＣＰＵ２１は１位の商品が変更されたと判定した場合（ステップＳ１３７でＹＥＳ）、１位のランキング表示と、陳列されている１位の商品とを結ぶ曲線の再配置を行う（ステップＳ１３８）。ＣＰＵ２１は１位の商品が変更されていないと判定した場合（ステップＳ１３７でＮＯ）、処理を終了する。
【００５３】
図３５及び図３６はランキング情報の表示例を示す説明図である。図３５に示すように、ランキング情報８は壁などに重畳してする。ランキング情報８は順位を示す順位表示８１、商品画像８２及びランキング名称８３を含む。図３６に示す例で、１位商品画像と陳列されている実際商品とを結ぶ曲線が表示される。
【００５４】
続いて、ランキング情報以外のその他情報の例を説明する。図３７は歓迎メッセージの表示例を示す説明図である。歓迎メッセージ９は、店名表示９１、メッセージ本文９２、ユーザ名表示９３を含む。
【００５５】
図３８とセールバナーの表示例を示す説明図である。図３８Ａは平らな壁にセールバナーを表示する例を示す。図３８Ｂは角などの２枚の壁が交差する場所でのセールバナーの表示例を示す。
【００５６】
本実施の形態においては、ランキング情報、セールバナーにより、ユーザの購買意欲を高めることが可能となる。
【００５７】
（実施の形態３）
本実施の形態は、商品にさらなる付加表示を行う例を示す。まず、商品のバリエーションを付加表示する場合を説明する。図３９はバリエーション表示の例を示す説明図である。実空間の陳列台６の横に、仮想の陳列台６１が表示され、その上に、カップ５のカラーバリエーション（色違いのバリエーション商品）であるカップ５３の画像が重畳表示されている。商品情報表示板７４、在庫数表示板７５、カートインアイコン７６及びいいねアイコン７７も、同様に重畳表示されている。
【００５８】
次に、利用シーンを付加表示する場合を説明する。図４０は利用シーン表示の例を示す説明図である。利用シーン表示３０は表示ボックス３１、ハッシュタグ３２、利用シーン画像３３を含む。表示ボックス３１は半透明の六面体上である。表示ボックス３１の表面又は内部に利用シーン画像３３が表示される。ハッシュタグ３２はＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｙｓｔｅｍ）で用いられるものである。ＳＮＳと連携し、商品の実際のユーザがＳＮＳに投稿した利用シーン画像３３を収集することを意図して、ハッシュタグ３２を表示している。利用シーン画像３３は静止画、動画である。利用シーン画像３３は各商品に複数用意してもよい。その場合、所定時間毎に内容を切り替える。例えば、表示ボックス３１を所定時間毎に所定角度回転させ、回転する毎に利用シーン画像３３を入れ替える。
【００５９】
本実施の形態においては、バリエーション表示により、複数のバリエーションがある商品であっても、実物の商品は１つのバリエーションのみを展示することで足りる。また、利用シーン表示３０により、商品から得られる豊かな利用体験の例をユーザが目にすることにより、購買意欲を高めることが可能となる。複合現実感により、その場にあるリアルな商品とのその場にない色違いの商品との比較検討を、体感することが可能となる。
【００６０】
バリエーション表示と利用シーン表示３０は、同時に行ってもよいし、所定時間毎に切り替えてもよい。また、ユーザの指示によりバリエーション表示、利用シーン表示のいずれかを表示してもよい。
【００６１】
各実施の形態で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６２】
１００    空間情報共有システム
１        空間情報管理サーバ
１１      ＣＰＵ
１２      ＲＯＭ
１３      ＲＡＭ
１４      大容量記憶部
１４１    空間ＤＢ
１４２    配置ＤＢ
１４３    対象物ＤＢ
１４４    対象物種別ＤＢ
１４５    対象物詳細ＤＢ
１４６    端末ＤＢ
１４７    端末種別ＤＢ
１４８    セッションＤＢ
１４９    対象物アクションＤＢ
１４Ａ    アクション種別ＤＢ
１４Ｂ    言語種別ＤＢ
１４Ｃ    ユーザＤＢ
１４Ｄ    コンテンツＤＢ
１５      通信部
１６      読み取り部
１Ｐ      制御プログラム
１ａ      可搬型記憶媒体
１ｂ      半導体メモリ
２        ユーザ端末
２１      ＣＰＵ
２２      ＲＯＭ
２３      ＲＡＭ
２４      大容量記憶部
２４１    空間ＤＢ
２４２    配置ＤＢ
２４３    対象物ＤＢ
２４４    対象物種別ＤＢ
２４５    対象物詳細ＤＢ
２４９    対象物アクションＤＢ
２４Ａ    アクション種別ＤＢ
２４Ｄ    コンテンツＤＢ
２５      通信部
２６      センサ群
２７      表示部
２Ｐ      表示プログラム
Ｎ        ネットワーク
【図１】
2019079439.tif 000003
【図２】
2019079439.tif 000004
【図３】
2019079439.tif 000005
【図４】
2019079439.tif 000006
【図５】
2019079439.tif 000007
【図６】
2019079439.tif 000008
【図７】
2019079439.tif 000009
【図８】
2019079439.tif 000010
【図９】
2019079439.tif 000011
【図１０】
2019079439.tif 000012
【図１１】
2019079439.tif 000013
【図１２】
2019079439.tif 000014
【図１３】
2019079439.tif 000015
【図１４】
2019079439.tif 000016
【図１５】
2019079439.tif 000017
【図１６】
2019079439.tif 000018
【図１７】
2019079439.tif 000019
【図１８】
2019079439.tif 000020
【図１９】
2019079439.tif 000021
【図２０】
2019079439.tif 000022
【図２１】
2019079439.tif 000023
【図２２】
2019079439.tif 000024
【図２３】
2019079439.tif 000025
【図２４】
2019079439.tif 000026
【図２５】
2019079439.tif 000027
【図２６】
2019079439.tif 000028
【図２７】
2019079439.tif 000029
【図２８】
2019079439.tif 000030
【図２９】
2019079439.tif 000031
【図３０】
2019079439.tif 000032
【図３１】
2019079439.tif 000033
【図３２】
2019079439.tif 000034
【図３３】
2019079439.tif 000035
【図３４】
2019079439.tif 000036
【図３５】
2019079439.tif 000037
【図３６】
2019079439.tif 000038
【図３７】
2019079439.tif 000039
【図３８】
2019079439.tif 000040
【図３９】
2019079439.tif 000041
【図４０】
2019079439.tif 000042