(57)【要約】【課題】拡張現実を使用した環境における物品の視覚化のための方法を提供する。【解決手段】環境の画像を含む環境画像データを受信する。前記環境の画像の指示場所へ配置するための物品の選択を受信する。前記環境画像データに基づいて、前記環境における前記指示場所までの距離を決定する。前記環境画像データ内のマーカとなる物体の種類毎に設定された該物体の標準寸法に基づいて、前記環境のサイズを決定する。前記指示場所までの前記距離及び前記環境の前記サイズに基づいて、前記選択された物品の物品画像を縮小／拡大する。前記縮小／拡大された物品画像を、前記環境の画像における前記指示場所に拡張して拡張現実画像を生成する。【選択図】図４
2019029026.tif 000002
【特許請求の範囲】
【請求項１】
環境の画像を含む環境画像データを受信することと、
前記環境の画像の指示場所へ配置するための物品の選択を受信することと、
前記環境画像データに基づいて、前記環境における前記指示場所までの距離を決定することと、
前記環境画像データ内のマーカとなる物体の種類毎に設定された該物体の標準寸法に基づいて、前記環境のサイズを決定することと、
前記指示場所までの前記距離及び前記環境の前記サイズに基づいて、前記選択された物品の物品画像を縮小／拡大することと、
前記縮小／拡大された物品画像を、前記環境の画像における前記指示場所に拡張して拡張現実画像を生成することと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に記載する事項は、一般的には、画像処理に関し、より具体的な実施形態の例においては、拡張現実を使用した環境における物品の視覚化に関する。
【背景技術】
【０００２】
従来、ある物品を求めて人が買い物をするときは、その人はその物品を配置しようと考えている環境において、その物品がどう見えるかを頭の中で視覚化しなければならない。特許文献１には、ユーザが製品を購入するにあたって、その製品を部屋に設置した際の状況を把握できるようにした販売システムに関する発明が記載されている。また、特許文献２には、カーテン取り付け物のサイズ情報と配置位置特定情報とに基づいて背景画像における１ｃｍあたりの画素数を求め、該１ｃｍあたりの画素数とカーテン取り付け物のサイズ情報とに基づいて背景画像に合成するカーテンの寸法を求めるようにしたカーテン取り付けシミュレーションシステムに関する発明が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３４４４７９号公報
【特許文献２】特開２０１０−３９９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
多くの場合において、人が適切な寸法や方向を有する物品を想像することは困難である。また、人は、物品を購入したものの、その物品が環境に理想的な形で適合しなかったと気づく場合もある。その結果、人はその物品を返品したり、さもなければ物品を処分（例えば、販売、交換、寄付）してしまうこともあり得る。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本発明の方法は、環境の画像を含む環境画像データを受信することと、前記環境の画像の指示場所へ配置するための物品の選択を受信することと、前記環境画像データに基づいて、前記環境における前記指示場所までの距離を決定することと、前記環境画像データ内のマーカとなる物体の種類毎に設定された該物体の標準寸法に基づいて、前記環境のサイズを決定することと、前記指示場所までの前記距離及び前記環境の前記サイズに基づいて、前記選択された物品の物品画像を縮小／拡大することと、前記縮小／拡大された物品画像を、前記環境の画像における前記指示場所に拡張して拡張現実画像を生成することと、を含むことを特徴とする。
【図面の簡単な説明】
【０００６】
添付した様々な図面は、本発明の実施形態の例を例示するにすぎず、本発明を制限すると考えることはできない。
【図１】図１は、クエリーアスペクトを決定するために使用されるシステムのネットワークアーキテクチャの実施形態の例を示したブロック図である。
【図２】図２は、公開システムの実施形態の例を示したブロック図である。
【図３】図３は、拡張現実エンジンの実施形態の例を示したブロック図である。
【図４】図４は、拡張現実を使用した環境における物品の視覚化のためのハイレベル方法の実施例を示した流れ図である。
【図５】図５は、拡張現実画像を生成するためのハイレベル方法の実施例を示した流れ図である。
【図６Ａ】図６Ａは、環境画像の実施例におけるスクリーンショットである。
【図６Ｂ】図６Ｂは、拡張した物品画像を伴った環境画像のスクリーンショットである。
【図６Ｃ】図６Ｃは、選択した物品に関連するショッピング情報を表示したスクリーンショットの実施例を示す。
【図６Ｄ】図６Ｄは、選択した物品に関する追加情報を提供するウィンドウを表示するスクリーンショットの実施例を示す。
【図６Ｅ】図６Ｅは、推奨物（おすすめ）を有するウィンドウを表示するスクリーンショットの実施例を示す。
【図７】図７は、機械に対して本明細書に説明した１つ又は複数の方法を行うよう指示する一組の指示が実行されるコンピュータシステムの形態を例にした機械の簡略化したブロック図である。
【発明を実施するための形態】
【０００７】
以下の記載は、本発明の例示的な実施形態を具体化するシステム、方法、技術、指示のシーケンス、及びコンピュータプログラム製品を含む。以下の記載において、説明の目的上、発明事項の様々な実施形態の理解を助けるために、多くの具体的な詳細を述べる。しかしながら、当業者であれば、こうした発明事項の実施形態について具体的な詳細がなくても実践できることは明らかだろう。一般的に、周知の指示のインスタンス、プロトコル、構造、及び技術に関しては、詳細には示していない。
【０００８】
本明細書で使用されるように、「ｏｒ」という用語は、包含的な意味で解釈されてもよいし、排他的な意味で解釈されてもよい。また、以下で説明する様々な実施形態の例は、市場環境に着目しているが、かかる実施形態は開示内容を明確にするという目的のためのみに提供されるものである。従って、様々なシステムアーキテクチャを含むいかなる種類の電子刊行物、電子商取引、ソーシャルネットワークシステム、電子ビジネスシステム及び方法も、本明細書に記載する様々なシステム及び方法を採用することができ、かつ、それらが実施形態の例の範囲内にあると考えることができる。様々な実施形態の例の各々については、以下で詳細に説明する。
【０００９】
本明細書に記載する実施形態の例は、拡張現実を使用して、環境内にある物品を視覚化するためのシステムと方法を提供する。実施形態の例において、環境の画像を含む環境画像データが、クライアント装置から受信される。購入して環境内の指示場所に置くことを検討中である物品の選択が受信される。選択した物品の物品画像が環境に対する環境画像データから測定（決定）される寸法に基づいて縮尺通りに縮小／拡大される。寸法は、環境中の指示場所の中心までの計算距離と、環境の画像内にあるマーカに基づいて決定することができる。縮小／拡大された物品画像は、指示場所における環境の画像に拡張され（増やされ）、拡張現実画像が生成される。いくつかの実施形態において、縮小／拡大された物品は、環境内の指示場所の方向に一致させるように位置付けされる。
【００１０】
本発明の実施形態を用いることによって、ユーザは、物品の検索をし、かつ、物品の画像に合わせて環境の画像を拡張することができる。ユーザは、選択した物品を含む環境の拡張現実画像を作成し、かつ見ることができるため、環境内の選択した物品を、例えば物品の画像を手作業で切り貼りしたり、環境の画像に合わせて縮小／拡大したりすることなく、容易に視覚化することができる。従って、本明細書で説明される１つまたは複数の方法は、ユーザによる時間のかかるデータ処理の必要性をなくすことができる。これにより、システムにおいて１つまたは複数の装置によって使用される計算リソースを抑えるという技術的効果を有することができる。かかる計算リソースの例は、プロセッサ・サイクル、ネットワーク・トラフィック、メモリ使用量、格納スペース、消費電力を含むが、これらに限定されない。
【００１１】
図１を参照すると、拡張現実を使用して環境における物品の視覚化を可能にするハイレベルのクライアントサーバベースのネットワークアーキテクチャ１００の実施形態の例が示されている。ネットワークサーバ側の機能性の１つの実施形態におけるネットワークシステム１０２は、通信ネットワーク１０４（例えば、インターネット、無線ネットワーク、セルラーネットワーク、広域ネットワーク（ＷＡＮ））を介して１つまたは複数のクライアント装置１１０及び１１２につながっている。図１は、例えば、ブラウザ（ワシントン州レッドモンドのマイクロソフト（登録商標）株式会社が開発したインターネットエクスプローラ（登録商標）ブラウザなど）を介して動作するウェブクライアント１０６や、クライアント装置１１０及び１１２の各々において実行するプログラムクライアント１０８を示している。
【００１２】
クライアント装置１１０及び１１２は、携帯電話、デスクトップコンピュータ、ラップトップまたはその他のユーザがネットワークシステム１０２にアクセスするために利用することができる任意の通信装置を備えることができる。いくつかの実施形態において、クライアント装置１１０は、撮像装置１１３（例えばカメラ、カムコーダ）を備え、または撮像装置１１３と接続可能にすることができる。さらなる実施形態において、クライアント装置１１０は、１つまたは複数のタッチスクリーン、加速度計、マイク、及びＧＰＳ装置を備えることができる。クライアント装置１１０及び１１２は、環境内の物品を視覚化することに関心がある個人ユーザの装置とすることもできる。
【００１３】
アプリケーション・プログラミング・インターフェース（ＡＰＩ）サーバ１１４とウェブサーバ１１６とが１つまたは複数のアプリケーションサーバ１１８につながって、１つまたは複数のアプリケーションサーバ１１８に対してそれぞれプログラミング・インターフェースとウェブインターフェースを提供する。アプリケーションサーバ１１８は、公開システム１２０と支払いシステム１２２をホストするが、その各々は、１つまたは複数のモジュール、アプリケーションまたはエンジンを備えていてもよく、また、その各々は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせとして具体化されてもよい。同様に、アプリケーションサーバ１１８は、１つまたは複数のデータベースサーバ１２４とつながって、１つまたは複数の情報格納場所即ちデータベース１２６へのアクセスを容易にする。データベース１２６は、実施形態の例にしたがって、ネットワークシステム１０２のユーザアカウント情報を格納することもできる。
【００１４】
実施形態の例において、公開システム１２０は、ネットワーク（例えばインターネット）上のコンテンツを公開する。公開システム１２０は、ネットワークシステム１０２にアクセスするユーザに対して、多くの公開機能と公開サービスを提供する。公開システム１２０については、図２との関連でより詳細に説明する。実施形態の例において、公開システム１２０については、市場（マーケットプレイス）環境との関連で説明する。しかしながら、公開システム１２０は、情報ネットワーク環境やソーシャルネットワーク環境などの非市場（非マーケットプレイス）環境とも関連付けられてもよい点に留意する。
【００１５】
支払いシステム１２２は、ユーザに対して多くの支払いサービスと支払い機能を提供する。支払いシステム１２２により、ユーザは、そのアカウントに（例えば、米ドルなどの市場通貨や、「ポイント」といった個人の所有に基づく通貨の形態で）価値を貯めておき、その後、公開システム１２０や、ネットワーク１０４上のその他別の場所を介して入手可能となった製品（例えば物またはサービス）と、貯めておいた価値とを引き換えることができる。また、支払いシステム１２２は、任意の種類及び形態のネットワークベースの市場を介して物品を購入するために、支払い機構（例えば、銀行口座、ペイパル（商標）またはクレジットカード）からの支払いを容易にする。
【００１６】
図１において、公開システム１２０と支払いシステム１２２との両方がネットワークシステム１０２の部分を構成するように示しているが、別の実施形態においては、支払いシステム１２２が、ネットワークシステム１０２とは別個独立の支払いサービスの部分を構成してもよい点が理解されるだろう。加えて、図１のネットワークアーキテクチャ１００の実施形態の例ではクライアントサーバアーキテクチャを採用しているが、当業者は、本発明の開示が、かかるアーキテクチャに限定されないことを認識するだろう。ネットワークアーキテクチャ１００は、例えば、分散型アーキテクチャシステムまたはピア・ツー・ピア型アーキテクチャシステムなどのアプリケーションにも同様にうまく適合できる。公開システム１２０と支払いシステム１２２は、別個のハードウェアプラットホームの下で動作し、必ずしもネットワーク機能を必要としない自立型（standalone）システムまたは自立型ソフトウェアプログラムとして実装されることもできる。
【００１７】
ここで、図２を参照すると、１つの実施形態において、ネットワークシステム１０２の公開システム１２０内に提供される複数の構成要素を示したブロック図の実施例が示されている。１つの実施形態において、公開システム１２０は、物品（例えば物またはサービス）が販売に供される市場（マーケットプレイス）システムである。別の実施形態において、公開システム１２０は、ソーシャルネットワークシステムまたは情報システムである。公開システム１２０は、サーバマシン間の通信を可能にするため通信可能につながった専用サーバマシンまたは共有サーバマシン（図示しない）によってホストされることができる。複数の構成要素自体は、直接的または間接的に互いに、また、様々なデータソースに通信可能に（例えば適切なインターフェースを介して）つながって、情報が複数の構成要素間に伝達されるように、または、複数構成要素が共通データを共有したり、アクセスしたりできるようにする。また、複数の構成要素は、１つまたは複数のデータサーバ１２４を介して１つまたは複数のデータベース１２６にアクセスすることができる。
【００１８】
１つの実施形態において、公開システム１２０は、これによって売り手が販売対象の物またはサービスを載せ、（または販売対象の物またはサービスに関する情報を公開し）、買い手がこうした物またはサービスに対して関心を示し、買いたいという意思表示をし、価格を物またはサービスに関する商取引のために設定することができる、多くの公開物、リスト、価格設定機構（メカニズム）を提供する。この目的のために、公開システム１２０は、少なくとも１つの公開エンジン２０２と１つまたは複数のショップエンジン２０４を備えることができる。１つの実施形態において、ショップエンジン２０４は、オークション形式のリストや価格設定機構をサポートするもの（例えば、イギリス、オランダ、中国のオークション、ダブルオークション、リバースオークションなど）とすることができる。
【００１９】
価格エンジン２０６は、様々な価格リストの形式をサポートする。このような形式の１つが、定価リストの形式（例えば、伝統的な案内広告型のリストやカタログリスト）である。その他の形式は、バイアウト型のリストを含む。バイアウト型のリスト（例えば、カリフォルニア州サンホセのイーベイ・インクによって開発されたバイイットナウ（ＢＩＮ）技術）は、オークション形式のリストとの関連で提供することができ、買い手は、その物品のオークション開始時の価格よりも通常高い定価で、オークションを介して販売されてもいる物やサービスを購入することもできる。
【００２０】
店舗エンジン２０８は、売り手が「仮想」店舗内で、リストを分類し或いはその他半売り手独自の方法で売り手によって、または売り手のために行うグループ分けができるようにする。このような仮想店舗は、宣伝、動機付け、及びその売り手特有の売り手ならではの機能を提供することもできる。１つの実施例において、売り手は、仮想店舗内でバイイットナウの物品として複数物品を売り出し、オークション用に複数物品を売り出し、またはこれらの組み合わせを売り出すことができる。
【００２１】
公開システム１２０のナビゲーションは、ナビゲーションエンジン２１０によって容易化できる。例えば、ナビゲーションエンジン２１０の検索モジュール（図示しない）は、リストのキーワード検索やその他、公開システム１２０を介して公開された情報検索を可能にする。さらなる実施例において、ナビゲーションエンジン２１０の閲覧モジュール（図示しない）は、ユーザが、公開システム１２０内でリストその他の情報を分類できる様々なカテゴリー、カタログまたはデータ構造を閲覧できるようにする。ナビゲーションエンジン２１０におけるその他の様々なナビゲーションのアプリケーションは、検索や閲覧のアプリケーションを補完するために提供することができる。１つの実施形態において、ナビゲーションエンジン２１０は、ユーザが、公開システム１２０内（例えば、仮想店舗、定価リストまたはオークション販売環境におけるリスト、ソーシャルネットワークシステムまたは情報システムにおけるリスト）の物品を検索したり閲覧したりできるようにする。別の実施形態において、ナビゲーションエンジン２１０は、ネットワーク全体（例えばネットワーク１０４）をナビゲートする（例えば検索する）ことができる。ナビゲーションエンジン２１０の結果に基づいて、ユーザは、環境に拡張することに関心がある物品を選択することができる。
【００２２】
ネットワークシステム１０２を介して利用可能な情報のリストまたはポストが、できるだけ多くの視覚的情報量を有し、かつ、できるだけ魅力的なものにするために、公開システム１２０は、ユーザがリストに含めるための画像をアップロードし、閲覧中のリストに画像を組み入れることを可能にする画像エンジン２１２を備えることができる。いくつかの実施形態において、画像エンジン２１２は、ユーザから画像データを受信し、その画像データを使用して拡張現実画像を生成する。例えば、画像エンジン２１２は、ユーザがその中で物品を視覚化したいと考える環境の環境画像（例えば静止画像やビデオ）を受信することができる。後により詳しく説明するように、画像エンジン２１２は、拡張現実エンジン２１８と協働して拡張現実画像を生成することができる。
【００２３】
リストエンジン２１４は、公開システム１２０上のリストを管理する。実施形態の例において、リストエンジン２１４は、ユーザが物品のリストを書くことを可能にする。このリストは、物品についての記載を伴った物品の画像を含むことができる。１つの実施形態において、リストは、ユーザ（例えば売り手）が公開システム１２０を介して取引を希望する物またはサービスに関する。従って、リストは販売用の物品の画像、及び、寸法、色彩、識別子（例えばＵＰＣコードやＩＳＢＮコード）といった物品についての記載を含めることができる。いくつかの実施形態において、ユーザは、広告またはその他の形態のネットワークシステム１０２に向けた公開であるリストをつくることができる。また、リストエンジン２１４は、様々な管理機能（自動再リスト、在庫量モニタリングなど）を提供することによって、ユーザがこうしたリストを管理できるようにする。
【００２４】
メッセージエンジン２１６は、ネットワークシステム１０２のユーザに対してメッセージを作成し、これを伝える責任を負う。このようなメッセージは、例えば、ユーザに対してリストの状況と最高値を知らせ（例えば、売り手に対して最高値を提示した買い手に承諾通知を出し）、または推奨品を提供することを含む。メッセージエンジン２１６は、複数のメッセージ伝達ネットワーク及びプラットホームの中から任意の１つを使用して、ユーザにメッセージを伝えることができる。例えば、メッセージエンジン２２２は、有線ネットワーク（例えばインターネット）または、旧来の電話サービス（ＰＯＴＳ）、または無線ネットワーク（例えば、移動電話、携帯電話、ＷｉＦｉ、ＷｉＭＡＸ）を介した電子メール（ｅ−ｍａｉｌ）、インスタント・メッセージ（ＩＭ）、ショート・メッセージ・サービス（ＳＭＳ）、テキスト、ファックスまたは音声（例えばＩＰ音声（Ｖｏｉｐ））メッセージを伝達することができる。
【００２５】
拡張現実エンジン２１８は、ユーザが特定した環境画像と物品に基づいて拡張現実の生成を管理する。拡張現実エンジン２１８については、以下図３との関連で、より詳細に説明する。
【００２６】
様々な個別のモジュール及びエンジンの観点から公開システム１２０の様々な構成要素を定義したが、当業者は、多くの物品がこれとは異なった態様で組み合わされたり、構成されたりできることを認識するだろう。或いは、図２の公開システム１２０の全ての構成要素が使用されなくてもよい。さらに、図２において市場システム１２０の全ての構成要素が含まれていなくてもよい。一般に、例示的な実施形態の機能に直接関係しない構成要素、プロトコル、構造及び技術（例えば、紛争解決エンジン、ポイントカードエンジン、パーソナライズエンジンなど）については図示していないし、詳細に説明もしていない。本明細書の記載は、その中で使用されるシステムや方法を理解するうえで読者の一助となるために様々な例示的実施形態を示すものにすぎない。
【００２７】
図３は、拡張現実エンジン２１６の実施形態の例を示したブロック図である。実施形態の例において、拡張現実エンジン２１６は、アクセスモジュール３００、距離モジュール３０２、サイズモジュール３０４、縮尺モジュール（縮小／拡大モジュール）３０６、位置付けモジュール（方向付けモジュール）３０８、拡張モジュール３１０、推奨モジュール３１２、保存モジュール３１４、購入モジュール３１６を含む。別の実施形態において、拡張現実エンジン２１６の１つまたは複数のモジュールの機能は、組み合わされていてもよく、１つまたは複数のモジュールが拡張現実エンジン２１６から除かれていてもよく、または１つまたは複数のモジュールは、ネットワーク１０２内のどこか別の場所（例えば画像エンジン２１４、ショップエンジン２０４）またはクライアント装置１１０にあってもよい。
【００２８】
実施形態の例において、画像エンジン２１２は、クライアント装置１１０から環境の環境画像データ（例えば静止画像、ビデオ（映像））を受信することができる。環境画像データは、その後、処理を行うために、拡張現実エンジン２１６に供給される。いくつかの実施例において、拡張現実エンジン２１６は、ユーザが環境内で視覚化することに関心がある物品の物品データと、環境内でその物品が拡張される場所の表示とを受信する。物品データは、ナビゲーションエンジン２１０の検索機能または閲覧機能を使用して見つけた物品のユーザ選択に基づいて、ナビゲーションエンジン２１０によって提供される。
【００２９】
或いは、物品データは、クライアント装置１１０から受信することができる。例えば、ユーザは、環境に拡張することに関心がある物品の画像を撮影することができる（例えば、店舗にある物品の写真を撮る）。いくつかの場合において、ユーザは、寸法や識別子（例えばＵＰＣコード）など、物品に関する情報を入力することができる。拡張現実エンジン２１６は、クライアント装置１１０から物品データを受信する。
【００３０】
アクセスモジュール３００は、選択した物品の物品データにアクセスする。いくつかの実施形態において、環境に拡張される物品は、ユーザによってクライアント装置で選択され、その選択は、例えば、ナビゲーションエンジン２１０によって受信することができる。別の実施形態において、選択は、アクセスモジュール３００によって受信される。選択に基づいて、アクセスモジュール３００は、その選択に対応した情報にアクセスすることができる。選択が、物品の物品リストである場合、アクセスモジュール３００は、物品リストにアクセスし、そのリストから物品データ（例えば、寸法、画像）を抽出することができる。別の実施例において、選択が、ユーザが入力した名称や物品のその他の物品識別子（例えば、ＵＰＣコード）の場合、アクセスモジュール３００は、物品識別子を使用して、物品データを格納しているカタログ（例えばデータベース１２６に格納されている）にアクセスすることができる。
【００３１】
距離モジュール３０２は、環境の画像における中心点（focal point）までの距離を測定する。中心点は、物品画像が拡張されるユーザが選択した領域（「指示場所（指示された場所）」とも記載する）とすることができる。例えば、環境が部屋の場合、物品画像が拡張される壁までの距離が測定（決定）される。１つの実施形態において、距離モジュール３０２は、距離を測定するために、クライアント装置１１０の撮像装置１１３の、またはクライアント装置１１０につながった撮像装置１１３のピント合わせ機能（焦点合わせ能力）を使用することができる。或いは、距離モジュール３０２は、距離を測定するために、クライアント装置１１０を音波発生装置（サウンドジェネレータ）として用いたエコー技術を使用することができる。例えば、クライアント装置１１０は、壁の方向に音声を発生させることができ、エコーが返ってくる時間量が登録される。距離モジュール３０２は、この時間量を使用して、距離を測定することができる。距離は、みる人の視点または撮像装置（例えばカメラなど）から中心点までの距離である。
【００３２】
サイズモジュール３０４は、環境のサイズを測定（決定）する。実施形態の例において、サイズモジュール３０４は、サイズを計算するために環境画像データ内のマーカ（既知の標準寸法を有する物体）を使用する。例えば、ドアが環境画像データ中に表示されている場合、サイズモジュール３０４は、そのドアが標準サイズのドア（例えば３６インチ×８０インチ）であり、または、ドアノブが床から３６インチの所にあるなどと想定することができる。これらの既知の標準寸法を使用して環境のサイズの測定を行うことができる。別の実施例において、環境が自動車である場合、マーカは、自動車のホイールウェルとすることができる。この実施例において、ユーザは、環境画像データを提供する際に、自動車の種類を特定することができる。
【００３３】
縮尺モジュール（縮小／拡大モジュール）３０６は、距離モジュール３０２、サイズモジュール３０４によってそれぞれ測定された距離及びサイズに基づいて物品の画像を縮小／拡大する。従って、縮尺モジュール３０６は、選択した物品についての物品データを（例えばナビゲーションエンジン２１０から）受信したり、（例えばデータベース１２６から）取り出したりすることができる。物品データは、物品画像、寸法または物品識別子を含むことができる。物品画像と寸法が提供されている場合、縮尺モジュール３０６は、サイズモジュール３０４によって測定されたサイズに基づいて、環境に合わせて物品画像を縮小／拡大するため、物品画像と寸法を使用することができる。或いは、画像か寸法のいずれか１つが提供されていない場合は、その物品の画像や物品情報（例えば、寸法や記載）を含む物品カタログ中の物品を調べるために、物品識別子を使用することができる。１つの実施形態において、縮尺モジュール３０６は、物品カタログから物品情報を調べ、かつ取り出すことができる。
【００３４】
ひとたび物品画像が縮小／拡大されると、縮小／拡大された物品画像は、位置付けモジュール（方向付けモジュール）３０８によって環境に合わせて位置付け（方向付け）される。例えば、環境画像が少し角度の付いた壁を有しており、かつ、縮小／拡大された物品画像がその壁に配置されるべき場合、位置付けモジュール３０８は、その縮小／拡大された物品画像を壁の角度に合わせて位置付ける（方向付ける）。距離モジュール３０２、サイズモジュール３０４、縮尺モジュール３０６及び位置付けモジュール３０８の機能は、物品画像について適切なサイズ測定と位置付けを決定できる１つまたは複数のモジュールに組み合わせ可能である点に留意する。いくつかの実施形態において、これらの組み合わせたモジュールは、１つまたは複数のジャイロスコープや加速度計を含んだり、利用したりすることができる。
【００３５】
拡張モジュール３１０は、縮小／拡大され且つ位置付け（方向付け）された物品画像を環境に合わせて拡張し、拡張現実画像を作り出す。その後、拡張モジュール３１０は、クライアント装置１１０に対して拡張現実画像を提供する。
【００３６】
推奨モジュール３１２は、任意で、環境に対する代替物品の推奨を行う。例えば、縮小／拡大され且つ位置付け（方向付け）された物品画像が（例えば拡張モジュール３１０によって決定された）環境画像上の表示領域に対して大きすぎる場合、推奨モジュール３１２は、より小さく、かつ、表示領域によりよく適合する１つまたは複数の代替物品を提案することができる。従って、推奨モジュール３１２は、１つまたは複数の代替物品を見つけるために、指示領域にもっと適した寸法を決定し、検索する（例えば、ナビゲーションエンジン２１０に対して検索するよう指示する）ことができる。その後、推奨モジュール３１２は、物品情報を取り出し、ユーザへの提案として代替物品を提供することができる。１つの実施形態において、代替物品は、拡張現実画像を表示する表示部側かポップアップウィンドウ上に掲載することができる。
【００３７】
保存モジュール３１４は、後に使用するために環境画像を保存する。１つの実施形態において、環境画像は、ネットワーク環境１０２のデータベース１２６に格納することができる。或いは、環境画像は、クライアント装置１１０に格納することができる。例えば、ユーザは、部屋に対する環境画像を記録し、その環境画像を保存することができる。後の時点で、ユーザは、保存した環境画像を拡張することに関心がある物品の物品画像を取得することができる。保存モジュール３１４は、保存した環境画像にアクセスし、これを取り出すことができる。
【００３８】
購入モジュール３１６は、ユーザが環境に拡張される物品または推奨モジュール３１２が推奨する代替物品を購入できるようにする。１つの実施形態において、購入モジュール３１６は、拡張現実画像上またはその近くに、選択が行われると、ユーザが例えばその物品の購入ページ、その物品を販売している店舗の店頭、または購入対象物品の在庫があるかどうかのサーチ結果を示したサーチページのどこに進むかという選択肢（selection）を提供する。別の実施形態において、選択が有効にされると、物品の自動購入が開始されるようにすることもできる。ひとたび選択が行われると、購入モジュール３１６は、購入を容易にするための対応するアクションを起こす（例えば、ナビゲーションエンジン２１０に物品のサーチを送信する、ショップエンジン２０４を使用して１つまたは複数のリストを提供する、店舗エンジン２０８と関連するウェブページを提供する）。
【００３９】
図４は、拡張現実を用いた環境における物品の視覚化のためのハイレベルの方法の実施例を示した流れ図である。動作４０２において、環境画像データが受信される。実施形態の例において、画像エンジン２１２は、クライアント装置１１０から環境画像データを受信することができる。環境画像データは、ユーザが物品画像を拡張したいと考える環境の画像を含むことができる。
【００４０】
動作４０４において、環境に拡張する物品の選択が受信される。いくつかの実施形態において、ナビゲーションエンジン２１０は、クライアント装置から物品の選択肢を受信する。別の実施形態において、画像エンジン２１２は、ユーザが環境に拡張することに関心がある物品の画像を受信する。
【００４１】
受信した物品の選択肢に基づいて、物品データは動作４０６においてアクセスを受ける。アクセスモジュール３００は、選択した物品に対する物品データにアクセスする。物品データは、物品の物品リストから抽出することができ、物品カタログから取り出すことができ、或いは、製造業者や再販売業者のウェブサイトから取り出すことができる（例えば、物品の物品識別子を使用する）。
【００４２】
動作４０８において、拡張処理が開始される。拡張処理は、環境画像データと選択した物品を取り込み、物品の物品画像を環境画像に拡張または併合する。拡張処理の動作については、図５との関連で詳細に説明する。
【００４３】
拡張の結果が、動作４１０において提供される。この結果は、環境に拡張された選択した物品を有する環境のビデオ（「拡張現実画像」と記載する）を含むことができる。実施形態の例において、拡張モジュール３１０は、環境画像、物品選択、またはその両方を提供したユーザのクライアント装置１１０に拡張現実画像を提供する。
【００４４】
動作４１２において、変形が受信されたか否かの決定がなされる。いくつかの実施形態において、変形は、撮像装置１１３の動きによって起きることがある。例えば、撮像装置１１３がビデオカメラである場合、変形は、ビデオカメラによって撮影された環境内の動きである。別の実施形態において、ユーザは、推奨モジュール３１２によって提供される推奨に基づいて代替物品を選択することができる。変形に基づいて、方法４００は、新たな物品の物品データにアクセスするため動作４０６に戻るか、または、例えば環境内の動きに基づいて拡張処理を行うために動作４０８に戻る。
【００４５】
図５は、拡張現実画像を生成するためのハイレベルの方法（動作４０８）の実施例を示した流れ図である。動作５０２において、距離が、距離モジュール３０２によって測定される。距離モジュール３０２は、環境内の中心点までの距離を測定する。中心点は、物品画像が拡張される、ユーザが選択した領域とすることができる。１つの実施形態において、距離モジュール３０２は、距離を測定するために、クライアント装置１１０の撮像装置１１３の、またはクライアント装置１１０につながった撮像装置１１３の諸機能（例えば、ピント合わせ機能、音声に基づくエコー機能）を使用することができる。
【００４６】
動作５０４において、サイズモジュール３０４による環境のサイズ測定が行われる。実施形態の例において、サイズモジュール３０４は、サイズを計算するために環境画像データ内のマーカを使用する。マーカの既知の標準寸法を使用して、サイズモジュール３０４によって環境のサイズ測定を行うことができる。
【００４７】
物品画像は、動作５０６において縮小／拡大される。縮尺モジュール３０６は、距離モジュール３０２とサイズモジュール３０４とがそれぞれ測定した距離とサイズに基づいて物品の画像を縮小／拡大する。従って、縮尺モジュール３０６は、物品画像、寸法、または物品識別子を含む物品データを受信しまたは取り出すことができる。取り出した物品データは、その後、測定した距離とサイズに関するデータに関連して物品画像を縮小／拡大するために使用される。
【００４８】
ひとたび物品画像が縮小／拡大されると、縮小／拡大した物品画像は、動作５０８において、位置付けモジュール３０８により、環境に合わせて位置付けることができる。例えば、環境画像が少し角度の付いた壁を有しており、かつ、縮小／拡大された物品画像がその壁に配置されるべき場合、位置付けモジュール３０８は、その縮小／拡大された物品画像を壁の角度に合わせて位置付ける。
【００４９】
動作５１０において、縮小／拡大し且つ位置付け（方向付け）した物品画像は環境画像と併合される。拡張モジュール３１０は、縮小／拡大し且つ位置付け（方向付け）した物品画像を環境画像に合わせて拡張し、拡張現実画像を作成する。図５の動作は、より少ない動作と組み合わせることもできる点に留意する。或いは、図５におけるいくつかの動作は任意とすることもできる。
【００５０】
図６Ａは、環境画像６００の実施例におけるスクリーンショットである。環境画像６００は、撮像装置１１３によって撮像することができ、または、格納場所（例えば、データベース１２６）から取り出すこともできる。この実施例において、環境画像６００は、ユーザがその中で物品を拡張したいと考えている部屋の画像である。この場合、環境画像６００は、ユーザが物品を見たいと考えている場所から取り出される。例えば、その物品が薄型テレビの場合、環境画像６００は、ユーザがその薄型テレビを見るためのソファを置くだろう場所から取り出すことができる。
【００５１】
図６Ｂは、拡張した物品画像を伴った環境画像６００のスクリーンショットである。この実施例において、ユーザによって選択された薄型テレビ６０２の画像は、環境画像６００中のユーザによって表示された場所に配置される。１つの実施形態において、スクリーンショットを表示している表示画面上の選択肢を有効にすることによって追加情報が取得されることができる。例えば、ユーザは、スクリーンショット上の薄型テレビ６０２の画像を選択して、購入情報（例えば購入場所、オンラインストアへのリンク、物品、価格のリスト）、物品情報（例えば、寸法、記載）、代替品の推奨（例えば、より小さなまたは大きな物品、同程度の物品、より安価な物品、新バージョンの物品）、またはこれらの任意の組み合わせを提供する新しいウィンドウ（例えば、スクリーンショットの部分の上にある新しいウィンドウ）を開くことができる。
【００５２】
図６Ｃは、選択した物品に関連する、新しいウィンドウ内のショッピング情報を表示したスクリーンショットの実施例を示す。この実施例において、ウィンドウ６０４は、物品が購入できる様々な市場へのリンクとともに、最安値、最高値、平均値を含むショッピング情報を提供する。ユーザが薄型テレビの画像の選択を行うか、追加情報を受信したいという要求を示すその他の何らかのアクションを起こす場合にウィンドウ６０４が提供される。
【００５３】
図６Ｄは、選択した物品に関する追加情報を提供するウィンドウ６０４を表示するスクリーンショットの実施例を示す。この実施例において、ウィンドウ６０４は、選択した物品の寸法、重量、物品識別子、及び製品に関する記載を提供する。ウィンドウ６０４において、選択した物品に関する任意の情報が提供されてもよい。
【００５４】
図６Ｅは、推奨を有するウィンドウ６０４を表示するスクリーンショットの実施例を示す。推奨は、推奨モジュール３１２によって行うことができ、推奨には、各推奨物品の名称とその画像を含むことができる。ウィンドウ６０４において、価格、評価または寸法などのその他の情報も提供することができる。推奨は、例えば、ユーザが指定した場所によりよく適合する物品、選択した物品よりも安価な物品、選択した物品のニューモデルである物品、システムの他のユーザからの評価がより高い物品とすることができる。
【００５５】
図６Ｃから図６Ｅの様々な実施例によって、追加情報を表示するためのウィンドウ６０４を示してきたが、追加情報を提供するために、その他の実施形態においてその他の表示機構を使用することができる。例えば、追加情報は、環境画像６００を示すための表示部の側に表示することができる。
【００５６】
［モジュール、構成要素、ロジック］
加えて、本明細書に記載する特定の実施形態は、ロジックまたは、複数のモジュール、エンジン、構成要素または機構として実装することができる。モジュール、エンジン、ロジック、構成要素または機構（まとめて「モジュール」と記載する）は、一定の動作を行うことができ、一定の方式で構成または配置された有体物とすることができる。ある特定の実施形態の例において、１つまたは複数のコンピュータシステム（例えば、自立型、クライアント、またはサーバコンピュータシステム）またはコンピュータシステムの１つまたは複数の構成要素（例えば、プロセッサまたは一群のプロセッサ）は、本明細書に記載する一定の動作を行うために動作するモジュールとして、ソフトウェア（例えば、アプリケーションまたはアプリケーション部分）またはファームウェア（当業者に知られているように、ここではソフトウェアとファームウェアとが一般に互換可能に使用され得ることに留意する）によって構成することができる。
【００５７】
様々な実施形態において、モジュールは、機械的または電子的に実装することができる。例えば、モジュールは、一定の動作を行うために固定的に構成された（例えば、専用プロセッサ、特定用途向け集積回路（ＡＳＩＣ）または配列）専用回路またはロジックを含むことができる。また、モジュールは、一定の動作を行うソフトウェアまたはファームウェアによって一時的に構成されたプログラマブルロジックまたは回路（例えば汎用プロセッサまたはその他のプログラマブルプロセッサに包含されるようなもの）を含むことができる。専用の、かつ固定的に構成された回路において、または一時的に構成された回路（例えば、ソフトウェアによって構成されたもの）において、モジュールを機械的に実装することの決定は、費用、時間、エネルギー使用量、及びパッケージ寸法に鑑みてなされ得ることが理解されるだろう。
【００５８】
従って、「モジュール」という用語は、それが物理的に構成され、固定的に構成されているもの（例えばハードウェアにより実現されているもの）であれ、一時的に構成されている（プログラミングされている）ものであれ、一定の方法で動作し、または、本明細書に記載されている特定の動作を行う有体物を包含することが理解されるべきである。モジュールまたは構成要素が一時的に構成される（例えばプログラミングされる）実施形態を考えると、モジュールまたは構成要素のそれぞれは、同時間内に構成されたり、インスタンスを作成したりする必要はない。例えば、モジュールまたは構成要素がソフトウェアを使用する構成の汎用プロセッサを含む状況では、汎用プロセッサは異なる時間におけるそれぞれ異なるモジュールとして構成することができる。このようにして、ソフトウェアは、ある時点において特定のモジュールを構成し、異なる時点においては異なるモジュールを構成してプロセッサを構成することができる。
【００５９】
モジュールは、その他のモジュールへ情報を提供し、かつ、その他のモジュールから情報を受信することができる。従って、記載したモジュールは通信可能につながっていると考えることができる。こうした複数のモジュールが同時に存在する場合、通信は、モジュールを接続する信号伝達（例えば適切な回路やバス上で）を介して達成することができる。異なる時間において複数のモジュールが構成されインスタンスを作成する実施形態において、こうしたモジュール間の通信は、例えば、複数のモジュールがアクセスするメモリ構造における情報の格納や取り出しを介して達成することができる。例えば、１つのモジュールは、１つの動作を行い、それが通信可能につながっているメモリ装置にその動作の出力を保存する。その後、別のモジュールが、格納した出力を取り出し、処理するためにメモリ装置にアクセスする。モジュールは、入力装置や出力装置と通信を開始することもでき、リソース（例えば、情報のコレクション）上で動作することもできる。
【００６０】
［機械アーキテクチャ、機械可読媒体の実施例］
図７を参照すると、実施形態の例は、機械に対して本明細書にて説明した１つまたは複数の方法を行わせる指示が実行されるコンピュータシステム７００の実施例の形態における機械にまで拡張する。別の実施形態の例において、機械は、自立型装置として動作し、またはその他の機械に接続（ネットワーク）することができる。ネットワークの配置において、機械は、サーバ‐クライアントネットワーク環境ではサーバまたはクライアント装置として動作し、ピア・ツー・ピア（または分散型）ネットワーク環境ではピア機械として動作することができる。機械は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯端末（ＰＤＡ）、携帯電話、ウェブ装置、ネットワークルータ、スイッチまたはブリッジ、またはその機械で行うことができる動作を特定する指示（順次またはその他）を実行できるその他の任意の機械とすることができる。さらに、単一の機械が示されているが、「機械」という用語は、本明細書で説明する任意の１つまたは複数の方法を行うための一組の指示（または複数の組）を個別または一緒に実行する機械の任意の集合体を含むことも意図している。
【００６１】
コンピュータシステム７００の実施例は、バス７０８を介して互いに通信するプロセッサ７０２（例えば、中央演算処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）または両方）、メインメモリ７０４、及びスタティックメモリ７０６を含むことができる。コンピュータシステム７００は、さらにビデオ表示部７１０（例えば液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ））を含むことができる。実施形態の例において、コンピュータシステム７００は、１つまたは複数の英数字入力装置７１２（例えばキーボード）、ユーザインターフェース（ＵＩ）ナビゲーション装置またはカーソル制御装置７１４（例えばマウス）、ディスクドライブ部７１６、信号生成装置７１８（例えばスピーカ）、及びネットワークインターフェース装置７２０も含む。
【００６２】
［機械可読記憶媒体］
ディスクドライブ部７１６は、本明細書に記載された任意の１つまたは複数の方法または機能を具体化する、またはこれらの方法や機能が使用する１つまたは複数の指示７２４とデータ構造（例えば、ソフトウェアの指示）とが格納された機械可読記憶媒体７２２を含む。指示７２４は、コンピュータシステム７００によるその実行中に、完全に、または少なくとも部分的にメインメモリ７０４内またはプロセッサ７０２内に存在することができ、メインメモリ７０４とプロセッサ７０２も機械可読媒体を構成する。
【００６３】
機械可読記憶媒体７２２は、実施形態の例において単独の媒体として示されたが、「機械可読記憶媒体」という用語は、単独の媒体も１つまたは複数の指示を格納する複数の媒体（例えば、集中若しくは分散データベース、または関連するキャッシュやサーバ）も含めることができる。また、「機械可読媒体」という用語は、機械によって実行するための指示を格納し、符号化し、または伝達することができる任意の有体物たる媒体であって、機械に対して本発明の実施形態の方法の１つまたは複数を実行させ、このような指示が使用する、またはこのような指示と関連するデータ構造を格納し、符号化し、または伝達することができる媒体を含むと解釈される。従って、「機械可読記憶媒体」という用語は、固体記憶装置及び光媒体、磁気媒体を含むと解釈されるが、これらに限定されない。機械可読記憶媒体の具体例は、例えば、半導体メモリ装置（例えば、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）及びフラッシュメモリ装置）、内蔵ハードディスクやリムーバブル・ディスクなどの磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクなどの不揮発性メモリを含む。
【００６４】
［伝送媒体］
さらに、指示７２４は、ネットワークインターフェース装置７２０を介して伝送媒体を使用し、周知の複数の転送プロトコル（例えばＨＴＴＰ）のうち任意の１つを利用して通信ネットワーク７２６上で送受信することができる。通信ネットワークの例は、ローカルエリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット、携帯電話網、ＰＯＴＳネットワーク、及び無線データネットワーク（例えばＷｉＦｉやＷｉＭａｘネットワーク）を含む。「伝送媒体」という用語は、機械によって実行するための指示を格納し、符号化し、または伝達することができる任意の無体物たる媒体を含むと解釈され、デジタル若しくはアナログの通信信号またはソフトウェアの通信を容易にするようなその他の無体物たる媒体を含む。
【００６５】
具体的な実施形態の例を参照しながら発明事項を概観したが、本発明の実施形態のより広い精神及び範囲から逸脱することなく、これらの実施形態に対して様々な変形や変更を加えることができる。発明事項のこうした実施形態は、単なる簡便化のために、本明細書において個別的にまたは集合的に「発明」と記載することができ、いかなる１つの発明や、複数の発明が開示された場合には１つの発明概念へと本願を制限する意図を有するものではない。
【００６６】
開示した教示内容を当業者が実践できるように、本明細書で示す実施形態を充分詳細に記載した。その他の実施形態についてもこの開示内容の範囲を逸脱することなく構造上及び論理上の代替や変更を使用し、導出することができる。従って、発明の詳細な説明は、制限的な意味合いに解釈されるべきではなく、また、様々な実施形態の範囲は、添付の請求項とこの請求項の均等物の全範囲によってのみ定義されるものである。
【００６７】
さらに、本明細書で記載するリソース、動作または構造に対して複数のインスタンスが単独のインスタンスとして提供されてもよい。加えて、様々なリソース、動作、モジュール、エンジン、データソースの境界は幾分恣意的であり、特定の動作は具体的な例示による構成によって示している。その他の機能の配分が想定されており、本発明の様々な実施形態の範囲に入れることができる。一般的に、実施例の構成において別個のリソースとして提示された構造や機能は、構造やリソースの組み合わせとして実装できる。同様に単独のリソースとして提示された構造や機能は、別個のリソースとして実装できる。これらの、またはその他のバリエーション、変形、追加、及び改良は、添付の請求項に記載されるように本発明の実施形態の範囲内に含まれる。従って、明細書及び図面は制限的な意味合いではなく、例示的な意味合いに解釈されるものである。
【符号の説明】
【００６８】
１００  ネットワークアーキテクチャ
１０２  ネットワークシステム
１０４  通信ネットワーク
１０６  ウェブクライアント
１０８  プログラムクライアント
１１０、１１２  クライアント装置
１１３  撮像装置
１１４  ＡＰＩサーバ
１１６  ウェブサーバ
１１８  アプリケーションサーバ
１２０  公開システム
１２２  支払いシステム
１２４  データベースサーバ
１２６  データベース
２０２  公開エンジン
２０４  ショップエンジン
２０６  価格エンジン
２０８  店舗エンジン
２１０  ナビゲーションエンジン
２１２  画像エンジン
２１４  リストエンジン
２１６  メッセージエンジン
２１８  拡張現実エンジン
３００  アクセスモジュール
３０２  距離モジュール
３０４  サイズモジュール
３０６  縮尺モジュール
３０８  位置付け（方向付け）モジュール
３１０  拡張モジュール
３１２  推奨モジュール
３１４  保存モジュール
３１６  購入モジュール
【図１】
2019029026.tif 000003
【図２】
2019029026.tif 000004
【図３】
2019029026.tif 000005
【図４】
2019029026.tif 000006
【図５】
2019029026.tif 000007
【図６Ａ】
2019029026.tif 000008
【図６Ｂ】
2019029026.tif 000009
【図６Ｃ】
2019029026.tif 000010
【図６Ｄ】
2019029026.tif 000011
【図６Ｅ】
2019029026.tif 000012
【図７】
2019029026.tif 000013
【手続補正書】
【提出日】平成30年10月5日(2018.10.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
環境の画像を含む環境画像データを受信することと、
前記環境の画像の指示場所へ配置するための物品の選択を受信することと、
前記環境画像データに基づいて、前記環境における前記指示場所までの距離を決定することと、
前記環境画像データ内のマーカとなる物体の種類毎に設定された該物体の標準寸法に基づいて、前記環境のサイズを決定することと、
前記指示場所までの前記距離及び前記環境の前記サイズに基づいて、前記選択された物品の物品画像を縮小／拡大することと、
前記縮小／拡大された物品画像を、前記環境の画像における前記指示場所に拡張して拡張現実画像を生成することと、
を含む方法。
【請求項２】
前記指示場所の方向を決定することと、
前記縮小／拡大された物品画像を、前記指示場所の前記決定された方向に向けることと、を更に含む、請求項１に記載の方法。
【請求項３】
前記環境の前記画像は前記環境の映像を含み、前記物品画像を縮小／拡大することと、前記縮小／拡大された物品画像を拡張することは、前記映像に対して繰り返し実行される、請求項１に記載の方法。
【請求項４】
前記物品の前記選択を受信することは、前記選択された物品の前記物品画像を受信することを含む、請求項１に記載の方法。
【請求項５】
前記選択された物品の物品データを物品カタログから取得することを更に含み、前記物品データは前記選択された物品の寸法データを含む、請求項１に記載の方法。
【請求項６】
前記拡張現実画像をユーザの装置上に表示させることであって、前記拡張現実画像中の前記縮小／拡大された物品画像は、追加の情報を表示させるように選択可能である、ことと、
前記拡張現実画像中の前記縮小／拡大された物品画像の選択を受信することと、
前記縮小／拡大された物品画像の前記選択を受信したことに応答して、前記追加の情報を前記ユーザの前記装置上に提示させることと、を更に含む、請求項１に記載の方法。
【請求項７】
１つ以上のハードウェアプロセッサと、
前記１つ以上のハードウェアプロセッサによって実行される時に、
環境の画像を含む環境画像データを受信することと、
前記環境の画像の指示場所へ配置するための物品の選択を受信することと、
前記環境画像データに基づき、前記環境における前記指示場所までの距離を決定することと、
前記環境画像データ内のマーカとなる物体の種類毎に設定された該物体の標準寸法に基づいて、前記環境のサイズを決定することと、
前記指示場所までの前記距離及び前記環境の前記サイズに基づいて、前記選択された物品の物品画像を縮小／拡大することと、
前記縮小／拡大された物品画像を、前記環境の画像における前記指示場所に拡張して、拡張現実画像を生成することと、
を含む動作を前記１つ以上のハードウェアプロセッサに実行させる命令を記憶する記憶装置と、
を含むシステム。
【請求項８】
機械の少なくとも１つのプロセッサによって実行される時に、
環境の画像を含む環境画像データを受信することと、
前記環境の画像の指示場所へ配置するための物品の選択を受信することと、
前記環境画像データに基づき、前記環境における前記指示場所までの距離を決定することと、
前記環境画像データ内のマーカとなる物体の種類毎に設定された該物体の標準寸法に基づいて、前記環境のサイズを決定することと、
前記指示場所までの前記距離及び前記環境の前記サイズに基づいて、前記選択された物品の物品画像を縮小／拡大することと、
前記縮小／拡大された物品画像を、前記環境の画像における前記指示場所に拡張して、拡張現実画像を生成することと、
を含む動作を前記機械に実行させる命令を記憶するハードウェア記憶装置。