(57)【要約】【課題】  現実感提示装置に適用される測位方法を提供する【解決手段】  現実感提示装置に適用される測位方法が、現実環境の複数の第１の画像を収集し、複数の第１の画像に従って現実環境に対応する仮想環境を構築するステップと、現実感提示装置により、現実環境の第２の画像を取得するステップと、複数の第１の画像及び第２の画像に従って、第２の画像に対応する仮想環境における初期仮想位置を計算するステップと、現実感提示装置により、現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示するステップとを含み、初期仮想位置は、現実感提示装置が第２の画像を捕捉する現実環境における初期現実場所に対応する。【選択図】  図１
2020098381.tif 000002
【特許請求の範囲】
【請求項１】
現実環境の複数の第１の画像を収集し、前記複数の第１の画像に従って前記現実環境に対応する仮想環境を構築するステップと、
現実感提示装置により、前記現実環境の第２の画像を取得するステップと、
前記複数の第１の画像及び前記第２の画像に従って、前記第２の画像に対応する前記仮想環境における初期仮想位置を計算するステップと、
前記現実感提示装置により、前記現実感提示装置の特定アプリケーションが開始されるときに前記初期仮想位置からの視点で前記仮想環境を表示するステップと、
を含み、
前記初期仮想位置は、前記現実感提示装置が前記第２の画像を捕捉する前記現実環境における初期現実場所に対応する、測位方法。
【請求項２】
前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するステップと、
前記複数の第１の画像内の少なくとも一のフィルタされた画像を、前記少なくとも一のフィルタされた画像に対応する少なくとも一のフィルタされた相関係数が特定の閾値より大きいように、取得するステップであって、前記少なくとも一のフィルタされた画像は、前記仮想環境における少なくとも一の仮想位置に対応し、前記少なくとも一の仮想位置は、前記現実感提示装置が前記少なくとも一のフィルタされた画像を捕捉する前記現実環境における少なくとも一の現実場所に対応する、ステップと、
前記少なくとも一のフィルタされた画像及び前記第２の画像に従って前記初期仮想位置を計算するステップと、
をさらに含む請求項１に記載の測位方法。
【請求項３】
前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するステップは、
前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するステップと、
前記第２の画像に対応する第２の定量化ベクトルを取得するステップと、
前記第２の定量化ベクトルに対する前記複数の第１の定量化ベクトルの複数の第１の相関係数を計算するステップと、
前記複数の相関係数を前記複数の第１の相関係数として取得するステップと、
を含む、請求項２に記載の測位方法。
【請求項４】
前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するステップは、
前記複数の第１の画像に対して特徴抽出演算を実行して前記複数の第１の定量化ベクトルを取得するステップ、を含み、
前記複数の第１の画像内の第１の画像に対応する定量化ベクトルは、前記第１の画像内の複数の特徴に対応する複数の出現数を示す、請求項３に記載の測位方法。
【請求項５】
前記第２の画像に対応する第２の定量化ベクトルを取得するステップは、
前記第２の画像に対して特徴抽出演算を実行して前記第２の定量化ベクトルを取得するステップ、を含み、
前記第２の定量化ベクトルは、前記第２の画像内の複数の特徴に対応する複数の出現数を示す、請求項３に記載の測位方法。
【請求項６】
前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記仮想環境における前記第２の画像に対応する前記初期仮想位置を計算するステップは、
前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記少なくとも一の仮想位置内の仮想位置に関連した相対仮想位置を計算するステップと、
前記仮想位置及び前記相対仮想位置に従って前記第２の画像に対応する前記初期仮想位置を計算するステップと、
を含む、請求項２に記載の測位方法。
【請求項７】
ユーザに対する仮想環境を表示できる現実感提示装置であって、前記仮想環境は、現実環境から捕捉された複数の第１の画像に基づいて構築され、当該現実感提示装置は、
前記現実環境から第２の画像を捕捉するように構成された画像捕捉モジュールと、
前記複数の第１の画像に従って前記現実環境に対応する前記仮想環境を構築するステップ、及び
前記複数の第１の画像及び前記第２の画像に従って前記第２の画像に対応する前記仮想環境における初期仮想位置を計算するステップ
を実行するように構成された処理ユニットと、
当該現実感提示装置の特定アプリケーションが開始されるときに前記初期仮想位置からの視点で前記仮想環境を表示するように構成された表示画面と、を含み、
前記初期仮想位置は、当該現実感提示装置が前記第２の画像を捕捉する前記現実環境における初期現実場所に対応する、現実感提示装置。
【請求項８】
前記処理ユニットは、
前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するステップと、
前記複数の第１の画像内の少なくとも一のフィルタされた画像を、前記少なくとも一のフィルタされた画像に対応する少なくとも一のフィルタされた相関係数が特定の閾値より大きいように、取得するステップであって、前記少なくとも一のフィルタされた画像は、前記仮想環境における少なくとも一の仮想位置に対応し、前記少なくとも一の仮想位置は、前記現実感提示装置が前記少なくとも一のフィルタされた画像を捕捉する前記現実環境における少なくとも一の現実場所に対応する、ステップと、
前記少なくとも一のフィルタされた画像及び前記第２の画像に従って前記初期仮想位置を計算するステップと、
を実行するようにさらに構成される、請求項７に記載の現実感提示装置。
【請求項９】
前記処理ユニットは、前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するために、
前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するステップと、
前記第２の画像に対応する第２の定量化ベクトルを取得するステップと、
前記第２の定量化ベクトルに対する前記複数の第１の定量化ベクトルの複数の第１の相関係数を計算するステップと、
前記複数の相関係数を前記複数の第１の相関係数として取得するステップと、
を実行するようにさらに構成される、請求項８に記載の現実感提示装置。
【請求項１０】
前記処理ユニットは、前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するために、
前記複数の第１の画像に対して特徴抽出演算を実行して前記複数の第１の定量化ベクトルを取得するステップ、を実行するようにさらに構成され、
前記複数の第１の画像内の第１の画像に対応する定量化ベクトルは、前記第１の画像内の複数の特徴に対応する複数の出現数を示す、請求項９に記載の現実感提示装置。
【請求項１１】
前記処理ユニットは、前記第２の画像に対応する第２の定量化ベクトルを取得するために、
前記第２の画像に対して特徴抽出演算を実行して前記第２の定量化ベクトルを取得するステップ、を実行するようにさらに構成され、
前記第２の定量化ベクトルは、前記第２の画像内の複数の特徴に対応する複数の出現数を示す、請求項９に記載の現実感提示装置。
【請求項１２】
前記処理ユニットは、前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記仮想環境における前記第２の画像に対応する前記初期仮想位置を計算するために、
前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記少なくとも一の仮想位置内の仮想位置に関連した相対仮想位置を計算するステップと、
前記仮想位置及び前記相対仮想位置に従って前記第２の画像に対応する前記初期仮想位置を計算するステップと、
を実行するようにさらに構成される、請求項８に記載の現実感提示装置。
【請求項１３】
ユーザに対する仮想環境を表示できるシステムであって、前記仮想環境は、現実環境から捕捉された複数の第１の画像に基づいて構築され、当該システムは、
現実感提示装置であって、
前記現実環境から第２の画像を捕捉するように構成された画像捕捉モジュール、及び、
前記現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で前記仮想環境を表示するように構成された表示画面、
を含む現実感提示装置と、
前記複数の第１の画像に従って前記現実環境に対応する前記仮想環境を構築するステップ、及び、
前記複数の第１の画像及び前記第２の画像に従って前記第２の画像に対応する前記仮想環境における前記初期仮想位置を計算するステップ
を実行するように構成されたリモートコンピューティング装置と、を含み、
前記初期仮想位置は、前記現実感提示装置が前記第２の画像を捕捉する前記現実環境における初期現実場所に対応する、システム。
【請求項１４】
前記リモートコンピューティング装置は、
前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するステップと、
前記複数の第１の画像内の少なくとも一のフィルタされた画像を、前記少なくとも一のフィルタされた画像に対応する少なくとも一のフィルタされた相関係数が特定の閾値より大きいように、取得するステップであって、前記少なくとも一のフィルタされた画像は、前記仮想環境における少なくとも一の仮想位置に対応し、前記少なくとも一の仮想位置は、前記現実感提示装置が前記少なくとも一のフィルタされた画像を捕捉する前記現実環境における少なくとも一の現実場所に対応する、ステップと、
前記少なくとも一のフィルタされた画像及び前記第２の画像に従って前記初期仮想位置を計算するステップと、
を実行するようにさらに構成される、請求項１３に記載のシステム。
【請求項１５】
前記リモートコンピューティング装置は、前記第２の画像を前記複数の第１の画像と比較し、前記第２の画像に対する前記複数の第１の画像の複数の相関係数を取得するために、
前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するステップと、
前記第２の画像に対応する第２の定量化ベクトルを取得するステップと、
前記第２の定量化ベクトルに対する前記複数の第１の定量化ベクトルの複数の第１の相関係数を計算するステップと、
前記複数の相関係数を前記複数の第１の相関係数として取得するステップと、
を実行するようにさらに構成される、請求項１４に記載のシステム。
【請求項１６】
前記リモートコンピューティング装置は、前記複数の第１の画像に対応する複数の第１の定量化ベクトルを取得するために、
前記複数の第１の画像に対して特徴抽出演算を実行して前記複数の第１の定量化ベクトルを取得するステップ、を実行するようにさらに構成され、
前記複数の第１の画像内の第１の画像に対応する定量化ベクトルは、前記第１の画像内の複数の特徴に対応する複数の出現数を示す、請求項１５に記載のシステム。
【請求項１７】
前記リモートコンピューティング装置は、前記第２の画像に対応する第２の定量化ベクトルを取得するために、
前記第２の画像に対して特徴抽出演算を実行して前記第２の定量化ベクトルを取得するステップ、を実行するようにさらに構成され、
前記第２の定量化ベクトルは、前記第２の画像内の複数の特徴に対応する複数の出現数を示す、請求項１５に記載のシステム。
【請求項１８】
前記リモートコンピューティング装置は、前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記仮想環境における前記第２の画像に対応する前記初期仮想位置を計算するために、
前記少なくとも一のフィルタされた画像及び前記第２の画像に従って、前記少なくとも一の仮想位置内の仮想位置に関連した相対仮想位置を計算するステップと、
前記仮想位置及び前記相対仮想位置に従って前記第２の画像に対応する前記初期仮想位置を計算するステップと、
を実行するようにさらに構成される、請求項１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、測位方法及び現実感提示装置に関し、より詳細には、現実の場所に対応する初期仮想位置を計算できる測位方法及び現実感提示装置に関する。
【背景技術】
【０００２】
技術の進化及び発展により、コンピュータゲーム及びユーザの間の対話の需要は増加している。人間‐コンピュータ対話技術、例えば、体性感覚ゲーム、仮想現実（ＶＲ）環境、拡張現実（ＡＲ）環境、複合現実（ＭＲ）環境、及び拡大現実（ＸＲ）環境は、その生理学的及び娯楽的機能のため人気となっている。
【０００３】
ユーザ又はプレーヤは、仮想環境においてゲームをプレーすることがあり、仮想環境は、現実環境をエミュレートするように構築されることがある。従来技術では、現実環境をエミュレートする仮想環境を伴うゲームについて、ユーザ／プレーヤは、ゲームを開始するために予め定義された場所にとどまる必要があり、これは、ユーザ／プレーヤに対して不便をもたらす。すなわち、ユーザ／プレーヤは、現実環境において任意の現実の場所でゲームを開始することができず、ユーザ／プレーヤは、自分が望む任意の場所でゲームを開始する自分の自由を失っている。
【発明の概要】
【０００４】
ゆえに、本開示の目的は、測位（positioning）方法及び現実感提示装置を提供することである。
【０００５】
本開示の実施例は、測位方法を開示する。測位方法は、現実環境の複数の第１の画像を収集し、複数の第１の画像に従って現実環境に対応する仮想環境を構築するステップと、現実感提示装置により、現実環境の第２の画像を取得するステップと、複数の第１の画像及び第２の画像に従って、第２の画像に対応する仮想環境における初期仮想位置を計算するステップと、現実感提示装置により、現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示するステップとを含み、初期仮想位置は、現実感提示装置が第２の画像を捕捉する現実環境における初期現実場所に対応する。
【０００６】
本開示の別の実施例は、ユーザに対する仮想環境を表示できる現実感提示装置を開示し、仮想環境は、現実環境、現実感提示装置から捕捉された複数の第１の画像に基づいて構築される。当該現実感提示装置は、現実環境から第２の画像を捕捉するように構成された画像捕捉モジュールと、複数の第１の画像に従って現実環境に対応する仮想環境を構築するステップ、及び複数の第１の画像及び第２の画像に従って第２の画像に対応する仮想環境における初期仮想位置を計算するステップを実行するように構成された処理ユニットと、当該現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示するように構成された表示画面とを含み、初期仮想位置は、当該現実感提示装置が第２の画像を捕捉する現実環境における初期現実場所に対応する。
【０００７】
本開示の別の実施例は、ユーザに対する仮想環境を表示できるシステムを開示し、仮想環境は、現実環境、現実感提示装置から捕捉された複数の第１の画像に基づいて構築される。当該システムは、現実感提示装置であって、現実環境から第２の画像を捕捉するように構成された画像捕捉モジュール、及び、現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示するように構成された表示画面、を含む現実感提示装置と、複数の第１の画像に従って現実環境に対応する仮想環境を構築するステップ、及び、複数の第１の画像及び第２の画像に従って第２の画像に対応する仮想環境における初期仮想位置を計算するステップを実行するように構成されたリモートコンピューティング装置とを含み、初期仮想位置は、現実感提示装置が第２の画像を捕捉する現実環境における初期現実場所に対応する。
【０００８】
本発明の上記及び他の目的が、様々な図表及び図面に例示される好適な実施例の下記詳細な説明を読んだ当業者に疑いなく明らかになるであろう。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施例による現実感提示装置の概略図である。
【図２】図１に示される現実感提示装置の外観図である。
【図３】本開示の実施例による処理の概略図である。
【図４】本開示の実施例によるシステムの概略図である。
【発明を実施するための形態】
【００１０】
図１は、本開示の実施例による現実感提示装置（reality  presenting  device）１０の機能ブロック図である。図２は、現実感提示装置１０の例示的な外観図である。現実感提示装置１０は、仮想現実（virtual  reality；ＶＲ）装置、拡張現実（augmented  reality；ＡＲ）装置、複合現実（mixed  reality；ＭＲ）装置、又は拡大現実（extended  reality；ＸＲ）装置でもよい。従来技術における現実感提示装置と異なり、現実感提示装置１０は、仮想環境を単に構築することに追加で、現実の環境における現実の場所に対応する仮想環境における仮想位置を計算することができる。現実感提示装置１０は、画像捕捉モジュール１２、処理ユニット１４、及び表示画面１６を含む。画像捕捉モジュール１２は、レンズ及び光感知画素アレイを含んでもよく、画像を捕捉するように構成される。画像捕捉モジュール１２により生成される画像は、２次元（２Ｄ）画像、例えばＲＧＢ画像、及び／又は、赤外線（ＩＲ）を介して取得できる深度情報を含む３次元（３Ｄ）画像を含んでもよい。処理ユニット１４は、例えば、アプリケーションプロセッサ、マイクロコントローラ、又は特定用途向け集積回路（ＡＳＩＣ）でもよく、これらに限定されない。表示画面は、ユーザ／プレーヤに対する現実感又は仮想環境を表示するように構成される。
【００１１】
図３は、本発明の実施例による処理３０の概略図である。処理３０は以下のステップを含む。
【００１２】
ステップ３０２：現実環境の複数の第１の画像を捕捉する。
【００１３】
ステップ３０４：複数の第１の画像に従って現実環境に対応する仮想環境を構築する。
【００１４】
ステップ３０６：現実環境の第２の画像を捕捉する。
【００１５】
ステップ３０８：複数の第１の画像及び第２の画像に従って、第２の画像に対応する仮想環境における初期仮想位置を計算する。
【００１６】
ステップ３１０：現実感提示装置の特定アプリケーションが開始されるときに初期仮想位置からの視点で仮想環境を表示する。
【００１７】
ステップ３０２及びステップ３０４（これらはオフライン段階でもよい）において、画像捕捉モジュール１２は、現実環境ＲＥＮから複数の第１の画像ＩＭＧ１を捕捉し、現実環境ＲＥＮに対応する仮想環境ＶＥＮが、複数の第１の画像ＩＭＧ１に基づいて構築される。実施例において、仮想環境ＶＥＮは、処理ユニット１４により構築されてもよい。現実環境ＲＥＮは、例えば、現実の生活におけるオフィス、リビングルーム、会議室などでもよい。仮想環境ＶＥＮは、現実感提示装置１０により表示される複数のＶＲ画像、例えば、ＶＲ３６０°画像を含んでもよく、それにより、ユーザ／プレーヤが図２に示される現実感提示装置１０を装着したとき、ユーザ／プレーヤは複数のＶＲ画像を知覚し、自分が仮想環境ＶＥＮに没入しているように感じることになる。別の実施例において、複数の第１の画像ＩＭＧ１のうち全部又は一部が、画像捕捉モジュール１２とは別のソース、例えば、クラウドデータベース又はインターネットから収集できる。
【００１８】
実施例において、ユーザ／プレーヤは、現実環境ＲＥＮを歩き回ってもよく、画像捕捉装置１２は、様々なピクチャ、すなわち複数の第１の画像ＩＭＧ１を撮影し、それにより、処理ユニット１４は、複数の第１の画像ＩＭＧ１に従って現実環境ＲＥＮに対応する仮想環境ＶＥＮを構築することができる。実施例において、ユーザ／プレーヤは、現実環境ＲＥＮにおける複数の予め定義された場所に立ってもよく、画像捕捉装置１２は、異なる視点でピクチャを撮影してもよく、それにより、複数の第１の画像ＩＭＧ１が捕捉される。そして、処理ユニット１４は、複数の第１の画像ＩＭＧ１に従って現実環境ＲＥＮに対応する仮想環境ＶＥＮを構築することができる。現実環境ＲＥＮから捕捉された複数の第１の画像ＩＭＧ１に従って現実環境ＲＥＮに対応する仮想環境ＶＥＮを構築する詳細は当該分野で知られており、これは簡潔さのため述べられない。
【００１９】
ステップ３０６において、仮想環境ＶＥＮが構築された後、画像捕捉モジュール１２は現実環境ＲＥＮの第２の画像ＩＭＧ２を捕捉し、これはリアルタイム段階であり得る。ステップ３０６は、ユーザ／プレーヤが仮想環境ＶＥＮに入るのを開始するとき／前、例えば、ユーザ／プレーヤが現実感提示装置１０をオンにする（電源オンする）とき、あるいは、特定のソフトウェアアプリケーション、例えば、仮想現実を伴うゲームが開始されるとき／前に実行されてもよい。
【００２０】
ステップ３０８において、第２の画像ＩＭＧ２に対応する仮想環境ＶＥＮにおける初期仮想位置ＶＰＩが、複数の第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２に従って計算される。
【００２１】
実施例において、ステップ３０８は処理ユニット１４により実行されてもよい。
【００２２】
ステップ３０８の詳細は当該分野で知られている。例えば、第２の画像ＩＭＧ２を複数の第１の画像ＩＭＧ１と比較することが実行されてもよく、複数の第１の画像ＩＭＧ１の、第２の画像ＩＭＧ２に対する複数の相関係数ｃが取得されてもよい。
【００２３】
例えば、複数の第１の画像ＩＭＧ１は、第１の画像ＩＭＧ１,１、・・・、ＩＭＧ１,Ｎを含んでもよく、複数の相関係数ｃは、相関係数ｃ１、・・・、ｃＮを含んでもよい。各相関係数ｃｎは、第２の画像ＩＭＧ２及び／に対する第１の画像ＩＭＧ１,ｎの、定量化された相関を表す。相関係数ｃｎがより高いほど、第１の画像ＩＭＧ１,ｎと第２の画像ＩＭＧ２との間の相関がより大きい。すなわち、相関係数ｃｎがより高いことは、第１の画像ＩＭＧ１,ｎと第２の画像ＩＭＧ２とがより相関していることを示す。
【００２４】
複数の相関係数ｃを取得する詳細は限定されない。例えば、複数の第１の画像ＩＭＧ１に対しての、及び同様に第２の画像ＩＭＧ２に対しての特徴抽出演算（feature  extraction  operation）が実行されてもよい。当該分野で知られる特徴抽出演算には特徴識別及び出現数累算を含む。特定の特徴について、特定の特徴が、特定の幾何学形状に従っているとして識別されてもよい。特定の特徴が画像内に出現するかどうか（すなわち、特徴識別）が決定されてもよく、さらに、特定の特徴が画像内に何回出現するか（すなわち、出現数累算）が累算されてもよい。累算結果は、特定の特徴の出現回数又は出現数である。具体的に、特定の特徴が画像内に出現するかどうかを決定することは、画像内の画像の一部又は画像オブジェクトが特定の幾何学形状に従うかどうかを決定することでもよく、これは、何らかの機械学習又はコンピュータビジョン方法を使用することにより達成されてもよい。これらがする場合、特定の特徴が１回出現したと認識される。
【００２５】
別の視点において、複数の特徴に関しての特徴識別（すなわち、或る特徴が画像内に出現するかどうかを決定するための）及び出現数累算（すなわち、或る特徴が画像内に何回出現するかを累算するための）が、定量化ベクトルを取得するために実行されてもよい。定量化ベクトルは、複数の特徴に対応する複数の出現数を含む。例えば、画像上の第１の特徴、第２の特徴、及び第３の特徴に対する特徴識別及び出現数累算を実行した後、画像に対応する定量化ベクトルが取得されてもよい。定量化ベクトルは、例えば、［２，３，１］であり得る。これは、第１の特徴が画像内に２回出現し、第２の特徴が画像内に３回出現し、第１の特徴が画像内に１回出現することを意味する。例示的に、第１の特徴は円形形状に従ってもよく、第２の特徴は三角形形状に従ってもよく、第３の特徴は長方形形状に従ってもよい。
【００２６】
特徴抽出演算の詳細は当該分野で知られており、これは簡潔さのためここで述べられない。
【００２７】
手短に言えば、複数の特徴、例えばＫ個の特徴に関して、特徴抽出演算が複数の第１の画像ＩＭＧ１に対して実行されて複数の第１の定量化ベクトルＱＶ１を取得してもよく、これはオフラインで行うことができ、さらに、第２の画像ＩＭＧ２に対して特徴抽出演算を実行して第２の定量化ベクトルＱＶ２を取得し、これはリアルタイムで行うことができる。
【００２８】
具体的に、複数の第１の定量化ベクトルＱＶ１は、第１の画像ＩＭＧ１,１、・・・、ＩＭＧ１,Ｎに対応する第１の定量化ベクトルＱＶ１,１、・・・、ＱＶ１,ｎを含んでもよく、各々の第１の定量化ベクトルＱＶ１,ｎは、Ｋ個の特徴に対応する複数の出現数ａｐｐｎｎ,１、・・・、ａｐｐｎｎ,Ｋを含み、出現数ａｐｐｎｎ,ｋは、特徴ｋが第１の画像ＩＭＧ１,ｎ内にａｐｐｎｎ,ｋ回出現することを示す。数学的に、第１の定量化ベクトルＱＶ１は、ＱＶ１,ｎ＝［ａｐｐｎｎ,１，・・・，ａｐｐｎｎ,Ｋ］として表されてもよい。
【００２９】
同様に、第２の定量化ベクトルＱＶ２は、Ｋ個の特徴に対応する複数の出現数ａｐｎ１、・・・、ａｐｎＫを含み、ＱＶ２＝［ａｐｎ１，・・・，ａｐｎＫ］と表すことができ、出現数ａｐｎｋは、特徴ｋが第２の画像ＩＭＧ２内にａｐｎｋ回出現することを示す。
【００３０】
実施例において、第１の画像ＩＭＧ１,１、・・・、ＩＭＧ１,Ｎに対応する相関係数ｃ１、・・・、ｃＮが計算されてもよい。実施例において、第２の画像ＩＭＧ２及び／に対する第１の画像ＩＭＧ１,ｎの間の相関係数ｃｎは、ｃｎ＝（ＱＶ１,ｎＴ・ＱＶ２）／（｜ＱＶ１,ｎ｜・｜ＱＶ２｜）として計算されてもよく、（・）Ｔは転置演算であり、｜・｜はノルム演算である。相関係数ｃｎがより大きいほど、第１の画像ＩＭＧ１,ｎと第２の画像ＩＭＧ２とはより相関している。
【００３１】
実施例において、第１の画像ＩＭＧ１,１、・・・、ＩＭＧ１,Ｎ内の少なくとも一のフィルタされた画像ＩＭＧｋが選択される。フィルタされた画像ＩＭＧｋは、フィルタされた画像ＩＭＧｋに対応する少なくとも一のフィルタされた相関係数ｃｋが特定の閾ＴＨ値より大きい（例えば、相関係数ｃｋが０．８より大きい）ように選択され、フィルタされた画像ＩＭＧｋは、仮想環境ＶＥＮにおける少なくとも一の仮想位置ＶＰｋに対応し、仮想位置ＶＰｋは、現実感提示装置１０がフィルタされた画像ＩＭＧｋを捕捉する現実環境ＲＥＮにおける少なくとも一の現実場所に対応する。
【００３２】
さらに、１つの特定のフィルタされた画像ＩＭＧｋ＊がフィルタされた画像ＩＭＧｋの中から選択され、特定のフィルタされた画像ＩＭＧｋ＊に対応する特定の仮想位置ＶＰｋ＊が計算される。仮想位置ＶＰｋ＊は、現実感提示装置１０又は画像捕捉モジュール１２が第１の画像ＩＭＧｋ＊を捕捉する現実環境ＲＥＮにおける現実場所ＲＬｋ＊に対応する。さらに、（仮想位置ＶＰ＊内の）仮想位置ＶＰｋ＊に相対する相対仮想位置ＲＶＰｋ＊が、（フィルタされた画像ＩＭＧ＊内の）特定のフィルタされた画像ＩＭＧｋ＊及び第２の画像ＩＭＧ２に従って計算される。特定のフィルタされた画像ＩＭＧｋ＊及び第２の画像ＩＭＧ２に従い、特定のフィルタされた画像ＩＭＧｋ＊に対応する相対仮想位置ＲＶＰｋ＊が計算される。フィルタされた画像ＩＭＧｋから特定のフィルタされた画像ＩＭＧｋ＊を選択することは、インライア（inliers）の数及びアウトライア（outlier）の数を数え、比較することにより達成でき、これに限定されない。相対仮想位置ＲＶＰｋ＊を計算することは当該分野で知られており、これは簡潔さのためここで述べられない。ゆえに、初期仮想位置ＶＰIは、ＶＰI＝ＶＰｋ＊＋ＲＶＰｋ＊として計算されてもよい。
【００３３】
別の実施例において、第１の画像ＩＭＧ１,１、・・・、ＩＭＧ１,Ｎ内のフィルタされた画像ＩＭＧｎ＊を取得してもよく、フィルタされた画像ＩＭＧｎ＊に対応する相関係数ｃｎ＊が相関係数ｃ１、・・・、ｃＮの中の最大相関係数であるように、取得されてもよい。具体的に、相関係数ｃ１、・・・、ｃＮが計算された後、処理ユニット１４は、相関係数ｃ１、・・・、ｃＮに対してソート演算を実行し、相関係数ｃｎ＊が相関係数ｃ１、・・・、ｃＮの最大値であるように相関係数ｃｎ＊を選択してもよく、すなわち、相関係数ｃｎ＊は、ｃｎ＊＝ｍａｘ（ｃ１，・・・，ｃＮ）として表されてもよい。手短に言えば、相関係数ｃｎ＊に対応するフィルタされた画像ＩＭＧｎ＊が取得でき、フィルタされた画像ＩＭＧｎ＊は、第１の画像ＩＭＧ１,１、・・・、ＩＭＧ１,Ｎの中で第２の画像ＩＭＧ２に対して最も相関している第１の画像である。
【００３４】
別の視点において、第１の画像ＩＭＧｎ＊に対応する／従った仮想環境ＶＥＮにおける仮想位置ＶＰｎ＊が取得されてもよい。仮想位置ＶＰｎ＊は、現実感提示装置１０又は画像捕捉モジュール１２が第１の画像ＩＭＧｎ＊を捕捉する現実環境ＲＥＮにおける現実場所ＲＬｎ＊に対応する。処理ユニット１４が仮想位置ＶＰｎ＊を取得する方法は限定されない。実施例において、ユーザ／プレーヤは予め定義された現実場所ＲＬ’に立ってもよく、現実場所ＲＬ’に対応する仮想位置ＶＰ’が計算されてもよい。現実場所ＲＬ’で捕捉された第１の画像ＩＭＧｎ＊が最も第２の画像ＩＭＧ２に相関した第１の画像である場合、仮想位置ＶＰｎ＊が仮想位置ＶＰ’として取得される。
【００３５】
第２の画像ＩＭＧ２に対応する仮想環境ＶＥＮにおける初期仮想位置ＶＰＩが、第１の画像ＩＭＧｎ＊及び第２の画像ＩＭＧ２に従って計算されてもよい。初期仮想位置ＶＰＩを計算する方法は限定されない。実施例において、仮想位置ＶＰｎ＊に関連した相対仮想位置ＲＶＰが、第１の画像ＩＭＧｎ＊及び第２の画像ＩＭＧ２に従って計算されてもよく、さらに、仮想位置ＶＰｎ＊及び相対仮想位置ＲＶＰに従って初期仮想位置ＶＰＩを計算する。仮想位置ＶＰｎ＊、相対仮想位置ＲＶＰ、及び初期仮想位置ＶＰＩがベクトル形式で表され、２Ｄ空間における座標を表すと仮定し、初期仮想位置ＶＰＩは、ＶＰＩ＝ＶＰｎ＊＋ＲＶＰとして表されてもよい。
【００３６】
換言すると、ユーザ／プレーヤが現実環境ＲＥＮにおいてどこに位置するとしても、現実感提示装置１０は、現実環境ＲＥＮにおける現実場所に対応する仮想環境ＶＥＮにおける仮想位置を取得することができる。
【００３７】
ユーザ／プレーヤが現実環境ＲＥＮに対応する仮想環境ＶＥＮを伴うゲームをプレーする実施例において、ユーザ／プレーヤは、現実環境ＲＥＮにおいて任意の所で現実感提示装置１０を電源オンすることができ、処理ユニット１４は、ユーザ／プレーヤ及び現実感提示装置１０が位置する現実場所ＲＬに対応する初期仮想位置ＶＰＩを計算することになる。現実感提示装置１０は、初期仮想位置ＶＰＩに従ってＶＲ３６０°画像を生成してもよく、それにより、ユーザ／プレーヤは、仮想環境ＶＥＮにおける初期仮想位置ＶＰＩからの視点を見ることになり、これは、現実環境ＲＥＮにおける現実場所ＲＬからの視点と同様（又は同一）である。
【００３８】
ステップ３１０において、表示画面１６は、ユーザ／プレーヤが特定のソフトウェアアプリケーションを開始したときに、初期仮想位置ＶＰＩからの視点で、仮想環境ＶＥＮを表示する。特定のソフトウェアアプリケーションは、仮想現実を伴うゲームでもよい。換言すると、表示画面１６は、初期仮想位置ＶＰＩの視点における仮想環境ＶＥＮに対応する複数のＶＲ画像を表示してもよい。初期仮想位置ＶＰＩは、現実感提示装置１０又は画像捕捉モジュール１２が第２の画像ＩＭＧ２を捕捉する現実環境ＲＥＮにおける現実場所ＲＬＩに対応する。ユーザ／プレーヤが特定のソフトウェアアプリケーションを開始したとき、ユーザ／プレーヤは仮想環境ＶＥＮの複数のＶＲ画像を知覚することになり、ユーザ／プレーヤは仮想環境ＶＥＮに没入し、ちょうど自分が現実環境ＲＥＮにおける現実場所ＲＬＩにいるように仮想環境ＶＥＮを体験する。
【００３９】
処理３０を実行することにより、ユーザ／プレーヤにより体験される仮想環境ＶＥＮと現実環境ＲＥＮとの間に有意な差が存在しない。ゆえに、ユーザ／プレーヤにより体験される没入感がさらに強化される。
【００４０】
上記で述べられた実施例は、とりわけ、本発明の概念を例示するために利用される。当業者は、このことに応じて及び本明細書で限定されない修正及び変更を行うことができる。例えば、処理３０は、現実感提示装置１０により単に実行されてもよい。すなわち、ステップ３０４及びステップ３０８は、現実感提示装置１０の処理ユニット１４により実行されてもよく、これはここで限定されない。処理３０は、システムにより実行されてもよい。
【００４１】
図４は、本開示の実施例によるシステム４１の概略図である。システム４１は、現実感提示装置４０及びリモートコンピューティング装置４３を含む。現実感提示装置４０及びリモートコンピューティング装置４３は、無線接続又は無線インターフェースを通して接続されてもよい。現実感提示装置４０は、画像捕捉モジュール４２及び表示画面４６を含む。リモートコンピューティング装置４３は、クラウドコンピューティング装置、エッジコンピューティング装置、又はクラウドコンピューティング装置及びエッジコンピューティング装置の組み合わせでもよく、これらは、コンピュータ又はサーバでもよい。処理３０はシステム４１により実行されてもよく、その場合、ステップ３０２及びステップ３０６は画像捕捉モジュール４２により実行されてもよく、ステップ３０４及びステップ３０８はリモートコンピューティング装置４３により実行されてもよく、ステップ３１０は表示画面４６により実行されてもよく、このこともまた本開示の範囲内である。
【００４２】
要約すると、本開示は、ユーザ／プレーヤ及び現実感提示装置が位置する現実の場所に対応する初期仮想位置を計算することができる。従来技術と比較して、ユーザ／プレーヤは、現実の環境における任意の現実の場所で仮想環境を伴うゲームを開始することができる。ユーザ／プレーヤにより体験される仮想環境ＶＥＮと現実環境ＲＥＮとの間に有意な差がない。ゆえに、ユーザ／プレーヤにより体験される没入感がさらに強化される。
【００４３】
当業者は、本発明の教示を保有する間、装置及び方法についての多数の修正及び変更がなされ得ることを容易に観察するであろう。したがって、上記開示は、別記の請求項の範囲及び境界によってのみ限定されるとみなされるべきである。
【図１】
2020098381.tif 000003
【図２】
2020098381.tif 000004
【図３】
2020098381.tif 000005
【図４】
2020098381.tif 000006