(57)【要約】  環境モデルを生成するための方法および装置、記憶媒体、ならびに電子デバイスが開示される。この方法は、以下を含む。電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像が取得される。電子デバイスの運動データが、複数の取得時点において取得される。複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。
2021503665.tif 000002
【特許請求の範囲】
【請求項１】
環境モデルを生成するための方法であって、前記方法は、電子デバイスに適用可能であり、
前記電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するステップ（１１０）と、
前記複数の取得時点における前記電子デバイスの運動データを取得するステップ（１２０）と、
前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の三次元空間データを生成するステップ（１３０）と、
前記複数の画像を前記三次元空間データとパッケージして、環境モデルを生成するステップ（１４０）と
を含む方法。
【請求項２】
前記複数の取得時点における運動データを取得するステップ（１２０）は、
予め設定された時間期間の間、前記電子デバイスの初期運動データを取得するステップ（１２１）と、
前記複数の画像を時間において前記初期運動データに整列させて、前記複数の取得時点における前記電子デバイスの前記運動データを取得するステップ（１２２）と
を含む、請求項１に記載の方法。
【請求項３】
前記複数の取得時点における運動データを取得するステップ（１２０）は、
前記複数の画像の取得時に前記複数の取得時点における前記電子デバイスの前記運動データを取得するステップ
を含む、請求項１または２に記載の方法。
【請求項４】
前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の三次元空間データを生成するステップ（１３０）は、
前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の複数の座標点の座標データを取得するステップ（１３１）と、
前記複数の座標点の前記座標データに基づいて、前記環境の前記三次元空間データを生成するステップ（１３２）と
を含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の複数の座標点の座標データを取得するステップ（１３１）は、
前記複数の画像から選択された２つの画像に基づいて同じ座標点を決定するステップと、
前記２つの画像の時間間隔を決定するステップと、
前記複数の取得時点における前記運動データから選択される前記時間間隔における運動データに基づいて、移動方向および移動量を決定するステップと、
前記移動方向および前記移動量に基づいて、前記同じ座標点と前記電子デバイスとの間の相対座標を決定するステップと、
前記相対座標に基づいて前記同じ座標点の座標データを決定するステップと
を含む、請求項４に記載の方法。
【請求項６】
前記複数の画像を前記三次元空間データとパッケージして、環境モデルを生成するステップ（１４０）は、
前記複数の画像から前記複数の座標点の各々に対応するメタ画像を取得するステップ（１４１）と、
前記メタ画像を前記対応する座標点の前記座標データに組み合わせて、前記環境モデルを生成するステップ（１４２）と
を含む、請求項５に記載の方法。
【請求項７】
複数のデータ種類に基づいて前記環境モデルの複数のデータインタフェースを提供するステップ（１５０）
をさらに含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
環境モデルを生成するための装置（２００）であって、
電子デバイスに適用可能であり、
前記電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するように構成された第１の取得モジュール（２０１）と、
前記複数の取得時点における前記電子デバイスの運動データを取得するように構成された第２の取得モジュール（２０２）と、
前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の三次元空間データを生成するように構成されたデータ分析モジュール（２０３）と、
前記複数の画像を前記三次元空間データとパッケージして、環境モデルを生成するように構成されたモデル生成モジュール（２０４）と
を備える装置（２００）。
【請求項９】
前記第２の取得モジュール（２０２）は、
予め設定された時間期間の間、前記電子デバイスの初期運動データを取得するように構成された第２の取得サブモジュール（２０２１）と、
前記複数の画像を時間において前記初期運動データに整列させて、前記複数の取得時点における前記電子デバイスの前記運動データを取得するように構成された整列サブモジュール（２０２２）と
を含む、請求項８に記載の装置（２００）。
【請求項１０】
前記第２の取得モジュール（２０２）は、
前記複数の画像の取得時に前記複数の取得時点における前記電子デバイスの前記運動データを取得する
ようにさらに構成されている、請求項８または９に記載の装置（２００）。
【請求項１１】
前記データ分析モジュール（２０３）は、
前記複数の画像および前記複数の取得時点における前記運動データを分析して、前記環境の複数の座標点の座標データを取得するように構成されたデータ分析サブモジュール（２０３１）と、
前記複数の座標点の前記座標データに基づいて、前記環境の前記三次元空間データを生成するように構成された生成サブモジュール（２０３２）と
を備える、請求項８から１０のいずれか一項に記載の装置（２００）。
【請求項１２】
前記データ分析サブモジュール（２０３１）は、
前記複数の画像から選択された２つの画像に基づいて同じ座標点を決定し、
前記２つの画像の時間間隔を決定し、
前記複数の取得時点における前記運動データから選択される前記時間間隔における運動データに基づいて、移動方向および移動量を決定し、
前記移動方向および前記移動量に基づいて、前記同じ座標点と前記電子デバイスとの間の相対座標を決定し、
前記相対座標に基づいて前記同じ座標点の座標データを決定する
ように構成されている、請求項１１に記載の装置（２００）。
【請求項１３】
前記モデル生成モジュール（２０４）は、
前記複数の画像から前記複数の座標点の各々に対応するメタ画像を取得するように構成された第１の取得サブモジュール（２０４１）と、
前記メタ画像を前記対応する座標点の前記座標データに組み合わせて、前記環境モデルを生成するように構成された結合サブモジュール（２０４２）と
を備える、請求項１２に記載の装置（２００）。
【請求項１４】
複数のデータ種類に基づいて前記環境モデルの複数のデータインタフェースを提供するように構成されたデータ分類モジュール（２０５）
をさらに備える、請求項８から１３のいずれか一項に記載の装置（２００）。
【請求項１５】
コンピュータプログラムを格納したコンピュータ可読記憶媒体であって、
前記コンピュータプログラムは、電子デバイスにおける実行時に、請求項１から７のいずれか一項に記載の方法を前記電子デバイスに実行させる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、電子デバイス技術の分野に関し、より詳細には、環境モデルを生成するための方法および装置、記憶媒体、ならびに電子デバイスに関する。
【背景技術】
【０００２】
拡張現実（ＡＲ）技術は、ユーザが目にする実環境を追加情報を含む仮想環境と合成し、合成画像を表示する。実環境を仮想環境で補足するＡＲ技術は、コンピュータグラフィックスを使用して仮想環境を生成する。さらに、コンピュータグラフィックスは、実環境に必要な情報ももたらす。
【０００３】
ＡＲ技術において、コンピュータグラフィックスは、実環境に必要な情報をもたらす必要があるため、実環境を認識する必要がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示の実施形態は、環境モデルを生成するための方法を提供する。この方法は、電子デバイスに適用可能である。この方法は、以下を含む。電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像が取得される。電子デバイスの運動データが、複数の取得時点において取得される。複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。
【０００５】
少なくとも１つの実施形態において、複数の取得時点における運動データを取得することは、予め設定された時間期間の間、電子デバイスの初期運動データを取得することと、複数の画像を時間において初期運動データに整列させて、複数の取得時点における電子デバイスの運動データを取得することとを含む。
【０００６】
少なくとも１つの実施形態において、複数の取得時点における運動データを取得することは、複数の画像の取得時に複数の取得時点における電子デバイスの運動データを取得することを含む。
【０００７】
少なくとも１つの実施形態において、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成することは、複数の画像および複数の取得時点における運動データを分析して、環境の複数の座標点の座標データを取得することと、複数の座標点の座標データに基づいて、環境の三次元空間データを生成することとを含む。
【０００８】
少なくとも１つの実施形態において、複数の画像および複数の取得時点における運動データを分析して、環境の複数の座標点の座標データを取得することは、複数の画像から選択された２つの画像に基づいて同じ座標点を決定することと、２つの画像の時間間隔を決定することと、複数の取得時点における運動データから選択される時間間隔における運動データに基づいて、移動方向および移動量を決定することと、移動方向および移動量に基づいて、同じ座標点と電子デバイスとの間の相対座標を決定することと、相対座標に基づいて同じ座標点の座標データを決定することとを含む。
【０００９】
少なくとも１つの実施形態において、複数の画像を三次元空間データとパッケージして、環境モデルを生成することは、複数の画像から複数の座標点の各々に対応するメタ画像を取得することと、メタ画像を対応する座標点の座標データに組み合わせて、環境モデルを生成することとを含む。
【００１０】
少なくとも１つの実施形態において、この方法は、複数のデータ種類に基づいて環境モデルの複数のデータインタフェースを提供することをさらに含む。
【００１１】
本開示の実施形態は、環境モデルを生成するための装置をさらに提供する。この装置は、電子デバイスに適用可能であり、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するように構成された第１の取得モジュールと、複数の取得時点における電子デバイスの運動データを取得するように構成された第２の取得モジュールと、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成するように構成されたデータ分析モジュールと、複数の画像を三次元空間データとパッケージして、環境モデルを生成するように構成されたモデル生成モジュールとを含む。
【００１２】
少なくとも１つの実施形態において、第２の取得モジュールは、予め設定された時間期間の間、電子デバイスの初期運動データを取得するように構成された第２の取得サブモジュールと、複数の画像を時間において初期運動データに整列させて、複数の取得時点における電子デバイスの運動データを取得するように構成された整列サブモジュールとを含む。
【００１３】
少なくとも１つの実施形態において、第２の取得モジュールは、複数の画像の取得時に複数の取得時点における電子デバイスの運動データを取得するようにさらに構成される。
【００１４】
少なくとも１つの実施形態において、データ分析モジュールは、複数の画像および複数の取得時点における運動データを分析して、環境の複数の座標点の座標データを取得するように構成されたデータ分析サブモジュールと、複数の座標点の座標データに基づいて、環境の三次元空間データを生成するように構成された生成サブモジュールとを含む。
【００１５】
少なくとも１つの実施形態において、データ分析サブモジュールは、複数の画像から選択された２つの画像に基づいて同じ座標点を決定し、２つの画像の時間間隔を決定し、複数の取得時点における運動データから選択される時間間隔における運動データに基づいて、移動方向および移動量を決定し、移動方向および移動量に基づいて、同じ座標点と電子デバイスとの間の相対座標を決定し、相対座標に基づいて同じ座標点の座標データを決定するように構成される。
【００１６】
少なくとも１つの実施形態において、モデル生成モジュールは、複数の画像から複数の座標点の各々に対応するメタ画像を取得するように構成された第１の取得サブモジュールと、メタ画像を対応する座標点の座標データに組み合わせて、環境モデルを生成するように構成された結合サブモジュールとを含む。
【００１７】
少なくとも１つの実施形態において、この装置は、複数のデータ種類に基づいて環境モデルの複数のデータインタフェースを提供するように構成されたデータ分類モジュールをさらに含む。
【００１８】
さらに、本開示の実施形態は、電子デバイスを提供する。電子デバイスは、メモリおよびプロセッサを含む。メモリは、コンピュータプログラムを格納するように構成される。プロセッサは、メモリに格納されたコンピュータプログラムを呼び出すことによって上述の方法を実行するように構成される。
【００１９】
本開示の実施形態は、コンピュータプログラムを格納した記憶媒体をさらに提供する。コンピュータプログラムは、コンピュータにおいて実行されたときに、上述の方法をコンピュータに実行させる。
【００２０】
本開示の実施形態を分かりやすく示すために、実施形態において使用される図面の簡単な説明を以下に示す。当然ながら、以下の説明における図面は、本開示の一部の実施形態にすぎず、当業者であれば、創造的な労働を必要とせずに、これらの図面に基づいて他の図面を得ることができるであろう。
【図面の簡単な説明】
【００２１】
【図１】本開示の実施形態による環境モデルを生成するための装置のハードウェア構成を示すブロック図である。
【図２】本開示の実施形態による環境モデルを生成するための方法を示すフローチャートである。
【図３】本開示の別の実施形態による環境モデルを生成するための方法を示すフローチャートである。
【図４】本開示のさらに別の実施形態による環境モデルを生成するための方法を示すフローチャートである。
【図５】本開示の実施形態による環境モデルを生成するための装置を示す第１のブロック図である。
【図６】本開示の実施形態による環境モデルを生成するための装置を示す第２のブロック図である。
【図７】本開示の実施形態による環境モデルを生成するための装置を示す第３のブロック図である。
【図８】本開示の実施形態による環境モデルを生成するための装置を示す第４のブロック図である。
【図９】本開示の実施形態による環境モデルを生成するための装置を示す第５のブロック図である。
【図１０】本開示の実施形態による電子デバイスを示すブロック図である。
【図１１】本開示の別の実施形態による電子デバイスを示すブロック図である。
【発明を実施するための形態】
【００２２】
本開示の実施形態における技術的解決策が、本開示の実施形態における図面を参照して、以下で明確かつ完全に説明される。説明される実施形態が、本開示の実施形態の一部にすぎず、本開示の実施形態のすべてではないことは明らかである。本開示の実施形態に基づいて当業者であれば創造的な努力を必要とせずに得ることができるすべての他の実施形態は、本開示の技術的範囲に含まれる。
【００２３】
本開示の明細書および特許請求の範囲ならびに上記の図面における「第１の」、「第２の」、「第３の（存在する場合）」、などの用語は、同種の対象物を区別するために使用されており、必ずしも特定の順序を表すために使用されているのではない。このように表された対象物は、必要に応じて入れ換えることが可能である。さらに、「・・・を備える」および「・・・を含む」という用語、ならびにそれらの任意の変種は、非排他的な包含を含むように意図されている。例えば、或る一連の行為を含むプロセスおよび方法、あるいは或る一連のモジュールまたはユニットを備える装置、電子デバイス、およびシステムは、明確に列挙されたそれらの行為あるいはモジュールまたはユニットに必ずしも限定されず、明示的には列挙されていない行為あるいはモジュールまたはユニットをさらに含んでもよく、プロセス、方法、装置、電子デバイス、またはシステムにつきものの他の行為あるいはモジュールまたはユニットをさらに含んでもよい。
【００２４】
本開示は、環境モデルを生成するための方法に関する。この方法は、電子デバイスに適用可能である。この方法は、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得することと、複数の取得時点における電子デバイスの運動データを取得することと、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成することと、複数の画像を三次元空間データとパッケージして、環境モデルを生成することとを含む。
【００２５】
本開示は、環境モデルを生成するための装置に関する。この装置は、電子デバイスに適用可能である。この装置は、第１の取得モジュール、第２の取得モジュール、データ分析モジュール、およびモデル生成モジュールを含む。第１の取得モジュールは、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するように構成される。第２の取得モジュールは、複数の取得時点における電子デバイスの運動データを取得するように構成される。データ分析モジュールは、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成するように構成される。モデル生成モジュールは、複数の画像を三次元空間データとともにパッケージして、環境モデルを生成するように構成される。
【００２６】
本開示は、コンピュータプログラムを格納した記憶媒体に関する。コンピュータプログラムは、コンピュータにおいて実行されたときに、上述の方法をコンピュータに実行させる。
【００２７】
本開示は、電子デバイスに関する。電子デバイスは、メモリおよびプロセッサを含む。メモリは、コンピュータプログラムを格納するように構成される。プロセッサは、メモリに格納されたコンピュータプログラムを呼び出すことによって上述の方法を実行するように構成される。
【００２８】
本開示の実施形態において提供される環境モデルを生成するための方法は、本開示の実施形態において提供される環境モデルを生成するための装置に適用可能であってよい。環境モデルを生成するための装置を、電子デバイスに配置することができる。
【００２９】
図１が、環境モデルを生成するための装置のハードウェア構成を示すブロック図である。環境モデルを生成するための装置は、カメラ、モーションセンサ、データ整列ユニット、データ分析ユニット、データパッケージングユニット、およびデータ分類ユニットを含むことができる。
【００３０】
１つ以上の実施形態においては、カメラを、環境をキャプチャするように構成することができ、電子デバイスが、環境の画像を取得するように配置される。１つ以上の実施形態においては、カメラを、環境を継続的にキャプチャするように構成でき、すなわち、環境のビデオをキャプチャするように構成することができる。
【００３１】
１つ以上の実施形態において、モーションセンサは、ジャイロスコープ（角速度センサとも呼ばれる）、加速度センサ（重力センサとも呼ばれる）、などを含むことができる。モーションセンサは、電子デバイスの運動を検出し、電子デバイスの運動データを取得することができる。１つ以上の実施形態において、運動データは、電子デバイスの加速度、角速度、および角度などを含むことができる。
【００３２】
カメラは、１つの時点において１つの画像をキャプチャできるため、カメラが環境をキャプチャするとき、各々の取得画像は、対応するキャプチャ時点を有する。同時に、電子デバイスの運動データは瞬間のものであるため、電子デバイスの運動データは、時点につれて変化する可能性がある。
【００３３】
データ整列ユニットは、カメラによってキャプチャされた画像とモーションセンサによって検出された運動データとを整列させて、カメラが各々の画像をキャプチャした瞬間の電子デバイスの運動データを決定することができる。
【００３４】
データ分析ユニットは、データ整列ユニットによって整列させられた画像および電子デバイスの運動データを分析して、環境の三次元空間データを取得することができる。その後に、データ分析ユニットは、取得した三次元空間データをデータパッケージングユニットに送信する。
【００３５】
さらに、データ整列ユニットは、整列操作後の画像データをデータパッケージングユニットに送信することができる。データパッケージングユニットは、画像データを三次元空間データとパッケージして、環境の環境モデルを生成することができる。環境モデルは、三次元モデルであってよい。
【００３６】
１つ以上の実施形態において、環境モデルは、複数の種類のデータを含む。例えば、環境モデルは、画像データおよび空間座標データを含む。データ分類ユニットは、異なる種類のデータを分類して、複数のデータインタフェースを生成することができる。異なる種類のデータについての異なるデータインタフェースを、異なるアプリケーションによって呼び出すことができる。
【００３７】
本開示の実施形態は、環境モデルを生成するための方法を提供する。環境モデルを生成するための方法は、電子デバイスに適用可能であってよい。電子デバイスは、スマートフォンまたはタブレットコンピュータなどのデバイスであってよい。図２に示されるように、環境モデルを生成する方法は、以下のブロックにおける行為を含む。
【００３８】
ブロック１１０において、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像が取得される。
【００３９】
１つ以上の実施形態において、電子デバイスは、カメラを含むことができる。電子デバイスは、カメラによって電子デバイスが位置する環境をキャプチャすることにより、電子デバイスが位置する環境の複数の画像を取得することができる。
【００４０】
１つ以上の実施形態において、複数の画像のキャプチャ時点は、間欠的であってよく、例えば、２つの隣接する画像の間の間隔が、１０分であってよい。１つ以上の実施形態において、複数の画像のキャプチャ時点は、連続的であってもよい。例えば、電子デバイスは、電子デバイスが位置する環境のビデオを記録することができ、このやり方で取得された複数の画像は、連続している。したがって、電子デバイスによって取得された複数の画像の各々が、１つの取得時点、すなわち１つのキャプチャ時点に対応する。
【００４１】
１つ以上の実施形態において、電子デバイスが位置する環境は、オフィス、スーパーマーケット、映画館、通り、アトラクション、などの任意の環境であってよい。ユーザが電子デバイスを使用しているとき、電子デバイスが位置する環境は、ユーザが位置する環境である。
【００４２】
ブロック１２０において、複数の取得時点における電子デバイスの運動データが取得される。
【００４３】
１つ以上の実施形態において、電子デバイスは、モーションセンサを含むことができる。モーションセンサは、これらに限られるわけではないが、ジャイロスコープ、加速度センサ、などを含むことができる。電子デバイスは、モーションセンサによって各々の画像の取得時点における電子デバイスの運動データを取得することができる。
【００４４】
１つ以上の実施形態において、運動データは、電子デバイスの加速度、角速度、および角加速度などの速度データを含むことができ、電子デバイスの配置方向および傾斜角などの姿勢データも含むことができ、電子デバイスが位置する高さなどのデータも含むことができる。
【００４５】
ブロック１３０において、複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。
【００４６】
電子デバイスが複数の画像および複数の画像の各々の取得の時点における電子デバイスの運動データを取得した後に、複数の画像および複数の画像の各々の取得時点に対応する運動データが分析され、環境の三次元空間データが生成される。
【００４７】
三次元空間データは、データによって電子デバイスが位置する環境を表す。三次元空間データを通じて、電子デバイスが位置する環境内の各点の空間条件を知ることができる。例えば、電子デバイスの前方１０ｍ（メートル）に障害物が存在するか否か、障害物の形状、電子デバイスの下方０．５ｍにある物体の形状、などを、三次元空間データによって表現することができる。
【００４８】
ブロック１４０において、複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。
【００４９】
電子デバイスが環境の三次元空間データを生成した後に、複数の画像を、三次元空間データとパッケージすることができる。すなわち、複数の画像が三次元空間データに組み合わせられ、環境の環境モデルが生成される。
【００５０】
環境モデルは、電子デバイスが位置する環境内の各点の画像を視覚的に表すことができる。例えば、電子デバイスの前方１０ｍにある障害物の色、電子デバイスの下方の机の上に書かれたテキストである。上記の事例を、環境モデルによって視覚的に表現することができる。
【００５１】
いくつかの実施形態においては、図３に示されるように、ブロック１２０における行為、すなわち複数の取得時点における電子デバイスの運動データの取得が、以下のブロックにおける行為を含むことができる。
【００５２】
ブロック１２１において、電子デバイスの初期運動データが、モーションセンサを使用することによって取得される。
【００５３】
ブロック１２２において、複数の画像の各々が、時間に関して初期運動データに整列させられ、各々の取得時点における電子デバイスの運動データが取得される。
【００５４】
電子デバイスは、モーションセンサを含むことができる。電子デバイスは、モーションセンサによって電子デバイスの初期運動データを取得することができる。モーションセンサは、或る時間期間にわたって電子デバイスの運動データを継続的に取得することができる。例えば、モーションセンサは、１時間における電子デバイスの運動データを継続的に取得することができる。初期運動データは、モーションセンサによって継続的に取得される。
【００５５】
続いて、電子デバイスは、複数の画像の各々を時間に関して初期運動データにそれぞれ整列させることができる。複数の画像の各々は、１つの取得時点、すなわち１つのキャプチャ時点に対応する。複数の画像の各々が、時間に関して初期運動データに整列させられ、すなわち、複数の画像の各々のキャプチャの時点における電子デバイスの瞬間の運動データが決定される。これにより、複数の画像の各々のキャプチャの時点における電子デバイスの運動データを取得することができる。
【００５６】
いくつかの実施形態において、複数の取得時点における電子デバイスの運動データは、複数の画像の取得時に同時に取得される。すなわち、複数の画像および複数の取得時点における電子デバイスの運動データは、一連のセンサによって同時に取得される。
【００５７】
いくつかの実施形態においては、図３に示されるように、ブロック１３０における行為、すなわち複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成することは、以下のブロックにおける行為を含むことができる。
【００５８】
ブロック１３１において、複数の画像および複数の取得時点における運動データが分析され、環境の複数の座標点の座標データが取得される。
【００５９】
ブロック１３２において、環境の三次元空間データが、複数の座標点の座標データに基づいて生成される。
【００６０】
電子デバイスは、複数の画像および複数の画像の各々の取得時点に対応する運動データを、別々に分析することができる。電子デバイスは、複数の画像から同じ物体または同じ座標点を決定し、各々の画像に対応する運動データに基づいて複数の画像をキャプチャする間の電子デバイスの運動状態を決定することにより、物体または座標点の座標データを取得することができる。
【００６１】
例えば、電子デバイスは、２つの画像から同じ座標点を決定することができる。２つの画像のキャプチャ時点の間に時間差（すなわち、時間間隔）が存在する。電子デバイスは、この時間差における変位を決定する。この時間差における電子デバイスの移動方向および移動量を、変位に基づいて知ることができる。したがって、電子デバイスは、座標点と電子デバイスとの間の相対座標を取得することができ、すなわち座標点の座標データを取得することができる。
【００６２】
電子デバイスは、複数の画像および複数の画像の各々の取得時点における電子デバイスの運動データを分析して、複数の座標点の座標データを取得することができる。例えば、電子デバイスは、１０，０００個の座標点の座標データを取得することができる。次いで、取得した複数の座標点の座標データに基づいて、環境の三次元空間データが生成される。
【００６３】
いくつかの実施形態においては、図３に示されるように、ブロック１４０における行為、すなわち複数の画像を三次元空間データとパッケージして環境モデルを生成することは、以下のブロックにおける行為を含むことができる。
【００６４】
ブロック１４１において、複数の座標点の各々に対応するメタ画像が、複数の画像から取得される。
【００６５】
ブロック１４２において、メタ画像が、対応する座標点の座標データに組み合わせられ、環境モデルが生成される。
【００６６】
電子デバイスは、複数の画像を分析して、複数の画像から各々の座標点に対応するメタ画像を取得することができる。メタ画像を、最小の画像単位として理解することができる。座標点に対応するメタ画像は、環境内の座標点における画像を表す。各々の画像のすべての座標点におけるメタ画像の組が、この画像を構成する。
【００６７】
続いて、電子デバイスは、各々のメタ画像をこのメタ画像に対応する座標点の座標データに組み合わせて、環境の環境モデルを生成することができる。例えば、電子デバイスが１０，０００個の座標点を取得する場合、電子デバイスは、複数の画像から１０，０００個の座標点の各々に対応するメタ画像を取得し、各々の座標点に対応するメタ画像を対応する座標点の座標データに組み合わせることができる。すべての座標点の座標データが対応するメタ画像と組み合わせられたとき、環境モデルを取得することができる。
【００６８】
いくつかの実施形態において、本方法は、図４に示されるように、ブロック１４０における行為、すなわち複数の画像を三次元空間データとパッケージして環境モデルを生成することの後に、以下のブロックにおける行為を含むことができる。
【００６９】
ブロック１５０において、環境モデル内のデータが、複数のデータインタフェースを生成するために複数のデータ種類に基づいて分類される。
【００７０】
環境モデルは、複数の種類のデータを含む。例えば、環境モデルは、画像データ、空間座標データ、および座標点統計データを含む。電子デバイスは、データ種類に基づいて環境モデル内のデータを分類して、複数のデータインタフェースを生成することができる。例えば、画像データインタフェース、空間座標データインタフェース、および座標点統計データインタフェースを、異なるアプリケーションによる呼び出しのために生成することができる。
【００７１】
具体的な実施において、本開示は、上述した種々の行為の実行の順序に限定されず、矛盾が生じない限りにおいて、いくつかの行為を他の順序で実行しても、あるいは同時に実行してもよい。
【００７２】
以上から、本開示のいくつかの実施形態において提供される環境モデルを生成するための方法が以下を含むことを理解できるであろう。電子デバイスが位置する環境について、複数の画像が取得される。複数の画像は、複数の取得時点に対応している。電子デバイスの運動データが、複数の取得時点において取得される。複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。環境モデルを生成するための方法を用いて、環境モデルを、複数の取得画像および複数の取得時点における電子デバイスの運動データに基づいて生成することができる。したがって、環境モデルを、電子デバイスが位置する環境に基づいて定めることができ、周囲の実環境を、定められた環境モデルによって効率的に認識することができる。
【００７３】
本開示の実施形態は、環境モデルを生成するための装置をさらに提供する。この装置は、電子デバイスに適用可能である。電子デバイスは、スマートフォンまたはタブレットコンピュータなどのデバイスであってよい。
【００７４】
図５に示されるように、環境モデルを生成するための装置２００は、第１の取得モジュール２０１、第２の取得モジュール２０２、データ分析モジュール２０３、およびモデル生成モジュール２０４を含むことができる。
【００７５】
第１の取得モジュール２０１は、電子デバイスが位置する環境について、複数の取得時点に対応する複数の画像を取得するように構成される。
【００７６】
１つ以上の実施形態において、電子デバイスは、カメラを含むことができる。第１の取得モジュール２０１は、カメラが位置する環境をカメラによってキャプチャすることにより、電子デバイスが位置する環境の複数の画像を取得することができる。
【００７７】
１つ以上の実施形態において、複数の画像のキャプチャ時点は、間欠的であってよく、例えば、２つの隣接する画像の間の間隔が、１０分であってよい。１つ以上の実施形態において、複数の画像のキャプチャ時点は、連続的であってもよい。例えば、電子デバイスは、カメラが位置する環境のビデオを記録することができ、このやり方で取得された複数の画像は、連続している。したがって、電子デバイスによって取得された複数の画像の各々が、１つの取得時点、すなわち１つのキャプチャ時点に対応する。
【００７８】
１つ以上の実施形態において、電子デバイスが位置する環境は、オフィス、スーパーマーケット、映画館、通り、アトラクション、などの任意の環境であってよい。ユーザが電子デバイスを使用しているとき、電子デバイスが位置する環境は、ユーザが位置する環境である。
【００７９】
第２の取得モジュール２０２は、複数の取得時点における電子デバイスの運動データを取得するように構成される。
【００８０】
１つ以上の実施形態において、電子デバイスは、モーションセンサを含むことができる。モーションセンサは、これらに限られるわけではないが、ジャイロスコープ、加速度センサ、などを含むことができる。第２の取得モジュール２０２は、モーションセンサによって各々の画像の取得時点における電子デバイスの運動データを取得することができる。
【００８１】
１つ以上の実施形態において、運動データは、電子デバイスの加速度、角速度、および角加速度などの速度データを含むことができ、電子デバイスの配置方向および傾斜角などの姿勢データも含むことができ、電子デバイスが位置する高さなどのデータも含むことができる。
【００８２】
データ分析モジュール２０３は、複数の画像および複数の取得時点における運動データを分析して、環境の三次元空間データを生成するように構成される。
【００８３】
電子デバイスが複数の画像および複数の画像の各々の取得の時点における電子デバイスの運動データを取得した後に、データ分析モジュール２０３は、複数の画像および複数の画像の各々の取得時点に対応する運動データを分析して、環境の三次元空間データを生成することができる。
【００８４】
三次元空間データは、データによって電子デバイスが位置する環境を表す。三次元空間データを通じて、電子デバイスが位置する環境内の各点の空間条件を知ることができる。例えば、電子デバイスの前方１０ｍ（メートル）に障害物が存在するか否か、障害物の形状、電子デバイスの下方０．５ｍにある物体の形状、などを、三次元空間データによって表現することができる。
【００８５】
モデル生成モジュール２０４は、複数の画像を三次元空間データとともにパッケージして、環境モデルを生成するように構成される。
【００８６】
データ分析モジュール２０３が環境の三次元空間データを生成した後に、複数の画像を、三次元空間データとパッケージすることができる。すなわち、複数の画像が三次元空間データに組み合わせられ、環境の環境モデルが生成される。
【００８７】
環境モデルは、電子デバイスが位置する環境内の各点の画像を視覚的に表すことができる。例えば、電子デバイスの前方１０ｍにある障害物の色、電子デバイスの下方の机の上に書かれたテキストである。上記の事例を、環境モデルによって視覚的に表現することができる。
【００８８】
いくつかの実施形態においては、図６に示されるように、第２の取得モジュール２０２が、第２の取得サブモジュール２０２１および整列サブモジュール２０２２を含むことができる。
【００８９】
第２の取得サブモジュール２０２１は、予め設定された時間期間の間、電子デバイスの初期運動データを取得するように構成される。
【００９０】
整列サブモジュール２０２２は、複数の画像を時間において初期運動データにそれぞれ整列させて、複数の取得時点における電子デバイスの運動データを取得するように構成される。
【００９１】
電子デバイスは、モーションセンサを含むことができる。第２の取得サブモジュール２０２１は、モーションセンサによって電子デバイスの初期運動データを取得することができる。モーションセンサは、或る期間にわたって電子デバイスの運動データを継続的に取得することができる。例えば、モーションセンサは、１時間における電子デバイスの運動データを継続的に取得することができる。初期運動データは、モーションセンサによって継続的に取得される。
【００９２】
続いて、整列サブモジュール２０２２は、複数の画像の各々を時間に関して初期運動データにそれぞれ整列させることができる。複数の画像の各々は、１つの取得時点、すなわち１つのキャプチャ時点に対応する。複数の画像の各々が、時間に関して初期運動データに整列させられ、すなわち、複数の画像の各々のキャプチャの時点における電子デバイスの瞬間の運動データが決定される。これにより、複数の画像の各々のキャプチャの時点における電子デバイスの運動データを取得することができる。
【００９３】
いくつかの実施形態において、第２の取得モジュール２０２は、複数の取得時点における電子デバイスの運動データを、複数の画像の取得時に同時に取得するように構成される。
【００９４】
いくつかの実施形態においては、図７に示されるように、データ分析モジュール２０３が、データ分析サブモジュール２０３１および生成サブモジュール２０３２を含むことができる。
【００９５】
データ分析サブモジュール２０３１は、複数の画像および複数の取得時点における運動データを分析して、環境の複数の座標点の座標データを取得するように構成される。
【００９６】
生成サブモジュール２０３２は、複数の座標点の座標データに基づいて環境の三次元空間データを生成するように構成される。
【００９７】
データ分析サブモジュール２０３１は、複数の画像および複数の画像の各々の取得時点に対応する運動データを、別々に分析することができる。データ分析サブモジュール２０３１は、複数の画像から同じ物体または同じ座標点を決定し、各々の画像に対応する運動データに基づいて複数の画像をキャプチャする間の電子デバイスの運動状態を決定することにより、物体または座標点の座標データを取得することができる。
【００９８】
例えば、データ分析サブモジュール２０３１は、２つの画像から同じ座標点を決定することができる。２つの画像のキャプチャ時点の間に時間差が存在する。データ分析サブモジュール２０３１は、この時間差における変位を決定する。この時間差における電子デバイスの移動方向および移動量を、変位に基づいて知ることができる。したがって、データ分析サブモジュール２０３１は、座標点と電子デバイスとの間の相対座標を取得することができ、すなわち座標点の座標データを取得することができる。
【００９９】
データ分析サブモジュール２０３１は、複数の画像および複数の画像の各々の取得時点における電子デバイスの運動データを分析して、複数の座標点の座標データを取得することができる。例えば、データ分析サブモジュール２０３１は、１０，０００個の座標点の座標データを取得することができる。次いで、生成サブモジュール２０３２は、取得された複数の座標点の座標データに基づいて環境の三次元空間データを生成することができる。
【０１００】
いくつかの実施形態においては、図８に示されるように、モデル生成モジュール２０４が、第１の取得サブモジュール２０４１および結合サブモジュール２０４２を含むことができる。
【０１０１】
第１の取得サブモジュール２０４１は、複数の画像から複数の座標点の各々に対応するメタ画像を取得するように構成される。
【０１０２】
結合サブモジュール２０４２は、メタ画像を対応する座標点の座標データに組み合わせて、環境モデルを生成するように構成される。
【０１０３】
第１の取得サブモジュール２０４１は、複数の画像を分析して、複数の画像から各々の座標点に対応するメタ画像を取得することができる。メタ画像を、最小の画像単位として理解することができる。座標点に対応するメタ画像は、環境内の座標点における画像を表す。各々の画像のすべての座標点におけるメタ画像の組が、この画像を構成する。
【０１０４】
続いて、結合サブモジュール２０４２は、各々のメタ画像をこのメタ画像に対応する座標点の座標データに組み合わせて、外部環境の環境モデルを生成することができる。例えば、データ分析モジュール２０３が１０，０００個の座標点を取得する場合、第１の取得サブモジュール２０４１が、複数の画像から１０，０００個の座標点の各々に対応するメタ画像を取得し、結合サブモジュール２０４２が、各々の座標点に対応するメタ画像を対応する座標点の座標データに組み合わせることができる。すべての座標点の座標データが対応するメタ画像と組み合わせられたとき、外部環境の環境モデルを取得することができる。
【０１０５】
いくつかの実施形態においては、図９に示されるように、装置２００が、データ分類モジュール２０５をさらに含む。
【０１０６】
データ分類モジュール２０５は、環境モデル内のデータを複数のデータ種類に基づいて分類して、複数のデータインタフェースを生成するように構成される。
【０１０７】
環境モデルは、複数の種類のデータを含む。例えば、環境モデルは、画像データ、空間座標データ、および座標点統計データを含む。データ分類モジュール２０５は、データ種類に基づいて環境モデル内のデータを分類して、複数のデータインタフェースを生成することができる。例えば、画像データインタフェース、空間座標データインタフェース、および座標点統計データインタフェースを、異なるアプリケーションによる呼び出しのために生成することができる。
【０１０８】
具体的な実施において、上述のモジュールの各々は、別個のエンティティとして実現されても、あるいは任意の組み合わせにて１つまたはいくつかのエンティティとして実現されてもよい。
【０１０９】
以上から、本開示の実施形態において提供される環境モデルを生成するための装置２００において、複数の画像が、電子デバイスが位置する環境について、第１の取得モジュール２０１によって取得されることを理解できるであろう。複数の画像は、複数の取得時点に対応している。電子デバイスの運動データが、複数の取得時点において、第２の取得モジュール２０２によって取得される。複数の画像および複数の取得時点における運動データは、環境の三次元空間データを生成するために、データ分析モジュール２０３によって分析される。複数の画像は、環境モデルを生成するために、モデル生成モジュール２０４によって三次元空間データとともにパッケージされる。環境モデルを生成するための装置により、環境モデルを、複数の取得画像および複数の取得時点における電子デバイスの運動データに基づいて生成することができる。したがって、環境モデルを、電子デバイスが位置する環境に基づいて定めることができ、周囲の実環境を、定められた環境モデルによって効率的に認識することができる。
【０１１０】
さらに、本開示の実施形態は、電子デバイスを提供する。電子デバイスは、スマートフォンまたはタブレットコンピュータなどのデバイスであってよい。図１０に示されるように、電子デバイス３００は、プロセッサ３０１およびメモリ３０２を含むことができる。プロセッサ３０１は、メモリ３０２に電気的に接続される。
【０１１１】
プロセッサ３０１は、電子デバイス３００の全体のさまざまな部分をさまざまなインタフェースおよび配線を使用して接続する電子デバイス３００の制御中心であり、メモリ３０２に格納されたコンピュータプログラムを実行し、あるいは呼び出し、メモリ３０２に格納されたデータを呼び出すことで、電子デバイス３００の種々の機能の実行およびデータの処理を行うことにより、電子デバイス３００の全体的な監視を実行する。
【０１１２】
この実施形態において、電子デバイス３００のプロセッサ３０１は、１つ以上のコンピュータプログラムのプロセスに対応する命令をメモリ３０２にロードし、メモリ３０２に格納された１つ以上のコンピュータプログラムを実行することで、以下のさまざまな機能を実現する。
【０１１３】
電子デバイスが位置する環境について、複数の画像が取得される。複数の画像は、複数の取得時点に対応している。
【０１１４】
電子デバイスの運動データが、複数の取得時点において取得される。
【０１１５】
複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。
【０１１６】
複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。
【０１１７】
いくつかの実施形態において、複数の画像および複数の取得時点における運動データが分析されて環境の三次元空間データが生成されるとき、プロセッサ３０１は、以下の行為を実行するように構成される。
【０１１８】
複数の画像および複数の取得時点における運動データが分析され、環境の複数の座標点の座標データが取得される。
【０１１９】
環境の三次元空間データが、複数の座標点の座標データに基づいて生成される。
【０１２０】
いくつかの実施形態において、複数の画像が三次元空間データとともにパッケージされて環境モデルが生成されるとき、プロセッサ３０１は、以下の行為を実行するように構成される。
【０１２１】
複数の座標点の各々に対応するメタ画像が、複数の画像から取得される。
【０１２２】
メタ画像が、対応する座標点の座標データに組み合わせられ、環境モデルが生成される。
【０１２３】
いくつかの実施形態において、電子デバイスは、モーションセンサを含む。複数の取得時点における電子デバイスの運動データが取得されるとき、プロセッサ３０１は、以下の行為を実行するように構成される。
【０１２４】
電子デバイスの初期運動データが、モーションセンサを使用することによって取得される。
【０１２５】
複数の画像が、時間に関して初期運動データにそれぞれ整列させられ、複数の取得時点における電子デバイスの運動データが取得される。
【０１２６】
いくつかの実施形態において、複数の画像が三次元空間データとともにパッケージされて環境モデルが生成された後に、プロセッサ３０１は、以下の行為を実行するようにさらに構成される。
【０１２７】
環境モデル内のデータが、複数のデータ種類に基づいて分類され、複数のデータインタフェースが生成される。
【０１２８】
メモリ３０２を、コンピュータプログラムおよびデータを格納するように構成することができる。メモリ３０２に格納されたコンピュータプログラムは、プロセッサ３０１において実行可能な命令を含むことができる。コンピュータプログラムを、さまざまな機能モジュールに組み合わせることができる。プロセッサ３０１は、メモリ３０２に格納されたコンピュータプログラムを呼び出すことによって、さまざまな機能アプリケーションおよびデータ処理を実行することができる。
【０１２９】
いくつかの実施形態においては、図１１に示されるように、電子デバイス３００が、無線周波数（ＲＦ）回路３０３、ディスプレイ画面３０４、制御回路３０５、入力ユニット３０６、オーディオ回路３０７、センサ３０８、および電源３０９をさらに含む。プロセッサ３０１は、無線周波数（ＲＦ）回路３０３、ディスプレイ３０４、制御回路３０５、入力ユニット３０６、オーディオ回路３０７、センサ３０８、および電源３０９に電気的に接続される。
【０１３０】
ＲＦ回路３０３は、無線通信を通じてネットワークデバイスまたは他の電子デバイスと通信するために、無線周波数信号を受信および送信するように構成される。
【０１３１】
ディスプレイ画面３０４は、ユーザによって入力された情報またはユーザに提供される情報、ならびに電子デバイスのさまざまなグラフィカルユーザインタフェースを表示するように構成される。グラフィカルユーザインタフェースを、画像、テキスト、アイコン、ビデオ、およびこれらの任意の組み合わせで構成することができる。
【０１３２】
制御回路３０５は、ディスプレイ画面３０４を制御して情報を表示するために、ディスプレイ画面３０４に電気的に接続される。
【０１３３】
入力ユニット３０６は、入力される数字、文字情報、またはユーザ特性情報（例えば、指紋）を受け取り、ユーザ設定および機能制御に関連するキーボード、マウス、ジョイスティック、光学、またはトラックボール信号を生成するように構成される。入力ユニット３０６は、指紋認識モジュールを含むことができる。
【０１３４】
オーディオ回路３０７は、スピーカおよびマイクロホンを介してユーザと電子デバイスとの間の音声インタフェースを提供することができる。
【０１３５】
センサ３０８は、外部環境情報を収集するように構成される。センサ３０８は、周囲明るさセンサ、加速度センサ、ジャイロスコープ、などのうちの１つ以上を含むことができる。
【０１３６】
電源３０９は、電子デバイス３００のさまざまな構成要素に電力を供給するように構成される。いくつかの実施形態においては、電源３０９を、電力管理システムによって充放電の管理ならびに電力管理などの機能を実行できるように、電力管理システムを介してプロセッサ３０１に論理的に接続することができる。
【０１３７】
図１１には示されていないが、電子デバイス３００は、カメラ、ブルートゥースモジュール、などをさらに含むことができ、詳細は本明細書では説明しない。
【０１３８】
以上から、本開示の実施形態が電子デバイスをさらに提供することを、理解できるであろう。電子デバイスは、以下の行為を実行するように構成される。電子デバイスが位置する環境について、複数の画像が取得される。複数の画像は、複数の取得時点に対応している。電子デバイスの運動データが、複数の取得時点において取得される。複数の画像および複数の取得時点における運動データが分析され、環境の三次元空間データが生成される。複数の画像が三次元空間データとともにパッケージされ、環境モデルが生成される。電子デバイスによって、環境モデルを、複数の取得画像および複数の取得時点における電子デバイスの運動データに基づいて生成することができる。したがって、環境モデルを、電子デバイスが位置する環境に基づいて定めることができ、周囲の実環境を、定められた環境モデルによって効率的に認識することができる。
【０１３９】
本開示の実施形態は、コンピュータプログラムを格納した記憶媒体をさらに提供する。コンピュータプログラムは、コンピュータにおいて実行されたときに、上述のいずれかの実施形態の方法をコンピュータに実行させる。
【０１４０】
当業者であれば、実施形態における方法の上述のブロックにおける行為のすべてまたは一部が、コンピューティングプログラムによる関連のハードウェアへの命令によって実行されてよいことを、理解すべきである。コンピューティングプログラムを、コンピュータ可読メモリに格納することができる。コンピュータ可読メモリは、フラッシュドライブ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク、光ディスク、などを含むことができる。
【０１４１】
本開示の実施形態において提供される環境モデルを生成するための方法、環境モデルを生成するための装置、記憶媒体、および電子デバイスを、詳細に上述した。具体的な例は、本明細書において、本開示の原理および実施のやり方を説明するために使用されている。上述の実施形態の説明は、あくまでも本開示の方法および主要なアイデアの理解を助けるために使用されているにすぎない。他方で、当業者であれば、本開示のアイデアに従って、詳細な説明および適用の範囲に修正を加えることができる。以上の説明に鑑み、本明細書を本開示を限定するものとして解釈してはならない。
【図１】
2021503665.tif 000003
【図２】
2021503665.tif 000004
【図３】
2021503665.tif 000005
【図４】
2021503665.tif 000006
【図５】
2021503665.tif 000007
【図６】
2021503665.tif 000008
【図７】
2021503665.tif 000009
【図８】
2021503665.tif 000010
【図９】
2021503665.tif 000011
【図１０】
2021503665.tif 000012
【図１１】
2021503665.tif 000013
【国際調査報告】
2021503665.tif 000014
2021503665.tif 000015