(57)【要約】【課題】ネットワーク計画およびネットワーク最適化のために、無線が環境内でどのように伝播するかについての情報を得ること。【解決手段】ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは環境内に配置されるステップと、前記要求に応じて、前記ユーザデバイスから前記環境の画像情報を受信するステップと、前記画像情報に基づいて前記環境の三次元モデルを構築するステップと、前記環境の前記三次元モデルから情報を取得するステップと、前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップとを含む手段を実行することを特徴とする装置。【選択図】図６
2021530821.tif 000002
【特許請求の範囲】
【請求項１】
ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは環境内に配置されるステップと、
前記要求に応じて、前記ユーザデバイスから前記環境の画像情報を受信するステップと、
前記画像情報に基づいて前記環境の三次元モデルを構築するステップと、
前記環境の前記三次元モデルから情報を取得するステップと、
前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップとを実行する手段を含むことを特徴とする装置。
【請求項２】
前記環境の三次元モデルを構築する前記ステップは、ローカライゼーションおよびマッピング技術ならびに物体認識技術を使用するステップを含むことを特徴とする請求項１に記載の装置。
【請求項３】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内の物体を検出するステップと、前記環境の前記三次元モデル内の前記物体の位置および形状を構築するステップとを含むことを特徴とする請求項２に記載の装置。
【請求項４】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記物体の材料および／またはタイプを決定するステップを含むことを特徴とする請求項２または３に記載の装置。
【請求項５】
情報を取得する前記ステップは、前記三次元環境内のユーザデバイスの位置の情報、前記三次元環境内の少なくとも１つの物体の位置および形状の情報、前記環境内の少なくとも１つの物体の表面材料の情報のうち少なくとも１つを取得するステップを含むことを特徴とする請求項１乃至４のいずれか１項に記載の装置。
【請求項６】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内に配置されるアクセスポイントの位置を決定するステップを含むことを特徴とする請求項２乃至５のいずれか１項に記載の装置。
【請求項７】
三次元モデルを構築する前記ステップは、前記環境内に配置される前記アクセスポイントのタイプを認識するステップを含むことを特徴とする請求項７に記載の装置。
【請求項８】
前記手段は、前記無線伝播モデルと、前記決定された前記環境内に配置される前記アクセスポイントの位置および前記認識された前記アクセスポイントのタイプとに基づき、仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを生成するステップをさらに実行することを特徴とする請求項６または７に記載の装置。
【請求項９】
前記手段は、前記ユーザデバイスから、前記ユーザデバイスのアクセスポイントの優先タイプに関する情報を受信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を受信するステップをさらに実行することを特徴とする請求項１乃至８のいずれか１項に記載の装置。
【請求項１０】
前記手段は、前記無線伝播モデルと、前記環境内の前記アクセスポイントの位置と、前記アクセスポイントの優先タイプに基づく仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを生成するステップをさらに実行することを特徴とする請求項９に記載の装置。
【請求項１１】
前記手段は、ネットワーク計画またはネットワーク最適化をさらに実行することを特徴とする請求項１乃至１０のいずれか１項に記載の装置。
【請求項１２】
前記手段は、提案された最適アクセスポイント配置位置を前記ユーザデバイスに提供するステップをさらに実行することを特徴とする請求項１１に記載の装置。
【請求項１３】
前記手段は、前記ユーザデバイスの移動情報および／または前記ユーザデバイスから無線信号測定値を受信するステップをさらに実行することを特徴とする請求項１乃至１２のいずれか１項に記載の装置。
【請求項１４】
サーバから、装置が配置される環境の三次元モデルを構築するための画像情報の要求を受信するステップと、
前記要求に応じて、環境の画像情報を前記サーバへ送信するステップとを実行する手段を含むことを特徴とする装置。
【請求項１５】
前記手段は、前記装置のアクセスポイントの優先タイプに関する情報を送信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を送信するステップをさらに実行することを特徴とする請求項１４に記載の装置。
【請求項１６】
前記手段は、移動情報および／または無線信号測定値を前記サーバに送信するステップをさらに実行することを特徴とする請求項１４または１５に記載の装置。
【請求項１７】
前記手段は、仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを受信するステップであって、前記仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックは、無線伝播モデルと、前記アクセスポイントの位置と、前記アクセスポイントの前記優先タイプおよび前記サーバによって検出された前記環境内の前記アクセスポイントのタイプの少なくとも１つとに基づくステップをさらに実行することを特徴とする請求項１４乃至１６のいずれか１項に記載の装置。
【請求項１８】
前記手段は、提案された最適アクセスポイント配置位置を受信するステップと前記提案された最適アクセスポイント配置位置をユーザに表示するステップとをさらに実行することを特徴とする請求項１４乃至１７のいずれか１項に記載の装置。
【請求項１９】
ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは、環境内に配置されるステップと、
前記要求に応じて、前記環境の画像情報を前記ユーザデバイスから受信するステップと、
前記画像情報に基づき前記環境の三次元モデルを構築するステップと、
前記環境の前記三次元モデルから情報を取得するステップと、
前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップとを含むことを特徴とする方法。
【請求項２０】
前記環境の三次元モデルを構築する前記ステップは、ローカライゼーションおよびマッピング技術ならびに物体認識技術を使用するステップ含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内の物体を検出するステップと前記環境の前記三次元モデル内の前記物体の位置および形状を構築するステップとを含むことを特徴とする請求項２０に記載の方法。
【請求項２２】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記物体の材料および／またはタイプを決定するステップを含むことを特徴とする請求項２０または２１に記載の方法。
【請求項２３】
情報を取得する前記ステップは、前記三次元環境内のユーザデバイスの位置の情報、前記三次元環境内の少なくとも１つの物体の位置および形状の情報、前記環境内の少なくとも１つの物体の表面材料の情報のうち少なくとも１つを取得するステップを含むことを特徴とする請求項１９乃至２２のいずれか１項に記載の方法。
【請求項２４】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内に配置されるアクセスポイントの位置を決定するステップを含むことを特徴とする請求項２０乃至２３のいずれか１項に記載の方法。
【請求項２５】
三次元モデルを構築する前記ステップは、前記環境内に配置される前記アクセスポイントのタイプを認識するステップを含むことを特徴とする請求項２４に記載の方法。
【請求項２６】
前記無線伝播モデルと、前記環境内に配置される前記アクセスポイントの前記決定された位置と、前記アクセスポイントの前記認識されたタイプに基づく仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを生成するステップをさらに実行することを特徴とする請求項２４または２５に記載の方法。
【請求項２７】
前記ユーザデバイスから、前記ユーザデバイスのアクセスポイントの優先タイプに関する情報を受信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を受信するステップをさらに含むことを特徴とする請求項１９乃至２６のいずれか１項に記載の装置。
【請求項２８】
前記無線伝播モデルと、前記環境内の前記アクセスポイントの位置と、前記アクセスポイントの優先タイプとに基づく仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを生成するステップをさらに実行することを特徴とする請求項２７に記載の方法。
【請求項２９】
ネットワーク計画またはネットワーク最適化を実行するステップをさらに含むことを特徴とする請求項１９乃至２８のいずれか１項に記載の方法。
【請求項３０】
提案された最適アクセスポイント配置位置を前記ユーザデバイスに提供するステップをさらに含むことを特徴とする請求項２９に記載の方法。
【請求項３１】
前記ユーザデバイスの移動情報および／または前記ユーザデバイスから無線信号測定値を受信するステップをさらに含むことを特徴とする請求項１９乃至３０のいずれか１項に記載の方法。
【請求項３２】
サーバから、装置が配置されている環境の三次元モデルを構築するための画像情報の要求を受信するステップと、
前記要求に応じて、環境の画像情報を前記サーバに送信するステップとを含む方法。
【請求項３３】
前記装置のアクセスポイントの優先タイプに関する情報を前記サーバに送信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を送信するステップをさらに含むことを特徴とする請求項３２に記載の方法。
【請求項３４】
移動情報および／または無線信号測定値を前記サーバに送信するステップをさらに含むことを特徴とする請求項３２または３３に記載の方法。
【請求項３５】
仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを受信するステップであって、前記仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックは、無線伝播モデルと、前記アクセスポイントの位置と、前記アクセスポイントの前記優先タイプおよび前記サーバによって検出された前記環境内の前記アクセスポイントのタイプの少なくとも１つとに基づくステップをさらに含むことを特徴とする請求項３２乃至３４のいずれか１項に記載の方法。
【請求項３６】
提案された最適アクセスポイント配置位置を受信するステップと前記提案された最適アクセスポイント配置位置をユーザに表示するステップとをさらに含むことを特徴とする請求項３２乃至３５のいずれか１項に記載の方法。
【請求項３７】
少なくとも
ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは、環境内に配置されているステップと、
前記要求に応じて、前記ユーザデバイスから前記環境の画像情報を受信するステップと、
前記画像情報に基づき前記環境の三次元モデルを構築するステップと、
前記環境の前記三次元モデルから情報を取得するステップと、
前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップとを前記装置に実行させるための命令を含むことを特徴とするコンピュータプログラム。
【請求項３８】
少なくとも
サーバから、装置が配置されている環境の三次元モデルを構築するための画像情報の要求を受信するステップと、
前記要求に応じて、環境の画像情報を前記サーバに送信するステップとを前記装置に実行させるための命令を含むことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
様々な例は、方法、装置、およびコンピュータプログラムに関連する。より具体的には、様々な例は、無線モデル構築に関連し、より具体的には、三次元無線モデル構築を実行するための方法および装置に関連する。
【背景技術】
【０００２】
ユーザデバイスは、無線ネットワークを含む環境に配置され得る。ネットワーク計画およびネットワーク最適化のために、無線が環境内でどのように伝播するかについての情報が必要となり得る。
【０００３】
二次元の無線カバレッジマップは、環境内の無線カバレッジの二次元表現を提供するために用いられ得る。
【発明の概要】
【０００４】
第１の態様によれば、ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは環境内に配置されるステップと、前記要求に応じて、前記ユーザデバイスから前記環境の画像情報を受信するステップと、前記画像情報に基づいて前記環境の三次元モデルを構築するステップと、前記環境の前記三次元モデルから情報を取得するステップと、前記環境の前記三次元モデルから取得した情報を用いて前記環境の無線伝播モデルを生成するステップとを実行する手段を含む装置が提供される。
【０００５】
一例では、前記環境の三次元モデルを構築する前記ステップは、ローカライゼーションおよびマッピング技術ならびに物体認識技術を使用するステップを含む。
【０００６】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内の物体を検出するステップと前記環境の前記三次元モデル内の前記物体の位置および形状を構築するステップとを含む。
【０００７】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記物体の材料および／またはタイプを決定するステップを含む。
【０００８】
一例では、情報を取得する前記ステップは、前記三次元環境内のユーザデバイスの位置の情報、前記三次元環境内の少なくとも１つの物体の位置および形状の情報、前記環境内の少なくとも１つの物体の表面材料の情報のうち少なくとも１つを取得するステップを含む。
【０００９】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内に配置されるアクセスポイントの位置を決定するステップを含む。
【００１０】
一例では、三次元モデルを構築する前記ステップは、前記環境内に配置される前記アクセスポイントのタイプを認識するステップを含む。
【００１１】
一例では、前記手段は、前記無線伝播モデル、前記決定された前記環境内に配置される前記アクセスポイントの位置および前記認識された前記アクセスポイントのタイプに基づく仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを生成するステップをさらに実行する。
【００１２】
一例では、前記手段は、前記ユーザデバイスから、前記ユーザデバイスのアクセスポイントの優先タイプに関する情報を受信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を受信するステップをさらに実行する。
【００１３】
一例では、前記手段は、前記無線伝播モデル、前記環境内の前記アクセスポイントの位置および前記アクセスポイントの優先タイプに基づく仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを生成するステップをさらに実行する。
【００１４】
一例では、前記手段は、前記仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを前記ユーザデバイスに送信するステップを実行するようにさらに構成される。
【００１５】
一例では、前記少なくとも１つのパフォーマンスメトリックはネットワーク容量およびネットワークレイテンシを含む。
【００１６】
一例では、前記手段は、前記ユーザデバイスから前記環境のコンテキスト情報を受信するステップと、前記環境の前記三次元モデルを構築するための前記コンテキスト情報を使用するステップを実行するようにさらに構成される。
【００１７】
一例では、前記コンテキスト情報は、前記ユーザデバイスでのユーザによる触覚および／または聴覚フィードバックによって提供される。
【００１８】
一例では、前記コンテキスト情報は、前記ユーザデバイスのセンサによって記録される。
【００１９】
一例では、前記手段は、ネットワーク計画またはネットワーク最適化を実行するようにさらに構成される。
【００２０】
一例では、前記手段は、提案された最適アクセスポイント配置位置を前記ユーザデバイスに提供するステップを実行するようにさらに構成される。
【００２１】
一例では、複数の最適アクセスポイント配置位置が前記ユーザデバイスに提供される。
【００２２】
一例では、前記手段は、前記環境内に複数のアクセスポイントを配置するための提案を前記ユーザデバイスにさらに提供する。
【００２３】
一例では、前記手段は、前記ユーザデバイスの移動情報および／または前記ユーザデバイスから無線信号測定値を受信するステップをさらに実行する。
【００２４】
一例では、前記ローカライゼーションおよびマッピング技術は、同時ローカライゼーションおよびマッピングアルゴリズムを含む。
【００２５】
一例では、前記物体認識技術は畳み込みニューラルネットワークを使用する。
【００２６】
第２の態様によれば、サーバから、装置が配置される環境の三次元モデルを構築するための画像情報の要求を受信するステップと、前記要求に応じて、環境の画像情報を前記サーバへ送信するステップとを実行する手段を含む装置が提供される。
【００２７】
一例では、前記手段は、前記装置のアクセスポイントの優先タイプに関する情報を送信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を送信するステップとを実行するようにさらに構成される。
【００２８】
一例では、前記手段は、移動情報および／または無線信号測定値を前記サーバに送信するステップをさらに実行する。
【００２９】
一例では、前記手段は、仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを受信するステップであって、前記仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックは、無線伝播モデルと、前記アクセスポイントの位置と、前記アクセスポイントの前記優先タイプおよび前記サーバによって検出される前記環境内の前記アクセスポイントのタイプの少なくとも１つとに基づくステップをさらに実行する。
【００３０】
一例では、前記手段は、提案された最適アクセスポイント配置位置を受信するステップと前記提案された最適アクセスポイント配置位置をユーザに表示するステップとをさらに実行する。
【００３１】
一例では、前記手段は、前記仮想無線カバレッジマップおよび／または前記サーバから少なくとも１つのパフォーマンスメトリックを受信するステップを実行するようにさらに十個する。
【００３２】
一例では、前記少なくとも１つのパフォーマンスメトリックは、ネットワーク容量およびネットワークレイテンシを含む。
【００３３】
一例では、前記手段は、前記環境のコンテキスト情報を前記サーバに送信するステップをさらに実行する。
【００３４】
一例では、前記コンテキスト情報は、ユーザによって触覚および／または聴覚フィードバックが装置に提供される。
【００３５】
一例では、前記コンテキスト情報は、前記装置のセンサによって記録される。
【００３６】
一例では、前記手段は、前記サーバから、複数の最適アクセスポイント配置位置を受信するステップをさらに実行する。
【００３７】
一例では、前記手段は前記サーバから前記環境内に複数のアクセスポイントを配置するための提案を受信するステップをさらに実行する。
【００３８】
第３の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを含む装置であって、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、少なくとも、ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは、環境内に配置されるステップと、前記要求に応じて、前記環境の画像情報を前記ユーザデバイスから受信するステップと、前記画像情報に基づき前記環境の三次元モデルを構築するステップと、前記環境の前記三次元モデルから情報を取得するステップと、前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップとを前記装置に実行させる。
【００３９】
一例では、前記環境の三次元モデルを構築する前記ステップは、ローカライゼーションおよびマッピング技術ならびに物体認識技術使用するステップを含む。
【００４０】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内の物体を検出するステップと前記環境の前記三次元モデル内の前記物体の位置および形状を構築するステップとを含む。
【００４１】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記物体の材料および／またはタイプを決定するステップを含む。
【００４２】
一例では、情報を取得する前記ステップは、前記三次元環境内のユーザデバイスの位置の情報、前記三次元環境内の少なくとも１つの物体の位置および形状の情報、前記環境内の少なくとも１つの物体の表面材料の情報のうち少なくとも１つを取得するステップを含む。
【００４３】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内に配置されるアクセスポイントの位置を決定するステップを含む。
【００４４】
一例では、三次元モデルを構築する前記ステップは、前記環境内に配置される前記アクセスポイントのタイプを認識するステップを含む。
【００４５】
一例では、前記装置に仮想無線カバレッジマップおよび／または前記仮想無線伝播モデル、前記決定された前記環境内に配置される前記アクセスポイントの位置、前記認識された前記アクセスポイントのタイプに基づく少なくとも１つのパフォーマンスメトリックを生成させる。
【００４６】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記ユーザデバイスから、前記ユーザデバイスのアクセスポイントの優先タイプに関する情報を受信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を受信するステップを実行させる。
【００４７】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記無線伝播モデル、前記環境内の前記アクセスポイントの位置およびアクセスポイントの前記優先タイプに基づく仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを生成するステップを実行させる。
【００４８】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを前記ユーザデバイスに送信するステップを実行させる。
【００４９】
一例では、前記少なくとも１つのパフォーマンスメトリックは、ネットワーク容量およびネットワークレイテンシを含む。
【００５０】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記ユーザデバイスから前記環境のコンテキスト情報を受信するステップと、前記環境の前記三次元モデルを構築するための前記コンテキスト情報を使用するステップを実行させる。
【００５１】
一例では、前記コンテキスト情報は、前記ユーザ装置にユーザによって触覚および／または聴覚フィードバックが提供される。
【００５２】
一例では、前記コンテキスト情報は、前記ユーザデバイスのセンサによって記録される。
【００５３】
一例では、前記装置は、ネットワーク計画またはネットワーク最適化を実行させる。
【００５４】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、提案された最適アクセスポイント配置位置を前記ユーザデバイスに提供するステップを実行させる。
【００５５】
一例では、複数の最適アクセスポイント配置位置が前記ユーザデバイスに提供される。
【００５６】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記環境内に複数のアクセスポイントを配置するための提案を前記ユーザデバイスに提供するステップを実行させる。
【００５７】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記ユーザデバイスの移動情報および／または前記ユーザデバイスから無線信号測定値を受信するステップを実行させる。
【００５８】
一例では、前記ローカライゼーションおよびマッピング技術は、同時ローカライゼーションおよびマッピングアルゴリズムを含む。
【００５９】
一例では、前記物体認識技術は畳み込みニューラルネットワークを使用する。
【００６０】
第４の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを含む装置であって、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置にサーバから、装置が配置されている環境の三次元モデルを構築するための画像情報の要求を受信するステップと、前記要求に応じて環境の画像情報を前記サーバに送信するステップとを実行させる。
【００６１】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記装置のアクセスポイントの優先タイプに関する情報を前記サーバに送信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を送信するステップを実行させる。
【００６２】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、移動情報および／または無線信号測定値を前記サーバに送信するステップを実行させる。
【００６３】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを受信するステップであって、前記無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックは、無線伝播モデルと、前記アクセスポイントの位置と、前記アクセスポイントの前記優先タイプおよび前記サーバによって検出される前記環境内の前記アクセスポイントのタイプの少なくとも１つとに基づくステップを実行させる。
【００６４】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、提案された最適アクセスポイント配置位置を受信するステップと前記提案された最適アクセスポイント配置位置をユーザに表示するステップとを実行させる。
【００６５】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記仮想無線カバレッジマップおよび／または前記サーバから少なくとも１つのパフォーマンスメトリックを受信するステップを実行させる。
【００６６】
一例では、前記少なくとも１つのパフォーマンスメトリックは、ネットワーク容量およびネットワークレイテンシを含む。
【００６７】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記環境のコンテキスト情報を前記サーバに送信するステップを実行させる。
【００６８】
一例では、前記コンテキスト情報は、前記装置にユーザによって触覚および／または聴覚フィードバックによって提供される。
【００６９】
一例では、前記コンテキスト情報は、前記装置のセンサによって記録される。
【００７０】
一例では、前記少なくとも１つのメモリおよびコンピュータプログラムコードは、前記少なくとも１つのプロセッサとともに、前記装置に、前記サーバから、複数の最適アクセスポイント配置位置を受信するステップを実行させる。
【００７１】
第５の態様では、ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは環境内に配置されているステップと、前記要求に応じて、前記ユーザデバイスから前記環境の画像情報を受信するステップと、前記画像情報に基づき前記環境の三次元モデルを構築するステップと、前記環境の前記三次元モデルから情報を取得するステップと、前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップとを含む方法が提供される。
【００７２】
一例では、前記環境の三次元モデルを前記構築するステップは、ローカライゼーションおよびマッピング技術ならびに物体認識技術を含む。
【００７３】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内の物体を検出するステップと前記環境の前記三次元モデル内の前記物体の位置および形状を構築するステップとを含む。
【００７４】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記物体の材料および／またはタイプを決定するステップを含む。
【００７５】
一例では、情報を取得する前記ステップは、前記三次元環境内のユーザデバイスの位置の情報、前記三次元環境内の少なくとも１つの物体の位置および形状の情報、前記環境内の少なくとも１つの物体の表面材料の情報のうち少なくとも１つを取得するステップを含む。
【００７６】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内に配置されるアクセスポイントの位置を決定するステップを含む。
【００７７】
三次元モデルを構築する前記ステップは、前記環境内に配置される前記アクセスポイントのタイプを認識するステップを含む。
【００７８】
一例では、前記方法は、前記無線伝播モデル、前記環境内に配置される前記アクセスポイントの前記決定された位置および前記アクセスポイントの前記認識されたタイプに基づく仮想無線カバレッジマップおよび少なくとも１つのパフォーマンスメトリックを生成するステップをさらに含む。
【００７９】
一例では、前記方法は、前記ユーザデバイスから、前記ユーザデバイスのアクセスポイントの優先タイプに関する情報を受信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を受信するステップをさらに含む。
【００８０】
一例では、前記方法は、仮想無線カバレッジマップおよび／または前記無線伝播モデル、前前記環境内の前記アクセスポイントの位置、アクセスポイントの優先タイプの少なくとも１つを生成するステップをさらに含む。
【００８１】
一例では、前記方法は、前記仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを前記ユーザデバイスに送信するステップをさらに含む。
【００８２】
一例では、前記少なくとも１つのパフォーマンスメトリックは、ネットワーク容量およびネットワークレイテンシを含む。
【００８３】
一例では、前記方法は、前記ユーザデバイスから前記環境のコンテキスト情報を受信するステップと、前記環境の前記三次元モデルを構築するための前記コンテキスト情報を使用するステップとをさらに含む。
【００８４】
一例では、前記コンテキスト情報は、前記ユーザデバイスにユーザによって触覚および／または聴覚フィードバックが提供される。
【００８５】
一例では、コンテキスト情報は、前記ユーザデバイスのセンサによって記録される。
【００８６】
一例では、前記方法は、ネットワーク計画またはネットワーク最適化を実行するステップをさらに含む。
【００８７】
一例では、前記方法は、提案された最適アクセスポイント配置位置を前記ユーザデバイスに提供するステップをさらに含む。
【００８８】
一例では、複数の最適アクセスポイント配置位置が前記ユーザデバイスに提供される。
【００８９】
一例では、前記方法は、前記ユーザデバイスに前記環境内に複数のアクセスポイントを配置するための提案を提供するステップをさらに含む。
【００９０】
一例では、前記方法は、前記ユーザデバイスの移動情報および／または前記ユーザデバイスから無線信号測定値を受信するステップをさらに含む。
【００９１】
一例では、前記ローカライゼーションおよびマッピング技術は、同時ローカライゼーションおよびマッピングアルゴリズムを含む。
【００９２】
一例では、前記物体認識技術は、畳み込みニューラルネットワークを用いる。
【００９３】
第６の態様によれば、サーバから、装置が配置されている環境の三次元モデルを構築するための画像情報の要求を受信するステップと、前記要求に応じて、環境の画像情報を前記サーバに送信するステップとを含む方法が提供される。
【００９４】
一例では、前記方法は、前記装置のアクセスポイントの優先タイプに関する情報を前記サーバに送信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を送信するステップをさらに含み得る。
【００９５】
一例では、前記方法は、移動情報および／または無線信号測定値を前記サーバに送信するステップをさらに含み得る。
【００９６】
一例では、前記方法は、仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを受信するステップであって、前記仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックは、前記アクセスポイントの前記優先タイプと、前記アクセスポイントの位置と、前記アクセスポイントの優先タイプおよび前記サーバによって検出された前記環境内の前記アクセスポイントのタイプの少なくとも１つとに基づくステップをさらに含み得る。
【００９７】
一例では、前記方法は、提案された最適アクセスポイント配置位置を受信するステップおよび前記提案された最適アクセスポイント配置位置をユーザに表示するステップをさらに含み得る。
【００９８】
一例では、前記方法は、前記無線カバレッジマップおよび／または前記サーバから少なくとも１つのパフォーマンスメトリックを受信するステップをさらに含み得る。
【００９９】
一例では、前記少なくとも１つのパフォーマンスメトリックは、ネットワーク容量およびネットワークレイテンシを含む。
【０１００】
一例では、前記方法は、前記環境のコンテキスト情報を前記サーバに送信するステップをさらに含み得る。
【０１０１】
一例では、前記コンテキスト情報は、前記装置にユーザによって触覚および／または聴覚フィードバックによって提供される。
【０１０２】
一例では、前記コンテキスト情報は、前記装置のセンサによって記録される。
【０１０３】
一例では、前記方法は、前記サーバから、複数のアクセスポイント配置位置を受信するステップをさらに含み得る。
【０１０４】
一例では、前記方法は、前記環境内の複数のアクセスポイントを配置するための提案を前記サーバから受信するステップをさらに含み得る。
【０１０５】
第７の態様では、少なくとも、ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは環境内に配置されているステップと、前記要求に応じて、前記ユーザデバイスから前記環境の画像情報を受信するステップと、前記画像情報に基づき前記環境の三次元モデルを構築するステップと、前記環境の前記三次元モデルから情報を取得するステップと、前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップとを装置に実行させるための命令を含むコンピュータプログラムが提供される。
【０１０６】
第８の態様では、少なくとも、ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは環境内に配置されているステップと、前記要求に応じて前記ユーザデバイスから前記環境の画像情報を受信するステップと、前記画像情報に基づき前記環境の三次元モデルを構築するステップと、前記環境の前記三次元モデルから情報を取得するステップと、前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップを装置に実行させるためのプログラム命令を含む非一時的コンピュータ可読媒体が提供される。
【０１０７】
一例では、前記環境の三次元モデルを構築する前記ステップは、ローカライゼーションおよびマッピング技術ならびに物体認識技術を使用するステップを含む。
【０１０８】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内の物体を検出するステップと、前記環境の前記三次元モデル内の前記物体の位置および形状を構築するステップを含む。
【０１０９】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記物体の材料および／またはタイプを決定するステップを含む。
【０１１０】
一例では、情報を取得する前記ステップは、前記三次元環境内のユーザデバイスの情報と、前記三次元環境内の少なくとも１つの物体の位置および形状の情報と、前記環境内の少なくとも１つの物体の表面材料のうち少なくとも１つを取得するステップを含む。
【０１１１】
一例では、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内に配置されるアクセスポイントの位置を決定するステップを含む。
【０１１２】
一例では、三次元モデルを構築する前記ステップは、前記環境内に配置される前記アクセスポイントのタイプを認識するステップを含む。
【０１１３】
一例では、仮想無線カバレッジマップおよび／または前記無線伝播モデル、前記環境内に配置される前記アクセスポイントの前記決定された位置および前記アクセスポイントの前記認識されたタイプに基づく少なくとも１つのパフォーマンスメトリックを生成するステップを前記装置に実行させる。
【０１１４】
一例では、前記ユーザデバイスから、前記ユーザデバイスのアクセスポイントの優先タイプに関する情報を受信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を受信するステップを前記装置に実行させる。
【０１１５】
一例では、仮想無線カバレッジマップおよび／または前記無線伝播モデル、前記環境内の前記アクセスポイントの位置およびアクセスポイントの前記優先タイプの少なくとも１つを生成するステップを前記装置に実行させる。
【０１１６】
一例では、前記ユーザデバイスから前記環境のコンテキスト情報を受信するステップと前記環境の前記三次元モデルを構築するための前記コンテキスト情報を使用するステップを前記装置に実行させる。
【０１１７】
一例では、前記コンテキスト情報は、前記ユーザデバイスにユーザによって触覚および／または聴覚フィードバックが提供される。
【０１１８】
一例では、前記コンテキスト情報は、前記ユーザデバイスのセンサによって記録される。
【０１１９】
一例では、ネットワーク計画またはネットワーク最適化を実行するステップを前記装置に実行させる。
【０１２０】
一例では、提案された最適アクセスポイント配置位置を前記ユーザデバイスに提供するステップを前記装置に実行させる。
【０１２１】
一例では、複数の最適アクセスポイント配置位置が前記ユーザデバイスに提供される。
【０１２２】
一例では、前記ユーザデバイスの移動情報および／または前記ユーザデバイスから無線信号測定値を受信するステップを前記装置に実行させる。
【０１２３】
第９の態様によれば、少なくとも、サーバから、装置が配置されている環境の三次元モデルを構築するための画像情報の要求を受信するステップと、前記要求に応じて、環境の画像情報を前記サーバに送信するステップを前記装置に実行させる命令を含むコンピュータプログラムが提供される。
【０１２４】
第１０の態様によれば、少なくとも、サーバから、装置が配置される環境の三次元モデルを構築するための画像情報の要求を受信するステップと、前記要求に応じて、環境の画像情報を前記サーバに送信するステップを前記装置に実行させる非一時的コンピュータ可読媒体が提供される。
【０１２５】
一例では、前記装置のアクセスポイントの優先タイプに関する情報を前記サーバに送信するステップと、前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を送信するステップとを前記装置に実行させる。
【０１２６】
一例では、移動情報および／または無線信号測定値を前記サーバに送信するステップを前記装置に実行させる。
【０１２７】
一例では、仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを受信するステップであって、前記仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックは、無線伝播モデルと、前記アクセスポイントの位置と、前記アクセスポイントの前記優先タイプおよび前記サーバによって検出される前記環境内の前記アクセスポイントのタイプの少なくとも１つとに基づくステップを前記装置に実行させる。
【０１２８】
一例では、提案された最適アクセスポイント配置位置を受信するステップと前記提案された最適アクセスポイント配置位置をユーザに表示するステップを前記装置に実行させる。
【０１２９】
一例では、前記仮想無線カバレッジマップおよび／または前記サーバから少なくとも１つのパフォーマンスメトリックを受信するステップを前記装置に実行させる。
【０１３０】
一例では、前記少なくとも１つのパフォーマンスメトリックは、ネットワーク容量およびネットワークレイテンシを含む。
【０１３１】
一例では、前記環境のコンテキスト情報を前記サーバに送信するステップを前記装置に実行させる。
【０１３２】
一例では、前記コンテキスト情報は、前記装置に前記ユーザによって触覚および／または聴覚フィードバックによって提供される。
【０１３３】
一例では、前記コンテキスト情報は前記装置のセンサによって記録される。
【０１３４】
一例では、前記サーバから、複数の最適アクセスポイント配置位置を受信するステップを前記装置に実行させる。
【０１３５】
一例では、前記環境内に複数のアクセスポイントを配置するための前記サーバから提案を受信するステップを前記装置に実行させる。
【０１３６】
第１１の態様によれば、少なくとも、ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは環境内に配置されるステップと、前記要求に応じて、前記ユーザデバイスから前記環境の画像情報を受信するステップと、前記環境に基づき前記環境の三次元モデルを構築するステップと、前記環境の前記三次元モデルから情報を取得するステップと、前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップを実行するために記憶された命令を含むコンピュータプログラムが提供される。
【０１３７】
第１２の態様によれば、少なくとも、ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは環境内に配置されているステップと、前記要求に応じて前記ユーザデバイスから前記環境の画像情報を受信するステップと、前記画像情報に基づき前記環境の三次元モデルを構築するステップと、前記環境の前記三次元モデルから情報を取得するステップと、前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップを実行するためのプログラム命令を含む非一時的コンピュータ可読媒体が提供される。
【０１３８】
第１３の態様によれば、少なくとも、サーバから、装置が配置されている環境の三次元モデルを構築するための画像情報の要求を受信するステップと、前記要求に応じて環境の画像情報を前記サーバに送信するステップを実行させるために記憶される命令を含むコンピュータプログラムが提供される。
【０１３９】
第１４の態様によれば、少なくとも、サーバから装置が配置されている環境の三次元モデルを構築するための画像情報の要求を受信するステップと、前記要求に応じて、環境の画像情報を前記サーバに送信するステップとを実行するためのプログラム命令を含む非一時的コンピュータ可読媒体が提供される。
【０１４０】
上述において、種々の態様が説明される。さらなる態様は、上述の態様のうちの任意の２つ以上の組合せによって提供され得ることを理解されたい。
【０１４１】
様々な他の態様およびさらなる実施形態も、以下の詳細な説明および添付の特許請求の範囲に記載される。
本開示の理解を助け、いくつかの実施形態がどのように実施され得るかを示すために、以下の添付図面のみを例として参照する。
【図面の簡単な説明】
【０１４２】
【図１】環境の一例を概略的に示す。
【図２】システムの一例を概略的に示す。
【図３】環境の一例を概略的に示す。
【図４】一例による三次元無線モデルを構築するための方法を概略的に示す。
【図５】一例による無線伝播モデルを用いるための方法を概略的に示す。
【図６】一例による第１の方法を示す。
【図７】一例による第２の方法を示す。
【発明を実施するための形態】
【０１４３】
いくつかの例は、ネットワーク計画またはネットワーク最適化において提供され得る。
【０１４４】
無線マップ構築は、ネットワーク計画と最適化に使用され得る。第五世代（５Ｇ）無線アクセスと無人航空機（ＵＡＶ）サービスの成長市場は、三次元（３Ｄ）空間で提供される無線マップの需要を押し上げている。このような需要は、３Ｄ空間における位置依存ネットワーク性能を迅速かつ効率的に推定する方法のような新しい技術的課題を生じる。ネットワーク性能は、例えば、信号強度および／またはネットワークスループット（データレート）によって表すことができる。さらに、無線マップを構築するあるいは、ネットワーク計画やネットワーク最適化を実行するために必要なデータの収集を簡素化する方法も課題となっている。例えば、大規模な環境（例えば製造工場）では、仮想無線マップを構築するためにサイト調査データを収集するプロセスに時間がかかり、多大な労力を要する場合がある。
【０１４５】
いくつかの例では、視覚ベース３Ｄネットワーク環境構築を用いてネットワーク計画と最適化サービスについて述べた。いくつかの例において、ネットワーク計画および最適化サービスは、環境の無線伝搬モデル（デジタルツイン）に基づく情報を提供することができる。
【０１４６】
この方法および装置は、図１に概略的に示されるような環境１００に関する情報を提供するために使用され得る。図１は２Ｄで概略的に示されているが、環境１００は３Ｄ環境を含むことが理解されよう。３Ｄ環境１００には、ユーザデバイス１０２、ユーザ１０４、アクセスポイント（ＡＰ）１０６、および椅子１０８、スクリーン１１０（例えばコンピュータの画面）およびテーブル１１２のような物体が配置され得る。環境１００は、家庭またはオフィスなどの屋内環境であってもよい。環境１００は、あるいは、屋外環境を含み得る。環境１００はまた、屋内環境と屋外環境の両方を含み得る。
【０１４７】
環境１００には、環境の二次元（２Ｄ）画像において際立つ「キーポント」または「関心地点」とみなされる特定の特徴も存在し得る。特徴は、例えば環境内のアイテムのコーナーやエッジなどである。スクリーン１１０のコーナーである例示的特徴は、図１の１１４に示されている。環境は、さらなる特徴、例えばさらなるキーポイントを含んでもよい。
【０１４８】
次に、いくつかの例の例示的なシステムを、図２を参照してより詳細に説明する。図２は、システム２５４の概略図を示す。例示的なシステム２５４は、ユーザデバイス２０２およびサーバデバイス２２４を含む。
【０１４９】
ユーザデバイス２０２は、少なくとも１つのデータ処理エンティティ２２８と、少なくとも１つのメモリ２３０と、他の可能な構成要素を含み、それらはソフトウェア及びハードウェア支援実行に使用され、サーバデバイスおよび他の通信装置へのアクセス及びそれらとの通信の制御を含むタスクを実行するように設計される。少なくとも１つのメモリ２２８は、データプロセッサであり得るデータ処理エンティティ２３０と通信することができる。データ処理、記憶および他の関連する制御装置は、適切な回路基板および／またはチップセットに設けることができる。
【０１５０】
ユーザデバイス２０２は、オプションとして、キーパッド、音声コマンド、タッチスクリーンまたはパッド、それらの組み合わせなどのユーザインタフェースを含み得る。ディスプレイ２２０、スピーカ、およびマイクロフォンのうちの一つまたはそれ以上を任意に設けることができる。さらに、ユーザデバイス２０２は、他の装置への、および／または外部アクセサリ、例えばハンズフリー機器をそれに接続するための適切なコネクタ（有線または無線のいずれか）を備えることができる。ディスプレイ２２０は、例えばユーザ入力に応答して、ユーザに触覚フィードバックを提供することができる触覚ディスプレイであってもよい。
【０１５１】
ユーザデバイス２０２は、受信のための適切な装置を介して空気または無線インタフェース２２６を介して信号を受信し、無線信号を送信するための適切な装置を介して信号を送信することができる。図２では、２３２でトランシーバ装置が概略的に示されている。トランシーバ装置２３２は、例えば、無線部および関連するアンテナ構成によって提供されてもよい。アンテナ構成は、無線装置の内部または外部に配置することができる。トランシーバ装置２３２は、通信部２２２によって制御されてもよい。
【０１５２】
例えば、ユーザデバイス２０２は、データ収集モジュール２１８を含んでもよく、データ収集モジュール２１８は、移動測定装置を含んでもよい。移動測定装置は、ユーザデバイス２０２の移動すなわち、回転及び速度を測定することができる慣性測定部を含むことができ、慣性測定部は、例えば、加速度計および／またはジャイロスコープを含むことができる。
【０１５３】
データ収集モジュール２１８は、環境２００内の位置で信号強度および／またはデータレートなどの情報を収集するための無線信号測定部を含み得る。いくつかの例では、無線信号測定部は、移動測定装置に加えて設けられてもよい。無線信号測定部が設けられている場合と、移動測定装置が設けられていない場合とがある。
【０１５４】
ユーザデバイス２０２は、画像情報を記録する画像情報記録部２１６を備えてもよい。画像情報は、例えば、２Ｄ画像フレームを含み得る。いくつかの例では、２Ｄ画像フレームは静止画像フレームを含む。いくつかの例では、２Ｄ画像フレームは動画画像フレームを含む。画像情報部２１６は、カメラモジュールを含み得る。カメラモジュールは、ユーザデバイス２０２に内蔵されていてもよいし、無線または有線通信部を介してネットワークに接続可能なスタンドアローン機器として設けられていてもよい。
【０１５５】
サーバ２２４は、受信のための適切な装置を介して、インタフェース２２６のような空気または無線インタフェースを介して信号を受信することができ、無線信号を送信するための適切な装置を介して信号を送信することができる。図２において、サーバデバイス２２４のトランシーバ装置は、２３８で概略的に示されている。トランシーバ装置２３８は、例えば、無線部および関連するアンテナ構成によって提供されてもよい。アンテナ構成は、無線装置の内部または外部に配置することができる。トランシーバ装置２３８は、通信部によって制御されてもよい。
【０１５６】
２４０に概略的に示すように、画像情報記録部２１６は、環境２００に関する画像情報を提供することができ、ユーザデバイス及びカメラは、環境２００内に配置することができる。
【０１５７】
ユーザデバイス２０２は、サーバデバイス２２４と、インタフェース２２６を介して接触し得る。サーバデバイス２２４は、少なくとも１つのデータ処理エンティティ２３４と、少なくとも１つのメモリ２３６と、他の可能な構成要素を含み、それらはソフトウェア及びハードウェア支援実行に使用され、ユーザデバイスおよび他の通信装置へのアクセスおよびそれらとの通信の制御を含むタスクを実行するように設計される。少なくとも１つのメモリ２３６は、データプロセッサであり得るデータ処理エンティティ２３４と通信することができる。データ処理、記憶および他の関連する制御装置は、適切な回路基板および／またはチップセットに設けることができる。
【０１５８】
サーバデバイスは、「クラウド」に配置されてもよい。サーバ２２４によって提供される方法ステップは、サービスクラウドによって提供されてもよい。サーバデバイスは、データ分析およびネットワーク計画および最適化を実行することができる。
【０１５９】
ネットワーク計画と最適化タスクを実行できる３Ｄ環境の無線伝搬モデルを提供するために、環境の３Ｄモデルを構築するために視覚ベースの方法を用いることが提案される。次いで、構築された環境の３Ｄモデルから情報が抽出され（または取得され）、無線伝搬モデルを作成する（または生成する）ことができる。３Ｄ環境の３Ｄモデルを構築するために視覚ベースの方法を使用し、３Ｄモデルから無線伝搬モデルを生成することによって、無線伝搬モデルを生成するためにサイト調査データ測定（例えば信号強度測定）を行う必要はない。さらに、３Ｄ環境は、画像情報（カメラからの画像フレームなど）を用いて３Ｄモデルとして構築されるので、ユーザが３Ｄ環境の青写真や地図を提供する必要はない。言い換えると、いくつかの例では、３Ｄモデルを生成するために実際の無線測定は行われない。むしろ、モデル（したがって環境）内の位置における無線情報（例えば信号強度）は、受信された画像情報に基づいて、実際のまたは物理的な無線測定値を取得することなく計算または決定され得る。
【０１６０】
環境の３Ｄモデルを構築するために、ユーザデバイス２０２は、画像情報記録部２１６から収集され得る画像情報をサーバ２２４に送信することができる。さらなる情報、例えば、無線信号測定情報、移動情報、および指定されたネットワーク要件（例えばＡＰの推奨／インストール済みモデル、および／またはサービス品質要件）のうちの少なくとも１つが送信され得る。サービスクラウドは、データを分析し、以下にさらに説明するように３Ｄ環境のモデルを構築または更新し得る。同時に、ユーザデバイスの位置および視点は、例えば、以下にさらに説明するようなコンピュータビジョン技術を使用することによって、任意に追跡することができる。
【０１６１】
環境の３Ｄモデルを構築するために、ローカライゼーションおよびマッピング技術（例えば、同時ローカライゼーションマッピング（ＳＬＡＭ）アルゴリズム）と深層学習に基づく物体認識技術（例えば、畳み込みニューラルネットワーク（ＣｏｎｖＮｅｔｓ））が用いられる。
【０１６２】
上述のように、例示的なローカライゼーションおよびマッピング技術は、ＳＬＡＭアルゴリズムである。ＳＬＡＭを使用すると、未知の環境のマップを構築または更新すると同時に、その環境内のデバイスの位置を追跡できる。解が視覚情報のみに基づく場合、ＳＬＡＭアルゴリズムは「視覚ＳＬＡＭアルゴリズム」と呼ばれることがある。視覚ＳＬＡＭアルゴリズムの出力は、ユーザデバイスの周囲の環境の３Ｄポイントクラウド、および環境に対する装置自体の位置及び視点を含むことができる。ＳＬＡＭアルゴリズムを使用して、ユーザデバイスの軌跡を検出できる。
【０１６３】
上述のように、ＣｏｎｖＮｅｔｓは、深層学習に基づく物体認識技術として使用することができる。ＳＬＡＭは、ユーザデバイスと環境との間の形態上の関係を捕捉することができるが、ＣｏｎｖＮｅｔｓは、無線が環境内で遭遇する環境内の障害物に関する追加情報を提供するために使用され、これは、無線伝搬モデルを提供するために有用である。これはミリ波（ｍｍＷａｖｅ）周波数無線スペクトルのような狭いビーム特性を持つ高周波無線スペクトルに有用である。
【０１６４】
例えば、ＳＬＡＭは障害物を決定することはできるが、障害物の物理的特性の一部を決定することはできない。例えば、ＳＬＡＭでは障害物が木製か金属製かを区別できない場合がある。金属製の障害物は、木製の障害物に比べて信号を減衰させる。ＣｏｎｖＮｅｔｓを使用すると、材料などの物体の特性を画像から識別できる。ＣｏｎｖＮｅｔｓは、人、車、椅子などの物体のタイプを決定するためにも使用できる。ＣｏｎｖＮｅｔｓを使用すると、画像内の物体とエリアを検出、セグメント化、および認識できる。したがって、ＣｏｎｖＮｅｔｓを使用すると、環境の画像情報に基づいて３Ｄ環境内の物体を認識できる。ＣｏｎｖＮｅｔｓは、ＡＰが環境に配置されている場合にＡＰを認識するためにも使用できる。ＣｏｎｖＮｅｔｓは、環境内のＡＰの位置に関する情報を提供するために使用できる。ＣｏｎｖＮｅｔｓは、人、車、椅子等のＡＰのタイプに関する情報を提供することができる。
【０１６５】
いくつかの例では、ローカライゼーションおよびマッピング技術ならびに物体認識技術を組み合わせることによって、環境の３Ｄモデルを生成することが可能であり、そこから、以下の情報の少なくともいくつかを取得して、無線伝搬モデルを生成することができる。
・３Ｄ環境内でのユーザデバイスの軌跡
・３Ｄ環境内でのユーザデバイスの視点
・３Ｄ環境内の1つまたは複数の障害物の位置
・３Ｄ環境内の1つまたは複数の障害物の形状
・３Ｄ環境内の1つまたは複数の障害物の表面材料
・３Ｄ環境内の1つまたは複数の障害物のタイプ
・３Ｄ環境内に配置されている1つまたは複数のＡＰの位置
・３Ｄ環境内に配置されている1つまたは複数のＡＰのタイプ
【０１６６】
特定の例を説明するために、特定の用語および語句を図３を参照して以下に説明する。
【０１６７】
図１に概略的に示される特徴１１４などの特徴（キーポイント）は、関連する記述子を有する選択された画像エリアを含み得る。特徴は、２Ｄ画像で際立つ、または際立つ関心地点と考えることができる。画像が変更された場合、例えば、画像が回転された場合、そのスケールが変更された場合、または歪んだ場合、元の画像と変更された画像とで同じ特徴を見つけることが可能であるべきである。これらの２Ｄポイントは、３Ｄ空間内の標識（例えば、マップポイントやキーターゲット）を識別して追跡するのに役立つ。これらの特徴（キーポイント）を識別するために、特徴は、抽出された特徴の特性を記述する記述子と関連付けられ得る。環境３００内に位置する物体３０８および３１０（それぞれ椅子とスクリーン）の例示的な特徴３５２、３５０、３４４、３４６および３４８は、図３に示されている。
【０１６８】
様々な特徴検出器が利用可能である。これらには、Ｓｃａｌｅ―Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）、Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）、Ｈａｒｒｉｓコーナー検出（Ｈａｒｒｉｓ）、Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ（ＦＡＳＴ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ（Ｂｉｎａｒｙ  Ｒｏｂｕｓｔ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｅｌｅｍｅｎｔａｒｙ  Ｆｅａｔｕｒｅｓ））などがある。
【０１６９】
例えば、Ｈａｒｒｉｓはサブピクセル精度で使用できる。
【０１７０】
さらなる非限定的な例では、コーナーを検出することができるＯＲＢ検出器および記述子を使用することができる。ＯＲＢはｏｒｉｅｎｔｅｄ  ＦＡＳＴ特徴検出器と回転ＢＲＩＥＦ記述子に基づいて開発された。ＯＲＢでは、検出された特徴Ｆｉごとに次の情報が記憶される。
・画像座標システムにおける幾何中心
2021530821.tif 000003
の２Ｄ位置
・有意な特徴近傍
2021530821.tif 000004
の直径
・オリエンテーションの角度Ｏｉ∈［０，３６０］
・特徴の特性を要約する最終ベクトル
2021530821.tif 000005
の直径。例えば、ＢＲＩＥＦ記述子は、特徴Ｆｉのローカル画像パッチのＬ位置対の集合の間のバイナリ強度比較を記述する。
・ターゲットクラスＩＤｌｉ特徴が属する目標物体によって特徴を密集するために使用できるクラス
【０１７１】
マップポイントは、ワールドの３Ｄ再構築の構造を形成し得る。マップポイントを使用して、環境の３Ｄモデルを構築できる。各マップポイントＭｊは、ワールド内のテクスチャ平面パッチに対応することができる。マップポイントの位置は、異なる視点から三角測定できる。各マップポイントの位置は、バンドル調整によっても精緻化することができる。マップポイントは、再構築された３Ｄ空間内のマーカーとみなすことができる。マップポイントは、異なる特徴で検出された１つまたは複数のキーポイント（特徴）に関連付けることができる。単一のマップポイントは、複数のキーフレーム（キーフレームについては以下で説明する）内の特徴に関連付けられる。したがって、複数の記述子をマップポイントに関連付けることができる。マップポイントごとに次の情報が記憶される。
・ワールド座標システムにおける３Ｄ位置
2021530821.tif 000006
・全視点方向の平均単位ベクトルである視点方向
2021530821.tif 000007
(ポイントを観測するキーフレームの光学的中心とポイントを結ぶ光線)。Ｍｊの全視点方向の集合は
2021530821.tif 000008
によって示され、ＫjはマップポイントＭｊを観測するキーフレームの集合である。
・マップポイントが観測されるキーフレーム内の他のすべての関連する記述子に関して、ハミング距離が最小であるそれぞれの特徴記述子Ｄｊ
・それぞれ
2021530821.tif 000009
と
2021530821.tif 000010
によって示される最大距離および最小距離であって、特徴のスケール不変限界に基づいて、そのポイントが観測される。
【０１７２】
キーターゲットは、無線伝搬の障害物のように見え、無線の減衰または反射を引き起こす可能性のある対象物体である。一度検出されると、図３の椅子３０８のようなキーターゲットは、境界ボックス３４２を備えることができる。潜在的なキーターゲットのターゲットクラスの集合およびそれらの物理的特性（例えば、材料、質感、形状など）は、機械学習分類モデル（例えば、ＣｏｎｖＮｅｔ）において予め定義されるか、または予め訓練されてもよい。キーターゲットＴｉについては、以下の情報を記憶することができる。
・キーターゲットの従属クラスと特有のＩＤ。検出された各キーターゲットは、クラス（例えば、クローゼット、テーブル、壁）に分類され、特有のＩＤを有する。
・キーターゲットの関連付けられた特徴（特徴）とマップポイント。一般に、検出されたキーターゲットの境界ボックスに該当する特徴は、キーターゲット、およびこれらの特徴に関連付けられたマップポイントに関連付けられる。選別メカニズムを使用して、重複または不一致の特徴を検出し、キーターゲットに関連付けられた点をマッピングできる。このような選別メカニズムについては、以下でさらに説明する。
【０１７３】
キーフレームは、実ワールドの視覚情報を要約する画像フレーム（スナップショット）とみなすことができる。各キーフレームは、特徴がマップポイントに関連付けられているかどうかに関係なく、フレーム内のすべての特徴を記憶する。各キーフレームにはカメラポーズも保存される。いくつかの例では、「ポーズ」は、カメラの位置と方向の組み合わせとみなされる。キーフレームＫｎについては、以下の情報が記憶される。
・ワールドからカメラ座標系にポイントを変換するカメラポーズ行列
2021530821.tif 000011
。カメラポーズ行列
2021530821.tif 000012
は、ワールド座標軸に対するカメラの方向を記述する回転行列
2021530821.tif 000013
と、ワールド座標におけるカメラの中心の位置を記述する列ベクトル
2021530821.tif 000014
を含む。
・焦点距離と主点を含むカメラ固有情報
・マップポイントに関連付けられているかどうかに関係なく、
・集合
2021530821.tif 000015
で示されるフレーム内で抽出されたすべての特徴。
・集合
2021530821.tif 000016
で示されるフレーム内で検出されたすべてのキーターゲットと、それに対応する境界ボックス（例えば図３に示す椅子の境界ボックス３４２）。次に、境界ボックスを使用して、同じフレーム内で抽出された特徴、さらにはマップポイントを関連付けることができる。
【０１７４】
環境の三次元モデルを構築する方法の一例を図４を参照して説明する。
【０１７５】
図４の方法を実行する前に、マップの初期化を行ってもよい。マップの初期化では、２つのフレーム間の相対ポーズを計算して、マップポイントの初期集合を三角測量する。これは、現フレームと参照フレームで互いに対応する初期特徴を抽出し、アルゴリズム間のモデル選択のために、ホモグラフィ（平面シーン）と基本行列（非平面シーン）を、それぞれ正規化直接線形変換（ＤＬＴ）と８点アルゴリズムで並列に計算することによって行うことができる。平面シーンが検出される場合、ホモグラフィは、ＤＬＴアルゴリズムを使用して計算され得る。非平面シーンが検出される場合、８点アルゴリズムを使用して基本行列を計算することができる。シーンは、環境の特定の視点角度からの視点です。例えば、環境は部屋全体にすることができますが、シーンは部屋のコーナーにして、特定の視点から見ることができます。初期マップが存在すると、トラッキング４０３は、入ってくるフレームごとにカメラポーズを推定する。
【０１７６】
４０１において、入力画像情報が提供される。画像情報は、フレームであってもよく、２Ｄ画像フレームまたは２Ｄビデオフレームであってもよい。４０５において、特徴抽出およびトラッキングは、例えばＯｐｅｎＣＶ特徴検出およびトラッキング機能、および／または上述の特徴検出およびトラッキング機能であり得る特徴検出およびトラッキング機能を使用して実行される。４０７において、初期ポーズ推定および／またはグローバル再定位が実行される。特徴のトラッキングは最後のフレームからカメラポーズの最初の推定を得ることを試みる。例えば、３Ｄ対２Ｄ対応の集合を用いて、カメラポーズはランダムサンプルコンセンサス（ＲＡＮＳＡＣ）方式内のＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ―ｎ−Ｐｏｉｎｔ）問題を計算できる。前または前のフレームからのトラッキングが失われた場合、データベース内のキーフレームと現在のキーフレームとの間の類似性に基づいて、再定位候補のためのキーフレームデータベースが照会され得る。各候補キーフレームに対して、特徴対応およびキーフレーム内のマップポイントに関連する特徴が計算される。これにより、各候補キーフレームに対する２Ｄと３Ｄの対応の集合が得られます。各候補に対して交互にＲＡＮＳＡＣ反復を実行し,カメラポーズ計算を試みる。
【０１７７】
４０９において、キーターゲット検出（ターゲット認識）が、物体認識技術、例えば深層学習フレームワークにおけるＣｏｎｖＮｅｔを使用して実行される。モデルを訓練するために、関連する物体（例えば、大きな機器、壁、クローゼット等の無線伝搬に影響を及ぼす可能性のある障害物）を含む画像のデータセットを最初に収集することができる。物体にはトレーニングラベルを付与することができる。より詳細な分類は、ラベルにキーターゲットの材料または大きさを含めることによって達成できる。トレーニングされたモデルは、選択されたキーフレームで実行されるリアルタイムのキーターゲット物体検出に使用されます。サービスプロバイダが新しいタイプの物体で構成される新しい画像を収集する場合は、ターゲットクラスを追加するか、ターゲットクラスをカスタマイズすることによって、トレーニングモデルを更新できる。
【０１７８】
４１１で、特徴は４０９で検出されたキーターゲットに関連付けられる。キーフレームで検出された各キーターゲットは、境界ボックス（例えば３４２は図３に示される）に関連付けられる。境界ボックス内の特徴は、特有のターゲットＩＤに関連付けられる。連続するフレームの異なるキーターゲットの境界ボックス内に同じ特徴（同じ特徴が記述子に基づいて連続するフレームで追跡される）がある場合、その特徴が最も頻繁に表示されるキーターゲットが選択される。
【０１７９】
４１３において、ローカルマップトラッキングが実行される。ローカルマップは、現在のフレームと同様の位置を共有するキーフレームの集合である。特徴トラッキングは、推定されたカメラポーズを使用して、環境内のカメラポーズの最初の推定を検出するのに役立つが、マップポイントをローカルマップのキーフレームに投影し、ローカルマップキーフレーム間でマップポイントを関連付けたり拒否したりすることができる。マップポイントは、関連する特徴記述子と特徴の対応するターゲットＩＤに従って、キーターゲットに関連付けることができます。最終的なポーズ最適化は、初期ポーズ推定と、フレームローカルマップポイント内の特徴間で見つかったすべての対応を使用して実行できる。カメラポーズは再投影誤差を最小化することにより最適化できる。例えば、可能なアプローチは、Ｈｕｂｅｒコスト関数と共にＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｄｔアルゴリズムを使用することである。
【０１８０】
トラッキングが成功すると、新しいキーフレーム（４１５で）を挿入するか、新しいキーターゲット（４１７）を挿入するかを決定できる。以下のパラメータに基づいて、新しいキーフレームを挿入するためのさまざまな基準を定義できる。最後の再ローカリゼーションから渡されたフレーム数、現在のフレームによってトラッキングされたポイント数、現在のフレームと参照フレーム（例えば、フレームは現在のフレームと最も多くのマップポイントを共有する）とで追跡されたマップポイント数の差、最後のキーフレーム挿入から渡されたフレーム数、またはローカルバンドル調整の終了から渡されたフレーム数である。以下に示す例のように、新しいキーターゲットの挿入基準を定義することもできる。
ｉ現在のフレームで検出された境界ボックス内で追跡された少なくとも
2021530821.tif 000017
個のポイント
ｉｉ存在するターゲットＩＤに関連しない検出された境界ボックス内に含まれる少なくとも
2021530821.tif 000018
個のマップポイント
ｉｉｉ最後のキーフレーム挿入から渡された少なくとも
2021530821.tif 000019
個のフレーム
【０１８１】
４０３におけるトラッキングに続いて、４１９において、新しいキーフレーム４２１またはキーターゲット４２３が、上述のように提供され得る。次いで、ローカルマッピング４２５を実行することができる。新しいキーターゲット挿入４３１または新しいキーフレーム挿入４２７の間に、ターゲットデータベースを更新し得る。キーフレーム間の類似性を特徴づけるコビジビリティグラフも更新し得る。コビジビリティグラフは、キーフレーム間のコビジビリティ情報を意味し得る。コビジビリティグラフでは、各ノードがキーフレームになることがあり、２つのキーフレーム間にエッジが存在する場合は、それらが同じマップポイントの観測を共有している。最初のキーフレームがシステムに入力されると、コビジビリティグラフが作成され得る。新しいキーフレームが挿入されると更新され得る。
【０１８２】
いくつかの例では、マップに記憶されるために、新しく作成されたマップポイントとターゲットは、４２９と４３３で選別テストに合格する必要がある場合がある。例えば、トラッキングでは、ポイントが表示されると予測されるフレームの定義されたパーセンテージ以上でポイント（またはターゲットに関連付けられているポイントの最小数）を検出する必要があり、また／および、マップポイントまたはターゲットの作成後に複数のキーフレームが経過した場合は、少なくとも
2021530821.tif 000020
個のフレームでポイントを観測する必要がある。これらの選別テストは、冗長性を低減し、環境の構築された３Ｄモデルにおける雑音を低減するために使用できる。
【０１８３】
４３５では、異なるキーフレームの特徴を三角測量することによって、新しいマップポイントが作成される。例えば、Ｐａｒａｌｌｅｌ  Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｍａｐｐｉｎｇ（ＰＴＡＭ）を使用して、最も近いキーフレームでポイントを三角測量することができる。これは、例えば、Ｏｒｉｅｎｔｅｄ  ＦＡＳＴとＲｏｔａｔｅｄ  ＢＲＩＥＦ（Ｂｉｎａｒｙ  Ｒｏｂｕｓｔ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｅｌｅｍｅｎｔａｒｙ  Ｆｅａｔｕｒｅｓ）同時ローカライゼーションとマッピング（ＯＲＢ−ＳＬＡＭ）を使用して行うことができ、これは、ほとんどのマップポイントを共有するコビジビリティグラフのいくつかの隣接するキーフレームを使用する。例えば、キーポイントは、位置（２Ｄ画像における）がフレームごとに異なる各キーフレームで検出された特徴とみなすことができる。例えば、２つのキーフレームで検出された２つのキーポイントは、３Ｄ空間の同じマップポイントを参照する。したがって、より多くの同じマップポイント共有する（言い換えると、あるキーフレームで検出されたキーポイントの部分集合と、別のキーフレームで検出されたキーポイントの部分集合とが、同じマップポイントの集合にマッピングされる）キーフレームは、「近い」隣接キーフレームとみなし得る。特徴が検出されたキーターゲットに関連付けられている場合、その対応するマップポイントは、４３９で同じキーターゲットに関連付けられる。
【０１８４】
４３７で、ローカルバンドル調整を行うことができる。バンドル調整（ＢＡ）は環境の３Ｄ構造と環境の表示パラメータに関する問題と考えられる。ローカルＢＡは、現在処理されているキーフレームと、コビジビリティグラフでそのキーフレームに接続されているすべてのキーフレームを最適化する。また、これらのキーフレームによって表示されるすべてのマップポイントが最適化される。可能なアプローチの中で、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｄｔアルゴリズムを使用することができる。
【０１８５】
４４１において、冗長性を低減するために、ローカルキーフレーム選別が実行され得る。基準は、キーフレームを破棄するように定義でき、例えば、オーバーラップするマップポイントが
2021530821.tif 000021
個を超える場合、少なくとも他の
2021530821.tif 000022
個のキーフレームが表示される。
【０１８６】
４４３において、ループクロージングプロセスを実行し得る。ループクロージング４４３は、ループ検出４４９およびループ補正４５３を含み得る。ループ検出４４９は、ループ候補検出４４５および類似性変換４４７を含み得る。ループ補正４５３は、ループフュージョン４５１およびいわゆる「基本グラフ」最適化４５５を含み得る。ループ検出４４９およびループ補正４５３のステップは、ＯＲＢ−ＳＬＡＭアルゴリズムのループ検出およびループ補正のステップと同様のステップを含み得る。
【０１８７】
４５７で、３Ｄキーターゲット再構築を使用して、マップ内の障害物（物体）を構築することができる。これは、マップポイント、対応するターゲットＩＤ、およびターゲットクラスを使用して３Ｄ空間内の障害物を再構築することで実現できます。これに対する例示的な解決策は、同じターゲットＩＤに属するマップポイントの各集合の３Ｄ凸包を作成し、ターゲットクラスラベル（例えば、材料または反射表面）に含まれる情報を使用して、マップ内の３Ｄ物体（伝搬障害物）を再構築することである。より多くの情報、例えば、物体の大きさまたは形状が提供される場合、大きさまたは形状と同じターゲットＩＤに属するマップポイントを適合させることができ、物体の３Ｄ再構築を改善することができる。
【０１８８】
４５９において、入力フレーム４０１の環境の３Ｄモデルを構築し得る。これは、環境内のキーターゲット４６５およびマップポイント４６１に関する情報を含み得る。障害物（物体）は、３Ｄモデルにおいて４６７で再構築することができる。キーフレーム４６３も、図４に概略的に示される方法から出力することができる。
【０１８９】
図４に概略的に示される方法によって生成される環境の３Ｄモデルは、ユーザデバイスの環境の無線伝搬モデルを生成するための情報を得るために使用され得る。無線伝搬モデルを生成し、使用するための例示的な方法は、図５を参照して本明細書に記載される。
【０１９０】
図５は、ユーザデバイス５０２とサーバ５２４が通信している例示的な方法を示す。図５の特定のステップは、図５に示される順序以外の順序で実行することができ、図５のいくつかのステップは、いくつかの実施例において任意であり得ることを理解されたい。
【０１９１】
ユーザデバイスおよびサーバは、図２に概略的に示されるインタフェース２２６のようなインタフェースを介して通信することができる。
【０１９２】
Ｓ１において、ユーザデバイス５０２は、サーバ５２４にサービス開始要求を送信する。
【０１９３】
Ｓ２において、サーバ５２４は、カメラであってもよい画像情報記録部へのアクセスを要求する。
【０１９４】
Ｓ２に続いて、画像／ビデオフレームのような画像情報をサーバ５２４に送信する許可をユーザが与えるという任意の要求があり得る。
【０１９５】
Ｓ３では、画像情報がサーバ５２４に送信される。ユーザのプライバシーを保護するために、画像データが送信される前に、画像データを任意にフィルタリングすることができる。例えば、センシティブであると検出または決定された画像内のエリアは、画像が送られる前にスクランブルまたはピクセル化され得る。Ｓ３では、移動情報、位置情報および無線信号測定情報などの他の測定値も送信され得る。この情報は、Ｓ５で生成された無線伝搬モデルを較正するために使用されてもよい。例えば、信号強度および環境内の推定位置（ローカライゼーションおよびマッピング技術を用いて推定される）は、無線伝搬モデルを更新するために使用されてもよい。この情報は、ＡＰタイプに関する情報の更新にも使用し得る。
【０１９６】
サーバ５２４は、ＡＰタイプ、例えばアンテナモデルに関する情報を記憶し得る。
【０１９７】
Ｓ４では、上述のように、画像情報に示される環境の３Ｄモデルを構築する。ユーザデバイスは、３Ｄモデルが構築される環境に配置されてもよい。上述したように、これは、ＳＬＡＭのようなローカライゼーションおよびマッピング技術、ならびにＣｏｎｖＮｅｔｓのような物体認識技術を使用することによって達成され得る。
【０１９８】
Ｓ４における環境の３Ｄモデル構築の例示的な可能な出力は、３Ｄ環境内のユーザデバイスの位置の情報と、ユーザデバイスの追跡および視点の情報と、環境の３Ｄマップであって、無線伝播を反射または遮断する可能性がある環境内の主な障害物（物体）の位置および形状の情報と、主な障害物の表面材料の情報である。これらの出力は、Ｓ５において環境（環境のデジタルツイン）の無線伝播モデルを生成するための情報を抽出（取得）するために使用することができる。
【０１９９】
Ｓ６では、ネットワーク要件および／またはコンテキスト情報が、ユーザデバイス５０２からサーバ５２４に送信される。ネットワーク要件および／またはコンテキスト情報は、ネットワーク計画および／または最適化タスクにおいてサーバデバイス５２４によって使用されてもよい。ネットワーク要件および／またはコンテキスト情報は、環境の３Ｄモデルを構築する際、または環境の無線伝搬モデルを生成する際に、サーバデバイス５２４によって使用されてもよい。Ｓ６は、例えば、Ｓ１の前またはＳ１と同時に、図５の別の時点で生じ得ることに留意されたい。
【０２００】
ネットワーク要件および／またはコンテキスト情報は、ＡＰの優先タイプに関する情報を含むことができ、ネットワーク要件および／またはコンテキスト情報は、ユーザの優先ＡＰ配置位置（この情報は、少なくとも１つのＡＰの少なくとも１つの配置位置を含み得る）に関する情報を含むことができる。ネットワーク要件および／またはコンテキスト情報は、ユーザデバイス５０２のユーザからの触覚および／または音声フィードバックを介してユーザデバイスに提供されてもよい。ネットワーク要件および／またはコンテキスト情報は、ユーザデバイス５０２のセンサによって記録されてもよい。ネットワーク要件および／またはコンテキスト情報は、ユーザデバイス５０２のユーザインタフェースを介して提供されてもよい。ネットワーク要件および／またはコンテキスト情報は、例えば、ユーザデバイス５０２のユーザインタフェースを使用するユーザによってマークされた低レイテンシまたは高ネットワーク信頼性のエリアなど、ユーザデバイスでユーザによって提供されたカバレッジエリアに関する情報を含んでもよい。ネットワーク要件および／またはコンテキスト情報は、インストールされたタイプのＡＰに関する情報を含んでもよい。ネットワーク要件および／またはコンテキスト情報は、ＡＰの位置に関する情報を含んでもよい。ネットワーク要件および／またはコンテキスト情報は、サービス品質要件に関する情報を含んでもよい。
【０２０１】
Ｓ７で、ネットワーク計画および／または最適化を実行されることができる。ネットワーク計画機能では、環境内にＡＰがまだ配置されていない場合があり、ネットワーク計画を実行して配置するＡＰの最適な場所を決定できる。ネットワーク最適化機能では、環境内に少なくとも１つのＡＰがすでに配置されてもよい。
【０２０２】
レイトレーシングは、無線伝搬チャネルを生成し、無線伝搬モデルを使用して仮想無線マップを生成するために使用することができる。レイトレーシングとは、伝播速度、吸収特性、および反射表面のエリアが変化するシステムを通過する波または粒子の経路を計算する方法である。
【０２０３】
ネットワーク計画のために、サーバ５２４は、Ｓ６でユーザデバイスから送信された優先タイプのＡＰまたはインストールされたＡＰに関する情報を使用してもよい。また、サーバ５２４は、仮想無線カバレッジマップを生成するために、ＡＰ優先タイプおよび／またはＡＰインストールタイプおよび無線伝搬モデルを使用することもできる。サーバ５２４は、さらに、環境内のＡＰの位置を使用して、仮想無線カバレッジマップを生成してもよい。
【０２０４】
ネットワーク最適化のために、Ｓ４で使用される物体認識技術は、環境内に配置されたＡＰのタイプの情報を決定してもよい。物体認識は、環境内のＡＰの位置の情報を決定してもよい。サーバは、この情報をネットワーク最適化に使用してもよい。サーバはまた、ＡＰタイプおよび／または位置情報および無線伝搬モデルを使用して、仮想無線カバレッジマップを生成することができる。
【０２０５】
サーバ５２４のネットワーク計画および最適化機能は、提案されたＡＰの最適な配置位置を提供することができる。サーバ５２４は、複数のＡＰの配置を提案することができ、複数のＡＰの複数の最適な配置位置を提案してもよい。大規模なエリアには、複数のＡＰ配置が提案される。また、ユーザデバイス５０２またはＡＰの最適化された構成パラメータの提案を与えることができ、生成された仮想無線マップは、自己組織化無線ネットワークにおけるカバレッジおよび容量の最適化のために使用することができる。
【０２０６】
Ｓ８において、ユーザデバイス５０２は、サーバ５２４に視覚化要求を送信する。視覚化要求は、仮想無線カバレッジマップを視覚化するためのものであってもよいし、ＡＰのために最適化された配置位置を視覚化するためのものであってもよい。
【０２０７】
Ｓ９において、ユーザデバイス５０２は、Ｓ３と同様に、画像情報および他の測定情報を送信する。Ｓ１０において、ローカライゼーションおよびマッピング技術を用いて、ユーザデバイスの位置および視点を決定することができる。ユーザデバイスの軌跡は、ローカライゼーションおよびマッピング技術を用いて決定してもよい。Ｓ１１では、仮想無線カバレッジマップを生成してもよい。これは、３Ｄ空間のグリッド化された無線マップを含むことができる。Ｓ１２において、提案された最適な配置位置は、ユーザデバイスによって捕捉された画像情報にオーバーレイされて送信され得る。この画像情報は、リアルタイム画像フレームであってもよい。次いで、最適な配置位置は、ユーザデバイス５０２のディスプレイ上に表示されることができる。他の情報、例えば、ユーザデバイス５０２に表示されるべきパフォーマンスメトリックが、Ｓ１２で送信されてもよい。この情報は、最適な配置位置の代わりに送信されてもよいし、最適な配置位置と同様に送信されてもよい。これらのパフォーマンスメトリックには、ネットワーク容量情報（例えば、データレートに関するネットワーク要領情報）またはネットワークレイテンシ情報が含まれる。
【０２０８】
この方法を用いて作成した仮想無線カバレッジマップは、ユーザが３Ｄ環境の任意の点を指定でき、その点の無線カバレッジ情報を与えることができる点で有用である。これは、ユーザは３Ｄ環境内の長さ、幅、高さの任意の座標を指定でき、その座標の測定値が提供される。これは、３Ｄ空間における位置依存ネットワーク性能推定を迅速かつ効率的に提供する。
【０２０９】
例えば、ユーザデバイスを使用して高さの値を指定することにより、ユーザは３Ｄ無線カバレッジマップを視覚化できる。その後、その平面およびその高さの２Ｄ仮想無線マップをユーザに提供することができる。ユーザは、同様に、２Ｄ仮想無線マップで提供される３Ｄ空間内の他の次元を制限することができる。マップを色分けして、無線カバレッジの違いを示すこともできる（例えば、緑は良好なカバレッジ、赤は不十分なカバレッジを表す。）。マップは３Ｄでレンダリングすることもでき、特定の２Ｄポイントでのピークはより良い無線カバレッジのエリアに対応し、谷はより悪い無線カバレッジのエリアに対応する。マップは、ユーザデバイス５０２のディスプレイ上に表示することができる。
【０２１０】
ユーザは、マップの表面上への投影を提供されることによって、無線マップを視覚化することができる（壁、天井、物体の表面など）。これは、ユーザデバイス５０２のディスプレイ上に示すことができる。
【０２１１】
いくつかの例では、環境内で複数のＡＰを使用されてもよい。
【０２１２】
いくつかの例では、複数のＡＰ配置位置を提案して、ユーザが使用する優先位置を選択できるようにしてもよい。これは、例えば、セキュリティや安全性に関連して、ユーザがエリア特有の懸念を持っている場合に有用である。
【０２１３】
本明細書に記載の方法および装置は、５Ｇ固定無線アクセス（ＦＷＡ）屋外シナリオで使用することができる。ＦＷＡは、有線ブロードバンドのための空間を持つ（例えば、狭いビーム幅のミリ波アクセス）インフラストラクチャがない（または制限される）家庭や中小企業に、無線ブロードバンドサービスを提供するために使用される。ＦＷＡでは、多くの場合、配置された固定ＡＰに２つの固定位置を直接接続する必要がある。ＦＷＡは、1対1の接続だけでなく、ポイントとマルチポイントおよびマルチポイントとマルチポイントの伝送モードでも実装できる。本明細書に記載の方法及び装置は、３Ｄ空間（例えば、塔または建物に取り付けられている、天井または壁に取り付けられている）のどこに固定無線ＡＰを配置して直接（視点）無線通信リンクの容量を最大にするかを決定するために使用することができる。
【０２１４】
無人航空機（ＵＡＶ）を使用して、ビデオ／画像データ、ＧＰＳ情報、および対応する受信信号強度または他のネットワーク性能測定値を収集することができる。これは、ＦＷＡシナリオで有用な場合がある。本明細書に記載される３Ｄモデル構築方法、および本明細書に記載される抽出された「デジタルツイン」に基づくネットワーク計画／最適化方法を使用して、固定無線アクセスを配置するために最適化された位置をユーザに示すことができ、拡張現実に支援されるモバイルユーザインタフェースを介して、屋外シナリオの３Ｄ空間における仮想ネットワーク性能、すなわち、最適化された配置位置および仮想ネットワーク性能を、ユーザデバイスインタフェース上の実ワールド画像（またはビデオストリーム）上にオーバーレイすることができる。
【０２１５】
図６に方法の例を示す。この方法は、サーバによって実行されてもよい。本方法は、Ｓ６０１で環境内にあるユーザデバイスに要求を送信するステップを含む。Ｓ６０２で、この要求に応答して、本方法は、ユーザデバイスから環境の画像情報を受信するステップを含む。Ｓ６０３では、本方法は、画像情報に基づいて環境の三次元モデルを構築するステップを含む。Ｓ６０４において、本方法は、環境の三次元モデルから情報を取得するステップを含む。Ｓ６０５において、本方法は、環境の三次元モードから得られた情報を用いて環境の無線伝搬モデルを生成するステップを含む。
【０２１６】
図７に方法の例を示す。本方法は、ユーザデバイスによって実行されてもよい。Ｓ７０１において、本方法は、環境の三次元モデルを構築するための画像情報の要求をサーバから受信するステップを含む。Ｓ７０２において、本方法は、その要求に応じて、環境の画像情報をサーバに送信するステップを含む。
【０２１７】
一般に、示された種々の実施例は、ハードウェアまたは特殊目的回路、ソフトウェア、論理またはそれらの任意の組み合わせで実施され得る。いくつかの態様は、ハードウェアで実施されてもよく、他の態様は、コントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行されてもよいファームウェアまたはソフトウェアで実施されてもよいが、本発明はこれらに限定されない。様々な態様をブロック図、フローチャート、または他のいくつかの画像表現を使用して図示および説明することができるが、本明細書に記載されるこれらのブロック、装置、システム、技術または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特殊目的回路またはロジック、汎用ハードウェアまたはコントローラまたは他のコンピューティングデバイス、またはそれらのいくつかの組み合わせで実施することができることが十分に理解される。
【０２１８】
いくつかの実施形態は、プロセッサエンティティ内などのモバイルデバイスのデータプロセッサによって実行可能なコンピュータソフトウェアによって、またはハードウェアによって、またはソフトウェアとハードウェアの組み合わせによって実装されてもよい。ソフトウェアルーチン、アプレットおよび／またはマクロを含むプログラム製品とも呼ばれるコンピュータソフトウェアまたはプログラムは、任意の装置可読データ記憶媒体に記憶することができ、それらは、特定のタスクを実行するためのプログラム命令を含む。コンピュータプログラム製品は、プログラムが実行されると、本開示に記載される方法を実行するように構成される１つまたは複数のコンピュータ実行可能構成要素を含むことができる。１つまたは複数のコンピュータ実行可能構成要素は、少なくとも１つのソフトウェアコードまたはその一部であってもよい。
【０２１９】
さらに、この点に関して、図のような論理フローの任意のブロックは、プログラムステップ、または相互接続された論理回路、ブロックおよび機能、またはプログラムステップおよび論理回路、ブロックおよび機能の組み合わせを表し得ることに留意されたい。ソフトウェアは、メモリチップまたはプロセッサ内に実装されるメモリブロックのような物理媒体、ハードディスクまたはフロッピーディスクのような磁気媒体、および例えばＤＶＤおよびそのデータバリアント、ＣＤのような光学媒体に記憶されてもよい。
【０２２０】
メモリは、ローカル技術環境に適した任意のタイプであってもよく、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータ記憶技術を使用して実装されてもよい。データプロセッサは、ローカル技術環境に適した任意のタイプであってもよく、非限定的な例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ、ゲートレベル回路、およびマルチコアプロセッサアーキテクチャに基づくプロセッサのうちの１つ以上を含んでもよい。
【０２２１】
開示された実施形態の例は、集積回路モジュールのような種々の構成要素において実施することができる。集積回路の設計は、概して高度に自動化されたプロセスである。論理レベル設計を、エッチングして半導体基板上に形成する準備ができた半導体回路設計に変換するために、複雑で強力なソフトウェアツールが利用可能である。
【０２２２】
本明細書に記載される実施例は、本発明の実施形態の例示的な実施例として理解されるべきである。さらなる実施形態および実施例が想定される。任意の１つの例または実施形態に関して記載される任意の特徴は、単独で、または他の特徴と組み合わせて使用されてもよい。さらに、任意の１つの実施例または実施形態に関して記載された任意の特徴は、実施例または実施形態の任意の他の任意の１つ以上の特徴と組み合わせて、または実施例または実施形態の任意の他の任意の組み合わせと組み合わせて使用することもできる。さらに、本明細書に記載されていない均等物および修飾物も、特許請求の範囲に定義されている本発明の範囲内で使用することができる。
【図１】
2021530821.tif 000023
【図２】
2021530821.tif 000024
【図３】
2021530821.tif 000025
【図４】
2021530821.tif 000026
【図５】
2021530821.tif 000027
【図６】
2021530821.tif 000028
【図７】
2021530821.tif 000029
【手続補正書】
【提出日】令和3年3月17日(2021.3.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは環境内に配置されるステップと、
前記要求に応じて、前記ユーザデバイスから前記環境の画像情報を受信するステップと、
前記画像情報に基づいて前記環境の三次元モデルを構築するステップと、
前記環境の前記三次元モデルから情報を取得するステップと、
前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップとを実行する手段を含むことを特徴とする装置。
【請求項２】
前記環境の三次元モデルを構築する前記ステップは、
ローカライゼーションおよびマッピング技術ならびに物体認識技術を使用するステップと、
前記環境の前記三次元モデル内の前記物体の位置および形状を構築するステップであって、三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記物体の材料および／またはタイプを決定するステップを含むステップを含むことを特徴とする請求項１に記載の装置。
【請求項３】
情報を取得する前記ステップは、前記三次元環境内のユーザデバイスの位置の情報、前記三次元環境内の少なくとも１つの物体の位置および形状の情報、前記環境内の少なくとも１つの物体の表面材料の情報のうち少なくとも１つを取得するステップを含むことを特徴とする請求項１に記載の装置。
【請求項４】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内に配置されるアクセスポイントの位置を決定するステップを含むことを特徴とする請求項２に記載の装置。
【請求項５】
三次元モデルを構築する前記ステップは、前記環境内に配置される前記アクセスポイントのタイプを認識するステップを含むことを特徴とする請求項４に記載の装置。
【請求項６】
前記手段は、前記無線伝播モデルと、前記決定された前記環境内に配置される前記アクセスポイントの位置および前記認識された前記アクセスポイントのタイプとに基づき、仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを生成するステップをさらに実行することを特徴とする請求項４に記載の装置。
【請求項７】
前記手段は、前記ユーザデバイスから、前記ユーザデバイスのアクセスポイントの優先タイプに関する情報を受信するステップおよび／または前記ユーザデバイスの優先アクセスポイント配置位置に関する情報を受信するステップをさらに実行することを特徴とする請求項１に記載の装置。
【請求項８】
前記手段は、前記無線伝播モデルと、前記環境内の前記アクセスポイントの位置と、前記アクセスポイントの優先タイプに基づく仮想無線カバレッジマップおよび／または少なくとも１つのパフォーマンスメトリックを生成するステップをさらに実行することを特徴とする請求項７に記載の装置。
【請求項９】
前記手段は、提案された最適アクセスポイント配置位置を前記ユーザデバイスに提供するステップをさらに実行することを特徴とする請求項８に記載の装置。
【請求項１０】
ユーザデバイスに要求を送信するステップであって、前記ユーザデバイスは、環境内に配置されるステップと、
前記要求に応じて、前記環境の画像情報を前記ユーザデバイスから受信するステップと、
前記画像情報に基づき前記環境の三次元モデルを構築するステップと、
前記環境の前記三次元モデルから情報を取得するステップと、
前記環境の前記三次元モデルから取得された情報を用いて前記環境の無線伝播モデルを生成するステップとを含むことを特徴とする方法。
【請求項１１】
前記環境の三次元モデルを構築する前記ステップは、ローカライゼーションおよびマッピング技術ならびに物体認識技術を使用するステップ含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内の物体を検出するステップと前記環境の前記三次元モデル内の前記物体の位置および形状を構築するステップとを含むことを特徴とする請求項１０に記載の方法。
【請求項１３】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記物体の材料および／またはタイプを決定するステップを含むことを特徴とする請求項１０に記載の方法。
【請求項１４】
情報を取得する前記ステップは、前記三次元環境内のユーザデバイスの位置の情報、前記三次元環境内の少なくとも１つの物体の位置および形状の情報、前記環境内の少なくとも１つの物体の表面材料の情報のうち少なくとも１つを取得するステップを含むことを特徴とする請求項１０に記載の方法。
【請求項１５】
三次元モデルを構築する前記ステップは、前記物体認識技術を用いて前記環境内に配置されるアクセスポイントの位置を決定するステップと前記環境内に配置される前記アクセスポイントのタイプを認識するステップとを含むことを特徴とする請求項１０に記載の方法。
【国際調査報告】
2021530821.tif 000030
2021530821.tif 000031
2021530821.tif 000032