(57)【要約】ヘッドセットは、ヘッドウェア物品を備え、それは、その上に取り付けられた１つ以上の位置追跡センサ、少なくとも１つのディスプレイを組み込んだ拡張現実眼鏡、ユーザの目のうちの少なくとも１つに対するディスプレイの移動を追跡するためのディスプレイ位置追跡デバイス、および電子制御システムを有する。電子制御システムは、外因性現実世界座標系で定義されたＢＩＭモデルを、位置追跡システムによって定義された内因性座標系に変換し、ディスプレイ位置デバイスからディスプレイ位置データを、ヘッドセット追跡システムからヘッドセット追跡データを受信し、建設現場でのヘッドウェア物品の位置および向きならびにユーザの目に対するディスプレイの相対位置に対するＢＩＭの仮想画像をレンダリングし、レンダリングされた仮想画像をＢＩＭの仮想画像としてユーザが見ることができるディスプレイに送信するように構成されている。【選択図】  図１２
2020533721.tif 000002
【特許請求の範囲】
【請求項１】
建設現場の外因性現場座標系に位置付けられ、方向付けられた建物情報モデル（ＢＩＭ）の仮想画像をユーザに表示するためのヘッドセットであって、
ユーザが着用し、それに取り付けられた１つ以上の位置追跡センサを有するように構成されたヘッドウェア物品であって、前記位置追跡センサは、前記ヘッドセットの位置および向きを決定できるようにする建設現場での位置追跡システムによって放出された１つ以上の信号に対する前記１つ以上のセンサの反応を表すセンサデータを出力するように構成された、ヘッドウェア物品と、
前記位置追跡センサに対して固定された前記ユーザの視野内の使用中位置を有するディスプレイアセンブリを含む拡張現実ディスプレイシステムであって、前記ディスプレイアセンブリは、少なくとも１つのディスプレイを含み、前記ユーザに前記仮想画像を表示することができつつ、前記ユーザは前記ディスプレイアセンブリを通して自身の周囲を見ることができ、前記拡張現実ディスプレイシステムは、前記建物情報モデルの前記仮想画像を表す画像データを受信し、前記ディスプレイに前記仮想画像を表示するように構成される、拡張現実ディスプレイシステムと、
前記ユーザの頭部に対する前記ディスプレイの前記位置を検出し、それを表すディスプレイ位置データを出力するディスプレイ位置センサと、
電子制御システムと
を備え、
前記電子制御システムは、前記位置追跡システムによって定義された内因性座標系内の前記建設現場での前記ヘッドセットの前記場所および向きを前記センサデータから決定し、それを表すヘッドセット追跡データを出力するように構成されたヘッドセット追跡システムと、変換に基づいて前記内因性座標系と前記外因性座標系との間で変換するように構成された座標変換エンジンとを含み、前記変換は前記外因性座標系の既知の場所の１つ以上の制御点の座標を、前記内因性座標系のそれらの対応する座標に関連付けることによって導出され、前記内因性座標系における前記１つ以上の制御点の前記座標は、前記位置追跡システムを使用して少なくとも１つのセンサから受信したセンサデータから導出され、
前記電子制御システムは、前記ヘッドセット追跡データ、前記ディスプレイ位置データ、および前記外因性座標系で定義された前記建物情報モデルを表すモデルデータを受信し、前記座標変換エンジンを使用して前記モデルデータを処理して前記内因性座標系で定義された導出モデルデータを生成し、前記ヘッドセット追跡データおよびディスプレイ位置データを使用して前記建設現場での前記ヘッドウェア物品の前記位置および向きに対する前記建物情報モデルの仮想画像をレンダリングし、前記仮想画像を表す前記画像データを生成し、前記ユーザが前記ディスプレイで見るために前記拡張現実ディスプレイシステムに前記画像データを送信するように構成される、
ヘッドセット。
【請求項２】
前記ディスプレイ位置センサは、少なくとも１つの視線追跡デバイスを備える、請求項１に記載のヘッドセット。
【請求項３】
前記ディスプレイ位置センサは、前記ディスプレイに対する前記ユーザの少なくとも１つの目の位置を表すディスプレイ位置データを生成するように構成される、請求項１または２に記載のヘッドセット。
【請求項４】
前記ディスプレイ位置センサは、前記ユーザの目の瞳孔のうちの少なくとも１つの位置を表すディスプレイ位置データを生成するように構成される、請求項１、２または３に記載のヘッドセット。
【請求項５】
前記ディスプレイ位置センサは、前記ディスプレイに対する前記ユーザの目の瞳孔の中心のうちの少なくとも１つの位置を表すディスプレイ位置データを生成するように構成される、請求項１〜４のいずれかに記載のヘッドセット。
【請求項６】
前記１つ以上の信号は、前記建設現場における１つ以上のビーコンによって放出される、請求項１〜５のいずれかに記載のヘッドセット。
【請求項７】
前記１つ以上の信号は、電磁放射、例えば、光または電波からなる、請求項１〜６のいずれかに記載のヘッドセット。
【請求項８】
前記位置追跡システムは、掃引ビーム光学追跡システムを備える、請求項１〜７のいずれかに記載のヘッドセット。
【請求項９】
前記位置追跡システムは、ＷｉＦｉ追跡システムを備える、請求項１〜７のいずれかに記載のヘッドセット。
【請求項１０】
前記１つ以上の信号は、音波、例えば超音波からなる、請求項１〜６のいずれかに記載のヘッドセット。
【請求項１１】
前記電子制御システムは、前記ディスプレイアセンブリの１つ以上の物理的または光学的特性を表すデータにさらに基づいて、前記ＢＩＭの前記仮想画像をレンダリングするように構成される、請求項１〜１０のいずれかに記載のヘッドセット。
【請求項１２】
前記位置追跡システムは、インサイドアウト位置追跡システムを備える、請求項１〜１１のいずれかに記載のヘッドセット。
【請求項１３】
前記仮想画像は、前記外因性座標系と前記内因性座標系との間で変換するための前記変換を使用することにより、前記建設現場に対して位置特定され、方向付けられ、前記建設現場における前記ユーザの位置についてのコンテキストで前記ユーザに表示される３Ｄ画像を備える、請求項１〜１２のいずれかに記載のヘッドセット。
【請求項１４】
前記電子制御システムは、１つ以上のプロセッサと、１つ以上のメモリユニットと、前記変換を使用して前記内因性座標系に前記ＢＩＭを配置して方向付けするために前記モデルデータを処理することが前記１つ以上のプロセッサによって実行可能なＢＩＭ位置決めモジュール、ならびに、前記建設現場における前記ヘッドウェア物品の前記位置および向きに対して前記ＢＩＭモデルの前記仮想画像をレンダリングするために前記ヘッドセット追跡データ、前記ディスプレイ位置データ、およびＢＩＭデータを処理することが前記１つ以上のプロセッサによって実行可能な画像レンダリングモジュールを備えるコンピュータソフトウェアを保存する少なくとも１つのデータ記憶デバイスとを備える、請求項１〜１３のいずれかに記載のヘッドセット。
【請求項１５】
前記電子制御システムはさらに、少なくとも１つのデータ通信デバイスを備え、前記コンピュータソフトウェアは、前記データ通信デバイスを介してリモートサーバから前記ＢＩＭデータを受信することが前記１つ以上のプロセッサによって実行可能なＢＩＭダウンロードモジュールを含む、請求項１４に記載のヘッドセット。
【請求項１６】
前記コンピュータソフトウェアはさらに、前記変換を受信して前記少なくとも１つのデータ記憶デバイスに保存することが前記１つ以上のプロセッサにより実行可能な変換受信機モジュールを備える、請求項１４または１５に記載のヘッドセット。
【請求項１７】
前記位置追跡システムは、前記建設現場で静止している少なくとも１つの電磁放射源を備え、前記１つ以上のセンサのうちの少なくとも１つは、前記少なくとも１つのセンサから前記静止源までの角距離を示す前記電磁放射の特性を検出または測定するように構成される、請求項１〜１６のいずれかに記載のヘッドセット。
【請求項１８】
前記ヘッドセット追跡システムはさらに、前記建設現場で特定の作業が実行される場所の位置を特定するために、前記ヘッドセットの前記位置を追跡するように構成される、請求項１〜１７のいずれかに記載のヘッドセット。
【請求項１９】
前記ヘッドセット追跡システムはさらに、前記建設現場で基準点の位置を特定するために、前記ヘッドセットの前記位置を追跡するように構成される、請求項１〜１８のいずれかに記載のヘッドセット。
【請求項２０】
前記ヘッドウェア物品は、安全帽を備える、請求項１〜１９のいずれかに記載のヘッドセット。
【請求項２１】
ヘッドセット内で建設現場の外因性現場座標系を参照して配置および方向付けされた建物情報モデル（ＢＩＭ）の仮想画像を表示する方法であって、前記ヘッドセットは、ユーザが着用し、それに取り付けられた１つ以上の位置追跡センサを有するように構成されたヘッドウェア物品と、前記位置追跡センサに対して固定された前記ユーザの視野内の使用中位置を有するディスプレイアセンブリを含む拡張現実ディスプレイシステムであって、前記ディスプレイアセンブリは、少なくとも１つのディスプレイを含み、前記ユーザに前記仮想画像を表示することができつつ、前記ユーザは前記ディスプレイアセンブリを通して自身の周囲を見ることができる、拡張現実ディスプレイシステムと、前記ユーザの頭部に対する前記ディスプレイの前記位置を検出する少なくとも１つのディスプレイ位置センサと、電子制御システムとを備え、前記方法は、
前記ヘッドセット追跡システムで、前記建設現場にて前記位置追跡システムが放出する１つ以上の信号に対する前記１つ以上のセンサの反応を表すセンサデータに基づいて、前記位置追跡システムによって定義された内因性座標系で、前記建設現場での前記ヘッドセットの前記場所および向きを決定することと、
座標変換エンジンで、前記外因性座標系の既知の場所の１つ以上の制御点の座標を前記内因性座標系のそれらの対応する座標に関連付けることにより導出される変換に基づいて、前記内因性座標系と前記外因性座標系との間で変換することであって、前記内因性座標系における前記１つ以上の制御点の前記座標が、少なくとも１つのセンサから受信したセンサデータに基づいて決定される、変換することと、
前記電子制御システムで、前記ディスプレイ位置センサからディスプレイ位置データを受信し、前記ヘッドセット追跡システムからヘッドセット追跡データを受信し、前記外因性座標系で定義された前記建物情報モデルを表すモデルデータを受信し、前記座標変換エンジンを使用して前記モデルデータを処理して前記内因性座標系で定義された導出モデルデータを生成し、前記ヘッドセット追跡データとディスプレイ位置データとを使用して前記ヘッドセットのユーザの目に対する前記ヘッドウェア物品の前記位置および向きに対する前記建物情報モデルの仮想画像をレンダリングし、前記仮想画像を表す画像データを生成し、前記画像データを前記拡張現実表示システムに送信して、前記ユーザが前記建物情報モデルの仮想画像として見ることができるようにすることと
を備える方法。
【請求項２２】
前記ディスプレイ位置センサは、視線追跡デバイスを備える、請求項２１に記載の方法。
【請求項２３】
前記視線追跡デバイスは、前記ディスプレイに対する前記ユーザの少なくとも１つの目の位置を表すディスプレイ位置データを生成するように構成される、請求項２２に記載の方法。
【請求項２４】
前記ディスプレイ位置データは、前記ユーザの目の瞳孔のうちの少なくとも１つの位置を示す、請求項２２または２３に記載の方法。
【請求項２５】
前記ディスプレイ位置データは、前記ディスプレイに対する前記ユーザの目の瞳孔の中心のうちの少なくとも１つの位置を示す、請求項２２、２３または２４に記載の方法。
【請求項２６】
前記ディスプレイアセンブリの１つ以上の物理的または光学的特性を表すデータを使用して、前記ＢＩＭモデルの前記仮想画像をレンダリングすることをさらに含む、請求項２１〜２５のいずれかに記載の方法。
【請求項２７】
前記１つ以上の信号は、前記建設現場における１つ以上のビーコンにより放出される、請求項１８〜２６のいずれかに記載の方法。
【請求項２８】
前記１つ以上の信号は、電磁放射、例えば、光または電波からなる、請求項１８〜２７のいずれかに記載の方法。
【請求項２９】
前記位置追跡システムは、掃引ビーム光学追跡システムを備える、請求項１８〜２８のいずれかに記載の方法。
【請求項３０】
前記位置追跡システムは、ＷｉＦｉ追跡システムを備える、請求項１８〜２８のいずれかに記載の方法。
【請求項３１】
前記１つ以上の信号は、音波、例えば超音波からなる、請求項１８〜２７のいずれかに記載の方法。
【請求項３２】
前記位置追跡システムは、インサイドアウト位置追跡システムを備える、請求項１８〜３１のいずれかに記載の方法。
【請求項３３】
前記外因性座標系と前記内因性座標系との間で変換するための前記変換を使用して、前記建設現場に対して正しく位置特定され、方向付けられ、前記建設現場における前記ユーザの位置についての正しいコンテキストで前記ユーザに表示される前記ＢＩＭモデルの３Ｄ画像をレンダリングすることを備える、請求項１８〜３２のいずれかに記載の方法。
【請求項３４】
リモートサーバから前記ヘッドセットにおける前記電子制御システムに前記ＢＩＭデータをダウンロードすることをさらに備える、請求項１８〜３３のいずれかに記載の方法。
【請求項３５】
リモートサーバから前記変換をダウンロードし、それを前記ヘッドセットに保存することをさらに備える、請求項１８〜３４のいずれかに記載の方法。
【請求項３６】
前記位置追跡システムは、前記建設現場で静止している少なくとも１つの電磁放射源を備え、前記１つ以上のセンサのうちの少なくとも１つは、前記少なくとも１つのセンサから前記静止源までの角距離を示す前記電磁放射の特性を検出または測定するように構成される、請求項１８〜３５のいずれかに記載の方法。
【請求項３７】
コンピュータ化されたデバイスによって実行されると、前記コンピュータ化されたデバイスに請求項１８〜３６のいずれかに記載の方法を実行させる、命令のセットを備える、コンピュータプログラム。
【請求項３８】
光学式インサイドアウト位置追跡システムを使用して建設現場で携帯式セットアウトツールを追跡して、前記位置追跡システムによって定義される内因性座標系の追跡ボリュームにおいて前記セットアウトツールの位置を特定することと、前記建設現場またはその近くの１つ以上の制御点の現実世界座標系の既知の場所を前記位置追跡システムによって決定された前記内因性座標系の前記制御点の対応する位置に関連付けることによって導出される変換を使用して前記内因性座標系を外因性現実世界座標系に関連付けることと
を備える、建設現場のセットアウト方法。
【請求項３９】
前記位置追跡システムは、前記建設現場で静止している少なくとも１つの電磁放射または音波源と、センサから前記静止源までの角距離を示す前記電磁放射または音波の特性を検出または測定する前記携帯式セットアウトツール上の少なくとも１つの前記センサとを備える、請求項３８に記載の方法。
【請求項４０】
前記方法は、特定の作業が実行される場所または前記建設現場での基準点の位置を特定するために前記セットアウトツールの前記位置を追跡することを備える、請求項３８または３９に記載の方法。
【請求項４１】
前記変換を使用して前記外因性現実世界座標系で前記セットアウトツールの前記場所を算出し、ユーザインタフェースを使用して現実世界（現場）座標における前記セットアウトツールの前記位置を示すことを備える、請求項３８〜４０のいずれかに記載の方法。
【請求項４２】
前記セットアウトツールは、ヘッドセットを備え、前記ヘッドセットは、ユーザが装着可能な拡張現実眼鏡と、前記外因性現実世界座標での前記建設現場における前記セットアウトツールまたは前記ヘッドセットに関連付けられた周辺デバイスの前記位置に関する情報を表示するための少なくとも１つのディスプレイとを含む、請求項３８〜４１のいずれかに記載の方法。
【請求項４３】
前記拡張現実眼鏡は、前記外因性現実世界座標で定義される建物情報モデル（ＢＩＭ）の仮想画像を表示するように動作可能である、請求項４２に記載の方法。
【請求項４４】
前記仮想画像は、前記建設現場に対して正確に位置特定および方向付けられた３Ｄ画像であり、前記建物モデルの前記現実世界現場座標を前記内因性座標系に変換する前記変換を使用することにより、前記現場での前記ユーザの位置についての正しいコンテキストで前記ユーザに表示される、請求項４３に記載の方法。
【請求項４５】
前記位置追跡システムは、（ｉ）前記外因性現実世界座標系における既知の場所の制御点に前記セットアウトツールを配置し、前記内因性座標系における前記セットアウトツール上の少なくとも２つのセンサの対応する位置を決定すること、（ｉｉ）前記現実世界座標系における既知の場所を有する前記追跡ボリューム内の２つ以上の制御点に前記ツールを順次、配置し、各制御点で前記内因性座標系における前記ツールの前記位置を決定すること、および／または（ｉｉｉ）前記現実世界座標系で既知の場所を有する前記追跡ボリューム内の２つ以上の制御点に配置されたセンサ（例えば光学センサ）を使用して、前記内因性座標系における前記センサの前記位置を決定することにより、前記外因性現実世界座標系に較正される、請求項３８〜４４のいずれかに記載の方法。
【請求項４６】
少なくとも１つの携帯式セットアウトツールと、インサイドアウト位置追跡システムであって、前記追跡システムで使用される内因性座標系での追跡ボリューム内で前記セットアウトツールの位置を特定するためのインサイドアウト位置追跡システムと、前記位置追跡システムで定義された前記内因性座標系における前記セットアウトツールの前記座標を、外因性現実世界座標系の対応する座標に、前記２つの座標系の間で変換するための変換に基づいて変換する座標変換エンジンを備える電子制御システムとを備える、建設現場をセットアウトするための機器。
【請求項４７】
前記変換は、前記現実世界座標系における既知の場所の１つ以上の制御点の前記位置を、前記位置追跡システムを使用して決定された前記内因性座標系におけるそれらの対応する位置に関連付けることから導出される、請求項４６に記載の機器。
【請求項４８】
前記セットアウトツールは、前記外因性現実世界座標系における前記セットアウトツールの前記位置をユーザに示すためのユーザインタフェースを備える、請求項４６または４７に記載の機器。
【請求項４９】
前記位置追跡システムは、前記セットアウトツールに取り付けられた少なくとも１つのセンサと、少なくとも１つの基地局であって、前記基地局までの角距離を示す電磁放射を放出するように動作可能な少なくとも１つの基地局とを備える、請求項４６〜４８のいずれかに記載の機器。
【請求項５０】
前記追跡システムは、前記少なくとも１つのセンサから受信したセンサデータに基づいて、前記内因性座標系における前記セットアウトツールの前記位置を決定する追跡エンジンを備える、請求項４９に記載の機器。
【請求項５１】
前記電子制御システムは、前記インサイドアウト位置追跡システムを使用することにより前記内因性座標系を前記外因性現実世界座標系に関連付けるための前記変換を生成して、前記現実世界座標系で既知の場所の１つ以上の制御点の前記内因性座標系における前記位置を特定する較正エンジンをさらに備える、請求項４６〜５０のいずれかに記載の機器。
【請求項５２】
前記較正エンジンが別個の制御デバイスに収容され、前記変換を表すデータが前記変換エンジンに伝達されて、前記内因性座標系の座標を前記外因性系の対応する座標に変換する、請求項５１に記載の機器。
【請求項５３】
前記外因性現実世界座標系における既知の座標の前記建設現場の場所に配置されて、前記インサイドアウト位置追跡システムを使用して追跡され、前記内因性座標系におけるその座標を決定することができる少なくとも１つのセンサを備える少なくとも１つの較正ツールをさらに含み、前記較正エンジンは、前記内因性座標系および外因性座標系における前記センサの前記対応する座標の前記位置を関連付けて、前記変換を導出するように動作可能である、請求項５１または５２に記載の機器。
【請求項５４】
較正ツールが、前記位置追跡システムを再較正するための既知の場所の制御点に固定されるように構成される、請求項５３に記載の機器。
【請求項５５】
前記セットアウトツールは、前記建設現場における前記セットアウトツールの前記位置に関する情報を表示するための拡張現実ディスプレイを組み込んだヘッドセットを備える、請求項４６〜５４のいずれかに記載の機器。
【請求項５６】
建設現場のセットアウトに使用するヘッドセットであって、ヘッドウェア物品を備え、前記ヘッドウェア物品は、そこに取り付けられた複数のセンサ、ユーザが見るときに建物情報モデル（ＢＩＭ）の仮想画像を表示するための１つ以上のディスプレイを組み込んだ拡張現実眼鏡、および電子制御システムを有し、前記電子制御システムは、
外因性現実世界座標系で定義された前記建物情報モデルを表すモデルデータを受信および処理して、前記外因性座標系と内因性座標系との間の変換を使用して前記内因性座標系で前記モデルを配置および方向付けするモデル位置決めエンジンと、
前記内因性座標系で前記建設現場の前記ヘッドウェア物品の前記位置および向きを表す追跡データを受信し、前記ヘッドウェア物品の前記位置および向きに対する前記モデルの仮想画像をレンダリングし、前記画像を前記モデルの仮想画像としてユーザが見ることができる前記１つ以上のディスプレイに前記画像を送信する画像レンダリングエンジンと
を備え、
前記追跡データは、前記建設現場の１つ以上の基地局により放出される電磁放射に対する前記ヘッドウェア物品の複数のセンサの前記反応を表すセンサデータから導出され、前記電磁放射は、前記１つ以上の尊重される基地局までの角距離に関連するように変調され、
前記変換は、前記外因性座標系の既知の場所の１つ以上の制御点の前記座標を、前記内因性座標系のそれらの対応する座標に関連付けることによって導出され、前記内因性座標系の前記１つ以上の制御点の前記座標は、前記変調電磁放射に対する前記１つ以上の制御点に配置された１つ以上のセンサの前記反応を表すセンサデータから導出される、
ヘッドセット。
【請求項５７】
前記ＢＩＭモデルの前記仮想画像は、前記拡張現実眼鏡の前記１つ以上のディスプレイで前記ユーザに表示される合成３Ｄ画像を備える、請求項５６に記載のヘッドセット。
【請求項５８】
前記電子制御システムはさらに、前記内因性座標系における前記建設現場での前記ヘッドウェア物品の前記位置および向きを算出するために、前記ヘッドウェア物品の前記センサから受信したセンサデータを処理する追跡エンジンを備える、請求項５６または５７に記載のヘッドセット。
【請求項５９】
前記電子制御システムは、１つ以上のプロセッサと、１つ以上のメモリユニットと、前記変換を使用して前記内因性座標系に前記モデルを配置して方向付けするために前記モデルデータを処理することが前記１つ以上のプロセッサによって実行可能なモデル位置決めモジュール、ならびに、前記ヘッドウェア物品の前記位置および向きに対して前記ＢＩＭモデルの前記仮想画像をレンダリングするための前記追跡データおよびモデルデータを処理することが前記１つ以上のプロセッサで実行可能な画像レンダリングモジュールを備えるソフトウェアを保存する少なくとも１つのデータ記憶デバイスとを備える、請求項５６〜５８のいずれかに記載のヘッドセット。
【請求項６０】
前記電子制御システムはさらに、少なくとも１つのデータ通信デバイスを備え、前記ソフトウェアは、前記データ通信デバイスを介してリモートサーバから前記モデルデータを受信することが前記１つ以上のプロセッサによって実行可能なモデルダウンロードモジュールを含む、請求項５９に記載のヘッドセット。
【請求項６１】
前記ソフトウェアはさらに、前記変換を受信して前記少なくとも１つのデータ記憶デバイスに保存することが前記１つ以上のマイクロプロセッサにより実行可能な変換受信機モジュールを備える、請求項５９または６０に記載のヘッドセット。
【請求項６２】
前記ソフトウェアはさらに、前記ヘッドセット上の前記センサから受信した前記センサデータを処理して前記内因性座標系における前記建設現場での前記ヘッドウェア物品の前記位置および向きを算出することが前記１つ以上のプロセッサにより実行可能な追跡モジュールを備える、請求項５９〜６１のいずれかに記載のヘッドセット。
【請求項６３】
前記ヘッドウェア物品は、安全帽を備える、請求項５６〜６２のいずれかに記載のヘッドセット。
【請求項６４】
建設現場をセットアウトする機器を制御するコンピュータソフトウェアであって、内因性座標系での携帯式セットアウトツールの位置および／または向きを決定する追跡モジュールと、前記内因性座標系における前記セットアウトツールの座標を、前記内因性座標系と外因性座標系との間で変換するための変換を使用して、外因性現実世界座標系の対応する座標に変換する座標変換モジュールとを備える、コンピュータソフトウェア。
【請求項６５】
前記座標変換モジュールは、前記追跡モジュールにより算出された前記内因性座標系における前記セットアウトツールの前記位置および／または向きを表す追跡データに前記変換を適用して、前記外因性座標系での前記セットアウトツールの前記位置および／または向きを決定することがプロセッサによって実行可能である、請求項６４記載のコンピュータソフトウェア。
【請求項６６】
前記変換は、前記現実世界座標系における既知の場所の１つ以上の制御点の前記位置を、インサイドアウト位置追跡システムを使用して決定される前記内因性座標系におけるそれらの対応する位置に関連付けることにより導出される、請求項６４または６５に記載のコンピュータソフトウェア。
【請求項６７】
光源への角距離を示すように変調された光に対する各制御点のセンサの反応を表すデータから前記外因性現実世界座標系における既知の場所の複数の制御点の前記内因性座標系における前記位置を決定し、前記内因性座標系を前記外因性現実世界座標系に関連付けるための変換を生成することがプロセッサによって実行可能な較正モジュールをさらに備える、請求項６４〜６６のいずれかに記載のコンピュータソフトウェア。
【請求項６８】
前記外因性現実世界座標における前記追跡モジュールによって決定される前記セットアウトツールの前記位置を表示するようディスプレイを制御することがプロセッサによって実行可能なディスプレイモジュールをさらに備える、請求項６４〜６７のいずれかに記載のコンピュータソフトウェア。
【請求項６９】
前記外因性現実世界座標系で定義された建物情報モデル（ＢＩＭ）を表すモデルデータを受信および保存することがプロセッサによって実行可能なデータ通信モジュールをさらに備える、請求項６４〜６８のいずれかに記載のコンピュータソフトウェア。
【請求項７０】
前記変換を使用して前記外因性座標系から前記内因性座標系へとモデルデータで表される前記外因性現実世界座標系で定義された建物情報モデル（ＢＩＭ）の前記位置および向きを変換することがマイクロプロセッサによって実行可能なモデル位置決めモジュールをさらに備える、請求項６４〜６９のいずれかに記載のコンピュータソフトウェア。
【請求項７１】
前記変換されたモデルデータと、前記追跡データで表される前記セットアウトツールの前記位置および向きとを使用して、前記セットアウトツールの一部を形成する拡張現実ディスプレイに表示するために前記建物情報モデルの仮想画像をレンダリングすることがプロセッサによって実行可能な画像レンダリングモジュールをさらに備える、請求項７０に記載のコンピュータソフトウェア。
【請求項７２】
前記変換を受信してデータ記憶デバイスに保存することがプロセッサによって実行可能な変換受信機モジュールをさらに備える、請求項６４〜７１のいずれかに記載のコンピュータソフトウェア。
【請求項７３】
建設現場をセットアウトする際に使用するインサイドアウト位置追跡システムを較正するための較正ソフトウェアであって、（ｉ）外因性現実世界座標系における前記建設現場での複数の制御点の位置を表す制御点場所データを受信し、（ｉｉ）前記追跡システムで使用される内因性座標系における前記制御点の前記位置を表す制御点追跡データを受信し、（ｉｉｉ）前記座標系の間の変換を導出するために前記内因性および外因性座標系における前記制御点の前記位置を関連付けることがプロセッサによって実行可能なマシンコードを備える、較正ソフトウェア。
【請求項７４】
前記較正ソフトウェアは、前記建設現場における少なくとも１つの基地局によって放出される電磁放射であって前記基地局までの角距離を示す少なくとも１つの特性を有する前記電磁放射に対する各制御点でのセンサの反応を表すセンサデータを受信して処理し、前記内因性座標系での前記制御点の前記位置を算出することがプロセッサによって実行可能なマシンコードを備える、請求項７３に記載の較正ソフトウェア。
【請求項７５】
前記マシンコードは、ステップ（ｉ）〜（ｉｉｉ）を定期的に繰り返して前記変換をリフレッシュするように実行可能である、請求項７３または７４に記載の較正ソフトウェア。
【請求項７６】
請求項１〜２０もしくは請求項５６〜６３のいずれかに記載のヘッドセットまたは請求項４６〜５５のいずれかに記載の機器を使用することを備える、建設方法。
【請求項７７】
請求項２１〜３６または請求項３８〜４５のいずれかに記載の方法を備える、建設方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、建物情報モデル（ＢＩＭ）の仮想画像の表示に関する。特に、排他的ではないが、本発明は、拡張現実ディスプレイデバイスを使用して、実行されるタスクまたは構築されるオブジェクトの仮想画像を、建設現場のその正しい位置および向きで十分な精度で表示できるようにすることに関し、それは、例えば所与の建設タスクをどこで実行すべきかを決定することによって建設現場の従来のセットアウトに代わるものとして使用されることができる。本発明の実施形態は、位置追跡システム（光学「インサイドアウト」位置追跡システムなど）を使用して、少なくとも約５ｍｍの精度で拡張現実ヘッドマウントディスプレイ（ＨＭＤ）の位置を特定し得る。本発明は、追跡システムから受信した追跡データに現実世界のセットアウトデータを関連付けるための機器、そのような機器の動作を較正および制御するためのコンピュータソフトウェア、ならびに現実世界座標で仮想モデルを表示するための拡張現実ＨＭＤを提供する。本発明は、建設業者および他者が拡張現実ＨＭＤを使用して、セットアウトおよび／または検証技術者に頼る必要なく、３ｍｍの精度／建設公差内で建設タスクを開始、完了および検証できるようにすることを目的とする。
【背景技術】
【０００２】
建設現場での構造物の立設または建物の建設は、長いプロセスである。このプロセスは次のように要約できる。最初に、建物情報モデル（ＢＩＭ）として既知である３次元モデルが、設計者または建築士によって作成される。ＢＩＭモデルは典型的には、現実世界座標で定義される。ＢＩＭモデルがそして、最も一般的には２次元図面の形式で、または場合によってはコンピューティングデバイス上の３Ｄモデルとして建設現場に送られる。技術者は、従来のステークアウト／セットアウトデバイスを使用して、現場の現実世界座標の既知の場所に制御点を確立し、２Ｄ図面またはＢＩＭモデルにおける各構造物の建設予定場所をマークアウトするための参照として制御点を使用する。建設業者はそして、技術者により作られたマーク（「セットアウトマーク」）に合わせて図面および／またはＢＩＭモデルを使用して、正しい位置に図面またはモデルに従った構造物を立設する。最後に、技術者は構造物または実行されたタスクを検証する必要がある。これは、３Ｄレーザスキャナを使用してポイントクラウドをキャプチャすることにより行われることが可能であり、ポイントクラウドからは、「竣工」構造物の３Ｄモデルを自動的に導出することができる。「竣工」モデルはそして、元のＢＩＭモデルと比較される。このプロセスには最大２週間かかる可能性があり、その後、許容範囲外であることが判明する項目があるかを確認する必要があり、ペナルティが発生し得るか、または、やり直しする必要がある。
【０００３】
従来、建設現場は、例えばベンチマークとして建設現場またはその近くの既知の場所の点に関して建設現場の制御点を位置決めするよう、トータルステーションまたはＴＳＴ（トータルステーションセオドライト）を使用して経験豊富な現場技術者によってセットアウトされている。既知の場所のこのような点の現実世界位置は、例えば、陸地測量部またはＷＧＳ８４基準から知られ得る。その位置が正確に知られている場合、自然または人工の地理的特徴を使用して制御点の位置を特定し得る。制御点はそして、既知の場所のうちの２つ以上の点から三角測量することにより、トータルステーションを使用して建設現場に配置できる。
【０００４】
建設現場で実行される各タスクは、このように正確にセットアウトされなければならない。典型的には、作業の連続した段階で一時的なマーカは消去され得るため、プロジェクト中にセットアウトを数回、行う必要がある。
【０００５】
さらに、建設現場でタスクが完了すると、タスクを検証すること／それが正しい場所で行われたことを確認することが一般に必要であり、この目的のために、現場技術者は、セオドライトを使用して制御点を参照してタスクが実行された場所を確認する必要がある。
【０００６】
建設プロジェクト中にセットアウトが必要になるたびに、現場技術者が建設現場に立ち会うのを待つと、遅延がもたらされる。実行すべき建設タスクの位置を特定する必要があるたびに、現場技術者に頼る必要なく構造物の立設を開始できることが望ましいであろう。
【０００７】
建設現場をセットアウトする既知の方法の別の欠点は、作業員が建設図面に従ってその正しい場所でタスクを実行できるように好適な位置に基準点およびマーカが確立されているにもかかわらず、作業員が建設図面を解釈して、実行すべきタスクの詳細を決定し、基準点または墨出し部の間を補間することが依然として必要であることである。実際には、これにより、建設図面と実行されるタスクとの間に不一致が生じることがよくある。
【０００８】
既知の方法のさらに別の欠点は、制御点、または既知の場所の点に関連してそれら自身の位置を特定された他の基準点に関して建設現場に基準点および墨出し部がしばしば配置されることである。新しい基準点または墨出し部が以前の基準点または建設点に対して配置されるたびに、位置決め誤差が拡大される。
【０００９】
既知の方法のさらに別の欠点は、検証に使用される今日のセオドライトでは検証情報を請負業者に提供するのに最大２週間かかる可能性があることである。
【００１０】
これらの欠点は、重大な波及効果をもたらす可能性がある。セットアウトを間違って完了した場合、またはセットアウトマークの誤った解釈に基づいて構造物が誤って立設された場合、次の業務請負業者はミスの上に建設を行い、したがって、エラーを悪化させる。典型的には１〜２週間である検証リードタイムを考えると、複数の請負業者がプロジェクトでエラーを悪化させる可能性がある。これにより、しばしば請負業者がプロジェクトを予定通りに提供できず、予算内でも、好適な仕様に従ってもプロジェクトを提供できなくなる。
【００１１】
多くの国では、建設作業員は、建設現場での作業中に、落下物、他のオブジェクトとの衝突、破片、雨、および感電による怪我から自身の頭部を保護するために、建設ヘルメット（または安全帽）を着用する必要がある。英国では例えば、１９９２年の個人用保護具（ＰＰＥ）規則において、安全帽がＰＰＥの構成要素であり、法律により建設現場または危険環境で働くすべての人が安全帽を着用することが義務付けられている。
【００１２】
安全帽は一般に、適用され得る安全基準に合わせて作られている。１９９７年に米国国家規格協会は、ＣＳＡ  Ｚ９４．１規格に調和した安全帽についての性能Ｚ８９．１規格を改訂した。これらの規格への準拠は必須ではないが、ほとんどのメーカが従っている。
【００１３】
安全帽の設計および構造は、当業者に周知であり、本明細書で詳細に説明する必要はない。安全帽の内側のサスペンションバンドは、安全帽の重量と任意の衝撃の力とを頭の上部に分散させ、安全帽には、バイザ、追加シェード用の幅広つばアタッチメント、イヤープロテクタ、後部視界を広げるためのミラー、ヘッドランプまたはフラッシュライトの取り付け部、着用者が身を乗り出している場合にヘルメットが脱落しないようにするあごひも、頭の側面を保温する断熱サイドパッド、ならびに／または、着色作業員識別用および／もしくは高視認性夜間再帰反射用のつば周りに伸ばされるバンドを取り付け得る。
【００１４】
建設現場での安全帽が広くいきわたっている事を考えると、建設現場で実行される作業を実施または支援するための電子機器を担持して、安全帽が当技術分野で使用されていることは驚くことではない。
【００１５】
例えば、ＵＳ７５９２９１１Ｂ１（Ｈｕｄｇｅｎｓら）には、現場の人員が着用する安全帽に含まれる電子回路を使用して建設現場において個人の活動を追跡することが開示されている。ＵＳ７５９２９１１Ｂ１の１つの実施形態によれば、建設現場での活動は、建設現場にいる人員が着用する１つ以上の安全帽の一部として形成される電子回路から直接的または間接的に受信する個人情報を処理することにより監視される。個人情報は、人員の個々人と一意に関連付けられる。電子回路から受信した個人情報および人員の場所に基づいて、１つ以上のメッセージが生成される。例えば、メッセージは、建設現場の許可されていないエリアに入った特定の人員に警告し得る。任意選択的に、人員の活動を定期的に監視および報告し得る。
【００１６】
カリフォルニア州ロサンゼルスのＤａｑｒｉ，ＬＬＣから入手できる「スマートヘルメット」は、視覚的指示、リアルタイムアラート、および３Ｄマッピングを含む拡張現実および／またはマルチメディア情報を産業労働者に表示するための拡張現実ディスプレイを安全帽に組み込んでいる（例えば、ｈｔｔｐ：／／ｗｅｂ．ａｒｃｈｉｖｅ．ｏｒｇ／ｗｅｂ／２０１７０６０６１６２９５１／ｈｔｔｐｓ：／／ｄａｑｒｉ．ｃｏｍ／ｐｒｏｄｕｃｔｓ／ｓｍａｒｔ−ｈｅｌｍｅｔ／を参照）。
【００１７】
拡張現実（ＡＲ）は、音、ビデオ、グラフィックス、またはＧＰＳデータなどのコンピュータ生成感覚入力によってその要素が拡張された、物理的な現実世界環境の、ライブの直接的または間接的なビューである。ＡＲアプリケーションにより、ユーザは、ビューイングデバイスのカメラでキャプチャされた物理オブジェクトの画像にオーバーレイされた３次元仮想オブジェクトの形態などの情報を体験できる。仮想オブジェクトは、ユーザの目と整列された「仮想カメラ」によって投影されているかのようにユーザに表示される。他の拡張現実アプリケーションにより、ユーザは、現実物理世界の任意のオブジェクトのビューまたは画像の上にオーバーレイされた追加情報の視覚化を体験できる。
【００１８】
ＷＯ２０１５／１０２８３４Ａ１（Ｄａｑｒｉ，ＬＬＣ）は、拡張現実処理をオフロードするシステムおよび方法を開示している。ユーザのビューイングデバイスの外部にあるセンサは、ビューイングデバイスの位置および向きを追跡する。ビューイングデバイスは、スマートフォン、タブレットコンピュータ、ウェアラブルコンピューティングデバイス（例えば時計または眼鏡）などのディスプレイを伴うコンピューティングデバイスであり得る。コンピューティングデバイスは、携帯式であり得、またはユーザの頭部に取り外し可能に取り付けられ得る。位置および向きは、ユーザに対してローカルな物理環境の事前定義参照を基準にして定義される。サーバは、追跡プロセスおよび拡張現実レンダリングプロセスのうちの少なくとも１つをオフロードする要求をビューイングデバイスから受信する。拡張現実レンダリングプロセスは、拡張現実データベースに基づく。サーバは、要求とビューイングデバイスの位置および向きとに基づいて、オフロードされた処理済みデータを生成する。オフロードされた処理済みデータは、ビューイングデバイスにストリーミングされる。オフロードされた処理済みデータの視覚化は、ビューイングデバイスで生成される。
【００１９】
ＵＳ２０１５／０２３５４７４Ａ１（Ｍｕｌｌｉｎｓ）によると、測量アプリケーションは、オブジェクトの３次元モデルに関連付けられたコンポーネントの測量を生成する。測量アプリケーションは、オブジェクトの近くにあるウェアラブルデバイスからビデオフィード、場所情報、および向き情報を受信する。オブジェクトの３次元モデルは、ウェアラブルデバイスから受信したビデオフィード、センサデータ、場所情報、および向き情報に基づいて生成される。ビデオフィードから分析が実行され、オブジェクトに対する操作が識別される。オブジェクトの３次元モデルは、オブジェクトの操作に基づいて更新される。オブジェクトの操作に関連する動的ステータスが、オブジェクトに関連する参照データに関して生成される。
【００２０】
異なる角度および場所から同じ物理オブジェクトを見る複数のウェアラブルデバイス（例えばカメラおよびディスプレイを含むモバイルデバイス）をさらに使用して、物理オブジェクトの３次元を生成および再構築し得る。測量アプリケーションは、物理オブジェクトの３次元モデルに関連付けられたコンポーネントの測量を生成する。例えば、コンポーネントには、乾式壁の釘、ダッシュボードのスイッチ、工場機械のボタン、ボート、または任意の産業用物理オブジェクトが含まれ得る。
【００２１】
ＵＳ９６６５９８５Ｂ２（Ｍｕｌｌｉｎｓら）は、第１のウェアラブルデバイスに表示される仮想オブジェクトの操作を識別するリモートエキスパートアプリケーションを開示する。仮想オブジェクトは、第２のウェアラブルデバイスで視認される物理オブジェクトに基づいてレンダリングされる。仮想オブジェクトの操作は、第１のウェアラブルデバイスから受信される。仮想オブジェクトの操作の可視化は、第２のウェアラブルデバイスのディスプレイについて生成される。仮想オブジェクトの操作の視覚化は、第２のウェアラブルデバイスに伝達される。
【００２２】
ＵＳ２０１５／０２３５４７４Ａ１およびＵＳ９６６５９８５Ｂ２は両方とも、ウェアラブルデバイスがセンサ、ディスプレイ、プロセッサおよび記憶デバイスを含み得ることを開示している。ウェアラブルデバイスは、ウェアラブルコンピューティングデバイス、車両コンピュータ、タブレットコンピュータ、ナビゲーションデバイス、携帯式メディアデバイス、またはユーザのスマートフォンであり得る。センサには例えば、近接センサまたは場所センサ（例えば、近距離無線通信、ＧＰＳ、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ）、光学センサ（例えば、カメラ）、方位センサ（例えば、ジャイロスコープ）、音声センサ（例えば、マイク）またはその任意の好適な組み合わせが含まれ得る。
【００２３】
仮想現実（ＶＲ）／ＡＲアプリケーションで使用され得る異なる光学位置追跡システムは、ＷＯ２０１６／０７７４０１Ａ１（Ｖａｌｖｅ  Ｃｏｒｐｏｒａｔｉｏｎ）に記載されている。例示的実装には、１つ以上の受信機と１つ以上の送信機とが含まれる。例示的送信機には、それぞれが扇形のレーザビームを放出する２つの直交回転子が含まれる。ロータが一定速度で回転すると、各ビームが掃引される。例示的光学受信機は比較的小さくすることができ、ＶＲディスプレイの便利な場所に取り付けることができる。これらの受信機は、ヘッドマウントディスプレイに取り付けられ得る小さな光学検出器で構成されている。例示的システムは、各掃引ビームが各受信機／検出器を交差する時間を測定することにより位置を決定する。
【００２４】
他の位置決めシステムも利用可能である。Ｖａｌｖｅ  Ｃｏｒｐｏｒａｔｉｏｎの光学位置決めシステムに類似した別のシステムは、ＵＳ５１００２２９９Ａに記載されている。ＵＳ２０１８／０１２８８９７Ａ１は、その内容が参照により本明細書に組み込まれ、超音波を使用して受信機に対する送信機の位置を決定するシステムを開示している。送信機は、超音波パルスを放出し、音の放出時間の表示を電子的に提供する。コンピュータプロセッサは、送信機と固定構成で配置された３つの超音波受信機とから時間表示を受信する。受信機は同一直線上に配置されておらず、音の波長の２倍未満の間隔が相互に空いている。コンピュータプロセッサは、３つの受信機のそれぞれへの超音波の時間表示と飛行時間とに基づいて、送信機の相対位置を推定する。好ましい実施形態では、受信機は、音の波長よりも短い距離だけ互いに離間している。
【００２５】
内容が参照により本明細書に組み込まれるＵＳ２０１７／０１６９６１２Ａ１（Ｃａｓｈｅｎら）により開示されるように、ＡＲシステムは、システムにより投影される仮想画像がずれている、すなわち、仮想画像が、オーバーレイしようとする現実世界ターゲットに対して正しく配置されていない）および／または仮想画像が歪んでいる場合、オペレータにとって有害であり得る。ＵＳ２０１７／０１６９６１２Ａ１は、リアルタイムで多数の動的および静的因子入力を考慮するように構成され得る位置合わせシステムを開示し、それにより、グラフィック画像が投影されるときに、グラフィック画像が、オーバーレイしようとする現実世界ターゲットと実質的に位置合わせされて、グラフィック画像が実質的に歪みなく表示される。
【００２６】
その内容が参照により本明細書に組み込まれるＵＳ２０１３／０２３５１６９Ａ１号（Ｋａｔｏら）は、３次元ビデオ画像を表示するディスプレイ、ディスプレイに対する視聴者の目の内側の角または尾の位置を測定する位置取得部、標準位置を決定するための較正において位置に関連する標準位置として目の内側の角または外側の角の測定された位置を記憶部に取得する標準位置記憶ユニット、ディスプレイに対してコンテンツを視聴する視聴者の目の内側の角または外側の角の新たな測定位置と標準位置との差を位置として検出する位置検出部、および、ディスプレイ上に表示される３Ｄビデオ画像に画像処理を実行して検出位置ギャップに従って３Ｄビデオ画像を回転または平行移動させる画像処理ユニットを含むＨＭＤを開示している。
【００２７】
ＵＳ２０１７／００９０２０３Ａ１（ＭｕｌｌｉｎｓおよびＲｉｅｓ）は、センサ、透明ディスプレイ、ならびに拡張現実アプリケーションおよび位置合わせモジュールを備えるプロセッサを含むヘッドマウントデバイスを開示している。例えば、ヘッドマウントデバイスは、カメラ、および、タブレット、スマートフォン、またはウェアラブルコンピューティングデバイス（例えばヘルメットもしくは眼鏡）などの透明ディスプレイを伴うコンピューティングデバイスであり得る。
【発明の概要】
【００２８】
本発明の態様によれば、建設現場の外因性現場座標系に位置付けられ、方向付けられた建物情報モデル（ＢＩＭ）の仮想画像をユーザに表示するためのウェアラブル拡張現実（ＡＲ）ヘッドセットが提供される。ヘッドセットは、建設現場、または建築、建設、フィッティングまたはセットアップタスクが正確な場所で実行されるべき任意の他の場所で、建設業者および他の業者が使用することを特に目的としている。
【００２９】
好適には、ヘッドセットは、例えば、ユーザが着用するように構成された建設ヘルメットなどのヘッドウェア物品を備え得る。
【００３０】
ヘッドセットは、それに取り付けられた１つ以上の位置追跡センサを有し得、位置追跡センサは、ヘッドセットの位置および向きを決定できるようにする建設現場の場所で伝播する１つ以上の信号に対する１つ以上のセンサの反応を表すセンサデータを出力するように構成されている。好適には、１つ以上の信号は、建設現場にセットアップされた位置追跡システムによって放出され得る。好適な位置追跡システムは、当業者に知られている。本発明の実施形態で使用される位置追跡システムは、以下により詳細に説明するインサイドアウト位置追跡システムである。
【００３１】
１つ以上の信号は、１つ以上の対応するビーコンによって放出され得る。建設現場での１つ以上のビーコンの正確な場所が既知であり得る。あるいは、追跡システムを使用して、既知の場所の１つ以上の制御点の位置を決定し得、それにより、ヘッドセットなどの位置追跡システムによって追跡される他のオブジェクトの場所を、制御点の場所を参照して算出することができる。
【００３２】
いくつかの実施形態では、１つ以上の信号は、電磁放射、例えば、光または電波から成り得る。いくつかの実施形態では、以下により詳細に説明するように、掃引ビーム光学追跡システムを使用し得る。そのようなシステムは、１つ以上のビーコンによって放出される赤外線信号を採用し得る。いくつかの実施形態では、ＷｉＦｉ追跡システムが使用され得る。しかし、いくつかの実施形態は、例えば音波などの他のタイプの信号を利用し得る。
【００３３】
いくつかの実施形態では、超音波を、使用されるヘッドセットに衝突する１つ以上の超音波信号に対する１つ以上の位置追跡センサの反応とともに使用して、建設現場でのヘッドセットの場所および向きを三角測量し得る。超音波を使用してオブジェクトの位置を追跡するシステムおよび方法は、ＵＳ２０１８／０１２８８９７Ａ１に開示されている。
【００３４】
ヘッドセットは、拡張現実ディスプレイシステムを備え得る。拡張現実ディスプレイシステムは、位置追跡センサに対して固定されたユーザの視野内の使用中位置を有するディスプレイアセンブリを含み得る。いくつかの実施形態では、ディスプレイアセンブリが、使用位置から、例えばディスプレイアセンブリがユーザの目の前から除去される異なる位置へと選択的に移動可能であり得ることが理解されるであろう。例えば、ディスプレイアセンブリは、使用中位置と「非使用中」位置との間の移動のために、ヘッドウェア物品にヒンジ留めされるか、または別様に取り付けられ得る。ただし、使用中位置では、ディスプレイアセンブリをヘッドウェア物品の位置追跡センサに対して安定して配置し得、それにより、ディスプレイアセンブリディスプレイは、使用中位置にある場合には位置追跡センサに対して不動とし得る。
【００３５】
好適には、ディスプレイアセンブリは、少なくとも１つのディスプレイを含み得、ユーザがディスプレイアセンブリを通して自身の周囲を見ることを可能にしながら、仮想画像をユーザに表示することができ得る。ディスプレイは、透明または半透明であり得る。典型的には、ディスプレイ自体に加えて、ディスプレイアセンブリは、ディスプレイから放出される光によって運ばれる画像を見るための少なくとも１つのレンズを含み得る。レンズは、ディスプレイとユーザの目との間に好適に配置され得る。いくつかの実施形態では、レンズは、仮想画像が無限遠に位置するようにユーザに見えるようにコリメータを備え得る。あるいは、レンズは光を発散させて、それにより、仮想画像が無限遠よりも近いユーザの前の焦点距離に見えるようにし得る。例えば、いくつかの実施形態では、ディスプレイと一緒にレンズを使用して、ディスプレイから放出される光によって表される仮想画像が２〜１０ｍの範囲の焦点距離でユーザに見えるようにし得る。ディスプレイアセンブリの特性はまた、ディスプレイアセンブリの視野、その射出瞳サイズなども定義することが理解されるであろう。以下により詳細に説明するように、本発明に従って建物情報モデルの仮想画像を正しく位置決めする場合、ディスプレイアセンブリのこれらおよび他の物理的および光学的特性および特徴を考慮に入れ得る。
【００３６】
拡張現実ディスプレイシステムは、建物情報モデルの仮想画像を表す画像データを受信し、仮想画像をディスプレイに表示するように構成され得る。仮想画像は、ユーザの目を中心とする仮想カメラによって投影されているかのようにユーザに認識される。
【００３７】
ヘッドセットは、ユーザの頭部に対するディスプレイの位置を検出し、それを表すディスプレイ位置データを出力するディスプレイ位置センサをさらに備え得る。さらにまたはあるいは、ヘッドセットは、ディスプレイがヘッドウェア物品に対して正しく配置されることを保証するための位置合わせデバイスを含み得る。当業者は、ユーザが同じ場所を見ている場合でも、ユーザの頭部におけるヘッドセットの位置が使用中に変化し得ることを理解するであろう。これは、ユーザが建築現場での建設タスクの実行に典型的には含まれる種類の手動操作に従事している場合に特に当てはまり得る。本発明によれば、現実世界に対して正しい場所でユーザが仮想画像を見るように、仮想カメラがユーザの目に正確に位置合わせされたままであることを保証することが重要である。ディスプレイ位置センサはしたがって、本発明に従って使用されて、建物情報モデルの仮想画像をディスプレイ（複数可）に配置する際に、ユーザの頭部に対するヘッドセット、特に１つ以上のディスプレイの位置の変化が考慮されることを保証する。
【００３８】
ヘッドセットは、電子制御システムを備え得る。電子制御システムは、位置追跡システムによって定義された内因性座標系内の建設現場でのヘッドセットの場所および向きをセンサデータから決定し、それを表すヘッドセット追跡データを出力するように構成されたヘッドセット追跡サブシステムを備え得る。
【００３９】
電子制御システムは、変換に基づいて内因性座標系と外因性座標系との間で位置データを変換するように構成された座標変換エンジンを備え得る。いくつかの実施形態では、変換は、外因性座標系の既知の場所の１つ以上の制御点の座標を、内因性座標系のそれらの対応する座標に関連付けることによって導出され得る。内因性座標系における１つ以上の制御点の座標は、位置追跡システムを使用して少なくとも１つのセンサから受信したセンサデータから導出され得る。
【００４０】
電子制御システムは、ヘッドセット追跡データ、ディスプレイ位置データ、および外因性座標系で定義された建物情報モデルを表すモデルデータを受信し、座標変換エンジンを使用してモデルデータを処理して内因性座標系で定義された導出モデルデータを生成し、ヘッドセット追跡データおよびディスプレイ位置データを使用して建設現場でのヘッドウェア物品の位置および向きとユーザの頭部におけるディスプレイの位置とに対する建物情報モデルの仮想画像をレンダリングし、仮想画像を表す画像データを生成し、ユーザがディスプレイで見るために拡張現実ディスプレイシステムに画像データを送信するように構成され得る。このように、本発明の目的は、ユーザが、通常の建設許容範囲内で現実世界の建設現場に正しく配置されて方向付けられた建物情報モデルの仮想画像を見ることができるようにすることであり、それにより、建築情報モデルに従って、場合によっては指定された許容範囲内で、タスクが実行されることを保証するのに十分な程度の精度で、１つ以上の建設タスクを実行する場所がユーザに通知される。
【００４１】
いくつかの実施形態では、電子制御システムは、ディスプレイがヘッドウェア物品に対して正しく配置されることを保証するための位置合わせエンジンを備え得る。位置合わせエンジンは、ディスプレイ位置センサに加えて、またはその代わりに使用され得る。
【００４２】
本発明の別の態様によれば、本発明によるヘッドセット内で建設現場の外因性現場座標系に配置および方向付けされた建物情報モデル（ＢＩＭ）の仮想画像を表示する方法が提供される。
【００４３】
文脈がそうでないことを示唆するか、または反対に示されない限り、本発明の１つ以上の特定の態様に関して本明細書に記載の技術的なまたは他の特徴は、本発明のすべての態様に適用できる。
【００４４】
ヘッドセットはしたがって、１つ以上の位置追跡センサがそれに取り付けられた、またはそれに別様にしっかりと固定された、ユーザが着用するような形状および寸法のヘッドウェア物品と、少なくとも１つのディスプレイを含む拡張現実ディスプレイシステムと、ユーザの頭部に対するディスプレイの位置を検出するディスプレイ位置センサと、電子制御システムとを備え得る。
【００４５】
いくつかの実施形態では、本発明の方法は、上記のように建設現場で伝播する１つ以上の信号、例えば電磁放射に対する１つ以上のセンサの反応を表すセンサデータに基づいて位置追跡システムによって定義される内因性座標系で、建設現場でのヘッドセットの位置および向きを決定するステップを備え得る。方法は、内因性座標系における建設現場でのヘッドセットの位置および向きを表すヘッドセット追跡データを生成することを備え得る。これらのステップは、ヘッドセット追跡システムによって便宜的に実行され得る。
【００４６】
いくつかの実施形態では、本発明の方法は、変換に基づいて内因性座標系と外因性座標系との間で位置データを変換するステップを備え得る。上述したように、変換は、位置追跡システムを使用して、外因性座標系の既知の場所の１つ以上の制御点の座標を、内因性座標系のそれらの対応する座標に関連付けることによって導出され得る。好適には、そのステップは座標変換エンジンによって実行され得る。
【００４７】
上記のように、内因性座標系における１つ以上の制御点の座標は、少なくとも１つのセンサから受信したセンサデータに基づいて好適に決定され得る。
【００４８】
いくつかの実施形態では、本発明の方法は、ディスプレイ位置センサからディスプレイ位置データを受信するステップと、ヘッドセット追跡データを受信するステップと、外因性座標系で定義される建物情報モデルを表すモデルデータを受信するステップと、座標変換エンジンを使用してモデルデータを処理し、内因性座標系で定義されている導出モデルデータを生成するステップと、ヘッドセット追跡データおよびディスプレイ位置データを使用して、建設現場でのヘッドウェア物品の位置および向きに対して、ならびにユーザの目に対するディスプレイの位置に対して、建物情報モデルの仮想画像をレンダリングするステップとを備え得る。方法は、仮想画像を表す画像データを生成することと、ユーザが建物情報モデルの仮想画像として見るために拡張現実ディスプレイシステムに画像データを送信することとを備え得る。
【００４９】
上記のように、本発明のヘッドセットは、いくつかの実施形態では、ヘッドセット追跡サブシステムおよび座標変換エンジンを備え得る電子制御システムを備え得る。ヘッドセット追跡サブシステムは、本明細書でより詳細に説明するように、建設現場にてセットアップされた位置追跡システムと連携するように好適に構成され得る。ヘッドセット追跡サブシステムを使用して、ヘッドセットでヘッドセット追跡データの処理を実行し得るが、いくつかの実施形態では、建設現場でのヘッドセットの位置および向きを決定するためのヘッドセット追跡データの処理を、ヘッドセット外で、例えば有線または無線接続を介してヘッドセットと通信するように配置されたリモートコンピュータで実行され得る。いくつかの実施形態では、座標変換エンジンは、リモートコンピュータまたはサーバ上で実行されるように構成され得る。したがって一般的に、ヘッドセットの電子制御システムによって実行される処理ステップのいくつかは、リモートコンピュータまたはサーバ上で、ならびに、ヘッドセットとリモートコンピュータまたはサーバとの間のデータ送信用に構成された適した手段で実行され得る。
【００５０】
本発明のさらに別の態様によれば、コンピュータ化されたデバイスによって実行されると、建設現場の外因性現場座標系に配置されて方向付けられている建物情報モデル（ＢＩＭ）の仮想画像をヘッドセットに表示する方法をコンピュータ化されたデバイスに実行させる命令セットを含むコンピュータプログラムが提供される。典型的には、コンピュータプログラムは、コンピュータ化されたデバイスによって実行されると、コンピュータ化されたデバイスが上記の本発明による方法を実行するための命令セットを含む。
【００５１】
したがって、ヘッドセットは、１つ以上の位置追跡センサがそれに取り付けられたユーザが着用するように構成されたヘッドウェア物品と、ユーザの視野内部に使用中位置を有するディスプレイアセンブリを含む拡張現実ディスプレイシステムと、少なくとも１つのディスプレイを含むディスプレイアセンブリと、ユーザの頭部に対するディスプレイの位置を検出するためのディスプレイ位置センサと、電子制御システムとを備え得る。
【００５２】
本発明の実施形態によれば、建設現場の現実世界座標で拡張現実ヘッドマウントディスプレイを使用して３次元の建物情報モデルを、少なくとも５ｍｍの精度、好ましくは少なくとも３ｍｍの精度で視認させる方法が提供される。本発明の実施形態は以下を備え得る。
【００５３】
（ａ）位置追跡システムによって使用される内因性座標系での追跡ボリューム内の拡張現実ヘッドマウントディスプレイを少なくとも５ｍｍに位置特定するために光学的インサイドアウト位置追跡システムを使用して、建設現場での拡張現実ヘッドマウントディスプレイを追跡すること。
【００５４】
（ｂ）携帯式追跡デバイスを使用して、外因性座標系の既知の場所／制御点を位置追跡システムで定義されている内因性座標系の制御点の対応する位置に変換する変換を使用することにより、内因性座標系を外因性現実世界座標系に関連付けること。
【００５５】
（ｃ）視線追跡デバイスを使用して、ユーザの目のうちの少なくとも１つの位置を拡張現実ヘッドマウントディスプレイに関連付けること、および／または
【００５６】
（ｄ）コンピュータソフトウェアを使用して、ヘッドセットの場所を表す位置追跡データと、ユーザの頭部における拡張現実ヘッドマウントディスプレイの位置を表す視線追跡データおよび拡張現実ヘッドマウントディスプレイの光学特性を表すデータとを融合して、拡張現実ヘッドマウントディスプレイを介して仮想ＢＩＭモデルを現実世界座標で表示すること。
【００５７】
本発明の実施形態は、拡張現実ＨＭＤを使用して、現実世界座標でＢＩＭモデルを建設公差（典型的には３ｍｍ以内の精度）で見る方法および／または作業をリアルタイムで検証する能力を建設業者／商業請負業者に提供することを目的とする。これにより、現場技術者の継続的な存在が不要になり得、作業員が建設図面を解釈し、基準点またはマーカ間のマークされていない場所を決定する必要性を最小限に抑制し得、それにより、以前に位置特定された基準点または制御点に基づいて基準点の位置決めにおける誤差の累積を除去し得る。これによりまた、建設業者および商業請負業者にリアルタイムの検証情報を提供しようとするため、検証作業においてセオドライトが不要になり得る。
【００５８】
本発明の異なる態様では、ヘッドセット追跡は、ヘッドセット外部のセンサを使用して、ヘッドセットの位置および向きに基づいて外部追跡データを生成することを備え得る。例えば光学センサ（例えば、深度対応３Ｄカメラ）、ワイヤレスセンサ（Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ）、ＧＰＳセンサ、またはオーディオセンサなどの追跡センサを使用して、例えばユーザがどこを見ているかを判断するために、ヘッドセットの場所、物理的環境における追跡センサまでのヘッドセットの距離（例えば、会場または部屋の角に配置されたセンサ）、ヘッドセットの向きを決定し得る。
【００５９】
いくつかの実施形態では、仮想画像のレンダリングは、ヘッドセットからのヘッドセット追跡データおよび拡張現実データベースに基づいて仮想オブジェクトをレンダリングすることを含み得る。ヘッドセット追跡データは、ヘッドセット内部のセンサから受信したセンサデータに基づいて、ヘッドセットの位置および向きを表し得る。センサには、例えば、近接センサまたは場所センサ（例えば、近距離無線通信、ＧＰＳ、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ）、光学センサ（例えば、カメラ）、方位センサ（例えば、ジャイロスコープ）、音声センサ（例えば、マイク）またはその任意の好適な組み合わせが含まれ得る。例えば、センサには、ヘッドセットの背面カメラおよび正面カメラが含まれ得る。
【００６０】
本発明のさらに別の態様によれば、光学式インサイドアウト位置追跡システムを使用して建設現場で携帯式セットアウトツールを追跡して追跡システムが使用する内因性座標系の追跡ボリューム内のセットアウトツールの位置を特定することと、建設現場またはその近くの１つ以上の制御点の現実世界座標系における既知の場所を、位置追跡システムによって決定された内因性座標系内の制御点の対応する位置に関連付けることにより導出された変換を使用して、内因性座標系を外因性現実世界座標系に関連付けることとを備える、建設現場をセットアウトする方法が提供される。
【００６１】
本明細書における「インサイドアウト位置追跡システム」とは、追跡ボリューム内で追跡されるオブジェクトに設けられたセンサ、例えば光−電子センサまたはマイクが、放射源からのセンサの角距離を示す１つ以上の入射信号（例えば、電磁放射、または超音波、またはパルス）の１つ以上の特性を検出または測定するよう構成される追跡システムを意味する。典型的には、信号または放射の源は固定され得る。追跡されるオブジェクトは、例えば本発明のヘッドセットであり得る。
【００６２】
信号（例えば、電磁放射）は指向性であり得る。特に、放射は、源の方位または角距離を示すような方法で変調され得る。信号または放射は、例えば、追跡ボリュームにわたって空間的に変調または減衰され得る。例えば、電磁放射の強度は、源までの角距離によって異なり得る。
【００６３】
典型的には、電磁放射は、例えば追跡ボリュームを掃引することにより一時的に変化するレーザビームなどのビームの形態であり得る。
【００６４】
センサは、入射信号、例えば電磁放射の一時的な変化を検出し得る。
【００６５】
いくつかの実施形態において、ビームは、追跡ボリュームを通して一定速度で掃引され得、それにより、ビームがセンサに入射する時間は、センサから源までの角距離を示す。
【００６６】
いくつかの実施形態では、ビームは、データを符号化するために変調される搬送波を備え得る。
【００６７】
例えば、搬送波は、ビームの絶対位相を示すデータを符号化するために変調され得る。センサから源までの角距離は、ビームの絶対位相と、ビームがセンサに入射する時間とから導出され得る。
【００６８】
いくつかの実施形態では、搬送波は、ビームから源までの角距離を示す動的データを符号化するために変調され得る。この場合、センサから源までの角距離をビームから「読み取り」得る。
【００６９】
ビームが変調されてデータを符号化する場合、センサは、搬送波を復調して符号化データを回復するための光−デジタル変換器を好適に組み込み得る。
【００７０】
ビームは、平面の扇形を有し得る。好適には、電磁放射は不可視光、好ましくは赤外線であり得る。
【００７１】
いくつかの実施形態では、電磁放射は、２つの横断軸上のセンサの角度位置を決定するための２つの相互横断（例えば直交）面にて変調され得る。例えば、２つの相互横断ビームが、追跡ボリュームにわたって掃引され得る。
【００７２】
好適なビームは、基地局内のロータにレーザを取り付けることにより生成され得る。上記のように、ロータは一定の角速度で動作し得る。いくつかの実施形態では、２つの（またはそれ以上の）レーザが単一のロータに取り付けられ得、レーザからのビームを相互に横断方向に掃引するための好適な光学機械的構成が提供され得る。
【００７３】
あるいは、相互横断軸の周りを回転するように構成された２つ以上のロータが提供され得る。２つ以上のロータのそれぞれに、１つ以上のレーザを搭載し得る。
【００７４】
電磁放射の２つ以上のビームが採用される場合、それらは、センサがビームを区別できるようにするために、互いに異なる周波数を有し得る。
【００７５】
追跡されるオブジェクトに１つ以上のセンサを提供し得、電磁放射の１つ以上の源があり得る。
【００７６】
追跡されるオブジェクトの場所は、複数の放射源に対する１つ以上のセンサの位置を三角測量することにより決定することができる。
【００７７】
あるいは、オブジェクトの場所は、少なくとも１つの放射源に対してオブジェクト上の複数のセンサの位置を三角測量することにより決定することができる。追跡されるオブジェクトにおける複数のセンサの相対位置を知っておくべきである。
【００７８】
複数の放射源がある場合、各源は、電磁放射の１つ以上のビームを放出し得る。好適には、各源は、上記のように２つの相互横断ビームを放出するように動作可能な基地局を備え得る。各基地局からの各ビームの周波数は異なり得る。
【００７９】
放射が２つの相互横断面上で変調される場合、オブジェクトの場所を３次元で決定することができる。
【００８０】
典型的には、センサはカメラではないが、検出可能な電気信号を生成することにより入射電磁放射に反応する。好適には、センサは、不可視光、例えば赤外線に反応するフォトダイオードを備え得る。例えば、センサはシリコンフォトダイオードを備え得る。センサは、フォトダイオードからの電気信号を増幅するための増幅器、離散エンベロープ検出器、および高速コンパレータを組み込んだ光−デジタル回路をさらに備え得る。コンパレータは、好ましくは比較的小さなヒステリシスを有するべきである。このような回路は、電磁放射が過渡的にセンサに当たるとデジタルパルスを送るように構成される。
【００８１】
電磁放射の掃引ビームの源に対するセンサの角距離は、ビームがセンサに入射するときのビームの絶対角度位置を参照することにより較正され得る。
【００８２】
あるいは、源に対するビームの角度方向は、ビーム内で動的に符号化され得、これは、キャリア信号として使用される。
【００８３】
さらなる代替例では、源へのセンサの角距離は、同期信号と、センサにビームが入射するときとの間の経過時間から算出され得る。
【００８４】
典型的には、そのような同期信号は、ビーム自体と同様に、好ましくは不可視光、例えば赤外線である電磁放射の全方向フラッシュを備え得る。
【００８５】
好適なインサイドアウト光学位置追跡システムは、ＷＯ２０１６／０７７４０１Ａ１に開示されており、その内容は参照により本明細書に組み込まれる。
【００８６】
このようなインサイドアウト光学位置追跡システムを使用する利点は、追跡ボリューム内のセンサの位置を３ｍｍ未満、より好ましくは１ｍｍ未満の精度で特定できることである。本発明の方法は、例えば建設タスクなどの特定の作業が建設図面に従って建設現場で行われるべき場所の位置を特定するために、建設現場で携帯式セットアウトツールの位置を正確に追跡するための光学的インサイドアウト追跡システムを利用し得る。いくつかの実施形態では、例えば、セットアウトツールを使用して、建設現場の基準点の位置を特定し得る。
【００８７】
したがって、いくつかの実施形態では、本発明の方法は、変換を使用して外因性現実世界座標系でのセットアウトツールの場所を算出することと、ユーザインタフェースを使用して現実世界（現場）座標でセットアウトツールの位置を示すこととを備え得る。好適には、ユーザインタフェースは、現場座標におけるツールの位置を表示するための、例えばフラットパネルディスプレイなどのディスプレイを含み得る。
【００８８】
本発明の特定の態様では、セットアウトツールは、ユーザが装着可能な拡張現実眼鏡を備えるヘッドセットを備え、建設現場におけるセットアウトツールの位置に関する情報を表示するための少なくとも１つのディスプレイを含み得る。例えば、拡張現実眼鏡は、建設現場の特定の場所で実施される１つ以上の建設タスクに関する情報を表示するように動作可能であり得る。いくつかの実施形態では、拡張現実眼鏡は、ヘッドセットの位置、または位置追跡システムの一部を形成する１つ以上のセンサを搭載するヘッドセットに取り付けられた周辺機器の位置を、外因性現実世界座標で表示するように動作可能であり得る。
【００８９】
いくつかの実施形態では、拡張現実眼鏡は、外因性現実世界座標で定義される建物情報モデル（ＢＩＭ）の仮想画像を表示するように動作可能であり得る。本発明によれば、仮想画像は、建物モデルの現実世界現場座標を内因性座標系に変換するための変換を使用することにより、建設現場に対して正しく位置特定され、方向付けられ、現場におけるユーザの位置について正しいコンテキストでユーザに表示される３Ｄ画像であり得る。
【００９０】
ヘッドセットは、例えば、位置追跡システムの一部を形成する複数のセンサを搭載するように適合された、当技術分野で知られている種類の建設ヘルメットなどの安全帽を備え得る。好適には、拡張現実眼鏡を安全帽に組み込んで、眼鏡とセンサを搭載する安全帽との間の制御可能距離を保証し得る。しかし、いくつかの実施形態では、拡張現実眼鏡を安全帽とは別個のものとし得る。
【００９１】
インサイドアウト位置追跡システムは、建設現場で間隔を空けた場所にセットアップできる１つ以上の基地局であって、各基地局は、例えば建設現場にわたって掃引される光ビームなどの空間変調電磁放射を放出するよう動作可能である、基地局と、電磁放射に反応するセットアウトツール上の複数のセンサとを備え得る。いくつかの実施形態では、基地局は、最大約１０ｍ、好ましくは最大約５ｍの間隔でセットアップされ得る。上記のように、変調電磁放射はセンサと基地局との間の角距離を示し得、それにより、セットアウトツールのセンサを使用して内因性座標系におけるセットアウトツールの位置および／または向きを決定し得る。
【００９２】
好適には、位置追跡システムは、セットアウトツールを外因性現実世界座標系の既知の場所の制御点に配置し、内因性座標系の制御点におけるセットアウトツールの対応する位置を決定することにより、外因性現実世界座標系に較正され得る。好適には、セットアウトツールは、２つ以上のセンサ、典型的には少なくとも３つのセンサを有し得る。センサの１つは、制御点に正確に配置され得る。１つのセンサに対する他のセンサの位置は既知であり得、外因性現実世界座標内の他のセンサの位置を算出できる。２つ、３つ、またはそれ以上のすべてのセンサの位置は、インサイドアウト追跡システムを使用して内因性座標で決定され得る。
【００９３】
あるいは、またはさらに、位置追跡システムは、現実世界座標系で既知の場所を有する追跡ボリューム内の２つ、３つ、またはそれ以上の制御点にツールを連続して配置し、各制御点での内因性座標系でのツールの位置を決定することにより、外因性現実世界座標系に較正され得る。
【００９４】
あるいは、またはさらに、位置追跡システムは、現実世界座標系の既知の場所を有する追跡ボリューム内の２つ、３つ、またはそれ以上の制御点に配置されたセンサ（例えば光学センサ）を使用し、内因性座標系でのセンサの位置を決定して、外因性現実世界座標系に較正され得る。いくつかの実施形態では、追跡システムは、少なくとも２つまたは３つの制御点でセンサに関して定期的に再較正され得る。
【００９５】
外因性座標系における制御点の場所は、建設現場をセットアウトするための当業者に知られている方法でトータルステーションを使用して決定され得る。したがって、建設現場での制御点の位置は、例えば陸地測量部またはＷＧＳ８４などの測地座標系で位置が正確に知られている２つ以上の点からの三角測量によって決定され得る。
【００９６】
本発明の別の態様では、少なくとも１つの携帯式セットアウトツールと、追跡システムにより使用される内因性座標系の追跡ボリューム内のセットアウトツールの位置を特定するインサイドアウト位置追跡システムと、２つの座標系間で変換するための変換に基づいて追跡システムによって決定された内因性座標系のセットアウトツールの座標を外因性現実世界座標系の対応する座標に変換する座標変換エンジンを備える電子制御システムとを備える建設現場をセットアウトするための機器が提供される。
【００９７】
好適には、変換は、現実世界座標系における既知の場所の１つ以上の制御点の位置を、インサイドアウト位置追跡システムを使用して決定される内因性座標系の対応する位置に関連付けることから導出される。
【００９８】
セットアウトツールは、例えば、外因性現実世界座標系におけるセットアウトツールの位置をユーザに示すためのディスプレイなどのユーザインタフェースを備え得る。したがって、上記のように、携帯式セットアウトツールを使用して、建設図面に従って建設現場をセットアウトするための建設現場上の特定の基準点の位置を特定し得る。例えば、セットアウトツールは、フラットパネルまたは「計算機タイプ」ディスプレイを備え得る。
【００９９】
位置追跡システムは、セットアウトツールに取り付けられた少なくとも１つのセンサと、例えば基地局との角距離を示す変調電磁放射などの信号を放出するように動作可能な少なくとも１つの基地局とを備え得る。好適には、少なくとも１つのセンサおよび少なくとも１つの基地局は、上記のとおりであり得る。
【０１００】
いくつかの実施形態では、携帯式セットアウトツールは、先端を有するプローブを備え得る。セットアウトツールは、建設現場の場所にセンサを正確に配置するために、プローブの先端に配置されるセンサを備え得る。携帯式セットアウトツールの位置は、プローブの先端にあるセンサの位置として算出され得る。
【０１０１】
いくつかの実施形態では、位置追跡システムは複数の基地局を備え得る。
【０１０２】
いくつかの実施形態では、少なくとも１つの基地局は、電磁放射の少なくとも１つのビームを放出し、追跡ボリュームにわたってビームを掃引するように動作可能である。好適には、基地局は、制御された速度または一定の速度で、追跡ボリュームにわたってビームを掃引するように動作可能であり得る。
【０１０３】
追跡システムは、少なくとも１つのセンサから受信したセンサデータ、例えば、センサがビームに反応するときを表すタイミングデータ、またはビーム内で符号化された角距離データに基づいて、内因性座標系におけるセットアウトツールの位置を決定する追跡エンジンを備え得る。好適には、追跡エンジンは、携帯式セットアウトツール内に収容され得、それにより、内因性座標系における追跡ボリューム内の携帯式セットアウトツールの位置の算出は、携帯式セットアウトツール内で完全に実行される。
【０１０４】
しかし、いくつかの実施形態では、追跡エンジンは、例えば、セットアウトツールとは別個のコンピュータなどの制御デバイスに実装され得る。この構成は、機器が複数の携帯式セットアウトツールを備えている場合に特に便利であり得る。制御デバイスおよび１つ以上のセットアウトツールには、そのまたは各セットアウトツールと制御デバイスとの間でデータを通信するためのそれぞれのデータ送信機が提供され得る。例えば、セットアウトツール上の少なくとも１つのセンサからのセンサデータは、内因性座標系における追跡ボリューム内のセンサの位置の算出のためにリモート制御デバイスに送信され得、内因性座標系でのセンサの位置を表す追跡データは、変換エンジンを使用して外因性現実世界座標系に変換するためにセットアウトツールに送信され得る。
【０１０５】
さらなる変形例では、座標変換エンジンはまた、別個の制御デバイス内で実装され得、外因性座標系における１つ以上のセットアウトツールの位置を表す追跡データをセットアウトツールに送信して、１人以上のユーザに表示し得る。
【０１０６】
複数のセットアウトツールが提供される場合、それぞれが特定のセットアウトツールを識別する一意の識別子を表すデータを別個の制御デバイスに送信し得る。制御デバイスは、複数のセットアウトツールの一意の識別子を使用して、正しい追跡データが各セットアウトツールに送信されることを保証するように動作可能であり得る。
【０１０７】
１つ以上のセットアウトツールは、ケーブルまたは無線によりデータ転送のために制御デバイスに接続され得る。
【０１０８】
いくつかの実施形態では、電子制御システムは、インサイドアウト位置追跡システムを使用して現実世界座標系における既知の場所の１つ以上の制御点の内因性座標系における位置を特定することにより、内因性座標系を外因性現実世界座標系に関連付けるための変換を生成する較正エンジンをさらに備え得る。
【０１０９】
電子制御システムは、携帯式セットアウトツール内に便宜的に収容され得る。しかし、いくつかの実施形態では、電子制御システムは、上記の種類の別個の制御デバイスに配置され得る。現実世界座標における携帯式セットアウトツールの位置は、制御デバイスで算出され、ユーザに表示するためにセットアウトツールに送信され得る。同様に、変換は、別個の制御デバイスの較正エンジンと、変換エンジンに通信されて内因性座標系の座標を外因性系の対応する座標に変換する変換を表すデータとを使用して生成され得る。
【０１１０】
いくつかの実施形態では、本発明の実施形態による機器はさらに、外因性現実世界座標系の既知の座標の建設現場における場所に配置でき、インサイドアウト位置追跡システムを使用して追跡されて内因性座標系におけるその座標を決定できる少なくとも１つのセンサを備える少なくとも１つの較正ツールを含み得る。較正エンジンは、変換を導出するために、内因性および外因性座標系でセンサの対応する座標の位置を関連付けるために使用され得る。
【０１１１】
好適には、機器は、それぞれが少なくとも１つのセンサを有する複数のそのような較正ツールを含み得る。
【０１１２】
別の実施形態では、機器は、複数のセンサを有する少なくとも１つの較正ツールを含み得る。
【０１１３】
いくつかの実施形態では、位置追跡システムの定期的な再較正のために、既知の場所の制御点に固定されるように較正ツールを構成し得る。この目的のために、較正ツールは、上記のようなセンサと、制御点で較正ツールをオブジェクトにしっかりと固定するための取り付け部とを備え得る。
【０１１４】
いくつかの実施形態では、セットアウトツールはヘッドセットを備え得る。ヘッドセットは、建設現場でのセットアウトツールの位置に関連する情報を表示するための拡張現実ディスプレイを組み込み得る。
【０１１５】
本発明のさらなる態様によれば、複数のセンサがそれに取り付けられたヘッドウェア物品と、ユーザが見たときに建物情報モデル（ＢＩＭ）の仮想画像を表示する１つ以上のディスプレイを組み込んだ拡張現実眼鏡と、電子制御システムとを備える、建設現場をセットアウトする際に使用するヘッドセットが提供される。好適には、本発明のヘッドセットはさらに、ユーザの頭部の拡張現実眼鏡の位置、より具体的にはユーザの目に対する１つ以上のディスプレイの位置を検出するための手段をさらに含む。
【０１１６】
電子制御システムは、外因性現実世界座標系で定義された建物情報モデルを表すモデルデータを受信および処理し、外因性座標系と内因性座標系との間の変換を使用して内因性座標系でモデルを配置および方向付けするためのモデル位置決めエンジンを備え得る。
【０１１７】
電子制御システムは、内因性座標系での建設現場のヘッドウェア物品の位置および向きを表すヘッドセット追跡データを受信し、ヘッドウェア物品の位置および向きに対してモデルの仮想画像をレンダリングし、モデルの仮想画像としてユーザが見ることができる１つ以上のディスプレイに画像を送信する画像レンダリングエンジンを備え得る。
【０１１８】
画像レンダリングエンジンはまた、ユーザの目に対する１つ以上のディスプレイの位置を表すディスプレイ位置データを受信し得る。したがって、いくつかの実施形態では、画像レンダリングエンジンは、内因性座標系における建設現場のヘッドウェア物品の位置および向きを表すヘッドセット追跡データ、ユーザの目に対する１つ以上のディスプレイの位置を表すディスプレイ位置データを受信し、建設現場でのヘッドウェア物品の位置および向きと、ユーザの目に対する拡張現実眼鏡の位置とに対するモデルの仮想画像をレンダリングし、モデルの仮想画像としてユーザが見ることができる１つ以上のディスプレイに画像を送信するように構成され得る。
【０１１９】
いくつかの実施形態では、ヘッドセット追跡データは、建設現場の１つ以上の基地局によって放出される変調電磁放射に対するヘッドウェア物品上の複数のセンサの反応を表すセンサデータから導出され得、電磁放射の変調は、１つ以上の尊重される基地局までの角距離を示している。
【０１２０】
いくつかの実施形態では、変換は、外因性座標系における既知の場所の１つ以上の制御点の座標を、内因性座標系の対応する座標に関連付けることによって導出され得、内因性座標系における１つ以上の制御点の座標は、変調電磁放射に対する１つ以上の制御点に配置された１つ以上のセンサの反応を表すセンサデータから導出される。
【０１２１】
したがって、ヘッドウェア物品上のセンサは、センサの位置を追跡するために１つ以上の基地局から建設現場にわたって掃引される非可視光、好ましくは赤外線の１つ以上のビームに反応し得る。有利には、上記のように、そのまたは各基地局は、相互横断する、好ましくは直交する平面で非可視光の２つのビームを放出し得る。そのまたは各ビームは、平面の扇形を有し得る。
【０１２２】
センサは、好適な光−デジタル変換器によってデジタル信号に変換することができる検出可能信号を生成することにより、電磁放射に反応する光−電子センサであり得る。いくつかの実施形態では、デジタル信号は、追跡データを導出するためのタイミングデータを符号化し得る。タイミングデータは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）によってタイムスタンプが付され、集計され得る。あるいは、デジタル信号は、ビーム内に含まれるデータをビームのその源への瞬間的な角距離を表すキャリア信号として復調することによって得られた角距離データを符号化し得る。
【０１２３】
好適には、ヘッドウェア物品は、ヘッドセット上の互いに既知の位置に少なくとも５つのセンサを有する。いくつかの実施形態では、ヘッドウェア物品は、内因性座標系でヘッドセットの位置および向きを正確に決定するために、５つ超のセンサ、好ましくは１０個超のセンサ、より好ましくは２０個超のセンサを備え得る。いくつかの実施形態では、ヘッドウェア物品は最大３２個のセンサを備え得る。
【０１２４】
いくつかの実施形態では、ディスプレイ位置データは、ヘッドウェア物品の１つ以上のディスプレイ位置センサによって生成され得る。好適なディスプレイ位置センサは、当業者に知られており、例えば、ＵＳ２０１３／０２３５１６９Ａ１またはＵＳ９７５４４１５Ｂ２に開示されている種類の位置センサを含み、これらの内容は参照により本明細書に組み込まれる。
【０１２５】
例えば、いくつかの実施形態では、ディスプレイ位置データは、ユーザの目の動きを追跡するための少なくとも１つの視線追跡デバイスによって生成され得る。視線追跡デバイスは、ユーザの目の位置を追跡するように構成され得る。好適には、ディスプレイ位置データは、ディスプレイに対するユーザの目の少なくとも１つの瞳孔の位置を表すデータを備え得、より具体的には、ディスプレイ位置データは、ディスプレイに対するユーザの目の瞳孔の少なくとも１つの中心の位置を表すデータを備え得る。いくつかの実施形態では、視線追跡デバイスは、ヘッドセットに取り付けられてユーザの目に赤外線を放出するよう構成された少なくとも１つの赤外線カメラと、反射赤外放射を検出する少なくとも１つの赤外線検出器とを含み得る。
【０１２６】
あるいは、ディスプレイ位置センサは、例えば、ユーザの頭部、皮膚および／または髪の表面詳細を画像化して肌および／または髪に対するディスプレイの動きを決定する内向きＣＭＯＳ検出器を備え得る。このような動きは、ディスプレイとユーザの頭部との間の相対的な動きに対応し得る。いくつかの実施形態では、ＣＭＯＳ検出器は、ＬＥＤ光源と、放射光線および反射光線を導くための単一レンズまたはマイクロレンズアレイのいずれかとを備え得る。ＣＭＯＳ検出器は、ディスプレイアセンブリ上の任意の好適な場所に配置され得る。任意の好適な光学センサ技術および構成が、内向きの光学検出器に使用され得る。例えば、任意の光学式マウスに見いだされるレーザまたはＬＥＤ、レンズ、およびＣＭＯＳセンサは、ディスプレイとユーザの頭部との間の相対運動検出器として使用され得る。
【０１２７】
他の例では、ディスプレイ位置センサは、例えば、ユーザの頭部から離れて面してディスプレイアセンブリ上に配置されたカメラなどの外向きセンサを備え得る。カメラは、物理的環境およびユーザの環境内の物理的オブジェクトから２次元画像情報および／または深度情報をキャプチャし得る。例えば、カメラは、深度カメラ、可視光カメラ、赤外光カメラ、および／または位置追跡カメラを含み得る。
【０１２８】
いくつかの実施形態では、ＢＩＭモデルの仮想画像は、拡張現実眼鏡の１つ以上のディスプレイでユーザに表示される合成３Ｄ画像を備え得る。好適には、眼鏡は、合成画像を立体画像として表示するための２つのディスプレイを備え得る。本発明に従って生成される仮想画像は、１つ以上のディスプレイの光学的特性および／または物理的特性に従って調整され得ることが、当業者によって理解されるであろう。したがって、当技術分野で知られているように、仮想画像は、拡張現実ディスプレイの焦点距離および／または射出瞳サイズに一致すべきである。
【０１２９】
ＢＩＭモデルの仮想画像は、ヘッドセットが建設現場に対して移動したときに仮想画像がスムーズに更新されるように、少なくとも３０Ｈｚ、好ましくは少なくとも６０Ｈｚのフレームレートを有するべきである。１つの実施形態では、画像レンダリングエンジンのフレームレートは約９０Ｈｚであり得る。
【０１３０】
１つ以上の基地局からの不可視光のビームは、仮想画像の所望フレームレートよりも低い周波数で建設現場にわたって移動し得る。例えば、いくつかの実施形態では、光ビームは、３０〜６０Ｈｚの範囲の掃引周波数を有し得る。ヘッドセットの電子制御システムはしたがってさらに、少なくとも１つの慣性測定ユニット（ＩＭＵ）を備え得る。好適なＩＭＵユニットは、当業者に利用可能であり、例えば５００Ｈｚの報告周波数とともに、例えば１０００Ｈｚのサンプリングレートを有し得る。
【０１３１】
内因性座標系におけるヘッドウェア物品の位置および向きを表す追跡データは、ＩＭＵユニットからの動きデータを、センサによって出力されたセンサデータから導出された位置データと融合し得る。追跡モジュールはしたがって、センサデータをＩＭＵから受信した動きデータと融合して、センサデータのみを使用して仮想画像のスムーズなフレームレートを提供可能であり得るよりも高い周波数で追跡データを生成し得る。好適には、内因性座標系でのヘッドウェア物品の位置および向きを表す追跡データは、主にＩＭＵユニットからの動きデータに基づいており、センサデータから導出される、より正確な位置および向きの情報で定期的に更新される。
【０１３２】
実行される建設タスクを表す仮想画像を現場の作業員に表示することにより、建設現場をセットアウトするために本発明のヘッドセットを使用し得ることが、当業者には理解されるであろう。仮想画像は、作業員に関連したコンテキストで、ＢＩＭモデルで定義されるように建設現場におけるその正しい位置および向きに表示できる。位置追跡システムの内因性座標系と建設現場について確立された外因性現実世界座標系との間の変換により、ＢＩＭモデルは、追跡システムで使用される内因性座標系にて正しく配置および方向付けでき、ヘッドウェア物品の位置および向きを追跡することにより、その適したコンテキストで作業員に表示できる。このように、例えばトータルステーションなどの従来の方法を使用して制御点の位置を特定すると、建設現場で基準点またはマーカの位置をさらに特定すること、または、基準点またはマーカに関連して建設現場で実行されるべきタスクの方法について建設図面を解釈することの必要がなくなる。
【０１３３】
代わりに、本発明によれば、従来の方法を使用して制御点の位置が特定されると、現場で実行されるべきタスクを、正しい場所で正しい向きに作業員に直接、表示することができ、基準点もしくはマーカ間の補間または建設図面の解釈の必要性を回避することができる。
【０１３４】
好適には、電子制御システムはさらに、内因性座標系における建設現場でのヘッドウェア物品の位置および向きを算出するために、ヘッドウェア物品のセンサから受信したセンサデータを処理する追跡エンジンを備え得る。
【０１３５】
いくつかの実施形態では、電子制御システムはさらに、ヘッドウェア物品の１つ以上のディスプレイ位置センサから受信したディスプレイ位置データを処理してユーザの目に対するヘッドウェア物品の１つ以上のディスプレイの位置を決定するディスプレイ位置追跡エンジンを備え得る。
【０１３６】
電子制御システムは、１つ以上のプロセッサと、１つ以上のメモリユニットと、変換を使用して内因性座標系においてモデルを配置して方向付けするためにモデルデータを処理することが１つ以上のプロセッサによって実行可能なモデル位置決めモジュール、ならびに、追跡データ、モデルデータ、および任意選択的なディスプレイ位置データを処理して、ヘッドウェア物品の位置および向きに対して、および任意選択的にユーザの頭部におけるディスプレイの位置に対してＢＩＭモデルの仮想画像をレンダリングすることが１つ以上のプロセッサで実行可能な画像レンダリングモジュールを備えるソフトウェアを保存する少なくとも１つのデータ記憶デバイスとを備え得る。電子制御システムが、モデル位置決めエンジンおよび／または画像レンダリングエンジンを実装するための１つ以上のマイクロコントローラ、または、ローカルデータバスによって通常の方法で相互接続される別個のメモリおよびデータ記憶デバイスを伴う１つ以上のマイクロプロセッサを備え得ることが理解されよう。
【０１３７】
電子制御システムは、少なくとも１つのデータ通信デバイスをさらに備え得る。
【０１３８】
ソフトウェアは、データ通信デバイスを介してリモートサーバからモデルデータを受信することが１つ以上のプロセッサによって実行可能なモデルダウンロードモジュールを含み得る。
【０１３９】
いくつかの実施形態では、ソフトウェアは、変換を受信して少なくとも１つのデータ記憶デバイスに保存することが１つ以上のマイクロプロセッサによって実行可能な変換受信機モジュールをさらに備え得る。
【０１４０】
いくつかの実施形態において、ソフトウェアはさらに、ヘッドセット上のセンサから受信したセンサデータを処理して内因性座標系の建設現場におけるヘッドウェア物品の位置および向きを算出することが１つ以上のプロセッサによって実行可能な追跡モジュールを備え得る。
【０１４１】
上記のように、本発明の実施形態によるヘッドウェア物品は、ヘルメットに取り付けられた、またはヘルメットとは別個の拡張現実眼鏡を伴う、例えば建設ヘルメットなどの安全帽を備え得る。
【０１４２】
本発明はまた、本明細書に記載の本発明に従って建設現場をセットアウトする方法を実行するためのコンピュータ実行可能ソフトウェアを含む。
【０１４３】
したがって、本発明のさらに別の態様では、建設現場をセットアウトするための機器を制御するコンピュータソフトウェアが提供され、これは、内因性座標系における携帯式セットアウトツールの位置および／または向きを決定する追跡モジュールと、内因性座標系と外因性座標系との間の変換のための変換を使用して、内因性座標系のセットアウトツールの座標を外因性現実世界座標系の対応する座標に変換するための座標変換モジュールとを備える。
【０１４４】
本発明のさらに別の態様によれば、したがって、座標変換モジュールは、追跡モジュールによって算出されるように、内因性座標系におけるセットアウトツールの位置および／または向きを表す追跡データに変換を適用して、外因性座標系におけるセットアウトツールの位置および／または向きを決定することがプロセッサによって実行可能であり得る。
【０１４５】
上記のように、変換は、現実世界座標系における既知の場所の１つ以上の制御点の位置をインサイドアウト位置追跡システムを使用して決定された内因性座標系のそれらの対応する位置に関連付けることから好適に導出される。
【０１４６】
追跡モジュールは、建設現場の少なくとも１つの基地局から放出される信号（例えば変調電磁放射）に反応するセットアウトツール上の１つ以上のセンサの出力を表すセンサデータに基づいて、セットアウトツールの位置および／または向きを算出することがプロセッサによって実行可能であり得る。
【０１４７】
上記のように、１つ以上のセンサは、例えば、１つ以上の基地局からの入射光に反応するフォトダイオードなどの光−電子センサであり得る。
【０１４８】
変調光は時間的に変化し得る。１つ以上のセンサは、タイムスタンプが付されて集約（例えば、２つ以上のセンサがある場合）されるデジタルパルスに変換され得る電気信号を生成して、センサから基地局までの角距離を示すタイミングデータを提供し得る。
【０１４９】
いくつかの実施形態では、変調光は、データを符号化するために変調され得る。
【０１５０】
いくつかの実施形態では、データは、光の絶対位相を表し得、センサと光が放出される基地局との間の角距離を、光がセンサに入射する時間に基づいて算出することができる。
【０１５１】
いくつかの実施形態では、データは、光が放出される基地局への方位を表し得る。光は、追跡ボリュームにわたって掃引されるものであり得、データは、基地局に対するビームの方位が変化するにつれて動的に更新され得る。
【０１５２】
追跡モジュールはしたがって、センサからのそのようなセンサデータに基づいてセットアウトツールの位置および／または向きを算出することがプロセッサによって実行可能であり得る。いくつかの実施形態では、上記のように、追跡モジュールは、ＩＭＵユニットの出力を表す動きデータに基づいて、セットアウトツールの位置および／または向きを算出することが、プロセッサによって実行可能であり得、これは、１つ以上のセンサの出力を表すデータから導出された、より正確な位置および／または向きの情報で周期的にスケルチされる。
【０１５３】
本発明のさらに別の態様によるソフトウェアはさらに、変調光に対する各制御点でのセンサの反応を表すデータから外因性現実世界座標系における既知の場所の複数の制御点の内因性座標系における位置を決定して、内因性座標系を外因性現実世界座標系に関連付けるための変換を生成することがプロセッサによって実行可能な較正モジュールを備え得る。
【０１５４】
いくつかの実施形態において、ソフトウェアはさらに、外因性現実世界座標における追跡モジュールによって決定されたセットアウトツールの位置を表示するようディスプレイを制御することがプロセッサによって実行可能なディスプレイモジュールを備え得る。いくつかの実施形態では、ディスプレイはセットアウトツール上に提供され得る。いくつかの実施形態では、ディスプレイは、例えば拡張現実ディスプレイを備えるヘッドセットで提供され得る。
【０１５５】
いくつかの実施形態では、ソフトウェアはさらに、外因性現実世界座標系で定義された建物情報モデル（ＢＩＭ）を表すモデルデータを受信および保存することがプロセッサによって実行可能なデータ通信モジュールを備え得る。
【０１５６】
いくつかの実施形態では、ソフトウェアはさらに、モデルデータによって表される建物情報モデルの位置および向きを、変換を使用して外因性座標系から内因性座標系に変換することがマイクロプロセッサによって実行可能なモデル位置決めモジュールを備え得る。
【０１５７】
いくつかの実施形態では、ソフトウェアはさらに、変換されたモデルデータと追跡データで表されるセットアウトツールの位置および向きとを使用して、セットアウトツールの一部を形成する拡張現実ディスプレイに表示するための建物情報モデルの仮想画像をレンダリングすることがプロセッサによって実行可能な画像レンダリングモジュールを備え得る。
【０１５８】
いくつかの実施形態では、ソフトウェアはさらに、変換を受信してデータ記憶デバイスに保存することがプロセッサによって実行可能な変換受信機モジュールを備え得る。
【０１５９】
本発明のいくつかの実施形態では、コンピュータソフトウェアは、眼鏡が安全帽に対して正しく配置されることを保証するための位置合わせモジュールを備え得る。
【０１６０】
本発明の別の態様では、プロセッサによって実行可能なマシンコードを備える建設現場のセットアウトに使用するためのインサイドアウト位置追跡システムを較正する較正ソフトウェアが提供され、それは（ｉ）外因性現実世界座標系での建設現場における複数の制御点の位置を表す制御点場所データを受信し、（ｉｉ）追跡システムで使用される内因性座標系における制御点の位置を表す制御点追跡データを受信し、（ｉｉｉ）内因性座標系および外因性座標系における制御点の位置を関連付けて座標系間の変換を導出する。
【０１６１】
好適には、較正ソフトウェアは、基地局までの角距離を示す、建設現場の少なくとも１つの基地局によって放出された変調電磁放射に対する各制御点でのセンサの反応を表すセンサデータを受信および処理して内因性座標系での制御点の位置を算出することがプロセッサによって実行可能なマシンコードを備え得る。
【０１６２】
有利には、マシンコードは、ステップ（ｉ）〜（ｉｉｉ）を定期的に繰り返して変換をリフレッシュするように実行可能であり得る。
【図面の簡単な説明】
【０１６３】
以下は、本発明の実施形態の添付図面を参照した単なる例としての説明である。
【０１６４】
図面において、
【０１６５】
【図１】建設現場の概略図であり、そこでは、インサイドアウト位置追跡システムが、本発明に従って携帯式セットアウトツールの位置を追跡するようにセットアップされる。既知の場所の複数の制御点は、セットアウトツールを現実世界座標系に較正するために建設現場にて位置特定されている。
【図２】本発明によるセットアウトツールに組み込まれている光−電子センサの概略図である。
【図３】本発明によるマルチセンサ較正ツールで使用するための複数の光−電子センサの概略図である。
【図４】追跡ボリューム内の既知の場所の複数の制御点を使用して、本発明による外因性現実世界座標系にセットアウトツールを較正する方法を概略的に示す。
【図５Ａ】既知の場所の単一制御点とマルチセンサ較正ツールとを使用して、本発明による外因性現実世界座標系にセットアウトツールを較正する代替方法を概略的に示す。
【図５Ｂ】追跡システムによって定義される追跡ボリューム内の既知の場所の複数の制御点を使用して、内因性座標系を伴う位置追跡システムを外因性現実世界座標系に較正する方法を概略的に示す。
【図６】本発明による位置追跡システムの較正に使用するためのマルチセンサ較正ツールを概略的に示す。
【図７】典型的な建物情報モデル（ＢＩＭモデル）の概略図である。
【図８】本発明による携帯式セットアウトツールの概略図である。
【図９】図８の携帯式セットアウトツールの電子部品を概略的に示す。
【図１０】較正モードにおける図８および図９の携帯式セットアウトツールの動作を表すフローチャートである。
【図１１】セットアウトモードにおける図８および図９の携帯式セットアウトツールの動作を表すフローチャートである。
【図１２】本発明による拡張現実ディスプレイを組み込んだ安全帽の上方から片側への斜視概略図である。
【図１３】追跡モジュールと拡張現実ディスプレイモジュールとを含む図１２の安全帽の電子部品を示す。
【図１４】図１２および図１３の安全帽の追跡モジュールの動作を表すフローチャートである。
【図１５】図１２および図１３の安全帽の拡張現実ディスプレイモジュールの動作を表すフローチャートである。
【図１６】図１の建設現場に対して正しく配置されて方向付けられている図７のＢＩＭモデルを概略的に表す。
【図１７】図１２および図１３の拡張現実眼鏡を伴う安全帽を使用して、本発明による建設現場をセットアウトする方法を概略的に示す。
【図１８】ディスプレイがユーザの目に対して中央にあるときのディスプレイ上の仮想画像のユーザのビューを示す。仮想画像は、ディスプレイを介して現実世界のユーザのビューに対して正しく配置される。
【図１９】ディスプレイが中央位置からずれた状態の、図１８と同じ仮想画像のユーザのビューを示す。仮想画像は、ディスプレイを介して現実世界のユーザのビューに対して誤って位置特定される。
【図２０】中央位置からのディスプレイのずれを補正するために、ディスプレイ上で図１８の仮想画像の位置がどのように調整されるべきかを概略的に示し、それにより、ディスプレイを介して現実世界のユーザのビューに対して画像が正しく位置特定されたままになる。
【図２１】画像を表すデータ、ヘッドセット追跡データ、視線追跡データ、座標変換データ、およびディスプレイの特性に基づいて仮想画像がレンダリングされる、本発明による拡張現実ヘッドセットについての電子制御システムの動作を示すフローチャートである。
【発明を実施するための形態】
【０１６６】
位置追跡システム
【０１６７】
建設現場１が図１に概略的に示されている。３つの制御点１０ａ、１０ｂおよび１０ｃは、測量の当業者によく知られた方法でトータルステーションを使用して制御現場１にて正確に位置特定される。特に、制御点１０ａ、１０ｂ、１０ｃは、建設現場のまたは建設現場に隣接する地理的三角測量点、ベンチマークまたは他の既知の地理的特徴などの絶対的な既知の場所の２つ以上の点からの三角測量によって、建設現場１に配置される。点１０ａ、１０ｂ、１０ｃの場所は、例えば、ＷＧＳ８４または陸地測量部基準などの任意の好適な現実世界座標系で表現され得る。
【０１６８】
図１には３つの制御点１０ａ、１０ｂ、１０ｃが示されているが、他の実施形態では、３つ超の制御点が確立され得る。
【０１６９】
レーザベースのインサイドアウト位置追跡システム１００が、建設現場１にてセットアップされる。本実施形態では、追跡システム１００は、複数の離間した基地局１０２を備え、それらの各々は、赤外光のパルス１０３の全方向同期を放出するように選択的に動作可能であり、相互に直交する軸上で建設現場１にわたって２つの線形不可視光光学扇形ビーム１０４、１０５を掃引するように構成された２つのロータを備える。本実施形態では、基地局１０２は、最大約５〜１０ｍの距離だけ互いに離れている。他の実施形態では、採用されるインサイドアウト位置追跡システムの能力に応じて、基地局１０２は１０ｍ超、離れて配置され得る。
【０１７０】
図１に示すように、本実施形態では４つの基地局１０２が採用されるが、他の実施形態では４つ未満の基地局１０２、例えば１つ、２つもしくは３つの基地局１０２、または４つ超の基地局を使用し得る。使用される基地局１０２の総数は、建設現場１によってカバーされるエリアに依存する。より多くの基地局１０２が使用される場合、より広いエリアをカバーすることができる。
【０１７１】
特に建設現場１が狭いエリアのみをカバーするいくつかの実施形態では、後述するように単一の基地局１０２で十分であり得るが、少なくとも２つの基地局１０２があることが好ましい。
【０１７２】
上記のように、好適なインサイドアウト位置追跡システムは、ＷＯ２０１６／０７７４０１Ａ１（Ｖａｌｖｅ  Ｃｏｒｐｏｒａｔｉｏｎ）によって開示されるが、建設現場をセットアウトするために必要なレベルの精度を提供するならば、他の位置追跡システムを使用し得る。
【０１７３】
例えば、いくつかの実施形態では、代替のインサイドアウト位置追跡システムを採用し得（図示せず）、これは２つ以上の基地局を備え、その各々は、相互横断軸上で建設現場１にわたって２つの線形不可視光光学扇形ビームを掃引するように動作可能である。各基地局によって生成される２つのビームは、上記のように別個のロータに取り付けられたレーザ、または単一のロータに取り付けられた２つのレーザによって生成され得、それらは、相互横断方向に掃引する２つのビームを作成するための好適な光学機械的構成を伴う。ビームは相互に異なる周波数を有し得、搬送波として機能して基地局への方位（例えば、方位角または傾斜のそれぞれ）を表すデータを符号化し得る。そのような構成では、全方向同期パルスは不要である。
【０１７４】
特に、追跡システムは、各方向で３ｍｍ以下、好ましくは１ｍｍ未満の精度で追跡オブジェクトの位置を特定可能であるべきである。これは、ＧＰＳベースの位置追跡システムとは対照的であり、ＧＰＳベースの位置追跡システムでは、わずか約１〜５ｃｍの範囲の精度しか実現できない。このような精度は屋外の建設作業には十分であり得るが、より詳細な屋内または内装作業には適していない。
【０１７５】
本発明によれば、したがって、インサイドアウト位置追跡システムは、少なくとも±１ｍｍ、好ましくは±１ｍｍよりも高い精度を有するべきである。
【０１７６】
執筆時点で、ＷＯ２０１６／０７７４０１Ａ１の開示に従った好適な追跡システムは、「Ｌｉｇｈｔｈｏｕｓｅ」という商品名でＶａｌｖｅ  Ｃｏｒｐｏｒａｔｉｏｎから市販されている。
【０１７７】
「Ｌｉｇｈｔｈｏｕｓｅ」追跡システムでは、各基地局１０２内の２つのロータのそれぞれが、レーザ光のビームを放出する複数の赤外線レーザダイオードを搭載している。動作中、ロータは６０Ｈｚの周波数で互いに１８０°だけ位相がずれて回転する。他の実施形態では、１つ以上のビームは、３０〜９０Ｈｚまたは４５〜７５Ｈｚの周波数で掃引され得る。各レーザビームは、基地局１０２内のミラーによって反射され、建設現場１にわたって掃引するそれぞれの扇形ビーム１０４、１０５を生成する。基地局１０２によって放出されるレーザビーム１０４、１０５は、図４、図５Ａおよび図５Ｂに最もよく示されるように建設現場１にて追跡ボリューム１１０を定義する。
【０１７８】
全方向同期パルスは、各掃引サイクルの開始時に１２０Ｈｚの周波数で各基地局１０２内の複数のＬＥＤによって放出され、追跡ボリューム１１０を光で漲らせる。このため、同期パルスの生成には、例えばＬＥＤなどの広角光源が好ましい。
【０１７９】
正確な一定角速度で建設現場１にわたってレーザビーム１０４、１０５を掃引し、レーザビーム１０４、１０５を正確なタイミングの同期パルス１０３に同期させることにより、各基地局１０２は、以下でより詳細に説明するように、追跡ボリューム１１０内の１つ以上の追跡オブジェクトの位置および／または向きを特定するために、追跡ボリューム１１０内の光−電子センサによって検出できる２つの相互に直交する空間変調光ビーム１０４、１０５を時間変化的に生成する。
【０１８０】
位置追跡システム１００が２つ以上の基地局１０２を備える場合、基地局１０２は、有線接続を介して、または無線で互いに同期して、それぞれの基地局１０２によって生成される全方向同期パルス１０３が異なる時間に放出されることを保証し、基地局１０２によって放出されたレーザビーム１０４、１０５が追跡ボリューム１１０にわたって互いに位相がずれるように掃引されることを保証し得、それにより、各基地局１０２からの各パルスおよび各レーザビーム１０４、１０５は、各センサによって個別に検出され得る。
【０１８１】
ＷＯ２０１６／０７７４０１Ａ１に記載されているように、複数の基地局１０２からの同期パルス１０３および／または掃引レーザビーム１０４、１０５を互いに区別して、異なる基地局１０２からの信号および追跡ボリューム１１０内の任意の他の干渉光源からの信号の曖昧性を除去しやすくし得る。例えば、各基地局１０２からの同期パルス１０３および／または掃引ビーム１０４、１０５は、他の基地局（複数可）１０２とは異なる光波長または振幅変調周波数を有し得、または、それらは基地局識別データを符号化し得る。
【０１８２】
追跡ボリューム１１０内のオブジェクトの位置および／または向きは、オブジェクトに取り付けられた１つ以上のセンサ２０２を使用して決定することができる。オブジェクトが１つのセンサ２０２のみを有する場合、追跡ボリューム１１０内のオブジェクトの位置を定義するために２つ以上の基地局１０２が必要とされる。一方、オブジェクトに複数のセンサ２０２が提供されてオブジェクト上のセンサ２０２の相対位置が既知である場合、単一の基地局１０２で十分であり得る。
【０１８３】
本実施形態では、各センサ２０２は、図２に示すように、シリコンフォトダイオード２０４と、増幅器／検出器回路２０５とを備えるが、全方向同期パルス１０３の特性および追跡ボリューム１１０を掃引する空間変調光ビーム１０４、１０５の特性に応じて、当業者に知られている他の好適なセンサ２０２を採用し得る。
【０１８４】
各フォトダイオード２０４は、基地局１０２からの光がフォトダイオード２０４に入射するときにデジタルパルスを出力する光−デジタル変換器２０５に接続される。光−デジタル変換器２０５は、増幅器、離散エンベロープ検出器、および比較的少量のヒステリシスを伴う高速コンパレータを備え、これは、同期パルス１０３が入射するたび、または基地局１０２からの光ビーム１０４、１０５がセンサ２０２を掃引して通過するたびにデジタルパルスを送達する。デジタルパルスは、センサ２０２がパルス１０３またはビーム１０４、１０５によって照射される時間にわたり、それにより、基地局１０２に対するセンサ２０２の向きに関係なく、エッジ位置がパルスまたはビームの通過を正確に表すように回路が設計される。
【０１８５】
光−デジタル変換器２０５によって生成されたデジタルパルスには、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）２０７およびマイクロコントローラ２０８を使用してタイムスタンプが付され、以下に説明するように、追跡ボリューム１１０内のセンサ２０２の位置を算出するためのタイミングデータが生成される。
【０１８６】
追跡オブジェクトが複数のセンサ２０２を有する場合、図３に示すように、単一のＦＰＧＡ２０７によって、センサ２０２のすべてから受信したデジタルパルスが受信され、タイムスタンプが付され、集約される。
【０１８７】
上記のように、各ビーム１０４、１０５内で方位データが符号化される実施形態では、光−デジタル変換器２０５はさらに、ビームから復調された方位データを出力するためのデータ出力を備え得る。
【０１８８】
本実施形態で使用されるインサイドアウト位置追跡システムはしたがって、複数の基地局１０２と、基地局１０２によって放出される掃引レーザビーム１０４、１０５によって定義される追跡ボリューム１１０内の追跡対象オブジェクト上の少なくとも１つのセンサ２０２とを備える。
【０１８９】
ＦＰＧＡ２０７によって出力されるタイミングデータによって表されるように、基地局１０２によって発行される全方向同期パルス１０３と、基地局１０２からのビーム１０４、１０５のうちの１つがセンサ２０２を通過する時間との間の経過時間から、基地局１０２とセンサ２０２との間の角距離を算出することが可能である。センサ２０２と２つ以上の基地局１０２との間の角距離から、基地局１０２に対するセンサ２０２の位置を三角測量することが可能である。各基地局１０２によって放出される掃引ビーム１０４、１０５によって定義される直交平面内のセンサ２０２と２つ以上の基地局１０２との間の角距離を算出することにより、３次元における基地局１０２に対するセンサ２０２の位置を決定することが可能である。
【０１９０】
このように、インサイドアウト位置追跡システム１００は、追跡ボリューム１１０内の任意の追跡オブジェクトの位置を定義できる内因性座標系を定義することが理解されよう。
【０１９１】
上記のように、追跡オブジェクトが複数のセンサ２０２を有する実施形態では、オブジェクト上の複数のセンサ２０２の相対位置が既知であれば、センサ２０２のそれぞれと１つの基地局１０２との間の角距離を三角測量することにより、追跡ボリューム１１０内のオブジェクトの位置決めは１つの基地局１０２のみを使用して達成できる。
【０１９２】
現実世界座標への位置追跡システムの較正
【０１９３】
本発明の重要な態様は、位置追跡システム１００によって定義される内因性座標系を外因性現実世界（現場）座標に関連付けることを含む。上記のように、制御点１０ａ、１０ｂ、１０ｃの位置は、現実世界座標系で既知である。追跡システム１００はしたがって、図１に示すような単一のセンサ２０２を備える較正ツール２５０を手動で各制御点１０ａ、１０ｂ、１０ｃに順に図４に示されるように移動させ、位置追跡システム１００によって定義される内因性座標系における制御点１０ａ、１０ｂ、１０ｃの場所を決定することにより、本発明の１つの実施形態に従って外因性座標系に較正され得る。制御点１０ａ、１０ｂ、１０ｃの場所が内因性座標系と外因性現実世界座標系との両方で既知であると、追跡システム１００の内因性座標系における座標を、外因性現実世界座標系における座標に、またはその逆に変換するための数学的変換を導出することができる。
【０１９４】
好適には、これらの較正ステップは、本発明による較正ソフトウェアがプログラムされたコンピュータ（図示せず）を使用して実行され得る。実行されると、較正ソフトウェアはコンピュータを動作させて、外因性現実世界座標系における制御点１０ａ、１０ｂ、１０ｃの位置を表す制御点位置データを受信し、各制御点１０ａ、１０ｂ、１０ｃに順に配置されたときの較正ツール２５０上のセンサ２０２からのタイミングデータに基づいて位置追跡システム１００によって定義された内因性座標系における制御点の位置を表す制御点追跡データを受信し、内因性座標系および外因性座標系における制御点１０ａ、１０ｂ、１０ｃの位置を関連付けて座標系間の変換を生成する。
【０１９５】
較正ソフトウェアはしたがって、各制御点１０ａ、１０ｂ、１０ｃにて位置特定されたときに建設現場１にて基地局１０２からの空間変調光ビーム１０４、１０５にセンサ２０２が反応する時間を表すタイミングデータを受信および処理して、内因性座標系における制御点１０ａ、１０ｂ、１０ｃの位置を算出することが、コンピュータにより実行可能であるマシンコードを備え得る。
【０１９６】
図５Ａは、本発明の異なる実施形態による、追跡システム１００を現実世界座標に較正する代替方法を示す。
【０１９７】
図５Ａでは、単一の制御点１０が建設現場１の既知の点に位置している。上記のように、現実世界座標における制御点１０の場所は、トータルステーションを使用して、従来の方法で建設現場１のまたは建設現場１に隣接する既知の場所の２つ以上の点から三角測量を行って、現場技術者により決定され得る。
【０１９８】
複数のセンサ２０２ａ、２０２ｂ、２０２ｃ…２０２ｎを備えたマルチセンサ較正ツール３５０は、制御点１０に配置される。マルチセンサ較正の例は、図６に概略的に示される。分かるように、マルチセンサ較正ツール３５０は、ハンドル部分３７１を備える本体３７０、ハンドル部分３７１に対して角度が付けられた中間部分３７２、および平坦な端面３７５を備える取り付け部分３７４を備え、取り付け部分３７４には、較正ツール３５０を制御点１０でオブジェクトに取り付けるために貫通する１つ以上の穴３８０が形成されている。
【０１９９】
図６に見られるように、センサ２０２ａ、２０２ｂ、２０２ｃ…２０２ｎは、ツール３５０の中間部分３７２上の離間した位置に設けられる。センサ２０２ａ、２０２ｂ、２０２ｃ…２０２ｎの相対位置は既知である。上記のように、追跡ボリューム１１０内のマルチセンサ較正ツール３５０の位置および向きは、複数センサ２０２ａ、２０２ｂ、２０２ｃ…２０２ｎによって生成されたタイミングデータから算出することができる。追跡ボリューム１１０内の較正ツール３５０の位置および向き、較正ツール３５０上のセンサ２０２ａ、２０２ｂ、２０２ｃ…２０２ｎの既知の相対的配置、および外因性現実世界座標における制御点１０の既知の場所から、外因性現実世界座標系と内因性座標系との間の変換を算出できる。
【０２００】
建設現場１の現実世界座標系および位置追跡システム１００によって定義される内因性座標系間の変換を生成するためのさらに別の較正方法を、図５Ｂに示す。
【０２０１】
図５Ｂでは、上記の図１および図４に示されたのと同様に、建設現場１における既知の場所の３つの制御点１０ａ、１０ｂ、１０ｃがある。外因性現実世界座標における制御点１０ａ、１０ｂ、１０ｃの位置は、上記のように従来の測量技術を使用して既知である。
【０２０２】
ただし、図４および図５Ａを参照して説明された実施形態とは異なり、図５Ｂでは、センサ２０２は、各制御点１０ａ、１０ｂ、１０ｃに恒久的に配置される。位置追跡システム１００によって定義される内因性座標系の制御点１０ａ、１０ｂ、１０ｃでのセンサ２０２の位置は、上記のように、各センサ２０２が各基地局１０２によって放出される同期パルス１０３および直交掃引ビーム１０４、１０５に反応したときを表す各制御点でのセンサ２０２によって生成されるタイミングデータを使用して各センサ２０２から各基地局１０２までの角距離を算出し、その角距離から各基地局１０２までの各センサ２０２の位置を三角測量することにより算出できる。制御点１０ａ、１０ｂ、１０ｃでのセンサ２０２の位置が、内因性座標系と外因性現実世界座標系との両方で既知であると、２つの座標系の間の好適な数学的変換を推定することができる。
【０２０３】
図５Ｂに示された較正方法の利点は、センサ２０２を各制御点１０ａ、１０ｂ、１０ｃに恒久的に残すことができ、内因性座標系と外因性座標系との間の較正を定期的にリフレッシュできることである。
【０２０４】
セットアウトツール
【０２０５】
建物情報モデル（ＢＩＭ）は従来、現実世界（現場）座標を使用してレイアウトされ、これは上記のように典型的には地理座標系を使用して表現される。図７は、単に例として、建設現場１で建設される建物５０についての３次元ＢＩＭモデルを示している。建物５０は、外壁５１、５２、５３、５４、屋根５５、およびその１つが５８で示される内部パーティション１を有する。壁５２のうちの１つは窓６１を含むように設計されている。
【０２０６】
建設現場１をセットアウトする場合、建設現場１に関して、３ＤのＢＩＭモデルから２次元で作成された建設図面を解釈することが必要であり、それにより、建設図面に示されるさまざまなタスクが建設現場１の正しい場所で実行される。タスクは、適用される規制および／または許可に準拠し、タスクが意図したとおりに実行されることを保証し、タスクが他のタスクに関連して正しい場所で実行されることを保証するように、できる限り正確に正しい場所で実行されるべきである。上記のように、正しい場所で建設タスクを実行する際のエラーまたはミスは、建設図面に従うタスクの完了に遅れが生じ得、場合によっては追加費用が発生し得る。
【０２０７】
本発明によれば、建設現場１は、図８および図９に示される種類の携帯式セットアウトツール４００を使用してセットアウトすることができ、これは、ハウジング４０１に取り付けられたプローブ４２１の先端に配置された単一の光−電子センサ４０２を備える。後述のようにセンサ４０２の位置を表示するために、フラットパネルディスプレイ４２５がハウジング４２０の前壁４０３に設置される。センサ４０２は、単一のフォトダイオード４０４と、上記の種類の光−デジタル変換器４０５とを備える。
【０２０８】
図９に示すように、光−デジタル変換器４０５は、変換器４０６から受信したデジタルパルスにタイムスタンプを付けるためのプロセッサ４０８により制御されるＦＰＧＡ４０７に接続されている。ＦＰＧＡ４０７、プロセッサ４０８、およびディスプレイ４２５は、ローカルバス４０９に接続され、ローカルバス４０９はまた、メモリデバイス４１０、記憶デバイス４１１、および例えばＵＳＢポートなどのデータ入出力デバイス４１２に接続される。セットアウトツール４００のさまざまな電子部品は、再充電可能なバッテリ４１３により電力が供給され、バッテリ４１３は、必要に応じてバッテリ４１３を再充電するための電源に接続するための電源コネクタ４１４を有する。
【０２０９】
記憶デバイス４１１は、セットアウトツール４００を動作させるためのマシン実行可能コードを含む。ツール４００が動作するとき、マシン実行可能コードは、プロセッサ４０８によって実行可能であり、較正モードおよび使用時のセットアウトモードを提供する。
【０２１０】
較正モード
【０２１１】
較正モードでは、セットアウトツール４００は、図４に関連して上述した較正ツール２５０と同様の方法で動作する。すなわち、較正モードのセットアウトツールを、建設現場１の現実世界座標における既知の場所の制御点１０ａ、１０ｂ、１０ｃに順次、移動させて、位置追跡システム１００によって定義された内因性座標系における制御点１０ａ、１０ｂ、１０ｃの位置を特定し、２つの座標系の間の数学的変換を導出し得、それをそして、以下に説明するそのセットアウトモードにおいてツール４００が使用するためにセットアウトツール４００の記憶デバイス４１１に保存することができる。
【０２１２】
図１０は、較正モードでマイクロコントローラ４０８によって実行される一連の動作を示す。当業者は、これらの動作を実行するマシン実行可能コードを生成するためにコンパイルされ得るコンピュータプログラムを書くために使用され得る多数のコンピュータ言語に精通しているであろう。
【０２１３】
セットアウトツール４００のスイッチを入れた後、ステップ４５２でユーザは較正モードまたはセットアウトモードを選択するよう促される。較正モードを開始すると、マシン動作可能コードは次に、ステップ４５４で、図４に示すような建設現場における既知の場所の第１の制御点１０ａについての現実世界地理座標系における座標を入力するようにユーザを促す。ユーザはそして、第１の制御点１０ａに移動し、センサ４０２をセットアウトツール４００のプローブの先端におけるセンサ４０２を第１の制御点１０ａに正確に配置し、ステップ４５６でセットアウトツール４００を動作させてセンサ４０２が正しく第１の制御点１０ａに配置されていることを示す。
【０２１４】
センサ４０２は、基地局１０２によって放出される全方向同期パルス１０３および掃引直交ビーム１０４、１０５を検出し、光−デジタル変換器４０５は、ステップ４５８でツール４００内のＦＰＧＡ４０７によってタイムスタンプが付された対応するデジタルパルスを生成する。
【０２１５】
ＦＰＧＡからのタイミングデータに基づいて、ステップ４６０で、マイクロコントローラ４０８は、追跡システム１００によって定義される内因性座標系におけるセンサ４０２の場所を決定する。内因性座標系における第１の制御点１０ａの場所は、ステップ４６２で記憶デバイス４１１に記憶される。
【０２１６】
ステップ４６４で、マイクロコントローラ４０８は、少なくとも３つの制御点の場所が取得されたかどうかをチェックする。３つ未満の制御点の場所が得られている場合、内因性座標系および外因性座標系の少なくとも３つの制御点の場所が記憶デバイス４１１に保存されるまでステップ４５４〜４６２が繰り返される。本実施形態では、少なくとも３つの制御点の場所が必要であるが、いくつかの代替実施形態では、２つの制御点だけで十分であり得、その場合、内因性座標系および外因性座標系の少なくとも２つの制御点の場所が記憶デバイス４１１に保存されるまでステップ４５４〜４６２が繰り返される。
【０２１７】
ステップ４６６において、内因性座標系における制御点の位置は、外因性現実世界座標系における制御点の対応する位置に関連しており、２つの座標系間の数学的変換が導出され、これはそして、ステップ４６８で記憶デバイス４１１に記憶される。ツール４００はそして、較正モードを終了する（ステップ４７０）。
【０２１８】
セットアウトモード
【０２１９】
ステップ５０１でセットアウトモードに入ると、図１１に示すように、マイクロコントローラ４０８はまず、上記のように、較正モードで算出された数学的変換を記憶デバイス４１１からメモリ４１０にロードする（ステップ５０２）。
【０２２０】
マイクロコントローラ４０８はそして、上記のように、ＦＰＧＡ４０７から受信したタイミングデータ（ステップ５０３）が継続的に処理されて、位置追跡システム１００によって定義される内因性座標系における追跡ボリューム１１０内のツール４００の位置を決定する、連続「リスニング」モードで動作する（ステップ５０４）。
【０２２１】
変換を使用して、内因性座標系における建設現場１の追跡ボリューム１１０内のツール４００の位置、より正確にはツールのプローブの先端のフォトダイオード４０４の位置は、外因性現実世界座標系に変換される（ステップ５０５）。
【０２２２】
マシンコードは、マイクロコントローラ４０８を制御して、フラットパネルディスプレイ４２５上の現実世界座標系におけるツール４００の位置をリアルタイムで表示する（ステップ５０６）。
【０２２３】
ユーザは、本発明の本実施形態によるセットアウトツール４００を使用して、基準点の位置を特定すること、および／または、ツール４００から現実世界座標におけるその位置が正確に知られている建設現場１の場所にマーカを建設図面に従って配置することによって、建設現場１をセットアウトできることを理解されたい。このようにして、建設図面にマークされる基準点は、現場技術者を建設現場１に呼び出して基準点の位置を特定させる必要なく、または、トータルステーションを使用してマーカを配置させる必要なく、建設現場１の現実世界にて位置特定されることができる。
【０２２４】
拡張現実ディスプレイを伴う安全帽
【０２２５】
別の実施形態では、本発明は、図１２に示すように、安全帽６００と拡張現実眼鏡７００とを備える建設現場用のセットアウトツールを提供する。
【０２２６】
安全帽６００は、以下により詳細に説明するように、複数のセンサ６０２ａ、６０２ｂ、６０２ｃ…６０２ｎおよび関連する電子回路を備えた本質的に従来型の構造の建設ヘルメット６０１を備え、図１に関連して上述したように、建設現場１にセットアップされたインサイドアウト位置追跡システム１００によって定義される追跡ボリューム１１０内の安全帽６００の位置を追跡する。
【０２２７】
本実施形態では、ヘルメット６０１は、３２個のセンサ６０２ａ、６０２ｂ、６０２ｃ…６０２ｎを備え、ここでｎ＝３２であるが、センサの数は本発明に従って変え得ることが理解されよう。好適には、ヘルメット６０１は、ヘルメット６０１の外面全体に分布する２０〜３２個のセンサを有し得るが、安全帽６００の位置および向きを追跡するには少なくとも５個のセンサが必要である。
【０２２８】
図１３に最もよく示されているように、各センサ６０２ａ、６０２ｂ、６０２ｃ…６０２ｎは、赤外光に敏感なフォトダイオード６０４ａ、６０４ｂ、６０４ｃ…６０４ｎと、図２、図３および図９に関して上述した種類の関連する光−デジタル変換器６０５ａ、６０５ｂ、６０５ｃ…６０５ｎとを備える。好適には、フォトダイオード６０４ａ、６０４ｂ、６０４ｃ…６０４ｎは、フォトダイオードへの損傷を避けるためにヘルメット６０１の外面に形成された凹部内に配置される。
【０２２９】
光−デジタル変換器６０５ａ、６０５ｂ、６０５ｃ…６０５ｎから受信したデジタルパルスは、ローカルデータバス６０９によりプロセッサ６０８に接続されたＦＰＧＡ６０７によりタイムスタンプが付され、集約される。ローカルバス６０９はまた、メモリデバイス６１０、記憶デバイス６１１、例えばＵＳＢポートなどのドックコネクタ６１５を有する入出力デバイス６１２、および、１つ以上の加速度計と１つ以上のジャイロスコープとの組み合わせを備える仮想現実および拡張現実ヘッドセットに見られる種類の慣性測定ユニット（ＩＭＵ）６１８に接続される。典型的なＩＭＵは、ピッチ、ロール、ヨーモードごとに１つの加速度計と１つのジャイロスコープとを備えている。
【０２３０】
安全帽６００の電子部品は、充電式バッテリユニット６１３により電力供給される。バッテリユニット６１３を再充電のために電源に接続するために、電源コネクタソケット６１４が提供される。
【０２３１】
好適には、安全帽６００の電子部品は、ヘルメット６０１に形成された保護された空洞６２５内に収容される。
【０２３２】
上述したように、安全帽６００は、ヘルメット６０１の内部に吊り下げバンドを有して、安全帽６００の重量、ならびに頭の上部にわたる任意の衝撃の力を分散させ得る。図１２に示すように、ヘルメット６０１は、突出つば６１９を備え、任意選択的に、イヤープロテクタ、後部視界を広げるためのミラー、ヘッドランプまたはフラッシュライトの取り付け部、ヘルメット６０１が脱落しないようにするあごひも、頭の側面を保温する断熱サイドパッド、ならびに／または、着色作業員識別用および／もしくは高視認性夜間再帰反射用のつば６１９周りに伸ばされるバンドを取り付けられ得る。
【０２３３】
有利なことに本実施形態では、ヘルメットは、建設現場１でのユーザの目を保護するだけでなく、ゴーグル６２０の内側に取り付けられた拡張現実眼鏡７００を保護するのに役立つ安全ゴーグル６２０を備える。図１２に示されるように、ゴーグル６２０は、ゴーグル６２０をある程度、保護するために、つば６１９のわずかに後ろに凹むようにヘルメット６０１に取り付けられている。拡張現実眼鏡７００自体が頑丈で建設用とされている実施形態においては、安全ゴーグル６２０が省略され得ることが理解されるであろう。他の実施形態では、ヘルメット６０１は安全バイザを備え得る。
【０２３４】
拡張現実眼鏡７００は、図１２に示されるように、２つのテンプルアーム７２２の間に取り付けられた成形されて透明な（光学的に透明な）プレート７２０を備える。本実施形態では、拡張現実眼鏡７００は、センサ６０２ａ、６０２ｂ、６０２ｃ…６０２ｎに対して図１２に示すような「使用中」位置にしっかりと固定されて、上記のように安全ゴーグル６２０の背後に配置されるように安全帽６００に取り付けられる。拡張現実眼鏡７００は、いくつかの実施形態では、安全帽６００から取り外し可能であり得、または、例えば安全帽６００とテンプルアーム７２２との間のヒンジによって、使用中位置から、ユーザの目の前からそれらを取り外す「非使用」位置（図示せず）に、選択的に移動可能であり得る。
【０２３５】
本実施形態では、透明プレート７２０は、ユーザの目の前に位置するように構成され、ユーザの右目および左目のそれぞれの前に配置されるように構成された２つの目領域７２３ａ、７２３ｂと、相互接続ブリッジ領域７２４とを備える。
【０２３６】
目領域７２３ａ、７２３ｂのそれぞれに取り付けられる、または組み込まれるのは、以下に説明するように、拡張現実メディアコンテンツをユーザに表示しつつ、自身の現実世界環境を眼鏡７００を通してユーザが見ることを可能にするそれぞれの透明または半透明のディスプレイデバイス７２５ａ、７２５ｂである。拡張現実眼鏡７００はまた、各ディスプレイデバイス７２５ａ、７２５ｂによって表示される画像を見るために、各ディスプレイデバイス７２５ａ、７２５ｂの後ろに配置されたレンズ（図示せず）も備える。いくつかの実施形態では、レンズは、各ディスプレイデバイス７２５ａ、７２５ｂにより表示される画像が無限遠に位置するようにユーザに見えるようにコリメートレンズであり得る。いくつかの実施形態では、レンズは、各ディスプレイデバイス７２５ａ、７２５ｂによって表示される画像が、無限遠よりも近い拡張現実眼鏡７００の前の焦点距離に見えるように、ディスプレイデバイス７２５ａ、７２５ｂによって放出される光線を発散させるように構成され得る。本実施形態では、レンズは、ディスプレイデバイス７２５ａ、７２５ｂによって表示される画像がユーザの前方８ｍの焦点距離に位置するように見えるように、ディスプレイデバイス７２５ａ、７２５ｂとともに構成および配置される。
【０２３７】
各目領域７２３ａ、７２３ｂ内で、透明プレート７２０は、安全帽６００が装着されているときのユーザの目の位置を追跡するためのそれぞれの視線追跡デバイス７２８ａ、７２８ｂを担持する。特に、視線追跡デバイス７２８ａ、７２８ｂのそれぞれは、使用中のユーザの目に対する拡張現実眼鏡７００の動きを検出する目的で、ユーザのそれぞれの目の瞳孔の中心の位置を検出し、ユーザの頭部に対する拡張現実眼鏡７００の位置に関するディスプレイ位置データを生成および出力するように構成される。当業者は、ＵＳ９７５４４１５Ｂ２に開示されている種類の光学センサ、およびＵＳ２０１３／０２３５１６９Ａ１に開示されている種類の位置取得ユニットを含む、使用中のユーザの頭部に対する拡張現実眼鏡７００の位置を追跡するための多数の他の解決策を知っているであろう。ユーザの頭部に対する拡張現実眼鏡７００の動きを監視することは重要であり、それは、特にユーザが身体活動を行っている場合、使用中のユーザの頭部に対して安全帽６００が移動し得るからである。安全帽６００は、振動、衝動、またはユーザによる他の種類の動きの結果として、ユーザの頭部の上で滑り得る。本実施形態では、２つの視線追跡デバイス７２８ａ、７２８ｂが設けられ、それぞれがユーザの眼のそれぞれに関連付けられるが、他の実施形態では、１つの眼に関連付けられる単一の視線追跡デバイスを採用し得る。
【０２３８】
図１３を参照すると、透明ディスプレイデバイス７２５ａ、７２５ｂおよび視線追跡デバイス７２８ａ、７２８ｂは、プロセッサ７０８、メモリユニット７１０、記憶デバイス７１１、ドックコネクタ７１５を伴う入出力デバイス７１２、およびＷｉＦｉマイクロコントローラ７１６と相互接続するためにローカルデータバス７０９に接続される。電子部品の電力は、バッテリユニット７１３を再充電用の電源に接続するための電源コネクタソケット７１４に接続された再充電可能なバッテリユニット７１３によって提供される。他の実施形態では、安全帽６００と眼鏡７００との両方に単一の電源コネクタソケットを提供し得、いくつかの実施形態では、位置追跡回路および拡張現実ディスプレイ回路に電力を供給するために単一の充電式バッテリユニットを提供し得る。
【０２３９】
安全帽６００上のドックコネクタ６１５は、眼鏡７００のドックコネクタ７１５に接続され、安全帽６００から眼鏡７００に追跡データを提供する。
【０２４０】
安全帽６００の記憶デバイス６１１は、安全帽６００の動作を制御するためにプロセッサ６０８によって処理できるコンピュータ実行可能マシンコードを含む。上記の携帯式セットアウトツール４００と同様に、当業者は、安全帽６００を図１４のフローチャートに従って動作させるマシンコードを生成するためにコンパイル可能なソフトウェアを書くために採用され得る多数のコンピュータプログラミング言語に精通しているであろう。
【０２４１】
図１４のステップ６５０で安全帽６００の電源を入れると、プロセッサ６０８は、記憶デバイス６１１にアクセスして、プロセッサ６０８による実行のためにマシンコードをメモリユニット６１０にロードする。ＦＰＧＡ６０７によって出力される集約されたタイムスタンプ付きデジタルパルスは、ステップ６５１でマシンコードに従ってプロセッサ６０８によって受信および処理され、図１〜図１１に関して説明したように、全方向赤外線同期パルス１０３を放出し、建設現場１にわたって赤外光１０４、１０５の直交ビームを掃引する建設現場１の１つ以上の基地局１０２に関して、安全帽６００の初期位置および向きを決定する。
【０２４２】
ヘルメット６０１の表面上のフォトダイオード６０４ａ、６０４ｂ、６０４ｃ…６０４ｎは、同期パルス１０３および掃引ビーム１０４、１０５に反応し、光−デジタル変換器６０５ａ、６０５ｂ、６０５ｃ…６０５ｎによって生成されたデジタルパルスは、タイムスタンプが付され、ＦＰＧＡ６０７によって集約される。基地局１０２のうちの１つによって放出された同期パルス１０３と、フォトダイオード６０４ａ、６０４ｂ、６０４ｃ…６０４ｎのうちの１つに入射する１つの基地局からの掃引ビーム１０４、１０５の時間との間の経過時間を使用して、１つの基地局１０２への１つのフォトダイオードの角距離を決定することができる。基地局１０２からの掃引ビーム１０４、１０５によって作成された追跡ボリューム１１０内の１つのフォトダイオード６０４ａ、６０４ｂ、６０４ｃ…６０４ｎの位置は、上記のように、複数の基地局１０２までの１つのフォトダイオードの角距離を三角測量することにより、追跡システムにより定義された内因性座標系で算出することができる。安全帽６００の向きは、基地局１０２に対するすべてのフォトダイオード６０４ａ、６０４ｂ、６０４ｃ…６０４ｎの位置から算出することができる。
【０２４３】
参照符号６５２によって図１４に示すように、安全帽６００の初期位置および向きを表す追跡データは、ドッキングコネクタ６１５にて入出力デバイス６１２を介して安全帽６００から出力され、以下で説明するように拡張現実眼鏡７００に送信される。
【０２４４】
安全帽６００のその後の位置追跡は、主にＩＭＵデバイス６１８を使用して実行され、ＩＭＵデバイス６１８は、サンプリングレートが１０００Ｈｚで、報告レートは５００Ｈｚである。滑らかな拡張現実表示を達成するのに安全帽６００の位置追跡が十分に迅速であれば、本発明の他の実施形態では異なるサンプリングおよび報告レートを使用し得ることを当業者は理解するであろう。
【０２４５】
したがって、ステップ６５３で、建設現場１上の安全帽６００の位置および向きは、ＩＭＵデバイス６１８から受信したＩＭＵデータを処理することによって追跡され、更新された追跡データは、上記の参照符号６５４によって示されるように出力される。
【０２４６】
当技術分野では、エラーの二重積分によるＩＭＵのドリフトが知られている。ドリフトは毎秒メートルのオーダーである。本実施例の安全帽６００では、ＦＰＧＡ６０７によって出力されるタイミングデータから導出される、より正確な位置および向きの情報を使用して、ＩＭＵデバイス６１８によって生成される追跡データのエラーが周期的にスケルチされる。
【０２４７】
上記のように、本実施形態の各基地局１０２からのビーム１０４、１０５は、６０Ｈｚの周波数で建設現場１にわたって掃引される。ステップ６５５において、プロセッサ６０８は、更新されたタイミングデータについてＦＧＰＡ６０７をポーリングする。更新されたタイミングデータは毎秒６０回、利用可能であり、上記で説明したように、基地局１０２に対する安全帽６００の位置および向きを決定するためにステップ６５６で処理されることが理解されよう。参照符号６５７によって示されるように、補正された追跡データは、安全帽から眼鏡７００に出力される。このように、ＩＭＵデバイス６１８によって生成される追跡データは、ＦＧＰＡ６０７によって出力されるタイミングデータから導出される追跡データと融合される。
【０２４８】
眼鏡７００の記憶デバイス７１１は、眼鏡７００の動作を制御するためにプロセッサ７０８によって処理することができるコンピュータ実行可能マシンコードを含む。上記のように、当業者は、眼鏡７００を図１５のフローチャートに従って動作させるマシンコードを生成するようコンパイルできるソフトウェアを書くために採用され得る多くのコンピュータプログラミング言語に精通しているであろう。
【０２４９】
さらに、記憶デバイス７１１は、追跡システム１００の内因性座標系で定義される基地局１０２によって定義される追跡ボリューム１１０内の安全帽６００の位置および向きを、外因性現実世界座標系に変換するための数学的変換を保存する。変換は、図４、図５Ａまたは図５Ｂおよび／または図６もしくは図１０に関連して上述した方法および／または装置のいずれかを使用して、本発明に従って取得し得る。変換は、Ｉ／Ｏデバイス７１２を介して、またはＷｉＦｉマイクロコントローラ７１６を介して無線で眼鏡７００に入力され、記憶デバイス７１１に保存され得る。
【０２５０】
記憶デバイス７１１はまた、例えば、図７を参照して上述したＢＩＭモデルなどの建物情報モデルを表すモデルデータも保存する。上記のように、ＢＩＭモデルは外因性現実世界座標で定義される。変換と同様に、ＢＩＭモデルデータは、Ｉ／Ｏデバイス７１２を介して、またはＷｉＦｉマイクロコントローラ７１６を介して無線で眼鏡７００に入力され得る。好適には、ＢＩＭモデルデータは、インターネットを介してリモートサーバからダウンロードされ得る。
【０２５１】
記憶デバイス７１１はまた、ディスプレイ７２５ａ、７２５ｂによって表示される画像がユーザの前に配置される焦点距離を含む、拡張現実眼鏡７００のさまざまな物理的および／または光学的特性を表すディスプレイデータも保存する。
【０２５２】
図１５のステップ７５０で眼鏡７００の電源を入れると、プロセッサ７０８は、記憶デバイス７１１にアクセスして、プロセッサ７０８による処理のためにマシンコードをメモリデバイス７１０にロードする。ステップ７５１および７５２のそれぞれにおいて、プロセッサ７０８はマシンコードを実行して、変換、ＢＩＭモデルデータおよび記憶デバイス７１１からのディスプレイデータを取得し、それらをメモリユニット７１０にロードする。
【０２５３】
マシンコードは、外因性座標系で定義されるＢＩＭモデルの座標を、記憶デバイス７１１から取得された数学的変換を使用して追跡システム１００が利用する内因性座標系に変換することが、プロセッサ７０８によって実行可能なモデル位置決めモジュールを含む。ステップ７５３ではしたがって、モデルデータは、変換を使用して処理され、ＢＩＭモデルを正しく配置および方向付けし、図１６に概略的に示すように、内因性座標系にてスケーリングする。
【０２５４】
マシンコードはさらに、安全帽および眼鏡のゴーグル６２０および透明プレート７２０を通して見た建設現場１の直接図に重ねられた、コンテキスト内の透明ディスプレイデバイス７２５ａ、７２５ｂに表示するための建物情報モデルの立体仮想３Ｄ画像をレンダリングすることが、プロセッサ７０８によって実行可能な画像レンダリングモジュールを含む。ＢＩＭモデルの仮想３Ｄ画像は、変換されたモデルデータ、ディスプレイデータ、安全帽６００から受信した追跡データ６５２、６５４、６５７、および視線追跡デバイス７２８ａ、７２８ｂから受信したディスプレイ位置データに基づいてレンダリングされ、建設現場１上の安全帽６００の位置に対して、およびユーザの頭部に対する安全帽６００、特にユーザの目に対する拡張現実眼鏡７００の位置に対して正しいコンテキストでモデルの画像を表示する。
【０２５５】
ＢＩＭモデルの仮想３Ｄ画像は、当業者に知られているように、ラスタ化、光線追跡または経路追跡を使用してレンダリングされ得、少なくとも３０Ｈｚ、好ましくは６０Ｈｚのフレームレートでステップ７５５で透明ディスプレイ７２５ａ、７２５ｂに出力される。本実施例では、ＢＩＭモデルの合成画像は、９０Ｈｚのフレームレートでリフレッシュされる。９０Ｈｚのフレームレートでは、上記のように５００Ｈｚの報告レートを有するＩＭＵ６１８からの出力に基づく追跡データを使用する必要があるが、これはヘルメット６０１上のセンサ６０２ａ、６０２ｂ、６０２ｃ…６０２ｎからのタイミングデータを使用して６０Ｈｚの周波数で修正されることが理解されるであろう。ビーム１０４、１０５のより速いスキャンレートが使用される実施形態では、ＩＭＵ６１８を省いて、センサから受信したタイミングデータのみに基づいて追跡データを作成することが可能であり得る。
【０２５６】
図１７に示されるように、ＢＩＭモデルの選択された部分のみがユーザ２ａ、２ｂに表示され得る。例として、図１７に示されるユーザ２ａには、建設現場１で建設される建物情報モデルによって表される建物５０の内部パーティション５８が示されている。有利には、本発明の方法および装置を使用して、パーティション５８の仮想３Ｄ画像は、建設現場１において正しい位置および向きで正しいスケールでユーザに示されている。同様に、図１７におけるユーザ２ｂには、建設現場１で建設される壁５２および窓６１が示されている。
【０２５７】
このように、本発明の安全帽６００および拡張現実眼鏡７００は、トータルステーションを使用して位置特定された基準点を物理的に墨出しすることなく建設現場１をセットアウトすることを可能にする。代わりに、建設現場１は、コンテキストにおいて建設現場１で実行されるタスクを正しい場所および向きでユーザに表示することによりセットアウトされることができる。本実施形態において、実行されるべきタスクは、図７に示される建物５０の建設であり、個々のサブタスクは、窓６１を伴う壁５２を建設し、内部パーティション５８を建設することを含む。しかし、他の実施形態では、グラフィカルに示すことができる実行されるべき任意のタスクは、拡張現実眼鏡７００において仮想形式で表示され得る。例えば、眼鏡７００において仮想形式で表示され得る他のタスクには、溝を掘るべき場所、敷設または切断されるべきパイプ、オブジェクトを作成するための、たとえばケーブルまたはパイプへのアクセスを提供するための１つ以上の穴などが含まれる。
【０２５８】
本発明の方法は、単一のユーザに限定されないことが理解されよう。いくつかの実施形態では、例えば建設現場１などの建設現場の複数の作業員メンバに、上記のような安全帽６００および拡張現実眼鏡７００を装備させ得る。各ユーザの眼鏡７００は、同じ数学的変換を使用して較正され、各ユーザには、それぞれの安全帽６００におけるセンサ６０２ａ、６０２ｂ、６０２ｃ．．．６０２ｎを伴う追跡システム１００を使用して決定された建設現場１上のそれぞれの位置に基づいて、建物情報モデルの一部の個々の仮想画像が表示される。
【０２５９】
図５Ｂを参照して上述したように、変換が継続的に更新される実施形態では、変換は、例えば眼鏡７００の各セット内のＷｉＦｉマイクロコントローラを使用して、すべてのユーザに同時にブロードキャストされることができる。
【０２６０】
上記のように、安全帽６００の位置は、建設現場１にセットアップされた基地局１０２に対するセンサ６０２ａ、６０２ｂ、６０２ｃ…６０２ｎの位置から導出される。ＢＩＭモデルの仮想画像が眼鏡７００の透明ディスプレイ７２５ａ、７２５ｂに表示されるので、安全帽に対するディスプレイ７２５ａ、７２５ｂの変位を考慮するためにいくらかの修正を行わなければならない。これは、眼鏡７００が上記のように安全帽６００にしっかりと固定される場合には容易である。しかし、いくつかの実施形態では、眼鏡７００のマシンコードは、眼鏡７００が安全帽６００に対して正しく配置されることを保証するための位置合わせモジュールを含み得る。この目的のために、その内容が参照により本明細書に組み込まれるＵＳ２０１７／００９０２０３Ａ１に開示された位置合わせ方法が、使用され得る。他の好適な位置合わせ方法も、当業者には明らかであろう。
【０２６１】
同様に、透明プレート７２０またはディスプレイ７２５ａ、７２５ｂによって作成された任意の視覚的人工物を考慮するために調整が必要になり得る。例えば、透明プレート７２０が、目領域７２３ａ、７２３ｂが近づく、または、透明プレート７２０を通して見たときの建設現場１の直接画像を補正するためのレンズを含むような形状である場合、ディスプレイ７２５ａ、７２５ｂでＢＩＭモデルの合成画像をレンダリングする際にディスプレイデータに基づいて何らかの補正がこれについて必要になり得る。
【０２６２】
上記のように、本発明によれば、（図１９および図２０の参照符号１９１０で示される）仮想カメラ、したがってディスプレイ７２５ａ、７２５ｂでユーザに表示される仮想画像の位置が、ユーザの頭部の安全帽６００の任意の動きを考慮して好適に調整されることを保証にするために、ユーザの頭部に対する拡張現実眼鏡７００の位置を追跡することが重要である。これは、図１８〜図２０に概略的に示されている。
【０２６３】
図１８は、例としてディスプレイ７２５ａのうちの１つに表示される仮想画像１８０１を示す。純粋に例示目的のために、仮想画像１８０１は、木１８０２と人１８０３とを含む。図１８では、ディスプレイ７２５ａは、仮想画像１８０１が拡張現実眼鏡７００によってオーバーレイされる現実世界に対するその正しい場所にそれが現れるように、ユーザの目に対して正しく中央に配置される。本発明のコンテキストにおいて、ＢＩＭモデルが、特定の建設タスクが実行される場所をユーザに正確に示すために、建設現場１に対してその正しい位置および向きで表示されることが重要であることが理解されよう。
【０２６４】
使用中、安全帽６００は、ユーザの頭部に対して移動しやすいことが理解されよう。これは、例えば建設タスクなどの身体活動を実行する際のユーザの身体運動の結果であり得る。例えば、ユーザは、自身が実行しているさまざまな建設タスクによって、自身の体を介して伝達される衝動または振動にさらされ得、その結果、ユーザの頭部に対する安全帽６００の滑りが生じ得る。図１９に示すように、以下で説明する仮想画像の対応する調整なしでのユーザの目１９０５に対するディスプレイ７２５ａの移動があると、仮想カメラ１９１０がユーザの目１９０５ともはや整列しないような仮想カメラ１９１０の変位がもたらされ、その結果、仮想画像１８０１は、ユーザがディスプレイ７２５ａを通して見ることができる現実世界に対して不正確な位置に表示されるであろう。図１９において、参照符号１８０１は、ユーザの頭部に対する安全帽６００の動きにより、ユーザに対して誤って表示される仮想画像の位置を示し、参照符号１９０１は、現実世界に対する仮想画像の正しい位置を示す。
【０２６５】
使用中のユーザの頭部に対する安全帽６００の動きを補償するために、視線追跡デバイス７２８ａ、７２８ｂを使用して、ユーザの頭部に対する安全帽６００の位置が監視される。視線追跡デバイス７２８ａ、７２８ｂは、ユーザの頭部に対する安全帽６００の位置、より具体的にはユーザの目１９０５に対する拡張現実眼鏡７００の位置を示す上記のディスプレイ位置データを生成する。このディスプレイ位置データは、ディスプレイデータおよび追跡データ６５２、６５４、６５７を用いてプロセッサ７０８によって処理され、実効的に仮想カメラ１９１０をユーザの目１９０５に位置合わせしたままとすることにより図２０に示すように建設現場に対してその正しい位置にＢＩＭモデルの仮想画像をレンダリングする。
【０２６６】
このプロセスは、図２１に概略的に示され、図２１は、内因性座標系での安全帽６００からのヘッドセット追跡データ２１０４、視線追跡デバイス７２８ａ、７２８ｂによって生成されたディスプレイ位置データ２１０６、および拡張現実眼鏡７００の物理的／光学的特性を表すディスプレイデータ２１１０を融合し、拡張現実眼鏡７００による表示のために、座標変換エンジン２１０８によって内因性座標系で定義されるＢＩＭモデルの仮想画像を生成する、本発明による電子制御システム２１０２による処理を示す。このように、本発明の本実施形態は、建設現場１に対するＢＩＭモデルの仮想画像を約３ｍｍまたはそれより良好な精度で表示すると同時に、拡張現実ディスプレイシステムに対して内因性の仮想カメラをユーザの目との適切な位置合わせ状態に維持し、現実世界と仮想画像との間の視差を回避することを目的とする。
【０２６７】
本発明のヘッドセットは、例えばｍｍの精度で、実行される建設タスクを表してＢＩＭモデルの仮想画像を建設現場の作業員に表示しようとすることを当業者は理解するであろう。仮想画像を、ＢＩＭモデルで定義された建設現場で、作業員に対するコンテキストでその正しい位置および向きに表示できる。位置追跡システムの内因性追跡座標系と外因性現実世界座標系との間の座標変換により、ＢＩＭモデルを適切なコンテキストで作業員に表示できる。実施形態に従ってユーザの頭部に対する拡張現実ディスプレイの位置を検出するために視線追跡または他の方法を使用することにより、現場作業員が行う肉体労働などの身体活動によるディスプレイの小さな動きまたは向きの変化が考慮され得、仮想モデルはＢＩＭモデルで定義されたその正しい場所にとどまり得る。
【図１】
2020533721.tif 000003
【図２】
2020533721.tif 000004
【図３】
2020533721.tif 000005
【図４】
2020533721.tif 000006
【図５Ａ】
2020533721.tif 000007
【図５Ｂ】
2020533721.tif 000008
【図６】
2020533721.tif 000009
【図７】
2020533721.tif 000010
【図８】
2020533721.tif 000011
【図９】
2020533721.tif 000012
【図１０】
2020533721.tif 000013
【図１１】
2020533721.tif 000014
【図１２】
2020533721.tif 000015
【図１３】
2020533721.tif 000016
【図１４】
2020533721.tif 000017
【図１５】
2020533721.tif 000018
【図１６】
2020533721.tif 000019
【図１７】
2020533721.tif 000020
【図１８】
2020533721.tif 000021
【図１９】
2020533721.tif 000022
【図２０】
2020533721.tif 000023
【図２１】
2020533721.tif 000024
【手続補正書】
【提出日】令和1年11月5日(2019.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
建設現場の外因性現場座標系に位置付けられ、方向付けられた建物情報モデル（ＢＩＭ）の仮想画像をユーザに表示するためのヘッドセットであって、
ユーザが着用し、それに取り付けられた１つ以上の位置追跡センサを有するように構成されたヘッドウェア物品であって、前記位置追跡センサは、前記ヘッドウェア物品の位置および向きを決定できるようにする建設現場での位置追跡システムによって放出された１つ以上の信号に対する前記１つ以上のセンサの反応を表すセンサデータを出力するように構成された、ヘッドウェア物品と、
前記位置追跡センサに対して固定された前記ユーザの視野内の使用中位置を有するディスプレイアセンブリを含む拡張現実ディスプレイシステムであって、前記ディスプレイアセンブリは、少なくとも１つのディスプレイを含み、前記ユーザに前記仮想画像を表示することができつつ、前記ユーザは前記ディスプレイアセンブリを通して自身の周囲を見ることができ、前記拡張現実ディスプレイシステムは、前記建物情報モデルの前記仮想画像を表す画像データを受信し、前記ディスプレイに前記仮想画像を表示するように構成される、拡張現実ディスプレイシステムと、
前記ユーザの頭部に対する前記ディスプレイの前記位置を検出し、それを表すディスプレイ位置データを出力するディスプレイ位置センサと、
電子制御システムと
を備え、
前記電子制御システムは、前記位置追跡システムによって定義された内因性座標系内の前記建設現場での前記ヘッドウェア物品の前記場所および向きを前記センサデータから決定し、それを表すヘッドセット追跡データを出力するように構成されたヘッドセット追跡システムと、変換に基づいて前記内因性座標系と前記外因性座標系との間で変換するように構成された座標変換エンジンとを含み、前記変換は前記外因性座標系の既知の場所の１つ以上の制御点の座標を、前記内因性座標系のそれらの対応する座標に関連付けることによって導出され、前記内因性座標系における前記１つ以上の制御点の前記座標は、前記位置追跡システムを使用して少なくとも１つのセンサから受信したセンサデータから導出され、
前記電子制御システムは、前記ヘッドセット追跡データ、前記ディスプレイ位置データ、および前記外因性座標系で定義された前記建物情報モデルを表すモデルデータを受信し、前記座標変換エンジンを使用して前記モデルデータを処理して前記内因性座標系で定義された導出モデルデータを生成し、前記ヘッドセット追跡データおよびディスプレイ位置データを使用して前記建設現場での前記ヘッドウェア物品の前記位置および向きに対する前記建物情報モデルの仮想画像をレンダリングし、前記仮想画像を表す前記画像データを生成し、前記ユーザが前記ディスプレイで見るために前記拡張現実ディスプレイシステムに前記画像データを送信するように構成される、
ヘッドセット。
【請求項２】
前記ディスプレイ位置センサは、少なくとも１つの視線追跡デバイスを備える、請求項１に記載のヘッドセット。
【請求項３】
前記ディスプレイ位置センサは、前記ディスプレイに対する前記ユーザの少なくとも１つの目の位置を表すディスプレイ位置データを生成するように構成される、請求項１または２に記載のヘッドセット。
【請求項４】
前記ディスプレイ位置センサは、前記ユーザの目の瞳孔のうちの少なくとも１つの位置を表すディスプレイ位置データを生成するように構成される、請求項１、２または３に記載のヘッドセット。
【請求項５】
前記ディスプレイ位置センサは、前記ディスプレイに対する前記ユーザの目の瞳孔の中心のうちの少なくとも１つの位置を表すディスプレイ位置データを生成するように構成される、請求項１〜４のいずれかに記載のヘッドセット。
【請求項６】
前記１つ以上の信号は、前記建設現場における１つ以上のビーコンによって放出される、請求項１〜５のいずれかに記載のヘッドセット。
【請求項７】
前記１つ以上の信号は、電磁放射、例えば、光または電波からなる、請求項１〜６のいずれかに記載のヘッドセット。
【請求項８】
前記位置追跡システムは、掃引ビーム光学追跡システムを備える、請求項１〜７のいずれかに記載のヘッドセット。
【請求項９】
前記位置追跡システムは、ＷｉＦｉ追跡システムを備える、請求項１〜７のいずれかに記載のヘッドセット。
【請求項１０】
前記１つ以上の信号は、音波、例えば超音波からなる、請求項１〜６のいずれかに記載のヘッドセット。
【請求項１１】
前記電子制御システムは、前記ディスプレイアセンブリの１つ以上の物理的または光学的特性を表すデータにさらに基づいて、前記ＢＩＭの前記仮想画像をレンダリングするように構成される、請求項１〜１０のいずれかに記載のヘッドセット。
【請求項１２】
前記位置追跡システムは、インサイドアウト位置追跡システムを備える、請求項１〜１１のいずれかに記載のヘッドセット。
【請求項１３】
前記仮想画像は、前記外因性座標系と前記内因性座標系との間で変換するための前記変換を使用することにより、前記建設現場に対して位置特定され、方向付けられ、前記建設現場における前記ユーザの位置についてのコンテキストで前記ユーザに表示される３Ｄ画像を備える、請求項１〜１２のいずれかに記載のヘッドセット。
【請求項１４】
前記電子制御システムは、１つ以上のプロセッサと、１つ以上のメモリユニットと、前記変換を使用して前記内因性座標系に前記ＢＩＭを配置して方向付けするために前記モデルデータを処理することが前記１つ以上のプロセッサによって実行可能なＢＩＭ位置決めモジュール、ならびに、前記建設現場における前記ヘッドウェア物品の前記位置および向きに対して前記ＢＩＭモデルの前記仮想画像をレンダリングするために前記ヘッドセット追跡データ、前記ディスプレイ位置データ、およびＢＩＭデータを処理することが前記１つ以上のプロセッサによって実行可能な画像レンダリングモジュールを備えるコンピュータソフトウェアを保存する少なくとも１つのデータ記憶デバイスとを備える、請求項１〜１３のいずれかに記載のヘッドセット。
【請求項１５】
前記電子制御システムはさらに、少なくとも１つのデータ通信デバイスを備え、前記コンピュータソフトウェアは、前記データ通信デバイスを介してリモートサーバから前記ＢＩＭデータを受信することが前記１つ以上のプロセッサによって実行可能なＢＩＭダウンロードモジュールを含む、請求項１４に記載のヘッドセット。
【請求項１６】
前記コンピュータソフトウェアはさらに、前記変換を受信して前記少なくとも１つのデータ記憶デバイスに保存することが前記１つ以上のプロセッサにより実行可能な変換受信機モジュールを備える、請求項１４または１５に記載のヘッドセット。
【請求項１７】
前記位置追跡システムは、前記建設現場で静止している少なくとも１つの電磁放射源を備え、前記１つ以上のセンサのうちの少なくとも１つは、前記少なくとも１つのセンサから前記静止源までの角距離を示す前記電磁放射の特性を検出または測定するように構成される、請求項１〜１６のいずれかに記載のヘッドセット。
【請求項１８】
前記ヘッドセット追跡システムはさらに、前記建設現場で特定の作業が実行される場所の位置を特定するために、前記ヘッドセットの前記位置を追跡するように構成される、請求項１〜１７のいずれかに記載のヘッドセット。
【請求項１９】
前記ヘッドセット追跡システムはさらに、前記建設現場で基準点の位置を特定するために、前記ヘッドセットの前記位置を追跡するように構成される、請求項１〜１８のいずれかに記載のヘッドセット。
【請求項２０】
前記ヘッドウェア物品は、安全帽を備える、請求項１〜１９のいずれかに記載のヘッドセット。
【請求項２１】
ヘッドセット内で建設現場の外因性現場座標系を参照して配置および方向付けされた建物情報モデル（ＢＩＭ）の仮想画像を表示する方法であって、前記ヘッドセットは、ユーザが着用し、それに取り付けられた１つ以上の位置追跡センサを有するように構成されたヘッドウェア物品と、前記位置追跡センサに対して固定された前記ユーザの視野内の使用中位置を有するディスプレイアセンブリを含む拡張現実ディスプレイシステムであって、前記ディスプレイアセンブリは、少なくとも１つのディスプレイを含み、前記ユーザに前記仮想画像を表示することができつつ、前記ユーザは前記ディスプレイアセンブリを通して自身の周囲を見ることができる、拡張現実ディスプレイシステムと、前記ユーザの頭部に対する前記ディスプレイの前記位置を検出する少なくとも１つのディスプレイ位置センサと、電子制御システムとを備え、前記方法は、
前記ヘッドセット追跡システムで、前記建設現場にて前記位置追跡システムが放出する１つ以上の信号に対する前記１つ以上のセンサの反応を表すセンサデータに基づいて、前記位置追跡システムによって定義された内因性座標系で、前記建設現場での前記ヘッドウェア物品の前記場所および向きを決定することと、
座標変換エンジンで、前記外因性座標系の既知の場所の１つ以上の制御点の座標を前記内因性座標系のそれらの対応する座標に関連付けることにより導出される変換に基づいて、前記内因性座標系と前記外因性座標系との間で変換することであって、前記内因性座標系における前記１つ以上の制御点の前記座標が、少なくとも１つのセンサから受信したセンサデータに基づいて決定される、変換することと、
前記電子制御システムで、前記ディスプレイ位置センサからディスプレイ位置データを受信し、前記ヘッドセット追跡システムからヘッドセット追跡データを受信し、前記外因性座標系で定義された前記建物情報モデルを表すモデルデータを受信し、前記座標変換エンジンを使用して前記モデルデータを処理して前記内因性座標系で定義された導出モデルデータを生成し、前記ヘッドセット追跡データとディスプレイ位置データとを使用して前記ヘッドセットのユーザの目に対する前記ヘッドウェア物品の前記位置および向きに対する前記建物情報モデルの仮想画像をレンダリングし、前記仮想画像を表す画像データを生成し、前記画像データを前記拡張現実表示システムに送信して、前記ユーザが前記建物情報モデルの仮想画像として見ることができるようにすることと
を備える方法。
【請求項２２】
前記ディスプレイ位置センサは、視線追跡デバイスを備える、請求項２１に記載の方法。
【請求項２３】
前記視線追跡デバイスは、前記ディスプレイに対する前記ユーザの少なくとも１つの目の位置を表すディスプレイ位置データを生成するように構成される、請求項２２に記載の方法。
【請求項２４】
前記ディスプレイ位置データは、前記ユーザの目の瞳孔のうちの少なくとも１つの位置を示す、請求項２２または２３に記載の方法。
【請求項２５】
前記ディスプレイ位置データは、前記ディスプレイに対する前記ユーザの目の瞳孔の中心のうちの少なくとも１つの位置を示す、請求項２２、２３または２４に記載の方法。
【請求項２６】
前記ディスプレイアセンブリの１つ以上の物理的または光学的特性を表すデータを使用して、前記ＢＩＭモデルの前記仮想画像をレンダリングすることをさらに含む、請求項２１〜２５のいずれかに記載の方法。
【請求項２７】
前記１つ以上の信号は、前記建設現場における１つ以上のビーコンにより放出される、請求項２１〜２６のいずれかに記載の方法。
【請求項２８】
前記１つ以上の信号は、電磁放射、例えば、光または電波からなる、請求項２１〜２７のいずれかに記載の方法。
【請求項２９】
前記位置追跡システムは、掃引ビーム光学追跡システムを備える、請求項２１〜２８のいずれかに記載の方法。
【請求項３０】
前記位置追跡システムは、ＷｉＦｉ追跡システムを備える、請求項２１〜２８のいずれかに記載の方法。
【請求項３１】
前記１つ以上の信号は、音波、例えば超音波からなる、請求項２１〜２７のいずれかに記載の方法。
【請求項３２】
前記位置追跡システムは、インサイドアウト位置追跡システムを備える、請求項２１〜３１のいずれかに記載の方法。
【請求項３３】
前記外因性座標系と前記内因性座標系との間で変換するための前記変換を使用して、前記建設現場に対して正しく位置特定され、方向付けられ、前記建設現場における前記ユーザの位置についての正しいコンテキストで前記ユーザに表示される前記ＢＩＭモデルの３Ｄ画像をレンダリングすることを備える、請求項２１〜３２のいずれかに記載の方法。
【請求項３４】
リモートサーバから前記ヘッドセットにおける前記電子制御システムに前記ＢＩＭデータをダウンロードすることをさらに備える、請求項２１〜３３のいずれかに記載の方法。
【請求項３５】
リモートサーバから前記変換をダウンロードし、それを前記ヘッドセットに保存することをさらに備える、請求項２１〜３４のいずれかに記載の方法。
【請求項３６】
前記位置追跡システムは、前記建設現場で静止している少なくとも１つの電磁放射源を備え、前記１つ以上のセンサのうちの少なくとも１つは、前記少なくとも１つのセンサから前記静止源までの角距離を示す前記電磁放射の特性を検出または測定するように構成される、請求項２１〜３５のいずれかに記載の方法。
【請求項３７】
コンピュータ化されたデバイスによって実行されると、前記コンピュータ化されたデバイスに請求項２１〜３６のいずれかに記載の方法を実行させる、命令のセットを備える、コンピュータプログラム。
【請求項３８】
建設タスクの検証または建設現場のセットアウトに使用するヘッドセットであって、ヘッドウェア物品を備え、前記ヘッドウェア物品は、そこに取り付けられた複数のセンサ、ユーザが見るときに建物情報モデル（ＢＩＭ）の仮想画像を表示するための１つ以上のディスプレイを組み込んだ拡張現実眼鏡、および電子制御システムを有し、前記電子制御システムは、
外因性現実世界座標系で定義された前記建物情報モデルを表すモデルデータを受信および処理して、前記外因性座標系と内因性座標系との間の変換を使用して前記内因性座標系で前記モデルを配置および方向付けするモデル位置決めエンジンと、
前記内因性座標系で前記建設現場の前記ヘッドウェア物品の前記位置および向きを表す追跡データを受信し、前記ヘッドウェア物品の前記位置および向きに対する前記モデルの仮想画像をレンダリングし、前記画像を前記モデルの仮想画像としてユーザが見ることができる前記１つ以上のディスプレイに前記画像を送信する画像レンダリングエンジンと
を備え、
前記追跡データは、前記建設現場の１つ以上の基地局により放出される電磁放射に対する前記ヘッドウェア物品の複数のセンサの前記反応を表すセンサデータから導出され、前記電磁放射は、前記１つ以上の尊重される基地局までの角距離に関連するように変調され、
前記変換は、前記外因性座標系の既知の場所の１つ以上の制御点の前記座標を、前記内因性座標系のそれらの対応する座標に関連付けることによって導出され、前記内因性座標系の前記１つ以上の制御点の前記座標は、前記変調電磁放射に対する前記１つ以上の制御点に配置された１つ以上のセンサの前記反応を表すセンサデータから導出される、
ヘッドセット。
【請求項３９】
前記ＢＩＭモデルの前記仮想画像は、前記拡張現実眼鏡の前記１つ以上のディスプレイで前記ユーザに表示される合成３Ｄ画像を備える、請求項３８に記載のヘッドセット。
【請求項４０】
前記電子制御システムはさらに、前記内因性座標系における前記建設現場での前記ヘッドウェア物品の前記位置および向きを算出するために、前記ヘッドウェア物品の前記センサから受信したセンサデータを処理する追跡エンジンを備える、請求項３８または３９に記載のヘッドセット。
【請求項４１】
前記電子制御システムは、１つ以上のプロセッサと、１つ以上のメモリユニットと、前記変換を使用して前記内因性座標系に前記モデルを配置して方向付けするために前記モデルデータを処理することが前記１つ以上のプロセッサによって実行可能なモデル位置決めモジュール、ならびに、前記ヘッドウェア物品の前記位置および向きに対して前記ＢＩＭモデルの前記仮想画像をレンダリングするための前記追跡データおよびモデルデータを処理することが前記１つ以上のプロセッサで実行可能な画像レンダリングモジュールを備えるソフトウェアを保存する少なくとも１つのデータ記憶デバイスとを備える、請求項３８〜４０のいずれかに記載のヘッドセット。
【請求項４２】
前記電子制御システムはさらに、少なくとも１つのデータ通信デバイスを備え、前記ソフトウェアは、前記データ通信デバイスを介してリモートサーバから前記モデルデータを受信することが前記１つ以上のプロセッサによって実行可能なモデルダウンロードモジュールを含む、請求項４１に記載のヘッドセット。
【請求項４３】
前記ソフトウェアはさらに、前記変換を受信して前記少なくとも１つのデータ記憶デバイスに保存することが前記１つ以上のマイクロプロセッサにより実行可能な変換受信機モジュールを備える、請求項４１または４２に記載のヘッドセット。
【請求項４４】
前記ソフトウェアはさらに、前記ヘッドセット上の前記センサから受信した前記センサデータを処理して前記内因性座標系における前記建設現場での前記ヘッドウェア物品の前記位置および向きを算出することが前記１つ以上のプロセッサにより実行可能な追跡モジュールを備える、請求項４１〜４３のいずれかに記載のヘッドセット。
【請求項４５】
前記ヘッドウェア物品は、安全帽を備える、請求項３８〜４４のいずれかに記載のヘッドセット。
【請求項４６】
建設タスクを検証する、または建設現場をセットアウトする際に使用するインサイドアウト位置追跡システムを較正するための較正ソフトウェアであって、（ｉ）外因性現実世界座標系における前記建設現場での複数の制御点の位置を表す制御点場所データを受信し、（ｉｉ）前記追跡システムで使用される内因性座標系における前記制御点の前記位置を表す制御点追跡データを受信し、（ｉｉｉ）前記座標系の間の変換を導出するために前記内因性および外因性座標系における前記制御点の前記位置を関連付けることがプロセッサによって実行可能なマシンコードを備え、前記較正ソフトウェアは、前記建設現場における少なくとも１つの基地局によって放出される電磁放射であって前記基地局までの角距離を示す少なくとも１つの特性を有する前記電磁放射に対する各制御点でのセンサの反応を表すセンサデータを受信して処理し、前記内因性座標系での前記制御点の前記位置を算出することがプロセッサによって実行可能なマシンコードを備える、較正ソフトウェア。
【請求項４７】
前記マシンコードは、ステップ（ｉ）〜（ｉｉｉ）を定期的に繰り返して前記変換をリフレッシュするように実行可能である、請求項４６に記載の較正ソフトウェア。
【請求項４８】
請求項１〜２０もしくは請求項３８〜４５のいずれかに記載のヘッドセットを使用することを備える、建設方法。
【請求項４９】
請求項２１〜３６のいずれかに記載の方法を備える、建設方法。
【手続補正書】
【提出日】令和2年5月8日(2020.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
建設現場の外因性現場座標系に位置付けられ、方向付けられた建物情報モデル（ＢＩＭ）の仮想画像をユーザに表示するためのヘッドセットであって、
ユーザが着用し、それに取り付けられた１つ以上の位置追跡センサを有するように構成されたヘッドウェア物品であって、前記位置追跡センサは、前記ヘッドウェア物品の位置および向きを決定できるようにする建設現場での位置追跡システムによって放出された１つ以上の信号に対する前記１つ以上のセンサの反応を表すセンサデータを出力するように構成された、ヘッドウェア物品と、
前記位置追跡センサに対して固定された前記ユーザの視野内の使用中位置を有するディスプレイアセンブリを含む拡張現実ディスプレイシステムであって、前記ディスプレイアセンブリは、少なくとも１つのディスプレイを含み、前記ユーザに前記仮想画像を表示することができつつ、前記ユーザは前記ディスプレイアセンブリを通して自身の周囲を見ることができ、前記拡張現実ディスプレイシステムは、前記建物情報モデルの前記仮想画像を表す画像データを受信し、前記ディスプレイに前記仮想画像を表示するように構成される、拡張現実ディスプレイシステムと、
電子制御システムと、
を備え、
前記電子制御システムは、前記位置追跡システムによって定義された内因性座標系内の前記建設現場での前記ヘッドウェア物品の前記場所および向きを前記センサデータから決定し、それを表すヘッドセット追跡データを出力するように構成されたヘッドセット追跡システムと、変換に基づいて前記内因性座標系と前記外因性座標系との間で変換するように構成された座標変換エンジンとを含み、前記変換は前記外因性座標系の既知の場所の１つ以上の制御点の座標を、前記内因性座標系のそれらの対応する座標に関連付けることによって導出され、前記内因性座標系における前記１つ以上の制御点の前記座標は、前記位置追跡システムを使用して少なくとも１つのセンサから受信したセンサデータから導出され、
前記電子制御システムは、前記ヘッドセット追跡データ、および前記外因性座標系で定義された前記建物情報モデルを表すモデルデータを受信し、前記座標変換エンジンを使用して前記モデルデータを処理して前記内因性座標系で定義された導出モデルデータを生成し、前記ヘッドセット追跡データを使用して前記建設現場での前記ヘッドウェア物品の前記位置および向きに対する前記建物情報モデルの仮想画像をレンダリングし、前記仮想画像を表す前記画像データを生成し、前記ユーザが前記ディスプレイで見るために前記拡張現実ディスプレイシステムに前記画像データを送信するように構成される、
ヘッドセット。
【請求項２】
前記ヘッドセットはさらに、前記ユーザの頭部に対する前記ディスプレイの前記位置を検出し、それを表すディスプレイ位置データを出力するディスプレイ位置センサを備え、前記電子制御システムは、前記ディスプレイ位置データを受信して、それを使用して前記建設現場での前記ヘッドウェア物品の前記位置および向きに対する前記建物情報モデルの前記仮想画像をレンダリングするように構成される、請求項１に記載のヘッドセット。
【請求項３】
前記ディスプレイ位置センサは、少なくとも１つの視線追跡デバイスを備える、請求項２に記載のヘッドセット。
【請求項４】
前記１つ以上の信号は、電磁放射、例えば、光または電波からなる、請求項１〜３のいずれかに記載のヘッドセット。
【請求項５】
前記位置追跡システムは、掃引ビーム光学追跡システムを備える、請求項１〜４のいずれかに記載のヘッドセット。
【請求項６】
前記位置追跡システムは、ＷｉＦｉ追跡システムを備える、請求項１〜４のいずれかに記載のヘッドセット。
【請求項７】
前記１つ以上の信号は、音波、例えば超音波からなる、請求項１〜３のいずれかに記載のヘッドセット。
【請求項８】
前記位置追跡システムは、前記建設現場で静止している少なくとも１つの電磁放射源を備え、前記１つ以上のセンサのうちの少なくとも１つは、前記少なくとも１つのセンサから前記静止源までの角距離を示す前記電磁放射の特性を検出または測定するように構成される、請求項１〜７のいずれかに記載のヘッドセット。
【請求項９】
前記ヘッドセット追跡システムはさらに、前記建設現場で基準点の位置を特定するために、前記ヘッドセットの前記位置を追跡するように構成される、請求項１〜８のいずれかに記載のヘッドセット。
【請求項１０】
ヘッドセット内で建設現場の外因性現場座標系を参照して配置および方向付けされた建物情報モデル（ＢＩＭ）の仮想画像を表示する方法であって、前記ヘッドセットは、ユーザが着用し、それに取り付けられた１つ以上の位置追跡センサを有するように構成されたヘッドウェア物品と、前記位置追跡センサに対して固定された前記ユーザの視野内の使用中位置を有するディスプレイアセンブリを含む拡張現実ディスプレイシステムであって、前記ディスプレイアセンブリは、少なくとも１つのディスプレイを含み、前記ユーザに前記仮想画像を表示することができつつ、前記ユーザは前記ディスプレイアセンブリを通して自身の周囲を見ることができる、拡張現実ディスプレイシステムと、電子制御システムとを備え、前記方法は、
ヘッドセット追跡システムで、前記建設現場にて前記位置追跡システムが放出する１つ以上の信号に対する前記１つ以上のセンサの反応を表すセンサデータに基づいて、前記位置追跡システムによって定義された内因性座標系で、前記建設現場での前記ヘッドウェア物品の前記場所および向きを決定することと、
座標変換エンジンで、前記外因性座標系の既知の場所の１つ以上の制御点の座標を前記内因性座標系のそれらの対応する座標に関連付けることにより導出される変換に基づいて、前記内因性座標系と前記外因性座標系との間で変換することであって、前記内因性座標系における前記１つ以上の制御点の前記座標が、少なくとも１つのセンサから受信したセンサデータに基づいて決定される、変換することと、
前記電子制御システムで、前記ヘッドセット追跡システムからヘッドセット追跡データを受信し、前記外因性座標系で定義された前記建物情報モデルを表すモデルデータを受信し、前記座標変換エンジンを使用して前記モデルデータを処理して前記内因性座標系で定義された導出モデルデータを生成し、前記ヘッドセット追跡データを使用して前記ヘッドウェア物品の前記位置および向きに対する前記建物情報モデルの仮想画像をレンダリングし、前記仮想画像を表す画像データを生成し、前記画像データを前記拡張現実表示システムに送信して、前記ユーザが前記建物情報モデルの仮想画像として見ることができるようにすることと
を備える方法。
【請求項１１】
前記ヘッドセットは、前記ユーザの頭部に対する前記ディスプレイの前記位置を検出する少なくとも１つのディスプレイ位置センサを備え、前記方法は、前記電子制御システムで、前記ディスプレイ位置センサからディスプレイ位置データを受信して、前記ヘッドセット追跡データおよび前記ディスプレイ位置データを使用して前記ヘッドセットのユーザの目に対する前記ヘッドウェア物品の前記位置および向きに対する前記建物情報モデルの前記仮想画像をレンダリングすることを備える、請求項１０に記載の方法。
【請求項１２】
前記ディスプレイ位置センサは、視線追跡デバイスを備える、請求項１１に記載の方法。
【請求項１３】
前記１つ以上の信号は、電磁放射、例えば、光または電波からなる、請求項１０〜１２のいずれかに記載の方法。
【請求項１４】
前記位置追跡システムは、掃引ビーム光学追跡システムを備える、請求項１０〜１３のいずれかに記載の方法。
【請求項１５】
前記位置追跡システムは、ＷｉＦｉ追跡システムを備える、請求項１０〜１３のいずれかに記載の方法。
【請求項１６】
前記１つ以上の信号は、音波、例えば超音波からなる、請求項１０〜１２のいずれかに記載の方法。
【請求項１７】
リモートサーバから前記ヘッドセットにおける前記電子制御システムに前記ＢＩＭデータをダウンロードすることをさらに備える、請求項１０〜１６のいずれかに記載の方法。
【請求項１８】
リモートサーバから前記変換をダウンロードし、それを前記ヘッドセットに保存することをさらに備える、請求項１０〜１７のいずれかに記載の方法。
【請求項１９】
前記位置追跡システムは、前記建設現場で静止している少なくとも１つの電磁放射源を備え、前記１つ以上のセンサのうちの少なくとも１つは、前記少なくとも１つのセンサから前記静止源までの角距離を示す前記電磁放射の特性を検出または測定するように構成される、請求項１０〜１８のいずれかに記載の方法。
【請求項２０】
コンピュータ化されたデバイスによって実行されると、前記コンピュータ化されたデバイスに請求項１０〜１９のいずれかに記載の方法を実行させる、命令のセットを備える、コンピュータプログラム。
【請求項２１】
建設タスクの検証または建設現場のセットアウトに使用するヘッドセットであって、ヘッドウェア物品を備え、前記ヘッドウェア物品は、そこに取り付けられた複数のセンサ、ユーザが見るときに建物情報モデル（ＢＩＭ）の仮想画像を表示するための１つ以上のディスプレイを組み込んだ拡張現実眼鏡、および電子制御システムを有し、前記電子制御システムは、
外因性現実世界座標系で定義された前記建物情報モデルを表すモデルデータを受信および処理して、前記外因性座標系と内因性座標系との間の変換を使用して前記内因性座標系で前記モデルを配置および方向付けするモデル位置決めエンジンと、
前記内因性座標系で前記建設現場の前記ヘッドウェア物品の前記位置および向きを表す追跡データを受信し、前記ヘッドウェア物品の前記位置および向きに対する前記モデルの仮想画像をレンダリングし、前記画像を前記モデルの仮想画像としてユーザが見ることができる前記１つ以上のディスプレイに前記画像を送信する画像レンダリングエンジンと
を備え、
前記追跡データは、前記建設現場の１つ以上の基地局により放出される電磁放射に対する前記ヘッドウェア物品の複数のセンサの前記反応を表すセンサデータから導出され、前記電磁放射は、前記１つ以上の尊重される基地局までの角距離に関連するように変調され、
前記変換は、前記外因性座標系の既知の場所の１つ以上の制御点の前記座標を、前記内因性座標系のそれらの対応する座標に関連付けることによって導出され、前記内因性座標系の前記１つ以上の制御点の前記座標は、前記変調電磁放射に対する前記１つ以上の制御点に配置された１つ以上のセンサの前記反応を表すセンサデータから導出される、
ヘッドセット。
【請求項２２】
前記電子制御システムはさらに、前記内因性座標系における前記建設現場での前記ヘッドウェア物品の前記位置および向きを算出するために、前記ヘッドウェア物品の前記センサから受信したセンサデータを処理する追跡エンジンを備える、請求項２１に記載のヘッドセット。
【請求項２３】
前記電子制御システムは、１つ以上のプロセッサと、１つ以上のメモリユニットと、前記変換を使用して前記内因性座標系に前記モデルを配置して方向付けするために前記モデルデータを処理することが前記１つ以上のプロセッサによって実行可能なモデル位置決めモジュール、ならびに、前記ヘッドウェア物品の前記位置および向きに対して前記ＢＩＭモデルの前記仮想画像をレンダリングするための前記追跡データおよびモデルデータを処理することが前記１つ以上のプロセッサで実行可能な画像レンダリングモジュールを備えるソフトウェアを保存する少なくとも１つのデータ記憶デバイスとを備える、請求項２１または２２のいずれかに記載のヘッドセット。
【請求項２４】
前記ソフトウェアはさらに、前記ヘッドセット上の前記センサから受信した前記センサデータを処理して前記内因性座標系における前記建設現場での前記ヘッドウェア物品の前記位置および向きを算出することが前記１つ以上のプロセッサにより実行可能な追跡モジュールを備える、請求項２３に記載のヘッドセット。
【請求項２５】
建設タスクを検証する、または建設現場をセットアウトする際に使用するインサイドアウト位置追跡システムを較正するための較正ソフトウェアであって、（ｉ）外因性現実世界座標系における前記建設現場での複数の制御点の位置を表す制御点場所データを受信し、（ｉｉ）前記追跡システムで使用される内因性座標系における前記制御点の前記位置を表す制御点追跡データを受信し、（ｉｉｉ）前記座標系の間の変換を導出するために前記内因性および外因性座標系における前記制御点の前記位置を関連付けることがプロセッサによって実行可能なマシンコードを備え、前記較正ソフトウェアは、前記建設現場における少なくとも１つの基地局によって放出される電磁放射であって前記基地局までの角距離を示す少なくとも１つの特性を有する前記電磁放射に対する各制御点でのセンサの反応を表すセンサデータを受信して処理し、前記内因性座標系での前記制御点の前記位置を算出することがプロセッサによって実行可能なマシンコードを備える、較正ソフトウェア。
【請求項２６】
前記マシンコードは、ステップ（ｉ）〜（ｉｉｉ）を定期的に繰り返して前記変換をリフレッシュするように実行可能である、請求項２５に記載の較正ソフトウェア。
【請求項２７】
請求項１〜９もしくは請求項２１〜２４のいずれかに記載のヘッドセットを使用することを備える、建設方法。
【請求項２８】
請求項１０〜１９のいずれかに記載の方法を備える、建設方法。
【国際調査報告】
2020533721.tif 000025
2020533721.tif 000026
2020533721.tif 000027