(57)【特許請求の範囲】
【請求項１】
現実空間を撮影するカメラ部と、
撮影されている現実空間と、当該撮影されている現実空間を３次元データで示した仮想空間と重ね合わせて表示する拡張現実表示部と、
現実空間の３次元位置を計測する位置特定機器から測定点を取得する位置座標取得部と、
前記位置特定機器を撮影し、撮影された当該位置特定機器を、画像認識により検出し、検出した当該位置特定機器の仮想空間内の位置座標を取得し、取得した当該位置特定機器の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元データの座標を現実空間の位置座標に変換する座標変換部と、
を備える測定処理装置。
【請求項２】
前記測定点が複数であって、ヘルマート変換またはプロクラステス分析を用いた変換又は、これに類する３次元レジストレーション手法を用いた変換をする請求項１に記載の測定処理装置。
【請求項３】
前記位置座標取得部が取得する現実空間の位置座標とは、ＧＮＳＳ（全世界測位システム）による測定値である請求項１に記載の測定処理装置。
【請求項４】
測定処理装置が実行する測定処理方法であって、
現実空間を撮影するステップと、
撮影されている現実空間と、当該撮影されている現実空間を３次元データで示した仮想空間と重ね合わせて表示するステップと、
現実空間の３次元位置を計測する位置特定機器から測定点を取得するステップと、
前記位置特定機器を撮影し、撮影された当該位置特定機器を、画像認識により検出し、検出した当該位置特定機器の仮想空間内の位置座標を取得し、取得した当該位置特定機器の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元データの座標を現実空間の位置座標に変換するステップと、
を備える測定処理方法。
【請求項５】
コンピュータに、
現実空間を撮影するステップと、
撮影されている現実空間と、当該撮影されている現実空間を３次元データで示した仮想空間と重ね合わせて表示するステップ、
現実空間の３次元位置を計測する位置特定機器から測定点を取得するステップ、
前記位置特定機器を撮影し、撮影された当該位置特定機器を、画像認識により検出し、検出した当該位置特定機器の仮想空間内の位置座標を取得し、取得した当該位置特定機器の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元データの座標を現実空間の位置座標に変換するステップ、
を実行させるための測定処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、容易な操作で、３次元データで構成する仮想空間の位置座標を、現実空間の緯度・経度・高度情報に正確に置換する測定処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
近年、従来の測量技術としては、写真の中に既知の特異点がある写真測量の技術（特許文献１）や、レーザー照射するレーザー測量機の場所を既知として測量するレーザー測量技術（特許文献２）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０２０−１９６９７７号公報
【特許文献２】特開２０２０−１２７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術は、いずれも専門的な測量技術が必要であるため、容易な操作で、３次元データで構成する仮想空間の位置座標を、現実空間の緯度・経度・高度情報に正確に置換することができない。
【０００５】
そこで、本発明では、特別な測量技術を必要とすることなく、測量対象となる３次元データを容易に生成するために、容易な操作で、３次元データで構成する仮想空間の位置座標を、現実空間の緯度・経度・高度情報に正確に置換することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、現実空間を撮影するカメラ部と、撮影されている現実空間と、当該撮影されている現実空間を３次元データで示した仮想空間と重ね合わせて表示する拡張現実表示部と、現実空間の３次元位置を計測する位置特定機器から測定点を取得する位置座標取得部と、前記位置特定機器を撮影し、撮影された当該位置特定機器を、画像認識により検出し、検出した当該位置特定機器の仮想空間内の位置座標を取得し、取得した当該位置特定機器の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元データの座標を現実空間の位置座標に変換する座標変換部と、を備える測定処理装置を提供する。
【０００７】
また、本発明は、測定処理装置が実行する測定処理方法であって、現実空間を撮影するステップと、撮影されている現実空間と、当該撮影されている現実空間を３次元データで示した仮想空間と重ね合わせて表示するステップと、現実空間の３次元位置を計測する位置特定機器から測定点を取得するステップと、前記位置特定機器を撮影し、撮影された当該位置特定機器を、画像認識により検出し、検出した当該位置特定機器の仮想空間内の位置座標を取得し、取得した当該位置特定機器の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元データの座標を現実空間の位置座標に変換するステップと、を備える測定処理方法を提供する。
【０００８】
更に、本発明は、コンピュータに、現実空間を撮影するステップ、撮影されている現実空間と、当該撮影されている現実空間を３次元データで示した仮想空間と重ね合わせて表示するステップ、現実空間の３次元位置を計測する位置特定機器から測定点を取得するステップと、前記位置特定機器を撮影し、撮影された当該位置特定機器を、画像認識により検出し、検出した当該位置特定機器の仮想空間内の位置座標を取得し、取得した当該位置特定機器の仮想空間内の位置座標を、取得した現実空間の測定点の位置材表と対応付けて、所定の変換式で、３次元データの座標を現実空間の位置座標に変換するステップ、を実行させるための測定処理プログラムを提供する。
【発明の効果】
【０００９】
本発明によれば、現実空間を撮影し、撮影されている現実空間と、当該撮影されている現実空間を３次元データで示した仮想空間と重ね合わせて表示し、緯度・経度・高度を計測する位置特定機器から測定点を取得し、前記位置特定機器を撮影し、撮影された位置特定機器の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元データの座標を現実空間の位置座標に変換する。
【００１０】
このため、特別な測量技術を必要とすることなく、測量対象となる３次元データを容易に生成するために、容易な操作で、３次元データで構成する仮想空間の位置座標を、現実空間の緯度・経度・高度情報に正確に置換することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の測定処理装置による撮影画面の一例を示す。
【図２】前記実施形態の測定処理装置のハードウェア構成及び機能構成を示すブロック図である。
【図３】前記実施形態の対応テーブルの一例を示す図である。
【図４】前記実施形態による測定処理の一例を示すフローチャートである。
【図５】前記実施形態の測定処理装置による撮影画面の他の一例を示す。
【発明を実施するための形態】
【００１２】
本発明は、現実空間を撮影し、撮影されている現実空間と、当該撮影されている現実空間を３次元データで示した仮想空間と重ね合わせて表示し、緯度・経度・高度を計測する位置特定機器から測定点を取得し、前記位置特定機器を撮影し、撮影された位置特定機器の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元データの座標を現実空間の位置座標に変換するものである。
【００１３】
このため、特別な測量技術を必要とすることなく、測量対象となる３次元データを容易に生成するために、容易な操作で、３次元データで構成する仮想空間の位置座標を、現実空間の緯度・経度・高度情報に正確に置換することができるシステム、方法及びプログラムである。以下、本発明を実施するための最良の形態を、実施例に基づいて詳細に説明する。
【００１４】
＜全体構成＞・・・図１には、本実施形態の測定処理装置による撮影画面の一例が示されている。撮影画面は、静止画であってもよいし、動画であってもよい。また、図示の例では、測定処理装置１０は、スマートフォンであるが、タブレットやＰＣなどの他の端末であってもよい。測定処理装置１０の表示部３０には、実際に撮影されている現実空間４０と、当該撮影されている現実空間４０を３次元データで示した仮想空間４２とが重ね合わせて表示されている。また、位置特定機器５０が測定処理装置１０によって撮影される。
【００１５】
本実施例では、現実空間４０のソファを撮影している。また、３次元データは、３次元点群データとして以下では説明するが、３次元メッシュデータ、３次元ＴＩＮ（Ｔｒｉａｎｇｕｌａｔｅｄ  ｉｒｒｅｇｕｌａｒ  ｎｅｔｗｏｒｋ）データ、又は、それに類するデータであってもよい。３次元点群データは、多数の三角形からなる構成となっており、各三角形を構成する辺が、多数の３次元点群から構成されている。この３次元点群は、それぞれ、Ｘ座標、Ｙ座標、Ｚ座標を有している。点群処理は、例えば、ＬＩＤＡＲ（Laser Imaging Detection and Ranging：レーザー画像検出と測距）が用いられる。ＬＩＤＲは、光を用いたリモートセンシング技術の一つで、パルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質を分析するものである。
【００１６】
また、位置特定機器５０は、本実施例では、ＧＮＳＳ機器を用いている。ＧＮＳＳ（Global Navigation Satellite System）機器とは、人工衛星（測位衛星）を利用した全世界測位システム機器である。ＧＮＳＳ機器による測位の手法は公知であるが、ＧＮＳＳ機器と、４機の測位衛星との距離をそれぞれ計算し、４つの距離を求め、これら４つの距離が一つに交わる点を数学的に割り出すことで、そこを自己の位置と定める。具体的な計算負方法は公知のため、説明を省略する。
【００１７】
更に、本実施例では、前記表示部３０には、１つの位置測定機器５０のみが示されているが、複数（少なくとも４点）の測定点を用いて、ヘルマート変換またはプロクラステス分析を用いた変換をしてもよい。ヘルマート変換は、座標変換の一つであり、プロクラステス分析は、点同士の対応がとれた２つの点群に対して、並進・回転・一様なスケーリングの変換のもとで、点群間の二乗誤差が最小になるように重ね合わせる処理である。これらの技術は公知のため、詳細な説明は省略する。
【００１８】
測定処理装置１０は、位置特定機器５０を撮影し、撮影された位置特定機器５０の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元点群でデータの座標を現実区間の位置座標に変換する。これにより、特別な測量技術を必要とすることなく、測量対象となる３次元データを容易に生成するために、容易な操作で、３次元データで構成する仮想空間の位置座標を、現実空間の緯度・経度・高度情報に正確に置換することができる。
【００１９】
＜測定処理装置の構成＞・・・次に、図２及び図３を参照して、測定処理装置１０の構成を説明する。図２は、本実施形態の測定処理装置１０のハードウェア構成及び機能構成を示すブロック図である。測定処理装置１０は、ハードウェアとして、プロセッサ１２、メモリ１４、ストレージ１６、通信部２８、表示部３０、カメラ部３２を備えている。これらは、図示しないバスにより接続されている。なお、測定処理装置１０は、単体のコンピュータではなく、測定処理装置１０と通信可能なコンピュータがネットワークに接続され実現されるシステムであってもよい。
【００２０】
プロセッサ１２は、例えば、ＣＰＵ（Central Processing Unit）により構成され、メモリ１４に記憶された各種プログラムを読み出して実行することで、各種処理を行う。
【００２１】
前記メモリ１４は、プロセッサ１２により実行させるプログラムを記憶するものであり、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）により構成される。例えば、後述する拡張現実表示部３４、位置座標取得部３６、座標変換部３８が記憶されている。
【００２２】
ストレージ１６は、例えば、取得した撮影データ１８、３次元点群データ２０、測定点データ２２、対応テーブル２４、変換データ２６や、図示しない制御プログラムなどを記憶するものである。
【００２３】
撮影データ１８は、カメラ部３２によって撮影されたデータであり、３次元点群データ２０は、撮影データから生成された３次元点群データである。測定点データ２２は、位置特定機器５０によって取得した測定点であり、対応テーブル２４は、撮影された位置特定機器５０の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けたものである。
【００２４】
図３には、対応テーブルの一例が示されている。図３に示すように、対応テーブル２４は、撮影された位置特定機器５０の仮想空間４２内の位置座標（Ｘ軸、Ｙ軸、Ｚ軸）と、取得した現実空間の測定点の位置座標（緯度、経度、高度）とを対応付けたものである。
【００２５】
変換データ２６は、前記対応テーブル２４を用いて、所定の変換式で、３次元点群データの座標を現実空間の位置座標に変換したものである。
【００２６】
通信部２８は、図示しないネットワークを介して、位置特定機器５０や、その他の外部装置やサーバと各種データ通信を行うものである。
【００２７】
表示部３０は、例えば、タッチパネルであり、カメラ部３２は、例えば、測定処理装置１０に設けられたカメラである。
【００２８】
次に、測定処理装置１０の機能構成について説明すると、測定処理装置１０は、拡張現実表示部３４、位置座標取得部３６、座標変換部３８を備えている。これらの各部は、測定処理装置１０とネットワークで通信可能に接続された複数のコンピュータとともに実現されてもよい。すなわち、単数又は複数のサーバ側のコンピュータと測定処理装置１０が接続されて通信を行う事でこれらの各部が実現されてもよい。
【００２９】
拡張現実表示部３４は、撮影されている現実空間４０と、当該撮影されている現実空間を３次元点群データで示した仮想空間４２とを重ね合わせて表示するものである。例えば、図１のように、表示部３０に、現実空間４０と仮想空間４２（３次元点群データからなるメッシュデータ）が重ね合わせて表示される。点群処理は、例えば、ＬＩＤＡＲ処理が行われる。
【００３０】
次に、位置座標取得部３６は、緯度・経度・高度を計測する位置特定機器５０から測定点を取得するものである。なお、ここでいう位置座標取得部３６が取得する現実空間の位置座標とは、ＧＮＳＳ機器の測定値である。測定点は、一つに限らず、例えば、複数（少なくとも４点）取得することで、ヘルマート変換またはプロクラステス分析を用いた変換を行ってもよい。測定処理装置１０は、通信部２８を介して、前記位置特定機器５０から測定点を取得する。
【００３１】
座標変換部３８は、位置特定機器５０を撮影し、撮影された位置特定機器５０の仮想空間４２内の位置座標を、取得した現実空間４０の測定点の位置座標と対応付けて、所定の変換式で、３次元点群データの座標を現実空間の位置座標に変換するものである。
【００３２】
＜位置測定処理＞・・・次に、図４も参照しながら、本実施形態の位置測定装置１０による位置計測処理の一例を説明する。図４は、本実施形態による位置計測処理の一例を示すフローチャートである。
【００３３】
まず、カメラ部３２で現実空間４０を撮影する（ステップＳ１０）。撮影されたデータは、ストレージ１６に撮影データ１８として格納される。そして、拡張現実表示部３４によって、撮影されている現実空間４０と、当該撮影されている現実空間４０を３次元点群データで示した仮想空間４２と重ね合わせて表示する（ステップＳ１２）。３次元点群データは、ストレージ１６に記憶される。例えば、図１には、位置測定装置１０の表示部３０に、現実空間４０であるソファと、その仮想空間４２を示す３次元点群データからなるメッシュデータが重ね合わせて表示されている。
【００３４】
次に、位置座標取得部３６が、測定点を取得する（ステップＳ１４）。位置座標取得部６は、通信部２８を介して、緯度・経度・高度を計測する位置特定機器５０から測定点を取得する。取得した測定点は、ストレージ１６に測定点データ２２として記憶される。
【００３５】
そして、座標変換部３８は、位置特定機器５０を撮影し、撮影された位置特定機器５０の仮想空間４２内の位置座標を、取得した現実空間４０の測定点と対応付ける。このような対応テーブル２４が、ストレージ１６に記憶される。そして、座標変換部３８は、所定の変換式で、３次元点群データの座標を現実空間の位置座標に変換する（ステップＳ１６）。変換データ２６は、ストレージ１６に記憶される。
【００３６】
なお、本実施形態においては、検証点をプロットすることにより、誤差確認できるようにしてもよい。誤差が一定以内であることを確認できれば、工事現場でも使用することができ、また、ＩＣＴ（Information and Communication Technology）建機のデータに利用することも可能である。
【００３７】
更に、本実施形態において、位置特定機器５０を画像認識などにより自動検出して、座標を取得するようにしてもよい。
【００３８】
更に、本実施形態において、位置特定機器５０が写り込むようにして動画を撮影してもよい。例えば、図５に示すように、住宅の建築現場（現実空間４０）の動画を撮影した場合、現実空間４０に３次元点群データで示した仮想空間４２を重ね合わせて表示し、静止画の場合と同様に処理を行って、３次元点群データの座標を現実空間の位置座標に変換してもよい。
【００３９】
＜効果＞・・・このように、本実施形態によれば、カメラ部３２によって現実空間４０を撮影し、拡張現実表示部３４によって、撮影されている現実空間４０と、当該撮影されている現実空間４０を３次元点群データで示した仮想空間４２と重ね合わせて表示する。そして、位置座標取得部３６によって、緯度・経度・高度を計測する位置特定機器５０から測定点を取得し、座標変換部３８によって、前記位置特定機器５０を撮影し、撮影された位置特定機器５０の仮想空間４２内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元点群データの座標を現実空間の位置座標に変換することとした。
【００４０】
このため、特別な測量技術を必要とすることなく、測量対象となる３次元データを容易に生成するために、容易な操作で、３次元データで構成する仮想空間の位置座標を、現実空間の緯度・経度・高度情報に正確に置換することができる。
【００４１】
上述した実施形態は一例であり、同様の効果を奏する範囲内で適宜変更が可能である。
(1)前記実施形態で示した現実空間４０と仮想空間４２は一例であり、屋外の建物や山や河川等の任意の場所について、本発明は適用可能である。
(2)前記実施形態で示した測定点の数は、一例であり、必要に応じて適宜増減してよい。
(3)前記実施形態で示したヘルマート変換やプロクラステス分析を用いた変換も一例であり、同様の効果を奏する限り、公知の各種の変換方法を適用してよい。
【００４２】
(4)前記実施形態で示した位置特定機器５０も一例であり、図示の例では、小型のものが使用されたが、屋外の撮影の際には、基準点となる杭に、計測点を先端に有するＧＮＳＳ測量機器を杭打ちしたものを用いてもよく、測定対象に応じて、適したＧＮＳＳ機器を使用してよい。
(5)前記実施形態では、３次元点群処理を、ＬＩＤＡＲにより行うこととしたが、他の公知の各種の手法で点群処理を行うことを妨げるものではない。
【００４３】
(6)前記実施形態では、例えば、スマートフォンなどの測定処理装置１０で全ての処理を行うこととしたが、これも一例であり、一部の機能を外部のデバイスやサーバで行うようにしてもよい。
(7)本発明は、測定処理装置１０で実行されるプログラムとして提供されてもよい。このプログラムは、コンピュータが読取可能な記録媒体に記録された状態で提供されていてもよいし、ネットワークを介してダウンロード可能としてもよい。また、本発明は、方法の発明として提供されてもよい。
【産業上の利用可能性】
【００４４】
本発明によれば、現実空間を撮影し、撮影されている現実空間と、当該撮影されている現実空間を３次元点群データで示した仮想空間と重ね合わせて表示し、緯度・経度・高度を計測する位置特定機器から測定点を取得し、前記位置特定機器を撮影し、撮影された位置特定機器の仮想空間内の位置座標を、取得した現実空間の測定点の位置座標と対応付けて、所定の変換式で、３次元点群データの座標を現実空間の位置座標に変換する。
【００４５】
このため、特別な測量技術を必要とすることなく、測量対象となる３次元データを容易に生成するために、容易な操作で、３次元データで構成する仮想空間の位置座標を、現実空間の緯度・経度・高度情報に正確に置換することができるため、測定処理装置の用途に好適である。
【符号の説明】
【００４６】
１０：測定処理装置
１２：プロセッサ
１４：メモリ
１６：ストレージ
１８：撮影データ
２０：３次元点群データ
２２：測定点データ
２４：対応テーブル
２６：変換データ
２８：通信部
３０：表示部
３２：カメラ部
３４：拡張現実表示部
３６：位置座標取得部
３８：座標変換部
４０：現実空間
４２：仮想空間
５０：位置特定機器
【要約】
【課題】特別な測量技術を必要とすることなく、測量対象となる３次元データを容易に生成するために、容易な操作で、３次元データで構成する仮想空間の位置座標を、現実空間の緯度・経度・高度情報に正確に置換する。
【解決手段】測定処理装置１０は、現実空間をカメラ部で撮影し、撮影されている現実空間４０と、当該撮影されている現実空間４０を３次元データで示した仮想空間４２と重ね合わせて表示し、緯度・経度・高度を計測する位置特定機器５０から測定点を取得し、前記位置特定機器５０を撮影し、撮影された位置特定機器５０の仮想空間４２内の位置座標を、取得した現実空間４０の測定点の位置座標と対応付けて、所定の変換式で、３次元データの座標を現実空間の位置座標に変換する。これにより、３次元データで構成する仮想空間４２の位置座標を、現実空間４０の緯度・経度・高度情報に正確に置換する。
【選択図】図１【図１】
0006928217.tif 000002
【図２】
0006928217.tif 000003
【図３】
0006928217.tif 000004
【図４】
0006928217.tif 000005
【図５】
0006928217.tif 000006