(57)【要約】  ＡＵＶ、ＲＯＶ、又はトライポッド等の水中プラットフォーム上に取り付けられた３Ｄレーザを使用して海中構造物及び他の水中構造物の自律型水中検査を行うシステム及び方法。本明細書に記載されるシステム及び方法は、例えば水中構造物の３Ｄ仮想モデルを生成する等の目的のために水中構造物のより良好な理解を得るために、水中構造物を走査するために使用可能である。３Ｄ仮想モデルは、多くの目的のために使用可能であり、この目的は、水中構造物の検査、修理、及び操作を指示すること、水中構造物の周囲を航行すること、並びに他の目的を含むが、これらに限定されない。【特許請求の範囲】
【請求項１】
少なくとも１つのレーザビームパルスを、水中プラットフォーム上に取り付けられたレーザから水中構造物に向けるステップと、
前記水中プラットフォーム上に取り付けられた光検出器を使用して、前記水中構造物から反射された光を検出するステップと、
検出された光から第１のデータポイントクラウドを生成するステップであって、当該第１のデータポイントクラウドは、前記水中構造物の３次元モデルを生成することに適している、ステップと、
前記第１のデータポイントクラウドから、前記水中構造物の仮想アラインメントモデルを生成するステップと、
１つ又は複数の更なるレーザビームパルスを前記水中構造物に向けるステップと、
前記光検出器を使用して前記水中構造物から反射される光を検出して、第２のデータポイントクラウドを生成するステップと、
前記仮想アラインメントモデルに、取得された第２のデータポイントクラウドのサンプルをアラインするステップと、
前記仮想アラインメントモデル及び前記第２のデータポイントクラウドのサンプルを用いて、前記水中構造物の３次元仮想モデルを構築するステップと、
を含む、方法。
【請求項２】
ボウタイ走査モード、連続走査モード、又はフル走査モードにおいて、前記複数のレーザビームパルスを、前記レーザから前記水中構造物に向けるステップを更に含む、
請求項１に記載の方法。
【請求項３】
前記少なくともレーザビームパルスを向けて反射された光を検出するとき、前記水中プラットフォームは静止していない、
請求項１に記載の方法。
【請求項４】
前記水中機は、自律型水中機、遠隔操作型機、又はトライポッドのうちの１つである、
請求項１に記載の方法。
【請求項５】
前記第１のデータポイントクラウド及び前記第２のデータポイントクラウドをフィルタリングするステップを更に含む、
請求項１に記載の方法。
【請求項６】
サンプルをアラインするステップは、反復的なフィット処理を繰り返し実行するステップを含み、当該反復的なフィット処理は、サンプリングされた複数のデータポイントクラウドを調整して、生成された前記アラインメントモデルと適合させることを含む、
請求項１に記載の方法。
【請求項７】
アラインメントモデルを生成するステップは、前記水中構造物の少なくとも第１のパスのループクロージャ処理を実行するステップを更に含み、当該ループクロージャは誤差伝搬を最小化する初期基準を設定するように構成される、
請求項１に記載の方法。
【請求項８】
前記３次元モデルを構築するステップは、複数の更なるデータポイントクラウドの複数のサンプルを前記アラインメントモデルとアラインするステップを含む、
請求項１に記載の方法。
【請求項９】
前記複数の更なるデータポイントクラウドの各々は、前記水中構造物の領域の異なる視点から収集されたデータを表す、
請求項８に記載の方法。
【請求項１０】
前記異なる視点のうちの少なくとも幾つかは、
前記複数の更なるデータポイントクラウドからのデータの少なくとも一部が重複するように、少なくとも部分的に互いに重複する、
請求項９に記載の方法。
【請求項１１】
水中プラットフォーム及び当該水中プラットフォーム上に取り付けられた３次元レーザシステムであって、前記レーザシステムは、複数のレーザビームパルスを水中構造物に向けて投射する操向可能なレーザと、前記水中構造物から反射された光を検出する光検出器とを含む、水中プラットフォーム及び当該水中プラットフォーム上に取り付けられた３次元レーザシステムと、
前記レーザシステムによって生成されたポイントクラウドデータを格納する、前記レーザシステムと通信するポイントクラウドデータストレージと、
前記データストレージからのポイントクラウドデータを処理する、前記ポイントクラウドデータストレージと通信するデータプロセッサであって、前記データプロセッサは、前記ポイントクラウドデータから３次元仮想モデルを生成するように構成される、データプロセッサと、
を備える、システム。
【請求項１２】
前記データプロセッサは、仮想アラインメントモデルを生成するように、且つ取得されたデータポイントのサンプルを前記仮想アラインメントモデルにアラインするように、且つ前記仮想アラインメントモデル及び前記データポイントクラウドのサンプルから前記水中構造物の３次元仮想モデルを生成するように、構成される、
請求項１１に記載のシステム。
【請求項１３】
前記水中プラットフォームは、自律型水中機、遠隔操作型水中機、又はトライポッドのうちの１つである、
請求項１１に記載のシステム。
【請求項１４】
前記水中プラットフォームは、自律型水中機又は遠隔操作型水中機を備え、
前記ポイントクラウドデータストレージ及び前記データプロセッサは、前記水中プラットフォーム上にあり、
前記水中プラットフォームは、前記データプロセッサと通信する水中機航行システムを更に含む、
請求項１１に記載のシステム。
【請求項１５】
前記データプロセッサ、及び／又は前記ポイントクラウドデータストレージは、前記水中プラットフォームから分離した１つ又は複数の位置にある、
請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、海中構造物及び他の水中構造物の検査を行うための、水中プラットフォーム上のＬＩＤＡＲの使用に関する。ＬＩＤＡＲから得られるデータは複数の目的のために使用可能であり、上記複数の目的は、水中構造物の３次元（３Ｄ）仮想モデルを生成することを含むが、これらに限定されない。
【背景技術】
【０００２】
国際公開第２０１２／０６１０６９号（特許文献１）、国際公開第２０１２／０６１０９７号（特許文献２）、国際公開第２０１２／０６１０９９号（特許文献３）、国際公開第２０１２／０６１１３７号（特許文献４）、国際公開第２０１２／０６１１３５号（特許文献５）、及び国際公開第２０１２／０６１１３４号（特許文献６）より、海中構造物及び他の水中構造物の検査を行う水中機（ｕｎｄｅｒｗａｔｅｒ  ｖｅｈｉｃｌｅ）上の３Ｄソナーを用いるシステム及び方法は公知であり、これらの各々は、参照によりその全体が本明細書に組み込まれる。国際公開第２０１２／０６１１３７号（特許文献４）において、水中構造物の３Ｄ仮想モデルを生成するために、３Ｄソナーから得られるデータが使用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１２／０６１０６９号
【特許文献２】国際公開第２０１２／０６１０９７号
【特許文献３】国際公開第２０１２／０６１０９９号
【特許文献４】国際公開第２０１２／０６１１３７号
【特許文献５】国際公開第２０１２／０６１１３５号
【特許文献６】国際公開第２０１２／０６１１３４号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、３Ｄレーザを使用して海中構造物及び他の水中構造物の検査を行うシステム及び方法に関する。特に、３Ｄレーザを使用した自律型水中検査に関連するシステム及び方法が記載され、当該自律型水中検査はすなわち光検出及び測距（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）（又はＬＩＤＡＲ）であり、またレーザ検出及び測距（Ｌａｓｅｒ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）（又はＬＡＤＡＲ）とも称される。本開示全体を通して使用されるＬＩＤＡＲ、ＬＡＤＡＲ、及び３Ｄレーザの用語（又は同様の用語）は、互いに同義的であることが意図される。
【課題を解決するための手段】
【０００５】
本明細書に記載されるシステム及び方法は、水中機等の適切な水中プラットフォームを用いて実施され、上記水中プラットフォームは自律型水中機（ＡＵＶ）、遠隔操作型機（ＲＯＶ）、若しくはダイバーにより操作される装置、又はトライポッド等の他の水中プラットフォームを含むが、これらに限定されない。従って、以下の記載は特にＡＵＶに対して言及し得るが、本明細書に記載されるシステム及び方法は、固定されるか静止した他の種類の水中プラットフォームを採用して用いられることが可能である。本明細書において用いられるように、ＲＯＶは、ケーブルを用いて水上船等のホストにテザー接続されることができる遠隔操作型水中機である。ＲＯＶはホストに搭乗したパイロットによって占有されず、また当該ＲＯＶは当該ホストによって操作される。テザーは、ホストとＲＯＶとの間で双方向に、例えば電力（これに代えて若しくはこれに加えて、自給式のシステム上の補助バッテリ電力）、映像信号及びデータ信号を伝送することができる。本明細書において用いられるように、ＡＵＶは、無人の且つホスト船舶にテザー接続されていない自律型水中機である。
【０００６】
本明細書に記載されるシステム及び方法は、例えば水中構造物の３Ｄ仮想モデルを生成すること等の目的のために水中構造物を走査して水中構造物のより良好な理解を得るために、使用可能である。３Ｄ仮想モデルは多くの目的のために使用可能であり、この目的は、水中構造物の検査、修理、及び操作を指示すること、水中構造物の周囲を航行すること、及び他の複数の目的を含むが、これらに限定されない。
【０００７】
記載されるシステム及び方法は、任意の種類の水中構造物を走査するように使用可能である。例えば、水中構造物は、海上石油プラットフォームの支持構造物及び橋脚、並びに油井関連の設備等の人工オブジェクトを含み、また海中山脈等の自然オブジェクトを含み、更に全体的に又は部分的に水中にある構造物を含むことができる。水中構造物はまた、静止した構造物と、例えば水中環境において漂流を経験し得る静止しない構造物との両方を含むことができる。より一般的に、水中構造物は、深さ変化を有し且つ変動する複雑性を有し得る、任意の３次元構造物を包含することが意図される。
【０００８】
本明細書において用いられるように、「水中」の用語は、水中構造物が位置され得且つ本明細書に記載されるシステム及び方法を用いて走査される必要があり得る、任意の種類の水中環境を含み、当該水中環境は、海及び大洋等の塩水位置、並びに淡水位置を含むが、これらに限定されない。
【０００９】
一実施形態において、水中構造物の３Ｄ仮想モデルを構築する方法は、１つ又は複数のレーザビームを、水中プラットフォーム上に取り付けられた３Ｄレーザから水中構造物に向けるステップと、水中構造物から反射された光を検出するステップと、を含む。検出された反射された光からデータポイントクラウドが取得され、当該データポイントクラウドは水中構造物の一部の３次元仮想モデルを提供するように処理される。水中構造物のアラインメントモデルは、取得されたデータポイントクラウドに基づいて生成される。更なるレーザビームは、水中構造物及び取得された新しいデータポイントクラウドに向けられる。取得された新しいデータポイントクラウドのサンプルは、アラインメントモデルにアラインされ、水中構造物の３Ｄ仮想モデルは複数のデータポイントクラウドのうちの少なくとも１つを用いて構成される。新しいデータポイントクラウドが取得されるとき、プロセッサはデータストレージから新しいデータポイントクラウドを取得するように構成される。プロセッサは、取得された新しいデータポイントクラウドをアラインメントモデルにアラインして、アラインされたデータポイントクラウドをアラインメントモデルに追加するように構成される。この処理の完了時において、アラインメントモデルは水中構造物の３Ｄ仮想モデルを表現する。
【図面の簡単な説明】
【００１０】
【図１】本明細書に記載されるＡＵＶベースの３Ｄレーザ検査システムの一例を示す。
【図２】パイロンにおける３Ｄレーザの配置を示す、ＡＵＶから取り除かれたＡＵＶパイロンの上面図である。
【図３】３Ｄレーザの光学部品のための圧力容器を示す。
【図４】３Ｄレーザを制御する電子部品のための圧力容器を示す。
【図５】３Ｄレーザの向きを示す、ＡＵＶの前面図である。
【図６】連続ライン走査モードにおける３Ｄレーザの動作を示す。
【図７】ボウタイモードにおける３Ｄレーザの動作を示す。
【図８】フル走査モードにおける３Ｄレーザの動作を示す、ＡＵＶの側面図である。
【図９】フル走査モードにおける動作を示す、ＡＵＶの前面図である。
【図１０】フル走査モードにおける前向きの視野を示す、ＡＵＶの上面図である。
【図１１】パイプライン検査を行うための向きの一実施形態をデモンストレートする、ＡＵＶの前面図である。
【図１２】ＡＵＶ上の３Ｄレーザと他のサブシステムとの間の例示的なインタフェースを示す。
【図１３Ａ】種々のアジマスにおける管状のオブジェクトを走査するときの、レーザのカバレッジを示す。
【図１３Ｂ】種々のアジマスにおける管状のオブジェクトを走査するときの、レーザのカバレッジを示す。
【図１３Ｃ】種々のアジマスにおける管状のオブジェクトを走査するときの、レーザのカバレッジを示す。
【図１４】水中構造物の３次元モデルを構築する方法の一実施形態のフロー図を示す。
【図１５】水中構造物の３次元仮想モデルを構築するための、反射された光のデータと位置及び向きの情報とを処理するための一実施形態のフロー図を示す。
【図１６】図１４に示す方法において用られ得る、反射された光のデータを水中構造物のアラインメントモデル（Ａｌｉｇｎｍｅｎｔ  Ｍｏｄｅｌ）に比較する一実施形態のフロー図を示す。
【図１７】図１４に示す方法において用いられ得る、反射された光から得られるポイントクラウドデータに対する例示的なフィルタリング処理のフロー図を示す。
【図１８】３Ｄレーザを有するＡＵＶの概略図である。
【発明を実施するための形態】
【００１１】
図１は、水中構造物の検査を行うために水面下に自航式ＡＵＶ２が配置される、ＡＵＶベースの（ＬＩＤＡＲ又はＬＡＤＡＲとも呼ばれる）３Ｄレーザ検査システム１の一例を示す。レーザビームの投射と反射の検出との間の時間を測定して距離を測定することと、ＬＡＤＡＲを用いて３Ｄ仮想モデルを生成することを含むＬＡＤＡＲシステムの構成、操作、及び使用は、本技術分野においてよく知られている。以下において更に検討されるポイントクラウドは、投射されるレーザビームパルスの角度及び時間と、検出されるパルスの時間と、水中機航行システムによって報告されるセンサの位置と、から生成される。
【００１２】
ＡＵＶ２は、任意の水中構造物を検査するように使用可能である。水中構造物の例は、複数の支持脚部を備えるプラットフォーム支持構造物３、水中パイプライン４、水中施設５、及び他の水中構造物を含むが、これらに限定されない。ＡＵＶ２動作は水上船又は他の非水中式機によって支援されることができ、この水上船又は他の非水中式機は、地上施設と通信可能である人工衛生と通信可能である。この通信チェインは例示的でしかなく、他の通信チェインが利用されることは可能である。
【００１３】
ＡＵＶ２には、水中構造物の３Ｄレーザ検査を行う３Ｄレーザシステムを収容するパイロン６が取り付けられる。ＡＵＶ２は、水中移動と動作を行うように構成され且つ３Ｄレーザシステムを支持することができる任意の水中機であることが可能である。１つの非限定的な例において、３Ｄレーザシステムを収容できるパイロンを有するＡＵＶは、メリーランド州ベセスダのロッキード・マーティン社から入手可能であるＭａｒｌｉｎ（登録商標）  ＡＵＶである。３Ｄレーザシステムはパイロン６内にあるものに限定されず、またＡＵＶ２内に位置するものに限定されない。むしろ、３Ｄレーザシステムは、ＡＵＶ２の外側を含むＡＵＶ２上の任意の適切な位置に装着可能である。
【００１４】
ＡＵＶは、任意の適切な３Ｄレーザシステムを使用することができる。１つの非限定的な例において、使用される３Ｄレーザシステムは、コロラド州ボルダーの３Ｄ  Ａｔ  Ｄｅｐｔｈ，ＬＬＣによって製造されるＤｅｐｔｈ  Ｐｅｒｃｅｐｔｉｏｎ  ３Ｄレーザに基づくことができる。Ｄｅｐｔｈ  Ｐｅｒｃｅｐｔｉｏｎ  ３Ｄレーザは、最大３０００メートルまでの深さにおける調査品質３Ｄデータ収集を提供する。Ｄｅｐｔｈ  Ｐｅｒｃｅｐｔｉｏｎレーザは、パルスレーザと、レーザ受信器電子部品（例えば、光検出器等の反射された光を検出する手段）と、処理ソフトウェア及びアルゴリズムと、を含む。
【００１５】
ＡＵＶは本明細書に記載され、また図示される実施形態において示されるが、３Ｄレーザシステムは他の水中プラットフォーム上に取り付け可能である。当該他の水中プラットフォームは、ＲＯＶ等の他の自航式のプラットフォーム、又はトライポッド等の非自航式のプラットフォームを含むが、これらに限定されない。
【００１６】
ＡＵＶ２並びに水上船及び／又は地上施設等の支援サブシステムは、以下の機能及び能力が、単独で又は任意の組み合わせで、提供されることができる。
・ＡＵＶは、一般的な３Ｄマッピング及び検査を実行する。
・ＡＵＶは、近距離での検査及び測定を実行する。
・水上船及び／又は他の（複数の）支援サブシステムは、ＡＵＶ上の、前向きのソナー、３Ｄソナー、３Ｄレーザ、及び静止画像カメラの動作状態を表示することができる。
・水上船及び／又は他の（複数の）支援サブシステムは、ＡＵＶの操作者が３Ｄレーザの動作を命令することを可能にする。この３Ｄレーザの動作は、連続走査モード、フル走査モード、又はボウタイ走査モードを含むが、これらに限定されない。
・水上船及び／又は他の（複数の）支援サブシステムは、マルチ解像度モデルを生成する能力を有することができ、ここで、ソナー、レーザ、又は結合され最適化されるデータセットがモデルのセクションに使用可能であるかに依存して、モデルの異なるセクションは異なる解像度を有する。
・ＡＵＶは、予め決定された距離の範囲において予め決定されたサイズ又はより大きなサイズを有する存在する構造物によって囲られていない正の異常（すなわち、既存のモデルに基づくと予期されないが、生成されたデータには現れる構造物）の統計的性能検出の能力を有することができる。
・ＡＵＶは、予め決定された距離の範囲において予め決定されたサイズ又はより大きなサイズを有する存在する構造物によって囲られていない負の異常（すなわち、既存のモデル上に現れるが、生成されたデータには現れない構造物）の統計的性能検出の能力を有することができる。
・ＡＵＶは、予め決定された距離の範囲において予め決定されたサイズを有する略存在する構造物の正の異常の、統計的性能検出の能力を有することができる。
・ＡＵＶは、予め決定された距離の範囲において予め決定されたサイズを有する略存在する構造物の負の異常の、統計的性能検出の能力を有することができる。
【００１７】
ひとたび異常が３Ｄマッピング走査から特定されると、ＡＵＶは、自律的に又は支援サブシステムからの命令に基づいて、高精細光学画像の収集に適した離れた距離におけるこれらの領域を再調査するための経路を再計画することができる。
【００１８】
例示的な一実施形態において、ＡＵＶが水中にある間、レーザデータのいかなる処理も発生することはない。この例において、生のセンサデータは、支援サブシステムによって、例えばホスト水上船又は地上施設によって、複数のポイントクラウドに格納されて処理されることとなる。複数のポイントクラウドは次いで、３Ｄ仮想モデル構築のために後処理されることができる。レーザデータのリアルタイム分析が望まれる場合、レーザデータのリアルタイム処理は、ＡＵＶ上で発生することができる。
【００１９】
ＡＵＶは、水面下の構造物の検査動作と、構造的な異常を検査及び報告することと、分析のための詳細な検査データを収集することとを自律的に実行するように構成可能である。検査されるべき水中構造物に応じて、ＡＵＶは、検査を可能にするための適切な検査パッケージが提供されることができる。
【００２０】
図２〜４を参照して、パイロン６は、３Ｄレーザシステム１０を当該パイロン６に収容する。図示される例において、３Ｄレーザシステム１０の電子部品及び光学部品は、２つの分離したエンクロージャに分割可能である。これらエンクロージャは、レーザエミッタ及び反射光検出器を含む３Ｄレーザのための光学部品を収容する光学部品圧力容器エンクロージャ１２と、レーザを操作及び制御する電子部品を収容する電子部品圧力容器エンクロージャ１４とを含む。
【００２１】
レーザは、動作シナリオ毎に任意の軸センサ角度で取り付け可能である。一実施形態において、光学部品エンクロージャ１２のレーザは、図５に示すように、側方を見下げる近似的に４５度の角度αで、取り付け可能である。この側方を見る角度は、関心領域の垂直方向及び水平方向の面の良好なカバレッジを提供する。レーザは左舷（ポートサイド）を指し示すように取り付けられるように図示されているが、レーザは、右舷（スターボード）、前方、船尾方向、下方、又は上方を向くように取り付け可能である。
【００２２】
一実施形態において、レーザ取り付け角度の電動化された制御は提供可能である。図３を参照し、光学部品エンクロージャ１２は、レーザビームの軸外（オフアクシス）のポインティングを提供する操向可能なミラーアセンブリ１６を収容する。図５に示す一例において、折り下げアセンブリ１６は、例えばエンクロージャに直交する約±１５度の、動作Ｘの結果ウィンドウを提供する垂直方向のラスタ走査と、例えばエンクロージャに対して約０度から約１５度までの軸の前方向のラスタ走査とを提供することができる。前方向の走査装置（スキャナ）動作と垂直方向の走査装置動作の両方は、各種の動作モードに対応するように完全にプログラム可能であることができる。
【００２３】
一実施形態において、３Ｄレーザ１０は、以下のうち１つ又は複数を有することができる：
・「側方を向く」能力
・スタンドアロンユニット又は「ブラックボックス」としてセンサが使用されることを可能にするイーサネット（登録商標）アプリケーションプログラマブルインタフェース（ＡＰＩ）
・最大約３００メートルの深さの能力
・アイセーフモードにおいて動作が可能
・常時安全な動作を確実にするための安全保護装置（セーフティインターロック）を含む
・電気的雑音は最小化され、信号品質は維持される
・種々のＡＵＶの速度、範囲（レンジ）、及び走査装置構成のための、十分なスポットカバレッジ
【００２４】
図４を参照して、電子部品エンクロージャ１４は、電力、及びＡＵＶ２との通信インタフェース、並びに光学部品エンクロージャ１２とのインタフェースを提供する。
【００２５】
３Ｄレーザ１０は、動作の任意の適切なモードに制御可能であり、この動作は、動作の、以下の３つの例示的なモードを含むが、これらに限定されない。
・連続走査モード
・ボウタイモード
・フル走査モード
【００２６】
イーサネット（登録商標）アプリケーションプログラミングインタフェース（ＡＰＩ）は、走査モードが調整されることを可能にする。
【００２７】
図６を参照して、連続走査モードは、ＡＵＶ２の前方移動を利用して、完全にプログラム可能な、ライン走査する、垂直方向に走査する動作を提供する。連続走査モードにおいて、検査されている水中構造物の一部によって反射されたレーザ光によって生成されるレーザリターンデータは、各走査線の後に、電子部品からホストプロセッサに送信される。これは、リアーム（ｒｅ−ａｒｍ）時間と呼ばれる。垂直方向の走査線毎のわずかな前進軌道修正は、略垂直方向の走査パターンを提供して更に対称的な全体の走査パターンを得るように、適用可能である。図６は、垂直方向のターゲットのための連続走査モードを示す。
【００２８】
図７を参照して、連続走査モードの適合であるボウタイ走査モードが示される。ボウタイ走査モードは、インタレースされた前方ポインティングを用いた、完全にプログラム可能なライン走査動作を提供する。このモードは、高速走査と、航行援助として有用である完全な視野動作とを提供する。図７に示すように、レーザビームは、位置１から開始して、ＡＵＶの移動の方向に位置２へ一般的に横に移動して、「ボウタイ」パターンを通って掃引される。位置２から、レーザビームは位置３へ向かう角度で掃引し、次いで位置３から位置４へ横に掃引し、最後に位置４から位置１に戻る角度で掃引する。ボウタイパターンの特性は完全にプログラム可能であることができ、また一実施形態において、４つの掃引セグメントの各々は、等しい数のレーザパルスを含む。
【００２９】
図８〜１０を参照して、連続走査モードに類似して機能するフル走査モードが示される。しかしながら、フル走査モードにおいて、前進軌道角度は、所与のターゲットの高度な詳細をキャプチャするために、又はより大きな視野を迅速にキャプチャするために、垂直方向の複数のパスの間でステップが設けられる。リアーム動作は、連続走査モードにおけるように垂直方向の各パスの後の代わりに、完全な走査の後に発生する。フル走査モードにおいて、前進軌道走査角度θは、例えば約０度から約１５度までの角度でステップが設けられる。フル走査モードは、走査レート並びに前方向及び垂直方向のカバレッジ角度のために、完全にプログラム可能である。側方走査方向に対して「垂直方向の」と名前が付けられているが、それにもかかわらずラスタ走査モーションは「交差軌道」であると見なされる。レーザは、見下げるように、又は関心のあるターゲットに依存する回転された向きで、取り付け可能である。更に、即時の調整及びターゲットカバレッジに対するアプリケーション毎のセンサの電動化された移動はまた、提供可能である。
【００３０】
上で指摘したように、センサの全視野を使用することは、ターゲット表面のより良好なカバレッジを提供する。走査パターンは残りのポイントクラウド誤差に対して影響を及ぼさないことが見つけ出された。選択された走査パターンは視野の両端を使用すべきであり、高いデータレートを提供すべきであり、且つ典型的な動作範囲及び速度で構造物の均一なサンプリングを提供すべきである、ということが理解されよう。可能な最も高いデータレートを得るために、走査線間のダウンタイムは最小化されるべきである。最小のダウンタイムで視野の一方の側を走査して次に他方の側を走査するために、対角の走査線は使用可能である。これらの因子に基づいて、多数の例においてボウタイ走査パターンは好ましい走査パターンであり得る、ということが見つけ出されている。
【００３１】
命令及び制御のための通信パケットは、例えばＴＣＰ／ＩＰイーサネット（登録商標）プロトコルを介して、レーザ１０から送信及び受信可能である。レーザは、そのネットワーク接続のための静的ＩＰアドレスを用いて構成可能である。レーザは、テレメトリと呼ばれる、特定の命令に対する命令確認応答パケットを提供することができる。更に、レーザは、一定間隔で「ハウスキーピング」テレメトリパケットを提供してレーザの現在の動作状態を記述することができる。環境情報はまた、レーザ測距精度及びレーザのための安全な動作条件の決定のために、レーザ送信可能である。更に、ＡＵＶとレーザの間で時刻同期が用られることができる。時刻同期は、現在のレーザポインティング及び測距情報をＡＵＶの現在の位置と向きと同期させるために、利用される。
【００３２】
図１２は、ＡＵＶ上の３Ｄレーザ１０と他のサブシステムとの間の例示的なインタフェースを示す。例えば、時刻同期信号、レーザ電力制御、及び他の信号は、レーザ１０とＡＵＶ制御モジュール１８との間で通信可能であり、その一方でレーザ制御信号及び環境データ信号は、レーザ１０と、ＡＵＶ知覚モジュール２０との間で通信可能である。
【００３３】
レーザは、例えばパケットを用いて、ＡＵＶモジュール１８及び２０と通信可能である。全ての命令及びテレメトリパケットは、パケットヘッダと、パケットデータとを含むことができる。命令パケットはＡＵＶ２上で生成されて、ＴＣＰ／ＩＰインタフェースを介してレーザ１０に送信される。レーザは、命令の成否（パス／失敗）状態を記述する応答テレメトリパケットを用いて全ての命令パケットに対して応答することとなる。
【００３４】
テレメトリパケットはレーザ１０上で生成されて、ＴＣＰ／ＩＰインタフェースを介してＡＵＶモジュール１８及び２０に送信される。いくつかのテレメトリパケットは命令に応答して発行され、またハウスキーピングパケット等の他の信号は一定間隔で送信される。
【００３５】
３Ｄ仮想モデルを構築するとき、以下の誤差原因は最小化されるべきである。
センサノイズ（アジマス、エレベーション、レンジ雑音）
塩分濃度及び温度の勾配
３ＤレーザシステムとＡＵＶ航行システムとの間の時刻同期誤差
航行誤差
較正誤差
（無視可能な）３Ｄモデル表現誤差
【００３６】
分離したミッションは、ＧＰＳ誤差により、異なる初期位置誤差を有する。２つのミッションの間の差異は、簡単に数メートルになり得る。互いのデータセットのアラインメントは、自動化された変化検出に必要である。
【００３７】
例えば１ミリ秒（ｍｓ）未満のタイミング誤差を保つ、３ＤレーザシステムとＡＵＶの航行システムとの間の時刻同期アプローチはまた、選択可能である。従来の時刻同期技術は同期を達成するように使用可能である。
【００３８】
較正誤差は、航行システムの姿勢に対して相対的な３Ｄレーザシステムの姿勢の測定における誤差である。較正誤差を低減するために、オフライン（陸地）及びオンラインの較正測定アプローチが比較された。オンラインアラインメントアプローチは、それが１回だけのオフラインアラインメントの後の物理的なミスアラインメントによってもたらされる任意の誤差を除去するため、好ましいと思われる。
【００３９】
図１３Ａ〜１３Ｃを参照して、アジマスの全範囲上の走査は、感知される領域を最大化する。図１３Ａは、単一のアジマスにおいてオブジェクトを走査するときのカバレッジ領域を示す。図１３Ｂは、アジマスの全範囲において走査するときのカバレッジ領域を示す。図１３Ｃに示すように、構造物のコーナーにおいてアジマスの全範囲上を走査するときに、更なるカバレッジが提供される。
【００４０】
ＬＡＤＡＲを用いて構成されたＡＵＶを用いたリアルタイムでの海中構造物の３Ｄ仮想モデル構築
【００４１】
３Ｄレーザデータから水中構造物のモデルを構築することは、各レーザパルスのときにおけるセンサの位置と向きの知識を要する。先行する開示は、ソナーデータを用いて既存のモデルに対して相対的な位置と向きの推定の問題に取り組んできた。しかしながら、既存のモデルがない場合、そのアプローチは使用可能でない。困難な問題は、水中構造物の３Ｄモデルの構築の後の、既存のモデル又は精密な位置／航行／姿勢情報を用いない、位置と向きの推定である。この問題は多くの場合、同時位置決め地図作成（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ、ＳＬＡＭ）と呼ばれる。
【００４２】
本明細書に記載のアプローチは、各レーザパルスに対して単一のデータポイントを生成する３Ｄレーザを使用し、複数のデータポイントは次いで、完全な深さ画像を生成するために組み合わされる。いかなる推測的な３Ｄモデルも、開示されたアプローチによって必要とされない。本アプローチは、以前のモデルよりもむしろ、構築されているモデルに適合し、また、環境から直接的に導出される３Ｄレーザデータから、同時位置決め地図作成を提供する。代替の実施形態において、単一のレーザパルスから複数のデータポイントを生成する３Ｄレーザシステム、例えばフラッシュＬＡＤＡＲシステムは、使用可能である。
【００４３】
この問題は、ソナーを含む多くのセンサ及び画像において取り組まれている。ソナーにおいて、それは、複雑な３Ｄ構造をモデリングするアプリケーションにおいてよりもむしろ、等深線アプリケーションにおいて使用されている。深度線ソナーを使用するアプローチは、ソナーデータの複数のパッチを一緒に適合させて複数のパスをアラインする２．５Ｄ適合アプローチを用いる。このアプローチは、ソナーデータにおいて多くの深さの変化を有する石油掘削装置又は橋脚等の複雑な３Ｄ構造物に対処できない。
【００４４】
図１４は、既存の水中構造物の３Ｄ仮想モデルを構築する方法３０の一実施形態のフロー図を示す。一般的に、本方法は、例えば３Ｄレーザセンサである、特徴に基づいたセンサと、水中構造物の仮想アラインメントモデル又は仮想ワーキングモデルを生成するプロセッサと一緒に、水中機の慣性航行能力を用いて実施される。後続の複数のレーザパルスからの新たに取得されたデータは、アラインメントモデルにアラインされる。ワーキングモデルは、新しいデータが取得されれたときに更新及び参照され、従って水中構造物の３Ｄ仮想モデルを構築する。多くの環境において、モデル構築は、水中機に搭載されて（オンボードで）リアルタイムで実行可能である。例えば、３Ｄレーザパルスを送出して、３Ｄレーザパルスからデータを受信して、データをフィルタリングして、フィルタリングしたデータを以前のモデルにアラインする処理は、約１秒又はそれ未満で完了され得る。他の実施形態において、モデル構築は、水中機から遠隔で、例えばホスト水上船上で又は地上施設において、実行される。
【００４５】
方法３０は、複数のレーザパルスが構造物の一部上に衝突するように当該複数のレーザパルスを水中構造物に向けるステップを含む。構造物から反射された光は検出され（３２）、複数のデータポイントクラウドを生成する（３４）。複数のポイントクラウドは３Ｄ画像を生成するために処理され、すなわちレーザは３Ｄレーザである。３Ｄレーザは、１つ又は複数の伝達された光パルスからの反射された光から３Ｄ画像を作成することができる任意の３Ｄレーザであることが可能である。適切な３Ｄレーザの一例は、コロラド州ボルダーの３Ｄ  Ａｔ  Ｄｅｐｔｈ，ＬＬＣによって製造されるＤｅｐｔｈ  Ｐｅｒｃｅｐｔｉｏｎ  ３Ｄレーザである。しかしながら、上で指摘したように、フラッシュＬＡＤＡＲシステムもまた使用可能であり得る。３Ｄレーザは、それが水中構造物を指し示すように配置可能であり、その結果この３Ｄレーザは、レーザパルスを水中構造物に送ることができ、上で検討されたように種々の所望の角度に向き付けられることができ、また水中構造物から離間する、ということが理解されよう。
【００４６】
慣性航行システムは知られており、水中機の位置、向き、及び速度（例えば、移動の方向及び速度）を決定するために使用される、ということが理解されよう。慣性航行システムは、速度の決定に用いるために下を向くドップラ速度ログ（ＤＶＬ）ユニットを含むことができるが、慣性航行システムは位置、向き、及び速度（例えば移動の方向及び速度）を決定することができる任意のシステムであることができるということが理解されよう。適切な慣性航行システムの一例は、Ｋｅａｒｆｏｔｔ  Ｃｏｒｐｏｒａｔｉｏｎから入手可能であるＳＥＡ  ＤｅＶｉｌである。
【００４７】
ひとたび反射された光が３Ｄレーザの光検出器によって検出されると、水中構造物の走査された３Ｄ仮想モデルを形成するのに適切である複数のデータポイントが取得される（３４）。複数のデータポイントは次いで、ワーキング仮想アラインメントモデル３６を生成するために使用され、ワーキング仮想アラインメントモデル３６は後続の３Ｄモデルのアラインメントにおいて、水中構造物の既存の３Ｄモデルとして使用されることとなる。更なるデータは、ステップ３２及び３４を繰り返すことによって収集され（３８）、また複数の新しいデータポイントは取得されて、これらは仮想アラインメントモデルにアライン（４０）されて追加（４２）される。
【００４８】
アラインメントステップ４０を参照して、一実施形態において複数の更なるデータポイントは、データをアラインメントモデルとフィットさせる反復処理によって、仮想アラインメントモデルとアラインされる。いくつかの実施形態において、この反復処理は、複数の３Ｄレーザパルスからのデータに基づく。新しいデータをアラインメントモデルにアラインして、アラインされたデータをアラインメントモデルに追加することによって、水中構造物の３Ｄ仮想モデルは構築される（４２）。仮想アラインメントモデルは３Ｄ水中構造物の仮想ワーキングモデルであるため、新しい入ってくるデータを用いて作成されている仮想モデルは、アラインメントモデルを更新するために使用され、従ってそれは更なる収集されたデータにアラインするために使用可能である。
【００４９】
図１５は、水中構造物の３Ｄ仮想モデルを構築するための、複数のデータポイントと位置及び向き（姿勢）の情報とを処理するための、一実施形態のフロー図である。データ１００は適切な光センサによって取り込まれ、この光センサは、伝達された各レーザパルスに対して、ポイントクラウド１１０とも呼ばれる３Ｄ画像を生成し、当該３Ｄ画像はアラインメントブロック１４０に送られる。初期ステージにおいて、アラインメントモデル（アラインメントモデル１４４）は空であり、そのため収集された初期データは初期アラインメントモデルを生成するために使用される。更なるデータが収集されると、更なるデータは、反復処理を用いて、アラインメントモデル１４４とアラインされ（１４０）、これは図１９及び２０において更に説明される。アラインメントブロック１４０は、ループクロージャ３００から初期姿勢推定を取得するということが理解されよう。
【００５０】
更なるデータが収集されると、複数のポイントクラウド１１０はアラインメントモデル１４４にアラインされ（１４０）、アラインブロック１４０によって計算された改善された姿勢によって変換される（１５２）。変換（１５２）ブロックは、（更に後述される）図１６に示すものと同じであり得る。複数のデータポイントがアラインメントモデル１４４とアラインされるように、且つ図１５及び１６におけるブロック１５２が異なる複数の姿勢入力を有し得るがそれらブロックの機能は同一であるように、変換（１５２）ブロックは改善された姿勢（Ｒｅｆｉｎｅｄ  Ｐｏｓｅ）を使用して複数のデータポイントを変換することができるということが理解されよう。変換（１５２）された複数のポイントクラウドはまた、データストレージであるポイントクラウドアーカイブ３２０に格納されることができる。アラインメントの間、ブロック１４０、１５２、及び１４４は、反復ループ処理（図１６及び１７参照）を表し、これは新しいデータをアラインメントモデル１４４とアラインしてフィットさせる。
【００５１】
ループクロージャ３００は、入ってくる各データポイントクラウド１１０に対して、フィルタ３１２から推定された姿勢を受信して、アラインメントモデル１４４を参照することによって、ループクロージャが必要とされるかのブロック３０２は、入ってくるデータポイントクラウド１１０からの３Ｄモデルがアラインメントモデルの一部に重複するかを決定する。適合（３０６）ブロックは、これらの特徴を適合させて、２つのセグメントをアラインメントに至らせるために必要とされる姿勢修正を計算する。姿勢を修正する（３０８）ブロックは、この姿勢修正が閾値を超えるかを見るための確認を行い、姿勢修正が閾値を超えない場合、アラインブロック１４０に姿勢推定を送る。姿勢修正が閾値を超える場合、姿勢を修正するブロック３０８は、２つの既存のモデル部分をアラインメントに至らせるために調整される必要があるモデルの一部を特定して、それらをアラインメントに至らせることとなる姿勢調整を推定して、この情報をモデルセグメントを再構築する（３１０）ブロックに送る。当該モデルセグメントを再構築するブロック３１０は、姿勢を修正する（３０８）ブロックからの修正された姿勢及びポイントクラウドアーカイブ３２０からの複数のポイントクラウドを用いて調整される必要があるモデルの一部を再計算する。姿勢を修正する（３０８）ブロックは次いで、調整された推定された姿勢を、新しい３Ｄモデルを新たに調整されたアラインメントモデルにアラインするアライン（１４０）ブロックにパスする。ループクロージャ３００におけるモデル特徴抽出（３０４）ブロック及び適合（３０６）ブロックの機能は、図１６において説明したアライン（１４０）ブロックに基づき得るということが理解されよう。
【００５２】
図示のように、フィルタ３１２は、例えば、慣性航行システム等の航行システムから、位置と向きの推定を受け取り、またアライン（１４０）ブロックから改善された姿勢を受け取る。フィルタ３１２は、水中機状態３１６（姿勢及びその微分）の推定を維持し、そしてこれらを使用して、レーザがデータを生成するときにおけるレーザの姿勢を予測する（３１８）。更新（３１４）ブロックは、航行から及びアライン（１４０）ブロックからの姿勢推定を結合させて状態３１６を更新する。フィルタ３１２の１つの可能な実施は、よく知られているカルマンフィルタであるということが理解されよう。
【００５３】
フィルタ３１２からループクロージャ３００へ導く矢印を参照して、アラインメントは構築されているモデルに関連して発生するため、各アラインメントにおける誤差は経時的に蓄積する性質を有する場合があり、この性質はアラインメントモデルにおいて大きな誤差を引き起こし得るということが理解されよう。ループクロージャは、以前に見られている領域が観測されているときに認識し且つ代替のアラインメント処理を使用してこの誤差を減らす処理である。姿勢を予測する（３１８）ことによって計算される姿勢は、ループクロージャ処理を適用することが適切なときであるかを決定するために、使用される。
【００５４】
水中構造物の３Ｄモデルの構築におけるアラインメントモデル１４４の生成、及びその後続の使用において、３Ｄレーザからの複数のレーザパルスからのデータは収集可能であるということが理解されよう。これらのパルスからの情報は、アラインメントモデルとアラインされる複数の新しいデータポイントの複数のサンプルに変化される。複数の新しいデータポイント及び各サンプルは、３Ｄレーザによって検査される領域の異なる視点を表すことができるということが理解されよう。アラインメントモデルにおける３Ｄデータにおいて大きな冗長性があるように、複数のサンプルは、多くの領域において実質的に重複することが可能であるということが理解されよう。そのような複数の冗長なサンプリング、及び重複する視点の複数のサンプルは、モデル構築の確実性及び実行可能性を高めることを助けることができる。
【００５５】
アラインメント及びフィット処理の詳細
【００５６】
アラインメント処理の詳細を更に参照して、図１６及び１７は、収集された複数のデータポイントからの情報をアラインメントモデルにアラインする一実施形態のフロー図を示す。一般的に、図示の実施形態において、取得された複数の新しいデータポイントのサンプルは、アラインメントモデルにアラインされる。図示のように、アラインするステップは、以下において更に説明される、複数のデータポイントの複数のサンプルに基づいてフィット処理を繰り返し実行する反復手法を含み、フィット処理は、サンプリングされた複数のデータポイントを調整して３Ｄ水中構造物のアラインメントモデルと適合させることを含む。一般的に、アラインメント及びフィット処理は、３Ｄレーザの姿勢を推定して新しいデータをモデルに格納された以前のデータとアラインすることを含む。
【００５７】
図１６を参照して、３Ｄレーザからの反射された光は、アラインメント処理を実行するために使用される複数のポイントクラウド１１０を提供する（図１５も参照）。複数のポイントクラウド１１０は、水中構造物の３Ｄモデルを表現する複数のデータポイントを含む。通常の高いレベルの雑音、及び発生することが知られている潜在的な非有用な情報によって、幾つかの環境における複数のデータポイントは、アラインメントを受ける前にフィルタリングされる（１４２）。
【００５８】
図１７は、フィルタリング処理１４２の一実施形態のフロー図を示し、これは、図１４に示す複数のデータポイントを取得するステップ３４の一部として含まれ得る。フィルタリング処理１４２は、アラインメントの間に使用される複数のデータポイントを取得するように、水中構造物上に衝突するレーザ光から得られる、検出された光をフィルタリングすることを含む。ポイントクラウド１１０からのデータは一連のデータ処理及びフィルタリングステップを介して入力されることが可能であり、これにより、フィルタリングされたポイントクラウド１６０が得られる。図示の実施形態において、ポイントクラウド１１０は強度閾値フィルタ１６２に入力されることが可能である。一般的に、フィルタリング処理１４２は、ポイントクラウド１１０に対して形態的な操作を実行することができる。例えば、各レンジビンの形態的な浸食１６４は実行可能であり、次いで隣接レンジビンは組み合わせられる（１６６）。ボックス１６４及び１６６は、フィルタリング処理１４２によって使用可能である形態的な操作の非限定的な例を表す。次に、非最大抑制（１６８）ステップは、フィルタリングされたポイントクラウド１６０が取得される前に、実行可能である。
【００５９】
図１６を更に参照して、フィルタリングされたポイントクラウド１６０は処理ループ１４４に進む。一実施形態において、処理ループ１４４は、「アウトライア」を含む観測されたデータのセットから数学的モデルのパラメータを推定するための反復的手法であるＲＡＮＳＡＣ（ランダムサンプルコンセンサス）ループである。例えば、ループ１４４は、それが一定の確率で合理的な結果を生成するという意味において、非決定的アルゴリズムを表し、ここで上記確率は、より多くの反復が実行されると上昇し得る。この場合において、数学的モデルのパラメータは、水中構造物の既存のモデルに対して相対的な３Ｄレーザの位置と向き（姿勢）であり、観測されたデータはレーザからの複数のデータポイントである。基本的な仮定は、観測されたデータが「インライア」と「アウトライア」からなる、ということである。ここで、「インライア」はすなわち、幾つかの姿勢パラメータを有する数学的モデルによって説明されることができるデータであり、また「アウトライア」は、従って説明されることができないデータである。既存の３Ｄモデルは本明細書における方法において利用可能であるため、インライアの小さなセットが与えられるそのような反復処理は、データ（すなわち複数の３Ｄレーザデータポイント）をそれらの対応する最も近いモデルポイントに最適にフィットさせる姿勢を計算することによって姿勢のパラメータを推定するために使用可能である。
【００６０】
図１５に示すように、処理ループ１４４は、変換１５２、ランダムサンプル１５４、及びフィット１５６の処理機能を含むことができる。変換１５２部分において、複数のポイントクラウドは、当該ポイントクラウドを既存の３Ｄモデルとの近似的なアラインメントに導く、初期姿勢１３０によって特定される座標系への変換を受ける。
【００６１】
図１６に更に示すように、初期姿勢１３０は変換１５２の部分に入力される。いくつかの例において、初期姿勢１３０は、水中機の慣性航行システムからの位置と向きを表す。後続の反復において、初期姿勢は、図１６に示す手続きを受ける間に発生した最初のアライメント又は任意の先行するアラインメントの、更新された知識から得られるものであることができる。慣性速度又は加速度、及び水中機の慣性航行システムからの他の入力等の他の測定に基づいて、先行するアラインメントは適切に調整可能であるということが理解されよう。
【００６２】
アラインメントモデルとも呼ばれる利用可能な既存の３Ｄモデルを参照して、既存の３Ｄモデルは、１４６、１５６、及び１５０におけるダイアグラムに入力可能であり、以下に更に説明されることができる。
【００６３】
ループ１４４のランダムサンプル１５４の部分において、ポイントクラウドからの複数のポイントのサンプルは、更なる処理のために且つ既存の３Ｄモデルとの比較のために、取得される。ループ１４４のフィット１５６の部分は、ランダムサンプル１５４からサンプリングされた複数のポイントが既存の３Ｄモデルと並ぶように調整される部分である。すなわち、３Ｄレーザデータの集合体の位置（姿勢）、例えば複数のデータポイントは、複数のポイントを既存の３Ｄモデルとアラインするようにリジッドに調整される。フィット１５６の部分において、複数のデータポイントは、モデル上の最も近いポイントを決定するために、１つ又は複数の最も近いポイントの計算を受けることができる。複数のデータポイント及び各データポイントに対するモデル上の最も近いポイントは、初期姿勢１３０に対する修正を計算するために使用され、ここで、この初期姿勢１３０に対する修正は、上記複数のデータポイント及び各データポイントに対するモデル上の最も近いポイントを最適にアラインする。
【００６４】
記載されるように、アラインメント処理は、可能な限り多数のデータポイント（インライア）を既存の３Ｄモデルとアラインする初期姿勢１３０に対する修正を決定するための反復的手法である。幾つかの実施形態において、これは、３Ｄレーザからの単一のレーザパルスから、例えば単一のレーザパルスからの複数のデータポイントから、達成される。また、３Ｄレーザの複数のレーザパルスは必要に応じて用られ得るということが理解されよう。
【００６５】
従って、変換１５２、ランダムサンプル１５４、及びフィット１５６の機能はループ１４４として構成され、当該ループ１４４は、必要に応じて反復して、これらの反復において発見された既存の３Ｄモデルとのデータの最良のアラインメントが真に最良の実現し得るアラインメントであることの確実性を高めることができる（１４４ａ）、ということが理解されよう。多くの実施形態におけるアラインするステップは、複数のデータポイントの複数のサンプル又は複数のレーザパルスからの複数のデータポイントに基づいたフィット処理を繰り返し実行することを含み、ここで上記フィット処理は、サンプリングされた複数のデータポイントを調整して水中構造物の既存の３Ｄモデルとアラインすることを含む。適切な環境において、ループ１４４の処理を受ける複数のレーザパルスからの、複数のデータポイントの複数のサンプル又は複数のデータポイントは多くの場合、重複する複数のデータポイントを有する場合があり、ここでそのような重複は、複数のデータポイントのモデルとの最良の実現し得るアラインメントを発見する確率を高めることを、更に助けることができる、ということが理解されよう。
【００６６】
すなわち、フィットは、複数のデータポイントのサブサンプルを用いて行われる。フィットは、これらのポイントを使用して、モデルに対して相対的なセンサの姿勢を推定する。この推定された変換は全てのデータポイントに対して適用される。変換された複数のポイントは次いで、データをどのように良好に適合させるかを決定するために、既存のモデルに比較される。
【００６７】
また、適切な反復の回数、及びアラインメントとフィットを実行するために使用される重複の量は、幾つかの因子のバランスに依存することができる、ということが理解されよう。いくつかの因子は、例えば、用いられる処理電力の量、データを収集するためにどれだけの時間が使用されるか、収集されたデータ及びアラインメントモデルの信頼性、どのように水中機が移動しているか、並びに水中構造物の複雑性を含むことができるが、これらに限定されない。１つよりも多くの３Ｄレーザパルスが用いられるところにおいて、例えば３Ｄレーザのパルスレート、経時的な初期姿勢１３０の誤差の潜在的な増加、及びモデルの精度等の他の因子は、アラインメント処理のどれだけ多くの反復が必要とされるかの決定において考慮されることができる。
【００６８】
複数のデータポイントの多数のランダムサンプルがフィットされた後、複数の解が取得可能である。図１６は、誤差によって解を順序づける部分（１４６）と、最良解を発見する部分（１４８）とを示す。ループ１４４ａによって提供される解は、（例えば１４８において）最良解が取得可能であるように、（例えば１４６において）順序づけられる。ひとたび最良解が取得されると、この解のインライアの各々に対する既存の３Ｄモデル上の最も近いポイントが決定され、またこれらのインライアを最も近いポイントと最良にアラインする初期姿勢に対する修正は、インライアとフィットさせるステップにおいて計算される。更新された姿勢は送信されて例えば水中機の慣性航行システムに戻される。
【００６９】
本明細書における水中構造物の３Ｄモデルを構築する方法は、水中機に搭載される自律型システムにおいて提供され得るということが理解されよう。幾つかの実施形態において、水中機は、リアルタイムでモデルを構築するための適切な処理能力を有する自律型水中機（ＡＵＶ）である。しかしながら、システムは、例えばＲＯＶ又は有人海洋船等の他の機に全体的又は部分的に搭載され得るということが理解されよう。
【００７０】
一実施形態において、システムは、３Ｄレーザセンサと慣性航行システムとを含み、水中構造物のモデル構築を実行するための適切な処理能力を備える。
【００７１】
図１８は、水中構造物の３次元モデルを構築するＡＵＶ２の構成例を、概略的に示す。一実施形態において、ＡＵＶは、３Ｄレーザセンサ１０と慣性航行システムとを含み、モデル構築を実行するための適切な処理能力を備える。
【００７２】
図示の実施形態において、３Ｄレーザセンサ１０は、関心のある水中構造物によって反射された光を検出して、集められたデータをデータストレージ２２０に送信する。データプロセッサ２３０は、データストレージ２２０から複数のデータポイントを取得するように構成される。データプロセッサ２３０は、例えば、任意の適切な処理ユニットであることが可能である。複数のデータポイントは、取得された複数のデータポイントに基づいて、水中構造物のアラインメントモデル（例えば、アラインメントモデル１４４）を生成するように処理される。更なるデータがセンサ１０によって収集されたとき、このデータは水中構造物の３Ｄモデルを構築するためにアラインメントモデルにアラインされる。
【００７３】
例えば、プロセッサ２３０は、更なるデータがセンサ１０によって収集された後、データストレージ２２０から複数の新しいデータポイントを取得する。初期データポイントと同様に、複数の新しいデータポイントは、水中構造物の３Ｄモデルを提供するように処理される。プロセッサ２３０は、取得された複数の新しいデータポイントのサンプルをアラインメントモデルにアラインするように、且つ説明されたアラインメント技術を用いて複数の新しいデータポイントを用いて水中構造物の３Ｄモデルを構築するように構成される。
【００７４】
水中構造物に関して取得された情報は、例えば慣性航行システムである水中機航行システム２４０を更新するために使用可能であるということが理解されよう。本システムの部品は、水中機によって電力供給されることができるということが理解されよう。
【００７５】
本明細書において上述された方法及びシステムは、３Ｄレーザからの複数のレーザパルスに基づいて既存の水中構造物の３Ｄモデルを構築するように用いられることができる。そのようなアプリケーションは、商業的状況及び軍事的状況の両方における海中構造物の検査と修理、港検査、並びに機雷の検出及び／又は対策を含むことができるが、これらに限定されない。一実施形態において、３Ｄレーザの複数のパルスからのデータは収集され、慣性航行システムからのデータは収集され、データはログに記録されて操作された水中構造物の３Ｄモデル又はアラインメントモデルを生成するように処理される。アラインメントモデルは、変化検出のために更なるデータがアラインされることができる水中構造物の実用的な仮想３Ｄモデルである。データの収集、ログへの記録、及び処理は、リアルタイム処理能力を有する、水中機に搭載されるデータ処理電子部品を使用して実行可能である。
【００７６】
本明細書に記載のモデル構築のためのそのような方法及びシステムは、水中構造物の損傷、変形を検査するときに有用であることができる。本明細書において上述した方法及びシステムは、例えば、水中機が、ＤＶＬ等の他の航行ツールが利用可能でないような、例えば１００メートルを超えた距離だけ海底から離れている状況において、有用であることができる。いかなる他の、特徴に基づいたセンサも必要ではなく、また、静止しない水中構造物に対して相対的な航行はまた、本明細書における方法及びシステムを用いて、可能であるということが理解されよう。３Ｄレーザの使用は複雑な３Ｄ構造物の走査を可能にして、姿勢の完全な６つの自由度を提供する。
【００７７】
ソナーとＬＡＤＡＲを備えて構成されたＡＵＶを使用したリアルタイムでの水中構造物の３Ｄモデル構築
【００７８】
上述の３Ｄ仮想モデル構築の変形例において、３Ｄソナー及びＬＡＤＡＲは使用可能である。３Ｄソナーと３Ｄレーザデータからの水中構造物のモデルの構築は、各ソナーピン及びレーザパルスのときにおけるセンサの位置と向きの知識を必要とする。
【００７９】
ソナーは各ソナーピンに対して相対的に低い解像度の深さ画像を生成する。この深さ画像は、ソナーよりも高い解像度を有するレーザ深さ画像のための初期アラインメントのための推定として使用される。国際公開第２０１２／０６１１３７号（特許文献４）は、３Ｄソナーを使用した３Ｄ仮想モデルの構築を開示する。
【００８０】
この実施形態は探索時間を短縮し、アラインメント信頼性を改善し、また各モデル領域上で利用可能なデータの解像度を反映するマルチ解像度モデルを生成する。この実施形態は、環境から直接的に導かれるソナーデータとレーザデータからの同時位置決め地図作成を提供する。
【００８１】
３Ｄモデリングは、ソナー及び画像を含む、多数のセンサにおいて対処してきたが、３Ｄソナー及び３Ｄレーザ等の大きく異なる解像度と範囲を有する２つの３Ｄセンサを使用していない。ソナーにおいて、それは構造物をモデリングするアプリケーションにおけるよりもむしろ等深線アプリケーションにおいて使用されている。深度線ソナーを使用するアプローチは、ソナーデータの複数のパッチを一緒に適合させて複数のパスをアラインする２．５Ｄ適合アプローチを用いる。しかしながら、その技術は、ソナーデータにおいて多くの深さの変化を有する石油掘削装置又は橋脚等の複雑な３Ｄ構造物に対処できない。
【００８２】
一実施形態において、３Ｄレーザ及び３Ｄソナーからのデータは、データから単一の仮想モデルを構成するように、一緒に結合される。更なる実施形態において、２つのモデルを用いてそして単一の仮想モデルを作成するように組み合わされて、３Ｄレーザデータからの仮想モデルは構成可能であり、また３Ｄソナーからの仮想モデルは構成可能である。
【００８３】
いかなる従来の３Ｄモデルも必要とされず、またそれは各モデル領域に対して利用可能なデータの解像度を反映するマルチ解像度モデルを生成する。
【００８４】
ＬＡＤＡＲを用いて構成されたＡＵＶを使用したリアルタイムでの水中構造物の３Ｄモデル構築
【００８５】
上述の３Ｄ仮想モデルの変形例において、走査する３Ｄレーザは使用可能である。走査する３Ｄレーザは、単一のレーザパルスに対して単一の範囲リターンを生成し、多くのパルスからの複数のリターンは、完全な走査を生成するために組み合わされる。この技術は、走査における構造物の適合に基づいて、最初は粗いレベルで、次いで更に精細なレベルで、全ての走査をアラインすることによって、各走査間で発生し得るセンサの姿勢変化を補償する。この技術は、慣性航行ユニットからの姿勢推定に基づいて、それらの位置を修正することによって、各パルス間で発生し得るセンサの姿勢変化を補償する。この技術は、環境から直接的に導出されるＬＡＤＡＲを走査することから、同時位置決め地図作成を提供する。
【００８６】
この実施形態は、慣性航行ユニットによって提供される姿勢の誤差を含む、センサ走査の間にセンサの動きを補償する問題に明確に対処する。
【００８７】
本出願において開示された例は、全ての態様において、例示的且つ非限定的であると見なされるべきである。本発明の範囲は、上述の記載によるよりもむしろ、添付の請求項により示され、また、請求項の意味及び均等の範囲内に入る全ての変更は本発明に含まれることが意図される。
【図１】
2016526148.tif 000002
【図２】
2016526148.tif 000003
【図３】
2016526148.tif 000004
【図４】
2016526148.tif 000005
【図５】
2016526148.tif 000006
【図６】
2016526148.tif 000007
【図７】
2016526148.tif 000008
【図８】
2016526148.tif 000009
【図９】
2016526148.tif 000010
【図１０】
2016526148.tif 000011
【図１１】
2016526148.tif 000012
【図１２】
2016526148.tif 000013
【図１３Ａ】
2016526148.tif 000014
【図１３Ｂ】
2016526148.tif 000015
【図１３Ｃ】
2016526148.tif 000016
【図１４】
2016526148.tif 000017
【図１５】
2016526148.tif 000018
【図１６】
2016526148.tif 000019
【図１７】
2016526148.tif 000020
【図１８】
2016526148.tif 000021
【手続補正書】
【提出日】平成27年12月3日(2015.12.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
水中機が水中構造物に対して相対的な第１の位置にいる間、少なくとも１つのレーザビームパルスを、移動する前記水中機上に取り付けられたレーザから前記水中構造物に向けるステップと、
前記水中機上に取り付けられた光検出器を使用して、前記水中構造物から反射された光を検出するステップと、
リアルタイムで自律的に、検出された光から第１のデータポイントクラウドを生成するステップであって、当該第１のデータポイントクラウドは、前記水中構造物の３次元モデルを生成することに適している、ステップと、
前記第１のデータポイントクラウドから、前記水中構造物の仮想アラインメントモデルを、リアルタイムで自律的に生成するステップと、
前記第１のポイントクラウドデータから、前記水中構造物の前記仮想アラインメントモデルを、リアルタイムで自律的に生成する間、前記水中機を、前記第１の位置から、前記水中構造物に対して相対的な第２の位置に移動させるステップと、
前記水中機が前記水中構造物に対して相対的な前記第２の位置にいる間、１つ又は複数の更なるレーザビームパルスを、前記移動する水中機上に取り付けられた前記レーザから前記水中構造物に向けるステップと、
前記光検出器を使用して、前記１つ又は複数の更なるレーザビームパルスから、前記水中構造物から反射される光を検出して、リアルタイムで自律的に、第２のデータポイントクラウドを生成するステップと、
リアルタイムで自律的に、前記仮想アラインメントモデルに、取得された第２のデータポイントクラウドのサンプルをアラインするステップと、
前記仮想アラインメントモデル及び前記第２のデータポイントクラウドのサンプルを用いて、リアルタイムで自律的に前記水中構造物の３次元仮想モデルを構築するステップと、
を含む、方法。
【請求項２】
前記移動する水中機は、自律型水中機又は遠隔操作型機のうちの１つである、
請求項１に記載の方法。
【請求項３】
リアルタイムで自律的に、前記第１のデータポイントクラウド及び前記第２のデータポイントクラウドをフィルタリングするステップを更に含む、
請求項１に記載の方法。
【請求項４】
サンプルをアラインするステップは、反復的なフィット処理を、リアルタイムで自律的に繰り返し実行するステップを含み、当該反復的なフィット処理は、サンプリングされた複数のデータポイントクラウドを調整して、生成された前記アラインメントモデルと適合させることを含む、
請求項１に記載の方法。
【請求項５】
アラインメントモデルを生成するステップは、リアルタイムで自律的に、前記水中構造物の少なくとも第１のパスのループクロージャ処理を実行するステップを更に含み、当該ループクロージャは誤差伝搬を最小化する初期基準を設定するように構成される、
請求項１に記載の方法。
【請求項６】
前記３次元モデルを構築するステップは、複数の更なるデータポイントクラウドの複数のサンプルを、前記アラインメントモデルと、リアルタイムで自律的にアラインするステップを含む、
請求項１に記載の方法。
【請求項７】
前記複数の更なるデータポイントクラウドの各々は、前記水中構造物の領域の異なる視点から収集されたデータを表す、
請求項６に記載の方法。
【請求項８】
前記異なる視点のうちの少なくとも幾つかは、
前記複数の更なるデータポイントクラウドからのデータの少なくとも一部が重複するように、少なくとも部分的に互いに重複する、
請求項７に記載の方法。
【請求項９】
移動する水中機及び当該移動する水中機上に取り付けられた３次元レーザシステムであって、前記レーザシステムは、複数のレーザビームパルスを水中構造物に向けて投射する操向可能なレーザと、前記水中構造物から反射された光を検出する光検出器とを含む、水中機及び当該水中機上に取り付けられた３次元レーザシステムと、
前記レーザシステムによってリアルタイムで自律的に生成されたポイントクラウドデータを格納する、前記レーザシステムと通信するポイントクラウドデータストレージと、
前記データストレージからの第１のポイントクラウドデータをリアルタイムで自律的に処理する、前記ポイントクラウドデータストレージと通信するデータプロセッサであって、前記データプロセッサは、リアルタイムで自律的に前記第１のポイントクラウドデータから３次元仮想モデルを生成するように、且つ前記データプロセッサによって前記第１のポイントクラウドデータが処理されている間に取得された第２のポイントクラウドデータを、前記３次元仮想モデルとアラインするように、構成される、データプロセッサと、
を備える、システム。
【請求項１０】
前記データプロセッサは、仮想アラインメントモデルをリアルタイムで自律的に生成するように、且つリアルタイムで自律的に、取得されたデータポイントのサンプルを前記仮想アラインメントモデルにアラインするように、且つ前記仮想アラインメントモデル及び前記データポイントクラウドのサンプルから前記水中構造物の３次元仮想モデルをリアルタイムで自律的に生成するように、構成される、
請求項９に記載のシステム。
【請求項１１】
前記移動する水中機は、自律型水中機又は遠隔操作型水中機のうちの１つである、
請求項９に記載のシステム。
【請求項１２】
前記水中機は、自律型水中機又は遠隔操作型水中機を備え、
前記ポイントクラウドデータストレージ及び前記データプロセッサは、前記水中機上にあり、
前記水中機は、前記データプロセッサと通信する水中機航行システムを更に含む、
請求項９に記載のシステム。
【請求項１３】
前記データプロセッサ、及び／又は前記ポイントクラウドデータストレージは、前記水中機から分離した１つ又は複数の位置にある、
請求項９に記載のシステム。
【国際調査報告】
2016526148.tif 000022
2016526148.tif 000023