(57)【要約】  ここでは、３Ｄ・ＬＩＤＡＲ画像データに基づく改善された同時的位置特定及びマッピングのための方法とシステムを提供する。１つの態様では、ＬＩＤＡＲ画像フレームは、マッピングと位置特定の精度を維持しながら、計算効率が向上させるために特徴検出の前にセグメント化及びクラスタ化される。セグメンテーションには、特徴抽出の前に冗長データを除去することが伴う。クラスタリングには、特徴抽出の前に類似のオブジェクトに関連するピクセルをグループ化することが伴う。別の態様では、特徴は、各測定点に関連する測定光学特性に基づいて、ＬＩＤＡＲ画像フレームから抽出される。特徴点のプールは、各画像フレームに関連付けられた低解像度特徴マップを具備する。低解像度特徴マップは、高解像度特徴マップを生成するために時間をかけて統合される。別の態様では、３次元環境におけるＬＩＤＡＲ測定システムの位置は高解像度特徴マップに基づきゆっくりと更新され、低解像度特徴マップに基づき迅速に更新される。【選択図】図１
2020533601.tif 000002
【特許請求の範囲】
【請求項１】
複数のＬＩＤＡＲ測定チャンネルであって、それぞれが、
電源と電気的に結合しているときに照明光の測定パルスを放射する照明源と、
前記照明源及び第１の電源と電気的に結合している照明ドライバであって、前記照明ドライバのＩＣは、パルストリガ信号に応答して前記照明源を前記電源に選択的に電気的に結合させるよう構成されている、照明ドライバと、
照明光の前記測定パルスに応答して３次元環境（３Ｄ環境）における点から反射した戻り光を検出する光検出器と、
時間をかけて検出された前記戻り光を示す戻り信号を生成する戻り信号受信機と、
を具備することを特徴とする複数のＬＩＤＡＲ測定チャンネルと、
時間的に連続する画像フレームを同時的な位置特定及びマッピングエンジンに伝達するよう構成された主制御装置であって、前記画像フレームには別々の複数の測定点が含まれ、各測定点には、ＬＩＤＡＲ測定システムにおける各測定点の位置の推定及び測定の光学特性が含まれることを特徴とする主制御装置と、
を具備し、
前記同時的な位置特定及びマッピングエンジンは、
直前の画像フレームに関連する現在の画像フレームでのＬＩＤＡＲ測定システムの位置を推定し、
第１の連続する小さな特徴マップの測定点を前記３Ｄ環境に固定された世界座標フレームに投影することにより、第１の大きな特徴マップを、前記第１の連続する小さな特徴マップから生成し、
第２の連続する小さな特徴マップの測定点の各々を前記３Ｄ環境に固定された世界座標フレームに投影することにより、第２の大きな特徴マップを前記第２の連続する小さな特徴マップから生成し、前記第２の連続する小さな特徴マップは前記第１の連続する小さな特徴マップの直後に続くことを特徴とし、
前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの現在の位置を、前記第１の大きな特徴マップ及び前記第２の大きな特徴マップに基づき推定することを特徴とする、
ＬＩＤＡＲ測定システム。
【請求項２】
前記同時的な位置特定及びマッピングエンジンはさらに、
前記ＬＩＤＡＲ測定システムの現在の位置及び前記直前の画像フレームに関連する前記現在の位置での前記ＬＩＤＡＲ測定システムの位置に基づき、前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの更新された現在の位置の推定を行うよう構成されていることを特徴とする、請求項１に記載のＬＩＤＡＲ測定システム。
【請求項３】
前記同時的な位置特定及びマッピングエンジンはさらに、
各画像フレームに関連する複数の別々の測定点を、さらなる分析のために保持される低減された測定点のグループと、さらなる分析のために保持されない測定点のグループとにセグメント化するよう構成されていることを特徴とする、請求項１に記載のＬＩＤＡＲ測定システム。
【請求項４】
前記同時的な位置特定及びマッピングエンジンはさらに、
各画像フレームに関連する前記低減された測定点のグループを、各々が１つ以上の類似するオブジェクトに関連する複数のサブグループにクラスタ化するよう構成されていることを特徴とする、請求項３に記載のＬＩＤＡＲ測定システム。
【請求項５】
前記同時的な位置特定及びマッピングエンジンはさらに、
低減された測定点のグループの各々についての前記測定の前記光学特性に基づき、各画像フレームに関連する測定点の前記低減された測定点のグループから１つ以上の測定点のグループを識別するよう構成され、各画像フレームのセグメント化及びクラスタ化を前記１つ以上の測定点のグループの前記識別の前に行い、前記１つ以上の測定点のグループは、各画像フレームに関連する小さな特徴マップを具備することを特徴とする請求項１に記載のＬＩＤＡＲ測定システム。
【請求項６】
前記光学特性には、測定された位置の反射率、測定された位置からの戻り光の強度、測定の信頼性、又はそれらの任意の組み合わせが含まれることを特徴とする請求項１に記載のＬＩＤＡＲ測定システム。
【請求項７】
移動するＬＩＤＡＲ測定システムを用いて３次元環境（３Ｄ環境）で複数の点を測定するステップと、
時間的に連続する画像フレームを生成するステップであって、前記画像フレームの各々には、ＬＩＤＡＲ測定システムに関する３次元環境内の別の位置の測定にそれぞれ関連する複数の測定点が含まれ、前記複数の測定点の各測定には、ＬＩＤＡＲ測定システムに関連する測定点の位置の表示、及び前記測定における光学特性の表示が含まれることを特徴とするステップと、
直前の画像フレームに関する現在の画像フレームでの前記ＬＩＤＡＲ測定システムの位置を推定するステップと、
第１の連続する小さな特徴マップのそれぞれの測定点を前記３Ｄ環境に固定された世界座標フレームに投影することにより、前記第１の連続する小さな特徴マップから第１の大きな特徴マップを生成するステップと、
第２の連続する小さな特徴マップのそれぞれの測定点を前記３Ｄ環境に固定された世界座標フレームに投影することにより、前記第２の連続する小さな特徴マップから第２の大きな特徴マップを生成するステップであって、前記第２の連続する小さな特徴マップは前記第１の連続する小さな特徴マップの直後に続くものであることを特徴とするステップと、
前記第１の大きな特徴マップ及び前記第２の大きな特徴マップに基づき、
前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの現在の位置を推定するステップと、
を具備する方法。
【請求項８】
前記ＬＩＤＡＲ測定システムの前記現在の位置、及び直前の画像フレームに関する前記現在の画像フレームでの前記ＬＩＤＡＲ測定システムの前記位置に基づき、前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの更新された現在の位置を推定するステップ、
をさらに具備することを特徴とする請求項７に記載の方法。
【請求項９】
各画像フレームに関連する前記複数の別々の測定点を、さらなる分析のために保持される低減された測定点のグループと、さらなる分析のために保持されない測定点のグループとにセグメント化するステップ、
をさらに具備することを特徴とする請求項７に記載の方法。
【請求項１０】
各画像フレームに関連する前記低減された測定点のグループを、各々が１つ以上の類似するオブジェクトに関連する複数のサブグループにクラスタ化するステップ、
をさらに具備することを特徴とする請求項９に記載の方法。
【請求項１１】
前記低減された測定点のグループの各々についての前記測定の前記光学特性に基づき、各画像フレームに関連する測定点の前記低減された測定点のグループから１つ以上の測定点のグループを識別するステップをさらに具備し、各画像フレームのセグメント化及びクラスタ化を前記１つ以上の測定点のグループの前記識別の前に行い、前記１つ以上の測定点のグループは、各画像フレームに関連する小さな特徴マップを具備することを特徴とする請求項１０に記載の方法。
【請求項１２】
前記光学特性には、測定された位置の反射率、測定された位置からの戻り光の強度、測定の信頼性、又はそれらの任意の組み合わせが含まれることを特徴とする請求項７に記載の方法。
【請求項１３】
３次元環境においてＬＩＤＡＲ測定システムを移動させるステップと、
時間的に連続する画像フレームを生成するステップであって、前記画像フレームの各々には、ＬＩＤＡＲ測定システムにおける前記３次元環境での別の位置での測定に各々が関連する複数の測定点が含まれ、前記複数の測定点のそれぞれの各測定には、前記ＬＩＤＡＲ測定システムにおける前記測定点の位置の表示及び前記測定の光学特性の表示が含まれ、前記光学特性には、前記測定された位置の反射率、測定された位置からの戻り光の強度、前記測定の信頼性、又はそれらの任意の組み合わせが含まれることを特徴とするステップと、
前記ＬＩＤＡＲ測定システムにより生成された前記時間的に連続する画像フレームに基づき前記３次元環境の辻褄の合った３次元幾何マップを決定するステップと、
前記ＬＩＤＡＲ測定システムにより生成された前記時間的に連続する画像フレームに基づき前記３次元環境における移動するＬＩＤＡＲ測定システムの位置を推定するステップと、
を具備する方法。
【請求項１４】
各画像フレームに関連する前記複数の測定点を、さらなる分析のために保持される低減された測定点のグループと、さらなる分析のために保持されない測定点のグループとにセグメント化するステップをさらに具備する請求項１３に記載の方法。
【請求項１５】
各画像フレームに関連する前記低減された測定点のグループを、各々が１つ以上の類似するオブジェクトに関連する複数のサブグループにクラスタ化するステップをさらに具備する請求項１４に記載の方法。
【請求項１６】
前記低減された測定点のグループの各々についての前記測定の前記光学特性に基づき、各画像フレームに関連する測定点の前記低減された測定点のグループから前記３次元環境での１つ以上のオブジェクトを識別するステップをさらに具備し、各画像フレームのセグメント化及びクラスタ化は前記オブジェクトの前記識別の前に行われ、前記３次元環境の辻褄の合った３次元幾何マップを決定するステップ及び前記移動するＬＩＤＡＲ測定システムの位置を推定するステップは、識別された特徴に基づき行われることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記セグメント化するステップは、
前記低減された測定点のグループと、前記複数の測定点の各々の標高に基づいて保持されない測定点のグループとを識別するステップをさらに有することを特徴とする請求項１４に記載の方法。
【請求項１８】
前記セグメント化するステップは、
各３次元画像フレームをセルの３次元グリッドに細分するステップと、
前記セルの３次元グリッドを高さ寸法に沿って２次元に投影するステップと、
を有することを特徴とする請求項１４に記載の方法。
【請求項１９】
前記セグメント化するステップは、
前記セル内の前記測定点の数が所定の閾値より小さいかどうかに基づいてさらなる分析を行うために、前記セルの３次元グリッドの１つのセル内の前記測定点が保持されているかどうかを決定するステップをさらに有することを特徴とする請求項１８に記載の方法。
【請求項２０】
前記セグメント化するステップは、
前記セルの３次元グリッドの１つのセル内の前記測定点の光学特性の平均値を測定するステップと、
前記セル内の前記測定点の各々の前記光学特性の値と前記光学特性の前記平均値との差を測定するステップと、
前記差が所定の閾値を超えた場合前記セル内の前記測定点の各々を保持するステップと、
をさらに有することを特徴とする請求項１８に記載の方法。
【請求項２１】
前記セグメント化するステップは、
前記セルの３次元グリッドの１つのセル内の前記測定点からの標高の最大値を決定するステップと、
前記セルの３次元グリッドの前記セル内の前記測定点からの標高の最小値を決定するステップと、
前記最大値と前記最小値の差を測定するステップと、
前記差が所定の閾値を超えた場合前記セル内の前記測定点を保持するステップと、
をさらに有することを特徴とする請求項１８に記載の方法。
【請求項２２】
前記セグメント化するステップは、
前記セルの３次元グリッドの第１のセル内の前記測定点の標高の第１の平均値を決定するステップと、
前記セルの３次元グリッドの第２のセル内の前記測定点の標高の第２の平均値を決定するステップであって、前記第２のセルは前記第１のセルに隣接することを特徴とするステップと、
前記第１の平均値と前記第２の平均値との差を測定するステップと、
前記差が所定の閾値を超えた場合前記第１のセル内の前記測定点を保持するステップと、
をさらに有することを特徴とする請求項１８に記載の方法。
【請求項２３】
前記３次元環境での１つ以上のオブジェクトを識別するステップは、
各画像フレームに関連する前記低減された測定点のグループに関連する光学階調度の値を測定するステップであって、各階調度は整数値であり、前記光学階調度は反射率階調度、強度階調度、信頼性階調度、又はそれらの任意の組み合わせであることを特徴とするステップと、
前記低減された測定点のグループに関連する前記光学階調度の値を、前記値に基づいてビンの集合に分類するステップであって、前記ビンの集合の各々は、別々の整数値に関連することを特徴とするステップと、
前記ビンの集合を、各画像フレームに関連する小さな特徴マップからなる複数の別々のビンの集合に分類するステップであって、ビンの集合の各々は、別々の範囲の整数値に関連することを特徴とするステップと、
をさらに有することを特徴とする請求項１７に記載の方法。
【請求項２４】
前記移動するＬＩＤＡＲ測定システムの位置を推定するステップは、
直前の画像フレームにおける現在の画像フレームでの前記ＬＩＤＡＲ測定システムの位置を推定するステップと、
第１の連続する小さな小さな特徴マップの各々の測定点を３Ｄ環境に固定された世界座標フレームに投影することにより、前記第１の連続する小さな小さな特徴マップから第１の大きな特徴マップを生成するステップと、
第２の連続する小さな小さな特徴マップの各々の測定点を前記３Ｄ環境に固定された前記世界座標フレームに投影することにより、前記第２の連続する小さな小さな特徴マップから第２の大きな特徴マップを生成するステップであって、前記第２の連続する小さな小さな特徴マップは、前記第１の連続する小さな小さな特徴マップの直後に続くことを特徴とするステップと、
前記第１の大きな特徴マップ及び前記第２の大きな特徴マップに基づき前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの現在の位置を推定するステップと、
前記ＬＩＤＡＲ測定システムの前記現在の位置及び前記直前の画像フレームにおける前記現在の画像フレームでの前記ＬＩＤＡＲ測定システムの前記位置に基づき前記世界座標フレームにおける前記ＬＩＤＡＲ測定システムの更新された現在の位置を推定するステップと、
を有することを特徴とする請求項２３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本特許出願は、２０１７年９月１３日に出願された「３Ｄ・ＬＩＤＡＲ測定に基づく、多重解像度、同時位置特定、及びマッピング」というタイトルの米国特許仮出願番号第６２／５５８，２５６号に基づき優先権を主張している、２０１８年９月１３日に出願された「３Ｄ・ＬＩＤＡＲ測定に基づく、多重解像度、同時位置特定、及びマッピング」というタイトルの米国特許出願第１６／１３０，６１０号に基づく優先権を主張するものであり、その全体が参照により本明細書に組み込まれるものとする。
【０００２】
開示した実施形態は、ＬＩＤＡＲベースの３Ｄ点群測定システムに関し、より具体的には、測定される環境の効率的なマッピング及びＬＩＤＡＲ測定システムの位置特定に関する。
【背景技術】
【０００３】
ＬＩＤＡＲシステムは、光パルスを使用して、各光パルスの飛行時間（ＴＯＦ）に基づいてオブジェクトまでの距離を測定する。ＬＩＤＡＲシステムの光源から放射された光パルスは、遠位のオブジェクトと互いに影響し合う。光の一部はオブジェクトから反射し、ＬＩＤＡＲシステムの検出器に戻る。光パルスの放射と戻ってきた光パルスの検出との間の経過時間に基づいて、距離が推定される。いくつかの実施例では、光パルスはレーザーエミッターによって生成される。光パルスは、レンズ又はレンズアセンブリを通して集光される。レーザー光パルスがエミッターの近くに取り付けられた検出器に戻るのにかかる時間を測定する。距離は、時間の測定値から高精度で導出される。
【０００４】
いくつかのＬＩＤＡＲシステムは、平面全体を効果的にスキャンするために、回転ミラーを組み込んだ単一のレーザーエミッター／検出器の組み合わせを用いる。このようなシステムによって実行される距離測定は、事実上２次元（つまり、平面）であり、捕捉された距離ポイントは、２次元（つまり、単一平面）の点群としてレンダリングされる。いくつかの実施例では、回転ミラーは非常に速い速度で回転する（例えば、毎分数千回転）。
【０００５】
多くの操作シナリオでは、３Ｄ点群が必要となる。周囲の環境を３次元で調べるために、多くのスキームが採用される。いくつかの実施例では、２Ｄ機器は、多くの場合ジンバル上で、上下及び／又は前後に作動する。これは、当該術分野では一般に、センサーの「ウィンク」又は「うなずき」として知られている。従って、一度に１つのポイントではあるが、単一ビームＬＩＤＡＲユニットを使用して、距離ポイントの３Ｄアレイ全体を捕捉できる。関連する実施例では、プリズムを使用して、レーザーパルスをそれぞれがわずかに異なる垂直角を持つ複数の層に「分割」する。これは上記のうなずき効果をシミュレートするが、センサー自体が作動することはない。
【０００６】
多くのアプリケーションでは、広い視野を見る必要がある。例えば、自律車両アプリケーションでは、アプリケーションでは、垂直視野は車両の前の地面を見るために可能な限り下げる必要がある。加えて、自動車が道路のくぼみに入った場合は、垂直視野は地平線より上にげる必要がある。さらに、現実の世界で生じる動きとそれらの動きの描画との間の遅延を最小限に抑える必要がある。いくつかの実施例では、完全な画像更新を少なくとも毎秒５回行うことが望ましい。これらの要件に対処するために、複数のレーザーエミッターと検出器のアレイを含む３Ｄ・ＬＩＤＡＲシステムが開発されている。このシステムは、２０１１年６月２８日に発行された米国特許第７，９６９，５５８号に記載されており、その内容は全体が参照により本明細書に組み込まれるものとする。
【０００７】
多くのアプリケーションにおいて、連続するパルスが放射される。各パルスの方向は、連続的に急速に変化する。これらの実施例では、個々のパルスに関連付けられた距離測定は、ピクセルと見なすことができ、連続的に急速に放出され捕捉されたピクセルの集合（即ち、「点群」）を画像としてレンダリングしたり、他の理由（例えば、障害物の検出）のために分析したりすることができる。いくつかの実施例では、結果得られた点群をユーザーに対して３次元で表示される画像としてレンダリングするために、表示ソフトウェアを採用する。実写アクションカメラで撮影したかのように見える３Ｄ画像として、測定した距離を表現するために別のスキームを用いることもできる。
【０００８】
自律車両アプリケーションでは、周囲環境の３次元幾何学的マップを構築し、その環境内でＬＩＤＡＲ測定システムを配置することが望ましい。既存の多くの例では、最初に３次元マップが構築され、次にＬＩＤＡＲ測定システムがマッピングされた環境内に配置される。ただし、多くの場合このアプローチはよく制御された屋内環境、又は実際の運転条件と一致しない動きの遅い操作シナリオに限定される。
【０００９】
ＬＩＤＡＲ測定システムのリアルタイムでのマッピング及び位置特定の改善が望まれている。特に、非常に活動的な都市、郊外、高速道路環境に適合した位置特定とマッピングを同時に行うことが望まれる。
【発明の概要】
【００１０】
ここでは、３Ｄ・ＬＩＤＡＲ画像データに基づく改善された同時的位置特定及びマッピングのための方法とシステムについて説明する。
【００１１】
１つの態様では、ＬＩＤＡＲ画像フレームは、特徴検出の前にセグメント化及びクラスタ化される。検出された特徴は、ＳＬＡＭ分析を実行するために使用される。特徴検出の前にセグメンテーションとクラスタリングを実行すると、自律型車両アプリケーションのマッピングと位置特定の精度を維持しながら、計算効率が向上する。
【００１２】
セグメンテーションには、特徴抽出の前に冗長データを除去することが伴う。このようにして、各画像フレームには、関心領域（ＲＯＩ）のみに高解像度データが含まれ、少ないピクセル又は全くなくても十分に記述される領域の低解像度データが含まれる。１つの実施例では、セグメンテーションには、地面に関する冗長な点を排除することが伴う。各画像フレームのピクセル数を減らすことにより、各画像フレームに関連するデータの量が減る。
【００１３】
１つの実施形態では、冗長ピクセルは、標高に基づいて識別される。
【００１４】
いくつかの実施形態では、３次元画像フレームは、３Ｄグリッドマップに細分される。３Ｄグリッドマップのセルは、２Ｄグリッドマップを生成するために、垂直方向（例えば、地面に垂直）に沿って投影される。
【００１５】
１つの実施例では、測定点が冗長であるかどうかを判定するために、各測定点の標高を車両の高さと比較する。
【００１６】
別の実施例では、測定点が冗長であるかどうかを判定するために、各測定点の標高を所定の閾値と比較する。
【００１７】
別の実施例では、セル内の測定点が冗長であるかどうかを判定するために、３Ｄグリッドマップの２Ｄ投影の各セル内の測定点の数を採用する。
【００１８】
別の実施例では、セル内の各測定点に関連する光学特性の平均値が決定される。例えば、光学特性は、測定された強度、反射率、信頼性、又はそれらのいくつかの組み合わせとすることができる。個々の測定点に関連する測定された光学特性と平均値との差が、測定点が冗長であるかどうかを決定するために使用される。
【００１９】
別の実施例では、セル内の測定ポイントが冗長であるかどうかを判断するために、セル内のすべての測定ポイントの最大標高と最小標高の差を使用する。
【００２０】
別の実施例では、セル内の測定ポイントに関連する標高の平均値、及び各隣接セルの測定ポイントに関連する平均標高値が決定される。隣接セルのいずれかに関連する平均標高と問題となっているセルとの差が所定の閾値を超える場合、セルに関連する測定ポイントは冗長ではないと判断する。
【００２１】
別の態様では、類似のオブジェクトに関連するピクセルのグループは、後続の特徴検出操作の計算の複雑さを軽減するためにクラスタ化される。このようにして、特徴検出は、多くのオブジェクトではなく、１つのオブジェクトに関連するピクセルデータに対して実行される。
【００２２】
別の態様では、特徴は、各測定点に関連する測定光学特性（例えば、強度、反射率、信頼性、又はそれらの組み合わせ）に基づいて、ＬＩＤＡＲ画像フレームから抽出される。
【００２３】
１つの実施形態では、特徴は、反射率階調度の値に基づいてＬＩＤＡＲ画像フレームから迅速に検出される。反射率階調度は有界整数であり、これらの値は効率的にソートできる。
【００２４】
別の実施形態では、特徴は、任意の数の光学特性を含む全体的なコントラスト値の値に基づいて、ＬＩＤＡＲ画像フレームから迅速に検出される。
【００２５】
ピクセルは、階調度の値に従って異なるビンに分類される。ビンは、階調度の値に基づいて異なるプール（つまり、異なる特徴セット）に分類される。特徴のさまざまなプールは、さまざまなオブジェクト（地面、壁、樹木、等）に関連付けられる。このようにして、周囲の環境内のさまざまな物理オブジェクトを識別する構造化された出力（つまり、特徴セット）が生成される。特徴点のプールは、各画像フレームに関連付けられた小さな特徴マップ（ＳＦＭ）を具備する。
【００２６】
別の態様では、ＬＩＤＡＲ測定システムによる推定位置は、高い繰り返し率でリフレッシュされる低解像度特徴マップに基づいて迅速に決定される一方、この推定位置は、低い繰り返し率でリフレッシュされる高解像度特徴マップに基づいて正確に更新される。
【００２７】
さらなる態様では、３次元環境のグローバルマップは、高い解像度の特徴マップ及びＬＩＤＡＲ測定システムによる推定位置に基づいて、定期的かつ一貫して更新される。
【００２８】
上述の記載は要約であり、従って、必然的に、簡素化、一般化、及び詳細の省略が含まれ、従って、当業者であればこの要約は単なる概要であり、決して限定のためのものではないことを理解するであろう。他の態様、創作的特徴、及びここに記載した装置及び／又はプロセスの利点は、ここに記載した非限定的な詳細な説明において明らかになるであろう。
【図面の簡単な説明】
【００２９】
【図１】ＬＩＤＡＲベースの、周囲環境のマッピングとリアルタイムで環境内のＬＩＤＡＲ測定システム１０４の位置を示すよう構成された、３次元撮像システム１０４及びコンピューティングシステム１１０を含む操作シナリオを示す図である。
【００３０】
【図２】少なくとも１つの新規な態様においてコンピューティングシステム１１０に組み込まれる、同時的位置特定及びマッピング（ＳＬＡＭ）エンジン１２０の例示的な説明図である。
【００３１】
【図３】多重解像度ＳＬＡＭモジュール１５０をさらに詳細に示す図である。
【００３２】
【図４】ＬＩＤＡＲ測定システム１０４のような、ＬＩＤＡＲ測定システムにより捕捉された画像フレームの検出されたピクセルの２次元投影を図示するプロット１７０を示す。
【００３３】
【図５】セグメンテーションモジュール１３０によるセグメンテーションの後、図４に示す同じ画像フレームの検出されたピクセルの２次元投影を図示するプロット１８０を示す。
【００３４】
【図６】少なくとも１つの新規な態様における少なくとも１つの統合ＬＩＤＡＲ測定装置を含むＬＩＤＡＲ測定システムの１つの実施形態を例示する簡略図である。
【００３５】
【図７】統合型ＬＩＤＡＲ測定装置１３０からの測定パルスの放出及び戻り測定パルスの捕捉に関連するタイミングを示す。
【００３６】
【図８】少なくとも１つの新規な態様において、統合ＬＩＤＡＲ測定装置によってＬＩＤＡＲ測定を実行する方法２００を例示するフローチャートを示す。
【発明を実施するための形態】
【００３７】
ここで、添付図に例示されている背景となる実施例及び本発明のいくつかの実施形態について詳細に言及する。
【００３８】
ここでは、３Ｄ・ＬＩＤＡＲ画像データに基づく、改善された同時的位置特定及びマッピングについて説明する。
【００３９】
同時的位置特定及びマッピング（ＳＬＡＭ）は、６自由度（例えば、ｘ、ｙ、ｚ、Ｒｘ、Ｒｙ、Ｒｚ）でリアルタイムに環境内のＬＩＤＡＲ測定システムの位置を推定している間に、ＬＩＤＡＲ測定システムを横切らせることにより、一貫した周囲の３次元幾何学的マップを構築することを伴う。ＳＬＡＭ分析は、ＬＩＤＡＲ測定システムによって生成された点群距離測定データに基づいて実行される。
【００４０】
図１は、ＬＩＤＡＲベースの３次元撮像システム１０４と、周囲の環境を同時的にマッピングし、リアルタイムで環境内のＬＩＤＡＲ測定システム１０４の位置を特定するように構成された、コンピューティングシステム１１０とを含む操作シナリオを示す。図１に示す実施形態では、車両１０３は、速度Ｖで道路１０２に沿って走行する。周囲環境には、建物１０１Ａ及び１０１Ｂ、樹木１０１Ｃ及び１０１Ｄ、道路１０２の路面、縁石１０６等を含む様々なオブジェクトが含まれる。周囲環境には、世界座標フレーム、例えば、図１に示される世界座標フレーム（ＸＷ、ＹＷ、ＺＷ）において移動しない静的オブジェクトが含まれる。ＬＩＤＡＲ測定システム１０４は、車両１０３に取り付けられ、周囲環境の画像に関連する３次元の点群データを取得する。瞬時座標フレーム（ＸＩ、ＹＩ、ＺＩ）がＬＩＤＡＲ測定システム１０４に取り付けられる。ＬＩＤＡＲ測定システム１０４は、瞬間座標フレームを参照して測定された点群データを生成する。言い換えれば、ＬＩＤＡＲシステム１０４によって実行される距離測定は、ＬＩＤＡＲ測定システム１０４自体において測定される。瞬時座標系は車両１０３とともに移動する。従って、世界座標フレームにおいて瞬時座標フレームの位置は、車両１０３の場所によって変化し、点群データのセットから生成された各画像フレームは、世界座標内の瞬間座標フレームの異なる位置に関連付けられる。
【００４１】
図示の実施形態では、ＬＩＤＡＲ画像情報１０５は、さらなる分析のために、ＬＩＤＡＲ測定システム１０４から１つ以上のコンピューティングシステム１１０に伝達される。ＬＩＤＡＲ画像情報１０５には、位置情報（例えば、シータ、ファイ、距離）及び光学情報（例えば、反射率、強度、信頼性、又はそれらの組み合わせ）を含む点群データの各セットに関連する点群データを含む。１つの実施形態では、多重解像度ＳＬＡＭを採用して、周囲環境の一貫した３次元マップ１０９を構築し、ＬＩＤＡＲ測定システム１０４によって生成された点群距離測定データ１０５に基づいて、世界座標フレームにおいてＬＩＤＡＲ測定システム１０４の位置１０８を推定する。結果として生じるマッピング情報１０９及び位置情報１０８は、車両制御システム１０７に伝達される。車両制御システム１０７は、更新された位置情報１０８及びマッピング情報１０９に基づいて、車両１０３の様々な要素（例えば、車両速度、ステアリング角度、ブレーキ力、表示灯など）を制御する。
【００４２】
１つの態様では、ＬＩＤＡＲ画像フレームは、特徴検出の前にセグメント化及びクラスタ化され、検出された特徴は、ここで説明する通りＳＬＡＭ分析を実行するために使用される。通常、特徴検出とＳＬＡＭ分析は、測定された点群データに対して直接実行される。ただし、このアプローチは計算量が多く、時間がかかる。発明者らは、特徴検出及びＳＬＡＭの前にセグメンテーション及びクラスタリングを実行することにより、自律車両アプリケーションのマッピング及び位置特定の両方の精度を維持しながら、計算効率を劇的に改善できることを発見した。
【００４３】
ＳＬＡＭ分析の対象となるデータの量を削減するために、ＬＩＤＡＲ画像フレームは、冗長データポイント又は自律車両アプリケーションに関連しないデータポイントを識別及び除去するためにセグメント化される。加えて、類似のオブジェクトに関連付けられた画像データポイントをグループ化するために画像データはクラスタ化される。このようなデータ削減の後、特定のオブジェクト、例えば、地面、壁、樹木、等を識別するために、特徴検出が採用される。いくつかの実施例では、データポイントの４０倍の削減は、ここで説明するように、特徴検出の前にセグメンテーションとクラスタリングを実行することによって達成される。特徴検出の後、ＳＬＡＭ分析は、対応するオブジェクトに関連付けられた非常に限られたデータセットに対して実行される。
【００４４】
図２は、少なくとも１つの新規な態様でコンピューティングシステム１１０に組み込まれる例示的な同時的位置特定及びマッピング（ＳＬＡＭ）エンジン１２０を示す図である。図２に示すように、ＳＬＡＭエンジン１２０には、座標変換モジュール１２５、セグメンテーションモジュール１３０、クラスタリングモジュール１３５、特徴検出モジュール１４０、及び複数の解像度、同時的位置特定及びマッピングモジュール１５０が含まれる。
【００４５】
図２に示すように、座標変換モジュール１２５は、点群データ１０５を受け取る。単一の点群（つまり、画像フレーム）には、１回のフルスキャン（例えば、ＬＩＤＡＲ測定システム１０４の周りの３６０度スキャン）で測定されたピクセルが含まれる。一般に、車両に取り付けられたＬＩＤＡＲ測定システムによって生成された点群データは、球面座標で表される。１つの実施例では、３次元空間内の各測定ピクセルの位置は、２つのオイラー角と距離測定自体によって表される。座標変換モジュール１２５は、点群データの座標表現を球面座標からデカルト座標（つまり、Χ、Ｙ、Ｚ）に変換する座標変換を点群データに対して実行する。各画像フレーム１２６に関連するデカルト座標データは、セグメンテーションモジュール１３０に伝達される。
【００４６】
別の態様では、点群データの画像フレームは、特徴抽出の前に冗長データを除去するためにセグメント化される。このようにして、各画像フレームには、関心のある領域（ＲＯＩ）にある高解像度データと、ピクセル数が少ないかまったくない領域で十分に記述されている領域中の解像度が低いデータとが含まれる。各画像フレームのピクセル数を減らすことにより、各画像フレームに関連するデータの量が減る。この結果、通信のオーバーヘッドとダウンストリームの計算の複雑さが軽減される。
【００４７】
１つの実施形態では、セグメンテーションモジュール１３０は、ＬＩＤＡＲ測定システム１０４によって捕捉された各画像フレーム１２６に関連するデカルト座標データを受け取る。セグメンテーションモジュール１３０は、地表面に関連する点を識別し、地表面に関連する冗長な点を排除する。
【００４８】
１つの実施形態では、セグメンテーションモジュール１３０は、標高に基づいて冗長ピクセルを識別する。地表面の標高が先験的にわかっていると仮定すると（例えば、地表でのＺ座標がゼロ）、地表面と同じ標高を持つピクセルは地表に関連付けられていると想定される。地表面に関連する余分なピクセルは削除される。
【００４９】
好ましい実施形態では、セグメンテーションモジュール１３０は、特定のピクセルが地表面に関連付けられているかどうかを確認するために付加的な空間情報を使用する。付加的な情報には、局所的な滑らかさ、データ密度などが含まれる。１つの実施例では、セグメンテーションモジュール１３０は、３次元画像フレームをさらに３Ｄグリッドマップに分割する。３Ｄグリッドマップのセルの規則的なパターンにより、インデックス作成の効率が向上し、３Ｄデータの挿入又は取得が容易になる。さらに、セグメンテーションモジュール１３０は、２Ｄグリッドマップを生成するためにｚ方向に沿ってセルを投影する。セグメンテーションモジュール１３０は、２Ｄグリッドマップを使用して冗長ピクセルを識別する。
【００５０】
１つの実施例では、セグメンテーションモジュール１３０は、各ピクセルに１つ以上の基準を適用して、ピクセルが冗長であるか冗長でないかを判定する。
【００５１】
１つの実施例では、セグメンテーションモジュール１３０は、ピクセルの標高が車両の高さより大きいかどうかを決定する。ピクセルの標高が車両の高さよりも高い場合、それは冗長ではない（例えば、地面ではない）。
【００５２】
別の実施例では、セグメンテーションモジュール１３０は、ピクセルの標高が閾値より大きいかどうかを決定する。ピクセルの標高が閾値よりも大きい場合、それは冗長ではない（例えば、地面ではない）。
【００５３】
別の実施例では、セグメンテーションモジュール１３０は、３Ｄグリッドマップの２Ｄ投影のセルの含むピクセルが所定の閾値よりも少ないかどうかを究明する。もし少ないなら、そのセルに関連するピクセルは、ピクセルの解像度がすでに低いため、冗長ではないと判断する。
【００５４】
別の実施例では、セグメンテーションモジュール１３０は、２Ｄ投影のセル内の各ピクセルに関連付けられた光学特性の平均値を決定する。例えば、光学特性は、測定された強度、反射率、信頼性、又はそれらのいくつかの組み合わせとすることができる。セグメンテーションモジュール１３０は、各ピクセルに関連する測定された光学特性（測定された強度、反射率、信頼性、又はそれらのいくつかの組み合わせ）とセル内のすべてのピクセルの測定された光学特性の平均値との差が所定の閾値を超えるかどうかを決定する。光学特性の値が平均値と大きく異なる場合、ピクセルは冗長ではないと決定される。
【００５５】
別の実施例では、セグメンテーションモジュール１３０は、セル内のすべてのピクセルの最大標高（例えば、ｚ座標）値とセル内のすべてのピクセルの最小標高値との間の差を測定する。差が所定の閾値を超える場合、ピクセルは冗長ではないと決定される。セル内の標高の大きな違いは、地表面ではなく垂直構造を示す。
【００５６】
別の実施例では、セグメンテーションモジュール１３０は、セル内のピクセルに関連付けられた標高の平均値及び各隣接セル内のピクセルに関連付けられた平均標高値を測定する。隣接するセルのいずれかに関連付けられている平均標高と問題のセルとの差の値が所定の閾値を超える場合、セルに関連付けられているピクセルは冗長ではないと決定される。
【００５７】
図４は、ＬＩＤＡＲ測定システム１０４のような、ＬＩＤＡＲ測定システムにより捕捉された画像フレームのすべての検出されたピクセルの２次元投影を図示するプロット１７０を示す。プロット１７０に示すように、ピクセルは、ｘ方向に２００メートル、ｙ方向に２５０メートルの範囲内で検出される。ＬＩＤＡＲ測定システムは、プロット１７０においてポイント｛０、０｝に配置される。
【００５８】
図５は、セグメンテーションモジュール１３０によるセグメンテーションの後の図４に示されたものと同じ画像フレームの検出されたピクセルの２次元投影を図示するプロット１８０を示す。この例では、ピクセル数が３１％削減されている。図４及び５に示すように。セグメンテーションモジュール１３０は、ＬＩＤＡＲ測定装置の近くの地表面の測定に関連する冗長な高解像度ピクセルを削除した。
【００５９】
セグメンテーションモジュール１３０は、前述の基準の任意の組み合わせを適用して、ピクセルが冗長であるか又は冗長でないかを決定する。一般に、前述の基準は、非限定的な例として提供され、他の多くの基準を、この特許文書の範囲内として考えることができる。いくつかの実施例では、セグメンテーションモジュール１３０は、完全な画像フレームに関連するピクセルのグループを受け取り、ピクセルのグループに作用し、セグメント化されたピクセルのグループをクラスタリングモジュール１３５に伝達する。しかしながら、いくつかの他の実施例では、セグメンテーションモジュール１３０は、一度に１ピクセルずつピクセルデータを受け取り、受け取ったピクセルに順次作用し、ＬＩＤＡＲ測定システムから受け取ったときにリアルタイムでセグメント化する。
【００６０】
特定のピクセルが冗長であるか又は冗長でないかを決定した後、セグメンテーションモジュールは、各冗長でないピクセル１３１に関連する画像データをクラスタリングモジュール１３５に伝達する。冗長なピクセルに関連する画像データは、クラスタリングモジュール１３５に伝達されない。
【００６１】
別の態様では、後続の特徴検出操作の計算の複雑さを低減するために、画像データはクラスタ化される。図２に示す実施例では、クラスタリングモジュール１３５は、画像データ１３１を受け取り、類似するオブジェクトに関連するピクセルのグループを識別する。ピクセル１３６の各グループは、特徴検出モジュール１４０に伝達される。このようにして、特徴検出モジュール１４０は、多くのオブジェクトではなく、１つのオブジェクトに関連するピクセルデータに作用する。
【００６２】
別の態様では、特徴は、各ピクセルに関連する、測定された強度、反射率、信頼性、又はそれらの組み合わせに基づいてＬＩＤＡＲ画像フレームから迅速に抽出される。
【００６３】
通常は、測定された画像空間をサブ領域に細分し、局所的な滑らかさをすべてのピクセルについて計算する。この滑らかさに基づいて、ピクセルは、空間内の事前定義された各サブ領域のＬＩＤＡＲチャンネルごとに、{最もシャープ、シャープ、スムーズ、最もスムーズ}の4つのカテゴリに分類される。ＮチャンネルとＭポイントのフレームを持つＬＩＤＡＲシステムの場合、各チャンネルはＭ／Ｎ個のポイントを有する。８つのサブ領域の場合、各サブ領域にはＫ＝Ｍ／（８Ｎ）個のポイントを有する。平滑度値の並べ替えには平均計算量順、Ｏ（ＭｌｏｇＫ）が含まれる。１６チャンネル（Ｎ＝１６）のＬＩＤＡＲシステムと１０，０００ポイント（Ｍ＝１０，０００）の画像フレームの場合、このアプローチを使用して妥当な計算コストで特徴を検出することができる。しかしながら、多くのチャンネルを有するセンサー及びより多くの数のピクセル（例えば、Ｎ＝３２及びＭ＝５０，０００）を有する画像フレームの場合、費用効率の高い方法でリアルタイムで結果を達成することは可能ではない。
【００６４】
１つの実施形態では、特徴は、空間の階調度の計算を特徴点検出時の反射率階調度で置き換えることにより、ＬＩＤＡＲ画像フレームから迅速に検出される。空間の階調度の値は、非有界浮動小数点値となる。このため、これらの数値を効率的にソートすることは、計算集約的となる。対照的に、反射率階調度は有界整数であり、これらの値は効率的にソートできる（線形複雑度、Ｏ（Ｍ））。
【００６５】
１つの実施形態では、特徴検出モジュール１４０はピクセルの画像フレーム１３６を受け取る。各ピクセルには、ＬＩＤＡＲ測定システムにおけるピクセルの位置を表す位置データ（例えば、Χ、Ｙ、Ζ座標）と、測定結果自体を表す光学値（例えば、反射率、Ｒ、強度、Ｉ、及び信頼性、Ｒｅ）が含まれる。いくつかの実施形態では、各ピクセルには６つの属性｛ｘ、ｙ、ｚ、Ｒ、Ｉ、Ｒｅ｝が含まれる。いくつかの実施形態では、各ピクセルには、４つの属性｛ｘ、ｙ、ｚ、Ｒ｝又は｛ｘ、ｙ、ｚ、Ｉ｝が含まれる。一般に、任意の数の属性を考えることができる。
【００６６】
１つの実施例では、各ＬＩＤＡＲチャンネルについて及び画像フレーム１３６のサブ領域について、特徴検出モジュール１４０は、以前に測定されたピクセルｉ−１に関して各ピクセルｉについて、反射率階調度（ａｂｓ（Ｒｉ−Ｒｉ-ｉ））、強度階調度（ａｂｓ（Ｉｉ−Ｉｉ−ｉ））、信頼性階調度（ａｂｓ（Ｒｅｉ−Ｒｅｉ−ｉ））、又はそれらの任意の組み合わせについて計算する。特徴検出モジュール１４０によって究明されるそれぞれの階調度の値は例えば、０から２５５の範囲の整数値である。
【００６７】
複数の階調度が計算される実施例の場合、特徴検出モジュール１４０は、全体的なコントラスト値を決定する（例えば、ここで、コントラストは、曲率の近似値）。例えば、反射率、強度、及び信頼性の階調度がすべて利用可能な場合、全体的なコントラストは式（1）によって決定され、床関数は、要素の値よりも小さく、要素の値に最も近い整数値を意味する。
【数１】
2020533601.tif 000003
【００６８】
一般に、各階調度の値は、全体のコントラスト値に対する各階調度値の影響を変化させるために、異なる定数によって重み付けしてもよい。
【００６９】
加えて、特徴検出モジュール１４０は、ピクセルをビンの集合に分類する。ビンの数は、全体的なコントラストの可能な整数値の数と同じとなる（例えば、２５６ビン）。従って、特定の全体的なコントラスト整数値を有する各ピクセルはは対応するビンの中にある。
【００７０】
特徴検出モジュール１４０は、ビンを異なるプールのビン（つまり、異なる機能セット）に分類する。１つの実施例では、４つのプールが定義される、つまり、高コントラスト特徴点、低コントラスト特徴点、最高コントラスト特徴点、及び最低コントラスト特徴点であり、それぞれ所定の閾値、#highest_contrast、#high_contrast、#low_contrast、及び#lowest_contrastによって定義される。１つの実施例では、全体のコントラスト値が#highest_contrast以上のすべてのビンが最高コントラストプールに関連付けられ、全体のコントラスト値が#high_contrastt以上のすべてのビンは、最高のコントラストとして識別されたものを除き、高コントラストのプールに関連付けられる。逆に、全体のコントラスト値が#lowest_contrast以下のすべてのビンは最低コントラストプールに関連付けられ、全体のコントラスト値が#low_contrast以下のすべてのビンは、最低コントラストとして識別されたものを除いて、低コントラストプールに関連付けられる。特徴のさまざまなプールは、さまざまなオブジェクト（地面、壁、木など）に関連付けられている。このようにして、特徴検出モジュール１４０は、周囲環境内の異なる物理オブジェクトを識別する構造化出力（つまり、特徴セット）を生成する。
【００７１】
このようにして、特徴検出モジュール１４０は、各画像フレームに対して特徴点の４つのプールを生成する。特徴点のプールは、画像フレームに関連付けられた小さな特徴マップ（ＳＦ）を構成する。図２に示すように、特徴検出モジュール１４０は、現在のフレームに関連付けられたＳＦＭ１４１及び前のフレームに関連付けられたＳＦＭ１４２を複数解像度ＳＬＡＭモジュール１５０に伝達する。
【００７２】
いくつかの例では、ｋ次元木（別名、ｋｄ木）が、点群及び特徴セットを編成するために使用される。ｋｄ木は、他の制約が課されたバイナリ検索ツリーです。ｋｄ木は、範囲探索及び最近傍探索に非常に役立つ。前述の例では、ｋｄ木は各ピクセルに関連付けられた属性の次元に合致させる。例えば、６つの属性｛ｘ、Ｙ、Ｚ、Ｒ、Ｉ、Ｒｅ｝を有するピクセルの場合、６次元のｋｄ木を採用する。
【００７３】
別の態様では、ＬＩＤＡＲ測定システムでの位置の推定は、高い繰り返し率でリフレッシュされた低解像度特徴マップに基づいて迅速に決定される一方、推定された位置は、低い繰り返し率でリフレッシュされた高解像度特徴マップに基づいて正確に更新される。
【００７４】
図３は、多重解像度ＳＬＡＭモジュール１５０をさらに詳細に示す図である。図３に示すように、ＳＬＡＭモジュール１５０には、増分センサー走行距離計測モジュール１５３、高速センサー走行距離計測モジュール１５８、低速センサー走行距離計測モジュール１５６、及び特徴マップ融合モジュール１５９が含まれる。
【００７５】
図３に示すように、現在のフレームに関連付けられたＳＦＭ１４１及び前のフレームに関連付けられたＳＦＭ１４２は、増分センサー走行距離計測モジュール１５１によって受け取られる。図６に示す。図３において、ＳＦＭ１４１は、現在の画像フレーム（ｎ番目のフレーム）を取得した時のＬＩＤＡＲ測定システムの位置に関して選択された特徴の位置を特定する特徴マップであり、ＳＦＭ１４２は、前の画像フレーム（ｎ-１番目のフレーム）を取得した時のＬＩＤＡＲ測定システムの位置に関して選択された特徴の位置を特定する特徴マップである。
【００７６】
図３に示されるように、増分センサー走行距離計測モジュール１５１は、ｎ番目の特徴セット（つまり、ＳＦＭｎ）におけるＬＩＤＡＲ測定システムの６自由度（例えば、Ｘ、Ｙ、Ｒｘ、Ｒｙ、Ｒｚ）の位置を、ｎ-１番目の特徴セット（つまり、ＳＦＭｎ-１）におけるＬＩＤＡＲ測定システムの位置及びnΔＰsensorn-1との関係で推定する。nΔＰsensorn-1は、ＳＦＭｎにおいて選択された特徴と、ＳＦＭｎ-１における同じ特徴とが最適に適合することになるように定める。１つの実施例では、この分析のために約３００の特徴が選択されている。nΔＰsensorn-1の推定は、ＬＩＤＡＲ測定システムの画像フレームの更新速度（例えば、１０Hz）に一致させてリアルタイムで実行される。ＬＩＤＡＲ測定システムの角速度と直線速度は、更新期間（例えば、０．１秒間）にわたって滑らかで連続的であると想定される。しかしながら、速度の急激な変化が発生した場合、多重解像度ＳＬＡＭモジュール１５０は、ＬＩＤＡＲ測定システムの慣性測定ユニット（ＩＭＵ）から入力を受け取り、速度の急激な変化を補償する。
【００７７】
１つの実施例では、増分センサー走行距離計測モジュール１５１は、式（２）の残差を最小化することによりnΔＰsensorn-1を推定する。
【数２】
2020533601.tif 000004
ここで、ｘは現在の特徴セットの特徴点であり、式（２）は、エッジポイントと対応するエッジラインとの間、又は平面点と対応する平面区画との間の幾何学的関係（つまり、移動と回転）を表す。例えば、式（２）には、点から平面までの距離、点から線までの距離等が含まれる。Ｄは距離のベクトルｄであり、各特徴点ｘは、距離ｄ及び非線形関数ｆによって定義される関係を有する。式（３）は、非線形最小２乗最小化法の各反復におけるnΔＰsensorn-1の推定を示している。
【数３】
2020533601.tif 000005
ここで、λはレーベンバーグ・マーカートアルゴリズムにより決定されたスカラー値であり、Ｊは関数fのヤコビアン（導関数）である。ヤコビアンは数値微分によって決定される。非線形最小２乗最小法により、式（２）により定義される残差を最小化する位置を特定する。
【００７８】
図３に示す実施形態において、nΔＰsensorn-1１５２は、特徴ロケータモジュール１５３に伝達される。特徴ロケータモジュール１５３は、現在のフレームの特徴点、ＳＦＭFeaturesn、をＬＩＤＡＲ測定システムの更新速度（例えば、１０Ｈｚ）で、ワールド座標フレームＷに投影する。これは、ＳＦＭよりも高い解像度を持つ大きな特徴マップ（ＬＦＭ）を生成するために、連続するＳＦＭに対して繰り返し実行される。ＬＦＭは、ＳＦＭよりも長い時間をかけて生成される（例えば、０．１秒毎ではなく、１秒毎に）。
【００７９】
図３に示す実施形態において、低速センサー走行距離計測モジュール１５６は、現在の大きなフレームインデックスｋでのワールド座標フレームＷにおける多くの特徴（ＳＦＭより多い）の位置を記述する現在のＬＦＭ（kＬＭＭFeaturesW１５５）を受け取る。低速センサー走行距離計測モジュール１５６はまた、先の大きなフレームインデックスｋ-１での世界座標フレームＷにおける多くの特徴の位置を記述する先のＬＦＭ（k-1ＬＭＭFeaturesW１５４）を受け取る。低速センサー走行距離計測モジュール１５６は、現在のＬＦＭの最も重要な機能を先のＬＦＭに最適に適合させることにより、先のフレームでの世界座標フレームにおけるＬＩＤＡＲ測定システムの６自由度の位置に対して、世界フレームにおけるkＰsensorW１５７の現在の６自由度の位置を推定する。最適化は、特徴セットが大きく、世界座標フレームを参照する点を除いて、増分センサー走行距離計測モジュール１５１を参照して説明した最適化と似ている。１つの実施例では、この適合化は１Ｈｚの速度で実行される。
【００８０】
図３に示す実施形態において、高速センサー走行距離計測モジュール１５８は、現在の大きなフレームインデックスｋで、ワールドフレームkＰsensorW１５７におけるＬＩＤＡＲ測定システムの現在の位置を受け取る。高速センサー走行距離計測モジュール１５８は、世界座標フレームにおいて測定された推定kＰsensorW１５７に、連続する各増分変位、（例えば、nΔＰsensorn-1）を加算することにより、現在の小フレームインデックス、ｎ（nＰsensorW１６０）における世界座標フレームにおけるセンサーの現在の６自由度位置を推定する。これは、低速センサー走行距離計測モジュール１５６（例えば、k+1ＰsensorW）によってセンサー位置の新しい推定が行われまで続く。その時点で、高速センサー走行距離計測モジュール１５８は新しい推定値をセンサーのベースライン位置と見なし、そして、別の新しい推定値が低速センサー走行距離測定モジュール１５６によって提供されるまで、連続する各増分変位を基準位置に加算する。このようにして、高速センサー走行距離測定モジュールにより、比較的速い更新速度（例えば、１０Ｈｚ）で世界座標フレームにおけるセンサーの位置の更新された推定値がもたらされる。この更新は、比較的遅い更新速度（例えば、１Ｈｚ）で、低速センサー走行距離計測モジュール１５６によってもたらされる世界座標フレームにおけるセンサー位置の、より正確な推定によって定期的に修正される。前述の通り、センサーの位置の加算による変化は、比較的低い解像度の特徴マップに基づいて増分センサー走行距離計測モジュール１５１によってもたらされる一方、低速センサー走行距離計測モジュールによってもたらされるセンサーの位置の変化は、比較的高い解像度特徴マップに基づく。このようにして、低解像度特徴マップに基Ｙづく位置推定によって引き起こされる誤差は、高解像度特徴マップに基づくより正確な推定によって定期的に修正される。
【００８１】
図３に示す実施形態において、特徴マップ融合モジュール１５９は、ワールドフレーム内のＬＩＤＡＲ測定システムの現在の位置、kＰsensorW１５７、現在のＬＦＭ、kＬＦＭFeaturesW１５５、及び以前のＬＦＭ、k-1ＬＦＭFeaturesW１５４を受信する。機能マップ融合モジュール１５９は、現在のセンサー位置kＰsensorW１５７に基づいてkＬＦＭFeaturesW１５５とk-1ＬＦＭFeaturesW１５４とを連続して融合し、融合した特徴マップを、世界座標フレームにおける特徴（建物、樹木など）の場所を特定するグローバルグリッドマップkＭFeaturesW１６１へと辻褄を合わせて統合する。１つの実施例では、これは１Ｈｚの更新速度で生じる。
【００８２】
図２に示すように、非限定的な例として、マップ１６１及び位置推定１６０は、コンピューティングシステム１１０のメモリ１１３、又は任意の他の適切なメモリデバイス（例えば、外部メモリ又はＬＩＤＡＲ測定システム１０４のボード上のメモリ）に格納される。
【００８３】
図６は、１つの実施形態におけるＬＩＤＡＲ測定システム１０４を示す本明細書で説明するように、他の多くのＬＩＤＡＲ測定システムを使用してＬＩＤＡＲ画像情報を提供することができるので、図６に示すＬＩＤＡＲ測定システム１０４の実施形態は非限定的な例として提示される。ＬＩＤＡＲ測定システム１０４には、主制御装置２９０及び１つ以上の統合ＬＩＤＡＲ測定装置２３０が含まれる。統合ＬＩＤＡＲ測定装置２３０には、戻り信号受信機集積回路（ＩＣ）、照明ドライバ集積回路（ＩＣ）２５２、照明源２６０、光検出器２７０、及びトランスインピーダンス増幅器（ＴＩＡ）２８０が含まれる。これらの要素の各々は、要素間の機械的支持及び電気的接続を行う共通基板２３５（例えば、プリント回路基板）に取り付けられる。
【００８４】
照明源２６０は、電流パルス２５３に応答して、照明光２６２の測定パルスを放射する。いくつかの実施形態では、照明源２６０は、レーザーベース（例えば、レーザーダイオード）である。いくつかの実施形態では、照明源は、１つ以上の発光ダイオードに基づく。一般に、任意の適切なパルス照明源を考慮することができる。照明光２６２は、ＬＩＤＡＲ測定装置１０４を出て、測定中の周囲の３次元環境内のオブジェクトから反射される。反射光の一部は、測定パルス２６２に関連する戻り測定光２７１として収集される。図６に示すように、統合ＬＩＤＡＲ測定装置２３０から放射される照明光２６２とＬＩＤＡＲ測定装置に向けられた対応する戻り測定光２７１は、光路を共有する。
【００８５】
１つの態様では、照明光２６２は、ＬＩＤＡＲ測定システム１０４の１つ以上のビーム成形光学要素２６３及びビーム走査装置２６４によって、周囲環境内の特定の場所に向けて集中的に投影される。さらなる態様では、戻り測定光２７１は、ビーム走査装置２６４及びＬＩＤＡＲ測定システム１０４の１つ以上のビーム成形光学要素２６３によって光検出器２７０に向けて集光される。ビーム走査装置は、ビーム整形光学系と測定環境との間の光路で使用される。ビーム走査装置は、３Ｄ・ＬＩＤＡＲシステムの視野を効果的に拡大し、視野内のサンプリング密度を高める。
【００８６】
図６に示す実施形態において、ビーム走査装置２６４は、回転アクチュエータ２６５によって回転軸２６７の周りを回転する可動ミラー要素である。主制御装置２９０によって生成されたコマンド信号２６６は、主制御装置２９０から回転アクチュエータ２６５に伝達される。それに応答して、回転アクチュエータ２６５は、所定の運動プロファイルに従って可動ミラー要素２６４を走査する。
【００８７】
統合型ＬＩＤＡＲ測定装置２３０には、アクティブなセンサー領域２７４を有する光検出器２７０が含まれる。図６に示すように、照明源１６０は、光検出器のアクティブ領域２７４の視野の外側に配置される。図６に示すように、オーバーモールドレンズ２７２が光検出器２７０の上に取り付けられている。オーバーモールドレンズ２７２には、戻り光２７１の光線受け入れ円錐と対応する円錐空洞が含まれる。照明源２６０からの照明光２６２は、ファイバ導波管によって検出器受信コーンに導かれる。光カプラは、照明源２６０とファイバ導波路とを光学的に結合する。ファイバ導波路の端部では、ミラー要素２６１は、導波路に対して４５度の角度に傾けられ、照明光２６２を戻り光の円錐２７１に導く。１つの実施形態では、ファイバ導波路の端面は４５度の角度で切断され、端面は高反射性誘電体コーティングでコーティングされて鏡面を提供する。いくつかの実施形態では、導波路には、長方形のガラスコアと、より低い屈折率のポリマークラッディングとが含まれる。いくつかの実施形態では、光学アセンブリ全体が、ポリマークラッディングの屈折率と厳密に一致する屈折率を有する材料でカプセル化される。このようにして、導波路は、最小限のオクルージョンで照明光２６２を戻り光の受容コーン２７１に導く。
【００８８】
検出器２７０のアクティブ検知領域２７４上に投影された戻り光２７１のアクセプタンスコーン内の導波路の配置は、照明スポットと検出器の視野が遠視野で最大の重なりを確実に生じさせるように選択する。
【００８９】
図６に示すように、周囲環境から反射された戻り光２７１は、光検出器２７０によって検出される。いくつかの実施形態では、光検出器２７０はアバランシェフォトダイオードである。光検出器２７０は、アナログトランスインピーダンス増幅器（ＴＩＡ）２８０によって増幅される出力信号２７３を生成する。しかしながら、一般に、出力信号２７３の増幅では、複数の増幅器段を有することができる。この意味で、他の多くのアナログ信号増幅の組み合わせをこの特許文書の技術的範囲内で考え付くことができるため、アナログトランスインピーダンス増幅器を、非限定的な例として提示する。ＴＩＡ２８０が、受信機ＩＣ２５０とは別個のデバイスとして図６に示されるが、一般に、ＴＩＡ２８０は、受信機ＩＣ２５０と統合することもできる。いくつかの実施形態では、スペースを節約し、信号汚染を低減するために、ＴＩＡ２８０を受信機ＩＣ２５０と統合することが好ましい。
【００９０】
増幅された信号２８１は、戻り信号受信機ＩＣ２５０に伝達される。受信機ＩＣ２５０には、タイミング回路と、照明源２６０から３次元の反射オブジェクトへ行き、光検出器２７０に戻ってくる測定パルスの飛行時間を推定する時間・デジタル変換器とが含まれる。推定飛行時間を示す信号２５５は、さらなる処理及びＬＩＤＡＲ測定システム１０４のユーザーへの通信のために主制御装置２９０に伝達される。加えて、戻り信号受信機ＩＣ２５０は、ピーク値（すなわち、戻りパルス）を含む戻り信号２８１のセグメントをデジタル化し、デジタル化されたセグメントを示す信号２５６を主制御装置２９０に伝達するように構成される。いくつかの実施形態では、主制御装置２９０は、これらの信号セグメントを処理して、検出されたオブジェクトの特性を識別する。いくつかの実施形態では、主制御装置２９０は、さらなる処理のために信号２５６をＬＩＤＡＲ測定システム１０４のユーザーに伝達する。
【００９１】
主制御装置２９０は、統合ＬＩＤＡＲ測定装置２３０の受信機ＩＣ２５０に伝達されるパルスコマンド信号２９１を生成するように構成される。パルスコマンド信号２９１は、主制御装置２９０によって生成されるデジタル信号である。従って、パルスコマンド信号２９１のタイミングは、主制御装置２９０に関連するクロックによって決定される。いくつかの実施形態では、パルスコマンド信号２９１は、照明ドライバＩＣ２５２によるパルス生成及び受信機ＩＣ２５０によるデータ取得を始動させるために直接使用される。しかしながら、照明ドライバＩＣ２５２及び受信機ＩＣ２５０は、主制御装置２９０と同じクロックを共有しない。この理由により、飛行時間の正確な推定は、パルスコマンド信号２９１をパルス生成及びデータ取得を始動させるために直接使用される場合、はるかに計算的に面倒になる。
【００９２】
一般に、ＬＩＤＡＲ測定システムには、ＬＩＤＡＲデバイスから各々が周囲環境に照明光パルスビームを放射し、周囲環境のオブジェクトから反射された戻り光を測定する、いくつかの異なる統合ＬＩＤＡＲ測定装置２３０が含まれる。
【００９３】
これらの実施形態では、主制御装置２９０は、パルスコマンド信号２９１を別々の統合ＬＩＤＡＲ測定装置に伝達する。このようにして、主制御装置２９０は、任意の数の統合されたＬＩＤＡＲ測定装置によって実行されるＬＩＤＡＲ測定のタイミングを調整する。さらなる態様では、ビーム成形光学素子２６３及びビーム走査装置２６４は、統合された各ＬＩＤＡＲ測定装置に関連する照明パルス及び戻り測定パルスの光路にある。このようにして、ビーム走査装置２６４は、各照明パルスとＬＩＤＡＲ測定システム１０４の戻り測定パルスを導く。
【００９４】
図示の実施形態では、受信機ＩＣ２５０は、パルスコマンド信号２９１を受信し、パルスコマンド信号２９１に応答して、パルストリガ信号ＶＴＲＧ２５１を生成する。パルストリガ信号２５１は、照明ドライバＩＣ２５２に伝達され、照明ドライバＩＣ２５２をすぐに始動させて、照明源２６０を電源２３３に電気的に結合し、照明光２６２のパルスを生成させる。加えて、パルストリガ信号２５１は、戻り信号２８１のデータ取得及び関連する飛行時間計算をすぐに開始させる。このようにして、受信機ＩＣ２５０の内部クロックに基づいて生成されたパルストリガ信号２５１は、パルス生成と戻りパルスデータ取得の両方を開始させるために使用される。これにより、パルスの生成と戻りパルスの取得を正確に同期させることが保証され、時間からデジタルへの変換により正確な飛行時間の計算が可能になる。
【００９５】
図７は、統合型ＬＩＤＡＲ測定装置２３０からの測定パルスの放射及び戻り測定パルスの捕捉に関連するタイミングの図を示す。図７に示すように、測定は、受信機ＩＣ２５０によって生成されたパルストリガ信号２６２の立ち上がりエッジによって開始される。図６及び７に示すように、増幅された戻り信号２８１は、受信機ＩＣ２５０によって受信される。前述のように、測定窓（すなわち、収集された戻り信号データが特定の測定パルスに関連付けられている期間）は、パルストリガ信号２６２の立ち上がりエッジでのデータ取得を可能にすることによって開始される。受信機ＩＣ２５０は、連続する測定パルスの放射に応答して戻り信号が予期されるときの時間窓に対応するように、測定窓Ｔmeasurementの持続時間を制御する。いくつかの実施例では、測定窓は、パルストリガ信号２６２の立ち上がりエッジで有効にされ、ＬＩＤＡＲシステムの範囲の約２倍の距離にわたる光の飛行時間に対応する時間に無効にされる。このようにして、測定窓が開いて、ＬＩＤＡＲシステムに隣接するオブジェクト（つまり、無視できる飛行時間）からの戻り光からＬＩＤＡＲシステムの最大範囲にあるオブジェクトからの戻り光までを収集する。このようにして、有用な戻り信号に寄与する可能性のない他のすべての光は排除される。
【００９６】
図７に示されるように、戻り信号２８１には、放射された測定パルスに対応する３つの戻り測定パルスが含まれる。一般に、信号検出は、検出されたすべての測定パルスに対して実行される。さらに、最も近い有効な信号２８１Ｂ（つまり、戻り測定パルスの最初の有効な事象）、最も強い信号、及び最も遠い有効な信号２８１Ｃ（つまり、測定窓における戻り測定パルスの最後の有効な事象）を識別するために、信号分析を実行することができる。これらの事象はいずれも、有効な距離測定値としてＬＩＤＡＲシステムから伝えることができる。
【００９７】
ＬＩＤＡＲシステムからの光の放出に関連する内部システム遅延（例えば、スイッチング要素、エネルギー貯蔵要素、及びパルス発光装置に関連する信号通信遅延及び待ち時間）、及び光の収集と収集された光を示す信号の生成（例えば、増幅器の待ち時間、アナログデジタル変換遅延など）に関連する遅延は、光の測定パルスの飛行時間の推定における誤差の原因となる。したがって、パルストリガ信号１４３の立ち上がりエッジと各有効戻りパルス（すなわち、２８１Ｂ及び２８１Ｃ）との間の経過時間に基づく飛行時間の測定には、望ましくない測定誤差が入り込んでいる。いくつかの実施形態では、修正した実際の光の飛行時間の推定値を得るため、電子的な遅延を補正するために、較正済みの所定の遅延時間が採用されている。ただし、動的に変化する電子遅延に対して静的な補正を行うことには、精度に限界が生じる。頻繁に再キャリブレーションを行うこともできるが、これには計算の複雑さが伴い、システムの動作可能時間に悪影響を及ぼす。
【００９８】
別の態様では、受信機ＩＣ２５０は、照明源２６０と光検出器２７０との間の内部クロストークによる検出パルス２８１Ａの検出と、有効な戻りパルス（例えば、２８１Ｂ及び２８１Ｃ）との間の経過時間に基づいて飛行時間を測定する。このようにして、システムに起因する遅延は飛行時間の推定から排除される。パルス２８１Ａは、光の伝播距離が事実上存在しない内部クロストークによって生成される。したがって、パルストリガ信号の立ち上がりエッジからパルス２８１Ａの検出の事象までの時間遅れは、照明及び信号検出に関連するシステムに起因する遅延のすべてを捕捉する。有効な戻りパルス（例えば、戻りパルス２８１Ｂ及び２８１Ｃ）の飛行時間を、検出されたパルス２８１Ａを基準にして測定することにより、内部クロストークによる照明及び信号検出に関連するすべての、システムに起因する遅延が除去される。図７に示すように、戻りパルス２８１Ａを基準として、受信機ＩＣ２５０は、戻りパルス２８１Ｂに関連する飛行時間ＴＯＦ１と、戻りパルス２８１Ｃに関連する飛行時間ＴＯＦ２とを推定する。
【００９９】
いくつかの実施形態では、信号分析は、受信機ＩＣ２５０によって完全に実行される。これらの実施形態では、統合ＬＩＤＡＲ測定装置２３０から伝達される信号２５５には、受信機ＩＣ２５０によって決定された飛行時間の表示が含まれる。いくつかの実施形態では、信号２５６には、受信機ＩＣ２５０によって生成されたデジタル化されたセグメントが含まれる。この生の測定信号セグメントは、３Ｄ−ＬＩＤＡＲシステム（例えば、プロセッサ２９５）に搭載された、又は３Ｄ−ＬＩＤＡＲシステムの外部にある１つ以上のプロセッサによってさらに処理され、距離の別の推定値、検出されたオブジェクトの１つ以上の特性、又は反射率、強度、信頼性、又はそれらの組み合わせのような測定の推定値を取得する。
【０１００】
主制御装置２９０又は任意の外部コンピューティングシステムには、パーソナルコンピュータシステム、メインフレームコンピュータシステム、ワークステーション、画像コンピュータ、並列プロセッサ、又は当該技術分野で既知の任意の他のデバイスを含むことができるが、これらに限定されない。一般に、「コンピューティングシステム」という用語は、記憶媒体からの命令により１つ又は複数のプロセッサを実行する１つ以上のプロセッサを有する装置である。
【０１０１】
本明細書に記載されているような方法を実行するプログラム命令２９２は、ワイヤ、ケーブル、又はワイヤレス伝送リンクのような伝送媒体を介して送信することができる。例えば、図６に示すように、メモリ２９１に格納されたプログラム命令２９２は、バス２９４を介してプロセッサ２９５に送信される。プログラム命令２９２は、コンピュータ読み取り可能媒体（例えば、メモリ２９１）に格納される。例示的なコンピュータ読み取り可能媒体には、読み取り専用メモリ、ランダムアクセスメモリ、磁気又は光ディスク、又は磁気テープが含まれる。
【０１０２】
図８は、ここに記載されているようなＬＩＤＡＲ測定システムにより実行するのに適した方法２００のフローチャートを示している。いくつかの実施形態では、ＬＩＤＡＲ測定システム１０４は、図８に示される方法２００に従って動作可能である。しかしながら、一般に、方法２００の実行は、図１を参照して説明したＬＩＤＡＲ測定システム１０４の実施形態に限定されない。他の多くの実施形態及び動作例を提示することが可能なので、これらの図解及び対応する説明は、例示のために提供するものである。
【０１０３】
ブロック２０１では、移動するＬＩＤＡＲ測定システムを用いて３次元環境で複数の点が測定される。
【０１０４】
ブロック２０２では、時間的に連続する画像フレームが生成される。各画像フレームには、ＬＩＤＡＲ測定システムにおける３次元環境での別の場所での測定にそれぞれ関連する複数の測定点が含まれる。複数の測定点の各測定には、ＬＩＤＡＲ測定システムにおける測定点の位置の表示、及び測定における光学特性の表示が含まれる。
【０１０５】
ブロック２０３では、直前の画像フレームにおける現在の画像フレームでのＬＩＤＡＲ測定システムの位置が推定される。
【０１０６】
ブロック２０４では、第１の連続する小さな特徴マップのそれぞれの測定点を３Ｄ環境に固定された世界座標フレームに投影することにより、第１の大きな特徴マップが、第１の連続する小さな特徴マップから生成される。
【０１０７】
ブロック２０５では、第２の連続する小さな特徴マップのそれぞれの測定点を３Ｄ環境に固定された世界座標フレームに投影することにより、第２の大きな特徴マップが、第２の連続する小さな特徴マップから生成される。第２の連続する小さな特徴マップは第１の連続する小さな特徴マップの直後に続くものである。
【０１０８】
ブロック２０６では、世界座標フレームにおけるＬＩＤＡＲ測定システムの現在の位置は、第１の大きな特徴マップ及び第２の大きな特徴マップに基づき推定される。
【０１０９】
本開示の全体にわたって説明した様々なステップは、単一のコンピュータシステム１１０によって、又は代替として、複数のコンピュータシステム１１０によって実行することができることを理解すべきである。さらに、ＬＩＤＡＲ測定システム１０４の別のサブシステムには、ここで説明するステップの少なくとも一部を実行するのに適したコンピュータシステムを含めることができる。従って、前述の説明は、本発明を限定するものとして解釈すべきではなく、単なる例示として解釈すべきである。さらに、１つ以上のコンピューティングシステム１１０は、ここで説明するずれかの方法の実施形態の任意の他のステップを実行するように構成することができる。
【０１１０】
加えて、コンピュータシステム１１０は、当該技術分野で知られている任意の方法でＬＩＤＡＲ測定システム１０４に通信可能に結合することができる。例えば、１つ以上のコンピューティングシステム１１０は、ＬＩＤＡＲ測定システム１０４に関連するコンピューティングシステムに結合することができる。別の実施例では、統合ＬＩＤＡＲ測定装置２３０は、コンピュータシステム１１０によって直接制御することができる。
【０１１１】
コンピュータシステム１１０は、有線及び／又は無線部分を含むことができる伝送媒体によってＬＩＤＡＲ測定システム１０４からデータ又は情報を受信及び／又は取得するように構成することができる。このようにして、伝送媒体は、コンピュータシステム１１０とＬＩＤＡＲ測定システム１０４の他のサブシステムとの間のデータリンクとして機能することができる。
【０１１２】
コンピュータシステム１１０は、有線及び／又は無線部分を含むことができる伝送媒体によって他のシステムからデータ又は情報（例えば、ＬＩＤＡＲ測定結果、圧縮データセット、セグメント化データセット、特徴セット、等）を受信及び／又は取得するように構成することができる。このようにして、伝送媒体は、コンピュータシステム１１０と他のシステム（例えば、メモリ搭載ＬＩＤＡＲ測定システム１０４、外部メモリ、又は外部システム）との間のデータリンクとして機能することができる。例えば、コンピューティングシステム１１０は、データリンクを介して記憶媒体（すなわち、メモリ１１３又はメモリ２９１）から測定データ（例えば、ＬＩＤＡＲ画像情報１０５）を受信するように構成することができる。さらに、コンピュータシステム１１０は、伝送媒体を介して他のシステムにデータを送ることができる。例えば、コンピュータシステム１１０によって究明された特徴マップ及び位置情報は、永久的又は半永久的なメモリデバイス（例えば、メモリ１１４）に格納することができる。別の実施例では、マッピング情報１０９及び位置情報１０８は、車両コントローラ１０７に通信することができる。その際、測定結果を別のシステムにエクスポートすることもできる。
【０１１３】
コンピューティングシステム１１０には、パーソナルコンピュータシステム、メインフレームコンピュータシステム、ワークステーション、画像コンピュータ、並列プロセッサ、又は当該技術分野で知られている任意の他のデバイスを含めることができるが、これらに限定されない。一般に、用語「コンピューティングシステム」は広く定義することができ、メモリ媒体からの命令を実行する１つ以上のプロセッサを有する任意のデバイスを含む。
【０１１４】
本明細書に記載されているものなどの方法を実行するプログラム命令１１５は、ワイヤ、ケーブル、又はワイヤレス伝送リンクなどの伝送媒体を介して送信することができる。例えば、図１に示すように、メモリ１１３に格納されたプログラム命令は、バス１１２を介してプロセッサ１１１に送信される。プログラム命令１１５は、コンピュータ読み取り可能媒体（例えば、メモリ１１３）に格納される。例示的なコンピュータ読み取り可能媒体には、読み取り専用メモリ、ランダムアクセスメモリ、磁気又は光ディスク、又は磁気テープが含まれる。
【０１１５】
１つ以上の例示的な実施形態では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実施することができる。ソフトウェアで実施される場合、機能は、コンピュータ読み取り可能媒体上の１つ以上の命令又はコードとして格納又は送信することができる。コンピュータ読み取り可能媒体には、コンピュータの記憶媒体と、ある場所から他の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体の両方が含まれる。記憶媒体は、汎用コンピュータ又は専用コンピュータがアクセスできる利用可能な任意の媒体とすることができる。限定するためではなく例示として、そのようなコンピュータ読み取り可能媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ-ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、又は、所望のプログラムコードを命令又はデータ構造の形式で持ち運び又は格納のために使用することができ、汎用コンピュータ又は専用コンピュータ、又は汎用プロセッサ又は専用プロセッサからアクセスすることができる他の媒体を含むことができる。また、すべての接続は、コンピュータ読み取り可能媒体と適切に称される。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は赤外線、ラジオ波、マイクロ波のような無線技術を使用して、Ｗｅｂサイト、サーバ、又はその他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、ラジオ波、マイクロ波のような無線技術が媒体の定義に含まれる。ここで使用されるディスク及び磁気ディスクには、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、及びブルーレイディスクが含まれ、ここで、通常、磁気ディスクは磁気的にデータを再生するものであり、ディスクはレーザーで光学的にデータを再生するものである。これらの組み合わせもコンピュータ読み取り可能媒体の範囲内に含まれる。
【０１１６】
特定の実施形態を説明目的のために上述の通り説明したが、この特許文書の教示は一般的な利用可能性を示し、上記の特定の実施形態に限定することを意味しない。したがって、特許請求の範囲に記載された本発明の範囲から逸脱することなく、説明した実施形態の様々な特徴の様々な修正、改変、及び組み合わせを実施することができる。
【図１】
2020533601.tif 000006
【図２】
2020533601.tif 000007
【図３】
2020533601.tif 000008
【図４】
2020533601.tif 000009
【図５】
2020533601.tif 000010
【図６】
2020533601.tif 000011
【図７】
2020533601.tif 000012
【図８】
2020533601.tif 000013
【国際調査報告】
2020533601.tif 000014