(57)【要約】  監視ユニットがその監視ユニットの周囲の環境中で移動されるにつれてその環境の３Ｄ再構築を生成することであって、ａ）少なくともカメラとＬＩＤＡＲセンサを設け、各々は独立したクロックにより制御され、ｂ）カメラを使用し、監視ユニットの軌道を決定し、またカメラのクロックを使用して第１の時系列を決定し、第１の時系列は監視ユニットが軌道の所定の地点にいつあったか詳細を示し、ｃ）ＬＩＤＡＲセンサからの応答を記録し、またＬＩＤＡＲセンサのクロックを使用して第２の時系列を決定し、第２の時系列はＬＩＤＡＲから各走査がいつ取得されたか詳細を示し、ｄ）ＬＩＤＡＲセンサからの応答を応答が受信された軌道上の地点に一致させるために、タイマを使用し、第１および第２の系列を関連付け、ｅ）２つの時系列からの情報を使用して、ＬＩＤＡＲ応答に基づいて３Ｄ再構築を作成する。
2016516977.tif 000002
【特許請求の範囲】
【請求項１】
監視ユニットがその監視ユニットの周囲の環境中で移動されるにつれて前記環境の３Ｄ再構築(reconstruction)を生成する(generating)方法であって、
ａ）少なくともカメラとＬＩＤＡＲセンサを設けるステップであって、前記カメラと前記ＬＩＤＡＲセンサが互いに対して一定の所定の向きで設けられ、独立したクロックにより制御される、ステップと、
ｂ）前記カメラを使用し、前記監視ユニットが前記環境中で移動するにつれてその軌道(trajectory)を決定し、また前記カメラの前記クロックを使用して第１の時系列(time series)を決定するステップであって、前記第１の時系列は前記監視ユニットが前記軌道の所定の地点にいつあったかの詳細(details)を示す、ステップと、
ｃ）前記環境を前記ＬＩＤＡＲセンサで走査し、前記ＬＩＤＡＲセンサからの戻り(returns)を記録し、また前記ＬＩＤＡＲセンサの前記クロックを使用して第２の時系列を決定するステップであって、前記第２の時系列は前記ＬＩＤＡＲから各走査がいつ取得されかの詳細を示す、ステップと、
ｄ）前記ＬＩＤＡＲセンサからの前記戻りを前記戻りが受信された前記軌道上の地点に一致させる(match)ために、タイマを使用し、前記第１および第２の系列を関連付けて(relate)、前記第１および第２の時系列(series)を処理するステップと、
ｅ）前記カメラと前記ＬＩＤＡＲセンサとの間の前記一定の所定の向きを使用して、前記ＬＩＤＡＲ戻りに基づいて前記３Ｄ再構築を作成するステップと、を備える方法。
【請求項２】
前記第１の時系列と前記第２の時系列(time series)を関連付けるために統計的方法により時間が提供され、特に、前記第１および第２のクロックからのタイミング系列を関連付けるために使用される前記タイマを提供するためにＴＩＣｓｙｎｃアルゴリズムを使用することができる、請求項１に記載の方法。
【請求項３】
前記監視ユニットが前記環境中で移動されるにつれて前記環境のステレオ画像のストリームを生成するために使用されるステレオ対のカメラを使用する、請求項１または２に記載の方法。
【請求項４】
前記軌道を生成するために前記ステレオ画像のストリームを処理する、請求項３に記載の方法。
【請求項５】
前記第１のセンサと前記ＬＩＤＡＲセンサの前記一定の向きを、前記これらのセンサから受信する前記データを処理することにより決定する、請求項１から４のいずれかに記載の方法。
【請求項６】
カメラと少なくとも１つのＬＩＤＡＲセンサの各々からデータを受信するように構成される処理回路を備える監視ユニットであって、
前記カメラは、第１の時系列を提供する第１のクロックにより制御され、監視ユニットに対して一定の向きで搭載され、前記処理回路は、前記カメラから受信する前記データから軌道を生成するように構成され、
前記ＬＩＤＡＲセンサは、第２の時系列を提供する第２のクロックにより制御され、監視ユニットに対して一定の向きで搭載され、前記ＬＩＤＡＲセンサは、監視ユニットが前記環境中で移動されるにつれて監視ユニットの環境(environment)を走査するように構成され、
前記処理回路は、前記カメラからの前記データに加えて、前記ＬＩＤＡＲセンサから前記データを受信し、前記第１および第２の時系列を処理し、タイマを使用してそれらを互いに関連付けて前記ＬＩＤＡＲセンサからの前記データを前記軌道にマッチングさせ、前記マッチングから前記環境の３Ｄ再構築を生成するように構成される、監視ユニット
【請求項７】
少なくとも１つの二次元ＬＩＤＡＲセンサを備える、請求項６に記載のユニット。
【請求項８】
２つのＬＩＤＡＲセンサを備える、請求項６または７に記載のユニット。
【請求項９】
前記１つのまたは各ＬＩＤＡＲセンサがプッシュブルーム(bush-broom)配置(arrangement)で搭載される、請求項７または８に記載のユニット。
【請求項１０】
前記カメラと前記ＬＩＤＡＲセンサが視野の重複がないように構成される、請求項６から９のいずれかに記載のユニット。
【請求項１１】
前記ユニットがユーザにより携行可能である単一のユニット内に構成される、請求項６から１０のいずれかに記載のユニット。
【請求項１２】
前記ユニットがユーザにより着用可能であるバックパック内に構成される、請求項１１に記載のユニット。
【請求項１３】
ステレオ対のカメラを備える、請求項６から１２のいずれかに記載のユニット。
【請求項１４】
機械により読み取られたとき前記機械に、請求項１から５のいずれかの前記方法を提供させる命令を含む、機械可読媒体。
【請求項１５】
機械により読み取られたとき前記機械に、請求項６から１３のいずれかの前記ユニットの少なくとも一部を提供させる命令を含む、機械可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は環境の３次元モデルの生成に関する。特に、これは３Ｄ点群の生成であってよい。特に、排他的ではなく、本発明は誘導車両などロボットの周囲の環境の３Ｄモデルの生成に関してよい。他の実施形態は車両を環境のモデルを使用して環境中で操縦することに関してよい。
【背景技術】
【０００２】
様々な目的のために使用され得る環境のモデルを生成することがしばしば望ましい。たとえば、建物を調査するときその建物のモデルを記録して、その後３Ｄモデルを使用し、火災避難装置、健全性、安全性などに関してなど建物を評価することができるようにすることが有用となり得る。他の実施形態では、ロボット工学や誘導車両などでのように、車両を操縦するために環境のモデルを生成することが望ましいことがある。しかしながら、先行技術のモデル生成方法は望ましいほど良好かつ／または容易にはモデルを生成しない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本願発明の一実施例は、例えば、環境の３Ｄモデルの生成に関する。
【課題を解決するための手段】
【０００４】
本発明の第１の態様によれば、監視ユニットがその監視ユニットの周囲の環境中で移動されるにつれてその環境の表現を生成する方法が提供され、方法は以下のステップ、すなわち
ａ）少なくとも第１のセンサと少なくとも１つのＬＩＤＡＲセンサを設けるステップであって、第１および第２のセンサを互いに対して一定の向きで設けてよく、独立したクロックにより制御される、ステップ、
ｂ）第１のセンサを使用し、監視ユニットが環境中で移動するにつれてその軌道を決定し、また第１のセンサのクロックを使用して第１の時系列を決定するステップであって、第１の時系列は監視ユニットが軌道の所定の地点にいつあったか詳細を示す、ステップ、
ｃ）環境をＬＩＤＡＲセンサで走査し、ＬＩＤＡＲセンサからの戻りを記録し、またＬＩＤＡＲセンサのクロックを使用して第２の時系列を決定するステップであって、第２の時系列はＬＩＤＡＲから各走査がいつ取得されか詳細を示す、ステップ、
ｄ）ＬＩＤＡＲセンサからの戻りを戻りが受信された軌道上の地点に一致させるために、統計的方法を使用し、第１および第２の系列を関連付けて、第１および第２の時系列を処理するステップ、および
ｅ）第１のセンサとＬＩＤＡＲとの間の所定の向きを使用して、ＬＩＤＡＲ戻りに基づいて監視ユニットの周囲の環境の表現を作成するステップのうちの少なくとも１つを備える。
【０００５】
そのような構成を提供する実施形態は、先行技術の方法と比較して監視ユニットを移動させた環境のより高品質モデルを提供するので、有利であると思われる。
【０００６】
特に、いくつかの実施形態は２次元ＬＩＤＡＲセンサを使用してよい。そのようなＬＩＤＡＲセンサはＬＩＤＡＲスキャナ、すなわち、その環境を走査するように構成されるセンサとも呼んでよい。いくつかの実施形態は３次元ＬＩＤＡＲセンサを使用してよいことが考えられるが、これらは現在高価である。
【０００７】
複数のＬＩＤＡＲセンサがあってよく、特に２つのＬＩＤＡＲセンサがあってよい。
【０００８】
その１つのまたは各ＬＩＤＡＲセンサはプッシュブルーム配置で搭載されてよい。特に、ＬＩＤＡＲセンサは監視ユニットに一定の関係で搭載されてよい。そのような実施形態において、ＬＩＤＡＲセンサは環境を走査するために搭載ユニットの動きに依存してよい。
【０００９】
実施形態は第１のセンサとＬＩＤＡＲセンサが視野の重複がないように構成してよい。方法は第１のセンサとＬＩＤＡＲセンサからのデータを遡及的に結合するように構成してよい。
【００１０】
本発明のいくつかの実施形態は、第１および第２のクロックからのタイミング系列を関連付けるために使用されるタイミング方法を提供するためにＴＩＣｓｙｎｃアルゴリズムに依存する。
【００１１】
第１のセンサはカメラにより提供されてよく、特にステレオ対のカメラにより提供されてよい。好都合には、方法は、第１のセンサからの出力を処理するビジュアルオドメトリ（ＶＯ：Ｖｉｓｕａｌ  Ｏｄｏｍｅｔｒｙ）システムから軌道を生成する。そのような実施形態は、パッシブセンサに依存し、全地球測位システムなどの外部測位システムに依存しないので、有利であると思われる。そのような外部測位システムの使用を回避することで、方法はそのような外部システムが達しない領域に（たとえば屋内、都市環境になど）提供できる。
【００１２】
本発明の第２の態様によれば、監視ユニットが提供され、監視ユニットは、
第１のセンサと少なくとも１つのＬＩＤＡＲセンサの各々からデータを受信するように構成される処理回路を備え、
第１のセンサは、第１の時系列を提供する第１のクロックにより制御され、監視ユニットに対して一定の向きで搭載され、処理回路は、第１のセンサから受信するデータから軌道を生成するように構成され、
ＬＩＤＡＲセンサは、第２の時系列を提供する第２のクロックにより制御され、監視ユニットに対して一定の向きで搭載され、ＬＩＤＡＲセンサは、監視ユニットが環境中で移動されるにつれて監視ユニットの環境を走査するように構成され、
処理回路は、ＬＩＤＡＲセンサからデータを受信し、第１および第２の時系列を処理し、タイミング方法を使用してそれらを互いに関連付けてＬＩＤＡＲセンサからのデータを軌道にマッチングさせ、そのマッチングから環境の表現を生成するように構成される。
【００１３】
本発明の第３の態様によれば、機械により読み取られたときその機械に、監視ユニットがその監視ユニットの周囲の環境中で移動されるにつれてその環境の表現を生成させる命令を含む機械可読媒体が提供され、命令は本発明の第１の態様の方法が提供されるようにする、または機械に本発明の第２の態様の監視ユニットの少なくとも一部を提供させる。
【００１４】
本発明の上記の態様のいずれかで言及される機械可読媒体は以下のいずれかであってよい：ＣＤＲＯＭ、ＤＶＤ  ＲＯＭ／ＲＡＭ（−Ｒ／−ＲＷや＋Ｒ／＋ＲＷを含む）、ハードドライブ、メモリ（ＵＳＢドライブや、ＳＤカード、コンパクトフラッシュカードなどを含む）、伝送信号（インターネットダウンロードやＦＴＰファイル転送などを含む）、電線など。
【００１５】
本発明の上記の態様のいずれかに関して説明する特徴は、本発明のその他の態様のいずれかに準用してよい。
【００１６】
添付の図面を参照しつつ、例としてのみ、以下に本発明の実施形態の詳細な説明を行う。
【図面の簡単な説明】
【００１７】
【図１】センサを取り付けた車両を概略図である。
【図２】ビジュアルオドメトリ工程の段階の図である。
【図３】図３ａは第１および第２の初期カメラ画像の図である。図３ｂは図３ａのものと同様であるがその後の第１および第２のカメラの画像の図である。
【図４】図３ａおよび３ｂの画像から決定する軌道の図である。
【図５】車両の周囲の環境を走査するプッシュブルーム配置で作用するＬＩＤＡＲの図である。
【図６】カメラの軌道とのＬＩＤＡＲ戻りデータの組み合わせの図である。
【図７】ＬＩＤＡＲで撮影した表現の例の図である。
【図８】組立および分解立体図両方での監視ユニットの例の図である。
【図９】本発明の実施形態を詳述するフローチャートである。
【図１０】監視ユニットのさらなる実施形態の図である。
【発明を実施するための形態】
【００１８】
本発明の実施形態を、第１のセンサ１００と少なくとも１つのＬＩＤＡＲセンサ１０３を備える監視ユニット１０に関して説明し、監視ユニット１０は車両１０２上に搭載される。センサ１００は、その現地を監視して監視に基づいてデータを生成し、それによって車両１０２の周囲の感知されるシーンのデータを提供するように構成される。同様に、ＬＩＤＡＲセンサ１０３もその現地を監視するように構成される。
【００１９】
もっとも、説明している実施形態において、監視ユニット１０は車両への別個のユニットとして示される。他の実施形態において、監視ユニット１０は車両と関連付ける必要はなく、たとえばバックパックなどで携行でき（たとえば図１０に示すように）、そのような実施形態はしたがって人により携行されるように構成される。さらなる実施形態において、監視ユニットは車両などに統合してよい。
【００２０】
説明している実施形態において、第１のセンサ１００はパッシブセンサであり（すなわち放射線を生成せず、単に放射線を検出する）、特にカメラである。より具体的には、説明している実施形態において、第１のセンサはステレオカメラ（ＰｏｉｎｔＧｒｅｙ  ＢｕｍｂｌｅＢｅｅなど）であり、それは２つのカメラ１０４、１０６を備える。当業者は、そのようなセンサは単一のセンサ１００としてよりもむしろ２つの別々のカメラにより提供できることを理解するであろう。しかしながら、他の実施形態は、単一のカメラに依存してよい。
【００２１】
他の実施形態において、第１のセンサ１００はレーザスキャナ（ＬＩＤＡＲ）など、他の形態のセンサを備えてよい。そのため、第１のセンサ１００はそこから放射線を送出し、反射された放射線を検出するように構成されるアクティブセンサであってもよい。第１のセンサはジャイロまたは慣性ベースのセンサで置き換えてもよい。一般に、実施形態は第１のセンサに、そこから車両１０２の軌道が決定され得る任意のセンサタイプを活用してよい。
【００２２】
車両１０２は第２のセンサ１０３も備え、説明している実施形態においてはＬＩＤＡＲレーザスキャナである。特に説明している実施形態において、第２のセンサは走査ＬＩＤＡＲセンサである。
【００２３】
一実施形態において、図５および８に示すように、監視ユニット１０は２つのＬＩＤＡＲセンサ（ＳＩＣＫ  ＬＭＳ−１５１）８００、８０２を備える。本実施形態におけるＬＩＤＡＲセンサ８００、８０２の各々はおおよそ２４０°の視野を有し、一方のセンサ８００は車両１０２の左側５００（すなわち縁石側）を走査するように構成され、他方のセンサ８０２は車両１０２の右側５０２（すなわち反縁石側）を走査するように構成される。
【００２４】
したがって、図５および８の実施形態において、ＬＩＤＡＲ８００、８０２は、そこから放出される放射線が車両が移動するにつれて車両の環境を走査するように、いわゆるプッシュブルーム構成で搭載されており、すなわち環境の走査が起こるようにするのは車両１０２の動きである。
【００２５】
そのような２Ｄ  ＬＩＤＡＲ（たとえばこのプッシュブルーム構成で使用されるもの）を使用する実施形態は、現在３Ｄ  ＬＩＤＡＲよりもかなり安価であり別個に搭載するのも容易であるので、有利であると思われる。
【００２６】
Ｖｅｌｏｄｙｎｅなどにより生産されるものなど、他のレーザセンサを使用してもよい。
【００２７】
図１に示す実施形態において、車両１０２は道路１０８に沿って走行しており、第１のセンサ１００は車両１０２が走行する９００につれて現地（たとえば建物１１０、道路１０８、など）を撮像している。本実施形態において、監視ユニット１０はまた、センサ１００、１０３からデータを取り込み、その後取り込んだ画像（第１のセンサ１００）およびＬＩＤＡＲ（センサ１０３）データを処理するように構成される処理回路１１２を備える。説明している実施形態では、処理回路１１２はまた記憶装置１１４を備えるか、またはそれへのアクセスを有する。
【００２８】
図の下部は典型的な処理回路１１２に見出せるであろう構成要素を示す。処理ユニット１１８を設けてよく、たとえばｉ５、ｉ７プロセッサなどのＩｎｔｅｌ（登録商標）Ｘ８６プロセッサであってよい。処理ユニット１１８はシステムバス１２０を介して、Ｉ／Ｏサブシステム１２２（およびそれにより外部ネットワークや、ディスプレイ、などと）やメモリ１２４と通信するように構成される。
【００２９】
当業者は、メモリ１２４は揮発性メモリや、ハードドライブ、不揮発性メモリなどを含む様々な構成要素により提供されてよいことを理解するであろう。実際は、メモリ１２４は処理ユニット１１８の制御下の、またはそうでなければそれに接続される複数の構成要素を備える。
【００３０】
もっとも、典型的にメモリ１２４は、実行されると作用を行うプログラムコードを記憶するように構成されるプログラム記憶部１２６と、一時的かおよび／または永続的かいずれかでデータを記憶するために使用できるデータ記憶部１２８を提供する。
【００３１】
他の実施形態において、処理回路１１２の少なくとも一部は車両から離れて設けてよい。そのため、第１のセンサ１００により生成されるデータの処理は車両１０２外でまたは部分的に車両１０２上でかつ部分的に外で行うことが考えられる。処理回路を車両上と外の両方に設ける実施形態において、ネットワーク接続（たとえば、３Ｇ  ＵＭＴＳ（ユニバーサル移動体通信システム）やＷｉＦｉ（ＩＥＥＥ  ８０２．１１）など）を使用してよい。
【００３２】
図示する実施形態において、プログラム記憶部１２６は、監視ユニット１０（および／またはユニットが搭載される車両など）の軌道を決定するように構成されるＶＯシステム１２８と、第１のセンサと第２のセンサに関連付けられるクロックからタイミング情報を生成するように構成されるタイマ１３０と、ＬＩＤＡＲセンサからの受信データを処理するように構成されるＬＩＤＡＲプロセッサ１３２とを備える。データ記憶部１２８は、車両の軌道を提供する軌道データ１３４と、その１つのまたは各ＬＩＤＡＲセンサ１０３から返されるデータに関する情報を提供するレーザ戻りデータ１３６と、実施形態によって生成される環境の表現１３８を含んでよい。他のデータをデータ記憶部１２８内に記憶してもよいし、他のルーチンなどをプログラム格納部１２６内に記憶してよい。
【００３３】
説明している実施形態において、環境の表現はＬＩＤＡＲ点群と呼んでよい点群を備える。他の実施形態において、スプリント群などの他の３Ｄ再構成を提供してよい。
【００３４】
説明しているものを含めていくつかの実施形態において、タイマ１３０は複数の時系列（たとえばクロックパルスの系列）を互いに関連付ける後述の技法を利用するように構成される。
【００３５】
図８を見ると、監視ユニット１０をより詳細に示しており、監視ユニット１０が２つのＬＩＤＡＲ８００、８０２と第１のセンサ１００とが搭載されるハウジング８０４を備えることが分かる。したがって、ＬＩＤＡＲ８００、８０２と第１のセンサ１００は互いに対して一定の関係にあり、これはそのような実施形態において、センサの各々により生成されるデータが互いに一定の関係にある点から生成されることを意味するので、好都合である。
【００３６】
図示している、開発目的のために使用された実施形態において、移動ユニット１０はまた、全地球測位センサ（ＧＰＳ）８０６、４つ一組の単眼カメラ（８０８ａ、８０８ｂ、８０８ｃおよび８０８ｄ（不可視））、慣性測定ユニット（ＩＭＵ）８１０、および処理回路１１２を備える。このように、監視ユニット１０は自立ユニットを提供する。
【００３７】
図１０に示す実施形態はまた、第１のセンサ１００２（一対のステレオカメラ）とＬＩＤＡＲセンサ１００４とを含むハウジング１０００を備える。ここでも、第１のセンサ１００２とＬＩＤＡＲセンサ１００４は、互いに対して一定の向きでハウジング１０００に固着されることにより保持される。図１０の実施形態において、ＬＩＤＡＲセンサ１００４と第１のセンサ１００２に加えてさらに設けるセンサは一切ない。
【００３８】
第１のセンサ１００と、第１のセンサ１００が接続される処理回路１１２は、処理回路１１２上で実行するソフトウェアと共に、しばしばビジュアルオドメトリ（ＶＯ）システムと名付けられるものを形成する。説明している実施形態において、ＶＯシステムはカメラ（１０４、１０６）から生成されるデータを使用して、世界の３Ｄモデルを連続的に生成する。
【００３９】
典型的に、かつ図３ａおよび３ｂに例示するように、ＶＯシステムは、ステレオ対の両画像に位置できる、カメラ対からの各画像内の点（特徴やノードと呼んでよい）を捜し出す。
【００４０】
図３ａはカメラ１０４により取り込まれる画像３００とカメラ１０６により取り込まれる画像３０２を例示する。図３ａに示す一対の画像は車両１０２の周囲の現地の立体視を提供する。図３ａに与える例では、ＶＯシステムは両画像に共通の６点を特定した。これらの６点は３０４〜３１４に示され、画像３００では「ａ」が、図３０２では「ｂ」が付される。
【００４１】
ＶＯシステムが特定した点は次いで、第１のセンサ１００の軌道を生成するために後続の画像間で追跡する。
【００４２】
たとえば後の時間に、カメラ１０４は３５０で示す画像を取り込み、カメラ１０６は３５２で示す画像を取り込む。この例では、点３０６ａ、３０６ｂ、３１２ａ、３１２ｂ、および３１４ａ、３１４ｂが後の時間に取り込まれたこれらの画像内に残っているが、画像に対して異なる位置にあることが分かる。ＶＯシステムは画像内のさらなる点をもちろん（おそらく）検出してよい（するであろう）。図３ｂの例では、ＶＯシステムは早い時間に取り込んだ画像３００、３０２では検出されなかった点３１６ａおよび３１６ｂを検出した。
【００４３】
当業者は、より多くの点が左右の画像間で検出されかつ時間フレーム間で（すなわち早い時間と後の時間での画像間で）追跡されるであろうことを理解するであろう。
【００４４】
監視ユニットに対する第１のセンサ１００の位置は既知でかつこの場合一定であるので、おそらく処理回路１１２を使用して、図４に４００で示すように車両１０２の軌道を計算することも可能である。したがって、処理回路１１２は第１のセンサ１００からデータを受信し、それから軌道４００を生成する９０２が、すなわち、処理回路は入力される画像から軌道データ１３４を生成する。
【００４５】
説明している実施形態において、処理回路、しかも特にＶＯシステム１２８は、カメラ１０４、１０６間で点をマッチング（すなわちステレオマッチング）する前に、異なる時間に撮影された画像間で点をマッチング（すなわち時間的マッチング）するように構成される。つまり、そして図３ａおよび３ｂを参照すると、ＶＯシステム１２８は、画像３００と３０２間および画像３５０と３５２間で点をマッチングする前に、画像３００と３５０間および画像３０２と３５２間で点をマッチングする。
【００４６】
監視ユニット１０２のいくつかの実施形態において、処理回路がいくつかのクロックを含むか、またはシステムクロックにより生成されるタイミング信号が処理回路にわたり伝搬するときに遅延が存在することで、いつイベントが発生するかを判定する際に問題が存在し得る。したがって、いつイベントが発生するかを正確に判定するために、ＴＩＣＳｙｎｃなどのアルゴリズムを利用することが公知である。ＴＩＣＳｙｎｃはタイマとして考えてよい。
【００４７】
ＴＩＣＳｙｎｃは、論文「ＴＩＣＳｙｎｃ：Ｋｎｏｗｉｎｇ  Ｗｈｅｎ  Ｔｈｉｎｇｓ  Ｈａｐｐｅｎｅｄ」Ａｌａｓｔａｉｒ  ＨａｒｒｉｓｏｎおよびＰａｕｌ  Ｎｅｗｍａｎによる；ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ；Ｓｈａｎｇｈａｉ  Ｃｈｉｎａ、２０１１年５月、に初めて記載された。当業者には、ＴＩＣＳｙｎｃアルゴリズムを理解するために、この論文を読むように促すとともに、車両１０２上のイベントのタイミングに関するその内容が参照により本明細書に組み込まれる。ＴＩＣＳｙｎｃはネットワーク遅延を決定するために統計的方法を使用し、これによりイベント（ＬＩＤＡＲ戻りの受信や、軌道上の点など）がいつ発生したかについて判断できる。
【００４８】
処理回路内のデバイスとそれにＩ／Ｏサブシステム１２２を介して接続されるデバイスとの間（第１のセンサ１００と処理ユニット１１８との間など）の任意の通信では、データパケットが両方向に往来するであろう。たとえば第１のセンサ１００と処理ユニット１１８の例では、これはデバイスの一方または他方からの要求およびそれに対する他方による応答であってよい。要求と応答の道程内の遅延や、第１のセンサ１００と処理ユニット１１８の異なる処理負荷を考慮すると、データパケットが要求と応答を行うための伝搬時間は各方向で異なる可能性がある。
【００４９】
ＴＩＣＳｙｎｃを使用する実施形態は、車両１０２内で互いに通信するデバイスに関する要求と応答の伝搬時間と、要求と応答の各々の伝搬時間の上下限値を蓄積する。次いで、伝搬時間を処理するために凸包ベースのアルゴリズムを使用する。ＴＩＣＳｙｎｃアルゴリズムにより、クロックドリフト（おそらく温度などによる）が追跡できる。ＴＩＣＳｙｎｃアルゴリズムは伝搬時間の上限値誤差推定値も提供する。したがって、ＴＩＣｓｙｎｃは、イベントが発生した時間をイベントを計時したクロックに関係なく同期化できるようにするために、異なる時系列（たとえば異なるクロックからの出力）を互いに関連付けできるようにそれらを処理するのに、クロック間の遅延の推定値を使用できる方法の例を提供する。このステップは図９の９０６で言及する。
【００５０】
したがって、説明している実施形態において、第１のセンサ１００とＬＩＤＡＲセンサ１０３の各々は異なるクロックにより実行され、たとえば第１のセンサ１００は第１のクロックにより処理してよく、ＬＩＤＡＲセンサ１０３は第２のクロックにより処理してよい。したがって、第１のクロックからのクロックパルスの列は第１の時系列と見なしてよく、同様に第２のクロックからのクロックパルスの列は第２の時系列と見なしてよい。
【００５１】
監視ユニット１０に利用したＶＯシステムに戻り、図３で説明したものと比較して一般的でより詳細な概要を提供する。処理回路１１２は、ｋが添えられる（すなわちｋはフレーム番号）、２つのカメラ１０４、１０６により取り込まれる一連のステレオフレーム（たとえば３００、３０２）
【００５２】
【数１】
2016516977.tif 000003
【００５３】
を処理する。第１フレーム
【００５４】
【数２】
2016516977.tif 000004
【００５５】
に関して、一組の点を各画像から抽出する。
【００５６】
画素位置を左画像ではｚＬ＝［ｕｌ，ｖｌ］Ｔで、右画像ではｚＲ＝［ｕｒ，ｖｒ］Ｔで表し、ｕとｖへの下付き文字はカメラを示す。ｚＬとｚＲを「特徴」（たとえば点３０４〜３１６）と呼び、各々を追加的に、局所画像領域の関数である記述子により特徴付ける。歪みを除去して特徴を抽出した後、次いで特徴を異なる時間でのフレーム間で（たとえばフレームｋ−１とｋ間で）マッチングするが、これを時間的マッチング２００と呼ぶ。
【００５７】
左右の画像からの特徴の対をマッチングして（２０２）ステレオ測定値を生成するが、これは
【００５８】
【数３】
2016516977.tif 000005
【００５９】
の形式を取り、またステレオカメラの既知の性質を使用して三角測量により、ランドマークと呼ぶ特徴の３Ｄ位置ｐｇ＝［ｘ，ｙ，ｚ］Ｔ（式中ｇは大域的に一意のＩＤ）を生成する。
【００６０】
すべての後続のフレームに関して、処理回路１１２は、最新のフレームでの特徴を局所の以前のフレームからのランドマークにマッチングするように構成される。一度データ関連付けを行い特徴をランドマークにマッチングすると、処理回路はｋとｋ−１間のカメラの６自由度（ＤｏＦ）の動きを計算する。これを４×４変換行列として記憶し、その形式は
【００６１】
【数４】
2016516977.tif 000006
【００６２】
式中Ｒは３×３回転行列（ＲＴ＝Ｒ−１、ｄｅｔ（Ｒ）＝１）、ρは３×１変換ベクトル、となる。Ｔは６×１ベクトルｔ＝［ｘ，ｙ，ｚ，θｒ，θｐ，θｑ］Ｔ（式中ｘ、ｙおよびｚは並進、θｒ、θｐおよびθｑはそれぞれロール、ピッチ、ヨー）によりパラメータ化できる。
【００６３】
カメラの動きをグラフＧｖｏ＝（Ｎｖｏ，Ｔｖｏ）に記憶する。ノードｎｋ∈Ｎｖｏは時刻ｋでのステレオフレームを表す。エッジＴｉ，ｊ∈Ｔｖｏは２つのノードｉとｊ間の動きを描写し、Ｔｉ，ｊはｊからｉへのカメラの動きを表す。フレームｓに関してランドマークを記憶し、後にフレームｉで観測される。ここでランドマークは、ＶＯシステム１２８により特定される画像内の別個の特徴または一組の特徴である。ランドマークを一のフレームから別のフレームへ移動させるために、処理回路１１２は次の変換を適用する。すなわち
【００６４】
【数５】
2016516977.tif 000007
【００６５】
式中
【００６６】
【数６】
2016516977.tif 000008
【００６７】
はｐの４×１同次表現、
【００６８】
【数７】
2016516977.tif 000009
【００６９】
はｉとｓ間の変換の連接系列Ｔｉ，ｓを返す関数。
【００７０】
フレームｉでのランドマークｇの観測を
【００７１】
【数８】
2016516977.tif 000010
【００７２】
と表す。Ｇｖｏは新しいフレームが到来するにつれて漸次成長し、また新しいノードとエッジの不必要な発生を防ぐために、２つのフレーム間の移動が或る閾値を上回るまたは追跡可能な特徴の数が大きく変化した場合にのみ新しいノードがグラフに追加されるようなキーフレーム手法を採用する。これは、カメラが静止または減速移動している間は、不必要なグラフ成長を防ぐ。
【００７３】
カメラは
【００７４】
【数９】
2016516977.tif 000011
【００７５】
での世界点を像平面上の
【００７６】
【数１０】
2016516977.tif 000012
【００７７】
での点に投影する。カメラの動きを推定するために、この投影のモデルが必要である。理想的なカメラと仮定すると、標準的なピンホールカメラモデルを使用し、カメラフレームを定義でき、原点はカメラの光心に配置される。カメラフレームでの点ｐ＝［ｘ，ｙ，ｚ］Ｔは像平面上の画素位置ｚ＝［ｕ，ｖ］Ｔに投影する。既知のカメラ焦点距離ｆに対し、画素位置は相似三角形を使用して計算できる。すなわち
【００７８】
【数１１】
2016516977.tif 000013
【００７９】
同様の処理をｙに適用すると、画素位置は
【００８０】
【数１２】
2016516977.tif 000014
【００８１】
となる。
【００８２】
式（１．６）は非線形であるが、同次表現を採用することにより投影は線形になる。これは次の行列を介して達成される。
【００８３】
【数１３】
2016516977.tif 000015
【００８４】
式中Ｋは３×３カメラ較正行列。ｚの非同次形は
【００８５】
【数１４】
2016516977.tif 000016
【００８６】
により回復できる。
【００８７】
Ｋは典型的にカメラに関するいくつかの特別な詳細を含む。
【００８８】
像平面の原点は通常は光軸と完全には一致しないため、原点オフセットを［ｕ０、ｖ０］を介して適用できる。この場所は主点である。カメラが非正方形画素を有する場合、焦点距離のスケーリングが必要である。これは異なる焦点距離ｆｕおよびｆｖを有することにより達成できる。画像軸が直角でない場合、最後にスキューパラメータｓを追加できる。これは普通は大抵のカメラではゼロである。Ｋはこれで、次の形式を取る。すなわち
【００８９】
【数１５】
2016516977.tif 000017
【００９０】
この変数の集合は、カメラフレームでの点がいかにカメラ平面上へ投影するかに影響を及ぼすので、内部カメラパラメータと呼ばれる。
【００９１】
ステレオカメラの場合には、左画像の行が右画像の同じ行に対応するように左右の画像を整列させることも有用である。この処理は画像修正と呼ばれる。ステレオ対での対応を探索する際、修正が探索領域をｕでの１−Ｄ直線探索に単純化し、特徴点は同じｖ座標を共有することになる。
【００９２】
Ｐｏｉｎｔ  Ｇｒｅｙ  Ｂｕｍｂｌｅｂｅｅ２など、強固に共に固定されるステレオカメラの場合、歪み補正と修正を一度計算する必要があるのみである。さらには、これらのマッピングは各レンズが高速処理を可能にするために単一のルックアップテーブルに結合できる。
【００９３】
修正後、ステレオカメラを、基線として知られる距離ｂだけ隔てた２つの前額平行ピンホールカメラとしてモデル化する。
【００９４】
カメラ１０４、１０６からカラー画像を生成する実施形態において、画像を将来の処理のために十分な情報を提供するグレースケールに変換する。
【００９５】
本発明のいくつかの実施形態はＦＡＳＴコーナー検出アルゴリズムをバイナリロバスト独立基本特徴（ＢＲＩＥＦ：Ｂｉｎａｒｙ  Ｒｏｂｕｓｔ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｅｌｅｍｅｎｔａｒｙ  Ｆｅａｔｕｒｅｓ）特徴記述アルゴリズムと併用する。他の実施形態は画像内の特徴を検出するために、スケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）または高速化ロバスト特徴（ＳＵＲＦ：Ｓｐｅｅｄｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）アルゴリズムなどの他のアルゴリズムを使用してよい。
【００９６】
本発明のいくつかの実施形態は、部分画素測定値を得るために効率的二次マッチング（ＥＳＭ：Ｅｆｆｉｃｉｅｎｔ  Ｓｅｃｏｎｄ−Ｏｒｄｅｒ  Ｍａｔｃｈｉｎｇ）を使用して推定ＦＡＳＴ一致を改善するＦＡＳＴアルゴリズムの拡張を使用してよい。
【００９７】
ステレオマッチング２００は左３００と右３０２の両ステレオ画像で同じ特徴を見つける処理であり、ステレオフレームは修正しているので、基準画素と呼ぶ、一方の画像での画素位置が与えられると、一致する特徴を見つけるために他方のステレオ画像で限定１−Ｄ直線探索を実行できる。
【００９８】
実施形態は、高密度ステレオ技法、点の部分集合（ＦＡＳＴコーナーなど）への高密度マッチング、または記述子マッチングを使用して、マッチングを実行してよい。
【００９９】
実施形態は対応行でＦＡＳＴコーナー位置を取り、その各々に関して基準画素位置に対する差分絶対値和（ＳＡＤ）を計算する。最良のスコアが一致として返され、行にＦＡＳＴコーナーが含まれない場合、失敗が返される。
【０１００】
基準画素位置には２つの発生原因がある。第一に、新しいランドマークを生成する際、提案された基準画素が与えられると、ランドマークを三角測量するためにステレオ対応が必要となる。第２の場合は、ランドマークが新しいステレオフレームの一方の画像で既に時間的にマッチングされており、処理を完了するためにステレオマッチングが必要となるときである。
【０１０１】
２つのステレオフレーム間で特徴一致を見つけることを時間的マッチング２００と呼ぶ。それは、カメラがフレームの２つの取り込み時間の間に任意の動きを受けている可能性があるので、ステレオマッチングほど単純ではない。
【０１０２】
より優れた特徴記述子（たとえばＢＲＩＥＦにより提供されるような）を有する実施形態は、より優れたデータ関連付けを生成し、動き推定値を改善し、追跡失敗の可能性を低減する傾向がある。ＢＲＩＥＦの出現により、画像全体にわたり探索することはリアルタイム動作のために十分に高速であるので、マッチング処理を制約するために先行技術で使用されるウィンドウ技法を除外可能である。そのため、ＢＲＩＥＦを利用する実施形態は、初期の動き推定値を計算することまたは動きモデルを仮定すること、および適切な探索ウィンドウサイズの選択のうちの少なくとも１つを実行しなくてもよい。
【０１０３】
マッチング処理から一組の対応が与えられると、実施形態は、数値最適化技法を使用して達成できるカメラの最新の動きを回復する。しかしながら、マッチングステップの副産物であり得る異常値（カメラの真の動きを意味するものではなく、シーンでの動的オブジェクトや不正確なデータ関連付け、すなわち不正確に標識付けられた点３０４〜３１４などの事物により引き起こされ得る一致）をかなりの数含むデータを提示されると、そのような最適化技法はうまく機能できない。異常値の数を減らすために、データを、最終的な最適化ステップに対する先行体としての、よりロバストであるが最適度で劣る推定器に回す。
【０１０４】
ランダムサンプルコンセンサス（ＲＡＮＳＡＣ：Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）は、一組の異常値が多いデータが与えられるとモデル解をロバストに推定するためのアルゴリズムであり、本発明のいくつかの実施形態は、与えられる一組のデータからのモデルを改善して異常値を拒否する２０４ためにＲＡＮＳＡＣを使用する。そのような実施形態は、入力データからランダムにサンプリングした最小数のデータ点を使用してモデルをインスタンス化することにより進行する。次いでモデルと一致するデータ点を計数することによりそれを採点する。良好なモデルが生成されたと思われるまでこのモデル生成および採点を繰り返す。モデルおよび、正常値と異常値に分けた入力データを返す。ＲＡＮＳＡＣは、ランダムな組で異常値を選択する可能性が減少するためより少ないデータ点を必要とするモデルの正解をより高速に見つける。
【０１０５】
他の実施形態は、ＲＡＮＳＡＣを使用する代わりにＭＳＡＣまたはプリエンプティブＲＡＮＳＡＣを使用してよい。
【０１０６】
ＲＡＮＳＡＣアルゴリズムは、一組のデータが与えられると最良のモデルを返す。２つのステレオフレーム間の変換を推定することは複数の方法で行えるので、このモデル選択は重要である。
【０１０７】
本発明のいくつかの実施形態は、各ステレオフレームでの特徴測定値の３Ｄ位置を三角測量し、次いで二組の３Ｄ点間の誤差を最小にする厳密な変換を見つけてよい。これは最低で３つのデータ点で解決できる。
【０１０８】
他の実施形態は、第１のフレームでの３Ｄ点の、第２のフレームの２Ｄ画像座標への投影−ｎ点からの透視（ＰｎＰ）問題−を最小にする変換を見つける。ここでも点の最小必要数は３（すなわちＰ３Ｐ問題）である。
【０１０９】
特徴の３Ｄ位置を計算するときに、奥行き成分が最大の誤差を有するが、ＶＯシステムにとっては、フレーム間の動きは小さく、したがって奥行き誤差は３Ｄ−２Ｄ方法の解決に比較的ほとんど影響がないと仮定することが妥当である。こういう理由でＰｎＰ方法を利用する実施形態が典型的に好ましい。
【０１１０】
説明している実施形態は、カメラの動きの初期の推測と数値最適化に回される一組の正常一致を生成するためにＰ３Ｐモデルを持つＭＳＡＣ推定器を利用する。
【０１１１】
動き推定値を改善するために、正常測定値ｚｉ，ｉ∈１，．．．，Ｍをここで使用する。実施形態はしたがって状態ベクトルｘに含まれる一組の状態変数をパラメータ化する。
【０１１２】
ＭＳＡＣアルゴリズムは残留誤差に対し、それらの大きさに応じて再び重み付けし、異常値の影響を低減する。
【０１１３】
したがって、フレームｓに記憶されるランドマーク
【０１１４】
【数１６】
2016516977.tif 000018
【０１１５】
とフレームｉからのｇの観測が与えられると、
【０１１６】
【数１７】
2016516977.tif 000019
【０１１７】
となる。予測状態値は次の関数で計算される。
【０１１８】
【数１８】
2016516977.tif 000020
【０１１９】
式中
【０１２０】
【数１９】
2016516977.tif 000021
【０１２１】
はランドマークｇをフレームｉに関連するように変換する関数である。Ｃは、ランドマークを適切なステレオカメラフレーム（左または右）に移動させ、それを外部ロボットフレームから内部コンピュータビジョンフレームに切り替える、センサ（センサ１００）およびロボット（たとえば車両１０２）−ビジョン変換である。最後にΚはカメラ投影関数である。状態ｘについてのこの関数の導関数は
【０１２２】
【数２０】
2016516977.tif 000022
【０１２３】
となる。
【０１２４】
右から始めて、実施形態は各個別のヤコビアンを計算する。
【０１２５】
実施形態は６自由度（ＤｏＦ）姿勢推定値の改善を望み、すべてのランドマークは前フレームｊ＝ｉ−１に移動された（目的フレームｉ＝ｊとして式（１．３）を適用することにより）ことを念頭に、実施形態は以下の計算を行う。すなわち
【０１２６】
【数２１】
2016516977.tif 000023
【０１２７】
式中誤差は、６ベクトルΔｔ＝［δｘ，δｙ，δｚ，δθｒ，δθｐ，δθｑ］Ｔによりパラメータ化されるデルタ変換ΔΤにより示され、ｘ＝Δｔと設定した。デルタ変換は約ゼロに評価され、
【０１２８】
【数２２】
2016516977.tif 000024
【０１２９】
、変換行列が定義され、次の方法でｔから作成される。すなわち
【０１３０】
【数２３】
2016516977.tif 000025
【０１３１】
式中
Ｒ（ｔ）＝Ｒｚ（θｑ）Ｒｙ（θｐ）Ｒｘ（θｒ），ρ（ｔ）＝［ｘ，ｙ，ｚ］Ｔ    １．１４
およびＲｘ（・）、Ｒｙ（・）、Ｒｚ（・）は表記の軸回りの回転行列。
【０１３２】
センサおよびロボット−ビジョン変換関数は２つのタスクを実行する。第一は、ランドマークをセンサフレームｉ（動きを推定しているフレーム）からカメラセンサフレームの各々に変換ＴｌとＴｒ（それぞれ左と右）を介して移動させることである。左カメラの変換はＩ４×４および、ｔ＝［０，−ｂ，０，０，０，０］（式中ｂは右カメラに対するカメラの基線）から生成される変換行列である。
【０１３３】
したがって上記から、車両１０２の軌道４００は、第１のセンサ１００の一部である２つのカメラ１０４、１０６からの出力を分析することにより決定する。ＴＩＣＳｙｎｃアルゴリズムの使用はまた、カメラ１０４、１０６からの出力の各フレームが得られた時間を与える。
【０１３４】
これにより、車両１０２が走行するにつれて、２つのカメラ１０４、１０６の出力を処理する処理回路により提供されるＶＯシステムはリアルタイムで第１のセンサ１００の軌道を生成する。第１のセンサ１００と監視ユニット１０／車両１０２の相対位置は既知であるので、車両１０２の軌道も既知となる。ここでかつ本明細書の任意の他の参考文献では、リアルタイムは実質的に車両１０２の移動と同時を意味してよいため、車両１０２の操縦を支援するために処理を使用してよい。当業者は、必然的に、イベントからの遅延が起こるであろうし、上記に詳述した処理が実行されるであろうことを理解するであろう。しかしながら、本発明の実施形態において、遅延はおよそ実質的に数１０または数１００ミリ秒であってよい。
【０１３５】
もっとも、説明している本発明の実施形態において、タイマ１３０は、データがいつ第１のセンサ１００とＬＩＤＡＲセンサ１０３の各々により作成されたかを判定しタイムスタンプするように構成される。その後の処理の間に、処理回路１１２は異なるセンサ１００、１０３により生成されたデータの生成の発生を関連付けるために、タイマ１３０により判定されたタイムスタンプを使用する。一実施形態において、タイマはＴＩＣｓｙｎｃ方法の実装により提供される。
【０１３６】
タイマ１３０は、およそ実質的にミリ秒精度でイベントの発生を判定するように構成してよい。他の実施形態において、タイム３０は、実質的にマイクロ秒未満の精度でイベントの発生を判定するように構成してよい。
【０１３７】
説明している実施形態において、第１のセンサ１００とＬＩＤＡＲセンサ１０３は視野の重複を有する必要はない。他の実施形態において、２つのセンサはそれぞれの視野が実際重複するように構成してよい。
【０１３８】
第１の１００およびＬＩＤＡＲ１０３センサの各々から出力されるデータを融合するために、上記計算された車両の軌道を使用し、ＬＩＤＡＲデータ（すなわち第２のセンサ１０３からの出力をカメラデータ（すなわち第１のセンサからの出力）と遡及的に比較する。このＬＩＤＡＲおよびカメラデータの遡及的比較は、車両１０２の動きがセンサ１００、１０３のそれぞれの視野の重なりを引き起こすという事実を使用する。したがって処理回路がＬＩＤＡＲセンサからのデータを受信する９０４が、これはレーザ戻りデータ１３６であると考えてよい。
【０１３９】
２ＤプッシュブルームＬＩＤＡＲでスワスを作成するために、それはその環境中で動きを受ける。具体的には、スワスは、ＶＯにより生成された軌道を使用して得られる基本軌道推定値Ｘｂ（ｔ）と、基本軌道とＬＩＤＡＲ１０３間の推定較正ｂＴｌとを使用して構築される。他の実施形態は、慣性航法システム（ＩＮＳ）からなど、他のセンサシステムから軌道を生成してよい。
【０１４０】
スワスを次いでカメラｃと図６に示すような基本軌道間の較正ｂＴｃを使用してカメラ内に投影する。この計算は、第１のセンサ１００とＬＩＤＡＲ１０３が互いに対して一定の向きを有する実施形態において促進される。補間ＬＩＤＡＲ反射率画像を次いで生成し、例を図７に示す。
【０１４１】
次に、処理回路は、カメラにより取り込まれる画像とＬＩＤＡＲ反射率画像の整列を測定するために、エッジベースの加重ＳＳＤ（二乗距離の和）目的関数を使用するように構成される。説明している実施形態において、外的較正を定義し、カメラ画像と生成したＬＩＤＡＲ反射率画像の整列を最大化するＳＥ（３）姿勢を探索するために、簡易反復最適化を使用する。外的較正の最良の推定値は２つの画像の最良の整列を実現する。
【０１４２】
プッシュブルームＬＩＤＡＲから測量的に正しいスワスを生成するためには、センサの動きの正確な知識が必要である。図６に示す一般的な場合では、基本軌道Ｘｂ（ｔ）は、時間の関数としての完全なＳＥ（３）姿勢（ｘ，ｙ，ｚ，ロール，ピッチ，ヨー）である。軌道がスワスの規模にわたって測量的に正確である限り、Ｘｂ（ｔ）は、慣性航法システム（ＩＮＳ）とビジュアルオドメトリ（ＶＯ）を含む多数のセンサから導出できる。ＬＩＤＡＲやカメラの姿勢はこの基本軌道に対して与えられる。
【０１４３】
ｉ番目のＬＩＤＡＲ走査が時間ｔｉで記録され、一組の点ｘｉと一組の対応反射率値Ｒｉで構成されるとすると、この走査ｘｉｊ＝［ｘｊ，ｙｊ］Ｔでのレーザ点ｊは反射率値Ｒｉｊと関連付けられる。実施形態は現在、ｉ番目の走査内のすべての点ｊが同時に取り込まれるように近似を行うが、実際は各走査は２０ｍｓかかり、これはリアルタイムであると考えてよい。較正のために使用されるデータは意図的に遅い速度で収集したが、この近似が有する影響は無視できる。まず現在の推定外的較正ｂＴｌと基本軌道に基づいて、ＬＩＤＡＲ  Ｘｌ（ｔｊ）の姿勢を計算する。
【０１４４】
【数２４】
2016516977.tif 000026
【０１４５】
式中
【０１４６】
【数２５】
2016516977.tif 000027
【０１４７】
は合成演算子を表す。各走査は次いで、レーザデータのスワスを作成する局所３ＤシーンＰｉに投影できる。
【０１４８】
【数２６】
2016516977.tif 000028
【０１４９】
処理回路は次いで、センサ基本軌道とＬＩＤＡＲ間の外的較正の関数としてのスワスを生成する。例を図５に示す。
【０１５０】
次に処理回路は、時間ｔｋで画像
【０１５１】
【数２７】
2016516977.tif 000029
【０１５２】
を取り込むカメラｃの姿勢から見たＬＩＤＡＲ反射率画像を生成するように構成される。
まず、スワスＰｉを、基本軌道とカメラ間の外的較正の現在の推定値ｂＴｃを使用して、カメラの基準のフレームに変換する。時刻ｔｋでのカメラの姿勢Ｘｃ（ｔｋ）は次いで、
【０１５３】
【数２８】
2016516977.tif 000030
【０１５４】
と書ける。
【０１５５】
スワスを今度は、カメラのフレームに変換し、さらに既知であると仮定されるカメラの内部Ｋを使用してカメラ内に投影する。こうして、
【０１５６】
【数２９】
2016516977.tif 000031
【０１５７】
がカメラ画像
【０１５８】
【数３０】
2016516977.tif 000032
【０１５９】
でのスワス点ｐｉ，ｋの画素位置を与える。この点で、個別のＬＩＤＡＲ反射率値Ｒｉ，ｋを使用してそれらの反射率を画素強度
【０１６０】
【数３１】
2016516977.tif 000033
【０１６１】
と比較できよう。しかしながら、カメラからより広い範囲での点は画像内のより小さい領域に写像するので、点の密度は短縮法効果で可変であってよい。いくつかの実施形態はしたがって、
【０１６２】
【数３２】
2016516977.tif 000034
【０１６３】
での画素と同じグリッドにわたって画素位置ｐｉ，ｋでの強度Ｒｉ，ｋをサンプリングするために三次補間を使用する。これは、その例が図７に見られる、外的較正の関数としてのレーザ反射率画像
【０１６４】
【数３３】
2016516977.tif 000035
【０１６５】
を生成する。
【０１６６】
基本軌道Ｘｂ（ｔ）がステレオヴィジュアルオドメトリから導出される実施形態において、基本フレームがカメラフレームと等しいので、外的較正は簡略化され、結果ｂＴｃを同一性とし、次いで探索空間を１２自由度からの６自由度に低減する。するとレーザ反射率画像はｂＴｌのみの関数となり、ＬＩＤＡＲとカメラ間の外的較正であるｃＴｌと等しくなる。
【０１６７】
したがって、２Ｄ  ＬＩＤＡＲからのデータとプラットフォーム軌道の知識が与えられると、単一のカメラ画像
【０１６８】
【数３４】
2016516977.tif 000036
【０１６９】
を使用して、２つのセンサ１００、１０３間の推定外的較正に基いて、対応レーザ反射率画像
【０１７０】
【数３５】
2016516977.tif 000037
【０１７１】
を生成できる。
【０１７２】
実施形態はまた、２つの画像間の（すなわちＬＩＤＡＲおよびカメラ出力間の）整列の質を反映するメトリックを決定してもよい。このタスクは、相互情報や標準ＳＳＤ無効化などのＬＩＤＡＲレンダリング基本相関測度からの反射率データの非線形性により困難になる。
【０１７３】
いくつかの実施形態は平滑化勾配画像を撮影してよい。さらには、いくつかの実施形態はパッチベースの正規化を適用することで、勾配の局所変化が画像全体にわたってまたは少なくとも
【０１７４】
【数３６】
2016516977.tif 000038
【０１７５】
と
【０１７６】
【数３７】
2016516977.tif 000039
【０１７７】
での対応パッチ間で一致するように正規化してよい。パッチベースの正規化を適用する実施形態は、局所画像勾配が強調されて目的関数を支配できる強力なエッジが回避されるので、有利である。
【０１７８】
次に両画像からの画素値は、画像グリッドにわたる反射率測定値ｐｉ，ｋの距離変換の逆数である
【０１７９】
【数３８】
2016516977.tif 000040
【０１８０】
で加重化され、高いサンプリング密度を有する領域をさらに加重化する。目的関数はしたがって
【０１８１】
【数３９】
2016516977.tif 000041
【０１８２】
と表せ、式中
【０１８３】
【数４０】
2016516977.tif 000042
【０１８４】
は画像対
【０１８５】
【数４１】
2016516977.tif 000043
【０１８６】
と
【０１８７】
【数４２】
2016516977.tif 000044
【０１８８】
のすべての画素の合計を表し、Ｑ（・）は大きさ勾配画像を撮影してパッチベースの正規化を行う前に、ガウス平滑化を実行する関数を表す。本発明の一実施形態は、分散が６．５のほぼ２５×２５画素のガウスカーネルと、パッチベースの正規化手順のための２０×２０画素のパッチサイズを使用した。
【０１８９】
したがって、実施形態は処理回路にＬＩＤＡＲセンサデータと第１のセンサからのデータとから点群を生成させる（ステップ９０８）ことにより、図５に示すような環境の表現を生成する。この方法により生成される表現はメモリ１２８のデータ記憶部に表現１３８として記憶してよい。
【０１９０】
本発明の他の実施形態は、監視ユニット１０でイベントが発生する時間を決定する他の方法を活用してよい。たとえば、処理回路の個々のクロックを選択されたクロックに自ら位置合わせする、ＩＥＥＥ  ｔｒａｎｓａｃｔｉｏｎｓ（ＩＥＥＥ会報）第３９巻、第１０号、１４８２〜１４９３ページに公開されるネットワークタイムプロトコル（ＮＴＰ）を使用することが公知である。
【図１】
2016516977.tif 000045
【図２】
2016516977.tif 000046
【図３ａ】
2016516977.tif 000047
【図３ｂ】
2016516977.tif 000048
【図４】
2016516977.tif 000049
【図５】
2016516977.tif 000050
【図６】
2016516977.tif 000051
【図７】
2016516977.tif 000052
【図８】
2016516977.tif 000053
【図９】
2016516977.tif 000054
【図１０】
2016516977.tif 000055
【国際調査報告】
2016516977.tif 000056
2016516977.tif 000057
2016516977.tif 000058