(57)【特許請求の範囲】
【請求項１】
プロセッサを含む装置上のライダポイントクラウドに描かれたオブジェクトの移動を検出する方法であって、
前記ライダポイントクラウド内の各ライダポイントを、ライダ検出器の位置に対応する基準位置に基づいて三次元ボクセル空間のボクセルにマップするステップであって、前記各ライダポイントは前記ライダ検出器で検出される、ステップと、
前記ライダポイントクラウド内のライダポイントに対応するボクセルのボクセルクラスタによって表された少なくとも１つのオブジェクトを識別するステップと、
前記ライダ検出器の移動に応じて各時点における前記三次元ボクセル空間の位置関係を調整してから、前記三次元ボクセル空間のボクセルにマップされた前記ライダポイントクラウド内の各ライダポイントを投影し、投影結果に基づいて前記少なくとも１つのオブジェクトが移動中か静止中かを判定するステップと、
を含み、前記三次元ボクセル空間において、前記基準位置に近いボクセルのサイズは、前記基準位置から遠いボクセルのサイズよりも小さい、方法。
【請求項２】
前記少なくとも１つのオブジェクトを識別するステップは、
前記三次元ボクセル空間内のボクセルの少なくとも２つのボクセルクラスタを識別すること、および
前記少なくとも２つのボクセルクラスタが接続されていることを決定すること
をさらに含む、請求項１に記載の方法。
【請求項３】
前記少なくとも２つのボクセルクラスタが接続されていることを決定することは、
第１のボクセルクラスタを選択すること、および
少なくとも１つの他のボクセルクラスタの最近隣検索を実行して前記第１のボクセルクラスタにおける接続を識別すること
をさらに含む、請求項２に記載の方法。
【請求項４】
前記判定するステップは、前記ボクセルが閾値期間を超えて少なくとも１つのライダポイントによって占有される場合に前記ボクセルの移動を静止中と判定し、それ以外の場合に移動中と判定することを含む、請求項１に記載の方法。
【請求項５】
前記判定するステップは、
前記ライダポイントクラウドの少なくとも１つのライダポイントによってボクセルが占有される期間を経時的に測定することと、
前記ボクセルが占有される期間を占有時間変化閾値と比較し、前記ボクセルが占有される期間が前記占有時間変化閾値内である場合に前記ボクセルの移動を静止中と判定し、それ以外の場合に移動中と判定することと
を含む、請求項１に記載の方法。
【請求項６】
前記判定するステップの後で、前記ライダポイントクラウドの前記ライダポイントを前記各オブジェクトにマップするステップをさらに含む、請求項１に記載の方法。
【請求項７】
前記ライダポイントクラウドは、時間軸を有し、
前記方法は、前記ライダポイントクラウドの前記時間軸にわたって前記少なくとも１つの識別されたオブジェクトの移動を追跡するステップをさらに含む、請求項６に記載の方法。
【請求項８】
前記ライダポイントクラウドは、時間軸を有し、
前記方法は、前記少なくとも１つの識別されたオブジェクトについて、前記ライダポイントクラウドの前記時間軸にわたって前記オブジェクトの少なくとも１つのベクトルを推定するステップをさらに含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライダ（LIDAR）に基づいたオブジェクト移動の分類に関する。
【背景技術】
【０００２】
マシンビジョンの分野では、多くのシナリオが、物体の動き追跡、スピード推定の技術および装置等、様々なオブジェクトの移動の検出を伴う。例えば、わずかな時間に撮影したシーンの一連の画像を評価して、幾つかの連続した画像に見られる特定のオブジェクトを識別し、シーンの様々な幾何学的特性に基づいて、撮影した時間にわたるシーンを通したオブジェクト移動を推定することができる。このようなシナリオの一部は、これらオブジェクトのリアルタイムまたはリアルタイムに近い評価を伴い、一方、他のシナリオは、以前に撮影した画像の遡及評価を伴うことができ、例えば、通りを走る車両が、シーンの一連の画像を撮影し、その画像をつなぎ合わせて、シーンのパノラミックビューまたは動的ビューを形成することができ、後に、その画像を後処理して、撮影中に存在する一時的なオブジェクトによって、その景色から障害物を取り除くことができる。
【発明の概要】
【０００３】
本概要では、発明を実施するための形態で以下にさらに詳細に記載する概念の一部を簡単な形で紹介する。本概要は、特許を請求する発明の内容の主な要素または不可欠な特徴を特定することを意図したものではなく、特許を請求する発明の内容の範囲を制限するのに使用されることも意図していない。
【０００４】
オブジェクトが、識別され、移動中または静止中として推定され、一連の自然光画像から取り除かれる場合、視覚画像の分析のみで達成し得るこのような推定の正確さは、限定的である。しかしながら、その分析は、ライダ（LIDAR）によって収集されたこのようなオブジェクトに関する距離情報で補い得る。ライダは、オブジェクトの検出、回避、及びナビゲーションのために車両に備えられていることが多い。オブジェクトの各タイプは、ライダデータの明らかに異なるシグネチャーを示し得るので、ライダの利用可能性および使用は、このようなオブジェクトが移動中か静止中かを評価するために特に意義深い高精度なデータソースを提供し得る。
【０００５】
これらの観察の結果を考慮して、ライダポイントクラウド（lidar point cloud）に描かれたオブジェクトの移動を検出する技術を本明細書に示す。これらの技術は、ライダポイントクラウドの各ライダポイントを三次元ボクセル（voxel）空間のボクセルにマップすることと、三次元ボクセル空間内で隣接箇所を共有するボクセルのボクセルクラスタによって表された少なくとも１つのオブジェクトを識別する。これらの技術は、また、ライダポイントクラウドの各ライダポイントに関して、ライダポイントを選択されたオブジェクトと関連付けることと、選択されたオブジェクトに従ってライダポイントの移動を分類することと、を伴う。最後に、これらの技術は、各オブジェクトに関して、オブジェクトに関連付けられた各ライダポイントの移動に従ってオブジェクトの移動を分類することを伴う。ライダポイントクラウドに示された各オブジェクトの移動をこのように検出することによって、本明細書に提示の技術は、視覚空間でオブジェクトの移動中または静止中の高精度な分類を可能にし得る。視覚空間においては、このような分類は、本明細書に提示の技術に従った、様々なさらなる処理技術（例えば、オブジェクトに関する１または複数の画像に焦点を当てる、オブジェクトの位置、向き、速度、及び／または、加速度を推定する、ライダポイントクラウドが表すエリアを示す画像からオブジェクトを取り除く）にとって有用であると思われる。
【０００６】
前述のまたは関連する目的を達成するために、以下の記載及び添付の図面は、幾つかの例示の態様及び実装例を示す。これらは、１または複数の態様を採用し得る様々な方法のうちの幾つかを示している。本開示の他の態様、利点、及び、新規な特徴は、以下の詳細な記載を添付の図面と共に検討すると明らかとなろう。
【図面の簡単な説明】
【０００７】
【図１】環境内を移動しながら、環境の画像と環境に存在する他のオブジェクトの画像を撮像している車両に焦点を当てた例示のシナリオを示す図である。
【図２】車両の周囲の環境と、環境内に存在する他のオブジェクトを示すライダポイントクラウドの撮影に焦点を当てた例示のシナリオを示す図である。
【図３】本明細書に提示の技術に係る、識別されたオブジェクトを静止中または移動中として分類する、経時的なライダポイントクラウドの評価に焦点を当てた例示のシナリオを示す図である。
【図４】本明細書に提示の技術に係る、識別されたオブジェクトを静止中または移動中として分類するために経時的にライダポイントクラウドを評価する例示の方法を示すフロー図である。
【図５】本明細書に提示されたす技術に係る、識別されたオブジェクトを静止中または移動中として分類するために経時的にライダポイントクラウドを評価するように構成された例示のシステムを示すコンポーネントブロック図である。
【図６】本明細書に記載の規定の１または複数を具体化するように構成されたプロセッサ実行可能命令を含む例示のコンピュータ可読媒体を示す図である。
【図７】本明細書に提示の技術に係る、近くのオブジェクトを区別するために、オブジェクト分類後のライダポイントクラウド再分割に焦点を当てた例示のシナリオを示す図である。
【図８】本明細書に記載の規定の１または複数を実施することができる、例示のコンピュータ環境を示す図である。
【発明を実施するための形態】
【０００８】
特許を請求する発明の内容を図面を参照して記載する。図中、類似の参照番号は、類似の要素を指す。以下の記載において、特許を請求する発明の内容が完全に理解できるように、説明目的で多くの具体的詳細を記載する。しかしながら、特許を請求する発明の内容は、これらの具体的詳細以外で実践してよいことは明らかである。別の例においては、構造及び装置は、特許を請求する発明の内容の記載を容易にするためにブロック図の形式で示す。
【０００９】
Ａ．導入
マシンビジョンの分野においては、多くのシナリオは、環境の画像を自動で識別して、環境に存在し画像に示されたオブジェクトを検出すること、より詳細には、オブジェクトの位置、サイズ、向き、速度、及び／または、加速度を識別することを伴う。第１の例として、評価は、障害物回避を容易にするために、道路上の車、自転車、及び歩行者と、標識、樹木、及び建物とを含む交通環境における車両を伴ってよい。第２の例としては、物理的オブジェクト追跡システムは、オブジェクトと相互作用する（例えば、ボールまたは他の投げられたオブジェクトをキャッチする）ために環境内でのオブジェクトの動きを評価することができる。第３の例としては、モーションキャプチャ環境に存在する人間の行為者は、人間のような動きを有するアニメーション化された人物をレンダリングするために、様々なアクションを行いながら記録されてよい。様々なシナリオにおいて、（例えば、装置または個人が他の現在のオブジェクトと相互作用するのを容易にするために）リアルタイムまたはリアルタイムに近い分析を行ってよく、他のシナリオにおいては、分析は、（例えば、撮影時に存在したオブジェクトの移動を識別するために）遡及的に行われてよい。これら及び他のシナリオは、例えば、静止カメラまたは移動カメラを用いた可視光画像のセットの撮影及び評価と、人間が見ることができる画像への視覚処理技術の適用を伴うことが多い。例えば、マシンビジョン技術は、画像のコンテンツから、光源からのシャドーイング、遠近感、相対的サイズ、及び視差効果等の視覚的手がかりに基づいて、オブジェクトのタイプ、色、サイズ、形、向き、位置、スピード、及び、加速度の評価を試みてよい。
【００１０】
図１は、環境１００の一連の画像を撮影するためにカメラ１０６を操作しながら、例えば、特定の速度ベクトル１０４で環境１００内を運転中の車両１０２に焦点を当てた例示のシナリオを示す。この例示のシナリオにおいて、他の車両１０２も環境１００に存在し、速度ベクトル１０４を有する車両１０２も、駐車した車等の静止した車両１０８も含んでよい。環境１００は、人１１０等の他の種類の移動しているオブジェクトと、標識１１２及び建物１１４等の様々な静止したオブジェクトも含んでよい。この環境において、車両１０２の運転者は、各車両１０２の速度ベクトル１０４と、人１１０の識別を試み、移動中の車両１０２と静止中の車両１０８の区別、移動中及び静止中の他の種類のオブジェクトの区別を試みるかもしれない。リアルタイムに近い分析が行われる場合、この分析の結果は、車両１０２のナビゲーションを支援することができる（近くの他の車両１０２とスピードを一致させる、及び、突然の速度の変化を避けるためにブレーキやハンドルを操作する等）。さらに、この分析の結果は、遡及的に有用となり得る。例えば、環境１００の障害物のないビューを生成するために、及び／または、よりはっきりした視覚化、オブジェクトのさらなる分類（例えば、移動中の車両のメーカーやモデルを識別すること）、及び、移動追跡を含む、様々な適用のために移動中のオブジェクトのより正確な三次元モデルを生成するために、例えば、カメラ１０６が撮影した画像から描写された車両１０２や他のオブジェクトの除去に遡及的に有用となり得る。
【００１１】
しかしながら、これらのシナリオにおいて、視覚画像の点検によってオブジェクト移動を識別できる精度には限界がある。例えば、遠近法や視差等の技術は、特に、カメラのレンズから遠いオブジェクトに関しては、大まかな推定しかできない可能性があり、及び／または、グレアや影等の視覚的アーチファクトによってゆがめられる場合がある。結果として、このような評価技術によって、低精度及び／または高いエラー率の推定となり、特定の用途には不十分な場合がある。
【００１２】
Ｂ．提示された技術
オブジェクト移動の評価を伴う多くのシナリオは、レーザーイメージング（ライダ）撮影装置からのデータへのアクセスも有する装置（車両１０２等）を介して達成され得る。レーザーイメージング撮影装置は、特定の波長の光の低出力の収束ビームのセットを発し、様々なオブジェクトからのこのような波長の光の反射を検出、記録し得る。検出されたライダデータを用いて、ライダポイントクラウドを生成することができる。ライダポイントクラウドは、オブジェクトから反射されて検出器に戻る光のライダポイントを表すことによって、環境１００に存在するオブジェクトの特定のポイントを示す。ライダデータを経時的に捕捉、評価することによって、このような装置は、ライダ検出器の周囲のオブジェクトの相対的位置（例えば、カメラ１０６を操作している車両１０２に対する他の車両１０２の位置）の表現を構築することができる。
【００１３】
図２は、ライダポイントクラウドを用いたオブジェクト（例えば、車両１０２）の捕捉に焦点を当てた例示のシナリオ２００を示す。この例示のシナリオ２００においては、第１の車両１０２は、速度ベクトル１０４を有する移動中の車両１０２と、動きが検出されない静止した車両１０８との後ろに位置する。第１の車両１０２は、第１の車両１０２の前にライダ信号２０４を発するライダエミッタ２０２を備えることができる。ライダ信号２０４のライダ反射２０６は、ライダ検出器２０８によって検出され、一連のライダポイントクラウド２１０として捕捉されてよい。一連のライダポイントクラウド２１０は、各時点２１２において、環境１００内でライダ検出器２０８によって検出されたライダポイント２１４を表す。具体的には、検出されたライダポイント２１４は、特定のオブジェクト（車両１０２等）の辺りに集まってよく、ライダ検出器２０８が、各時点２１２におけるオブジェクトの存在、サイズ、及び／または、範囲を識別できるようにする。さらに、車両１０２または他のオブジェクトの範囲を経時的に比較することによって、ライダ検出器２０８は、オブジェクトのおおよその速度を決定することができる。例えば、ライダポイントクラウド２１０を経時的に比較すると、移動中の車両１０２を表すライダポイント２１４と、静止中の車両１０８を表すライダポイント２１４とは、互いに対して、及び、第１の車両１０２に対して移動する場合がある。しかしながら、ライダ検出器２０８を搭載している車両１０２も移動している場合、ライダポイントクラウド２１０のライダポイント２１４によって表される車両１０２または他のオブジェクトのおおよその速度は、不正確になる可能性がある。例えば、静止した車両１０８は、移動しているように見え、ライダ検出器２０８を搭載している車両１０２とほぼ同じ速度と方向に移動している車両１０２は、静止した車両１０８のように見える。オブジェクトが三次元空間で経時的に移動しているとして検出される場合、及び／または、ライダ検出器２０８を搭載している車両１０２の向きも変化する（例えば、加速、減速、及び／または、方向転換）場合、このような複雑さは、増幅され得る。これらの要因を考慮すると、各オブジェクト（車両１０２等）が移動中か静止中かを判断することさえ、困難になる場合がある。
【００１４】
各オブジェクト（車両１０２等）が移動中か静止中かを分類するために、また、オプションで、位置や速度等の他の特性を識別するために、各ライダポイントクラウド２１０のライダポイント２１４を三次元空間に変換する技術を利用することができる。図３は、ライダポイントクラウド２１０のセットに描写されたオブジェクトを分類するための変換に焦点を当てた例示のシナリオ３００を示す。この例示のシナリオ３００において、各ライダポイントクラウド２１０に関して、ライダポイント２１４は、三次元ボクセル空間３０４のボクセル３０６にマップされる（３０２）。次に、三次元ボクセル空間３０４のボクセル３０６を評価して、ボクセル３０６の１または複数のボクセルクラスタ（例えば、ライダポイントクラウド２１０の１または複数のライダポイント２１４に占有され、かつ、別の占有ボクセル３０６の特定の数のボクセル３０６内など、三次元ボクセル空間３０４のその他の占有ボクセル３０６と隣接箇所を共有するボクセル３０６）を検出してよく、その結果、三次元ボクセル空間３０４に対応するオブジェクト空間３１０内で１または複数のオブジェクト３１２を識別する（３０８）。次に、ライダポイントクラウド２１０の各ライダポイント２１４に関して、ライダポイント２１４は、選択されたオブジェクト３１２に関連付けられてよい。そして、ライダポイント２１４の移動は、選択されたオブジェクト３１２に従って分類されてよい（例えば、オブジェクトは、三次元ボクセル空間３０４のオブジェクト３１２を用いて移動中か静止中か識別されてよい）。オブジェクト３１２に関連付けられたライダポイント２１４の分類された移動（例えば、各時点２１２でオブジェクト空間３１０に追加された）、ライダポイント２１４の投影３１４、及び、各オブジェクト３１２に関連付けられたライダポイント２１４の移動の評価に従って、各オブジェクト３１２の移動を分類することができる。例えば、図３の投影３１４に示されたように、第１のオブジェクト３１２に関連付けられたライダポイント２１４は、三次元ボクセル空間３０４を考慮して投影後、ライダ検出器２０８に対して移動しているように見え、その結果、移動中のオブジェクトとして、オブジェクト３１２の分類３１６となる。一方、第２のオブジェクト３１２に関連付けられたライダポイント２１４は、三次元ボクセル空間３０４を考慮して投影後、ライダ検出器２０８の移動に合わせて調整後、静止して見え、その結果として、静止したオブジェクトとしてオブジェクト３１２の分類３１６となる。このように、図３の例示のシナリオ３００に示された技術は、ライダポイントクラウド２１０で示された環境１００内で識別されたオブジェクト３１２の分類３１６を、本明細書に提示の技術に従って静止したオブジェクト及び移動中のオブジェクトにすることができる。
【００１５】
Ｃ．例示の実施形態
図４は、本明細書に提示の技術の第１の例示の実施形態を、ライダポイントクラウド２１０に示されたオブジェクト３１２の移動を検出する例示の方法４００として示す。例示の方法４００は、例えば、メモリ回路、ハードディスクドライブのプラッタ、固体記憶装置、磁気ディスク、または、光ディスク等の、装置のメモリ装置に記憶され、装置のプロセッサ上で実行されると、本明細書に提示の技術に従って装置を動作させるように構成された命令セットとして実施されてよい。例示の方法４００は、４０２で開始し、装置のプロセッサ上で命令を実行すること（４０４）を伴う。詳細には、これらの命令は、各ライダポイント２１４をマップする（４０６）ように構成されてよい。環境１００に存在するオブジェクト３１２の識別及び移動の分類を、各時点２１２のライダポイントクラウド２１０から達成すると、例示の方法４００は、本明細書に提示の技術をオブジェクト３１２の移動の分類に適用し、４１８で終了する。
【００１６】
図５は、本明細書に提示の技術の第２の例示の実施形態を、環境１００のライダポイントクラウド２１０に示されるオブジェクト３１２の移動を分類するように構成された例示のシステム５０６として示す。例示のシステム５０６は、例えば、装置５０２のメモリコンポーネントに記憶され、装置５０２のプロセッサ５０４で実行されると、本明細書に提示の技術に従って装置５０２を動作させるように構成される命令として、実施されてよい。例示のシステム５０６は、オブジェクト識別部５０８を備える。オブジェクト識別部５０８は、ライダポイントクラウド２１０の各ライダポイント２１４を三次元ボクセル空間３０４のボクセル３０６にマップし（３０２）、三次元ボクセル空間３０４内で隣接箇所を共有するボクセル３０６のボクセルクラスタによって表された少なくとも１つのオブジェクト３１２を識別する（３０８）ように構成される。例示のシステム５０６は、オブジェクト移動分類部５１０も備える。オブジェクト移動分類部５１０は、ライダポイントクラウド２１０の各ライダポイント２１４に関して、ライダポイント２１４を選択されたオブジェクト３１２に関連付け、選択されたオブジェクト３１２に従ってライダポイント２１４の移動を分類し、各オブジェクト３１２に関して、オブジェクト３１２に関連付けられた各ライダポイント２１４の移動に従って、オブジェクト３１２の移動を分類するように構成される。例示のシステム５０６のこれらのコンポーネントの相互運用によって、装置５０２は、ライダポイントクラウド２１０のライダポイント２１４によって表されたオブジェクト３１２の分類３１６を本明細書に提示の技術に従って行うことができる。
【００１７】
さらに別の実施形態は、本明細書に記載の技術を適用するように構成されたプロセッサ実行可能命令を含むコンピュータ可読媒体を伴う。このようなコンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体を含んでよい。コンピュータ可読記憶媒体は、半導体メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、及び／または、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）技術を用いた半導体）、ハードディスクドライブのプラッタ、フラッシュメモリ装置、磁気または光ディスク（ＣＤ‐Ｒ、ＤＶＤ―Ｒ、フロッピー（登録商標）ディスク等）などの有形の装置を含み、装置のプロセッサによって実行されると、本明細書に提示の技術を装置に実施させるコンピュータ可読命令セットを符号化する。このようなコンピュータ可読媒体は、（コンピュータ可読記憶媒体とは異なる技術のクラスとして）、様々な物理的現象を通して伝播され得る信号（例えば、電磁信号、音波信号、または、光信号）、様々な有線のシナリオ（例えば、イーサネット（登録商標）または光ファイバケーブルを介して）、及び／または、無線シナリオ（例えば、ＷｉＦｉ等の無線ローカルエリアネットワーク（ＷＬＡＮ）、ブルートゥース等のパーソナルエリアネットワーク（ＰＡＮ）、または、セルラーまたはラジオネットワーク）の様々な種類の通信媒体も含んでよい。また、このようなコンピュータ可読媒体は、装置のプロセッサによって実行されて、装置に本明細書に提示の技術を実施させるコンピュータ可読命令セットを符号化する。
【００１８】
これらの方法で考案され得る例示のコンピュータ可読媒体を図６に示す。実装例６００は、コンピュータ可読媒体６０２（例えば、ＣＤ‐Ｒ、ＤＶＤ―Ｒ、または、ハードディスクドライブのプラッタ）を含み、コンピュータ可読媒体６０２上で、コンピュータ可読データ６０４は符号化される。このコンピュータ可読データ６０４は、本明細書に記載の原理に従って動作するように構成されたコンピュータ命令セット６０６を含む。このような一実施形態においては、プロセッサ実行可能命令６０６は、図４の例示の方法４００等、ライダポイントクラウド２１０に従ってオブジェクト３１２の移動を分類する方法６０８を行うように構成されてよい。別のこのような実施形態において、プロセッサ実行可能命令６０６は、図５の例示のシステム５０６等、ライダポイントクラウド２１０に従ってオブジェクト３１２の移動を分類するシステムを実施するよう構成されてよい。このコンピュータ可読媒体の一部の実施形態は、このように構成されたプロセッサ実行可能命令を記憶するように構成されたコンピュータ可読記憶媒体（例えば、ハードディスクドライブ、光ディスク、または、フラッシュメモリ装置）を含んでよい。本明細書に提示の技術に従って動作するように構成された多くのこのようなコンピュータ可読媒体が、当業者によって考案されてよい。
【００１９】
Ｄ．変形形態
本明細書に記載の技術は、多くの態様において変形されてよい、また、一部の変形形態は、追加の利点を提供し得る、及び／または、これら及び他の技術の他の変形形態に関する欠点を減らし得る。さらに、一部の変形形態は、組み合わせて実施されてよく、一部の組み合わせは、相乗作用によって、利点を追加し、及び／または、欠点を減らし得る。変形形態は、様々な実施形態（例えば、図４の例示の方法４００、及び、図５の例示のシステム５０６）に組み込まれて、このような実施形態に、個々の利点、及び／または、相乗的な利点を与えてよい。
【００２０】
Ｄｌ．シナリオ
これらの技術の実施形態により変わり得る第１の態様は、このような技術を利用し得るシナリオに関する。
【００２１】
この第１の態様の第１の変形形態として、本明細書に提示の技術を用いて、道路を走行する車及び自転車等の環境１００を走行する車両１０２、空中を飛行する飛行機、モーションキャプチャ環境１００等のエリアを移動する人、及び、弾道体等の空中を移動する発射体を含む、多くの種類のオブジェクトを評価することができる。
【００２２】
この第１の態様の第２の変形形態として、本明細書に提示の技術は、可視光、近赤外光、赤外光、近紫外光、または、紫外光を含む、多くの種類のライダ信号２０４と共に利用されてよい。様々な波長のライダ信号２０４は、様々な媒体（例えば、水、または、様々な湿度の空気）を介した経路、様々な形態の界面への感度、及び、達成可能な解像度等、異なるシナリオで有利になり得る様々な特性を提示することができる。
【００２３】
この第１の態様の第３の変形形態として、本明細書に提示の技術は、様々な種類のレーザ及び光度検出器等、様々な種類のライダエミッタ２０２及び／またはライダ検出器２０８と共に利用されてよい。さらに、このような機器は、他の技術の性能で用いられてよく（例えば、車両操縦システムで範囲検出のために備えられるライダ機器は、移動または静止しているオブジェクトの分類にも適切であり得る）、同時または連続した技術のセットの両方に適用することができる。
【００２４】
この第１の態様の第４の変形形態として、本明細書に提示の技術に従ったオブジェクト３１２の分類３１６は、多くの点で利用可能であってよい。第１の例として、オブジェクト３１２の移動中または静止中の分類３１６は、オブジェクト３１２が存在する対応する画像の領域を識別するのに利用可能であってよい。従って、オブジェクトベースの画像評価技術は、例えば、オブジェクト３１２の自動評価及び／または識別を行うために、（例えば、画像内のオブジェクト３１２に関連する個人のプライバシーを公に利用可能にするのを促進して）編集すべき画像の部分を識別するために、及び／または、画像内のオブジェクト３１２の存在を補うために（例えば、環境１００の三次元モデルを再構築しながら画像の曖昧なエリアを避けるために移動中のオブジェクトとして分類されたオブジェクトを除く）、画像の特定のエリアにフォーカスすることができる。第２の例として、オブジェクト３１２の分類３１６は、オブジェクト認識、例えば、各オブジェクト３１２を、オブジェクト３１２の移動に従ってオブジェクトタイプとして分類すること、を推進することができる。例えば、装置は、オブジェクト３１２のオブジェクトタイプ分類を選択するように訓練されたオブジェクトタイプ分類部を備えてよく、装置は、オブジェクトタイプ分類部に、オブジェクト３１２の移動の分類３１６を考慮して、オブジェクト３１２をオブジェクトタイプに分類させてよい。当業者は、本明細書に提示の技術に従って、オブジェクト３１２の分類３１６に関する広範な種類のこのようなシナリオ及び／または用途を考案することができる。
【００２５】
Ｄ２．ボクセルマッピング及びクラスタリング
本明細書に提示の技術の実施形態によって変わり得る第２の態様は、ライダポイントクラウド２１０のライダポイント２１４の三次元ボクセル空間３０４のボクセル３０６へのマッピング（３０２）に関する。
【００２６】
この第１の態様の第１の変形形態として、マッピング３０２は、様々なサイズの三次元ボクセル空間３０４を伴ってよい。例えば、ボクセル３０６は、三次元ボクセル空間３０４全体に均一に間隔を置いて並べられてよく、または、サイズ及び／または密度が異なってよい。ある実施形態においては、距離に亘るレーザの潜在的な分散を補うために、三次元ボクセル空間３０４のライダ検出器２０８より遠いボクセル３０６は、ライダ検出器２０８に近いボクセル３０６より大きいサイズを有することができる。
【００２７】
この第２の態様の第２の変形形態として、マッピング３０２は、三次元ボクセル空間３０４の選択されたボクセル３０６と他のボクセル３０６の間の接近閾値の比較を伴ってよい。例えば、少なくとも１つのライダポイント２１４にマップされる第１のボクセル３０６が、少なくとも１つのライダポイント２１４にマップされた第２のボクセル３０６の３つのボクセルの隣接閾値内にある場合、両ボクセル３０６は、隣接箇所を共有すると決定され、従って、同じボクセルクラスタの一部であると、決定されてよい。さらなる変形形態として、三次元ボクセル空間３０４内の軸は、異なる隣接閾値を有することができる。例えば、三次元ボクセル空間３０４内の第１の軸は、第１の隣接閾値を有してもよく、三次元ボクセル空間３０４内の第２の軸は、第１の隣接閾値とは別の第２の隣接閾値を有することができる。このような１つの変形形態において、三次元ボクセル空間３０４内のライダ検出器２０８のビューに平行な軸が、かなり大きい隣接閾値を有するとして選択されてよい。なぜならば、この軸に沿って接続されるボクセル３０６は、表面ベースのライダ反射２０６を用いて検出するのが難しいからである（例えば、ライダ検出器２０８に近い第１のボクセル３０６は、ビューの軸に平行な向きのオブジェクト３１２の接続片を介して、ライダ検出器２０８から遠い第２のボクセル３０６に接続されて、反射ライダによって検出されない場合がある）。
【００２８】
この第２の態様の第３の変形形態として、マッピング３０２は、２つまたは３つのボクセルクラスタが接続されることを決定することができる。例えば、近くのボクセルクラスタは、あまり反射しないオブジェクト３１２の部分によって接続されてよく、それによって、幾つかのライダポイント２１４となる。ライダ検出器２０８は、ボクセルクラスタが近くにあり、一緒に移動しているように見える場合、ボクセルクラスタは、おそらく接続されて、同じオブジェクト３１２を表すと結論付けてよい。接続性の判定は、例えば、第１のボクセルクラスタを選択し、三次元ボクセル空間３０４の最近隣検索（例えば、横型検索）を行い、第１のボクセルクラスタに接続されているように見える第２のボクセルクラスタを発見することによって、達成されてよい。これら及び他の変形形態は、本明細書に提示の技術に従って、ライダポイント２１４を三次元ボクセル空間３０４のボクセル３０６へのマッピングを容易にし得る。
【００２９】
Ｄ３．ライダポイント移動を分類
本明細書に提示の技術の実施形態によって変わり得る第３の態様は、ライダポイント２１４の移動の分類に関する。
【００３０】
この第３の態様の第１の変形形態として、分類は、三次元ボクセル空間３０４内で各ボクセル３０６の移動を分類することによって行われてよい。例えば、各ボクセル３０６に関して、ライダポイントクラウド２１０の少なくとも１つのライダポイント２１４によって、ボクセルの占有期間を経時的に測定することができる。ボクセル３０６の占有期間が、占有時間変化閾値内であると判定される場合（例えば、ボクセル３０６が、閾値期間を超えて、少なくとも１つのライダポイント２１４によって占有される場合）、ボクセル３０６は、静止中として分類されてよく、ライダポイント２１４はボクセル３０６にマップされる。逆に、静止中として分類されているボクセル３０６にマップされないライダポイント２１４は、移動中として分類されてよい。このような変形形態の１つとして、占有期間は、三次元空間３０４の各ボクセル３０６の占有期間の標準偏差として測定及び比較されてよく、複数の標準偏差に関して占有状態を示すボクセル３０６は、静止しているとして分類されてよい。この変形形態は、動きに変換されないライダポイント２１４の位置の経時的な小さな変化、例えば、回転、形状の変化、または、検出器のジッタ等、の影響を低減するために有利である。
【００３１】
この第３の態様の第２の変形形態として、所定の計算に従ってライダポイント２１４及び／またはオブジェクト３１２の移動の分類というよりむしろ、分類は、ライダポイント２１４及び／またはオブジェクト３１２の移動の分類３１６を選択するように訓練された、人工神経ネットワークまたは遺伝的アルゴリズム等の移動分類部によって行われてよい。本明細書に提示の技術に係る、多くのこのような変形形態は、ライダポイント２１４及び／またはオブジェクト３１２の移動を分類するために考案されてよい。
【００３２】
Ｄ４．さらなる処理
本明細書に提示の技術の実施形態によって変わり得る第４の態様は、オブジェクト３１２の移動の分類３１６中に適用されてよい追加の処理に関する。
【００３３】
この第４の態様の第１の変形形態として、各オブジェクト３１２の移動を分類後、装置は、ライダポイントクラウド２１０のライダポイント２１４を各オブジェクト３１２にマップすることができる。すなわち、ライダポイント２１４の集約的、集合的な分類に基づいてオブジェクト３１２の分類３１６に達した後、ライダポイントクラウド２１０のライダポイント２１４のほぼ全てが分類されたことを検証するために、個々のライダポイント２１４を、オブジェクト３１２に再マップすることができる。どのオブジェクト３１２にもマップされない少数のライダポイント２１４は、アーチファクトとして無視してよいが、どのオブジェクト３１２にもマップされない有意な数のライダポイント２１４は、パラメータを調整して（例えば、異なったボクセルサイズ）、再計算されてもよい。
【００３４】
この第４の態様の第２の変形形態として、装置は、各オブジェクト３１２に関して、オブジェクト３１２に関連付けられたライダポイントクラウド２１０のライダポイント２１４に従って、オブジェクト３１２の位置と向きを推定することができる。代替的にまたは追加的に、装置は、各オブジェクト３１２に関して、ライダポイントクラウドの時間軸にわたってオブジェクト３１２の少なくとも１つのベクトルを推定することができる（例えば、オブジェクト３１２のある時間にわたるスピードまたは加速度を推定すること）。これらタイプは、例えば、オブジェクト３１２の移動の差し迫った変更の予測を知らせ得るデータを提供し、及び／または、ライダポイントクラウド２１０のライダポイント２１４の各オブジェクト３１２への統合を容易にし得るデータを提供してもよい。さらに、一部の変形形態においては、装置は、オブジェクト３１２に関連付けられた少なくとも１つのライダポイント２１４からオブジェクト３１２のベクトルを減じて、それによって、オブジェクト３１２に対するライダポイント２１４の相対的な移動に関する情報（例えば、移動中のオブジェクト３１２の向き及び／または形状の変更）を提供することができる。
【００３５】
この第４の態様の第３の変形形態として、ライダポイントクラウド２１０は、車両ベクトル（例えば、方向、スピード、及び／または、向き）を有する車両１０２に搭載されているライダ検出器２０８によって検出されてよい。車両１０２の車両ベクトルは、例えば、オブジェクト３１２の移動の推定からライダ検出器２０８の移動を割り引くために、環境１００で検出されたオブジェクト３１２のベクトルから減じられてよく、これにより、ライダ検出器２０８に対する移動のマッピングを環境１００に対する移動のマッピングに変換する。
【００３６】
図７は、この第４の態様のこのような変形形態に焦点を当てた例示のシナリオ７００を示す。この例示のシナリオ７００においては、ライダポイントクラウド２１０を検出後、各ライダポイント２１４は、様々な時点２１２で、環境１００のオブジェクト３１２と関連付けられる。この関連付けによって、ライダポイントクラウド２１０の投影３１４において、関連付けがなければ、曖昧であるオブジェクト３１２を区別し得る。例えば、同じ方向に移動しているが、互いに近接して続いている２台の車両は、経時的に集めると合成された投影３１４となる。しかし、異なる時点２１２でライダポイント２１６を識別されたオブジェクト３１２に関連付けることによって区別され得る。当業者は、本明細書に提示の技術に従って、ライダポイントクラウド２１０のライダポイント２１４をさらに処理するための多くのこのような技術を考案することができる。
【００３７】
Ｅ．コンピュータ環境
図８及び以下の記載は、本明細書に記載の規定の１または複数の実施形態を実施するのに適切なコンピュータ環境を簡潔、おおまかに記載したものである。図８の動作環境は、適切な動作環境のほんの一例であり、動作環境の用途または機能の範囲に関していかなる限定も示唆していない。例示のコンピュータ装置は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイス、ラップトップデバイス、モバイルデバイス（例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、メディアプレーヤ等）、マルチプロセッサシステム、家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ、上記システムまたは装置のいずれかを含む分散コンピュータ環境を含むが、これらに限定されない。
【００３８】
必須ではないが、実施形態は、１または複数のコンピュータ装置によって実行される「コンピュータ可読命令」という一般的な文脈で記載される。コンピュータ可読命令は、コンピュータ可読媒体（以下に記載）を介して分散されてよい。コンピュータ可読命令は、機能、オブジェクト、アプリケーションプログラミングインタフェース（ＡＰＩ）、データ構造等、特定のタスクを行い、または、特定の抽象データ型を実施する、プログラムモジュールとして実施されてよい。典型的に、コンピュータ可読命令の機能は、様々な環境において、必要に応じて、組み合わされてもよく、分散されてもよい。
【００３９】
図８は、本明細書に記載の１または複数の実施形態を実施するように構成されたコンピュータ装置８０２を含むシステム８００の例を示す。１つの構成においては、コンピュータ装置８０２は、少なくとも１つの処理ユニット８０６とメモリ８０８とを備える。コンピュータ装置の正確な構成と種類に応じて、メモリ８０８は、揮発性（例えば、ＲＡＭ）、不揮発性（例えば、ＲＯＭ、フラッシュメモリ）、または、それら２つの組み合わせであってよい。この構成は、図８に点線８０４で示す。
【００４０】
他の実施形態においては、装置８０２は、追加の特徴及び／または機能を備えてよい。例えば、装置８０２は、磁気記憶装置、光学式記憶装置等を含むが、これらに限定されない追加の記憶装置（例えば、取り外し可能及び／または取り外し不能）も含んでよい。このような追加の記憶装置は、記憶装置８１０として図８に示される。一実施形態においては、本明細書に記載の１または複数の実施形態を実施するコンピュータ可読命令は、記憶装置８１０にあってよい。記憶装置８１０は、オペレーティングシステム、アプリケーションプログラム等を実施する他のコンピュータ可読命令も記憶することができる。コンピュータ可読命令は、例えば、処理ユニット８０６によって実行するためにメモリ８０８にロードされてよい。
【００４１】
本明細書において「コンピュータ可読媒体」という語は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、コンピュータ可読命令または他のデータ等の情報を記憶する任意の方法または技術で実装された揮発性、不揮発性、取り外し可能、及び、取り外し不能の媒体を含む。メモリ８０８及び記憶装置８１０は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または、他のメモリ技術、ＣＤ‐ＲＯＭ、デジタル多用途ディスク（ＤＶＤｓ）、または、他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または、他の磁気記憶装置、または、所望の情報の記憶に用いることができ、かつ、装置８０２がアクセス可能な任意の他の媒体を含むが、これらに限定されない、このようなコンピュータ記憶媒体はいずれも、装置８０２の一部であってよい。
【００４２】
装置８０２は、装置８０２が他の装置と通信するのを可能にする通信接続（単数または複数）８１６も備えてよい。通信接続（単数または複数）８１６は、モデム、ネットワークインタフェースカード（ＮＩＣ）、統合ネットワークインタフェース、無線周波数送信機／受信機、赤外線ポート、ＵＳＢ接続、または、コンピュータ装置８０２を他のコンピュータ装置に接続するための他のインタフェースを含んでよいが、これらに限定されない。通信接続（単数または複数）８１６は、有線接続を含んでもよく、無線接続を含んでもよい。通信接続（単数または複数）８１６は、通信媒体を送信及び／または受信することができる。
【００４３】
「コンピュータ可読媒体」という語は、通信媒体を含んでよい。通信媒体は、典型的に、搬送波または他の送信機構等の「変調データ信号」でコンピュータ可読命令または他のデータを具体化し、任意の情報送達媒体を含む。「変調データ信号」という語は、信号の特徴のセットのうち１または複数の特徴を有する信号であって、情報を符号化するように変化した信号を含む。
【００４４】
装置８０２は、キーボード、マウス、ペン、音声入力装置、タッチ入力装置、赤外線カメラ、ビデオ入力装置、及び／または、任意の他の入力装置等、の入力装置（単数または複数）８１４を備える。１または複数のディスプレイ、スピーカ、プリンタ、及び／または、任意の他の出力装置等の出力装置（単数または複数）８１２も装置８０２に含まれてよい。入力装置（単数または複数）８１４及び出力装置（単数または複数）８１２は、有線接続、無線接続、または、それらの任意の組み合わせを介して、装置８０２に接続されてよい。一実施形態においては、別のコンピュータ装置の入力装置または出力装置を、コンピュータ装置８０２の入力装置（単数または複数）８１４または出力装置（単数または複数）８１２として用いてよい。
【００４５】
コンピュータ装置８０２のコンポーネントは、バス等の様々なインターコネクトによって接続されてよい。このようなインターコネクトは、ＰＣＩエクスプレス、ユニバーサルシリアルバス（ＵＳＢ）、ファイヤーワイヤ（ＩＥＥＥ１３９４）、光学式バス構造等のペリフェラルコンポーネントインターコネクト（ＰＣＩ）を含んでよい。別の実施形態においては、コンピュータ装置８０２のコンポーネントは、ネットワークによって相互接続されてよい。例えば、メモリ８０８は、ネットワークによって相互接続された異なる物理的位置にある多数の物理メモリユニットによって構成されてよい。
【００４６】
コンピュータ可読命令の記憶に利用される記憶装置は、ネットワークに分散されてよいことを、当業者は認識されよう。例えば、ネットワーク８１８を介してアクセス可能なコンピュータ装置８２０は、本明細書に記載の１または複数の実施形態を実施するコンピュータ可読命令を記憶することができる。コンピュータ装置８０２は、コンピュータ装置８２０にアクセスし、コンピュータ可読命令の一部または全てを実行のためダウンロードすることができる。あるいは、コンピュータ装置８０２は、必要に応じて、コンピュータ可読命令の一部をダウンロードしてよく、または、一部の命令は、コンピュータ装置８０２で実行されてよく、一部の命令はコンピュータ装置８２０で実行されてよい。
【００４７】
Ｆ．用語の使用
発明の内容を構造的特徴及び／または方法論的行為に特有の言葉で記載したが、請求項に規定した発明の内容は、上記の具体的特徴または行為に必ずしも限定されないことは理解されたい。むしろ、上記の具体的な特徴及び行為は請求項を実施する例示の形として開示されている。
【００４８】
この出願書類においては、「コンポーネント」、「モジュール」、「システム」、「インタフェース」等の語は、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または、実行中のソフトウェアの、コンピュータ関連のエンティティを指すことを一般的に意図している。例えば、コンポーネントは、プロセッサ上で実行するプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、及び／または、コンピュータであってよいが、それらに限定されない。例として、コントローラ上で実行するアプリケーションとコントローラとの両方がコンポーネントであってよい。１または複数のコンポーネントが、プロセス内に存在してよく、及び／または、実行スレッド及びコンポーネントは、１つのコンピュータ上に局在、及び／または、２つ以上のコンピュータ間に分散されてよい。
【００４９】
さらに、特許を請求する発明の内容は、標準的なプログラミング及び／またはエンジニアリング技術を用いて、コンピュータが開示の発明の内容を実施するように制御するソフトウェア、ファームウェア、ハードウェア、または、それらの任意の組み合わせを製造する方法、機器、または、製品として実施されてよい。本明細書において「製品」という語は、任意のコンピュータ可読装置、搬送波、または、媒体からアクセス可能なコンピュータプログラムを含むことを意図している。当然、当業者は、特許を請求する発明の内容の範囲または精神を逸脱することなく、この構成に多くの修正を行ってよいことは認識されよう。
【００５０】
実施形態の様々なオペレーションを本明細書に記載した。一実施形態においては、記載のオペレーションの１または複数が、１または複数のコンピュータ可読媒体に記憶されたコンピュータ可読命令を構成してよく、コンピュータ可読命令は、コンピュータ装置によって実行されると、コンピュータ装置に記載のオペレーションを行わせる。オペレーションの一部または全てを記載した順序は、これらのオペレーションが必ず順序依存であることを意味していると解釈してはならない。代替の順序がこの記載の利点を有することを当業者は理解されよう。さらに、本明細書に記載の各実施形態に必ずしも全てのオペレーションが存在するわけではないことは、理解されよう。
【００５１】
さらに、本明細書において「例示の」という語は、例として機能することを意味する。「例示の」として本明細書に記載した任意の態様または設計は、他の態様または設計より有利であると必ずしも解釈してはならない。むしろ、例示のという語の使用は、概念を具体的に示すために使用されている。この出願書類で使用する「または（または）」という語は、排他的な「または（または）」ではなく、包括的な「または（または）」を意味している。すなわち、他に特段の記載のない限り、または、文脈から明らかでない限り、「ＸはＡまたはＢを採用する」は、自然な包括的な置き換えの任意の物を意味する。すなわち、ＸがＡを採用する、ＸがＢを採用する、ＸがＡとＢの両方を採用する場合、「ＸはＡまたはＢを採用する」が上記の任意の例において満たされる。さらに、この出願書類及び請求項においては、「ａ」「ａｎ」という冠詞は、他に特段の記載のない限り、または、単数形を表すと文脈から明らかでない場合、一般的に「１または複数」を意味すると解釈してよい。
【００５２】
また、１または複数の実装に関して開示内容を図示し、記載したが、この明細書及び図面を読み理解することによって、当業者は変更及び修正を思いつくであろう。本開示は、このような修正及び変更を含み、請求項の範囲によってのみ制限を受ける。特に、上記のコンポーネント（例えば、要素、リソース等）によって行われる様々な機能に関して、このようなコンポーネントの記載に用いた語は、本明細書に示した開示の例示の実装の機能を行う開示の構造と構造的に同等でなくても、他に特に示されていない限り、記載のコンポーネント（例えば、機能的に同等な）の特定の機能を行う任意のコンポーネントに対応する。さらに、開示の特定の特徴は、幾つかの実装の唯１つに関してのみ開示されている場合があっても、このような特徴は、任意の所与のまたは特定のアプリケーションにとって望ましくかつ有利なように、他の実装の１または複数の他の特徴と組み合わされてよい。さらに、「includes」「having」「has」「with」、または、その異形は、詳細な説明または請求項で用いられている限りにおいて、「comprising」同様、包括的な意味である。
【図１】
0006514192.tif 000002
【図２】
0006514192.tif 000003
【図３】
0006514192.tif 000004
【図４】
0006514192.tif 000005
【図５】
0006514192.tif 000006
【図６】
0006514192.tif 000007
【図７】
0006514192.tif 000008
【図８】
0006514192.tif 000009