(57)【要約】  本発明は、車両周辺の１つ以上の物体を識別して測位するためのシステムおよび方法を提供する。方法は、検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することを含んでよい。方法は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、第１のＬｉＤＡＲ点群画像内の１つ以上の物体の１つ以上の位置を決定することとをさらに含んでよい。方法は、１つ以上の物体の各々に対して３Ｄ形状を生成することと、１つ以上の物体の位置および３Ｄ形状に基づいて、第１のＬｉＤＡＲ点群画像内の１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することとをさらに含んでよい。
2020507137.tif 000002
【特許請求の範囲】
【請求項１】
運転支援システムであって、
車両周辺の１つ以上の物体を識別して測位するための一組の命令を含む１つ以上の記憶媒体と、
前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップと
を含む制御ユニットを含み、
前記システムの動作中に、前記１つ以上のマイクロチップは、前記一組の命令を実行して、
検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することと、
前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することと
を行う、システム。
【請求項２】
前記制御ユニットと通信して前記第１のＬｉＤＡＲ点群画像を前記制御ユニットに送信する少なくとも１つのＬｉＤＡＲデバイスと、
前記制御ユニットと通信してカメラ画像を前記制御ユニットに送信する少なくとも１つのカメラと、
前記制御ユニットと通信してＲａｄａｒ画像を前記制御ユニットに送信する少なくとも１つのＲａｄａｒデバイスと
をさらに含む、請求項１に記載のシステム。
【請求項３】
前記基地局は車両であり、
前記システムは、前記車両のハンドル、カウルまたは反射鏡に取り付けられた少なくとも１つのＬｉＤＡＲデバイスをさらに含み、
前記少なくとも１つのＬｉＤＡＲデバイスの前記取り付けは、接着結合、ボルトおよびナット接続、バヨネット装着、または真空固定のうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項４】
前記１つ以上のマイクロチップは、
前記１つ以上の物体のうちの少なくとも１つを含む第１のカメラ画像を取得することと、
前記第１のカメラ画像内の前記１つ以上の物体のうちの少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の少なくとも１つの目標位置を識別することと、
前記第１のカメラ画像内の前記少なくとも１つの目標位置、および前記第２のＬｉＤＡＲ点群画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
をさらに行う、請求項１に記載のシステム。
【請求項５】
前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングする際に、前記１つ以上のマイクロチップは、
前記第１のカメラ画像内の前記少なくとも１つの目標物体の２Ｄ形状を取得することと、
前記第２のＬｉＤＡＲ点群画像を前記第１のカメラ画像と関連付けることと、
前記少なくとも１つの目標物体の前記２Ｄ形状、および前記第２のＬｉＤＡＲ点群画像と前記第１のカメラ画像との間の相関関係に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体の３Ｄ形状を生成することと、
前記第１のカメラ画像内の前記識別された位置、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
をさらに行う、請求項４に記載のシステム。
【請求項６】
前記第１のカメラ画像内の前記少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置を識別するために、前記１つ以上のマイクロチップは、ＹＯＬＯ（ｙｏｕ  ｏｎｌｙ  ｌｏｏｋ  ｏｎｃｅ）ネットワークまたはＴｉｎｙ−ＹＯＬＯネットワークを操作して、前記第１のカメラ画像内の前記少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置を識別する、請求項４に記載のシステム。
【請求項７】
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体を識別するために、前記１つ以上のマイクロチップは、
前記第１のＬｉＤＡＲ点群画像内の複数の点の座標を取得することであって、前記複数の点が無関心な点および残りの点を含む、ことと、
前記座標に従って前記複数の点から前記無関心な点を除去することと、
点群クラスタリングアルゴリズムに基づいて前記残りの点を１つ以上のクラスタにクラスタリングすることと、
前記１つ以上のクラスタのうちの少なくとも１つをターゲットクラスタとして選択することであって、前記ターゲットクラスタの各々が１つの物体に対応する、ことと
をさらに行う、請求項１に記載のシステム。
【請求項８】
前記１つ以上の物体の各々に対して３Ｄ形状を生成するために、前記１つ以上のマイクロチップは、
前記物体の予備的な３Ｄ形状を決定することと、
前記予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向のうちの少なくとも１つを調整して３Ｄ形状提案を生成することと、
前記３Ｄ形状提案のスコアを計算することと、
前記３Ｄ形状提案の前記スコアが所定の条件を満たすか否かを決定することと、
前記３Ｄ形状提案の前記スコアが前記所定の条件を満たさないという決定に応じて、前記３Ｄ形状提案をさらに調整することと、
前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案の前記スコアが前記所定の条件を満たすという決定に応じて、前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案を前記物体の前記３Ｄ形状として決定することと
をさらに行う、請求項１に記載のシステム。
【請求項９】
前記３Ｄ形状提案の前記スコアは、前記３Ｄ形状提案内の前記第１のＬｉＤＡＲ点群画像の点の数、前記３Ｄ形状提案外の前記第１のＬｉＤＡＲ点群画像の点の数、または点と前記３Ｄ形状との間の距離のうちの少なくとも１つに基づいて計算される、請求項８に記載のシステム。
【請求項１０】
前記１つ以上のマイクロチップは、
前記検出基地局周辺の第１の無線検出および測距（Ｒａｄａｒ）画像を取得することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体を識別することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＲａｄａｒ画像内の前記１つ以上の物体をマーキングすることによって、第２のＲａｄａｒ画像を生成することと、
前記第２のＲａｄａｒ画像と前記第２のＬｉＤＡＲ点群画像とを融合させて補償画像を生成することと
をさらに行う、請求項１に記載のシステム。
【請求項１１】
前記１つ以上のマイクロチップは、
２つの異なる時間枠で前記基地局周辺の２つの第１のＬｉＤＡＲ点群画像を取得することと、
前記２つの第１のＬｉＤＡＲ点群画像に基づいて、前記２つの異なる時間枠で２つの第２のＬｉＤＡＲ点群画像を生成することと、
補間法により、前記２つの第２のＬｉＤＡＲ点群画像に基づいて、第３の時間枠で第３のＬｉＤＡＲ点群画像を生成することと
をさらに行う、請求項１に記載のシステム。
【請求項１２】
前記１つ以上のマイクロチップは、
複数の異なる時間枠で前記基地局周辺の複数の第１のＬｉＤＡＲ点群画像を取得することと、
前記複数の第１のＬｉＤＡＲ点群画像に基づいて、前記複数の異なる時間枠で複数の第２のＬｉＤＡＲ点群画像を生成することと、
前記複数の第２のＬｉＤＡＲ点群画像に基づいてビデオを生成することと
をさらに行う、請求項１に記載のシステム。
【請求項１３】
車両周辺の１つ以上の物体を識別して測位するための命令を記憶する１つ以上の記憶媒体と、前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップとを有するコンピューティングデバイスで実施される方法であって、
検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することと、
前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することと
を含む方法。
【請求項１４】
前記１つ以上の物体のうちの少なくとも１つを含む第１のカメラ画像を取得することと、
前記第１のカメラ画像内の前記１つ以上の物体のうちの少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の少なくとも１つの目標位置を識別することと、
前記第１のカメラ画像内の前記少なくとも１つの目標位置、および前記第２のＬｉＤＡＲ点群画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
をさらに含む、請求項１３に記載の方法。
【請求項１５】
前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることは、
前記第１のカメラ画像内の前記少なくとも１つの目標物体の２Ｄ形状を取得することと、
前記第２のＬｉＤＡＲ点群画像を前記第１のカメラ画像と関連付けることと、
前記少なくとも１つの目標物体の前記２Ｄ形状、および前記第２のＬｉＤＡＲ点群画像と前記第１のカメラ画像との間の相関関係に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体の３Ｄ形状を生成することと、
前記第１のカメラ画像内の識別された前記位置、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
をさらに含む、請求項１４に記載の方法。
【請求項１６】
前記第１のカメラ画像内の前記少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置を識別することは、
ＹＯＬＯ（ｙｏｕ  ｏｎｌｙ  ｌｏｏｋ  ｏｎｃｅ）ネットワークまたはＴｉｎｙ−ＹＯＬＯネットワークを操作して、前記第１のカメラ画像内の前記少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置を識別すること
をさらに含む、請求項１４に記載の方法。
【請求項１７】
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体を識別することは、
前記第１のＬｉＤＡＲ点群画像内の複数の点の座標を取得することであって、前記複数の点が無関心な点および残りの点を含む、ことと、
前記座標に従って前記複数の点から前記無関心な点を除去することと、
点群クラスタリングアルゴリズムに基づいて前記残りの点を１つ以上のクラスタにクラスタリングすることと、
前記１つ以上のクラスタのうちの少なくとも１つをターゲットクラスタとして選択することであって、前記ターゲットクラスタの各々が１つの物体に対応する、ことと
をさらに含む、請求項１３に記載の方法。
【請求項１８】
前記１つ以上の物体の各々に対して３Ｄ形状を生成することは、
前記物体の予備的な３Ｄ形状を決定することと、
前記予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向のうちの少なくとも１つを調整して３Ｄ形状提案を生成することと、
前記３Ｄ形状提案のスコアを計算することと、
前記３Ｄ形状提案の前記スコアが所定の条件を満たすか否かを決定することと、
前記３Ｄ形状提案の前記スコアが前記所定の条件を満たさないという決定に応じて、前記３Ｄ形状提案をさらに調整することと、
前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案の前記スコアが前記所定の条件を満たすという決定に応じて、前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案を前記物体の前記３Ｄ形状として決定することと
をさらに含む、請求項１３に記載の方法。
【請求項１９】
前記３Ｄ形状提案の前記スコアは、前記３Ｄ形状提案内の前記第１のＬｉＤＡＲ点群画像の点の数、前記３Ｄ形状提案外の前記第１のＬｉＤＡＲ点群画像の点の数、または点と前記３Ｄ形状との間の距離のうちの少なくとも１つに基づいて計算される、請求項１８に記載の方法。
【請求項２０】
前記検出基地局周辺の第１の無線検出および測距（Ｒａｄａｒ）画像を取得することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体を識別することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＲａｄａｒ画像内の前記１つ以上の物体をマーキングすることによって、第２のＲａｄａｒ画像を生成することと、
前記第２のＲａｄａｒ画像と前記第２のＬｉＤＡＲ点群画像とを融合させて補償画像を生成することと
をさらに含む、請求項１３に記載の方法。
【請求項２１】
２つの異なる時間枠で前記基地局周辺の２つの第１のＬｉＤＡＲ点群画像を取得することと、
前記２つの第１のＬｉＤＡＲ点群画像に基づいて、前記２つの異なる時間枠で２つの第２のＬｉＤＡＲ点群画像を生成することと、
補間法により、前記２つの第２のＬｉＤＡＲ点群画像に基づいて、第３の時間枠で第３のＬｉＤＡＲ点群画像を生成することと
をさらに含む、請求項１３に記載の方法。
【請求項２２】
複数の異なる時間枠で前記基地局周辺の複数の第１のＬｉＤＡＲ点群画像を取得することと、
前記複数の第１のＬｉＤＡＲ点群画像に基づいて、前記複数の異なる時間枠で複数の第２のＬｉＤＡＲ点群画像を生成することと、
前記複数の第２のＬｉＤＡＲ点群画像に基づいてビデオを生成することと
をさらに含む、請求項１３に記載の方法。
【請求項２３】
車両周辺の１つ以上の物体を識別して測位するための少なくとも一組の命令を含む非一時的なコンピュータ可読媒体であって、
電子端末のマイクロチップによって実行されるとき、前記少なくとも一組の命令は、
検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得する動作と、
前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別する動作と、
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定する動作と、
前記１つ以上の物体の各々に対して３Ｄ形状を生成する動作と、
前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成する動作と
を実行するように前記マイクロチップに指示する、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して物体の識別に関し、特に、自動運転中に車両周辺の物体を識別して測位するための方法およびシステムに関する。
【背景技術】
【０００２】
近年、自動運転技術が急速に発展している。自動運転技術を用いる車両は、その環境を検知して自動的にナビゲートすることができる。一部の自動運転車は、依然として人間の入力および操作を運転支援として必要とする。一部の自動運転車は、完全にそれ自体で運転を行う。しかしながら、車両周辺の物体を正確に識別して測位する能力は、あらゆるタイプの自動運転車にとって重要である。従来の方法は、車両にカメラを取り付けることと、カメラによって撮像された画像内の物体を分析することとを含むことができる。しかしながら、カメラ画像は通常２次元（２Ｄ）であるため、物体の奥行き情報を容易に取得することができない。無線検出および測距（Ｒａｄｉｏ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ，Ｒａｄａｒ）と光検出および測距（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ，ＬｉＤＡＲ）デバイスを用いて車両周辺の３次元（３Ｄ）画像を取得することができるが、その中の物体は、一般的にノイズが混入しており、識別して測位されることが難しい。また、ＲａｄａｒおよびＬｉＤＡＲデバイスによって生成された画像は、人間にとって理解しにくい。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示の一態様は、運転支援システムを提供する。前記システムは、車両周辺の１つ以上の物体を識別して測位するための一組の命令を含む１つ以上の記憶媒体と、前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップとを含む制御ユニットを含んでよい。前記システムの動作中に、前記１つ以上のマイクロチップは、前記一組の命令を実行して、検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得してよく、前記１つ以上のマイクロチップは、さらに、前記一組の命令を実行して、前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別し、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定してよい。前記１つ以上のマイクロチップは、さらに、前記一組の命令を実行して、前記１つ以上の物体の各々に対して３Ｄ形状を生成し、前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成してよい。
【０００４】
いくつかの実施態様では、前記システムは、前記制御ユニットと通信して前記ＬｉＤＡＲ点群画像を前記制御ユニットに送信する少なくとも１つのＬｉＤＡＲデバイスと、前記制御ユニットと通信してカメラ画像を前記制御ユニットに送信する少なくとも１つのカメラと、前記制御ユニットと通信してＲａｄａｒ画像を前記制御ユニットに送信する少なくとも１つのＲａｄａｒデバイスとをさらに含んでよい。
【０００５】
いくつかの実施態様では、前記基地局は、車両であってよく、前記システムは、前記車両のハンドル、カウルまたは反射鏡に取り付けられた少なくとも１つのＬｉＤＡＲデバイスをさらに含んでよく、前記少なくとも１つのＬｉＤＡＲデバイスの前記取り付けは、接着結合、ボルトおよびナット接続、バヨネット装着、または真空固定のうちの少なくとも１つを含んでよい。
【０００６】
いくつかの実施態様では、前記１つ以上のマイクロチップは、さらに、前記１つ以上の物体のうちの少なくとも１つを含む第１のカメラ画像を取得し、前記第１のカメラ画像内の前記１つ以上の物体のうちの少なくとも１つの目標物体と、前記第１のカメラ画像内の前記少なくとも１つの目標物体の少なくとも１つの目標位置とを識別し、前記第１のカメラ画像内の前記少なくとも１つの目標位置と前記ＬｉＤＡＲ点群画像内の前記少なくとも１つの目標物体の前記３Ｄ形状とに基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成してよい。
【０００７】
いくつかの実施態様では、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングする際に、前記１つ以上のマイクロチップは、さらに、前記第１のカメラ画像内の前記少なくとも１つの目標物体の２Ｄ形状を取得し、前記ＬｉＤＡＲ点群画像を前記第１のカメラ画像と関連付け、前記少なくとも１つの目標物体の前記２Ｄ形状と、前記ＬｉＤＡＲ点群画像と前記第１のカメラ画像との間の相関関係とに基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体の３Ｄ形状を生成し、前記第１のカメラ画像内の前記識別された位置と前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記３Ｄ形状とに基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成してよい。
【０００８】
いくつかの実施態様では、前記第１のカメラ画像内の前記少なくとも１つの目標物体と、前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置とを識別するために、前記１つ以上のマイクロチップは、ＹＯＬＯ（ｙｏｕ  ｏｎｌｙ  ｌｏｏｋ  ｏｎｃｅ）ネットワークまたはＴｉｎｙ−ＹＯＬＯネットワークを操作して、前記第１のカメラ画像内の前記少なくとも１つの目標物体と、前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記位置とを識別してよい。
【０００９】
いくつかの実施態様では、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体を識別するために、前記１つ以上のマイクロチップは、さらに、無関心な点および残りの点を含む、前記第１のＬｉＤＡＲ点群画像内の複数の点の座標を取得し、前記座標に従って前記複数の点から前記無関心な点を除去し、点群クラスタリングアルゴリズムに基づいて前記残りの点を１つ以上のクラスタにクラスタリングし、前記１つ以上のクラスタのうちの少なくとも１つをターゲットクラスタとして選択してよく、前記ターゲットクラスタの各々が１つの物体に対応する。
【００１０】
いくつかの実施態様では、前記１つ以上の物体の各々に対して３Ｄ形状を生成するために、前記１つ以上のマイクロチップは、さらに、前記物体の予備的な３Ｄ形状を決定し、前記予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向のうちの少なくとも１つを調整して３Ｄ形状提案を生成し、前記３Ｄ形状提案のスコアを計算し、前記３Ｄ形状提案の前記スコアが所定の条件を満たすか否かを決定してよい。前記３Ｄ形状提案の前記スコアが前記所定の条件を満たさないという決定に応じて、前記１つ以上のマイクロチップは、さらに、前記３Ｄ形状提案を調整してよい。前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案の前記スコアが前記所定の条件を満たすという決定に応じて、前記１つ以上のマイクロチップは、さらに、前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案を前記物体の前記３Ｄ形状として決定してよい。
【００１１】
いくつかの実施態様では、前記３Ｄ形状提案の前記スコアは、前記３Ｄ形状提案内の前記第１のＬｉＤＡＲ点群画像の点の数、前記３Ｄ形状提案外の前記第１のＬｉＤＡＲ点群画像の点の数、または点と前記３Ｄ形状との間の距離のうちの少なくとも１つに基づいて計算される。
【００１２】
いくつかの実施態様では、前記１つ以上のマイクロチップは、さらに、前記検出基地局周辺の第１の無線検出および測距（Ｒａｄａｒ）画像を取得し、前記第１のＲａｄａｒ画像内の前記１つ以上の物体を識別し、前記第１のＲａｄａｒ画像内の前記１つ以上の物体の１つ以上の位置を決定し、前記第１のＲａｄａｒ画像内の前記１つ以上の物体の各々に対して３Ｄ形状を生成し、前記第１のＲａｄａｒ画像内の前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＲａｄａｒ画像内の前記１つ以上の物体をマーキングすることによって、第２のＲａｄａｒ画像を生成し、前記第２のＲａｄａｒ画像と前記第２のＬｉＤＡＲ点群画像とを融合させて補償画像を生成してよい。
【００１３】
いくつかの実施態様では、前記１つ以上のマイクロチップは、さらに、２つの異なる時間枠で前記基地局周辺の２つの第１のＬｉＤＡＲ点群画像を取得し、前記２つの第１のＬｉＤＡＲ点群画像に基づいて、前記２つの異なる時間枠で２つの第２のＬｉＤＡＲ点群画像を生成し、補間法により、前記２つの第２のＬｉＤＡＲ点群画像に基づいて、第３の時間枠で第３のＬｉＤＡＲ点群画像を生成してよい。
【００１４】
いくつかの実施態様では、前記１つ以上のマイクロチップは、さらに、複数の異なる時間枠で前記基地局周辺の複数のＬｉＤＡＲ点群画像を取得し、前記複数の第１のＬｉＤＡＲ点群画像に基づいて、前記複数の異なる時間枠で複数の第２のＬｉＤＡＲ点群画像を生成し、前記複数の第２のＬｉＤＡＲ点群画像に基づいてビデオを生成してよい。
【００１５】
本開示の別の態様は、方法を提供する。前記方法は、コンピューティングデバイスで実施されてよく、前記コンピューティングデバイスは、車両周辺の１つ以上の物体を識別して測位するための命令を記憶する１つ以上の記憶媒体と、前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップとを有する。前記方法は、検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することを含んでよい。前記方法は、前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定することとをさらに含んでよい。前記方法は、前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することとをさらに含んでよい。
【００１６】
本開示の別の態様は、非一時的なコンピュータ可読媒体を提供する。前記非一時的なコンピュータ可読媒体は、車両周辺の１つ以上の物体を識別して測位するための少なくとも一組の命令を含んでよい。電子端末のマイクロチップによって実行されるとき、前記少なくとも一組の命令は、検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得する動作を実行するように前記マイクロチップに指示してよい。前記少なくとも一組の命令は、前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別する動作と、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定する動作とを実行するように前記マイクロチップにさらに指示してよい。前記少なくとも一組の命令は、前記１つ以上の物体の各々に対して３Ｄ形状を生成する動作と、前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成する動作とを実行するように前記マイクロチップにさらに指示してよい。
【００１７】
さらなる特徴は、以下の説明に部分的に記載され、当業者であれば、以下の図面および添付の図面を検討することにより部分的に明らかになるか、または実施例の製造または動作によって学習してよい。本開示の特徴は、以下に説明する詳細な実施例に記載される方法論、手段および組み合わせの様々な態様を実施するかまたは用いることによって実現されて達成されてよい。
【００１８】
例示的な実施形態により、本開示をさらに説明する。これらの例示的な実施形態は、図面を参照して詳細に説明される。図面は、縮尺通りではない。これらの実施形態は、図面のいくつかの図を通して同様の参照符号が類似の構造を表す、非限定的な例示的実施形態である。
【図面の簡単な説明】
【００１９】
【図１】本開示のいくつかの実施形態による自動運転車のための例示的なシナリオを示す概略図である。
【図２】本開示のいくつかの実施形態による自動運転能力を有する例示的な車両のブロック図である。
【図３】コンピューティングデバイス３００の例示的なハードウェア構成要素を示す概略図である。
【図４】本開示のいくつかの実施形態による例示的な検知モジュールを示すブロック図である。
【図５】本開示のいくつかの実施形態による、物体の３Ｄ形状がマーキングされたＬｉＤＡＲ点群画像を生成する例示的なプロセスを示すフローチャートである。
【図６Ａ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成してマーキングする概略図である。
【図６Ｂ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成してマーキングする概略図である。
【図６Ｃ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成してマーキングする概略図である。
【図７】本開示のいくつかの実施形態による、マーキングされたカメラ画像を生成する例示的なプロセスを示すフローチャートである。
【図８】本開示のいくつかの実施形態による、カメラ画像内の１つ以上の物体の３Ｄ形状の２Ｄ表現を生成する例示的なプロセスを示すフローチャートである。
【図９Ａ】本開示のいくつかの実施形態による自動車の同じ２Ｄカメラ画像の概略図である。
【図９Ｂ】本開示のいくつかの実施形態による自動車の同じ２Ｄカメラ画像の概略図である。
【図１０】本開示のいくつかの実施形態によるＹＯＬＯ（ｙｏｕ  ｏｎｌｙ  ｌｏｏｋ  ｏｎｃｅ）ネットワークの概略図である。
【図１１】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する例示的なプロセスを示すフローチャートである。
【図１２Ａ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。
【図１２Ｂ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。
【図１２Ｃ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。
【図１２Ｄ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。
【図１２Ｅ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する概略図である。
【図１３】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する例示的なプロセスを示すフローチャートである。
【図１４Ａ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する概略図である。
【図１４Ｂ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する概略図である。
【図１４Ｃ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する概略図である。
【図１４Ｄ】本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する概略図である。
【図１５】本開示のいくつかの実施形態による、補償画像を生成する例示的なプロセスを示すフローチャートである。
【図１６】本開示のいくつかの実施形態による、カメラとＬｉＤＡＲデバイスおよび／またはＲａｄａｒデバイスを同期させる概略図である。
【図１７】本開示のいくつかの実施形態による、既存のＬｉＤＡＲ点群画像に基づいてＬｉＤＡＲ点群画像またはビデオを生成する例示的なプロセスを示すフローチャートである。
【図１８】本開示のいくつかの実施形態による、画像のフレームを検証して補間する概略図である。
【発明を実施するための形態】
【００２０】
以下の説明は、当業者が本開示を作成し、用いることができるように提示され、かつ特定の用途およびその要件の文脈において提供される。開示された実施形態に対する様々な変更は、当業者であれば直ちに把握することが可能であり、本明細書で定義された一般的な原理は、本開示の精神および範囲から逸脱しない限り、他の実施形態および用途に適用されてもよい。したがって、本開示は、示された実施形態に限定されるものではなく、特許請求の範囲と一致する最も広い範囲まで許容されるものとする。
【００２１】
本明細書において用いられる用語は、特定の例示的な実施形態を記述することのみを目的とするものであり、限定することを意図しない。本明細書において用いられる場合には、「ａ」、「ａｎ」の単数形および「ｔｈｅ」は、文脈上明確に別途示されない限り、同様に複数形も包含することを意図するものとする。「ｃｏｍｐｒｉｓｅ（備える）」、「ｃｏｍｐｒｉｓｅｓ」、および／または「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｅ（含む）」、「ｉｎｃｌｕｄｅｓ」、および／または「ｉｎｃｌｕｄｉｎｇ」などの用語は、本明細書において用いられる場合、記述される特徴、整数、ステップ、動作、要素、および／または構成要素の存在を明示しているが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらの群の存在または追加を排除するものではないことがさらに理解されるであろう。
【００２２】
本開示では、「自動運転車」という用語は、その環境を検知し、人間（例えば、運転手、操縦士など）の入力なしにナビゲートすることができる車両を指す。「自動運転車」という用語を「車両」と交互に用いてよい。「自動運転」という用語は、人間（例えば、運転手、操縦士など）の入力なしにナビゲートする能力を指す。
【００２３】
本開示の上記および上記以外の特徴および性質、ならびに関連する構成要素および各部分の組み合わせの動作方法と機能、および製造の経済性については、以下の詳細な説明を添付の図面を参照して検討することにより、さらに明らかになり、これらはいずれも本開示の一部を構成する。しかしながら、図面は、例示および説明のみを目的とするものであり、本開示の範囲を限定するものではないことは、明確に理解されるであろう。図面は縮尺通りではないことを理解すべきである。
【００２４】
本開示において用いられるフローチャートは、本開示のいくつかの実施形態に従って、システムが実施する動作を示す。フローチャートの動作は、順序通りに実施されなくてよいことは、明確に理解されるであろう。逆に、動作は、逆の順序で、または同時に実施されてよい。さらに、１つ以上の他の動作は、フローチャートに追加されてよい。１つ以上の動作は、フローチャートから削除されてよい。
【００２５】
本開示において用いられる測位技術は、全地球測位システム（ＧＰＳ）、全地球航法衛星システム（ＧＬＯＮＡＳＳ）、コンパス測位システム（ＣＯＭＰＡＳＳ）、ガリレオ測位システム、準天頂衛星システム（ＱＺＳＳ）、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）測位技術など、またはそれらの任意の組み合わせに基づいてよい。上記測位システムのうちの１つ以上は、本開示において交互に用いられてよい。
【００２６】
さらに、本開示で開示されたシステムおよび方法は、主に車両周辺の物体を識別して測位する運転支援に関して説明されるが、それらが１つの例示的な実施形態に過ぎないことを理解すべきである。本開示のシステムまたは方法は、他の種類のナビゲーションシステムにも適用することができる。例えば、本開示のシステムまたは方法は、陸上、海洋、航空宇宙など、またはそれらの任意の組み合わせを含む様々な環境の輸送システムに適用することができる。輸送システムの自動運転車は、タクシー、自家用車、ヒッチ、バス、列車、超特急列車、高速鉄道、地下鉄、船舶、航空機、宇宙船、熱気球、自動運転車など、またはそれらの任意の組み合わせを含んでよい。いくつかの実施形態では、システムまたは方法は、例えば物流倉庫、軍事などに用途を見出すことができる。
【００２７】
本開示の一態様は、自動運転中に車両周辺の物体を識別して測位する運転支援に関する。例えば、カメラ、ＬｉＤＡＲデバイス、Ｒａｄａｒデバイスは、自動運転車の屋根に取り付けられてよい。カメラ、ＬｉＤＡＲデバイス、Ｒａｄａｒデバイスは、自動車周辺のカメラ画像、ＬｉＤＡＲ点群画像、およびＲａｄａｒ画像をそれぞれ取得してよい。ＬｉＤＡＲ点群画像は複数の点を含んでよい。制御ユニットは、複数の点を複数のクラスタにクラスタリングしてよく、各クラスタが１つの物体に対応してよい。制御ユニットは、各物体に対して３Ｄ形状を決定し、かつその３Ｄ形状をＬｉＤＡＲ点群画像にマーキングしてよい。制御ユニットは、さらに、ＬｉＤＡＲ点群画像をカメラ画像と関連付けてカメラ画像上の物体の３Ｄ形状の２Ｄ表現を生成してマーキングしてよい。マーキングされたＬｉＤＡＲ点群画像とカメラ画像により、物体の位置と移動をより上手く理解することができる。制御ユニットは、さらに、マーキングされたカメラ画像に基づいて物体の移動のビデオを生成してよい。車両またはその中にいる運転者は、生成されたビデオまたは画像に基づいて車両の速度および移動方向を調整して物体の衝突を回避することができる。
【００２８】
図１は、本開示のいくつかの実施形態による自動運転車のための例示的なシナリオを示す概略図である。図１に示すように、自動運転車１３０は、自動運転車１３０によって自動的に決定された経路に沿って、人間の入力なしに道路１２１に沿って走行することができる。道路１２１は、車両が走行するために用意された空間であってよい。例えば、道路１２１は、車輪付きの車両（例えば、自動車、列車、自転車、三輪車など）または車輪のない車両（例えば、ホバークラフト）のための道路であってよく、飛行機または他の航空機のための航空路であってよく、船または潜水艦のための水路であってよく、衛星のための軌道であってよい。自動運転車１３０の走行は、法律または法規で規制されている道路１２１の道路交通法を違反しない。例えば、自動運転車１３０の速度は、道路１２１の制限速度を超えない。
【００２９】
自動運転車１３０は、自動運転車１３０によって決定された経路１２０に沿って走行することによって障害物１１０に衝突しない。障害物１１０は、静的障害物または動的障害物であってよい。静的障害物は、建物、木、バリケードなど、またはそれらの任意の組み合わせを含んでよい。動的障害物は、移動車両、歩行者、および／または動物など、またはそれらの任意の組み合わせを含んでよい。
【００３０】
自動運転車１３０は、エンジン、四輪、ハンドルなどのような非自動運転車の従来の構造を含んでよい。自動運転車１３０は、複数のセンサ（例えば、センサ１４２、センサ１４４、センサ１４６）を含む検知システム１４０と、制御ユニット１５０とをさらに含んでよい。複数のセンサは、車両を制御するために用いられる情報を提供するように構成されてよい。いくつかの実施形態では、センサは、車両の状態を検知してよい。車両の状態は、車両の動的状況、車両周辺の環境情報など、またはそれらの任意の組み合わせを含んでよい。
【００３１】
いくつかの実施形態では、複数のセンサは、自動運転車１３０の動的状況を検知するように構成されてよい。複数のセンサは、距離センサ、速度センサ、加速度センサ、操舵角センサ、牽引力関連センサ、カメラ、および／または任意のセンサを含んでよい。
【００３２】
例えば、距離センサ（例えば、Ｒａｄａｒ、ＬｉＤＡＲ、赤外線センサ）は、車両（例えば、自動運転車１３０）と他の物体（例えば、障害物１１０）との間の距離を決定してよい。距離センサは、さらに、車両（例えば、自動運転車１３０）と１つ以上の障害物（例えば、静的障害物、動的障害物）との間の距離を決定してよい。速度センサ（例えば、ホールセンサ）は、車両（例えば、自動運転車１３０）の速度（例えば、瞬間速度、平均速度）を決定してよい。加速度センサ（例えば、加速度計）は、車両（例えば、自動運転車１３０）の加速度（例えば、瞬間加速度、平均加速度）を決定してよい。操舵角センサ（例えば、傾斜センサ）は、車両（例えば、自動運転車１３０）の操舵角を決定してよい。牽引力関連センサ（例えば、力センサ）は、車両（例えば、自動運転車１３０）の牽引力を決定してよい。
【００３３】
いくつかの実施形態では、複数のセンサは、自動運転車１３０周辺の環境を検知してよい。例えば、１つ以上のセンサは、道路形状および障害物（例えば、静的障害物、動的障害物）を検出してよい。道路形状は、道路幅、道路長、道路タイプ（例えば、環状道路、直線道路、一方通行道路、双方向道路）を含んでよい。静的障害物は、建物、木、バリケードなど、またはそれらの任意の組み合わせを含んでよい。動的障害物は、移動車両、歩行者、および／または動物など、またはそれらの任意の組み合わせを含んでよい。複数のセンサは、１つ以上のビデオカメラ、レーザー検知システム、赤外線検知システム、音響検知システム、温感システムなど、またはそれらの任意の組み合わせを含んでよい。
【００３４】
制御ユニット１５０は、自動運転車１３０を制御するように構成されてよい。制御ユニット１５０は、自動運転車１３０を経路１２０に沿って運転するように制御してよい。制御ユニット１５０は、複数のセンサからの状態情報に基づいて経路１２０を計算してよい。いくつかの実施形態では、経路１２０は、車両と１つ以上の障害物（例えば、障害物１１０）との間の衝突を回避するように構成されてよい。
【００３５】
いくつかの実施形態では、経路１２０は、１つ以上の経路サンプルを含んでよい。１つ以上の経路サンプルの各々は、複数の経路サンプル特徴を含んでよい。複数の経路サンプル特徴は、経路速度、経路加速度、経路位置など、またはそれらの組み合わせを含んでよい。
【００３６】
自動運転車１３０を経路１２０に沿って運転して障害物との衝突を回避してよい。いくつかの実施形態では、自動運転車１３０は、各経路位置について対応する経路速度および対応する経路加速度で各経路位置を通過してよい。
【００３７】
いくつかの実施形態では、自動運転車１３０は、自動運転車１３０の位置を取得および／または決定する測位システムをさらに含んでよい。いくつかの実施形態では、測位システムは、基地局、他の車両、または他の人間などのような他のパーティーに接続されてパーティーの位置を取得してよい。例えば、測位システムは、他の車両の測位システムと通信を確立することができ、かつ他の車両の位置を受信して２つの車両の間の相対位置を決定してよい。
【００３８】
図２は、本開示のいくつかの実施形態による自動運転能力を有する例示的な車両のブロック図である。例えば、自動運転能力を有する車両は、制御システムを含んでよく、該制御システムは、制御ユニット１５０、複数のセンサ１４２、１４４、１４６、記憶装置２２０、ネットワーク２３０、ゲートウェイモジュール２４０、コントローラエリアネットワーク（ＣＡＮ）２５０、エンジン管理システム（ＥＭＳ）２６０、横滑り防止装置（ＥＳＣ）２７０、電力システム（ＥＰＳ）２８０、ステアリングコラムモジュール（ＳＣＭ）２９０、スロットルシステム２６５、ブレーキシステム２７５およびステアリングシステム２９５を含むが、これらに限定されない。
【００３９】
制御ユニット１５０は、車両運転（例えば、自動運転）に関する情報および／またはデータを処理して本開示に記載された１つ以上の機能を実行してよい。いくつかの実施形態では、制御ユニット１５０は、車両を自動的に運転するように構成されてよい。例えば、制御ユニット１５０は、複数の制御信号を出力してよい。複数の制御信号は、車両の運転を制御するために複数の横滑り防止装置（ＥＣＵ）によって受信されるように構成されてよい。いくつかの実施形態では、制御ユニット１５０は、車両の環境情報に基づいて基準経路および１つ以上の候補経路を決定してよい。いくつかの実施形態では、制御ユニット１５０は、１つ以上の処理エンジン（例えば、シングルコア処理エンジン（複数の場合もある）またはマルチコアプロセッサ（複数の場合もある））を含んでよい。単なる例として、制御ユニット１５０は、中央処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、グラフィック処理ユニット（ＧＰＵ）、物理処理ユニット（ＰＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、コントローラ、マイクロコントローラユニット、縮小命令セットコンピュータ（ＲＩＳＣ）、マイクロプロセッサなど、またはそれらの任意の組み合わせを含んでよい。
【００４０】
記憶装置２２０は、データおよび／または命令を記憶してよい。いくつかの実施形態では、記憶装置２２０は、自動運転車１３０から取得されたデータを記憶してよい。いくつかの実施形態では、記憶装置２２０は、制御ユニット１５０が実行するかまたは用いるデータおよび／または命令を記憶して本開示に記載された例示的な方法を実行してよい。いくつかの実施形態では、記憶装置２２０は、大容量記憶装置、取り外し可能記憶装置、揮発性読み書きメモリ、リードオンリーメモリー（ＲＯＭ）など、またはそれらの任意の組み合わせを含んでよい。例示的な大容量記憶装置は、磁気ディスク、光ディスク、ソリッドステートドライブなどを含んでよい。例示的な取り外し可能記憶装置は、フラッシュドライブ、フロッピーディスク、光ディスク、メモリーカード、ジップディスク、磁気テープなどを含んでよい。例示的な揮発性読み書きメモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでよい。例示的なＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）、ダブルデータレート同期ダイナミックＲＡＭ（ＤＤＲ  ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、サイリスタＲＡＭ（Ｔ−ＲＡＭ）、およびゼロキャパシタＲＡＭ（Ｚ−ＲＡＭ）などを含んでよい。例示的なＲＯＭは、マスクＲＯＭ（ＭＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、およびデジタルバーサタイルディスクＲＯＭなどを含んでよい。いくつかの実施形態では、記憶装置は、クラウドプラットフォームで実施されてよい。単なる例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、またはそれらの任意の組み合わせを含んでよい。
【００４１】
いくつかの実施形態では、記憶装置２２０は、ネットワーク２３０に接続されて自動運転車１３０の１つ以上の構成要素（例えば、制御ユニット１５０、センサ１４２）と通信してよい。自動運転車１３０内の１つ以上の構成要素は、ネットワーク２３０を介して記憶装置２２０に記憶されたデータまたは命令にアクセスしてよい。いくつかの実施形態では、記憶装置２２０は、自動運転車１３０内の１つ以上の構成要素（例えば、制御ユニット１５０、センサ１４２）に直接接続されるかまたはそれらと通信してよい。いくつかの実施形態では、記憶装置２２０は、自動運転車１３０の一部であってよい。
【００４２】
ネットワーク２３０は、情報および／またはデータの変換を容易にすることができる。いくつかの実施形態では、自動運転車１３０内の１つ以上の構成要素（例えば、制御ユニット１５０、センサ１４２）は、ネットワーク２３０を介して自動運転車１３０内の他の構成要素（複数の場合もある）に情報および／またはデータを送信してよい。例えば、制御ユニット１５０は、ネットワーク２３０を介して、車両の動的状況および／または車両周辺の環境情報を取得／入手してよい。いくつかの実施形態では、ネットワーク２３０は、あらゆるタイプの有線または無線ネットワーク、またはそれらの組み合わせであってよい。単なる例として、ネットワーク２３０は、ケーブルネットワーク、有線ネットワーク、光ファイバーネットワーク、テレコミュニケーションネットワーク、イントラネット、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、公衆電話交換網（ＰＳＴＮ）、ブルートゥース（登録商標）ネットワーク、ＺｉｇＢｅｅネットワーク、近距離無線通信（ＮＦＣ）ネットワークなど、またはそれらの任意の組み合わせを含んでよい。いくつかの実施形態では、ネットワーク２３０は、１つ以上のネットワークアクセスポイントを含んでよい。例えば、ネットワーク２３０は、基地局および／またはインターネット相互接続点２３０ー１などのような有線または無線のネットワークアクセスポイントを含んでよく、インターネット相互接続点２３０ー１などを介して自動運転車１３０の１つ以上の構成要素をネットワーク２３０に接続してデータおよび／または情報を交換してよい。
【００４３】
ゲートウェイモジュール２４０は、車両の現在の運転状態に基づいて、複数のＥＣＵ（例えば、ＥＭＳ２６０、ＥＰＳ２８０、ＥＳＣ２７０、ＳＣＭ２９０）に対してコマンドソースを決定してよい。コマンドソースは、人間の運転者、制御ユニット１５０など、またはそれらの任意の組み合わせからのものであってよい。
【００４４】
ゲートウェイモジュール２４０は、車両の現在の運転状態を決定してよい。車両の運転状態は、手動運転状態、半自動運転状態、自動運転状態、エラー状態など、またはそれらの任意の組み合わせを含んでよい。例えば、ゲートウェイモジュール２４０は、人間の運転者からの入力に基づいて、車両の現在の運転状態を手動運転状態に決定してよい。別の例では、ゲートウェイモジュール２４０は、現在の道路状況が複雑であるときに、車両の現在の運転状態を半自動運転状態に決定してよい。さらなる別の例として、ゲートウェイモジュール２４０は、異常（例えば、信号中断、プロセッサクラッシュ）が発生するときに、車両の現在の運転状態をエラー状態に決定してよい。
【００４５】
いくつかの実施形態では、ゲートウェイモジュール２４０は、車両の現在の運転状態が手動運転状態である決定に応じて、人間の運転者の操作を複数のＥＣＵに送信してよい。例えば、ゲートウェイモジュール２４０は、車両の現在の運転状態が手動運転状態である決定に応じて、人間の運転者によるアクセルの踏み込みをＥＭＳ２６０に送信してよい。ゲートウェイモジュール２４０は、車両の現在の運転状態が自動運転状態である決定に応じて、制御ユニット１５０の制御信号を複数のＥＣＵに送信してよい。例えば、ゲートウェイモジュール２４０は、車両の現在の運転状態が自動運転状態である決定に応じて、操舵に関連した制御信号をＳＣＭ２９０に送信してよい。ゲートウェイモジュール２４０は、車両の現在の運転状態が半自動運転状態である決定に応じて、人間の運転者の操作および制御ユニット１５０の制御信号を複数のＥＣＵに送信してよい。ゲートウェイモジュール２４０は、車両の現在の運転状態がエラー状態である決定に応じて、エラー信号を複数のＥＣＵに送信してよい。
【００４６】
コントローラエリアネットワーク（ＣＡＮバス）は、堅牢な車両バス規格（例えば、メッセージベースのプロトコル）であり、それにより、マイクロコントローラ（例えば、制御ユニット１５０）および装置（例えば、ＥＭＳ２６０、ＥＰＳ２８０、ＥＳＣ２７０、および／またはＳＣＭ２９０など）がホストコンピュータなしでアプリケーションにおいて互いに通信することを可能にする。ＣＡＮ２５０は、制御ユニット１５０を複数のＥＣＵ（例えば、ＥＭＳ２６０、ＥＰＳ２８０、ＥＳＣ２７０、ＳＣＭ２９０）と接続するように構成されてよい。
【００４７】
ＥＭＳ２６０は、自動運転車１３０のエンジン性能を決定するように構成されてよい。いくつかの実施形態では、ＥＭＳ２６０は、制御ユニット１５０からの制御信号に基づいて自動運転車１３０のエンジン性能を決定してよい。例えば、ＥＭＳ２６０は、現在の運転状態が自動運転状態であるときに、制御ユニット１５０からの加速度に関連した制御信号に基づいて、自動運転車１３０のエンジン性能を決定してよい。いくつかの実施形態では、ＥＭＳ２６０は、人間の運転者の操作に基づいて自動運転車１３０のエンジン性能を決定してよい。例えば、ＥＭＳ２６０は、現在の運転状態が手動運転状態であるときに、人間の運転者によるアクセルの踏み込みに基づいて自動運転車１３０のエンジン性能を決定してよい。
【００４８】
ＥＭＳ２６０は、複数のセンサおよび１つのマイクロプロセッサを含んでよい。複数のセンサは、１つ以上の物理信号を検出し、かつ処理のためにその１つ以上の物理信号を電気信号に変換するように構成されてよい。いくつかの実施形態では、複数のセンサは、様々な温度センサ、空気流量センサ、スロットル開度センサ、ポンプ圧力センサ、速度センサ、酸素センサ、荷重センサ、ノックセンサなど、またはそれらの任意の組み合わせを含んでよい。１つ以上の物理信号は、エンジン温度、エンジン吸入空気量、冷却水温度、エンジン速度など、またはそれらの任意の組み合わせを含んでよい。マイクロプロセッサは、複数のエンジン制御パラメータに基づいてエンジン性能を決定してよい。マイクロプロセッサは、複数の電気信号に基づいて複数のエンジン制御パラメータを決定してよい。複数のエンジン制御パラメータを決定してエンジン性能を最適化してよい。複数のエンジン制御パラメータは、点火時期、燃料供給量、アイドルエアフローなど、またはそれらの任意の組み合わせを含んでよい。
【００４９】
スロットルシステム２６５は、自動運転車１３０の動きを変えるように構成されてよい。例えば、スロットルシステム２６５は、エンジン出力に基づいて自動運転車１３０の速度を決定してよい。別の例では、スロットルシステム２６５は、エンジン出力に基づいて自動運転車１３０を加速させてよい。スロットルシステム２６５は、燃料噴射器、燃料圧力調整器、補助空気弁、温度スイッチ、スロットル、アイドル速度モータ、故障表示器、点火コイル、リレーなど、またはそれらの任意の組み合わせを含んでよい。
【００５０】
いくつかの実施形態では、スロットルシステム２６５は、ＥＭＳ２６０の外部実行者であってよい。スロットルシステム２６５は、ＥＭＳ２６０によって決定された複数のエンジン制御パラメータに基づいてエンジン出力を制御するように構成されてよい。
【００５１】
ＥＳＣ２７０は、車両の安定性を向上させるように構成されてよい。ＥＳＣ２７０は、牽引力の欠如を検出して減少させることによって車両の安定性を向上させてよい。いくつかの実施形態では、ＥＳＣ２７０は、操舵制御の欠如がＥＳＣ２７０によって検出された決定に応じて、ブレーキシステム２７５の動作を制御して車両の操舵を助けてよい。例えば、ＥＳＣ２７０は、車両が制動により上り坂で発進するときに、車両の安定性を向上させてよい。いくつかの実施形態では、ＥＳＣ２７０は、さらに、エンジン性能を制御して車両の安定性を向上させてよい。例えば、ＥＳＣ２７０は、操舵制御の欠如が発生する可能性があるときに、エンジン出力を低減してよい。緊急回避のために急に向きを変える際に車両が横滑りするときに、滑りやすい路面などに不適切にハンドルを回す際に車両がアンダーステアするかまたはオーバーステアするときに、操舵制御の欠如が発生する可能性がある。
【００５２】
ブレーキシステム２７５は、自動運転車１３０の動き状態を制御するように構成されてよい。例えば、ブレーキシステム２７５は、自動運転車１３０を減速させてよい。別の例では、ブレーキシステム２７５は、１つ以上の道路状況（例えば、下り坂）で自動運転車１３０を停止させてよい。さらなる別の例では、ブレーキシステム２７５は、下り坂で運転するときに、自動運転車１３０を等速度に維持してよい。
【００５３】
ブレーキシステム２７５は、機械的制御構成要素、油圧ユニット、動力ユニット（例えば、真空ポンプ）、実行ユニットなど、またはそれらの任意の組み合わせを含んでよい。機械的制御構成要素は、ペダル、ハンドブレーキなどを含んでよい。油圧ユニットは、油圧油、油圧ホース、ブレーキポンプなどを含んでよい。実行ユニットは、ブレーキキャリパ、ブレーキパッド、ブレーキディスクなどを含んでよい。
【００５４】
ＥＰＳ２８０は、自動運転車１３０の給電を制御するように構成されてよい。ＥＰＳ２８０は、自動運転車１３０に電力を供給、転送、および／または蓄積してよい。いくつかの実施形態では、ＥＰＳ２８０は、ステアリングシステム２９５への給電を制御してよい。例えば、ＥＰＳ２８０は、ハンドルを限界（例えば、左折限界、右折限界）に回した決定に応じて、大きな電力をステアリングシステム２９５に供給して自動運転車１３０に対して大きな操舵トルクを発生させてよい。
【００５５】
ＳＣＭ２９０は、車両のハンドルを制御するように構成されてよい。ＳＣＭ２９０は、車両のハンドルをロック／ロック解除してよい。ＳＣＭ２９０は、車両の現在の運転状態に基づいて車両のハンドルをロック／ロック解除してよい。例えば、ＳＣＭ２９０は、現在の運転状態が自動運転状態である決定に応じて、車両のハンドルをロックしてよい。ＳＣＭ２９０は、さらに、現在の運転状態が自動運転状態である決定に応じてステアリングコラムシャフトを後退させてよい。別の例では、ＳＣＭ２９０は、現在の運転状態が半自動運転状態、手動運転状態、および／またはエラー状態である決定に応じて、車両のハンドルをロック解除してよい。
【００５６】
ＳＣＭ２９０は、制御ユニット１５０の制御信号に基づいて自動運転車１３０の操舵を制御してよい。制御信号は、旋回方向、旋回位置、旋回角度など、またはそれらの任意の組み合わせに関する情報を含んでよい。
【００５７】
ステアリングシステム２９５は、自動運転車１３０を操舵するように構成されてよい。いくつかの実施形態では、ステアリングシステム２９５は、ＳＣＭ２９０から送信された信号に基づいて自動運転車１３０を操舵してよい。例えば、ステアリングシステム２９５は、現在の運転状態が自動運転状態である決定に応じて、ＳＣＭ２９０から送信された制御ユニット１５０の制御信号に基づいて、自動運転車１３０を操舵してよい。いくつかの実施形態では、ステアリングシステム２９５は、人間の運転者の操作に基づいて自動運転車１３０を操舵してよい。例えば、ステアリングシステム２９５は、現在の運転状態が手動運転状態である決定に応じて、人間の運転者がハンドルを左方向に回すと、自動運転車１３０を左方向に回してよい。
【００５８】
図３は、コンピューティングデバイス３００の例示的なハードウェア構成要素を示す概略図である。
【００５９】
コンピューティングデバイス３００は、１つ以上のマイクロチップを備えるシングルボードコンピューティングデバイスなどのような自動運転専用コンピューティングデバイスであってよい。さらに、制御ユニット１５０は、１つ以上のコンピューティングデバイス３００を含んでよい。コンピューティングデバイス３００は、本開示に記載された方法および／またはシステムをそのハードウェア、ソフトウェアプログラム、ファームウェア、またはそれらの組み合わせを介して実施するために使用されてよい。
【００６０】
コンピューティングデバイス３００は、例えば、データ通信を促進するためにそれ自体に接続されたネットワークに接続されたＣＯＭポート３５０およびネットワークから接続されたＣＯＭポート３５０を含んでよい。コンピューティングデバイス３００は、さらに、コンピュータ命令を実行するための、１つ以上のプロセッサの形態のプロセッサ３２０を含んでよい。コンピュータ命令は、例えば、本明細書に記載された特定の機能を実行するルーチン、プログラム、物体、構成要素、データ構造、手順、モジュール、および機能を含んでよい。例えば、動作中に、プロセッサ３２０は、自動運転車１３０を動作させる命令にアクセスし、かつその命令を実行して自動運転車の運転経路を決定してよい。
【００６１】
いくつかの実施形態では、プロセッサ３２０は、１つ以上のマイクロチップに組み込まれた１つ以上のハードウェアプロセッサ、例えば、マイクロコントローラ、マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向けプロセッサ（ＡＳＩＰ）、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、物理処理ユニット（ＰＰＵ）、マイクロコントローラユニット、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、アドバンストＲＩＳＣマシン（ＡＲＭ）、プログラマブルロジックデバイス（ＰＬＤ）、１つ以上の機能を実行することができる任意の回路またはプロセッサなど、またはそれらの任意の組み合わせを含んでよい。
【００６２】
例示的なコンピュータデバイス３００は、様々なデータファイルをコンピュータで処理および／または送信するために、内部通信バス３１０と、ディスク２７０、リードオンリーメモリー（ＲＯＭ）３３０またはランダムアクセスメモリ（ＲＡＭ）３４０のような様々な形態のプログラム記憶装置とデータ記憶装置とを含んでよい。例示的なコンピューティングデバイス３００は、ＲＯＭ３３０、ＲＡＭ３４０、および／またはプロセッサ３２０によって実行される他のタイプの非一時的な記憶媒体に記憶されたプログラム命令をさらに含んでよい。本開示の方法および／またはプロセスは、プログラム命令として実施されてよい。コンピューティングデバイス３００は、コンピュータと他の構成要素（例えば、ユーザインターフェース要素）との間の入力および／または出力をサポートするＩ／Ｏ構成要素２６０をさらに含んでよい。コンピューティングデバイス３００は、ネットワーク通信を介してプログラミングおよびデータを受信してよい。
【００６３】
単なる例示を目的とし、１つのプロセッサのみをコンピューティングデバイス３００内に記載する。しかしながら、本開示におけるコンピューティングデバイス３００は、複数のプロセッサをさらに含んでよいため、本開示に記載されるように、１つのプロセッサによって実行される動作および／または方法ステップは、さらに、複数のプロセッサによって共同で、または別々に実行されてよいという点に注意すべきである。例えば、本開示において、コンピューティングデバイス３００のプロセッサ３２０がステップＡおよびステップＢの両方を実行する場合、ステップＡおよびステップＢは、さらに、コンピューティングデバイス３００において２つの異なるプロセッサによって共同で、または別々に実行されてよい（例えば、第１のプロセッサがステップＡを実行し、第２のプロセッサがステップＢを実行するか、あるいは第１のプロセッサと第２のプロセッサがステップＡおよびステップＢを共同で実行する）ことは理解されるべきである。
【００６４】
また、当業者であれば、図２の制御システム内の要素が作動する場合、要素は、電気信号および／または電磁信号を介して作動してよいことを理解するであろう。例えば、センサ１４２、１４４、または１４６がデジタル写真またはＬｉＤＡＲ点群画像などのような検出された情報を送信するときに、その情報は、電子信号の形態で受信機に送信されてよい。制御ユニット１５０は、検出された情報の電子信号を受信してよく、かつそのプロセッサ内の論理回路を動作させてそのような情報を処理してよい。制御ユニット１５０はＣＡＮ２５０および／またはゲートウェイモジュール２４０にコマンドを送信してＥＭＳ２６０、ＥＳＣ２７０、ＥＰＳ２８０などを制御するときに、制御ユニット１５９のプロセッサは、コマンドを符号化する電気信号を生成し、次いでその電気信号を出力ポートに送信してよい。さらに、プロセッサが記憶媒体からデータを検索するときに、記憶媒体内の構造化されたデータを読み取ることができる記憶媒体の読み取り装置に電気信号を送信してよい。構造化されたデータは、制御ユニット１５０のバスを介して、電気信号の形態でプロセッサに送信されてよい。電気信号は、１つの電気信号、一連の電気信号、および／または複数の離散電気信号を指してよい。
【００６５】
図４は、本開示のいくつかの実施形態による例示的な検知システムを示すブロック図である。検知システム１４０は、制御ユニット１５０と通信して未処理の検知データ（例えば、画像）または前処理された検知データを制御ユニット１５０に送信してよい。いくつかの実施形態では、検知システム１４０は、少なくとも１つのカメラ４１０、少なくとも１つのＬｉＤＡＲ検出器４２０、少なくとも１つのＲａｄａｒ検出器４３０、および処理ユニット４４０を含んでよい。いくつかの実施形態では、カメラ４１０、ＬｉＤＡＲ検出器４２０、およびＲａｄａｒ検出器４３０は、それぞれセンサ１４２、１４４、および１４６に対応してよい。
【００６６】
カメラ４１０は、車両周辺の環境データのカメラ画像（複数の場合もある）を撮像するように構成されてよい。カメラ４１０は、不変レンズカメラ、コンパクトカメラ、３Ｄカメラ、パノラマカメラ、オーディオカメラ、赤外線カメラ、デジタルカメラなど、またはそれらの任意の組み合わせを含んでよい。いくつかの実施形態では、同じまたは異なるタイプの複数のカメラは車両に取り付けられてよい。例えば、特に車両が夜間に後退しているときに、赤外線カメラを車両の後部ボンネットに取り付けて車両の後方の物体の赤外線画像を撮像してよい。別の例として、オーディオカメラを車両の反射鏡に取り付けて車両の一側面にある物体の画像を撮像してよい。オーディオカメラは、取得された画像上の異なる部分または物体の音量レベルをマーキングしてよい。いくつかの実施形態では、車両に取り付けられた複数のカメラ４１０によって撮像された画像は、車両周辺の領域全体をまとめてカバーしてよい。
【００６７】
単なる例として、複数のカメラ４１０を、窓、車体、バックミラー、ハンドル、ライト、サンルーフ、およびナンバープレートを含むがこれらに限定されない、車両の異なる部分に取り付けてよい。窓は、前面窓、後面窓、側面窓などを含んでよい。車体は、フロントフード、バックフード、ルーフ、シャーシ、サイドなどを含んでよい。いくつかの実施形態では、複数のカメラ４１０は、車両のコンパートメント内の付属品（例えば、ハンドル、カウル、反射鏡）に付着されてよいかまたは取り付けられてよい。取り付け方法は、接着結合、ボルトおよびナット接続、バヨネット装着、真空固定など、またはそれらの任意の組み合わせを含んでよい。
【００６８】
ＬｉＤＡＲデバイス４２０は、車両から特定の範囲で高解像度画像を取得するように構成されてよい。例えば、ＬｉＤＡＲデバイス４２０は、車両の３５メートル以内の物体を検出するように構成されてよい。
【００６９】
ＬｉＤＡＲデバイス４２０は、ＬｉＤＡＲデバイス４２０が取り付けられている車両周辺環境のＬｉＤＡＲ点群画像を生成するように構成されてよい。ＬｉＤＡＲデバイス４２０は、レーザー発生器およびセンサを含んでよい。レーザービームは、紫外線、可視光線、近赤外線などを含んでよい。レーザー発生器は、固定された所定の周波数または所定の変化する周波数でパルスレーザービームを用いて物体を照らしてよい。レーザービームは、物体の表面に接触した後に反射して戻ってよく、かつセンサは、反射されたレーザービームを受け取ってよい。反射されたレーザービームを通して、ＬｉＤＡＲデバイス４２０は、物体の表面とＬｉＤＡＲデバイス４２０との間の距離を測定してよい。動作中に、ＬｉＤＡＲデバイス４２０は、レーザービームを回転させて用いて車両周辺環境を走査し、それによって反射されたレーザービームに従ってＬｉＤＡＲ点群画像を生成してよい。ＬｉＤＡＲデバイス４２０が車両周辺環境の限定された高さに沿って回転して走査するので、ＬｉＤＡＲ点群画像は、車両の所定の高さの間で車両を取り囲む３６０°の環境を測定する。ＬｉＤＡＲ点群画像は、静的画像または動的画像であってよい。さらに、ＬｉＤＡＲ点群画像内の各点は、レーザービームが反射される物体の表面とＬｉＤＡＲデバイスとの間の距離を測定するので、ＬｉＤＡＲ点群画像は３Ｄ画像である。いくつかの実施形態では、ＬｉＤＡＲ点群画像は、レーザービームのリアルタイム伝播を示すリアルタイム画像であってよい。
【００７０】
単なる例として、ＬｉＤＡＲデバイス４２０は、車両のルーフまたは前面窓に取り付けられてよく、しかしながら、ＬｉＤＡＲデバイス４２０は、窓、車体、バックミラー、ハンドル、ライト、サンルーフ、およびナンバープレートを含むがこれらに限定されない、車両の他の部分に取り付けられてよいという点に注意すべきである。
【００７１】
Ｒａｄａｒデバイス４３０は、電波を介して車両周辺の物体までの距離を測定することによってＲａｄａｒ画像を生成するように構成されてよい。ＬｉＤＡＲデバイス４２０と比較して、Ｒａｄａｒデバイス４３０は精度が低い（解像度が低い）が、検出範囲がより広い。したがって、Ｒａｄａｒデバイス４３０は、ＬｉＤＡＲデバイス４２０の検出範囲よりも遠くにある物体を測定するために用いられてよい。例えば、Ｒａｄａｒデバイス４３０は、車両との距離が３５メートル〜１００メートルの物体を測定するように構成されてよい。
【００７２】
Ｒａｄａｒデバイス４３０は、電波またはマイクロ波領域に電磁波を生成する送信機と、電波を送信するかまたは放送する送信アンテナと、電波を受信する受信アンテナとＲａｄａｒ画像を生成するプロセッサとを含んでよい。単なる例として、Ｒａｄａｒデバイス４３０は、車両のルーフまたは前面窓に取り付けられてよく、しかしながら、Ｒａｄａｒデバイス４３０は、窓、車体、バックミラー、ハンドル、ライト、サンルーフ、およびナンバープレートを含むがこれらに限定されない、車両の他の部分に取り付けられてよいという点に注意すべきである。
【００７３】
いくつかの実施形態では、ＬｉＤＡＲ画像とＲａｄａｒ画像とを融合させて補償画像を生成してよい。ＬｉＤＡＲ画像とＲａｄａｒ画像との融合に関する詳細な方法は、本開示の他の箇所に見出すことができる（例えば、図１５およびその説明を参照する）。いくつかの実施形態では、カメラ４１０、ＬｉＤＡＲデバイス４２０、およびＲａｄａｒデバイス４３０は、共にまたは個別に動作してよい。それらが異なる時間枠レートで個別に動作している場合、同期方法を用いてよい。カメラ４１０、ＬｉＤＡＲ４２０および／またはＲａｄａｒデバイス４３０のフレームの同期に関する詳細な方法は、本開示の他の箇所に見出すことができる（例えば、図１６およびその説明を参照する）。
【００７４】
検知システム１４０は、生成された画像（例えば、カメラ画像、ＬＩＤＡＲ画像、およびＲａｄａｒ画像）を前処理するように構成された処理ユニット４４０をさらに含んでよい。いくつかの実施形態では、画像の前処理は、平滑化、フィルタリング、ノイズ除去、再構成など、またはそれらの任意の組み合わせを含んでよい。
【００７５】
図５は、本開示のいくつかの実施形態による、物体の３Ｄ形状がマーキングされたＬｉＤＡＲ点群画像を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス５００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス５００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
【００７６】
５１０では、制御ユニット１５０は、基地局周辺のＬｉＤＡＲ点群画像（第１のＬｉＤＡＲ点群画像とも呼ばれる）を取得してよい。
【００７７】
基地局は、ＬｉＤＡＲデバイス、Ｒａｄａｒ、およびカメラを取り付けている任意の装置であってよい。例えば、基地局は、車両（例えば、自動車、航空機、船など）などのような移動可能なプラットフォームであってよい。基地局は、さらに、検出局または空港管制塔などのような固定プラットフォームであってよい。単なる説明目的のために、本開示は、車両または車両に取り付けられた装置（例えば、ラック）を基地局の例として取り上げる。
【００７８】
第１のＬｉＤＡＲ点群画像は、ＬｉＤＡＲデバイス４２０によって生成されてよい。第１のＬｉＤＡＲ点群画像は、基地局周辺の１つ以上の物体に対応するボクセルを含む３Ｄ点群画像であってよい。いくつかの実施形態では、第１のＬｉＤＡＲ点群画像は、第１の時間枠（第１の時点とも呼ばれる）に対応してよい。
【００７９】
５２０では、制御ユニット１５０は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別してよい。
【００８０】
１つ以上の物体は、歩行者、車両、障害物、建物、標識、交通信号灯、動物など、またはそれらの任意の組み合わせを含んでよい。いくつかの実施形態では、５２０では、制御ユニット１５０は、１つ以上の物体の領域およびタイプを識別してよい。いくつかの実施形態では、制御ユニット１５０は、領域のみを識別してよい。例えば、制御ユニット１５０は、ＬｉＤＡＲ点群画像の第１の領域を第１の物体として識別し、ＬｉＤＡＲ点群画像の第２の領域を第２の物体として識別し、残りの領域を地面（または空気）として識別してよい。他の例として、制御ユニット１５０は、第１の領域を歩行者として識別し、第２の領域を車両として識別してよい。
【００８１】
いくつかの実施形態では、現在の方法を車載装置によって運転支援の手段として用いる場合、制御ユニット１５０は、まず、車載基地局周辺の点（またはボクセル）の高さ（例えば、車載装置がある車両の高さ＋車載装置の高さ）を決定してよい。低すぎる（地面）かまたは高すぎる（例えば、運転中に回避するかまたは考慮する物体になりそうもない高さで）点は、１つ以上の物体を識別する前に制御ユニット１５０によって除去されてよい。残りの点は、複数のクラスタにクラスタリングされてよい。いくつかの実施形態では、残りの点は、３Ｄ点群画像内のそれらの３Ｄ座標（例えば、デカルト座標）に基づいてクラスタリングされてよい（例えば、閾値未満の点の間の距離が同じクラスタにクラスタリングされる）。いくつかの実施形態では、残りの点は、複数のクラスタにクラスタリングされる前にスイングスキャンされてよい。スイングスキャンは、３Ｄ点群画像内の残りの点を３Ｄデカルト座標系から極座標系に変換することを含んでよい。極座標系は原点または基準点を含んでよい。残りの点の各々の極座標は、原点からの直線距離、および原点からその点までの角度として表されてよい。グラフは、残りの点の極座標（例えば、ｘ軸または水平軸としての原点からの角度およびｙ軸または垂直軸としての原点からの距離）に基づいて生成されてよい。グラフ内の点を接続して、大きな曲率を有する部分と小さな曲率を有する部分とを含む曲線を生成してよい。小さな曲率を有する部分上の点は、同じ物体上の点である可能性があり、かつ同じクラスタにクラスタリングされてよい。大きな曲率を有する部分上の点は、異なる物体上の点である可能性があり、かつ異なるクラスタにクラスタリングされてよい。各クラスタは１つの物体に対応してよい。１つ以上の物体を識別する方法は、図１１に見出すことができる。いくつかの実施形態では、制御ユニット１５０は、第１のＬｉＤＡＲ点群画像と同じ（または実質的に同じまたは類似の）時間および角度で撮影されたカメラ画像を取得してよい。制御ユニット１５０は、カメラ画像内の１つ以上の物体を識別し、かつそれらをＬｉＤＡＲ点群画像内の１つ以上の物体として直接扱ってよい。
【００８２】
５３０では、制御ユニット１５０は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体の１つ以上の位置を決定してよい。制御ユニット１５０は、各識別された物体を別々に考慮し、かつ１つ以上の物体の各々に対して個々に動作５３０を実行してよい。いくつかの実施形態では、１つ以上の物体の位置は、１つ以上の物体のクラスタリングされた領域の幾何中心または重点であってよい。いくつかの実施形態では、１つ以上の物体の位置は、５４０では１つ以上の物体に対して３Ｄ形状を生成した後に調整されるかまたは再決定される予備的な位置であってよい。動作５２０および５３０は任意の順序で実行されてよく、あるいは１つの動作として組み合わされてよいという点に注意すべきである。例えば、制御ユニット１５０は、１つ以上の未知の物体に対応する点の位置を決定し、その点を複数のクラスタにクラスタリングし、次いでそのクラスタを物体として識別してよい。
【００８３】
いくつかの実施形態では、制御ユニット１５０は、カメラ画像を取得してよい。カメラ画像は、ＬｉＤＡＲ点群画像と同じ（または実質的に同じまたは類似の）時間および角度でカメラによって撮影されてよい。制御ユニット１５０は、ニューラルネットワーク（例えば、図１０に記載されたような小型ＹＯＬＯネットワーク）に基づいてカメラ画像内の物体の位置を決定してよい。制御ユニット１５０は、カメラ画像内の位置をＬｉＤＡＲ点群画像にマッピングすることによって、ＬｉＤＡＲ点群画像内の１つ以上の物体の位置を決定してよい。２Ｄカメラ画像から３ＤＬｉＤＡＲ点群画像への位置のマッピングは、円錐投影などを含んでよい。
【００８４】
いくつかの実施形態では、物体を識別して物体の位置を決定する動作５２０および５３０は、粗検出と呼ばれてよい。
【００８５】
５４０では、制御ユニット１５０は、１つ以上の物体の各々に対して３Ｄ形状（例えば、３Ｄボックス）を生成してよい。１つ以上の物体の各々に対する３Ｄ形状の生成に関する詳細な方法は、本開示の他の箇所に見出すことができる（例えば、図１３およびその説明を参照する）。いくつかの実施形態では、物体に対して３Ｄ形状を生成する動作５４０は、精密検出と呼ばれてよい。
【００８６】
５５０では、制御ユニット１５０は、１つ以上の物体の位置および３Ｄ形状に基づいて第２のＬｉＤＡＲ点群画像を生成してよい。例えば、制御ユニット１５０は、それらの対応する位置にある１つ以上の物体の３Ｄ形状によって第１のＬｉＤＡＲ点群画像をマーキングして第２のＬｉＤＡＲ点群画像を生成してよい。
【００８７】
図６Ａ〜６Ｃは、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成してマーキングする一連の概略図である。図６Ａに示すように、基地局（例えば、ＬｉＤＡＲポイントのラックまたは車両自体）は、車両６１０に取り付けられて車両６１０周辺のＬｉＤＡＲ点群画像を受信してよい。レーザーが物体６２０で遮断されていることが分かる。制御ユニット１５０は、プロセス５００に開示された方法で物体６２０を識別して測位してよい。例えば、制御ユニット１５０は、図６Ｂに示すように物体６２０を識別して測位した後にそれをマーキングしてよい。制御ユニット１５０は、さらに、物体６２０の３Ｄ形状を決定し、かつ物体６２０を図６Ｃに示すような３Ｄ形状でマーキングしてよい。
【００８８】
図７は、本開示のいくつかの実施形態による、マーキングされたカメラ画像を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス７００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス７００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
【００８９】
７１０では、制御ユニット１５０は、第１のカメラ画像を取得してよい。カメラ画像は、カメラ４１０によって取得されてよい。単なる例として、カメラ画像は、車両周辺の１つ以上の物体を含む２Ｄ画像であってよい。
【００９０】
７２０では、制御ユニット１５０は、１つ以上の物体および１つ以上の物体の位置を識別してよい。識別は、ニューラルネットワークに基づいて実行されてよい。ニューラルネットワークは、人工ニューラルネットワーク、畳み込みニューラルネットワーク、ＹＯＬＯネットワーク、小型ＹＯＬＯネットワークなど、またはそれらの任意の組み合わせを含んでよい。ニューラルネットワークは、物体が手動でまたは人工的に識別される複数のカメラ画像サンプルによってトレーニングされてよい。いくつかの実施形態では、制御ユニット１５０は、トレーニングされたニューラルネットワークに第１のカメラ画像を入力してよく、トレーニングされたニューラルネットワークは、１つ以上の物体の識別結果および測位結果を出力してよい。
【００９１】
７３０では、制御ユニット１５０は、カメラ画像内の１つ以上の物体の３Ｄ形状の２Ｄ表現を生成してマーキングしてよい。いくつかの実施形態では、１つ以上の物体の３Ｄ形状の２Ｄ表現は、ＬｉＤＡＲ点群画像内の１つ以上の物体の３Ｄ形状を１つ以上の物体の対応する位置でカメラ画像にマッピングすることによって生成されてよい。カメラ画像内の１つ以上の物体の３Ｄ形状の２Ｄ表現の生成に関する詳細な方法は、図８に見出すことができる。
【００９２】
図８は、本開示のいくつかの実施形態による、カメラ画像内の１つ以上の物体の３Ｄ形状の２Ｄ表現を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス８００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス８００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
【００９３】
ステップ８１０では、制御ユニット１５０は、第１のカメラ画像内の１つ以上の目標物体の２Ｄ形状を取得してよい。
【００９４】
カメラが限定された視野内の物体のみを撮像するが、ＬｉＤＡＲが基地局周辺を３６０°で走査するので、第１のカメラ画像は、第１のＬｉＤＡＲ点群画像内のすべての物体の一部のみを含んでよいという点に注意すべきである。簡潔にするために、本出願では、第１のカメラ画像と第１のＬｉＤＡＲ点群画像の両方に現れる物体は、目標物体と呼ばれてよい。本開示に記載された２Ｄ形状は、三角形、長方形（２Ｄボックスとも呼ばれる）、正方形、円形、楕円形、および多角形を含むが、これらに限定されないという点に注意すべきである。同様に、本開示に記載された３Ｄ形状は、直方体（３Ｄボックスとも呼ばれる）、立方体、球形、多面体、および円錐を含むが、これらに限定されない。３Ｄ形状の２Ｄ表現は、３Ｄ形状のように見える２Ｄ形状であってよい。
【００９５】
１つ以上の目標物体の２Ｄ形状は、ニューラルネットワークを実行することによって生成されてよい。ニューラルネットワークは、人工ニューラルネットワーク、畳み込みニューラルネットワーク、ＹＯＬＯ（ｙｏｕ  ｏｎｌｙ  ｌｏｏｋ  ｏｎｃｅ）ネットワーク、小型ＹＯＬＯネットワークなど、またはそれらの任意の組み合わせを含んでよい。ニューラルネットワークは、物体の２Ｄ形状、位置、およびタイプが手動でまたは人工的に識別される複数のカメラ画像サンプルによってトレーニングされてよい。いくつかの実施形態では、制御ユニット１５０は、トレーニングされたニューラルネットワークに第１のカメラ画像を入力してよく、トレーニングされたニューラルネットワークは、１つ以上の目標物体のタイプ、位置、および２Ｄ形状を出力してよい。いくつかの実施形態では、ニューラルネットワークは、第１のカメラ画像に基づいて１つ以上の物体を２Ｄ形状（例えば、２Ｄボックス）でマーキングするカメラ画像を生成してよい。
【００９６】
ステップ８２０では、制御ユニット１５０は、第１のカメラ画像を第１のＬｉＤＡＲ点群画像と関連付けてよい。
【００９７】
例えば、第１のカメラ画像および第１のＬｉＤＡＲ点群画像における、１つ以上の目標物体の各々と基地局（例えば、車両またはＬｉＤＡＲデバイスのラックおよび車両上のカメラ）との間の距離は、測定されて関連付けられてよい。例えば、制御ユニット１５０は、第１のカメラ画像内の目標物体と基地局との間の距離を第１のＬｉＤＡＲ点群画像内の目標物体と基地局との間の距離と関連付けてよい。
したがって、制御ユニット１５０は、第１のカメラ画像内の目標物体の２Ｄまたは３Ｄ形状のサイズを第１のＬｉＤＡＲ点群画像内の目標物体の２Ｄまたは３Ｄ形状のサイズに関連付けてよい。例えば、第１のカメラ画像内の目標物体のサイズおよび目標物体と基地局との間の距離は、第１のＬｉＤＡＲ点群画像内の目標物体のサイズおよび目標物体と基地局との間の距離に比例してよい。第１のカメラ画像と第１のＬｉＤＡＲ点群画像との間の関連付けは、マッピング関係またはそれらの間の座標変換を含んでよい。例えば、関連付けは、３Ｄデカルト座標から基地局を中心とする３Ｄ球面座標の２Ｄ平面への変換を含んでよい。
【００９８】
ステップ８３０では、制御ユニット１５０は、目標物体の２Ｄ形状と、ＬｉＤＡＲ点群画像と第１のカメラ画像との間の相関関係とに基づいて、目標物体の３Ｄ形状の２Ｄ表現を生成してよい。
【００９９】
例えば、制御ユニット１５０は、まず、カメラ画像内の目標物体の２Ｄ形状とＬｉＤＡＲ点群画像内の目標物体の３Ｄ形状との間の位置合わせを実行してよい。その後、制御ユニット１５０は、ＬｉＤＡＲ点群画像内の目標物体の３Ｄ形状と相関関係とに基づいて、目標物体の３Ｄ形状の２Ｄ表現を生成してよい。例えば、制御ユニット１５０は、基地局の中心から擬似円錐投影を実行し、かつＬｉＤＡＲ点群画像と第１のカメラ画像との間の相関関係に基づいて２Ｄカメラ画像の平面における目標物体の３Ｄ形状の２Ｄ表現を生成してよい。
【０１００】
ステップ８４０では、制御ユニット１５０は、目標物体の３Ｄ形状の２Ｄ表現および第１のカメラ画像内の識別された位置に基づいて、第１のカメラ画像内の１つ以上の目標物体をマーキングすることによって、第２のカメラ画像を生成してよい。
【０１０１】
図９Ａおよび図９Ｂは、本開示のいくつかの実施形態による自動車の同じ２Ｄカメラ画像の概略図である。図９Ａに示すように、車両９１０は識別して測位され、かつ２Ｄボックスはその上にマーキングされる。いくつかの実施形態では、制御ユニット１５０は、本出願に開示された方法（例えば、プロセス８００）を実行して自動車の３Ｄボックスの２Ｄ表現を生成してよい。自動車の３Ｄボックスの２Ｄ表現は、図９Ｂに示すように自動車にマーキングされる。図９Ａと比較して、図９Ｂは、自動車のサイズだけでなく、カメラ画像の平面に垂直な軸における自動車の深さも示し、したがって、自動車の位置をより上手く理解することができる。
【０１０２】
図１０は、本開示のいくつかの実施形態によるＹＯＬＯ（ｙｏｕ  ｏｎｌｙ  ｌｏｏｋ  ｏｎｃｅ）ネットワークの概略図である。ＹＯＬＯネットワークは、カメラ画像を複数の領域に分割し、かつ各領域に対する境界ボックスおよび確率を予測するニューラルネットワークであってよい。ＹＯＬＯネットワークは、多層ニューラルネットワーク（例えば、複数の層を含む）であってよい。複数の層は、少なくとも１つの畳み込み層（ＣＯＮＶ）、少なくとも１つのプーリング層（ＰＯＯＬ）、および少なくとも１つの全結合層（ＦＣ）を含んでよい。ＹＯＬＯネットワークの複数の層は、幅、高さ、中心座標、信頼度、および分類を含むがこれらに限定されない、多次元に配列されたニューロンに対応してよい。
【０１０３】
ＣＯＮＶ層は、ニューロンを局所領域に接続し、入力内の局所領域に接続されているニューロンの出力を計算してよく、それらの重みとそれらが接続されている領域との間の点乗積をそれぞれ計算する。ＰＯＯＬ層は、空間次元（幅、高さ）に沿ってダウンサンプリング動作を実行することにより、ボリュームを低減してよい。ＰＯＯＬ層の機能は、表現の空間的サイズを次第に減少させてネットワーク内のパラメータおよび計算の数を減らし、それにより過剰適合も制御することを含んでよい。ＰＯＯＬ層は、入力のすべての深度スライスに対して独立して動作し、ＭＡＸ動作を用いて空間的にサイズを変更する。いくつかの実施形態では、ＦＣ層内の各ニューロンは、前のボリューム内のすべての値に接続されてよく、ＦＣ層は分類スコアを計算してよい。
【０１０４】
図１０に示すように、１０１０は、例えば［４４８＊４４８＊３］のボリューム内の初期画像であってよく、「４４８」は解像度（またはピクセルの数）に関連し、「３」はチャネル（ＲＧＢ３チャネル）に関連する。画像１０２０〜１０７０は、複数のＣＯＮＶ層およびＰＯＯＬ層によって生成された中間画像であってよい。画像１０１０から１０７０へ、画像のサイズが減少するが、次元が増加するということに注意するべきである。画像１０７０のボリュームは［７＊７＊１０２４］であってよく、画像１０７０のサイズは、追加のＣＯＮＶ層によってこれ以上減少しなくてよい。２つの全結合層を１０７０の後に配置して画像１０８０および１０９０を生成してよい。画像１０９０は、元の画像を４９個の領域に分割してよく、各領域は、３０次元を含み、かつ境界ボックスを予測することを担当する。いくつかの実施形態では、３０次元は、ｘ、ｙ、境界ボックスの長方形の幅、高さ、信頼度、および２０クラスにわたる確率分布を含んでよい。１つの領域が多数の境界ボックスを予測することを担当すると、次元は、対応する数を掛けてよい。例えば、１つの領域が５個の境界ボックスを予測することを担当すると、１０９０の次元は１５０であってよい。
【０１０５】
小型ＹＯＬＯネットワークは、ＹＯＬＯネットワークと類似する構造を有するが、ＹＯＬＯネットワークよりも層が少なく、例えば、畳み込み層が少なく、プーリング層が少ないネットワークであってよい。小型ＹＯＬＯネットワークは、ダークネット基準ネットワークに基づいてよく、かつ通常のＹＯＬＯネットワークよりもはるかに高速であるが、正確性が低い。
【０１０６】
図１１は、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス１１００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス１１００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
【０１０７】
１１１０では、制御ユニット１５０は、ＬｉＤＡＲ点群画像（例えば、第１のＬｉＤＡＲ点群画像）内の複数の点（またはボクセル）の座標を取得してよい。複数の点の各々の座標は、原点（例えば、基地局またはレーザービームの光源）に対応する相対座標であってよい。
【０１０８】
１１２０では、制御ユニット１５０は、複数の点から無関心な点をそれらの座標に従って除去してよい。本出願を運転支援として用いるシナリオでは、無関心な点は、ＬｉＤＡＲ点群画像内の位置が低すぎる（例えば、地面）かまたは高すぎる（例えば、運転中に回避するかまたは考慮する物体になりそうもない高さで）点てあってよい。
【０１０９】
１１３０では、制御ユニット１５０は、点群クラスタリングアルゴリズムに基づいて、ＬｉＤＡＲ点群画像内の複数の点のうちの残りの点を１つ以上のクラスタにクラスタリングしてよい。いくつかの実施形態では、３Ｄデカルト座標系における残りの点のうちの任意の２点間の空間距離（またはユークリッド距離）は測定され、閾値と比較されてよい。２点間の空間距離が閾値以下である場合、２点は、同じ物体からのものと考慮され、かつ同じクラスタにクラスタリングされる。閾値は、残りの点の間の距離に基づいて動的に変化してよい。いくつかの実施形態では、残りの点は、複数のクラスタにクラスタリングされる前にスイングスキャンされてよい。スイングスキャンは、３Ｄ点群画像内の残りの点を３Ｄデカルト座標系から極座標系に変換することを含んでよい。極座標系は原点または基準点を含んでよい。残りの点の各々の極座標は、原点からの直線距離、および原点からその点までの角度として表されてよい。グラフは、残りの点の極座標（例えば、ｘ軸または水平軸としての原点からの角度およびｙ軸または垂直軸としての原点からの距離）に基づいて生成されてよい。グラフ内の点を接続して、大きな曲率を有する部分と小さな曲率を有する部分とを含む曲線を生成してよい。小さな曲率を有する曲線の部分上の点は、同じ物体上の点である可能性があり、かつ同じクラスタにクラスタリングされてよい。大きな曲率を有する曲線の部分上の点は、異なる物体上の点である可能性があり、かつ異なるクラスタにクラスタリングされてよい。別の例として、点群クラスタリングアルゴリズムは、予めトレーニングされたクラスタリングモデルを用いることを含んでよい。前記クラスタリングモデルは、予めトレーニングされたパラメータを有する複数の分類器を含んでよい。残りの点をクラスタリングするときに、クラスタリングモデルをさらに更新してよい。
【０１１０】
１１４０では、制御ユニット１５０は、１つ以上のクラスタのうちの少なくとも１つをターゲットクラスタとして選択してよい。例えば、１つ以上のクラスタのうちのいくつかは、葉、ビニール袋、または水筒のサイズなどの、任意の意味のある物体のサイズではなく、かつ削除されてよい。いくつかの実施形態では、物体の所定のサイズを満たすクラスタのみは、ターゲットクラスタとして選択されてよい。
【０１１１】
図１２Ａ〜１２Ｅは、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体を識別する一連の概略図である。図１２Ａは、車両１２１０周辺の概略的なＬｉＤＡＲ点群画像である。制御ユニット１５０は、図１２Ａ内の点の座標を取得してよく、かつ低すぎるかまたは高すぎる点を除去して図１２Ｂを生成してよい。その後に、制御ユニット１５０は、図１２Ｂ内の点をスイングスキャンし、かつ図１２Ｃに示すように、基準点または原点からの図１２Ｂ内の各点の距離および角度を測定してよい。制御ユニット１５０は、さらに、図１２Ｄに示すような距離および角度に基づいて点を１つ以上のクラスタにクラスタリングしてよい。制御ユニット１５０は、図１２Ｅに示すように、１つ以上のクラスタのうちのクラスタを個別に抽出し、かつ抽出されたクラスタ内の物体の３Ｄ形状を生成してよい。抽出されたクラスタ内の物体の３Ｄ形状の生成に関する詳細な方法は、本開示の他の箇所に見出すことができる（例えば、図１３およびその説明を参照する）。
【０１１２】
図１３は、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス１３００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス１３００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
【０１１３】
１３１０で、制御ユニット１５０は、物体の予備的な３Ｄ形状を決定してよい。
【０１１４】
予備的な３Ｄ形状は、ボクセル、直方体（３Ｄボックスとも呼ばれる）、立方体などであってよい。いくつかの実施形態では、制御ユニット１５０は、物体の中心点を決定してよい。物体の中心点は、物体内の点の座標に基づいて決定されてよい。例えば、制御ユニット１５０は、中心点を物体内の点の座標の平均値として決定してよい。その後に、制御ユニット１５０は、予備的な３Ｄ形状を物体の中心化された点（例えば、物体のクラスタリングされて抽出されたＬｉＤＡＲ点群画像）に配置してよい。例えば、予め設定されたサイズの直方体は、制御ユニット１５０によって物体の中心点に配置されてよい。
【０１１５】
ＬｉＤＡＲ点群画像がレーザービームを反射する物体の表面の点のみを含むので、点は物体の表面形状のみを反映する。点の誤差および変化を考慮しない理想的な状況では、物体の点の分布は、物体の形状の輪郭に沿ってきつくてよい。輪郭の内側に点はなく、輪郭の外側に点はない。しかしながら、実際には、測定誤差のために、点は輪郭周辺に点在している。したがって、自動運転の目的のために、物体の大まかな形状を識別するために形状提案が必要となる場合がある。この目標を達成するために、制御ユニット１５０は、３Ｄ形状を調整して理想的なサイズ、形状、方向、および位置を取得し、かつ３Ｄ形状を用いて形状提案として役立ってよい。
【０１１６】
１３２０では、制御ユニット１５０は、予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向を含むパラメータのうちの少なくとも１つを調整して３Ｄ形状提案を生成してよい。いくつかの実施形態では、動作１３２０（および動作１３３０および１３４０）は、繰り返して実行されてよい。各繰り返しでは、１つ以上のパラメータは調整されてよい。例えば、３Ｄ形状の高さは第１の繰り返しで調整され、３Ｄ形状の長さは第２の繰り返しで調整される。別の例として、３Ｄ形状の高さと長さの両方は第１の繰り返しで調整され、３Ｄ形状の高さと幅は第２の繰り返しで調整される。パラメータの調整は、増加または減少であってよい。また、各繰り返しにおけるパラメータの調整は、同じでも異なってよい。いくつかの実施形態では、高さ、幅、長さ、および偏揺れ角の調整は、グリッド検索法に基づいて使用されてよい。
【０１１７】
理想的な形状提案は、自動運転車がその運転経路を計画するために、信頼できる基準形状として役立つべきである。例えば、自動運転車は物体の記述として形状提案を用いて物体を越えると決定する場合、運転経路は、車両がその運転経路を正確に計画して物体周辺で安全に運転することができるが、同時に左または右への最小回転角度を操作して運転をできるだけ円滑にするように確保することを保証するべきである。例示的な結果として、形状提案は、物体の形状を正確に記述する必要がない場合があるが、自動運転車が形状提案に確実に依拠して物体に衝突および／またはぶつかることなく運転経路を決定することができるように、物体を覆うのに十分な大きさを有する必要がある。しかしながら、形状提案は、物体周辺を通過する際の運転経路の効率に影響を与えるほど大きい必要もない。
【０１１８】
したがって、制御ユニット１５０は、損失関数を評価してよく、損失関数は、自動運転経路計画の目的のために物体を記述することにおいて形状提案がどれほど良好であるかの基準として役立つ。損失関数のスコアまたは値が小さければ小さいほど、形状提案は物体をより上手く記述する。
【０１１９】
１３３０では、制御ユニット１５０は、３Ｄ形状提案の損失関数のスコア（または値）を計算してよい。単なる例として、損失関数は３つの部分、すなわちＬｉｎｂｏｘ、ＬｓｕｆおよびＬｏｔｈｅｒを含んでよい。例えば、３Ｄ形状提案の損失関数を以下のように表すことができる。
【０１２０】
【数１】
2020507137.tif 000003
【０１２１】
Ｌは、３Ｄ形状提案の総合スコアを示してよく、Ｌｉｎｂｏｘは、３Ｄ形状提案内の物体の点の数に関する３Ｄ形状提案のスコアを示してよい。Ｌｓｕｆは、形状提案の表面までの点の距離によって測定された、３Ｄ形状提案が物体の実際の形状にどれだけ近いかを表すスコアを示してよい。したがって、Ｌｓｕｆのスコアが小さければ小さいほど、３Ｄ形状提案は物体の表面形状または輪郭に近くなることを意味する。さらに、Ｌｓｕｆ（ｃａｒ）は、自動車の点と３Ｄ形状提案の表面との間の距離に関する３Ｄ形状提案のスコアを示してよく、Ｌｓｕｆ（ｐｅｄ）は、歩行者の点と３Ｄ形状提案の表面との間の距離に関する３Ｄ形状提案のスコアを示してよく、Ｌｏｔｈｅｒは、他のボーナスまたは罰金による３Ｄ形状提案のスコアを示してよい。
【０１２２】
さらに、Ｎは点の数を示してよく、Ｐ＿ａｌｌは物体のすべての点を示してよく、Ｐ＿ｏｕｔは３Ｄ形状提案の外側の点を示してよく、Ｐ＿ｉｎは３Ｄ形状提案内の点を示してよく、Ｐ＿ｂｅｈｉｎｄは３Ｄ形状提案の後ろにある点（例えば、３Ｄ形状提案の後部の点）を示してよく、ｄｉｓは物体の点から３Ｄ形状提案の表面までの距離を示してよい。いくつかの実施形態では、ｍ、ｎ、ａ、ｂおよびｃは定数である。例えば、ｍは２．０であってよく、ｎは１．５であってよく、ａは２．０であってよく、ｂは０．６であってよく、ｃは１．２であってよい。
【０１２３】
Ｌｉｎｂｏｘは、３Ｄ形状提案内の点の数を最小化するように構成されてよい。したがって、内部の点の数が少なければ少ないほど、Ｌｉｎｂｏｘのスコアは小さくなる。Ｌｓｕｒｆは、３Ｄ形状提案の表面に近い点ができるだけ多くなるように、３Ｄ形状提案の特定の形状および方向を促進するように構成されてよい。したがって、３Ｄ形状提案の表面までの点の累積距離が小さければ小さいほど、Ｌｓｕｒｆのスコアは小さくなる。Ｌｏｔｈｅｒは、美しく密集した点のクラスタを促進するように構成され、すなわち、点クラスタの数が多ければ多いほど、３Ｄ形状提案のボリュームは小さくなる。したがって、ｆ（Ｎ）は、３Ｄ形状提案内の点の総数に関する関数として定義され、すなわち、３Ｄ形状提案内の点が多ければ多いほど、損失関数がよくなり、それによってｆ（Ｎ）のスコアが小さくなる。Ｌｍｉｎ（Ｖ）は、３Ｄ形状提案のボリュームを抑制するものとして定義され、それは、３Ｄ形状提案のボリュームを最小化するように試み、すなわち、３Ｄ形状提案のボリュームが小さければ小さいほど、Ｌｍｉｎ（Ｖ）のスコアは小さくなる。
【０１２４】
したがって、式（１）の損失関数Ｌは、不必要に大きくならずに３Ｄ形状提案を物体の輪郭に近づけることを促進する様々な要因のバランスのとれた考慮を組み込む。
【０１２５】
１３４０では、制御ユニット１５０は、３Ｄ形状提案のスコアが予め設定された条件を満たすか否かを決定してよい。予め設定された条件は、スコアが閾値以下であり、スコアが何度も繰り返しても変わらず、所定の回数の繰り返しが実行されるなどを含んでよい。３Ｄ形状提案のスコアが予め設定された条件を満たさない決定に応じて、プロセス１３００は１３２０に戻ってよい。そうでなければ、プロセス１３００は１３６０に進んでよい。
【０１２６】
１３２０では、制御ユニット１５０は、さらに、３Ｄ形状提案を調整してよい。いくつかの実施形態では、後続の繰り返しにおいて調整されるパラメータは、現在の繰り返しとは異なってよい。例えば、制御ユニット１５０は、第１の５回の繰り返しでは３Ｄ形状提案の高さに対して第１の調整セットを実行してよい。高さを調整するだけによって、３Ｄ形状提案のスコアを閾値よりも低いように減少させることができないことがわかった後、制御ユニット１５０は、次の１０回の繰り返しでは３Ｄ形状提案の幅、長さ、偏揺れ角に対して第２の調整セットを実行してよい。３Ｄ形状提案のスコアが、依然として第２の調整後の閾値よりも高いと、制御ユニット１５０は、３Ｄ形状提案の方向（例えば、位置または中心点）に対して第３の調整セットを実行してよい。パラメータの調整は任意の順序で実行されてよく、各調整におけるパラメータの数およびタイプは同じでも異なってよいという点に注意すべきである。
【０１２７】
１３６０では、制御ユニット１５０は、３Ｄ形状提案を物体の３Ｄ形状（または物体の公称３Ｄ形状）として決定してよい。
【０１２８】
図１４Ａ〜１４Ｄは、本開示のいくつかの実施形態による、ＬｉＤＡＲ点群画像内の物体の３Ｄ形状を生成する一連の概略図である。図１４Ａは、物体のクラスタリングされて抽出されたＬｉＤＡＲ点群画像である。制御ユニット１５０は、予備的な３Ｄ形状を生成してよく、予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角を調整して図１４Ｂに示すような３Ｄ形状提案を生成してよい。高さ、幅、長さ、偏揺れ角を調整した後、制御ユニット１５０は、さらに、図１４Ｃに示すような３Ｄ形状提案の方向を調整してよい。最後に、プロセス１３００の記述で説明したように予め設定された条件を満たす３Ｄ形状提案は、物体の３Ｄ形状として決定されてよく、かつ図１４Ｄに示すように物体上にマーキングされてよい。
【０１２９】
図１５は、本開示のいくつかの実施形態による、補償画像を生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス１５００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス１５００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
【０１３０】
１５１０では、制御ユニット１５０は、基地局周辺の第１のＲａｄａｒ画像を取得してよい。第１のＲａｄａｒ画像は、Ｒａｄａｒデバイス４３０によって生成されてよい。ＬｉＤＡＲデバイス４２０と比較して、Ｒａｄａｒデバイス４３０は精度が低い（解像度が低い）が、検出範囲がより広い。例えば、ＬｉＤＡＲデバイス４２０は、３５メートル以内の物体から妥当な品質で反射されたレーザービームのみを受信してよい。しかしながら、Ｒａｄａｒデバイス４３０は、数百メートル離れた物体から反射された電波を受信してよい。
【０１３１】
１５２０では、制御ユニット１５０は、第１のＲａｄａｒ画像内の１つ以上の物体を識別してよい。第１のＲａｄａｒ画像内の１つ以上の物体を識別する方法は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別する方法と類似するので、ここでは繰り返さない。
【０１３２】
１５３０では、制御ユニット１５０は、第１のＲａｄａｒ点画像内の１つ以上の物体の１つ以上の位置を決定してよい。第１のＲａｄａｒ点画像内の１つ以上の物体の１つ以上の位置を決定する方法は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体の１つ以上の位置を決定する方法と類似するので、ここでは繰り返さない。
【０１３３】
１５４０では、制御ユニット１５０は、第１のＲａｄａｒ画像内の１つ以上の物体の各々に対して３Ｄ形状を生成してよい。いくつかの実施形態では、第１のＲａｄａｒ画像内の１つ以上の物体の各々に対して３Ｄ形状を生成する方法は、第１のＬｉＤＡＲ点群画像内の１つ以上の物体の各々に対して３Ｄ形状を生成する方法と類似してよい。いくつかの他の実施形態では、制御ユニット１５０は、１つ以上の物体の各々の前面の次元および中心点を取得してよい。物体の３Ｄ形状は、単に物体の本体の方向に前面を広げることによって生成されてよい。
【０１３４】
１５５０では、制御ユニット１５０は、第１のＲａｄａｒ画像内の１つ以上の物体の位置および３Ｄ形状に基づいて、第１のＲａｄａｒ画像内の１つ以上の物体をマーキングして第２のＲａｄａｒ画像を生成してよい。
【０１３５】
１５６０では、制御ユニット１５０は、第２のＲａｄａｒ画像と第２のＬｉＤＡＲ点群画像とを融合して補償画像を生成してよい。いくつかの実施形態では、ＬｉＤＡＲ点群画像は、基地局の付近ではＲａｄａｒ画像よりも高い解像度および信頼性を有してよく、かつＲａｄａｒ画像は、基地局から離れる場合にＬｉＤＡＲ点群画像よりも高い解像度および信頼性を有してよい。例えば、制御ユニット１５０は、第２のＲａｄａｒ画像と第２のＬｉＤＡＲ点群画像を、基地局との距離が０〜３０メートル、３０〜５０メートル、５０メートル以上という３つの部分に分割してよい。第２のＲａｄａｒ画像と第２のＬｉＤＡＲ点群画像は、ＬｉＤＡＲ点群画像のみが０〜３０メートルの部分で保持され、Ｒａｄａｒ画像のみが５０メートル以上の部分で保持されるように融合されてよい。いくつかの実施形態では、第２のＲａｄａｒ画像および第２のＬｉＤＡＲ点群画像の３０〜５０メートルの部分のボクセルのグレースケール値は平均化されてよい。
【０１３６】
図１６は、本開示のいくつかの実施形態による、カメラとＬｉＤＡＲデバイスおよび／またはＲａｄａｒデバイスを同期させる概略図である。図１６に示すように、カメラ（例えば、カメラ４１０）、ＬｉＤＡＲデバイス（例えば、ＬｉＤＡＲデバイス４２０）、およびＲａｄａｒデバイス（例えば、Ｒａｄａｒデバイス４３０）のフレームレートは異なる。カメラ、ＬｉＤＡＲデバイスおよびＲａｄａｒデバイスが第１の時間枠Ｔ１で同時に動作し始めると仮定すると、カメラ画像、ＬｉＤＡＲ点群画像、およびＲａｄａｒ画像は、ほぼ同時に生成されてよい（例えば、同期される）。しかしながら、フレームレートが異なるため、後続の画像は同期されない。いくつかの実施形態では、カメラ、ＬｉＤＡＲデバイスおよびＲａｄａｒデバイスのうちの最も遅いフレームレートを有するデバイスは決定されてよい（図１６の例では、それがカメラである）。制御ユニット１５０は、カメラが撮像したカメラ画像の各時間枠を記録してよく、かつカメラ画像の各時間枠の時間に近い他のＬｉＤＡＲ画像およびＲａｄａｒ画像を検索してよい。カメラ画像の各時間枠に対して、対応するＬｉＤＡＲ画像および対応するＲａｄａｒ画像は取得されてよい。例えば、Ｔ２ではカメラ画像１６１０を取得し、制御ユニット１５０は、Ｔ２に最も近いＬｉＤＡＲ画像およびＲａｄａｒ画像（例えば、ＬｉＤＡＲ画像１６２０およびＲａｄａｒ画像１６３０）を検索してよい。カメラ画像と対応するＬｉＤＡＲ画像およびＲａｄａｒ画像はセットとして抽出される。セット内の３つの画像は、同時に取得されて同期されると仮定される。
【０１３７】
図１７は、本開示のいくつかの実施形態による、既存のＬｉＤＡＲ点群画像に基づいてＬｉＤＡＲ点群画像またはビデオを生成する例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス１７００は、図１に示すように、自動運転車で実施されてよい。例えば、プロセス１７００は、命令の形態で記憶装置２２０および／または他の記憶装置（例えば、ＲＯＭ３３０、ＲＡＭ３４０）に記憶され、かつ処理ユニット（例えば、プロセッサ３２０、制御ユニット１５０、制御ユニット１５０の１つ以上のマイクロチップ）によって呼び出されおよび／または実行されてよい。本開示は、命令を実行する一例として制御ユニット１５０を取り上げる。
【０１３８】
１７１０では、制御ユニット１５０は、２つの異なる時間枠で基地局周辺の２つの第１のＬｉＤＡＲ点群画像を取得してよい。２つの異なる時間枠は、同じＬｉＤＡＲデバイスによって連続的に取られてよい。
【０１３９】
１７２０では、制御ユニット１５０は、２つの第１のＬｉＤＡＲ点群画像に基づいて２つの第２のＬｉＤＡＲ点群画像を生成してよい。２つの第１のＬｉＤＡＲ点群画像に基づいて２つの第２のＬｉＤＡＲ点群画像を生成する方法は、プロセス５００に見出すことができる。
【０１４０】
１７３０では、制御ユニット１５０は、補間法により、２つの第２のＬｉＤＡＲ点群画像に基づいて、第３の時間枠で第３のＬｉＤＡＲ点群画像を生成してよい。
【０１４１】
図１８は、本開示のいくつかの実施形態による、画像のフレームを検証して補間する概略図である。図１８に示すように、Ｒａｄａｒ画像、カメラ画像、およびＬｉＤＡＲ画像は（例えば、図１６に開示される方法によって）同期される。補間法により、既存のカメラ画像の間に追加のカメラ画像が生成される。制御ユニット１５０は、カメラ画像に基づいてビデオを生成してよい。いくつかの実施形態では、制御ユニット１５０は、履歴情報に基づいてカメラ画像、ＬｉＤＡＲ画像および／またはＲａｄａｒ画像の各フレームを検証して修正してよい。履歴情報は、上記のフレームまたは前のフレームにおける同じまたは異なるタイプの画像を含んでよい。例えば、自動車は、カメラ画像の特定のフレーム内に適切に識別して測位されない。しかしながら、前の５つのフレームは、すべて自動車を正確に識別して測位した。制御ユニット１５０は、前のフレームでのカメラ画像と、不正確なフレームおよび前のフレームでのＬｉＤＡＲ画像および／またはＲａｄａｒ画像とに基づいて、不正確なフレームでのカメラ画像を修正してよい。
【０１４２】
以上のように基本概念を説明してきたが、当業者には、この詳細な開示を読んだ後、上記の詳細な開示は、単なる例として提示されているに過ぎず、限定的ではないことは明らかである。本明細書には明示的に述べられていないが、様々な変更、改良、および修正が想起され、それらは当業者に意図される。これらの変更、改良および修正は、本開示によって示唆されることが意図されており、かつ本開示の例示的な実施形態の精神および範囲内にある。
【０１４３】
さらに、所定の用語は、本開示の実施形態を説明するために用いられている。例えば、「一実施形態」、「実施形態」および／または「いくつかの実施形態」という用語は、この実施形態に関連して説明される特定の特徴、構造または特性が本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の様々な部分における「実施形態」または「一実施形態」または「代替実施形態」の２つ以上の言及は、必ずしもすべてが同じ実施形態を指しているわけではないことを強調し、それを理解するものとする。さらに、特定の特徴、構造、または特性は、本開示の１つ以上の実施形態において適切に組み合わせられてよい。
【０１４４】
さらに、当業者には理解されるように、本開示の態様は、本明細書において、任意の新規かつ有用なプロセス、機械、製造、または組成物、またはそれらの任意の新規かつ有用な改善を含む、多くの特許性のある種類または文脈のいずれかで例示して説明されてよい。したがって、本開示の態様は、完全にハードウェア、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアとの組み合わせによる実施により実施されてよく、実施は、全体として、本明細書では「ユニット」、「モジュール」または「システム」と総称されてよい。さらに、本開示の態様は、具現化されたコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態を用いてよい。
【０１４５】
非一時的なコンピュータ可読信号媒体は、例えば、ベースバンドに、または搬送波の一部として具現化されたコンピュータ可読プログラムコードを有する伝搬データ信号を含んでよい。このような伝搬信号は、電磁気、光学など、またはそれらの任意の適切な組み合わせを含む様々な形態のいずれかを用いてよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではないが、命令実行システム、機器または装置によって使用されるかまたは組み合わせて使用されるためのプログラムを通信、伝搬または伝送できる任意のコンピュータ可読媒体であってよい。コンピュータ可読信号媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、またはこれらの任意の適切な組み合わせを含む任意の適切な媒体を用いて送信されてよい。
【０１４６】
本開示の態様の動作を実行するコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｃａｌａ、Ｓｍａｌｌｔａｌｋ、Ｅｉｆｆｅｌ、ＪＡＤＥ、Ｅｍｅｒａｌｄ、Ｃ＋＋、Ｃ＃、ＶＢ．ＮＥＴ、Ｐｙｔｈｏｎなどのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｆｏｒｔｒａｎ  ２００３、Ｐｅｒｌ、ＣＯＢＯＬ  ２００２、ＰＨＰ、ＡＢＡＰなどの従来の手続き型プログラミング言語、Ｐｙｔｈｏｎ、Ｒｕｂｙ、Ｇｒｏｏｖｙなどの動的プログラミング言語、または他のプログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書き込まれてよい。プログラムコードは、完全にユーザのコンピュータ上で、部分的にはユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行されてよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてよく、あるいは接続は、外部コンピュータ（例えば、インターネットサービスプロバイダを用いてインターネットを介して）もしくはクラウドコンピューティング環境で行われるか、またはサービスとしてのソフトウェア（ＳａａＳ）などのようなサービスとして提供されてよい。
【０１４７】
さらに、処理要素もしくはシーケンス、またはそれに対する数、文字、もしくは他の名称の使用の、列挙された順序は、特許請求の範囲に特定され得るものを除き、請求された処理および方法を任意の順序に限定することを意図するものではない。上記の開示は、本開示の様々な有用な実施形態であると現在考えられる様々な実施例を通して論じているが、そのような詳細事項は説明を目的としてなされているにすぎず、添付の特許請求の範囲は、開示される実施形態に限定されず、むしろ、開示される実施形態の精神および範囲内にある変形例および均等な構成を包含するように意図されることが理解されるべきである。例えば、上述した様々な構成要素の実施は、ハードウェア装置で具体化され得るが、ソフトウェアのみの解決策として、例えば、既存のサーバまたはモバイルデバイス上のインストールとして実施されてよい。
【０１４８】
同様に、本開示の実施形態の前述の説明では、様々な本発明の実施形態の１つ以上の理解を助ける開示を合理化する目的で、様々な特徴が単一の実施形態、図、またはその説明にまとめられることが理解されるべきである。しかしながら、本開示の方法は、請求された主題が各請求項に明確に記載されたものよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、本発明の実施形態は、前述の単一の開示された実施形態のすべての特徴よりも少ないものである。
【０１４９】
いくつかの実施形態では、本出願の特定の実施形態を記載して主張するために用いられる量、特性などを表す数は、いくつかの実例では用語「約」、「おおよそ」または「実質的」によって修正されると理解されるべきである。例えば、別途に規定されない限り、「約」、「おおよそ」または「実質的」は、それらが記載する値の±２０％変化量を表すことができる。したがって、いくつかの実施形態では、明細書または添付した特許請求の範囲に記載される数値パラメータは、特定の実施形態によって取得されると求められる所望の特性に応じて変化し得る近似値である。いくつかの実施形態では、数値パラメータは、報告された有効数字の数に照らして、通常の丸め技術を適用することによって解釈されるべきである。
本出願のいくつか実施形態の広範囲を記載している数値の範囲またはパラメータが近似値であるにもかかわらず、特定の実施例に記載される数値は、実行可能な限り正確に報告されるべきである。
【０１５０】
特許、特許出願、特許出願の出版物、および本明細書で参照された記事、本、明細書、出版物、文書、物などの他の資料の各々は、これらに関連した任意の起訴ファイル履歴、現在の文書と矛盾するかまたは競合する任意のファイル、または本文書に関連した現在またはその後の請求項の最も広い範囲に関して限定的な影響を及ぼすことができる任意のファイルを除いて、すべての目的のためにその全体が参照として本明細書に組み込まれる。一例として、本明細書に組み込まれる任意の材料に関連した用語の説明、定義および／または使用と本文書に関連した用語の説明、定義および／または使用との間に矛盾または競合が存在する場合、本文書における用語の説明、定義および／または使用が優先すべきである。
【０１５１】
最後に、本明細書に開示された本出願の実施形態は、本出願の実施形態の原理を例示するものであると理解されるべきである。使用される他の修正は、本出願の範囲内であるべきである。したがって、一例として、本出願の実施形態の代替的な構成は、本明細書の内容に応じて利用されてよい。これにより、本出願の実施形態は、示されて説明されたものに厳密に限定されない。
【符号の説明】
【０１５２】
１１０  障害物
１２０  経路
１２１  道路
１３０  自動運転車
１４０  検知システム
１４２，１４４，１４６  センサ
１５０  制御ユニット
２２０  記憶装置
２３０  ネットワーク
２４０  ゲートウェイモジュール
２５０  コントローラエリアネットワーク（ＣＡＮ）
２６０  エンジン管理システム（ＥＭＳ）
２６５  スロットルシステム
２７０  横滑り防止装置（ＥＳＣ）
２７５  ブレーキシステム
２８０  電力システム（ＥＰＳ）
２９０  ステアリングコラムモジュール（ＳＣＭ）
２９５  ステアリングシステム
３２０  プロセッサ
３５０  ＣＯＭポート
３７０  ディスク
４１０  カメラ
４２０  ＬｉＤＡＲ検出器
４３０  Ｒａｄａｒ検出器
４４０  処理ユニット
【図１】
2020507137.tif 000004
【図２】
2020507137.tif 000005
【図３】
2020507137.tif 000006
【図４】
2020507137.tif 000007
【図５】
2020507137.tif 000008
【図６Ａ】
2020507137.tif 000009
【図６Ｂ】
2020507137.tif 000010
【図６Ｃ】
2020507137.tif 000011
【図７】
2020507137.tif 000012
【図８】
2020507137.tif 000013
【図９Ａ】
2020507137.tif 000014
【図９Ｂ】
2020507137.tif 000015
【図１０】
2020507137.tif 000016
【図１１】
2020507137.tif 000017
【図１２Ａ】
2020507137.tif 000018
【図１２Ｂ】
2020507137.tif 000019
【図１２Ｃ】
2020507137.tif 000020
【図１２Ｄ】
2020507137.tif 000021
【図１２Ｅ】
2020507137.tif 000022
【図１３】
2020507137.tif 000023
【図１４Ａ】
2020507137.tif 000024
【図１４Ｂ】
2020507137.tif 000025
【図１４Ｃ】
2020507137.tif 000026
【図１４Ｄ】
2020507137.tif 000027
【図１５】
2020507137.tif 000028
【図１６】
2020507137.tif 000029
【図１７】
2020507137.tif 000030
【図１８】
2020507137.tif 000031
【手続補正書】
【提出日】平成31年2月27日(2019.2.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
運転支援システムであって、
車両周辺の１つ以上の物体を識別して測位するための一組の命令を含む１つ以上の記憶媒体と、
前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップと
を含む制御ユニットを含み、
前記システムの動作中に、前記１つ以上のマイクロチップは、前記一組の命令を実行して、
検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することと、
前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することと
を行う、システム。
【請求項２】
前記制御ユニットと通信して前記第１のＬｉＤＡＲ点群画像を前記制御ユニットに送信する少なくとも１つのＬｉＤＡＲデバイスと、
前記制御ユニットと通信してカメラ画像を前記制御ユニットに送信する少なくとも１つのカメラ、または前記制御ユニットと通信してＲａｄａｒ画像を前記制御ユニットに送信する少なくとも１つのＲａｄａｒデバイスのうちの少なくとも一方と
をさらに含む、請求項１に記載のシステム。
【請求項３】
前記検出基地局は車両であり、
前記システムは、前記車両のハンドル、カウルまたは反射鏡に取り付けられた少なくとも１つのＬｉＤＡＲデバイスをさらに含み、
前記少なくとも１つのＬｉＤＡＲデバイスの前記取り付けは、接着結合、ボルトおよびナット接続、バヨネット装着、または真空固定のうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項４】
前記１つ以上のマイクロチップは、
前記１つ以上の物体のうちの少なくとも１つを含む第１のカメラ画像を取得することと、
前記第１のカメラ画像内の前記１つ以上の物体のうちの少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の少なくとも１つの目標位置を識別することと、
前記第１のカメラ画像内の前記少なくとも１つの目標位置、および前記第２のＬｉＤＡＲ点群画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
をさらに行う、請求項１から３のいずれか一項に記載のシステム。
【請求項５】
前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングする際に、前記１つ以上のマイクロチップは、
前記第１のカメラ画像内の前記少なくとも１つの目標物体の２Ｄ形状を取得することと、
前記第２のＬｉＤＡＲ点群画像を前記第１のカメラ画像と関連付けることと、
前記少なくとも１つの目標物体の前記２Ｄ形状、および前記第２のＬｉＤＡＲ点群画像と前記第１のカメラ画像との間の相関関係に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体の３Ｄ形状を生成することと、
前記第１のカメラ画像内の前記識別された位置、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
をさらに行う、請求項４に記載のシステム。
【請求項６】
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体を識別するために、前記１つ以上のマイクロチップは、
前記第１のＬｉＤＡＲ点群画像内の複数の点の座標を取得することであって、前記複数の点が無関心な点および残りの点を含む、ことと、
前記座標に従って前記複数の点から前記無関心な点を除去することと、
点群クラスタリングアルゴリズムに基づいて前記残りの点を１つ以上のクラスタにクラスタリングすることと、
前記１つ以上のクラスタのうちの少なくとも１つを少なくとも１つのターゲットクラスタとして選択することであって、前記少なくとも１つのターゲットクラスタの各々が１つの物体に対応する、ことと
をさらに行う、請求項１から５のいずれか一項に記載のシステム。
【請求項７】
前記１つ以上の物体の各々に対して３Ｄ形状を生成するために、前記１つ以上のマイクロチップは、
前記物体の予備的な３Ｄ形状を決定することと、
前記予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向のうちの少なくとも１つを調整して３Ｄ形状提案を生成することと、
前記３Ｄ形状提案のスコアを計算することと、
前記３Ｄ形状提案の前記スコアが所定の条件を満たすか否かを決定することと、
前記３Ｄ形状提案の前記スコアが前記所定の条件を満たさないという決定に応じて、前記３Ｄ形状提案をさらに調整することと、
前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案の前記スコアが前記所定の条件を満たすという決定に応じて、前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案を前記物体の前記３Ｄ形状として決定することと
をさらに行う、請求項１から６のいずれか一項に記載のシステム。
【請求項８】
前記１つ以上のマイクロチップは、
前記検出基地局周辺の第１の無線検出および測距（Ｒａｄａｒ）画像を取得することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体を識別することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＲａｄａｒ画像内の前記１つ以上の物体をマーキングすることによって、第２のＲａｄａｒ画像を生成することと、
前記第２のＲａｄａｒ画像と前記第２のＬｉＤＡＲ点群画像とを融合させて補償画像を生成することと
をさらに行う、請求項１から７のいずれか一項に記載のシステム。
【請求項９】
車両周辺の１つ以上の物体を識別して測位するための命令を記憶する１つ以上の記憶媒体と、前記１つ以上の記憶媒体に電気的に接続された１つ以上のマイクロチップとを有するコンピューティングデバイスで実施される方法であって、
検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得することと、
前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別することと、
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成することと
を含む方法。
【請求項１０】
前記１つ以上の物体のうちの少なくとも１つを含む第１のカメラ画像を取得することと、
前記第１のカメラ画像内の前記１つ以上の物体のうちの少なくとも１つの目標物体、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の少なくとも１つの目標位置を識別することと、
前記第１のカメラ画像内の前記少なくとも１つの目標位置、および前記第２のＬｉＤＡＲ点群画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
をさらに含む、請求項９に記載の方法。
【請求項１１】
前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることは、
前記第１のカメラ画像内の前記少なくとも１つの目標物体の２Ｄ形状を取得することと、
前記第２のＬｉＤＡＲ点群画像を前記第１のカメラ画像と関連付けることと、
前記少なくとも１つの目標物体の前記２Ｄ形状、および前記第２のＬｉＤＡＲ点群画像と前記第１のカメラ画像との間の相関関係に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体の３Ｄ形状を生成することと、
前記第１のカメラ画像内の識別された前記位置、および前記第１のカメラ画像内の前記少なくとも１つの目標物体の前記３Ｄ形状に基づいて、前記第１のカメラ画像内の前記少なくとも１つの目標物体をマーキングすることによって、第２のカメラ画像を生成することと
をさらに含む、請求項９または１０に記載の方法。
【請求項１２】
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体を識別することは、
前記第１のＬｉＤＡＲ点群画像内の複数の点の座標を取得することであって、前記複数の点が無関心な点および残りの点を含む、ことと、
前記座標に従って前記複数の点から前記無関心な点を除去することと、
点群クラスタリングアルゴリズムに基づいて前記残りの点を１つ以上のクラスタにクラスタリングすることと、
前記１つ以上のクラスタのうちの少なくとも１つを少なくとも１つのターゲットクラスタとして選択することであって、前記少なくとも１つのターゲットクラスタの各々が１つの物体に対応する、ことと
をさらに含む、請求項９から１１のいずれか一項に記載の方法。
【請求項１３】
前記１つ以上の物体の各々に対して３Ｄ形状を生成することは、
前記物体の予備的な３Ｄ形状を決定することと、
前記予備的な３Ｄ形状の高さ、幅、長さ、偏揺れ角、または方向のうちの少なくとも１つを調整して３Ｄ形状提案を生成することと、
前記３Ｄ形状提案のスコアを計算することと、
前記３Ｄ形状提案の前記スコアが所定の条件を満たすか否かを決定することと、
前記３Ｄ形状提案の前記スコアが前記所定の条件を満たさないという決定に応じて、前記３Ｄ形状提案をさらに調整することと、
前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案の前記スコアが前記所定の条件を満たすという決定に応じて、前記３Ｄ形状提案またはさらに調整された３Ｄ形状提案を前記物体の前記３Ｄ形状として決定することと
をさらに含む、請求項９から１２のいずれか一項に記載の方法。
【請求項１４】
前記検出基地局周辺の第１の無線検出および測距（Ｒａｄａｒ）画像を取得することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体を識別することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の１つ以上の位置を決定することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の各々に対して３Ｄ形状を生成することと、
前記第１のＲａｄａｒ画像内の前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＲａｄａｒ画像内の前記１つ以上の物体をマーキングすることによって、第２のＲａｄａｒ画像を生成することと、
前記第２のＲａｄａｒ画像と前記第２のＬｉＤＡＲ点群画像とを融合させて補償画像を生成することと
をさらに含む、請求項９から１３のいずれか一項に記載の方法。
【請求項１５】
車両周辺の１つ以上の物体を識別して測位するための少なくとも一組の命令を含む非一時的なコンピュータ可読媒体であって、
電子端末のマイクロチップによって実行されるとき、前記少なくとも一組の命令は、
検出基地局周辺の第１の光検出および測距（ＬｉＤＡＲ）点群画像を取得する動作と、
前記第１のＬｉＤＡＲ点群画像内の１つ以上の物体を識別する動作と、
前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体の１つ以上の位置を決定する動作と、
前記１つ以上の物体の各々に対して３Ｄ形状を生成する動作と、
前記１つ以上の物体の前記位置および前記３Ｄ形状に基づいて、前記第１のＬｉＤＡＲ点群画像内の前記１つ以上の物体をマーキングすることによって、第２のＬｉＤＡＲ点群画像を生成する動作と
を実行するように前記マイクロチップに指示する、非一時的なコンピュータ可読媒体。
【国際調査報告】
2020507137.tif 000032
2020507137.tif 000033