(57)【要約】      （修正有）【課題】固定試験場又は実験室に頼ることなくオンボードセンサの外部パラメータを較正する方法及び装置を提供する。【解決手段】較正方法は、オンボードセンサにより収集された第１特徴点情報を取得するステップと、世界座標系における車体の地理的位置を決定するステップと、前記世界座標系における前記車体の前記地理的位置に基づき、地図データベース内の前記センサの収集範囲内の第２特徴点情報を決定するステップと、前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップと、前記世界座標系における前記車体の前記地理的位置に基づき、前記車両の座標系における前記複数の第２特徴点の座標を決定するステップと、前記複数の第１特徴点及び前記車両の座標系における前記複数の第２特徴点に基づき、前記オンボードセンサから前記車両へのマッピングのパラメータを決定するステップと、を含む。【選択図】図１
2022000636.tif 000002
【特許請求の範囲】
【請求項１】
オンボードセンサの外部パラメータを較正する方法であって、
第１オンボードセンサにより収集された第１特徴点情報を取得するステップと、
地図データベースの中の前記第１オンボードセンサの収集範囲内の第２特徴点情報を決定するステップと、
前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップと、
前記複数の第１特徴点及び前記複数の第２特徴点に基づき、前記第１オンボードセンサを較正するステップと、
を含む方法。
【請求項２】
前記第１オンボードセンサを較正する前記ステップは、
前記第１オンボードセンサと前記第１オンボードセンサが位置する車体との間のマッピングのパラメータを決定するステップを含む、請求項１に記載の方法。
【請求項３】
前記第１オンボードセンサを較正する前記ステップは、
前記複数の第１特徴点及び第１座標系における前記複数の第２特徴点の座標に基づき、前記第１オンボードセンサを較正するステップを含む、請求項１又は２に記載の方法。
【請求項４】
前記第１座標系は、世界座標系又は車体座標系である、請求項３に記載の方法。
【請求項５】
前記第１特徴点及び前記第２特徴点は同じマーカに対応する、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記マーカは、既存のランドマーク建築物、交通信号、固定された標識のうちの１つ以上を含む、請求項５に記載の方法。
【請求項７】
前記方法は、
前記第１オンボードセンサから車体へのマッピングの決定されたパラメータに基づき、前記第１オンボードセンサが位置する前記車体から前記第１オンボードセンサへのマッピングのパラメータを決定するステップと、
第２オンボードセンサから前記車体へのマッピングのパラメータ及び前記車体から前記第１オンボードセンサへのマッピングの前記パラメータに基づき、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングのパラメータを決定するステップと、
を更に含む請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記第１オンボードセンサから車体へのマッピングの決定されたパラメータに基づき、前記第１オンボードセンサが位置する前記車体から前記第１オンボードセンサへのマッピングのパラメータを決定する前記ステップは、
前記第１オンボードセンサから前記車体へのマッピングの前記パラメータに反転を実行して、前記車体から前記第１オンボードセンサへのマッピングの前記パラメータを取得するステップを含み、
第２オンボードセンサから前記車体へのマッピングのパラメータ及び前記車体から前記第１オンボードセンサへのマッピングの前記パラメータに基づき、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングのパラメータを決定する前記ステップは、
前記第２オンボードセンサから前記車体へのマッピングの前記パラメータを、前記車体から前記第１オンボードセンサへのマッピングの前記パラメータにより乗算して、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングの前記パラメータを取得するステップを含む、請求項７に記載の方法。
【請求項９】
オンボードセンサの外部パラメータを較正する装置であって、
第１オンボードセンサにより収集された第１特徴点情報を取得する手段と、
地図データベースの中の前記第１オンボードセンサの収集範囲内の第２特徴点情報を決定する手段と、
前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する手段と、
前記複数の第１特徴点及び前記複数の第２特徴点に基づき、前記第１オンボードセンサを較正する手段と、
を含む装置。
【請求項１０】
請求項９に記載の装置と前記第１オンボードセンサとを含む車両。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本願は、中国特許出願番号第２０１７１０５４７０９４．８号、中国特許庁に２０１７年７月６日出願、名称「METHOD  AND  DEVICE  FOR  CALIBRATING  EXTRINSIC  PARAMETER  OF  ON−BOARD  SENSOR」の優先権を主張する。該中国特許出願は、参照によりその全体がここに組み込まれる。
【０００２】
［技術分野］
本願の実施形態は、自動車分野に関し、より具体的には、オンボードセンサの外部パラメータを較正する方法及び装置に関する。
【背景技術】
【０００３】
自動運転の信頼性は、複数のオンボードセンサの集中型検知に基づき、複数のセンサの集中型検知は空間整合性に基づく。外部センサパラメータは、センサ間の空間的相対位置及び姿勢関係を反映する。現在、自律車両上のセンサの外部パラメータは、固定的領域にある試験場又は屋内実験室における幾つかの手動でプリセットされたマーカを観察することにより、構成される。自律車両が納入後のある時間期間の間、使用されるとき、センサの空間的位置の間の相対関係は、長時間の高周波数振動及び衝突及び摩擦のような外的要因により、ずれる。本例では、デポ再較正が必要である。自律車両市場が次第に発展するのに伴い、ユーザ数の増加が必然的にデポ再較正の要求の増大を引き起こす。大規模なデポ再較正は高い輸送及び時間コストを生じ、さらにユーザ経験に深刻な負の影響を与える。
【０００４】
したがって、自律車両を使用する課程で、センサの検知データに基づき、センサを自動的に構成することが緊急に必要である。
【発明の概要】
【０００５】
本願の実施形態は、オンボードセンサの外部パラメータを較正する方法及び装置を提供する。その結果、自律車両のオンボードセンサは、固定試験場又は実験室に頼ることなく自動的に較正され得る。これはユーザ経験を向上することができる。
【０００６】
第１の態様によると、オンボードセンサの外部パラメータを較正する方法であって、第１オンボードセンサにより収集された第１特徴点情報を取得するステップと、位置及び方向システムPOSセンサにより収集された位置情報に基づき、世界座標系における車体の地理的位置を決定するステップと、前記世界座標系における前記車体の前記地理的位置に基づき、地図データベースの中の前記第１センサの収集範囲内の第２特徴点情報を決定するステップであって、前記地図データベースは、前記世界座標系に基づき確立される、ステップと、前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップと、前記世界座標系における前記車体の前記地理的位置及び前記世界座標系における前記複数の第２特徴点の地理的位置に基づき、車体座標系における前記複数の第２特徴点の座標を決定するステップと、前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングのパラメータを決定するステップと、を含む方法が提供される。
【０００７】
装置は、前記第１オンボードセンサにより収集された前記第１特徴点情報を取得し、前記位置及び方向システムPOSセンサにより収集された前記位置情報に基づき、前記世界座標系における、前記第１オンボードセンサの位置する前記車体の前記地理的位置を決定する。前記装置は、前記世界座標系における前記車体の前記地理的位置に基づき、前記地図データベース内の前記第１センサの前記収集範囲内の前記第２特徴点情報を決定し、前記地図データベースは前記世界座標系に基づき確立される。前記装置は、前記第１特徴点情報及び前記第２特徴点情報に基づき、前記複数の第１特徴点及び前記複数の第２特徴点を決定し、前記世界座標系における前記車体の前記地理的位置及び前記世界座標系における前記複数の第２特徴点の前記地理的位置に基づき、前記車体座標系における前記複数の第２特徴点の前記座標を決定し、前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングの前記パラメータを決定する。
【０００８】
したがって、前記装置は、前記地図データベース内の前記第１センサの前記収集範囲内の前記第２特徴点情報、前記複数の第１特徴点、及び前記複数の第２特徴点を、前記第１オンボードセンサにより収集された前記第１特徴点情報及び前記世界座標系における前記車体の前記地理的位置に基づき決定し、前記第１オンボードセンサから前記車体へのマッピングの前記パラメータを、前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の座標に基づき決定して、前記第１オンボードセンサの外部パラメータを較正する。このように、自律車両のオンボードセンサは、固定試験場又は実験室に頼ることなく、自動的に較正されることができ、ユーザ経験を向上する。
【０００９】
任意で、第１の態様の一実装では、前記方法は、さらに、
前記第１オンボードセンサから前記車体へのマッピングの前記決定したパラメータに基づき、前記車体から前記第１オンボードセンサへのマッピングのパラメータを決定するステップと、
第２オンボードセンサから前記車体へのマッピングのパラメータ及び前記車体から前記第１オンボードセンサへのマッピングの前記パラメータに基づき、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングのパラメータを決定するステップと、を含む。
【００１０】
任意で、第１の態様の一実装では、前記第１オンボードセンサから前記車体へのマッピングの前記決定したパラメータに基づき、前記車体から前記第１オンボードセンサへのマッピングのパラメータを決定する前記ステップは、
前記第１オンボードセンサから前記車体へのマッピングの前記パラメータに対して、反転を実行して、前記車体から前記第１オンボードセンサへのマッピングの前記パラメータを取得するステップを含み、
第２オンボードセンサから前記車体へのマッピングのパラメータ及び前記車体から前記第１オンボードセンサへのマッピングの前記パラメータに基づき、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングのパラメータを決定する前記ステップは、
前記第２オンボードセンサから前記車体へのマッピングの前記パラメータを、前記車体から前記第１オンボードセンサへのマッピングの前記パラメータで乗算して、前記第２オンボードセンサから前記第１オンボードセンサへのマッピングの前記パラメータを取得するステップを含む。
【００１１】
この場合、前記第１オンボードセンサから前記車体へのマッピングの前記パラメータ、及び前記第２オンボードセンサから前記車体へのマッピングの前記パラメータが取得され、その結果、任意のオンボードセンサ及び任意の他のオンボードセンサの座標間のマッピング関係が実装され得る。これは、オンボードセンサ間の相互較正を実施する。
【００１２】
任意で、第１の態様の一実装では、前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングのパラメータを決定する前記ステップは、
前記複数の第１特徴点に対する精度チェックが成功したことを決定するステップと、
前記精度チェックに成功した前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングの前記パラメータを決定するステップと、を含む。
【００１３】
この場合、精度チェックが第１特徴点に対して実行され、その結果、第１特徴点を取得する又は照合する課程で生じ得る誤差が回避され、大きな誤差を有する観察値は自動的に除去され、オンボードセンサから世界座標系へのマッピングのパラメータは、精度チェックに成功した第１特徴点に基づき較正される。これは、オンボードセンサから世界座標系へのマッピングのパラメータの信頼性及び精度を向上する。
【００１４】
任意で、第１の態様の一実装では、前記第１オンボードセンサは、以下のオンボードセンサ：レーザレーダオンボードセンサ、カメラオンボードセンサ、及びミリ波レーダオンボードセンサ、のうちのいずれか１つを含む。
【００１５】
任意で、第１の態様の一実装では、前記第１オンボードセンサが、前記レーザレーダオンボードセンサ又は前記ミリ波レーダオンボードセンサであるとき、
前記複数の第１特徴点に対する精度チェックが成功したことを決定する前記ステップは、
前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングの初期パラメータを決定するステップと、
前記第１特徴点の座標及び前記初期マッピングパラメータに基づき、前記車体座標系における前記第１特徴点の座標を決定するステップと、
前記車体座標系における前記第１特徴点の前記座標及び前記POSセンサに基づき、前記地図データベース内の前記第１特徴点の座標を決定するステップと、
前記地図データベース内の前記第１特徴点の各々の前記決定した座標と、前記地図データベース内の前記第１特徴点に一致する第２特徴点の座標との間の差が第１閾より小さいとき、前記第１特徴点に対する前記精度チェックが成功したと決定するステップと、を含む。
【００１６】
任意で、第１の態様の一実装では、前記第１オンボードセンサが前記カメラオンボードセンサであるとき、前記複数の第１特徴点に対する精度チェックが成功したことを決定する前記ステップは、
前記複数の第１特徴点及び前記車体座標系における前記複数の第２特徴点の前記座標に基づき、前記第１オンボードセンサから前記車体へのマッピングの初期パラメータを決定するステップと、
前記車体座標系における前記複数の一致した第２特徴点の前記座標と前記初期マッピングパラメータに基づき、前記複数の第２特徴点に対応する前記複数の第１特徴点のピクセル座標を決定するステップと、
前記複数の第１特徴点の各々の前記決定したピクセル座標と前記第１特徴点の取得したピクセル座標との間の差が第２閾より小さいとき、前記第１特徴点に対する前記精度チェックが成功したと決定するステップと、を含む。
【００１７】
任意で、第１の態様の一実装では、前記第１オンボードセンサが前記レーザレーダオンボードセンサであるとき、第１オンボードセンサにより収集された第１特徴点情報を取得する前記ステップは、
前記複数の第１特徴点及び前記複数の第１特徴点に対応する第１マーカの輪郭サイズを取得するステップを含み、
前記複数の第１特徴点は前記第１マーカの複数のコーナー座標であり、
前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する前記ステップは、
前記第１特徴点情報の中の前記複数の特徴点のうちのいずれか１つに対応する前記第１マーカの前記輪郭サイズと、前記第２特徴点情報の中の前記複数の特徴点のうちのいずれか１つに対応する前記第１マーカの輪郭サイズとの間の差が第３閾より小さいとき、前記第１特徴点情報の中の前記複数の特徴点のうちの前記いずれか１つが前記第１特徴点であり、前記第２特徴点情報の中の前記複数の特徴点のうちの前記いずれか１つが前記第２特徴点であると決定するステップを含む。
【００１８】
任意で、第１の態様の一実装では、前記第１オンボードセンサは、前記ミリ波レーダオンボードセンサであり、第１オンボードセンサにより収集された第１特徴点情報を取得する前記ステップは、
前記第１特徴点情報に含まれる前記複数の第１特徴点、及び前記複数の第１特徴点の中の近隣の第１特徴点同士の固定間隔d１を取得するステップを含み、
前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する前記ステップは、
前記第１特徴点情報の中の前記複数の特徴点の中の前記近隣の特徴点同士の前記固定間隔d１と、前記地図データベース内の前記複数の特徴点の中の前記近隣の特徴点同士の固定間隔dとの間の差が第４閾より小さいとき、前記第１特徴点情報の中の前記複数の特徴点の中の前記近隣の特徴点同士の前記固定間隔d１が前記第１特徴点であり、前記地図データベース内の前記複数の特徴点の中の前記近隣の特徴点同士の前記固定間隔ｄが前記第２特徴点であると決定するステップを含む。
【００１９】
任意で、第１の態様の一実装では、前記第１オンボードセンサは、前記カメラオンボードセンサであり、第１オンボードセンサにより収集された第１特徴点情報を取得する前記ステップは、
第３マーカの複数の第１特徴点のピクセル座標及び前記第３マーカの画像サイズを取得するステップであって、前記複数の第１特徴点は前記第３マーカの画像の幾何学的中心を構成する、ステップを含み、
前記第１特徴点情報及び前記第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する前記ステップは、
前記第１オンボードセンサの地理的位置及び前記地図データベース内の前記第３マーカの座標に基づき、前記第１オンボードセンサと前記第３マーカとの間の距離を決定するステップと、
前記第１オンボードセンサと前記第３マーカとの間の前記距離に基づき、前記カメラセンサにより取得された画像内の前記第３マーカの理論的サイズを決定するステップと、
前記画像内の前記第３マーカの前記理論的サイズと前記画像内の前記第３マーカの実際のサイズとの間の差が第５閾より小さいとき、前記第３マーカの前記複数の第１特徴点の前記ピクセル座標は前記複数の第１特徴点であり、前記地図データベース内の前記第３マーカに対応する座標は前記複数の第２特徴点であると決定するステップと、を含む。
【００２０】
第２の態様によると、レーザレーダセンサによりデータを収集する方法であって、第１マーカの輪郭を取得するステップと、前記輪郭に基づき前記第１マーカの第１特徴点情報を決定するステップであって、前記第１特徴点情報は複数の特徴点と前記複数の特徴点に対応する前記第１マーカの輪郭サイズとを含み、前記複数の特徴点は前記第１マーカの複数のコーナー点である、ステップと、を含む方法が提供される。
【００２１】
任意で、第２の態様の一実装では、第１マーカの輪郭を取得する前記ステップは、
点群フィルタリングノイズ除去及び領域近位点アルゴリズム及びベクトル解法アルゴリズムを用いて、前記第１マーカの前記輪郭を抽出するステップを含む。
【００２２】
第３の態様によると、ミリ波レーダセンサによりデータを収集する方法であって、複数の第１マーカの座標を取得するステップであって、前記複数の第１マーカ同士の間隔は直線方向に固定される、ステップと、前記複数の第１マーカの中の近隣の第１特徴点同士の固定間隔d１を決定するステップと、を含む方法が提供される。
【００２３】
第４の態様によると、カメラセンサによりデータを収集する方法であって、第１マーカの画像を取得するステップと、前記第１マーカの前記画像に基づき、前記カメラセンサにより収集された第１特徴点情報を決定するステップであって、前記第１特徴点情報は、前記複数の第１特徴点のピクセル座標及び前記第３マーカの画像サイズを含み、前記複数の特徴点は前記第３マーカの画像の幾何学的中心を構成する、ステップと、を含む方法が提供される。
【００２４】
任意で、第４の態様の一実装では、前記第１マーカが交通信号であるとき、前記第１マーカの前記画像に基づき、前記カメラセンサにより収集された第１特徴点情報を決定する前記ステップは、
それぞれ全部赤、黄色、緑の特徴領域を前記画像から赤、緑、及び青チャネルを通じて抽出し、前記赤緑青チャネル画像のエッジ点を抽出するステップと、
前記赤緑青チャネル画像のエッジ点に基づき、前記赤緑青チャネル画像の幾何学的中心を決定し、前記赤緑青チャネル画像の前記幾何学的中心のピクセル座標を取得するステップと、を含む。
【００２５】
第５の態様によると、制御装置であって、取得モジュールと決定モジュールとを含む制御装置が提供される。前記制御装置は、第１の態様又は第１の態様のいずれかの任意の実装における方法を実行してよい。
【００２６】
第６の態様によると、レーザレーダセンサであって、取得モジュールと決定モジュールとを含むレーザレーダセンサが提供される。前記レーザレーダセンサは、第２の態様又は第２の態様のいずれかの任意の実装における方法を実行してよい。
【００２７】
第７の態様によると、ミリ波レーダセンサであって、取得モジュールと決定モジュールとを含むミリ波レーダセンサが提供される。前記ミリ波レーダセンサは、第３の態様又は第３の態様のいずれかの任意の実装における方法を実行してよい。
【００２８】
第８の態様によると、カメラレーダセンサであって、取得モジュールと決定モジュールとを含むカメラレーダセンサが提供される。前記カメラレーダセンサは、第４の態様又は第４の態様のいずれかの任意の実装における方法を実行してよい。
【００２９】
第９の態様によると、車両であって、制御装置と、レーザレーダセンサと、ミリ波レーダセンサと、カメラセンサとを含む車両が提供される。
【００３０】
第１０の態様によると、電子装置であって、メモリとプロセッサとを含む電子装置が提供される。前記メモリはプログラムコードを記憶し、該プログラムコードは、上述のいずれかの任意の実装を実行するよう指示するために使用されてよく、該コードが実行されると、前記プロセッサは、前記方法における端末装置により実行される各動作を実施してよい。
【００３１】
第１１の態様によると、コンピュータ記憶媒体が提供される。前記コンピュータ記憶媒体はプログラムコードを記憶し、該プログラムコードは、上述のいずれかの任意の実装における方法を実行するよう指示するために使用されてよい。
【図面の簡単な説明】
【００３２】
【図１】本願の一実施形態による例示的な車両１００の機能ブロック図である。
【００３３】
【図２】本願の一実施形態によるオンボードセンサの外部パラメータを較正する方法２００の概略フローチャートである。
【００３４】
【図３】本願の一実施形態による、第１オンボードセンサがレーザレーダオンボードセンサ又はミリ波レーダオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定する概略フローチャートである。
【００３５】
【図４】本願の一実施形態による、第１オンボードセンサがカメラオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定する概略フローチャートである。
【００３６】
【図５】本願の一実施形態によるレーザレーダセンサによりデータを収集する方法５００の概略フローチャートである。
【００３７】
【図６】本願の一実施形態によるミリ波レーダセンサによりデータを収集する方法６００の概略フローチャートである。
【００３８】
【図７】本願の一実施形態によるカメラセンサによりデータを収集する方法７００の概略フローチャートである。
【００３９】
【図８】本願の一実施形態によるオンボードセンサの外部パラメータを較正する装置８００の概略ブロック図である。
【００４０】
【図９】本願の一実施形態によるレーザレーダセンサ９００の概略ブロック図である。
【００４１】
【図１０】本願の一実施形態によるミリ波レーダセンサ１０００の概略ブロック図である。
【００４２】
【図１１】本願の一実施形態によるカメラセンサ１１００の概略ブロック図である。
【００４３】
【図１２】本願の一実施形態による電子装置１２００の概略ブロック図である。
【発明を実施するための形態】
【００４４】
以下は、添付の図面を参照して本願の実施形態における技術的ソリューションを記載する。
【００４５】
図１は、本願の一実施形態による例示的な車両１００の機能ブロック図である。車両１００に結合された又は車両１００に含まれるコンポーネントは、推進システム１１０、センサシステム１２０、制御システム１３０、周辺装置１４０、電源１０１、計算機器１０７、及びユーザインタフェース１０８を含んでよい。計算機器１０７は、プロセッサ１０２、通信機１０３、及びメモリ１０４を含んでよい。計算機器１０７は、車両１００の制御部又は制御部の一部であってよい。メモリ１０４は、プロセッサ１０２により実行され得る命令１０６を含んでよく、地図データ１０５を更に格納してよい。車両１００のコンポーネントは、互いに相互接続することにより、及び／又はそれぞれのシステムに結合された他のコンポーネントに相互接続することにより、動作するよう構成されてよい。例えば、電源１０１は、車両１００の全てのコンポーネントに電力を供給してよい。計算機器１０７は、推進システム１１０、センサシステム１２０、制御システム１３０、及び周辺装置１４０からデータを受信し、該データを制御するよう構成されてよい。計算機器１０７は、ユーザインタフェース１０８上に画像を表示し、ユーザインタフェース１０８から入力を受信するよう構成されてよい。
【００４６】
別の例では、車両１００は、より多くの、少ない、又は異なるシステムを含んでよく、各システムはより多くの、少ない、又は異なるコンポーネントを含んでよい。さらに、図示のシステム及びコンポーネントは、任意の方法で結合され又は分類されてよい。
【００４７】
推進システム１１０は、運動のために車両１００に電力を提供するよう構成されてよい。図示のように、推進システム１１０は、エンジン／モータ１１４、エネルギ源１１３、変速機（transmission）１１２、及び車輪／タイヤ１１１を含む。
【００４８】
推進システム１１０は、追加又は代替として、図示のコンポーネント以外のコンポーネントを含んでよい。
【００４９】
センサシステム１０４は、車両１００の置かれた環境に関する情報を検知するよう構成された幾つかのセンサを含んでよい。図示のように、センサシステム１０４のセンサは、全測位システムGPS１２６、慣性測定ユニット（Inertial  Measurement  Unit,  IMU）１２５、レーザレーダセンサ１２４、カメラセンサ１２３、ミリ波レーダセンサ１２２、及びセンサの位置及び／又は方向を変更するよう構成されるアクチュエータ１２１、を含む。センサシステム１２０は、車両１００の内部システムを監視するセンサ（例えば、O２モニタ、燃料計、又は油温計）のような追加センサも含んでよい。センサシステム１２０は、別のセンサも含んでよい。
【００５０】
GPSモジュール１２６は、車両１００の地理的位置を推定するよう構成される任意のセンサであってよい。したがって、GPSモジュール１２６は、衛星測位データに基づき、地球に対する車両１００の位置を推定するよう構成される通信機を含んでよい。一例では、計算機器１０７は、GPSモジュール１２６を用いて地図データ１０５を参照して、車両１００の走行し得る道路の車線境界の位置を推定するよう構成されてよい。GPSモジュール１２６は、別の形式であってもよい。
【００５１】
IMU１２５は、慣性、加速度、及びそれらの任意の組み合わせに基づき、車両１００の位置及び方向変化を検知するよう構成されてよい。幾つかの例では、センサの組み合わせは、例えば、加速度計及びジャイロスコープを含んでよい。センサの別の可能な組み合わせもある。
【００５２】
レーザレーダ（LiDAR）センサ１２４は、オブジェクト検出システムとして考えられてよい。センサは、光を通じて、車両１００の置かれた環境内のオブジェクトを検知し又は検出する。概して、LiDARは、目標までの距離又は目標の別の属性が光により目標を照射することにより測定され得る光学遠隔検知技術である。一例では、LiDARセンサ１２４は、レーザパルスを送信するよう構成されるレーザ源及び／又はレーザスキャナ、及びレーザパルスの反射を受信するよう構成される検出器を含んでよい。例えば、LiDARセンサ１２４は、回転ミラーにより反射されるレーザ距離計を含み、１次元又は２次元のデジタル化シナリオに関してレーザをスキャンして、指定された角度間隔で距離測定値を収集してよい。一例では、LiDARセンサ１２４は、（レーザのような）光源、スキャナ、光学系、光検出器、受信機のような電子装置、及び位置及びナビゲーションシステム、のようなコンポーネントを含んでよい。LiDARセンサ１２４は、オブジェクトにより反射されるレーザをスキャンすることにより、オブジェクトまでの距離を決定する。その結果、センチメートルレベルまでの精度で３D環境の図が取得できる。
【００５３】
カメラセンサ１２３は、車両１００の置かれた環境の画像を取得するよう構成される（スチルカメラ又はビデオカメラのような）任意のカメラであってよい。したがって、カメラは、可視光を検出するよう構成されてよく、又はスペクトルの別の部分からの光（例えば、赤外線又は紫外線光）を検出するよう構成されてよい。別の可能な種類のカメラがある。カメラ１２３は、２次元検出器であってよく、又は３次元空間範囲を有してよい。幾つかの例では、カメラ１２３は、例えば、距離検出器であってよく、距離検出器は、カメラ１２３から環境内の幾つかの点までの距離を示すために、２次元画像を生成するよう構成される。したがって、カメラ１２３は、１つ以上の距離検出技術を使用してよい。例えば、カメラ１２３は、構造光技術を使用するよう構成されてよい。車両１００は、格子又はチェックボードパターンのようなプリセット光パターンを使用して、環境内のオブジェクトを照射し、カメラ１２４を用いて、オブジェクトのプリセット光パターンの反射を検出する。反射光パターン内の歪みに基づき、車両１００は、オブジェクト上の点までの距離を検出するよう構成されてよい。プリセット光パターンは、赤外線、又は別の波長の光を含んでよい。
【００５４】
ミリ波レーダ（Millimeter−Wave  Radar）センサ１２２は、通常、１〜１０nmの波長を有するオブジェクト検出センサであり、周波数範囲は約１０GHz〜２００GHzである。ミリ波レーダ測定値は、深さ情報を有し、目標までの距離を提供できる。さらに、ミリ波レーダは、有意なドップラ効果を有し、速度に非常に敏感なので、ミリ波レーダは、目標の速度を直接取得してよく、目標のドップラシフトを検出することにより、目標の速度を抽出してよい。現在、２種類の主流のオンボードミリ波レーダの周波数帯は、それぞれ２４GHz及び７７GHzである。前者のオンボードミリ波レーダは、約１．２５cmの波長を有し、主に短距離検知、例えば車両周囲、見えない場所、駐車支援、及び車線支援、のために使用される。後者のオンボードミリ波レーダは、約４mmの波長を有し、中長距離測定、例えば自律車両追従、適応走行制御（ACC）、及び自律緊急ブレーキ（AEB）、のために使用される。
【００５５】
制御システム１３０は、車両１００及び車両１００のコンポーネントの動作を制御するよう構成されてよい。したがって、制御システム１３０は、操舵ユニット１３６、スロットル１３５、ブレーキユニット１３４、センサ融合アルゴリズム１３３、コンピュータビジョンシステム１３２、及びナビゲーション又はルート制御（pathing）システム１３１を含んでよい。
【００５６】
制御システム１３０は、追加又は代替として、図示のコンポーネント以外のコンポーネントを含んでよい。
【００５７】
周辺装置１４０は、車両１００が、外部センサ、別の車両、及び／又はユーザと相互作用することを可能にするよう構成されてよい。したがって、周辺装置１４０は、例えば、無線通信システム１４４、タッチスクリーン１４３、マイクロフォン１４２、及び／又はスピーカ１４１を含んでよい。
【００５８】
周辺装置１４０は、追加又は代替として、図示のコンポーネント以外のコンポーネントを含んでよい。
【００５９】
電源１０１は、車両１００のコンポーネントの一部又は全部に電力を供給するよう構成されてよい。したがって、電源１１０は、例えば、再充電可能なリチウムイオン又は鉛酸蓄電池を含んでよい。幾つかの例では、１つ以上のバッテリグループが、電力を供給するよう構成されてよい。別の電源材料及び構成も可能である。幾つかの例では、電源１１０及びエネルギ源１１３は、幾つかの全電気自動車におけるように、一緒に実装されてよい。
【００６０】
計算機器１０７に含まれるプロセッサ１０２は、１つ以上の汎用プロセッサ及び／又は１つ以上の専用プロセッサ（画像プロセッサ及びデジタル信号プロセッサのような）を含んでよい。プロセッサ１０２が１つより多くのプロセッサを含むとき、プロセッサは別個に作動し又は一緒に作動してよい。計算機器１０７は、ユーザインタフェース１０８から受信した入力に基づき、車両１００を制御する機能を実装してよい。
【００６１】
通信機１０３は、計算機器１０７と各システムとの間の通信を実施するよう構成される。
【００６２】
メモリ１０４は、１つ以上の揮発性記憶コンポーネント及び／又は１つ以上の不揮発性記憶コンポーネント、例えば光記憶機器、磁気記憶機器、及び／又は有機記憶機器を更に含んでよく、メモリ１０４は、プロセッサ１０２に完全に又は部分的に統合されてよい。メモリ１０４は、プロセッサ１０２により実行可能な（プログラムロジックのような）命令１０６を含み、本願明細書に記載の機能又は方法のうちのいずれか１つを含む種々の車両機能を実行してよい。
【００６３】
車両１００のコンポーネントは、内部の他のコンポーネント及び／又は外部の個々のシステムに相互接続することにより、動作するよう構成されてよい。したがって、車両１００のコンポーネント及びシステムは、システムバス、ネットワーク、及び／又は別の接続メカニズムを用いて、通信可能に接続されてよい。
【００６４】
本願の実施形態をより良好に理解するために、以下は、図１に示したシステムと同じ又は同様のシステムを一例として用いることにより、図２〜図１２を参照して本願の実施形態を説明する。
【００６５】
図２は、本願の一実施形態によるオンボードセンサの外部パラメータを較正する方法２００の概略フローチャートである。図２に示すように、方法２００は以下の内容を含む。
【００６６】
２１０。装置は、第１オンボードセンサにより収集された第１特徴点情報を取得する。
【００６７】
任意で、第１オンボードセンサは、以下のオンボードセンサ：レーザレーダオンボードセンサ、カメラオンボードセンサ、及びミリ波レーダオンボードセンサ、のうちのいずれか１つを含む。
【００６８】
任意で、第１オンボードセンサがレーザレーダオンボードセンサであるとき、第１オンボードセンサにより収集された第１特徴点情報を取得するステップは、
複数の第１特徴点及び複数の第１特徴点に対応する第１マーカの輪郭サイズを取得するステップを含み、複数の第１特徴点は、第１マーカの複数のコーナー座標である。
【００６９】
任意で、第１オンボードセンサはミリ波レーダオンボードセンサであり、第１オンボードセンサにより収集された第１特徴点情報を取得するステップは、
第１特徴点情報に含まれる複数の第１特徴点、及び複数の第１特徴点の中の近隣の第１特徴点同士の固定間隔d１を取得するステップを含む。
【００７０】
任意で、第１オンボードセンサがカメラオンボードセンサであり、第１オンボードセンサにより収集された第１特徴点情報を取得するステップは、
第３マーカの複数の第１特徴点のピクセル座標及び第３マーカの画像サイズを取得するステップを含み、複数の第１特徴点は、第３マーカの画像の幾何学的中心を構成する。
【００７１】
任意で、第１マーカ、第２マーカ、及び第３マーカは、都市の道路にある一般的な都市建設の地表特徴、例えば既存のランドマーク建築物、交通信号、都市の建設の長期間固定された標識である。
【００７２】
この場合、センサにより収集される既存の都市建設の地表特徴の第１特徴点は、追加の手動の生成コストを必要とすることなく、取得される。したがって、センサの外部パラメータを較正するコストが低減される。
【００７３】
２２０。POSセンサに基づき、世界座標系における車体の地理的位置を決定する。
【００７４】
任意で、世界座標系における車体の地理的位置は、POSセンサ（つまり、GPS及び慣性ナビゲーション装置を含む慣性グループ）に基づき決定される。
【００７５】
理解されるべきことに、第１オンボードセンサは車体内に配置される。
【００７６】
２３０。世界座標系における第１オンボードセンサの地理的位置に基づき、地図データベース内の第１センサの収集範囲内の第２特徴点情報を決定し、地図（Geographical  Information  System,  GIS）データベースは世界座標系に基づき確立される。
【００７７】
具体的に、地図GISデータベースは、世界座標系における第１オンボードセンサの地理的位置に基づき、現在の地図データベースの位置収集範囲内の第１センサの利用可能な特徴点リストについて検索される。
【００７８】
２４０。第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定する。
【００７９】
任意で、第１オンボードセンサがレーザレーダオンボードセンサであるとき、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップは、第１特徴点情報の中の複数の特徴点のうちのいずれか１つに対応する第１マーカの輪郭サイズと、第２特徴点情報の中の複数の特徴点のうちのいずれか１つに対応する第１マーカの輪郭サイズとの間の差が、第３閾より小さいとき、第１特徴点情報の中の複数の特徴点のうちの該いずれか１つが第１特徴点であり、第２特徴点情報の中の複数の特徴点のうちの該いずれか１つが第２特徴点であることを決定するステップを含む。
【００８０】
具体的に、装置により取得された第１特徴点情報、例えば、第１マーカの長さ、幅、又は高さは、スクリーニングを通じて地図データベースから取得された第２特徴点情報に対応する第１マーカの長さ、幅、又は高さに対して照合される。例えば、表１は、世界座標系における現在のレーザレーダオンボードセンサの地理的位置に基づき地図データベースの中にある、装置により出力される、一連の建物に関する情報のリストである。
【表１】
2022000636.tif 000003
【００８１】
レーザレーダセンサにより収集された取得された第１特徴点情報は、表１の特徴点と照合される。第１特徴点情報の中の複数の特徴点のうちのいずれか１つに対応する第１マーカの輪郭サイズと、第２特徴点情報の中の複数の特徴点のうちのいずれか１つに対応する第１マーカの輪郭サイズとの間の差が、第３閾より小さいとき、第１特徴点情報の中の複数の特徴点のうちの該いずれか１つは第１特徴点であり、第２特徴点情報の中の複数の特徴点のうちの該いずれか１つは第２特徴点であると決定する。
【００８２】
任意で、第１オンボードセンサがミリ波レーダオンボードセンサであるとき、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップは、
第１特徴点情報の中の複数の特徴点の中の近隣の特徴点同士の固定間隔d１と、地図データベースの中の複数の特徴点の中の近隣の特徴点同士の固定間隔dとの間の差が、第４閾より小さいとき、第１特徴点情報の中の複数の特徴点の中の近隣の特徴点同士の固定間隔d１は第１特徴点であり、地図データベースの中の複数の特徴点の中の近隣の特徴点同士の固定間隔dは第２特徴点であると決定するステップを含む。
【００８３】
任意で、第１オンボードセンサがカメラセンサであるとき、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップは、
第１オンボードセンサの地理的位置及び地図データベースの中の第３マーカの座標に基づき、第１オンボードセンサと第３マーカとの間の距離を決定するステップと、
第１オンボードセンサと第３マーカとの間の距離に基づき、カメラセンサにより取得された画像内の第３マーカの理論的サイズを決定するステップと、
画像内の第３マーカの理論的サイズと画像内の第３マーカの実際のサイズとの間の差が第５閾より小さいとき、第３マーカの複数の第１特徴点のピクセル座標は複数の第１特徴点であり、地図データベースの中の第３マーカに対応する座標は複数の第２特徴点であると決定するステップと、を含む。
【００８４】
任意で、第３マーカが交通信号であるとき、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するステップは、
元の画像から赤、緑、及び青チャネルを通じて、それぞれ赤、黄色、及び緑の特徴領域を抽出するステップと、
３つのチャネルを通じて円形の閉領域をそれぞれ抽出するステップと、
交通信号の長さ−幅の比、及び最大−最小条件に基づき、抽出した円形領域に対してスクリーニングを実行するステップと、
３つのチャネルの中のユニークな円形を有するチャネルに対応するピクセル座標が第１特徴点であり、地図データベースの中で、ユニークな円形を有するチャネルに対応する第３マーカの座標が第２特徴点であると決定するステップと、を含む。
【００８５】
この場合、自律車両を使用する課程で特徴点に一致するか否かが手動で選択される場合を回避し、及び手動介入により引き起こされる誤りを低減するために、複数の取得した第１特徴点は地図データベースの中の複数の第２特徴点と知的に照合される。
【００８６】
２５０。世界座標系における車体の地理的位置及び世界座標系における複数の第２特徴点の地理的位置に基づき、車体座標系における複数の第２特徴点の座標を決定する。
【００８７】
２６０。複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータを決定する。
【００８８】
センサの外部パラメータは、センサと車体との間の相対位置関係である。Pwは車体座標系として定義され、Pcはセンサ座標系である。世界座標系Pwとセンサ座標系Pcとの間の関係は、式（１）に示される：
Pc=RPw+T    (１)
【００８９】
式中、Rは回転行列であり、Tは並進ベクトルであり、R及びTはセンサの外部パラメータである。並進ベクトルTは、３つの座標軸に沿う偏向であり、２つの座標系の間の固定並進ベクトルとして考えられてよい。回転行列Rは３×３の直交行列である。回転角パラメータが、それぞれ、α^、β^、及びγ^である場合、３つの回転行列は、座標軸の周りで連続的に乗算され、次式を得る。
【数１】
2022000636.tif 000004
【００９０】
複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータが決定される。言い換えると、並進ベクトルT及び回転行列Rは、複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき決定される。
【００９１】
留意すべきことに、複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータを決定することは、第１オンボードセンサの外部パラメータを較正することである。
【００９２】
任意で、複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータを決定するステップは、複数の第１特徴点に対する精度チェックが成功したことを決定するステップと、精度チェックに成功した複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングのパラメータを決定するステップと、を含む。
【００９３】
任意で、第１オンボードセンサが、レーザレーダオンボードセンサ又はミリ波レーダオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定するステップは、
複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングの初期パラメータfLiDAR０を決定するステップと、
第１特徴点の座標及び初期マッピングパラメータに基づき、車体座標系における第１特徴点の座標を決定するステップと、
車体座標系における第１特徴点の座標及びPOSセンサに基づき、地図データベース内の第１特徴点の座標を決定するステップと、
地図データベース内の第１特徴点の各々の決定した座標と、地図データベース内の第１特徴点に一致する第２特徴点の座標との間の差が第１閾より小さいとき、第１特徴点に対する精度チェックが成功したと決定するステップと、を含む。
【００９４】
任意で、第１閾は、平均経験的誤差σ０の３倍である。地図データベース内の第１特徴点の各々の決定した座標と、地図データベース内の第１特徴点に一致する第２特徴点の各々の座標との間の差が、第１閾より小さいとき、第１特徴点に対する精度チェックは成功したと決定される。地図データベース内の第１特徴点の各々の座標と、地図データベース内の第１特徴点に一致する第２特徴点の各々の座標との間の差が、第１閾より大きいとき、第１特徴点は、不一致点又は大きな誤差を有する点であり、除去される。
【００９５】
理解されるべきことに、平均経験的誤差σ０は、センサ精度及び多数のサンプルテストに基づく。第１閾は、平均経験的誤差σ０の３倍であり、経験値である。異なるシナリオでは、第１閾は再決定されてよい。これは、本願の本実施形態において限定されない。
【００９６】
具体的に、図３は、第１オンボードセンサがレーザレーダオンボードセンサ又はミリ波レーダオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定する概略フローチャートである。
【００９７】
３０１。第１特徴点に対する精度チェックの手順が開始する。
【００９８】
３０２。レーザレーダセンサのi番目の第１特徴点の取得した座標を、初期マッピングパラメータfLiDAR０に代入する。
【００９９】
３０３。地図データベース内のi番目の第１特徴点に対応する第２特徴点の座標を計算する。
【０１００】
３０４。地図データベース内のi番目の第１特徴点に対応する第２特徴点の計算した座標と、地図データベースに格納された第２特徴点の座標との間の減算を実行して、残差σiを取得する。
【０１０１】
３０５。残差σiがσ０の３倍より大きいか否かを決定する。
【０１０２】
３０６。残差σiがσ０の３倍より大きいi番目の第１特徴点を除去する。
【０１０３】
３０７。複数の第１特徴点に対する精度チェックが完了したか否かを決定する。
【０１０４】
３０８。複数の第１特徴点に対する精度チェックが完了した場合、精度チェック手順を終了する。或いは、複数の第１特徴点に対する精度チェックが完了していない場合、精度チェック手順を続ける。
【０１０５】
任意で、第１オンボードセンサがカメラオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定するステップは、
複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき、第１オンボードセンサから車体へのマッピングの初期パラメータを決定するステップと、
車体座標系における複数の一致した第２特徴点の座標と初期マッピングパラメータに基づき、複数の第２特徴点に対応する複数の第１特徴点のピクセル座標を決定するステップと、
複数の第１特徴点の各々の決定したピクセル座標と第１特徴点の取得したピクセル座標との間の差が第２閾より小さいとき、第１特徴点に対する精度チェックが成功したと決定するステップと、を含む。
【０１０６】
任意で、第２閾は、平均経験的誤差σ０の３倍である。地図データベース内の第１特徴点の各々の決定した座標と、地図データベース内の第１特徴点に一致する第２特徴点の各々の座標との間の差が、第２閾より小さいとき、第１特徴点に対する精度チェックは成功したと決定される。地図データベース内の第１特徴点の各々の座標と、地図データベース内の第１特徴点に一致する第２特徴点の各々の座標との間の差が、第２閾より大きいとき、第１特徴点は、不一致点又は大きな誤差を有する点であり、除去される。
【０１０７】
理解されるべきことに、平均経験的誤差σ０は、センサ精度及び多数のサンプルテストに基づく。第２閾は、平均経験的誤差σ０の３倍であり、経験値である。異なるシナリオでは、第２閾は再決定されてよい。これは、本願の本実施形態において限定されない。
【０１０８】
具体的に、図４は、第１オンボードセンサがカメラオンボードセンサであるとき、複数の第１特徴点に対する精度チェックが成功したことを決定する概略フローチャートである。
【０１０９】
４０１。第１特徴点に対する精度チェックの手順が開始する。
【０１１０】
４０２。地図データベース内のi番目の第２特徴点の一致した座標をfcam０に代入する。
【０１１１】
４０３。ピクセル座標系のi番目の第２特徴点に対応する第１特徴点の座標を計算する。
【０１１２】
４０４。ピクセル座標系におけるi番目の第２特徴点に対応する第１特徴点の計算した座標と、第１特徴点の実際に検出した座標との間の減算を実行して、残差σiを取得する。
【０１１３】
４０５。残差σiがσ０の３倍より大きいか否かを決定する。
【０１１４】
４０６。残差σiがσ０の３倍より大きいi番目の第２特徴点を除去する。
【０１１５】
４０７。複数の第１特徴点に対する精度チェックが完了したか否かを決定する。
【０１１６】
４０８。複数の第１特徴点に対する精度チェックが完了した場合、精度チェック手順を終了する。或いは、複数の第１特徴点に対する精度チェックが完了していない場合、精度チェック手順を続ける。
【０１１７】
この場合、精度チェックが第１特徴点に対して実行され、その結果、第１特徴点を取得する又は照合する課程で生じ得る誤差が回避され、大きな誤差を有する観察値は自動的に除去され、オンボードセンサから車体へのマッピングのパラメータは、精度チェックに成功した第１特徴点に基づき較正される。これは、オンボードセンサから車体へのマッピングのパラメータの信頼性及び精度を向上する。
【０１１８】
任意で、車体から第１オンボードセンサへのマッピングのパラメータは、第１オンボードセンサから車体へのマッピングの決定したパラメータに基づき決定される。
【０１１９】
第２オンボードセンサから第１オンボードセンサへのマッピングのパラメータは、第２オンボードセンサから車体へのマッピングのパラメータ、及び車体から第１オンボードセンサへのマッピングのパラメータに基づき決定される。ここで、第２オンボードセンサから車体へのマッピングのパラメータは、地図データベースに基づき決定される。
【０１２０】
任意で、反転が第１オンボードセンサから車体へのマッピングのパラメータに対して実行されて、車体から第１オンボードセンサへのマッピングのパラメータを取得する。
【０１２１】
具体的に、fLiDARは、レーザレーダセンサから車体へのマッピングのパラメータを表す。反転操作がfLiDARに対して実行されて、fLiDAR−１を取得する。fLiDAR−１は、車体からレーザレーダセンサへのマッピングのパラメータを表す。
【０１２２】
任意で、第１オンボードセンサから車体へのマッピングのパラメータが、車体から第１オンボードセンサへのマッピングのパラメータにより乗算されて、第２オンボードセンサから第１オンボードセンサへのマッピングのパラメータを取得する。
【０１２３】
具体的に、fcamは、カメラセンサから車体へのマッピングのパラメータを表す。反転操作がfcamに対して実行されて、fcam−１を取得する。fcam−１は、車体からカメラセンサへのマッピングのパラメータを表す。したがって、レーザレーダセンサとカメラセンサとの間のマッピングのパラメータは、fLiDAR・fcam−１である。
【０１２４】
この場合、レーザレーダセンサから車体へのマッピングのパラメータfLiDAR、カメラセンサから車体へのマッピングのパラメータfcam、及びミリ波レーダセンサから車体へのマッピングのパラメータfRdaorが取得され、その結果、任意のオンボードセンサ及び任意の他のオンボードセンサの座標間のマッピング関係が実装され得る。これは、オンボードセンサ間の相互較正を実施する。
【０１２５】
したがって、本願では、装置は、地図データベース内の第１センサの収集範囲内の第２特徴点情報、複数の第１特徴点、及び複数の第２特徴点を、第１オンボードセンサにより収集された第１特徴点情報及び世界座標系における車体の地理的位置に基づき決定し、第１オンボードセンサから車体へのマッピングのパラメータを、複数の第１特徴点及び車体座標系における複数の第２特徴点の座標に基づき決定する。このように、自律車両のオンボードセンサは、固定試験場又は実験室に頼ることなく、自動的に較正されることができ、ユーザ経験を向上する。
【０１２６】
理解されるべきことに、本願の本実施形態におけるオンボードセンサの外部パラメータを較正する方法は、無人汽船又は無人高所作業車のような別のセンサ搬送プラットフォームに適用されてよい。
【０１２７】
更に理解されるべきことに、本願の本実施形態におけるオンボードセンサの外部パラメータを較正する方法は、別の種類のセンサに更に適用されてよい。これは、本願の本実施形態において限定されない。
【０１２８】
図５は、本願の一実施形態によるレーザレーダセンサによりデータを収集する方法５００の概略フローチャートである。図５に示すように、方法５００は以下の内容を含む。
【０１２９】
５１０。レーザレーダセンサは、第１マーカの輪郭を取得する。
【０１３０】
５２０。輪郭に基づき、第１マーカの第１特徴点情報を決定する。ここで、第１特徴点情報は、複数の特徴点と、該複数の特徴点に対応する第１マーカの輪郭サイズと、を含み、該複数の特徴点は第１マーカの複数のコーナー点である。
【０１３１】
任意で、第１マーカの輪郭を取得するステップは、
点群フィルタリングノイズ除去及び領域近位点アルゴリズム及びベクトル解法アルゴリズムを用いて、第１マーカの輪郭を抽出するステップを含む。
【０１３２】
具体的に、レーザレーダセンサは、建物、又は別の定まった平面的特徴の地表特徴を観察する必要がある。先ず、点群フィルタリングノイズ除去及び領域近位点アルゴリズム及びベクトル解法アルゴリズムを用いて、無関係な点群ノイズが除去され、基本的面又は表面を含む建物の輪郭が抽出され、次に、輪郭のサイズに基づき、輪郭の座標が取得される。
【０１３３】
例えば、都市の道路では、建物は、点群特徴点抽出のためのソースとして選択されてよい。
【０１３４】
先ず、既存の点群ノイズ除去及びセグメント化アルゴリズムに基づき、２つの隣接する壁面が取得され、２つの面の法線ベクトルn１−及びn２−、長さ（L）、幅（W）、高さ（H）、及び建物の角度（A）に含まれる面が取得される。
【０１３５】
次に、抽出される特徴点は、長さ方向及び幅方向の２つの接触線の交点を用いて取得される。建物の長さが道路方向に沿っている場合、各建物は、特徴点１及び特徴点２として順に定義される２つの任意的特徴点を有する。
【０１３６】
図６は、本願の一実施形態によるミリ波レーダセンサによりデータを収集する方法６００の概略フローチャートである。図６に示すように、方法６００は以下の内容を含む。
【０１３７】
６１０。複数の第１マーカの座標を取得する。ここで、複数の第１マーカ同士の間隔は、直線方向に固定される。
【０１３８】
６２０。複数の第１マーカの中の近隣の第１特徴点同士の固定間隔d１を決定する。
【０１３９】
具体的に、ミリ波レーダセンサの外部パラメータは、街灯のみを有する道路区域で又は固定間隔を有する別の地表特徴を有する別の道路区域で、較正されてよい。この場合、他の障害物からの干渉が無い、又は少ない。さらに、抽出されるべきオブジェクト間のギャップは固定され知られている。指定された道路区域へと移動する前に、ミリ波レーダは、（抽出されるべき特徴点及び別の干渉障害物を含む）一連の障害物の２次元座標を収集する。特徴点同士のギャップが固定されるので、直線上で平均固定ギャップd１を有する障害物の座標（少なくとも３個の点）は、ミリ波により収集された座標からスクリーニングを通じて取得される。
【０１４０】
図７は、本願の一実施形態によるカメラセンサによりデータを収集する方法７００の概略フローチャートである。図７に示すように、方法７００は以下の内容を含む。
【０１４１】
７１０。第１マーカの画像を取得する。
【０１４２】
７２０。第１マーカの画像に基づき、カメラセンサにより収集された第１特徴点情報を決定する。ここで、第１特徴点情報は、複数の第１特徴点のピクセル座標及び第３マーカの画像サイズを含み、複数の特徴点は第３マーカの画像の幾何学的中心を構成する。
【０１４３】
任意で、第１マーカが交通信号であるとき、第１マーカの画像に基づき、カメラセンサにより収集された第１特徴点情報を決定するステップは、
それぞれ全部赤、黄色、緑の特徴領域を画像から赤、緑、及び青チャネルを通じて抽出するステップと、
赤緑青チャネル画像のエッジ点を抽出するステップと、
赤緑青チャネル画像のエッジ点に基づき、赤緑青チャネル画像の幾何学的中心点を決定するステップと、
赤緑青チャネル画像の幾何学的中心点のピクセル座標を取得するステップと、を含む。
【０１４４】
図８は、本願の一実施形態によるオンボードセンサの外部パラメータを較正する装置８００の概略ブロック図である。図８に示すように、装置８００は、
第１オンボードセンサにより収集された第１特徴点情報を取得するよう構成される取得モジュール８１０と、
世界座標系における第１オンボードセンサの地理的位置を決定するよう構成される決定モジュール８２０と、を含む。
【０１４５】
決定モジュール８２０は、さらに、世界座標系における第１オンボードセンサの地理的位置に基づき、地図データベース内の第１センサの収集範囲内の第２特徴点情報を決定するよう構成され、地図データベースは世界座標系に基づき確立される。
【０１４６】
決定モジュール８２０は、さらに、第１特徴点情報及び第２特徴点情報に基づき、複数の第１特徴点及び複数の第２特徴点を決定するよう構成される。
【０１４７】
決定モジュール８２０は、さらに、複数の第１特徴点及び複数の第２特徴点に基づき、第１オンボードセンサから世界座標系へのマッピングのパラメータを決定するよう構成される。
【０１４８】
任意で、取得モジュール８１０及び決定モジュール８２０は、本願の実施形態におけるオンボードセンサの外部パラメータを構成する方法２００の動作を実行するよう構成される。簡潔さのために、詳細はここで再び記載されない。
【０１４９】
図９は、本願の一実施形態によるレーザレーダセンサ９００の概略ブロック図である。図９に示すように、レーザレーダセンサは、
第１マーカの輪郭を取得するよう構成される取得モジュール９１０と、
輪郭に基づき第１マーカの第１特徴点情報を決定するよう構成される決定モジュール９２０であって、第１特徴点情報は複数の特徴点と該複数の特徴点に対応する第１マーカの輪郭サイズとを含み、複数の特徴点は第１マーカの複数のコーナー点である、決定モジュール９２０と、を含む。
【０１５０】
任意で、取得モジュール９１０及び決定モジュール９２０は、本願の実施形態におけるオンボードセンサの外部パラメータを構成する方法５００の動作を実行するよう構成される。簡潔さのために、詳細はここで再び記載されない。
【０１５１】
図１０は、本願の一実施形態によるミリ波レーダセンサ１０００の概略ブロック図である。図１０に示すように、ミリ波レーダセンサ１０００は、
複数の第１マーカの座標を取得するよう構成される取得モジュール１０１０であって、複数の第１マーカ同士の間隔は直線方向に固定される、取得モジュール１０１０と、
複数の第１マーカの中の近隣の第１特徴点同士の固定間隔d１を決定するよう構成される決定モジュール１０２０と、を含む。
【０１５２】
図１１は、本願の一実施形態によるカメラセンサ１１００の概略ブロック図である。図１１に示すように、カメラ１１００は、
第１マーカの画像を取得するよう構成される取得モジュール１１１０と、
第１マーカの画像に基づき、カメラセンサにより収集された第１特徴点情報を決定するよう構成される決定モジュール１１２０であって、第１特徴点情報は、複数の第１特徴点のピクセル座標及び第３マーカの画像サイズを含み、複数の特徴点は第３マーカの画像の幾何学的中心を構成する、決定モジュール１１２０と、を含む。
【０１５３】
任意で、取得モジュール１１１０及び決定モジュール１１２０は、本願の実施形態におけるオンボードセンサの外部パラメータを構成する方法７００の動作を実行するよう構成される。簡潔さのために、詳細はここで再び記載されない。
【０１５４】
図１２は、本願の一実施形態による装置１２００の概略ブロック図である。装置１２００は、
コードを含むプログラムを記憶するよう構成されるメモリ１２１０と、
メモリ１２１０内のプログラムコードを実行するよう構成されるプロセッサ１２２０と、
別の装置と通信するよう構成される通信機１２３０と、を含む。
【０１５５】
理解されるべきことに、装置１２００は、図１に示した例示的な車両１００の機能ブロック図の中の計算機器１０７であってよい。
【０１５６】
任意で、コードが実行されると、プロセッサ１２２０は、方法２００、方法５００、方法６００、又は方法７００における動作を実施してよい。簡潔さのために、詳細はここで再び記載されない。
【０１５７】
当業者は、本願明細書に開示の実施形態を参照して記載された例におけるユニット及びアルゴリズムのステップが、電子ハードウェア又はコンピュータソフトウェア及び電子ハードウェアの組み合わせにより実施可能であることを認識し得る。機能がハードウェア又はソフトウェアにより実行されるかは、技術的ソリューションの特定の適用及び設計制約条件に依存する。当業者は、各々の特定の適用について記載の機能を実施するために異なる方法を使用し得るが、実装が本願の範囲を超えると考えられるべきではない。
【０１５８】
便宜上及び簡潔な説明のために、前述のシステム、装置、及びユニットの詳細な動作処理については、前述の方法の実施形態における対応する処理を参照することが、当業者により明らかに理解され得る。詳細は、ここで再び記載されない。
【０１５９】
本願において提供される幾つかの実施形態では、開示のシステム、機器、及び方法は他の方法で実装されてよいことが理解されるべきである。例えば、記載した機器の実施形態は単なる例である。例えば、ユニットの分割は、単なる論理的機能の分割であり、実際の実装では他の分割であってよい。例えば、複数のユニット又はコンポーネントは、別のシステムに結合又は統合されてよい。或いは、幾つかの機能は無視されるか又は実行されなくてよい。さらに、表示した又は議論した相互結合又は直接結合又は通信接続は、幾つかのインタフェースを使用することにより実装されてよい。機器又はユニット間の間接結合又は通信接続は、電子的、機械的又は他の形式で実装されてよい。
【０１６０】
別個の部分として記載されたユニットは、物理的に別個であってよく又はそうでなくてよい。並びに、ユニットとして表示された部分は、物理的なユニットであってよく又はそうでなくてよく、１カ所に置かれてよく又は複数のネットワークユニットに分散されてよい。一部又は全部のユニットは、実施形態のソリューションの目的を達成するために実際の要件に基づき選択されてよい。
【０１６１】
さらに、本願の実施形態における機能ユニットは、１つの処理ユニットに統合されてよく、或いは各ユニットが物理的に単独で存在してよく、或いは２以上のユニットが１つのユニットに統合されてよい。
【０１６２】
機能がソフトウェア機能ユニットの形式で実装され、独立した製品として販売され又は使用されるとき、機能は、コンピュータ可読記憶媒体に格納されてよい。このような理解に基づき、本願の基本的技術的ソリューション、又は従来技術に貢献する部分、又は一部の技術的ソリューションは、ソフトウェアプロダクトの形式で実施されてよい。コンピュータソフトウェアプロダクトは、記憶媒体に格納され、コンピュータ装置（パーソナルコンピュータ、サーバ、ネットワーク装置、等であってよい）に、本願の実施形態で記載された方法のステップの全部又は一部を実行するよう指示する複数の命令を含む。前述の種々の記憶媒体は、ＵＳＢフラッシュドライブ、取り外し可能ハードディスク、読み出し専用メモリ（Read−Only  Memory、ROM）、ランダムアクセスメモリ（Random  Access  Memory、RAM）、磁気ディスク及び光ディスクのような、プログラムコードを格納可能な任意の媒体を含む。
【０１６３】
上述の説明は、本願の単なる特定の実装であり、本願の保護範囲を制限することを意図しない。本願に開示された技術範囲内にある、当業者により直ちに考案される任意の変形又は置換は、本願の保護範囲に包含されるべきである。したがって、本願の保護範囲は、請求項の保護範囲に従うべきである。
【符号の説明】
【０１６４】
１００  車両
１０１  電源
１０２  プロセッサ
１０３  通信機
１０４  メモリ
１０５  地図データ
１０６  命令
１０７  計算機器
１０８  ユーザインタフェース
１１０  推進システム
１１１  車輪／タイヤ
１１２  送信機器
１１３  エネルギ源
１１４  エンジン／モータ
１２０  センサシステム
１２１  アクチュエータ
１２２  ミリ波レーダセンサ
１２３  カメラセンサ
１２４  レーザレーダセンサ
１２５  慣性測定ユニット
１２６  全測位システムモジュール
１３０  制御システム
１３１  ナビゲーション／ルート制御システム１３１
１３２  コンピュータビジョンシステム
１３３  センサ融合アルゴリズム
１３４  ブレーキユニット
１３５  スロットル
１３６  操舵ユニット
１４０  周辺装置
１４１  スピーカ
１４２  マイクロフォン
１４３  タッチスクリーン
１４４  無線通信システム１４４
【図１】
2022000636.tif 000005
【図２】
2022000636.tif 000006
【図３】
2022000636.tif 000007
【図４】
2022000636.tif 000008
【図５】
2022000636.tif 000009
【図６】
2022000636.tif 000010
【図７】
2022000636.tif 000011
【図８】
2022000636.tif 000012
【図９】
2022000636.tif 000013
【図１０】
2022000636.tif 000014
【図１１】
2022000636.tif 000015
【図１２】
2022000636.tif 000016
【外国語明細書】
2022000636000001.pdf