(57)【要約】      （修正有）【課題】障害物の高さの検出方法を提供する。【解決手段】方法は、フレームから複数の参考障害物の観測データを取得するステップ１０１と、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むステップ１０２と、各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するステップ１０３と、を含む。【選択図】図１
2020042010.tif 000002
【特許請求の範囲】
【請求項１】
障害物高さの検出方法であって、
フレームから複数の参考障害物の観測データを取得するステップと、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むステップと、
各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するステップと、を含むことを特徴とする障害物高さの検出方法。
【請求項２】
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定することは、第i参考障害物に対して、式（４）で前記被測定障害物の第一評価値を確定するステップを含み、
【数１】
2020042010.tif 000024
ただし、Ｈｐは、被測定障害物の高さの第一評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、
【数２】
2020042010.tif 000025
は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、
【数３】
2020042010.tif 000026
は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離であることを特徴とする請求項１に記載の方法。
【請求項３】
前記複数の参考障害物に対して確定された複数の前記第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定することは、
複数の前記第一評価値に対して、フィルタリングノイズ除去処理を行い、前記被測定障害物の高さの第二評価値を得るステップを含むことを特徴とする請求項１に記載の方法。
【請求項４】
フレームから前記複数の参考障害物の観測データを取得する前に、
固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも１つの前記参考障害物が含まれるステップをさらに含むことを特徴とする請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
障害物高さの検出方法であって、
フレームから複数の参考障害物の観測データを取得するステップと、
前記各参考障害物のフレームにおける底辺位置の縦方向座標、及び前記各参考障害物とフレームをキャプチャするカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、前記参考障害物のフレームにおける底辺位置の縦方向座標、Ｚは、前記参考障害物と前記カメラとの間の距離であるステップと、
前記被測定障害物のフレームにおける底辺位置の前記縦方向座標及び前記関数Ｆに基づき、前記被測定障害物と前記カメラとの間の距離を確定するステップと、
前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するステップと、を含むことを特徴とする障害物高さの検出方法。
【請求項６】
前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定することは、式（５）で前記被測定障害物の高さの評価値を確定するステップを含み、
【数４】
2020042010.tif 000027
ただし、Ｈｐ’は、前記被測定障害物の高さの評価値、
ｈｐは、前記被測定障害物のフレームにおける観測高さ、
ｆは、前記カメラの焦点距離、
Ｚｐは、前記被測定障害物と前記カメラとの間の距離であることを特徴とする請求項５に記載の方法。
【請求項７】
前記複数の参考障害物の観測データを取得する前に、
固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも１つの参考障害物が含まれるステップをさらに含むことを特徴とする請求項５又は６に記載の方法。
【請求項８】
障害物高さの検出装置であって、
フレームから複数の参考障害物の観測データを取得するための第一取得モジュールと、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むための第一評価モジュールと、
複数の前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するための第二評価モジュールと、を備えることを特徴とする障害物高さの検出装置。
【請求項９】
前記第一評価モジュールは、式（４）で前記被測定障害物の高さの第一評価値を確定し、
【数５】
2020042010.tif 000028
ただし、Ｈｐは、前記被測定障害物の高さの第一評価値、
ｈｐは、前記被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、前記第ｉ個の参考障害物の実際高さ、
【数６】
2020042010.tif 000029
は、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャする前記カメラの光軸との間の距離、
【数７】
2020042010.tif 000030
は、前記第ｉ個の参考障害物のフレームにおける底辺位置と前記カメラの光軸との間の距離であることを特徴とする請求項８に記載の装置。
【請求項１０】
前記第二評価モジュールは、前記複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、前記被測定障害物の高さの第二評価値を得るために用いられることを特徴とする請求項８に記載の装置。
【請求項１１】
前記第一取得モジュールは、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられることを特徴とする請求項８乃至１０のいずれか一項に記載の装置。
【請求項１２】
障害物高さの検出装置であって、
フレームから複数の参考障害物の観測データを取得する第二取得モジュールと、
前記複数の参考障害物のフレームにおける底辺位置、及び前記複数の参考障害物とカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、前記参考障害物のフレームにおける底辺位置の縦方向座標、Ｚは、前記参考障害物と前記カメラとの間の距離であるための関数確定モジュールと、
前記被測定障害物のフレームにおける底辺位置の前記縦方向座標及び前記関数Ｆに基づき、前記被測定障害物と前記カメラとの間の距離を確定するための距離評価モジュールと、
前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するための高さ評価モジュールと、を備えることを特徴とする障害物高さの検出装置。
【請求項１３】
前記高さ評価モジュールは、式（５）で前記被測定障害物の高さの評価値を確定し、
【数８】
2020042010.tif 000031
ただし、Ｈｐ’は、前記被測定障害物の高さの評価値、
ｈｐは、前記被測定障害物のフレームにおける観測高さ、
ｆは、前記カメラの焦点距離、
Ｚｐは、前記被測定障害物と前記カメラとの間の距離であることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記第二取得モジュールは、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられることを含むことを特徴とする請求項１２又は１３に記載の装置。
【請求項１５】
障害物高さの検出設備であって、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するメモリと、を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサが請求項１乃至７のいずれか一項に記載の方法を実現することを特徴とする障害物高さの検出設備
【請求項１６】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、請求項１乃至７のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動運転車の技術分野に関し、特に、障害物高さの検出方法、装置、設備及びコンピュータ可読記憶媒体に関する。
【背景技術】
【０００２】
障害物検出は、自動運転車の感知の重要な一環である。画像におけるオブジェクトは、距離が大きいほどサイズが小さくなるという特徴を有するため、画像における障害物のサイズに基づき障害物の実際サイズを推定することが困難であり、特に、障害物の高さに対する推定が困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、障害物高さの検出方法及び装置を提供する。
【課題を解決するための手段】
【０００４】
第一態様によれば、本発明の実施例は、障害物高さの検出方法を提供し、該方法は、
フレームから複数の参考障害物の観測データを取得するステップと、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むステップと、
各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するステップと、を含む。
【０００５】
第一態様に合わせて、本発明の第一態様の第一実施形態では、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定することは、第i参考障害物に対して、式（４）で前記被測定障害物の第一評価値を確定する、
【数１】
2020042010.tif 000003
ただし、Ｈｐは、被測定障害物の実際の第一評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、
【数２】
2020042010.tif 000004
は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、
【数３】
2020042010.tif 000005
は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。
【０００６】
第一態様に合わせて、本発明の第一態様の第二実施形態では、複数の参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定することは、
複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の高さの第二評価値を得るステップを含む。
【０００７】
第一態様、第一態様の第一実施形態、第一態様の第二実施形態に合わせて、本発明の第一態様の第三実施形態では、前記複数の参考障害物の観測データを取得する前に、
前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるステップをさらに含む。
【０００８】
第二態様によれば、本発明の実施例は、別の障害物高さの検出方法を提供し、該方法は、
フレームから複数の参考障害物の観測データを取得するステップと、
各参考障害物のフレームにおける底辺位置、及び各参考障害物とフレームをキャプチャするカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、参考障害物のフレームにおける底辺位置の縦方向座標、Ｚは、参考障害物とカメラとの間の距離であるステップと、
被測定障害物のフレームにおける底辺位置及び前記関数Ｆに基づき、被測定障害物とカメラとの間の距離を確定するステップと、
前記被測定障害物とカメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するステップと、を含む。
【０００９】
第二態様に合わせて、本発明の第二態様の第一実施形態では、前記被測定障害物とカメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定することは、式（５）で被測定障害物の高さの評価値を確定するステップを含み、
【数４】
2020042010.tif 000006
ただし、Ｈｐ’は、被測定障害物の高さの評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｆは、カメラの焦点距離、
Ｚｐは、被測定障害物とカメラとの間の距離である。
【００１０】
第二態様、第二態様の第一実施形態に合わせて、本発明の第二態様の第二実施形態では、前記複数の参考障害物の観測データを取得する前に、
固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるステップをさらに含む。
【００１１】
第三態様によれば、本発明の実施例は、障害物高さの検出装置をさらに提供し、該装置は、
フレームから複数の参考障害物の観測データを取得するための第一取得モジュールと、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むための第一評価モジュールと、
複数の前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するための第二評価モジュールと、を備える。
【００１２】
第三態様に合わせて、本発明の第三態様の第一実施形態では、第一評価モジュールは、式（４）で被測定障害物の高さの第一評価値を確定し、
【数５】
2020042010.tif 000007
ただし、Ｈｐは、被測定障害物の高さの第一評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、
【数６】
2020042010.tif 000008
は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、
【数７】
2020042010.tif 000009
は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。
【００１３】
第三態様に合わせて、本発明の第三態様の第二実施形態では、第二評価モジュールは、複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の高さの第二評価値を得るために用いられる。
【００１４】
第三態様、第三態様の第一実施形態、第三態様の第二実施形態に合わせて、本発明の第三態様の第三実施形態では、前記第一取得モジュールは、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられる。
【００１５】
第四態様によれば、本発明の実施例は、別の障害物高さの検出装置をさらに提供し、該装置は、
フレームから複数の参考障害物の観測データを取得する第二取得モジュールと、
前記複数の参考障害物のフレームにおける底辺位置、及び前記複数の参考障害物とカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、前記参考障害物のフレームにおける底辺位置の縦方向座標、Ｚは、前記参考障害物と前記カメラとの間の距離であるための関数確定モジュールと、
前記被測定障害物のフレームにおける底辺位置の前記縦方向座標及び前記関数Ｆに基づき、前記被測定障害物と前記カメラとの間の距離を確定するための距離評価モジュールと、
前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するための高さ評価モジュールと、を備える。
【００１６】
第四態様に合わせて、本発明の第四態様の第一実施形態では、前記高さ評価モジュールは、式（５）で被測定障害物の高さの評価値を確定し、
【数８】
2020042010.tif 000010
ただし、Ｈｐ’は、被測定障害物の高さの評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｆは、カメラの焦点距離、
Ｚｐは、被測定障害物とカメラとの距離である。
【００１７】
第四態様、第四態様の第一実施形態に合わせて、本発明の第四態様の第二実施形態では、前記第二取得モジュールは、前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられる。
【００１８】
上記技術案のいずれかは以下の利点又は有益な効果を有する。
【００１９】
本発明の実施例によれば、参考障害物観測データを用いて、道路幾何学モデルに対してモデリングし、被測定障害物の実際高さの評価を実現し、それにより、被測定障害物の３Ｄサイズの検出を実現する。
【００２０】
以上、明細書の目的のために発明の概要を説明したが、何らかの形態に限定されるものではない。上記説明された例示的な態様、実施形態及び特徴に加えて、本発明のさらなる態様、実施形態及び特徴は図面及び以下の詳細説明によって容易に明らかになる。
【図面の簡単な説明】
【００２１】
図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。
【図１】本発明の実施例１に係る障害物高さの検出方法のフローチャートである。
【図２】本発明の実施例におけるカメラが障害物を撮影して結像する模式図である。
【図３】本発明の実施例２における予め設定領域の分割方式を示す模式図である。
【図４】本発明の実施例２に係る障害物高さの検出方法のフローチャートである。
【図５】本発明の実施例３に係る障害物高さの検出装置の構成模式図である。
【図６】本発明の実施例４に係る障害物高さの検出装置の構成模式図である。
【図７】本発明の実施例５に係る障害物高さの検出設備の構成模式図である。
【発明を実施するための形態】
【００２２】
以下、いくつかの例示的な実施例を説明する。当業者が理解できるように、本発明の趣旨又は範囲を逸脱せずに、説明された実施例を様々な形態で変更することができる。従って、図面及び説明は本質的に限定的ではなく例示的なものである。
【００２３】
本発明の実施例は、主に２種の障害物高さの検出方法及び装置を提供する。以下、それぞれ以下の実施例を参照して技術案を詳細に説明する。
【００２４】
実施例１
本実施例は、障害物高さの検出方法を提供する。図１に示すように、図１は、本発明の実施例１に係る障害物高さの検出方法のフローチャートであり、以下のステップ１０１〜１０３を含む。
【００２５】
ステップ１０１では、フレームから複数の参考障害物の観測データを取得する。
【００２６】
参考障害物の観測データは、フレーム画像において直接観測され、又はほかのセンサにより取得されてもよい。
【００２７】
本ステップの前に、まず、参考障害物を選択する必要があり、参考障害物の選択方式は、後述する実施例２に詳細に説明される。
【００２８】
ステップ１０２では、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含む。
【００２９】
具体的には、図２に示すように、図２は、本発明の実施例におけるカメラが障害物を撮影して結像する模式図である。図２中の障害物は、参考障害物としてもよく、被測定障害物としてもよい。
【００３０】
まず、図２中の各符号の意味を説明する。
【００３１】
Ｈは、障害物の実際高さ、
ｈは、障害物のフレームにおける観測高さ、
ｙｍａｘは、障害物のフレームにおける底辺位置の縦方向座標、
ｙｍｉｎは、障害物のフレームにおける上辺位置の縦方向座標であり、
従って、ｈ＝ｙｍａｘ-ｙｍｉｎとなり、
Ｃｙは、フレームをキャプチャするカメラの光軸の縦方向座標であり、
従って、障害物のフレームにおける底辺位置とカメラの光軸との間の距離は、ｙｍａｘ-Ｃｙとなり、
Ｙは、カメラと地面との間の距離、
ｆは、カメラの焦点距離、
Ｚは、障害物とカメラとの間の距離である。
【００３２】
図２中の各点及び線の幾何学的関係からわかるように、上記符号に対して、以下の関係式を有する。
【数９】
2020042010.tif 000011
【００３３】
この場合、第ｉ個の参考障害物に対して、以下の式（１）を有する。
【数１０】
2020042010.tif 000012
ただし、ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、
ｙｍａｘｉは、第ｉ個の参考障害物のフレームにおける底辺位置の縦方向座標、
Ｃｙは、カメラの光軸の縦方向座標、
Ｙは、カメラと地面との間の距離である。
【００３４】
被測定障害物に対して、以下の式（２）を有する。
【数１１】
2020042010.tif 000013
ただし、ｈｐは、被測定障害物のフレームにおける観測高さ、
Ｈｐは、被測定障害物の実際高さ、
ｙｍａｘｐは、被測定障害物のフレームにおける底辺位置の縦方向座標、
Ｃｙは、カメラの光軸の縦方向座標、
Ｙは、カメラと地面との間の距離である。
【００３５】
この場合、式（１）を式（２）で割って、式（３）を得る。
【数１２】
2020042010.tif 000014
【００３６】
更に、式（３）に基づき第二にＨｐの計算式（４）を得る。
【数１３】
2020042010.tif 000015
ただし、Ｈｐは、被測定障害物の高さの第一評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、
【数１４】
2020042010.tif 000016
は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、
【数１５】
2020042010.tif 000017
は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。
【００３７】
このように、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定する。
【００３８】
ステップ１０２では、異なるフレームの画像のずれによって、各フレームに対して確定された複数の被測定障害物の実際高さの第一評価値が異なる可能性があり、従って、被測定障害物の１つの第二評価値を確定する必要があり、すなわち、ステップ１０３を実行する。
【００３９】
ステップ１０３では、各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定する。
【００４０】
ステップ１０３では、確定された複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の実際高さの第二評価値を得る。具体的には、フィルタリングノイズ除去処理後に中心位置又はほかの適切な位置に位置する第一評価値を被測定障害物の実際高さの第二評価値とする。
【００４１】
本実施例に係る方法によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、それにより、被測定障害物の３Ｄサイズを確定できる。
【００４２】
実施例２
本実施例は、参考障害物に対する１種の選択方式を説明する。前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれる。
【００４３】
具体的には、本実施例では、参考障害物の選択は、２つの条件を含む。
【００４４】
条件１は、参考障害物の種類であり、
実際高さが正確に取得されることができる障害物を参考障害物とする。実際の応用中には、小型乗用車、ミニバス等の車両は、実際高さが正確に取得されることができるため、参考障害物とされてもよい。トラック、バス、トラフィックコーン等のような物体は、実際高さが正確に取得されることができないため、被測定障害物とされ、本発明の実施例に係る方法によってその実際高さを評価できる。
【００４５】
条件２は、参考障害物の位置であり、
まず、参考障害物は、被測定障害物が位置するフレームの前の複数の連続フレーム内に位置する必要がある。
【００４６】
更に、推定の精確性を確保するために、フレーム内において、１つの予め設定領域を予め設定し、底辺中心位置がフレームの予め設定領域内に位置する障害物を参考障害物とし、前記予め設定領域は、複数のグリッドに予め分割され、例えば、５０画素ごとに１つのグリッドとする、各グリッド内に多くとも１つの参考障害物が含まれる。本発明の実施例は、グリッドの形状を限定しない。
【００４７】
図３に示すように、図３は、本発明の実施例２における予め設定領域の分割方式を示す模式図である。以下のステップによって予め設定領域を分割できる。
【００４８】
１）フレーム画像の中心点、左下角、右下角を三角形の３つの角部とし、１つの三角形領域を画定する。
【００４９】
２）フレーム画像におけるカメラの光軸が位置する横線、及びフレーム画像の左右両側の境界線を用いて、上記三角形領域を分割し、該三角形領域中のカメラの光軸が位置する横線の以下、フレーム画像の左境界の右、且つフレーム画像の右境界の左の部分を予め設定領域（図３中の格子塗りつぶし領域）とする。
【００５０】
図３中に、カメラの光軸は、中心点の下に位置する。カメラの光軸が中心点の上に位置する場合、上記三角形領域がカメラの光軸の下に位置するため、カメラの光軸の位置する横線は、実際の分割作用がない。
【００５１】
以上、参考障害物を選択するための２つの条件を説明し、これらの２つの条件に応じて複数の参考障害物を選択でき、予め設定領域の各グリッドが多くとも１つの参考障害物を含み。被測定障害物が位置するフレームの前の複数の連続フレームにおける参考障害物を用いて被測定障害物に対して、高さの検出を行う。
【００５２】
予め設定領域における参考障害物は、更新可能であり、１つのグリッドに、実際高さが正確に取得可能な障害物が初回出現する場合、該障害物を参考障害物とし、１つのグリッドに実際高さを正確に取得可能な障害物が新たに出現する場合、具体的な状況に応じて、該グリッドにおける既存の参考障害物を保留し、又は新たに出現する該障害物を該グリッドにおける参考障害物とする。
【００５３】
実施例３
本実施例は、別の障害物高さの検出方法を提供する。図４は、本発明の実施例３に係る障害物高さの検出方法のフローチャートであり、以下のステップ４０１〜４０４を含む。
【００５４】
ステップ４０１では、フレームから複数の参考障害物の観測データを取得する。
【００５５】
参考障害物の観測データは、フレーム画像において直接に観測され、又はほかのセンサにより取得されてもよい。
【００５６】
本ステップの前に、まず参考障害物を選択する必要があり、参考障害物の選択方式は、上記実施例２に説明された方式と同様であるため、ここで重複説明を省略する。
【００５７】
ステップ４０２では、各参考障害物のフレームにおける底辺位置の縦方向座標、及び各参考障害物とフレームをキャプチャするカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、参考障害物又は被測定障害物のフレームにおける底辺位置の縦方向座標、Ｚは、参考障害物又は被測定障害物とカメラとの間の距離である。
【００５８】
具体的には、ｉ個の参考障害物に対して、ｉ組のデータ（Ｚ１，ｙｍａｘ１）、（Ｚ２，ｙｍａｘ２）、……、（Ｚｉ，ｙｍａｘｉ）を得でき、
ここで、Ｚ１、Ｚ２、……Ｚｉは、それぞれ第１、２、……ｉ個の参考障害物とカメラとの間の距離であり、
ｙｍａｘ１、ｙｍａｘ２、……ｙｍａｘｉは、それぞれ第１、２、……ｉ個の参考障害物のフレームにおける底辺位置の縦方向座標であり、
上記ｉ組のデータに基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングできる。参考障害物が更新し続けるに伴って、関数Ｆも更新し続ける。
【００５９】
ステップ４０３では、被測定障害物のフレームにおける底辺位置の縦方向座標及び前記関数Ｆに基づき、被測定障害物とカメラとの間の距離を確定する。
【００６０】
具体的には、被測定障害物のフレームにおける底辺位置の縦方向座標、即ち、ｙｍａｘｐを関数Ｚ＝Ｆ（ｙｍａｘ）に代入し、被測定障害物とカメラとの間の距離、即ち、Ｚｐを得る。
【００６１】
ステップ４０４では、前記被測定障害物とカメラとの距離に基づき、前記被測定障害物の実際高さの第二評価値を確定する。
【００６２】
具体的には、上記図２中の幾何学的関係
【数１６】
2020042010.tif 000018
は、式（５）で確定されることができる。
【数１７】
2020042010.tif 000019
ただし、Ｈｐ’は、被測定障害物の高さの第二評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｆは、カメラの焦点距離、
Ｚｐは、被測定障害物とカメラとの間の距離である。
本実施例に係る方法によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、それにより、被測定障害物の３Ｄサイズを確定できる。
【００６３】
実施例４
本実施例は、実施例１に対応し、障害物高さの検出装置を提供する。図５は、本発明の実施例４に係る障害物高さの検出装置の構成模式図であり、該装置は、
フレームから複数の参考障害物の観測データを取得するための第一取得モジュール５０１と、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むための第一評価モジュール５０２と、
複数の前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するための第二評価モジュール５０３と、を備える。
【００６４】
上記第一評価モジュール５０１は、式（４）で被測定障害物の実際高さの第一評価値を確定し、
【数１８】
2020042010.tif 000020
ただし、Ｈｐは、被測定障害物の実際高さの第一評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、
【数１９】
2020042010.tif 000021
は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、
【数２０】
2020042010.tif 000022
は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。
【００６５】
上記第二評価モジュール５０３は、確定された複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の実際高さの第二評価値を得る。
【００６６】
上記第一取得モジュール５０１は、前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられる。
【００６７】
第一取得モジュール５０１が参考障害物を選択する具体的な方式は、上記実施例２に説明された方式と同様であるため、ここで重複説明を省略する。
【００６８】
本実施例に係る障害物高さの検出装置によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、被測定障害物の３Ｄサイズを確定できる。
【００６９】
実施例５
本実施例は、実施例３に対応し、別の障害物高さの検出装置を提供する。図６は、本発明の実施例５に係る障害物高さの検出装置の構成模式図であり、該装置は、
フレームから複数の参考障害物の観測データを取得するための第二取得モジュール６０１と、
各参考障害物のフレームにおける底辺位置、及び各参考障害物とカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、参考障害物又は被測定障害物のフレームにおける底辺位置の縦方向座標、Ｚは、参考障害物又は被測定障害物とカメラとの間の距離であるための関数確定モジュール６０２と、
被測定障害物のフレームにおける底辺位置の縦方向座標及び前記関数Ｆに基づき、被測定障害物とカメラとの間の距離を確定するための距離評価モジュール６０３と、
前記被測定障害物とカメラとの間の距離に基づき、前記被測定障害物の実際高さの第二評価値を確定するための高さ評価モジュール６０４と、を備え、
参考障害物が更新し続けるに伴って、関数Ｆも更新し続ける。
【００７０】
具体的には、高さ評価モジュール６０４は、式（５）で被測定障害物の実際高さの第二評価値を確定し、
【数２１】
2020042010.tif 000023
ただし、Ｈｐ’は、被測定障害物の実際高さの第二評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｆは、カメラの焦点距離、
Ｚｐは、被測定障害物とカメラとの間の距離である。
【００７１】
上記第二取得モジュール６０１は、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられる。
【００７２】
第二取得モジュール６０１が参考障害物を選択する具体的な方式は、上記実施例２に説明された方式と同様であるため、ここで重複説明を省略する。
【００７３】
本実施例に係る障害物高さの検出装置によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、被測定障害物の３Ｄサイズを確定できる。
【００７４】
実施例６
本発明の実施例６は、障害物高さの検出設備を提供し、図７は、本発明の実施例６に係る障害物高さの検出設備の構成模式図であり、該設備は、メモリ７１０及びプロセッサ７２０を備え、メモリ７１０には、プロセッサ７２０上で実行可能なコンピュータプログラムが記憶されている。前記プロセッサ７２０は、前記コンピュータプログラムを実行すると、上記実施例に係る障害物高さの検出方法を実現する。前記メモリ７１０とプロセッサ７２０の数は、１つ又は複数であってもよい。
【００７５】
前記設備は、外部装置と通信し、データ交換伝送を行う通信インターフェース７３０をさらに備える。
【００７６】
メモリ７１０は、高速ＲＡＭメモリを含む可能性もあるし、メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）、例えば、少なくとも１つの磁気ディスクメモリをさらに含む可能性もある。
【００７７】
メモリ７１０、プロセッサ７２０及び通信インターフェース７３０が独立して実現する場合、メモリ７１０、プロセッサ７２０及び通信インターフェース７３０はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ  Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図7では、１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。
【００７８】
選択的に、具体的に実現する時、メモリ７１０、プロセッサ７２０及び通信インターフェース７３０が１枚のチップに統合される場合、メモリ７１０、プロセッサ７２０及び通信インターフェース７３０は、内部インターフェースによって、相互間の通信を実現することができる。
【００７９】
本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。
【００８０】
また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。
【００８１】
フローチャートで又はここでほかの方式によって説明される任意のプロセス又は方法は、特定のロジック機能又はプロセスのステップを実現するための１つ以上の実行可能指令コードを含むモジュール、セグメント又は部分を表すと理解され得て、また、当業者であれば、本発明の好適実施形態の範囲は、示された又は検討された順序に従わず、係る機能に応じてほぼ同時に又は逆の順序で機能を実行する別の実装を含んでもよいと理解できる。
【００８２】
フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。
【００８３】
本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。
【００８４】
当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。
【００８５】
また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。
【００８６】
以上のように、本発明の実施例に係る障害物高さの検出方法、装置、設備及び記憶媒体によれば、実際高さが正確に取得されることができる障害物、例えば、小型乗用車、ミニバス等を参考障害物とし、参考障害物の観測データを参考とし、道路幾何学モデルに対してモデリングし、被測定障害物、例えば、バス、トラック、トラフィックコーンなどのような実際高さが直接に推定され難い障害物の実際高さの評価を実現し、それにより、被測定障害物の３Ｄサイズの検出を実現する。
【００８７】
以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。
【図１】
2020042010.tif 000032
【図２】
2020042010.tif 000033
【図３】
2020042010.tif 000034
【図４】
2020042010.tif 000035
【図５】
2020042010.tif 000036
【図６】
2020042010.tif 000037
【図７】
2020042010.tif 000038