(57)【要約】本開示は、先行車との距離の検出方法及びシステムに関するものである。先行車との距離の検出方法は、自車の前方視野のＲＧＢ画像と深度画像とを取得すること、ＲＧＢ画像において目標領域枠を設定すること、ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、ＲＧＢ画像において前記車両の約束枠を確定し、前記車両の約束枠と前記目標領域枠との重畳率を計算し、前記車両のサイズデータと、前記車両の約束枠のＲＧＢ画像における位置と、前記目標領域枠のＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を含む。
2021508387.tif 000002
【特許請求の範囲】
【請求項１】
先行車との距離の検出方法であって、
自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
前記ＲＧＢ画像において目標領域枠を設定すること、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を含む
ことを特徴とする先行車との距離の検出方法。
【請求項２】
前記の自車の前方視野のＲＧＢ画像と深度画像とを取得することは、
自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集すること、を含む
ことを特徴とする請求項１に記載された方法。
【請求項３】
前記の前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定することは、
前記ＲＧＢ画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングすること、を含む
ことを特徴とする請求項１に記載された方法。
【請求項４】
前記の前記車両の約束枠と前記目標領域枠との重畳率を計算することは、
Intersection  Over  Union（ＩＯＵ）の数式である
【数１０】
2021508387.tif 000050
を採用して前記車両の約束枠と前記目標領域枠との
（外３９）
2021508387.tif 000051
を計算し、前記重畳率とすること、を含み、
但し、
（外４０）
2021508387.tif 000052
は前記車両の約束枠の面積を表し、
（外４１）
2021508387.tif 000053
は前記目標領域枠の面積を表す
ことを特徴とする請求項１に記載された方法。
【請求項５】
前記の前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算することは、
正規化距離の数式である
【数１１】
2021508387.tif 000054
を採用して前記車両と前記目標領域枠との正規化距離を計算すること、を含み
但し、
（外４２）
2021508387.tif 000055
は前記約束枠の中心点の横座標値を表し、
（外４３）
2021508387.tif 000056
は前記約束枠の中心点の縦座標値を表し、
（外４４）
2021508387.tif 000057
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
（外４５）
2021508387.tif 000058
は前記ターゲット点の縦座標値を表し、
（外４６）
2021508387.tif 000059
は前記車両の幅データを表し、
（外４７）
2021508387.tif 000060
は前記車両の高データを表す
ことを特徴とする請求項１に記載された方法。
【請求項６】
前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である
ことを特徴とする請求項５に記載された方法。
【請求項７】
前記の前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得ることは、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とすること、を含む
ことを特徴とする請求項１に記載された方法。
【請求項８】
現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替すること、を更に含む
ことを特徴とする請求項１に記載された方法。
【請求項９】
先行車との距離の検出システムであって、
自車の前方視野のＲＧＢ画像と深度画像とを取得するように配置された画像取得手段と、
前記ＲＧＢ画像において予め目標領域枠を設定するように配置された目標領域枠設定手段と
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出するように配置されたサイズデータ抽出手段と、
前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定するように配置された約束枠確定手段と、
前記複数の車両における車両毎に、前記車両の約束枠と前記目標領域枠との重畳率を計算するように配置された重畳率計算手段と、
前記複数の車両における車両毎に、前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算するように配置された距離計算手段と、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得るように配置された先行車目標車両確定手段と、を含む
ことを特徴とする先行車との距離の検出システム。
【請求項１０】
前記画像取得手段は、
自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集するように配置された
ことを特徴とする請求項９に記載されたシステム。
【請求項１１】
前記約束枠確定手段は、
前記ＲＧＢ画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングするように配置された
ことを特徴とする請求項９に記載されたシステム。
【請求項１２】
前記重畳率計算手段は、
Intersection  Over  Union（ＩＯＵ）の数式である
【数１２】
2021508387.tif 000061
を採用して前記車両の約束枠と前記目標領域枠との
（外４８）
2021508387.tif 000062
を計算し、前記重畳率とし、
但し、
（外４９）
2021508387.tif 000063
は前記車両の約束枠の面積を表し、
（外５０）
2021508387.tif 000064
は前記目標領域枠の面積を表すように配置された
ことを特徴とする請求項９に記載されたシステム。
【請求項１３】
前記距離計算手段は、
正規化距離の数式である
【数１３】
2021508387.tif 000065
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
（外５１）
2021508387.tif 000066
は前記約束枠の中心点の横座標値を表し、
（外５２）
2021508387.tif 000067
は前記約束枠の中心点の縦座標値を表し、
（外５３）
2021508387.tif 000068
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
（外５４）
2021508387.tif 000069
は前記ターゲット点の縦座標値を表し、
（外５５）
2021508387.tif 000070
は前記車両の幅データを表し、
（外５６）
2021508387.tif 000071
は前記車両の高データを表すように配置された
ことを特徴とする請求項９に記載されたシステム。
【請求項１４】
前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である
請求項１３に記載されたシステム。
【請求項１５】
前記先行車目標車両確定手段は、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とするように配置された
ことを特徴とする請求項９に記載されたシステム。
【請求項１６】
現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替するように配置された運動フィルタリング手段、を更に含む
ことを特徴とする請求項９に記載されたシステム。
【請求項１７】
コンピュータプログラムを記憶しているコンピュータが読み取り可能な記憶媒体であって、
前記プログラムがプロセッサによって実行される時、前記プロセッサに、
自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
前記ＲＧＢ画像において目標領域枠を設定すること、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を実行させる
ことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、距離検出技術分野に関するものであり、特に先行車との距離検出方法及びシステムに関するものである。
【背景技術】
【０００２】
経済の発展に従って、自動車の保有量がますます増加しており、安全運転が無視できない問題となっており、統計分析によれば、交通事故総数に対する自動車両の追突事故の割合は依然として高く、自動車両の追突事故の発生を減るために、車距の検出と早期警報技術が生まれて、その検出と早期警報の原理は、車距が閾値に近接する時、運転手に対して衝突注意又は自動にブレーキ対策を行って、追突事故の発生を減る。
【０００３】
常用な車距の検出と早期警報技術は、二つの種類を含み、一つは、普通なカメラに基づく視覚解決技術案であり、先ず目標識別を行い、そして単目又は双目距離測定アルゴリズムに基づいて先行車との距離を得て早期警報を行うことであり、他の一つは、ミリ波レーダーによって前方領域へ電磁波を送信しエコーを受信して前方物体の距離、速度及び角度を検出し、先行車との距離を得て早期警報を行うことである。このような二つの早期警報技術は、それぞれに長所と短所があり、普通なカメラに基づく解決技術案のコストが低く、高い精度で先行車の視野における位置を識別して、更に多い意味情報を提供することができるが、視覚解決技術案の距離測定の距離と距離測定の精度は、ミリ波レーダーよりはるかに低い。逆に、ミリ波レーダーは、距離測定の精度が高いが、視野が相対的に狭く、どの意味情報を戻すこともできなく、二次元空間において先行車の位置を正確に識別することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以下、本開示を簡単に示して、本開示の幾つかの技術案についての基本理解を提供する。しかし、この概要は本開示の網羅的な概要ではないことを理解されたい。本開示の主な部分又は重要な部分を確定することを意図するものではなく、また本開示の範囲を限定することを意図するものでもない。その目的は、単純にこの開示に関する幾つかの概念を簡単な形で示すことであり、これは、後で説明する詳細な説明の前置きとして使用される。
【０００５】
本開示は、距離測定の精度と位置决めの正確さとを同時に確保することができる先行車との距離の検出方法及びシステムを提供することを目的とする。
【０００６】
上記目的を実現するために、本開示の一つの側面は、先行車との距離の検出方法であって、
自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
前記ＲＧＢ画像において目標領域枠を設定すること、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を含む先行車との距離の検出方法を提供する。
【０００７】
幾つかの実施例において、前記の自車の前方視野のＲＧＢ画像と深度画像とを取得することは、
自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集すること、を含む。
【０００８】
幾つかの実施例において、前記の前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定することは、
前記ＲＧＢ画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングすること、を含む。
【０００９】
幾つかの実施例において、前記の前記車両の約束枠と前記目標領域枠との重畳率を計算することは、
Intersection  Over  Union（ＩＯＵ）の数式である
【００１０】
【数１】
2021508387.tif 000003
を採用して前記車両の約束枠と前記目標領域枠との
（外１）
2021508387.tif 000004
を計算し、前記重畳率とし、
但し、
（外２）
2021508387.tif 000005
は前記車両の約束枠の面積を表し、
（外３）
2021508387.tif 000006
は前記目標領域枠の面積を表すこと、を含む。
【００１１】
幾つかの実施例において、前記の前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算することは、
正規化距離の数式である
【００１２】
【数２】
2021508387.tif 000007
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
（外４）
2021508387.tif 000008
は前記約束枠の中心点の横座標値を表し、
（外５）
2021508387.tif 000009
は前記約束枠の中心点の縦座標値を表し、
（外６）
2021508387.tif 000010
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
（外７）
2021508387.tif 000011
は前記ターゲット点の縦座標値を表し、
（外８）
2021508387.tif 000012
は前記車両の幅データを表し、
（外９）
2021508387.tif 000013
は前記車両の高データを表すこと、を含む。
【００１３】
幾つかの実施例において、前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である。
【００１４】
幾つかの実施例において、前記の前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得ることは、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とすること、を含む。
【００１５】
幾つかの実施例において、前記先行車との距離の検出方法は、
現在時刻を中心とする予定長さの時間ウィンドウにおける、先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替することを更に含む。
【００１６】
本開示の他の側面は、先行車との距離の検出システムであって、
自車の前方視野のＲＧＢ画像と深度画像とを取得するように配置された画像取得手段と、
前記ＲＧＢ画像において予め目標領域枠を設定するように配置された目標領域枠設定手段と、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出するように配置されたサイズデータ抽出手段と、
前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定するように配置された約束枠確定手段と、
前記複数の車両における車両毎に、前記車両の約束枠と前記目標領域枠との重畳率を計算するように配置された重畳率計算手段と、
前記複数の車両における車両毎に、前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算するように配置された距離計算手段と、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得るように配置された先行車目標車両確定手段と、を含む、先行車との距離の検出システムを提供する。
【００１７】
幾つかの実施例において、前記画像取得手段は、
自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集するように配置されている。
【００１８】
幾つかの実施例において、前記約束枠確定手段は、
前記ＲＧＢ画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングするように配置されている。
【００１９】
幾つかの実施例において、前記重畳率計算手段は、
ＩＯＵの数式である
【００２０】
【数３】
2021508387.tif 000014
を採用して前記車両の約束枠と前記目標領域枠との
（外１０）
2021508387.tif 000015
を計算し、前記重畳率とし、
但し、
（外１１）
2021508387.tif 000016
は前記車両の約束枠の面積を表し、
（外１２）
2021508387.tif 000017
は前記目標領域枠の面積を表すように配置されている。
【００２１】
幾つかの実施例において、前記距離計算手段は、
正規化距離の数式である
【００２２】
【数４】
2021508387.tif 000018
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
（外１３）
2021508387.tif 000019
は前記約束枠の中心点の横座標値を表し、
（外１４）
2021508387.tif 000020
は前記約束枠の中心点の縦座標値を表し、
（外１５）
2021508387.tif 000021
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
（外１６）
2021508387.tif 000022
は前記ターゲット点の縦座標値を表し、
（外１７）
2021508387.tif 000023
は前記車両の幅データを表し、
（外１８）
2021508387.tif 000024
は前記車両の高データを表すように配置されている。
【００２３】
幾つかの実施例において、前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である。
【００２４】
幾つかの実施例において、前記先行車目標車両確定手段は、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とするように配置されている。
【００２５】
幾つかの実施例において、前記先行車との距離の検出システムは、
現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得え、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替するように配置された運動フィルタリング手段を更に含む。
【００２６】
本開示の更に他の側面は、コンピュータプログラムを記憶しているコンピュータが読み取り可能な記憶媒体であって、前記プログラムがプロセッサによって実行される時、前記プロセッサに、
自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
前記ＲＧＢ画像において目標領域枠を設定すること、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータ、前記車両の約束枠の前記ＲＧＢ画像における位置と前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を実行させる、コンピュータが読み取り可能な記憶媒体を提供する。
【発明の効果】
【００２７】
本開示の一つ又は複数の実施例によると、距離測定の精度と位置决めの正確さとを同時に確保する先行車との距離の検出方法及びシステムを実現することができる。
【図面の簡単な説明】
【００２８】
ここで説明した図面は、本開示の更なる理解を提供するためのものであり、本開示の一部を構成し、本開示の模式的な実施例及びその説明は、本開示を解釈するためのものであり、本開示の不適切な制限を構成しない。図面において、
【図１】図１は、本開示の実施例による先行車との距離の検出方法のフロー模式図である。
【図２】図２は、本開示の実施例による先行車との距離の検出システムの例示的な結構ブロック図である。
【図３】図３は、本開示の実施例の計算設備を実現することができる典型的な配置ブロック図である。
【発明を実施するための形態】
【００２９】
本開示の上記目的、特徴及び利点をより明確にするために、以下、本開示の実施例における図面を参照して、本開示の実施例における技術案を明確且つ完全に記述する。明らかに、記述された実施例は、本開示の一部の実施例に過ぎず、すべての実施例でない。本開示における実施例によると、当業者が創造的な仕事をしないという前提の下で得られた全ての他の実施例は、いずれも本開示の保護の範囲に含まれている。
【００３０】
図１は、本開示の実施例による先行車との距離の検出方法のフロー模式図である。
【００３１】
図１に示すように、ステップＳ１０１において、自車の前方視野のＲＧＢ画像と深度画像を取得する。
【００３２】
幾つかの実施例において、自車（例えば車の先端）に取り付けた画像採集手段によってリアルタイムに自車の前方視野のＲＧＢ画像と深度画像を採集することができる。ＲＧＢ画像において現在視野の全ての車両を含むことができる。また、深度画像からは、ＲＧＢ画像における各車両と自車との車距情報を抽出することができる。
【００３３】
幾つかの実施例において、自車に取り付けた深度カメラを利用して前方視野のＲＧＢ画像と深度画像を同時に採集することができる。他の幾つかの実施例において、自車に取り付けた２Ｄカメラを利用して前方視野のＲＧＢ画像を採集し、自車の先端に取り付けたミリ波レーダー／距離センサを利用して前方視野の深度画像を採集することができる。
【００３４】
具体的に実施する過程において、深度カメラを選択したら、採集された自車の前方視野のＲＧＢ画像と深度画像とが自動的にマッチングされ、即ち深度カメラを取り付ける時、再びマッチングを調整する必要がなく、深度画像から直接に各車両の車距を抽出することができ、２Ｄカメラとミリ波レーダー／距離センサと組み合わせ技術案を選択したら、２Ｄカメラとミリ波レーダー／距離センサを取り付ける時、それが出力したＲＧＢ画像と深度画像がマッチング対応させることができるように、それに対してマッチング補正を行う必要がある。例えば、深度カメラは、インテルＲｅａｌＳｅｎｓｅアクティブ赤外線ステレオ深度カメラＤ４３５であることができる。
【００３５】
ステップＳ１０２において、ＲＧＢ画像において目標領域枠を設定する。
【００３６】
目標領域枠は、先行車が現れる可能性がある領域を表す。幾つかの実施例において、目標領域枠を自車の真前面に設定することができる。幾つかの実施例において、目標領域枠は、台形領域枠であることができる。幾つかの実施例において、目標領域枠において一つの固定点をターゲット点として選別することができ、該ターゲット点は、先行車が現れる期待位置を代表することができる。幾つかの実施例において、ターゲット点は、目標領域枠の中心点であることができる。
【００３７】
幾つかの実施例において、ＲＧＢ画像から深度カメラ又は２Ｄカメラの真前面の台形領域を目標領域枠として選定することができ、目標領域枠の中心点を選定してターゲット点と定義することができる。もちろん、実際の操作過程において、エンジニアの経験に基づいて、目標領域枠とターゲット点の設置を微調整してもよい。例えば、深度カメラが車の先端の左前方に取り付けられた時、目標領域枠とターゲット点は、ＲＧＢ画像の中部の左寄りの位置に設置してもよい。
【００３８】
ステップＳ１０３において、ＲＧＢ画像における複数の車両に対応するサイズデータを抽出する。
【００３９】
幾つかの実施例において、車両検出アルゴリズムを採用してＲＧＢ画像における全ての車両を識別し、それに応じて各車両のサイズデータを抽出することができる。幾つかの実施例において、車両のサイズデータは、車両の幅データ、高データ等を含むことができる。
【００４０】
幾つかの実施例において、予めトレーニングされた車両検出モデルを採用してＲＧＢ画像における全ての車両を取得し、そのうち各車両のサイズデータを識別することができる。但し、車両検出モデルは、例えば、目標検出アルゴリズム（例えばＦａｓｔｅｒ  ＲＣＮＮ、ＳＳＤ、ＹＯＬＯ等）を採用し、ＣＯＣＯデータセットを利用してトレーニングを行うことで得ることができる。
【００４１】
ステップＳ１０４において、複数の車両における車両毎に、該車両のサイズデータに基づいて、ＲＧＢ画像において該車両の約束枠を確定する。
【００４２】
幾つかの実施例において、ＲＧＢ画像において、仮想座標系を作成することができる。例えば、深度カメラ又は２Ｄカメラを原点として、ＲＧＢ画像において、仮想座標系を作成することができる。そして、仮想座標系に基づいてＲＧＢ画像における各車両の左上角点の座標を抽出し、取得された対応車両のサイズデータに基づいて、ＲＧＢ画像において該車両を含む矩形状の約束枠をレンダリングする。
【００４３】
具体的に実施する時、車両の左上角点の座標を取得することができ、且つ車両のサイズデータ（例えば幅と高データ）も知られているので、車両の左上角点に基づいて、車両のＲＧＢ画像における幅を矩形状の約束枠の幅とし、車両の画像における高さを矩形状の約束枠の長さとすることで、早くＲＧＢ画像において車両に対応する矩形状の約束枠をレンダリングすることができる。
【００４４】
もちろん、以上の方法において、ＲＧＢ画像における車両の他の点（例えば右上角点、左下角点、右下角点等）の座標を抽出して約束枠をレンダリングしてもよい。また、約束枠の形状は、矩形状に限定されておらず、必要に応じて設計されたいずれの形状でもよい。
【００４５】
ステップＳ１０５において、複数の車両における車両毎に、該車両の約束枠と目標領域枠との重畳率を計算する。
幾つかの実施例において、車両の約束枠の面積と目標領域枠の面積とに基づいて、車両と目標領域とのＩＯＵを計算して、重畳率とすることができる。
【００４６】
具体的に、ＩＯＵの数式である
【００４７】
【数５】
2021508387.tif 000025
を採用して各車両の約束枠と目標領域枠との
（外１９）
2021508387.tif 000026
を計算することができ、但し、
（外２０）
2021508387.tif 000027
は車両の約束枠の面積を表し、
（外２１）
2021508387.tif 000028
は目標領域枠の面積を表す。
【００４８】
ステップＳ１０６において、複数の車両における車両毎に、該車両のサイズデータと、該車両の約束枠のＲＧＢ画像における位置と、目標領域枠のＲＧＢ画像における位置に基づいて、該車両と前記目標領域枠との正規化距離を計算する。
【００４９】
幾つかの実施例において、正規化距離の数式である
【００５０】
【数６】
2021508387.tif 000029
を採用して、前記車両と前記目標領域枠との正規化距離を計算することができ、但し、
（外２２）
2021508387.tif 000030
は約束枠の中心点の横座標値を表し、
（外２３）
2021508387.tif 000031
は約束枠の中心点の縦座標値を表し、
（外２４）
2021508387.tif 000032
はターゲット点の横座標値を表し、
（外２５）
2021508387.tif 000033
はターゲット点の縦座標値を表し、
（外２６）
2021508387.tif 000034
は前記車両の幅データを表し、
（外２７）
2021508387.tif 000035
は前記車両の高データを表す。
【００５１】
ステップＳ１０７において、前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得る。
【００５２】
幾つかの実施例において、車両毎に対応する重畳率と正規化距離に基づいて、監視なし先行車選別アルゴリズムを採用して先行車目標車両を確定することができる。
【００５３】
該監視なし先行車選別アルゴリズムは、以下のようである。
【００５４】
それぞれにＲＧＢ画像における複数の車両に対応する重畳率と正規化距離を統計する。
【００５５】
複数の車両から重畳率が第一の重畳率閾値より大きい又は正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とする。
【００５６】
第一の目標車両集合から重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、第二の重畳率閾値が第一の重畳率閾値より低い。
【００５７】
第二の目標車両集合から重畳率が最も大きい車両を選別して、前記先行車目標車両とする。
【００５８】
深度画像から前記先行車目標車両に対応する車距を抽出して、先行車目標車両と自車との車距とする。
上記第一の重畳率閾値、第二の重畳率閾値及び距離閾値は、実際の経験に基づいて任意に選定することができ、本開示は、閾値の選定を限定しない。
【００５９】
説明すべきことは、上記実施例は、監視なし先行車選別アルゴリズムを採用して先行車目標車両の位置决を行ってもよく、ニューラルネットワークによる先行車選別アルゴリズムを採用して先行車目標車両の位置决を行ってもよく、具体的な方法は、
事前トレーニングによってラベリング付けトレーニングサンプルセットＳ＝｛ｘｉ，  ｙｉ｝を生成して先行車目標車両を選別し、但し、ｘｉは車両特徴を表し、それぞれ重畳率
（外２８）
2021508387.tif 000036
、正規化距離
（外２９）
2021508387.tif 000037
及び自車との車距である三つの次元のベクターを含み、ｙｉは先行車目標車両の選別結果を表し、ｙｉは、ｘｉにおける三つの次元のベクター値に応じて、自動的に識別結果を出力する。例えば、ｙｉの出力が１であると、該車両が先行車目標車両であると表し、ｙｉの出力が０であると、該車両が先行車目標車両でないと表す。分類器は、異なるニューラルネットワーク組立てを選択してサンプルセットに対してトレーニングを行うことができ、ニューラルネットワーク組立ては、ＡｌｅｘＮｅｔ、ＶＧＧ等であることができる。
【００６０】
本実施例が提供した先行車との距離の検出方法において、ＲＧＢ画像と深度画像との組合の方式を採用して、ＲＧＢ画像における各車両の位置决及び自車との距離を得ることができ、距離測定の精度及び位置决の正確さを同時に確保することができる。また、各車両の重畳率と正規化距離に基づいて監視なし先行車選別アルゴリズムを採用して先行車目標車両を確定し、同時に深度画像を組み合わせて先行車目標車両車距を得、先行車との距離に対する高精度、高速検出が実現される。
【００６１】
本開示の実施例において、得られた先行車目標車両と自車との車距を最適化させてもよい。
【００６２】
幾つかの実施例において、現在時刻を中心とする予定長さの時間ウィンドウにおける、先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得ることができる。
【００６３】
目標検出アルゴリズムの精度が１００％でないので、幾つかの前または後のフレームのジャンプの孤立ノイズによって一定の誤検出率が発生し、孤立ノイズは、中央値フィルタリングを利用して削除することができる。但し、中央値フィルタリングは、常用なシーケンスフィルタリングアルゴリズムであり、目標検出アルゴリズムによる誤検出による孤立ノイズは、塩及びコショウノイズと類似しているので、パルスの特性が現れ、中央値フィルタリングを採用することでそれを去除することができ、即ち現在時刻を中心とする長さがＴｎである時間ウィンドウにおいて、先行車目標車両車距を並べ替えた後、中央値を現在時刻のフィルタリング後の距離として選択することができ、例えば、Ｔｎが一般的に５であると效果がよい。
【００６４】
隣の車線の干渉等の要素による選別エラーが発生する場合が有り、先行の閾値比較法によって上記干渉要素をフィルタリングする時、比較的に高い誤選別概率が存在することになる。実験から分かるように、該誤選別が検出結果において一つの維持時間がＴｅである異常ウィンドウ（中央値フィルタリングにおけるノイズ点と区別）と現れ、該異常ウィンドウは孤立ウィンドウとも呼ばれる。孤立ウィンドウの前後の時刻の値は、おおよそ連続している。異常ウィンドウ検出によって孤立ウィンドウ前後の先行車目標車両車距に対してフィッティングを行い、孤立ウィンドウ内の値の代わりに、車距フィッティング結果を採用して、上記干渉要素に対する高精度フィルタリングを実現することができる。例えば、３次多項式関数フィッティングを採用して孤立ウィンドウ前後の先行車目標車両車距に対してフィッティングを行い、孤立ウィンドウ内の値の代わりに、該関数の補間計算結果を、車距フィッティング結果とすことができる。
【００６５】
中央値フィルタリングと異常ウィンドウ検出に介して、ＲＧＢ画像識別による視覚エラーが基本的に消去され、深度画像計測による計測エラーは、カルマンフィルタリングを採用して消去することができる。カルマンフィルタリングは、最適化の自己回帰データ処理アルゴリズムの一つであり、状態が線形変化に近く、計測結果がガウスノイズの干渉を受ける動的システムにおいて、該回帰データ処理アルゴリズムは、状態移行方程と計測分散とが共に既知である場合に、計測値に対してフィルタリングを行い、ロボットナビゲーション、制御、センサデータ融合、レーダーミサイル追跡、及びコンピュータグラフィックス処理の分野に応用することができる。カルマンフィルタリングの状態移行方程は、以下のようである。
【００６６】
【数７】
2021508387.tif 000038
Ｘ（ｋ）はｋ時刻でのシステムの状態変数を表し、即ち本実施例における先行車目標車両と自車との車距及び先行車目標車両のスピードを表し、Ａは状態移行マトリックスであり、１次定速モデルを採用して得ることができ、ＢＵ（ｋ）は周辺制御項を表し、Ｗ（ｋ）は他の不明干渉による状態変化であり、更に多い情報がない場合に、分散既知のガウスノイズで代替することができ、分散が大きいほど、該状態方程式に対する自信が小さいことを代表し、即ち先行車との距離の運動のランダムレベルが高いと見ることができる。
【００６７】
具体的に実施する時、誤検出と検査漏れにかかわる時間ウィンドウが約１−１５フレームであり、ピークノイズと類似している性質が現れ、本実施例において、先行車目標車両と自車との車距に対して、順番に中央値フィルタリングと異常ウィンドウ検出処理を行うことで、誤検出及び検査漏れのノイズを去除し、先行車目標車両選別の正確さを向上することができる。また、先行車目標車両と自車との車距に対してカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、車距の計測精度を保証することができる。
【００６８】
図２は、本開示の実施例による先行車との距離の検出システムの例示的な結構ブロック図である。
【００６９】
幾つかの実施例において、システム２００は、処理回路２０１を含むことができる。システム２００の処理回路２０１は、システム２００の色々な機能を提供する。幾つかの実施例において、システム２００の処理回路２０１は、以上図１を参照して記述した先行車との距離の検出方法を実行するように配置されることができる。
【００７０】
処理回路２０１とは、計算システムにおいて機能を実行するデジタル回路システム、アナログ回路システム又は混合シグナル（アナログとデジタルとの組み合わせ）回路システムの色々な実現であることができる。処理回路は、例えば集積回路（ＩＣ）、専用集積回路（ＡＳＩＣ）という回路、単一のプロセッサコアの一部又は回路、全体のプロセッサコア、単一のプロセッサ、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のプログラマブルハードウェア設備、及び／又は複数のプロセッサを含むシステムを含むことができる。
【００７１】
幾つかの実施例において、処理回路２０１は、画像取得手段２０２、目標領域設定手段２０３、サイズデータ抽出手段２０４、約束枠確定手段２０５、重畳率計算手段２０６、距離計算手段２０７、先行車目標車両確定手段２０８を含むことができる。
【００７２】
画像取得手段２０２は、自車の前方視野のＲＧＢ画像と深度画像とを取得するように配置されており、目標領域枠設定手段２０３は、ＲＧＢ画像において予め目標領域枠を設定するように配置されており、サイズデータ抽出手段２０４は、ＲＧＢ画像における複数の車両に対応するサイズデータを抽出するように配置されており、約束枠確定手段２０５は、前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、ＲＧＢ画像において前記車両の約束枠を確定するように配置されており、重畳率計算手段２０６は、前記複数の車両における車両毎に、前記車両の約束枠と前記目標領域枠との重畳率を計算するように配置されており、距離計算手段２０７は、前記複数の車両における車両毎に、前記車両のサイズデータと、前記車両の約束枠のＲＧＢ画像における位置と、前記目標領域枠のＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算するように配置されており、先行車目標車両確定手段２０８は、前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得るように配置されている。上記手段２０２〜２０８は、前述図１に示す先行車との距離の検出方法におけるステップＳ１０１〜ステップＳ１０７をそれぞれに実行するように配置されることができる。
【００７３】
幾つかの実施例において、システム２００は、メモリ（図示しない）を含んでもよい。システム２００のメモリは、処理回路２０１によって生成された情報及びシステム２００を操作するためのプログラムとデータを記憶することができる。メモリは、揮発性メモリ及び／又は不揮発性メモリであることができる。例えば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、読み取り専用メモリ（ＲＯＭ）及びフラッシュメモリを含むことができるが、これに限定されない。また、システム２００は、チップレベルで実現することができ、又は他の周辺部材を含んで設備レベルで実現することもできる。
【００７４】
幾つかの実施例において、システム２００は、現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得るように配置された運動フィルタリング手段（図示しない）を含むことができ、但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替する。
【００７５】
もちろん、上記各手段は、それが実現した具体的な機能に基づいて区別したロジックモジュールだけであり、具体的な実現方式を限制するためのものでない。実際に実現する時、上記各手段は、独立の物理的実体として実現されることができ、又は単一の実体（例えば、プロセッサ（ＣＰＵ又はＤＳＰ等）、集積回路等）で実現してもよい。
【００７６】
本開示の実施例が提供した先行車との距離の検出システムは、本開示の実施例が提供した先行車との距離の検出方法と同一の発明の構想に属しており、本開示のいずれかの実施例が提供した先行車との距離の検出方法を実行することができ、先行車との距離の検出方法を実行する方法に相応する機能モジュールと有益な効果を有す。本実施例において詳しく説明していない技術的な詳細は、本開示の実施例が提供した先行車との距離の検出方法を参照することができ、ここで繰り返さない。
【００７７】
図３は、本開示の実施例の計算設備を実現することができる典型的な配置ブロック図である。
【００７８】
計算設備３００は、本開示の上記技術案を応用することができるハードウェア設備の例である。計算設備３００は、処理及び／又は計算を実行するように配置されるいずれかの機器であることができる。計算設備３００は、ワークステーション、サーバ、デスクトップコンピュータ、ノートコンピュータ、タブレットコンピュータ、パーソナルデータアシスタント（ＰＤＡ）、スマートフォン、車載コンピュータ又は以上の組み合わせであることができるが、これに限定されない
図３に示すように、計算設備３００は、一つ又は複数のインターフェースを介してバス３０２と接続又は通信することができる一つ又は複数の部品を含むことができる。バス３０２は、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ，ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ  Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ，ＭＣＡ）バス、強化ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクス標準化協会（ＶＥＳＡ）ローカルバス、及び周辺機器の相互接続（ＰＣＩ）バス等を含むことができるが、これに限定されない。計算設備３００は、例えば一つ又は複数のプロセッサ３０４、一つ又は複数の入力設備３０６、及び一つ又は複数の出力設備３０８を含むことができる。一つ又は複数のプロセッサ３０４は、いずれかの種類のプロセッサであることができ、且つ一つ又は複数の通用プロセッサ又は専用プロセッサ（例えば専用処理チップ）を含むことができるが、これに限定されない。プロセッサ３０４は、例えば図２中の処理回路２０１に対応することができ、本開示の先行車との距離の検出システムの各手段の機能を実現するように配置されている。入力設備３０６は、計算設備へ情報を入力することができるいずれかのタイプの入力設備であることができ、且つマウス、キーボード、タッチスクリーン、マイク及び／又は遠隔コントローラを含むことができるが、これに限定されない。出力設備３０８は、情報を表すことができるいずれかのタイプの設備であることができ、且つディスプレイ、スピーカー、ビデオ／オーディオ出力端末、バイブレーター及び／又はプリンターを含むことができるが、これに限定されない。
【００７９】
計算設備３００は、不揮発性ストレージ３１４を含む又はそれと接続してもよく、該不揮発性ストレージ３１４は、いずれかの不揮発性且つデータ記憶を実現することができるストレージであることができ、且つディスクドライブ、光ストレージ、ソリッドステートメモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ又はいずれかの他の磁気媒体、圧縮ディスク又はいずれかの他の光媒体、キャッシュメモリ及び／又はいずれかの他のメモリチップ又はモジュール、及び／又はコンピュータがそれからデータ、指令及び／又はコードを読み出することができる他のいずれかの媒体を含むことができるが、これに限定されない。計算設備３００は、ランダムアクセスメモリ（ＲＡＭ）３１０と読み取り専用メモリ（ＲＯＭ）３１２とを含んでもよい。ＲＯＭ  ３１２は、不揮発性方式で実行されるプログラム、実用のプログラム又はコースを記憶することができる。ＲＡＭ  ３１０は、揮発性データ記憶を提供し、計算設備３００の操作に関する指令を記憶することができる。計算設備３００は、データリンク３１８に接続されるネットワーク／バスインターフェース３１６を含んでもよい。ネットワーク／バスインターフェース３１６は、周辺装置及び／又はネットワークと通信することができるいずれかの種類の設備又はシステムであることができ、且つモデム、ネットワークカード、赤外線通信設備、無線通信設備及び／又はチップセット（例えばブルートゥース（登録商標）設備、８０２．１１設備、ＷｉＦｉ設備、ＷｉＭａｘ設備、セルラ通信施設等）を含むことができるが、これに限定されない。
【００８０】
また、本開示の一つ又は複数の実施例は、以下のように実施することができる。
【００８１】
技術案１：
先行車との距離の検出装置であって、
一つ又は複数のプロセッサと、
コンピュータが実行可能な指令を記憶しているメモリと、を含み、
前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
前記ＲＧＢ画像において目標領域枠を設定すること、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を実行させる。
【００８２】
技術案２：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集すること、を実行させる。
【００８３】
技術案３：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
前記ＲＧＢ画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングすること、を実行させる。
【００８４】
技術案４：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
Intersection  Over  Union（ＩＯＵ）の数式である
【００８５】
【数８】
2021508387.tif 000039
を採用して前記車両の約束枠と前記目標領域枠との
（外３０）
2021508387.tif 000040
を計算し、前記重畳率とし、
但し、
（外３１）
2021508387.tif 000041
は前記車両の約束枠の面積を表し、
（外３２）
2021508387.tif 000042
は前記目標領域枠の面積を表すこと、を実行させる。
【００８６】
技術案５：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
正規化距離の数式である
【００８７】
【数９】
2021508387.tif 000043
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
（外３３）
2021508387.tif 000044
は前記約束枠の中心点の横座標値を表し、
（外３４）
2021508387.tif 000045
は前記約束枠の中心点の縦座標値を表し、
（外３５）
2021508387.tif 000046
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
（外３６）
2021508387.tif 000047
は前記ターゲット点の縦座標値を表し、
（外３７）
2021508387.tif 000048
は前記車両の幅データを表し、
（外３８）
2021508387.tif 000049
は前記車両の高データを表すこと、を実行させる。
【００８８】
技術案６：
技術案５に記載された先行車との距離の検出装置において、前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である。
【００８９】
技術案７：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とすること、を実行させる。
【００９０】
技術案８：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替することを、実行させる。
【００９１】
上記の全ての選択可能な技術案は、任意の組合を採用して本開示の選択可能な実施例を形成することができ、ここで繰り返さない。本開示が提供した幾つかの実施例において、開示された方法、装置及びデバイスは、他の方法によって実現できることを理解されたい。例えば、以上に記述した装置の実施例は、模式的なものに過ぎず、例えば、前記モジュールの区別は、一つのロジック機能区別に過ぎず、実際に実現する時、他の区別方式でもよく、例えば複数のモジュール又はユニットは、他のシステムに組合又は集積してもよく、又は、幾つかの特徴は、省略してもよく、又は、実行しなくてもよい。
【００９２】
説明すべきことは、本開示の記述において、「第一の」、「第二の」という術語等は、例示のみを目的としており、相対的な重要性と順序を指示又は暗示するものでない。なお、本開示の記述において、特に明記しない限り、「複数の」の意味は、２個以上である。
【００９３】
前述の実施例の様々な態様、実施形態、具体的な実施又は特徴は、単一又は任意の組み合わせで使用することができる。ソフトウェア、ハードウェア又はハードウェアとソフトウェアとの組み合わせによって前述実施例の各技術案を実現することができる。
【００９４】
例えば、前述の実施例は、コンピュータが読み取り可能な媒体上のコンピュータが読み取り可能なコードとして体現することができる。コンピュータが読み取り可能な媒体は、データを記憶することができるいずれかのデータストレージであり、前記データは、その後にコンピュータシステムによって読み出されることができる。コンピュータが読み取り可能な媒体の例は、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、ハードディスクドライブ、ソリッドステートドライブ及び光データストレージを含む。コンピュータが読み取り可能な媒体は、ネットワークに接続されたコンピュータシステムに分布されコンピュータが読み取り可能なコードを分布式方式で記憶及び実行させてもよい。
【００９５】
例えば、前述の実施例は、ハードウェア回路の形式を採用することができる。ハードウェア回路は、組み合わせ式ロジック回路、タイムストレージ（例えばフロッピーディスク、トリガー、ラッチ等）、有限状態マシン、例えばスタティックランダムアクセスメモリ又は埋め込みダイナミックランダムアクセスメモリのメモリ、カスタムデザイン回路、プログラマブルロジックアレイ等のいずれかの組み合わせを含むことができる。
【００９６】
以上のように、本開示の発明を実施するための形態だけであり、本開示の保護の範囲はこれに限定されず、当業者は、本開示の技術の範囲内に、簡単に変更や置換を思い付くことができ、いずれも本開示の保護の範囲内に含まれている。従って、本開示の保護の範囲は、下記の請求の範囲に依頼すべきだ。
【図１】
2021508387.tif 000072
【図２】
2021508387.tif 000073
【図３】
2021508387.tif 000074
【国際調査報告】
2021508387.tif 000075
2021508387.tif 000076
2021508387.tif 000077
2021508387.tif 000078
2021508387.tif 000079