(57)【特許請求の範囲】
【請求項１】
単眼カメラに基づく障害物検知方法であって、
前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得することと、
隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除することと、
いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合を分割することによって目標特徴点部分集合を生成することと、
各目標特徴点部分集合に対して、その対応する地面投影点集合内における点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断することと、
障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点集合として確定することと、
を含む方法。
【請求項２】
隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除することは、
前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知することと、
予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算することと、
前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡することと、
前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断して、そうであれば、対応する初期特徴点を初期特徴点集合において削除することと、
削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定することと、
を含む請求項１に記載の方法。
【請求項３】
目標特徴点集合を分割することによって目標特徴点部分集合を生成することは、具体的に、いくつかの目標特徴点部分集合が得られるように、予め設定された横移動ステップと縦移動ステップに従って分割を行うことであって、
目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡することと、
予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割することと、
前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動し、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定し、前記目標フレーム画像における画素点の全てが分割されるまでであり、なお、前記横移動ステップと縦移動ステップはそれぞれ対応するようにサブブロック長とサブブロック幅より小さいか等しいことと、
を含む請求項１に記載の方法。
【請求項４】
各目標特徴点部分集合の対応する地面投影点集合内における画素点の目標フレームの時点と前のフレームの時点とでの距離変化値に基づいて、前記目標フレーム画像の障害物点を確定することは、
前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定することと、
いずれかの地面投影点集合に対して、目標フレームの時点と前のフレームの時点とでの各地面投影点の距離変化合計の平均値を計算することと、
前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断し、そうであれば、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定し、さもなければ、続いて次の地面投影点集合を選択して距離変化合計の平均値を計算し、前記判断ステップを繰り返し、全ての地面投影点集合の判断が完了するまでであることと、を含み、
なお、前記平均値は、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値であって、前記特徴点対は、目標特徴点部分集合におけるいずれかの二つの特徴点により構成される一つの特徴点対である請求項１に記載の方法。
【請求項５】
前記単眼カメラが目標キャリアに取り付けられて、その結像平面の画素座標系がｏ＿ｕｖであると、前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定することは、
前記単眼カメラの光心を原点として、世界座標系Ｏ＿ＸＹＺを確立し、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行することと、
前記単眼カメラの光心を原点として、カメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立し、ＯＺ’軸が前記単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行し、なお、カメラ座標系は、世界座標系を順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転して得られ、αと、βと、γは、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定されることと、
カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合を確定し、前記地面投影点集合が｛（Ｘ，Ｈ，Ｚ）｝であって、Ｈが前記単眼カメラから地面までの高さであることと、を含み、
なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
【数１】
0006031554.tif 000062
であって、
【数２】
0006031554.tif 000063
であり、
カメラ座標系における座標と結像平面における座標との間の対応関係は、
【数３】
0006031554.tif 000064
であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られたカメラ内部パラメータによって確定する請求項４に記載の方法。
【請求項６】
単眼カメラに基づく障害物検知装置であって、
前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得するための取得モジュールと、
隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除するための事前追跡モジュールと、
いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合を分割することによって目標特徴点部分集合を生成するための部分集合分割モジュールと、
各目標特徴点部分集合に対して、その対応する地面投影点集合内における点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断するための判断モジュールと、
障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点集合として確定するための確定モジュールと、
を含む装置。
【請求項７】
前記事前追跡モジュールは、
前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知するための特徴点検知サブモジュールと、
予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算するための計算サブモジュールと、
前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡するための追跡サブモジュールと、
前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断するための第一の判断サブモジュールと、
前記第一の判断サブモジュールの結果がＹｅｓである場合、対応する初期特徴点を初期特徴点集合において削除するための削除サブモジュールと、
削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定するための第一の確定サブモジュールと、
を含む請求項６に記載の装置。
【請求項８】
前記部分集合分割モジュールは、
目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡するための特徴点追跡サブモジュールと、
予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割するための第一の分割サブモジュールと、
前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動するための移動サブモジュールと、
前記目標フレーム画像における全ての画素点が分割されるまで、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定するための第二の分割サブモジュールと、を含み、
なお、前記横移動ステップと縦移動ステップはそれぞれ対応するように、サブブロック長とサブブロック幅より小さいか等しい請求項６に記載の装置。
【請求項９】
前記判断モジュールは、
前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定するための第二の確定サブモジュールと、
いずれかの地面投影点集合に対して、目標フレームの時点と前のフレームの時点とでの各地面投影点の距離変化合計の平均値を計算するための距離計算サブモジュールと、
前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断するための第二の判断サブモジュールと、
前記第二の判断サブモジュールの結果がＹｅｓである場合、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定するための第三の確定サブモジュールと、
前記第二の判断サブモジュールの結果がＮｏである場合、続いて次の地面投影点集合を選択して前記距離計算サブモジュールをトリガーし、全ての地面投影点集合の判断が完了するまでであるトリガーサブモジュールと、を含み、
なお、前記平均値は、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値であって、前記特徴点対は、目標特徴点部分集合におけるいずれかの二つの特徴点により構成される一つの特徴点対である請求項８に記載の装置。
【請求項１０】
前記第二の確定サブモジュールは、
前記単眼カメラの光心を原点として、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行する世界座標系Ｏ＿ＸＹＺを確立するための世界座標系確立サブモジュールと、
前記単眼カメラの光心を原点として、ＯＺ’軸が単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行するカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立するためのカメラ座標系確立サブモジュールと、なお、カメラ座標系が、世界座標系を順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転して得られ、αと、βと、γが、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定され、
カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合｛（Ｘ，Ｈ，Ｚ）｝（Ｈが前記単眼カメラから地面までの高さである）を確定するための第四の確定サブモジュールと、を含み、
なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
【数４】
0006031554.tif 000065
であって、
【数５】
0006031554.tif 000066
であり、
カメラ座標系における座標と結像平面における座標との間の対応関係は、
【数６】
0006031554.tif 000067
であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られるカメラ内部パラメータによって確定する請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、画像処理技術分野に関し、特に、単眼カメラに基づく障害物検知方法及び装置に関する。
【背景技術】
【０００２】
技術の進歩に伴い、人々の生活では、自動車及びナビゲーションの適用はますます普及して、視覚に基づく障害物検知も車両ドライバーアシスタンスやロボットナビゲーションなどの分野において重要に適用されている。障害物検知に使用可能なセンサには、単眼カメラ、ステレオカメラ、レーザー、レーダや赤外線センサなどがあり、そのうち単眼カメラは、取り付けの容易化、小型化、低コストなどの長所によって、障害物検知分野においてより広い適用前景を有している。
【０００３】
従来の技術において、単眼カメラに基づく障害物検知方法が様々あって、例えば、外観特徴に基づく方法がある。外観特徴に基づく方法は、実現する際に、検知しようとする障害物のテスクチャ、カラー、エッジ、対称性や形状などの特徴トレーニング分類器を利用して検知することができる。
【０００４】
しかし、このような方法は、歩行者や車両などの特定のタイプの障害物を検知するのみに適応可能であって、複数のタイプの障害物を検知する必要があれば、複数の分類器をトレーニングする必要があるが、複数の分類器をトレーニングするプロセスは面倒で複雑であるため、従来の技術は、障害物検知を行う場合に、効率が低く、且つエラーを起こしやすい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本出願が解決しようとする技術的問題は、従来の技術が外観特徴に基づいて障害物検知を行う場合に複数の分類器をトレーニングする必要がある状況をできるだけ避けることで、障害物検知のプロセスをより容易化することによって、障害物検知の効率を向上するだけではなく、同時に障害物検知の確度を保証するための単眼カメラに基づく障害物検知方法を提供することである。
【０００６】
本出願は、上記方法を実際に実現・適用することを保証するための単眼カメラに基づく障害物検知装置をさらに提供する。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本出願は、単眼カメラに基づく障害物検知方法を開示し、
前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得することと、
隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除することと、
いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して、部分集合の分割を行うことと、
各目標特徴点部分集合に対して、その対応する地面投影点集合内における点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断することと、
障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点集合として確定することと、を含む方法。
【０００８】
隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除することは、
前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知することと、
予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算することと、
前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡することと、
前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断して、そうであれば、対応する初期特徴点を初期特徴点集合において削除することと、
削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定することと、を含んでもよい。
【０００９】
目標特徴点集合に対して、部分集合の分割を行うことは、具体的に、いくつかの目標特徴点部分集合が得られるように、予め設定された横移動ステップと縦移動ステップに従って分割を行うことであって、
目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡することと、
予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割することと、
前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動し、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定し、前記目標フレーム画像における画素点の全てが分割されるまでであり、なお、前記横移動ステップと縦移動ステップはそれぞれ対応するようにサブブロック長とサブブロック幅より小さいか等しいことと、
を含んでもよい。
【００１０】
各目標特徴点部分集合の対応する地面投影点集合内における画素点の目標フレームの時点と前のフレームの時点とでの距離変化値に基づいて、前記目標フレーム画像の障害物点を確定することは、
前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定することと、
いずれかの地面投影点集合に対して、目標フレームの時点と前のフレームの時点とでの各地面投影点の距離変化合計の平均値を計算することと、
前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断し、そうであれば、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定し、さもなければ、続いて次の地面投影点集合を選択して距離変化合計の平均値を計算し、前記判断ステップを繰り返し、全ての地面投影点集合の判断が完了するまでであることと、を含み、
なお、前記平均値は、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値であって、前記特徴点対は、目標特徴点部分集合におけるいずれかの二つの特徴点により構成される一つの特徴点対であってもよい。
【００１１】
前記単眼カメラが目標キャリアに取り付けられて、その結像平面の画素座標系がｏ＿ｕｖであると、前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定することは、
前記単眼カメラの光心を原点として、世界座標系Ｏ＿ＸＹＺを確立し、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行することと、
前記単眼カメラの光心を原点として、カメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立し、ＯＺ’軸が前記単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行し、なお、カメラ座標系は、世界座標系を順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転して得られ、αと、βと、γは、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定されることと、
カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合を確定し、前記地面投影点集合が｛（Ｘ，Ｈ，Ｚ）｝であって、Ｈが前記単眼カメラから地面までの高さであることと、を含み、
なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
【数１】
0006031554.tif 000002
であって、
【数２】
0006031554.tif 000003
であり、
カメラ座標系における座標と結像平面における座標との間の対応関係は、
【数３】
0006031554.tif 000004
であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られたカメラ内部パラメータによって確定してもよい。
【００１２】
本出願は、単眼カメラに基づく障害物検知装置を開示し、
前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得するための取得モジュールと、
隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除するための事前追跡モジュールと、
いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して、部分集合の分割を行うための部分集合分割モジュールと、
各目標特徴点部分集合に対して、その対応する地面投影点集合内における点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断するための判断モジュールと、
障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点集合として確定するための確定モジュールと、
を含む。
【００１３】
前記事前追跡モジュールは、
前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知するための特徴点検知サブモジュールと、
予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算するための計算サブモジュールと、
前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡するための追跡サブモジュールと、
前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断するための第一の判断サブモジュールと、
前記第一の判断サブモジュールの結果がＹｅｓである場合、対応する初期特徴点を初期特徴点集合において削除するための削除サブモジュールと、
削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定するための第一の確定サブモジュールと、
を含んでもよい。
【００１４】
前記部分集合分割モジュールは、
目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡するための特徴点追跡サブモジュールと、
予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割するための第一の分割サブモジュールと、
前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動するための移動サブモジュールと、
前記目標フレーム画像における全ての画素点が分割されるまで、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定するための第二の分割サブモジュールと、を含み、
なお、前記横移動ステップと縦移動ステップはそれぞれ対応するように、サブブロック長とサブブロック幅より小さいか等しくてもよい。
【００１５】
前記判断モジュールは、
前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定するための第二の確定サブモジュールと、
いずれかの地面投影点集合に対して、目標フレームの時点と前のフレームの時点とでの各地面投影点の距離変化合計の平均値を計算するための距離計算サブモジュールと、
前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断するための第二の判断サブモジュールと、
前記第二の判断サブモジュールの結果がＹｅｓである場合、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定するための第三の確定サブモジュールと、
前記第二の判断サブモジュールの結果がＮｏである場合、続いて次の地面投影点集合を選択して前記距離計算サブモジュールをトリガーし、全ての地面投影点集合の判断が完了するまでであるトリガーサブモジュールと、を含み、
なお、前記平均値は、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値であって、前記特徴点対は、目標特徴点部分集合におけるいずれかの二つの特徴点により構成される一つの特徴点対であってもよい。
【００１６】
前記第二の確定サブモジュールは、
前記単眼カメラの光心を原点として、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行する世界座標系Ｏ＿ＸＹＺを確立するための世界座標系確立サブモジュールと、
前記単眼カメラの光心を原点として、ＯＺ’軸が単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行するカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立するためのカメラ座標系確立サブモジュールと、なお、カメラ座標系が、世界座標系を順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転して得られ、αと、βと、γが、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定され、
カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合｛（Ｘ，Ｈ，Ｚ）｝（Ｈが前記単眼カメラから地面までの高さである）を確定するための第四の確定サブモジュールと、を含み、
なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
【数４】
0006031554.tif 000005
であって、
【数５】
0006031554.tif 000006
であり、
カメラ座標系における座標と結像平面における座標との間の対応関係は、
【数６】
0006031554.tif 000007
であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られるカメラ内部パラメータによって確定してもよい。
【発明の効果】
【００１７】
従来の技術に比べると、本出願は以下のような長所を含み、
本出願の実施例において、隣接フレーム画像の変換画像を事前追跡することにより、隣接フレーム画像における誤マッチングしやすい特徴点を削除することができ、得られた最適な特徴点集合は、目標フレーム画像において追跡する時に、誤マッチングを避けることによって、障害物点の検出確度が向上する。また、本出願は、目標フレーム画像における目標特徴点部分集合に対して、その地面投影点の距離変化を判断することによって障害物点を検知することを使用して、複数の分類器をトレーニングする必要がなくなって、障害物の検知のプロセスをより容易化し、さらに、障害物検知の効率が向上する。さらに、本出願は、さらにいずれかのタイプの障害物を検知でき、そして、自車両運動パラメータ情報を利用する必要がなく、カメラのタイプによって限られない。
【００１８】
本出願を実施するいずれかの製品は必ずしも以上のような全ての長所を同時に達成する必要がないことはいうまでもない。
【図面の簡単な説明】
【００１９】
【図１】図１は本出願の単眼カメラに基づく障害物検知方法実施例のフローチャートである。
【図２ａ】図２ａ、図２ｂは本出願の方法実施例における変換画像生成プロセスの模式図である。
【図２ｂ】図２ａ、図２ｂは本出願の方法実施例における変換画像生成プロセスの模式図である。
【図３ａ】図３ａ、図３ｂ、図３ｃ、図３ｄは本出願の方法実施例における事前追跡に基づく安定な特徴点の検知及び誤マッチングの除去効果の模式図である。
【図３ｂ】図３ａ、図３ｂ、図３ｃ、図３ｄは本出願の方法実施例における事前追跡に基づく安定な特徴点の検知及び誤マッチングの除去効果の模式図である。
【図３ｃ】図３ａ、図３ｂ、図３ｃ、図３ｄは本出願の方法実施例における事前追跡に基づく安定な特徴点の検知及び誤マッチングの除去効果の模式図である。
【図３ｄ】図３ａ、図３ｂ、図３ｃ、図３ｄは本出願の方法実施例における事前追跡に基づく安定な特徴点の検知及び誤マッチングの除去効果の模式図である。
【図４】図４は本出願の方法実施例における目標フレーム画像に対してサブブロックの分割を行う模式図である。
【図５】図５は本出願の方法実施例における単眼カメラの取付模式図である。
【図６】図６は本出願の方法実施例における地面点の異なる時点での距離分析の模式図である。
【図７】図７は本出願の方法実施例における障害物点の異なる時点での距離分析の模式図である。
【図８ａ】図８ａ、図８ｂは本出願の方法実施例における障害物特徴点検知結果の模式図である。
【図８ｂ】図８ａ、図８ｂは本出願の方法実施例における障害物特徴点検知結果の模式図である。
【図９】図９は本出願の単眼カメラに基づく障害物検知装置の実施例の構成ブロック図である。
【発明を実施するための形態】
【００２０】
本出願の実施例における技術的方案をより明らかに説明するために、図面の簡単な説明で、実施例の説明に使用する必要がある図面を簡単に紹介して、明らかに、図面の簡単な説明に説明する図面は本出願のいくつかの実施例であって、当業者にとって、創造的な労働をしない前提で、これらの図面に基づいて他の図面を得ることができる。
【００２１】
以下、本出願の実施例における図面を結合して、本出願の実施例における技術的方案を明確かつ完全に説明する。明らかに、記載された実施例は、本出願の一部の実施例に過ぎず、全ての実施例ではない。本出願の実施例に基づいて、当業者が創造的な労働をしない前提で得られた全ての他の実施例は本出願の保護範囲に属するものである。
【００２２】
本出願は、多数の汎用または専用コンピューティング装置環境または構成に適用可能である。例えば、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドデバイスや携帯デバイス、タブレット型デバイス、マルチプロセッサ装置、以上のいずれかの装置またはデバイスを含む分散コンピューティング環境などが挙げられる。
【００２３】
本出願は、プログラムモジュールなどのコンピュータによって実行可能なコンピュータ実行可能命令の一般的なコンテキストで記述される。一般的に、プログラムモジュールは、特定のジョブを実行する、或いは特定の抽象データタイプを実現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。分散コンピューティング環境において本出願を実践してもよく、例えば、これらの分散コンピューティング環境において、通信ネットワークによって接続されるリモート処理デバイスによってジョブを実行する。分散コンピューティング環境において、プログラムモジュールは、記憶デバイスを含むローカルとリモートコンピュータ記憶媒介に位置できる。
【００２４】
図１を参照し、本出願の単眼カメラに基づく障害物検知方法実施例のフローチャートを示した。本実施例は、以下のようなステップを含むことができる。
【００２５】
ステップ１０１：前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得する。
【００２６】
本実施例が、障害物検知のプロセスにおいて、使用するカメラは単眼カメラであってもよく、まず、当該単眼カメラが撮影した目標フレーム画像Ｉｔ及び当該目標フレーム画像の隣接フレーム画像Ｉｔ−１を取得する。なお、ｔは時間を表す。
【００２７】
ステップ１０２：隣接フレーム画像の最適な特徴点部分集合が得られるように、前記隣接フレーム画像の変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除する。
【００２８】
本出願の実施例において、隣接フレーム画像Ｉｔ−１の上で特徴点検知を行った後、その変換画像の上で特徴点事前追跡を行うようにして、不安定な特徴点を除去することによって、続いて追跡する時に誤マッチングの特徴点の発生を避ける。なお、変換画像は予め設定された変換モデルによって計算されるものである。
【００２９】
なお、実際の適用において、ステップ１０２は、具体的に以下のようなステップを含むことができる。
【００３０】
ステップＡ１：前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検知アルゴリズムを使用して、前記隣接フレーム画像における特徴点を検知する。
【００３１】
本実施例において、隣接フレーム画像の初期特徴点集合Ｓｔ−１が得られるように、予め設定された特徴点検知アルゴリズム、例えば、ｈａｒｒｉｓ角点検知アルゴリズムを使用して、隣接フレーム画像Ｉｔ−１における特徴点を検知することができる。勿論、当業者は他の特徴点検知アルゴリズムを使用してもよい。
【００３２】
ステップＡ２：予め設定された変換モデルによって、前記前のフレーム画像の変換画像を計算する。
【００３３】
本ステップにおいて、予め設定された変換モデルによって、隣接フレーム画像Ｉｔ−１の変換画像Ｉ’ｔ−１を計算する。実際の適用において、正確な障害物点検知を行うには、対応するように、ｔ−１時点での隣接フレーム画像Ｉｔ−１における特徴点集合の、ｔ時点での目標フレーム画像Ｉｔにおける相応的な特徴点集合を正確に得る必要がある。本ステップにおいて、まず、隣接フレーム画像Ｉｔ−１の対応する変換画像Ｉ’ｔ−１を計算し、当該変換画像は、できるだけ目標フレーム画像Ｉｔに類似する、または注目の移動方向に相関することを要求する。式（１）は、参考可能な変化画像Ｉ’ｔ−１を計算する方法を表す。
【数７】
0006031554.tif 000008
なお、
【数８】
0006031554.tif 000009
は一つの整数の画素座標変化値であって、その値は例えば、
【数９】
0006031554.tif 000010
であってもよい。勿論、当業者は実際の需要に応じて、４や６などのその他の値を取ってもよい。また、実際の需要に応じて、一定の範囲内（例えば、４〜６）において
【数１０】
0006031554.tif 000011
をトラバーサルすることで、複数の仮想的な隣接フレーム画像
【数１１】
0006031554.tif 000012
を生成することによって，複数回の事前追跡検証を行って、より正確な変換画像が得られる。
【００３４】
図２ａと図２ｂを参照し、変換画像生成プロセスの模式図である。図２ａにおいて、隣接フレーム画像には、障害物２０１と、障害物２０２と、障害物２０３と、障害物２０４の４つの障害物がある。そして、図２ｂにおいて、画素点のｙ座標は、
【数１２】
0006031554.tif 000013
のシフトが発生するため、障害物２０３と障害物２０４は一部のみ見えて、余り部分は対応する画素値がない
【数１３】
0006031554.tif 000014
領域であれば、図２ａの隣接フレーム画像などと同じ輝度値の画素点を充填する。
【００３５】
ステップＡ３：前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡する。
【００３６】
本ステップにおいて、隣接フレーム画像Ｉｔ−１における初期特徴点集合を変換画像Ｉ’ｔ−１において事前追跡する。具体的には、マッチングされる追跡特徴点集合Ｓ’ｔ−１が得られるように、例えば、Ｌｕｃａｓ  ａｎｄ  Ｋａｎａｄｅ’ｓ特徴点追跡方法を使用して、初期特徴点集合Ｓｔ−１を変換画像Ｉ’ｔ−１において事前追跡する。
【００３７】
本実施例において、変換モデル式（１）によって、初期特徴点集合Ｓｔ−１と追跡特徴点集合Ｓ’ｔ−１における特徴点の対応関係を分かり、Ｓｔ−１における特徴点（ｘｔ−１，ｙｔ−１）と、そのＳ’ｔ−１におけるマッチング点（ｘ’ｔ−１，ｙ’ｔ−１）に対して、その対応関係は式（２）のように表す。
【数１４】
0006031554.tif 000015
【００３８】
ステップＡ３：前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断して、そうであれば、ステップ４に入る。
【００３９】
本ステップにおいて、Ｓ’ｔ−１とＳｔ−１における相互にマッチングされる初期特徴点と追跡特徴点の間のリアルな差異値を計算して、リアルな差異値が予め設定された差値の閾値より大きいか否かを判断する。具体的には、判断方式は、式（３）を参照することができる。
【数１５】
0006031554.tif 000016
【００４０】
なお、Ｔ１とＴ２は、当業者によって実際の需要に応じて自分で設定でき、例えば、両方をＴ１＝Ｔ２＝０．５に設定する。勿論、Ｔ１とＴ２の具体的な数値の変更は、本出願の実現に影響を与えない。
【００４１】
ステップＡ４：対応する初期特徴点を初期特徴点集合において削除する。
【００４２】
ステップＡ３の判断結果がＹｅｓである場合、対応する初期特徴点は予め設定された変換モデル（式（１））に符合しない特徴点であって、初期特徴点集合Ｓｔ−１から当該特徴点を削除することを説明する。ステップＡ３の判断結果がＮｏである場合、対応する初期特徴点を削除する必要がなく、初期特徴点集合Ｓｔ−１における全ての特徴点が判断されるまで、ステップＡ３を続けて実行して他の特徴点を判断することができる。
【００４３】
ステップＡ５：不合格特徴点を削除した後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定する
【００４４】
ステップＡ１〜ステップＡ４により、隣接フレーム画像Ｉｔ−１における誤マッチングが発生しにくい最適な特徴点集合Ｓｔ−１が得られて、後で当該集合を使用して目標フレーム画像Ｉｔにおいて追跡して、よいマッチング特徴点集合が得られる。
【００４５】
図３ａ、図３ｂ、図３ｃ、図３ｄに示すように、図３ａは、Ｉｔ−１とＩｔによって発生する特徴点マッチングベクトルの模式図であって、矢印方向は、目標フレーム画像Ｉｔにおけるマッチング点位置へ向いて、点線矢印は誤マッピングの特徴点を表す。図３ｂは隣接フレーム画像Ｉｔ−１と変換画像Ｉ’ｔ−１によって得られた点マッチングベクトルの模式図であって、矢印方向はＩ’ｔ−１におけるマッチング点の位置へ向く。図３ｃは予め設定された変換モデル（式（１））によって得られた隣接フレーム画像Ｉｔ−１と変換画像Ｉ’ｔ−１との間の点マッチングベクトルの理論値の模式図である。図３ｄは、変換画像での誤差が大きい特徴点を除去して得られた目標フレーム画像Ｉｔと隣接フレーム画像Ｉｔ−１との間の点マッチングベクトルの模式図である。
【００４６】
次いで、図１に戻って、ステップ１０３に入り、いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して部分集合の分割を行う。
【００４７】
本ステップにおいて、予め設定された追跡アルゴリズム、例えば、Ｌｕｃａｓ  ａｎｄ  Ｋａｎａｄｅ’ｓ特徴点追跡方法を使用して、特徴点集合Ｓｔ−１を目標フレーム画像Ｉｔにおいて追跡して、マッチングの目標特徴点集合Ｓｔを取得する。ステップ１０２で既にｔ−１時刻での特徴点を事前追跡して、誤追跡しやすい特徴点が除去されたため、得られた集合ＳｔとＳｔ−１の間の誤マッチング特徴点が大幅に減少される。
【００４８】
具体的に実現する場合に、目標特徴点集合に対して部分集合の分割を行う方法は様々あって、本出願において、最も簡単かつ迅速なサブブロックの分割方式で説明する。なお、サブブロックの分割を行う時に、本ステップは、以下のようなステップを含むことができる。
【００４９】
ステップＢ１：目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡する。
【００５０】
ステップＢ２：予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割する。
【００５１】
目標特徴点集合Ｓｔを取得した後に、それに対して部分集合の分割を行う。まず、目標フレーム画像Ｉｔに対してサブブロックの分割を行って、サブブロック間に重なり合う部分があってもよい。図４を参照し、目標フレーム画像に対してサブブロックの分割を行う模式図である。なお、各サブブロックの予め設定されたサブブロック長とサブブロック幅はそれぞれ
【数１６】
0006031554.tif 000017
【数１７】
0006031554.tif 000018
であって、サブブロック中心の横移動ステップと縦移動ステップはそれぞれ、
【数１８】
0006031554.tif 000019
と
【数１９】
0006031554.tif 000020
である。なお、サブブロック長と、サブブロック幅と、横移動ステップと、縦移動ステップの数値は当業者によって自分で設定されてもよく、例えば、本出願の実施例において、
【数２０】
0006031554.tif 000021
【数２１】
0006031554.tif 000022
に設定されてもよい。勿論、具体的な数値の変更は本出願の実現に影響を与えない。
【００５２】
ステップＢ３：前記目標フレーム画像における画素点の全てが分割されるまで、前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動し、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定し、なお、前記横移動ステップと縦移動ステップはそれぞれ対応するように、サブブロック長とサブブロック幅より小さい。
【００５３】
具体的には、まず、サブブロック長とサブブロック幅に従って、目標フレーム画像の左上角に、第一のサブブロックが分割されて、そのうちの画素点集合が第一の目標特徴点部分集合として確定される。そして、第一の目標特徴点部分集合の対応するサブブロックを横移動ステップと縦移動ステップに従って、それぞれ移動し、毎回移動した後のサブブロックに覆われる画素点集合を目標特徴点集合として確定し、前記目標フレーム画像における全ての画素点が分割されるまでである。このように後の障害物特徴点検知プロセスにおいて、目標特徴点部分集合ごとに判断する。
【００５４】
なお、サブブロックの間に重なり合う部分があることを保証するために、横移動ステップと縦移動ステップは、それぞれ対応するようにサブブロック長とサブブロック幅より小さい。これにより、目標フレーム画像における同一の特徴点が異なる部分集合に分割されるようにすることで、ある目標特徴点部分集合のうちの障害物特徴点が背景特徴点よりもはるかに少ないため、障害物検知結果が不完全になることを防止することができる。
【００５５】
上記サブブロック分割方法の主な目的は、特徴点に対して部分集合の分割を行って、特徴点集合の距離変化値を計算することである。実際の適用において、当業者は、サブブロック分割方式に代わり、他の方法を使用して特徴点部分集合の分割を行ってもよい。例えば、特徴点位置、特徴点オプティカルフローサイズ、方向などによって、クラスリングして、いくつかの特徴点部分集合を得る。
【００５６】
次いで、ステップ１０４に入り、各目標特徴点部分集合に対して、その対応する地面投影点集合内における画素点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断する。
【００５７】
続いて、各目標特徴点部分集合に対して、その対応する地面投影点集合内における画素点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断する。具体的に実施する時に、本ステップは、サブステップＣ１〜Ｃ５を含むことができる。
【００５８】
ステップＣ１：前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定する。
【００５９】
本出願の実施例において、単眼カメラが目標キャリア（例えば、車ボディまたは他のモバイルプラットフォーム）に取り付けけられ、図５を参照し、単眼カメラの取付模式図である。単眼カメラの結像平面の画素座標系はｏ＿ｕｖであれば、サブステップＣ１はさらにサブステップＤ１〜Ｄ３を含むことができる。
【００６０】
ステップＤ１：前記単眼カメラの光心を原点として、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行する世界座標系Ｏ＿ＸＹＺを確立する。
【００６１】
図５における単眼カメラの光心を原点として、世界座標系Ｏ＿ＸＹＺを確立し、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ単眼カメラが取り付けられた車ボディに平行する。
【００６２】
ステップＤ２：前記単眼カメラの光心を原点として、ＯＺ’軸が前記単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行するカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立する。
【００６３】
カメラの光心を原点としてカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立し、なお、ＯＺ’軸が単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行する。単眼カメラの光心から地面までの高さはＨであって、Ｈの値は事前に測定して確定される。カメラ座標系は、世界座標系が順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転されて得られ、αと、βと、γは、前記単眼カメラが取り付けられた後に固定値であって、外部パラメータのキャリブレーションアルゴリズムによって確定される。
【００６４】
ステップＤ３：カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合を確定し、前記地面投影点集合が｛（Ｘ，Ｈ，Ｚ）｝であって、Ｈが前記単眼カメラから地面までの高さである。
【００６５】
世界座標系とカメラ座標系をそれぞれ確立した後、空間中のいずれかの点Ｐに対して、カメラ座標系における座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系における座標（Ｘ，Ｙ，Ｚ）との間に式（４）に示すような変換関係が存在する。
【数２２】
0006031554.tif 000023
【００６６】
なお、Ｒの計算方式は式（５）のように表す。
【数２３】
0006031554.tif 000024
なお、
【数２４】
0006031554.tif 000025
【００６７】
なお、カメラ座標系における、前記単眼カメラによって撮影される点Ｐ（Ｘ’，Ｙ’，Ｚ’）について、結像平面においてそれに対応する点ｐ（ｕ，ｖ）が唯一に存在し、カメラ座標系における座標（Ｘ’，Ｙ’，Ｚ’）と結像平面における座標ｐ（ｕ，ｖ）との間の対応関係は次の式（６）のように表す。
【数２５】
0006031554.tif 000026
【００６８】
なお、Ｆは単眼カメラの投影モデルであって、単眼カメラのカメラタイプ（例えば、平面カメラ、フィッシュアイカメラ）とオフラインキャリブレーションアルゴリズムによって得られるカメラ内部パラメータによって確定する。
【００６９】
平面カメラに対して、式（６）は以下のような式（７）に変換することができる。
【数２６】
0006031554.tif 000027
【００７０】
なお、
【数２７】
0006031554.tif 000028
【数２８】
0006031554.tif 000029
ｕ０とｖ０は単眼カメラの内部パラメータであって、
【数２９】
0006031554.tif 000030
は単眼カメラの焦点距離であって、ｄｘとｄｙはそれぞれ画素幅と高さの物理的サイズであって、
【数３０】
0006031554.tif 000031
は光軸と結像平面との交点の画素座標である。幾何学的な関係により、図５に示した直線ＯＰの上に、同じ結像点ｐ（ｕ，ｖ）を有する無数の点があって、この場合、関数Ｆは不可逆的であるが、地面の点に対して、関数Ｆは可逆的である。これは、世界座標系において、地面点が確定のＹ座標値（Ｙ＝Ｈ）を有するので、地面点と画像点に一対一の対応関係があるからである。目標フレーム画像のうち消失線の下にあるいずれかの特徴点に対して、式（４）と式（６）によって、それの世界座標系における地面投影点集合（Ｘ，Ｈ，Ｚ）を計算することができる。
【００７１】
画像のうち消失線の上にある特徴点に対して、それが必ず地面より高いため、障害物領域の特徴点として確定でき、考慮する必要がなく、本出願の障害物特徴点検知は、消失線の下にある特徴点のみに対して行う。
【００７２】
ステップＣ２：いずれかの地面投影点集合に対して、目標フレーム時点と隣接フレーム時点での各地面投影点の距離変化の合計の平均値を計算する。
【００７３】
各目標特徴点部分集合に対して、目標特徴点のｔ−１時点とｔ時点での相互の距離変化値によって、現在特徴点部分集合が障害物特徴点部分集合であるか否かを判断する。同一の目標特徴点部分集合に属する特徴点に対して、それが地面特徴点であれば、地面投影点座標はそれの三次元空間中の実座標であって、地面投影点間の距離が異なる時点での世界座標系においてそのまま保持する。ある目標特徴点部分集合に障害物上の特徴点が含まれると、地面投影点間の距離が異なる時点で世界座標系において変更され、これに基づいて、障害物特徴点検知を行う。
【００７４】
そこで、本ステップにおいてｔ−１時点とｔ時点での各地面投影点の距離変化値を計算する。具体的には、目標フレーム画像Ｉｔにおける第ｋ個の特徴点部分集合
【数３１】
0006031554.tif 000032
に対して、それの対応するｔ−１時点でのマッチング特徴点集合は
【数３２】
0006031554.tif 000033
である。なお、ｎｋは点の個数を表す。目標特徴点部分集合におけるいずれかの二つの特徴点
【数３３】
0006031554.tif 000034
と
【数３４】
0006031554.tif 000035
に対して、式（４）と式（６）によって対応するｔ時点とｔ−１時点での地面投影点
【数３５】
0006031554.tif 000036
【数３６】
0006031554.tif 000037
及び
【数３７】
0006031554.tif 000038
【数３８】
0006031554.tif 000039
を計算することができる。
【００７５】
具体的に、特徴点
【数３９】
0006031554.tif 000040
と
【数４０】
0006031554.tif 000041
は地面投影点であれば、図６を参照し、地面点の異なる時点での距離分析の模式図であって、地面特徴点のｔ時点での距離
【数４１】
0006031554.tif 000042
とｔ−１時点での距離
【数４２】
0006031554.tif 000043
が等しい、即ち、次のような式を満足する。
【数４３】
0006031554.tif 000044
【００７６】
特徴点
【数４４】
0006031554.tif 000045
と
【数４５】
0006031554.tif 000046
のうち少なくとも一つが障害物点であれば、図７を参照し、障害物点の異なる時点での距離分析の模式図であって、そのｔ時点での距離
【数４６】
0006031554.tif 000047
（即ち、セグメント
【数４７】
0006031554.tif 000048
の長さ）とｔ−１時点での距離
【数４８】
0006031554.tif 000049
（即ちセグメント
【数４９】
0006031554.tif 000050
の長さ）が等しくない。
【００７７】
ステップＣ３：前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断し、そうであれば、ステップＣ４に入り、さもなければ、ステップＣ５に入る。
【００７８】
本ステップにおいて、目標特徴点部分集合
【数５０】
0006031554.tif 000051
に対して、目標特徴点の地面投影点のｔ−１時点とｔ時点での距離変化合計の平均値
【数５１】
0006031554.tif 000052
を統計し、統計方式は、以下のように示す式（９）を参照する。
【数５２】
0006031554.tif 000053
【００７９】
なお、
【数５３】
0006031554.tif 000054
【数５４】
0006031554.tif 000055
であるが、距離変化の閾値Ｔ３は当業者によって実際の需要に応じて自分で設置されて、例えば、Ｔ３＝０．１である。距離変化合計の平均値が距離変化の閾値より大きい、即ち、
【数５５】
0006031554.tif 000056
の時に、現在目標特徴点部分集合を障害物特徴点として確定できる。なお、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値は平均値
【数５６】
0006031554.tif 000057
であって、目標特徴点部分集合におけるいずれかの二つの相互に異なる特徴点によって一つの特徴点対を構成し、そのうちの特徴点の全てをトラバーサルした後、目標特徴点部分集合における特徴点対の数量、即ち、
【数５７】
0006031554.tif 000058
が得られる。勿論、Ｔ３の具体的な数値は、本出願の実現に影響を与えない。
【００８０】
ステップＣ４：当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定する。
【００８１】
距離合計が予め設定された距離の閾値より大きい地面投影点集合の対応する目標特徴点部分集合を障害物点として確定する。
【００８２】
ステップＣ５：全ての地面投影点集合が判断されるまで、続けて地面投影点集合を選択して、距離変化合計の平均値を計算し、ステップＣ３を繰り返す。
【００８３】
全ての地面投影点集合が判断されるまで、続いて他の地面投影点集合に対して、距離変化合計の平均値を計算し、当該距離変換合計の平均値が予め設定された距離閾値より大きいか否かを判断する。この場合、全ての障害物点集合は既に確定された。
【００８４】
ステップ１０５：障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点の集合として確定する。
【００８５】
式（９）によって、障害物に属すると検知される全ての目標特徴点部分集合の和集合を最後の障害物点の集合として確定する。具体的に、障害物特徴点検知結果は、図８を参照できる。図８ａは原画像であって、図８ｂは、障害物特徴点検知結果の模式図であって、そのうち、黒影部分は検知された障害物特徴点を表す。
【００８６】
具体的な実施例を紹介した後、図１に戻って、ステップ１０４以降に、異なる実施例において、さらに以下のステップを含むことができる。
【００８７】
ステップ１０５：前記目標フレーム画像の障害物点の集合を出力する。
【００８８】
目標フレーム画像の障害物点集合が検知された後、それをユーザーに出力する。
【００８９】
これにより、本出願の実施例において、隣接フレーム画像の変換画像を事前追跡することにより、隣接フレーム画像における誤マッチングしやすい特徴点を削除することができ、得られた最適な特徴点集合は、目標フレーム画像において追跡する時に、誤マッチングをできるだけ避けることによって、障害物点の検出確度が向上する。また、本出願は、目標フレーム画像における目標特徴点部分集合に対して、その地面投影点の距離変化を判断することによって障害物点を検知することを使用して、複数の分類器をトレーニングする必要がなくなって、障害物の検知のプロセスをより容易化し、さらに、障害物検知の効率が向上する。さらに、本出願は、任意のタイプの障害物を検知でき、そして、自車両運動パラメータ情報を利用する必要がなく、カメラのタイプによって限られない。
【００９０】
前記の方法実施例に対して、簡単に説明するために、それを一連の動作の組み合わせとして記述したが、当業者が理解すべきことは、本出願は、説明した動作順序によって限定されない。本出願によって、あるステップは他の順序を使用するか、或いは、同時に行ってもよい。また、当業者がさらに理解すべきことは、明細書で説明した実施例は共に最適な実施例に属して、係る動作とモジュールは、本出願において必ずしも必要なものではない。
【００９１】
前記本出願の単眼カメラに基づく障害物検知方法実施例によって提供される方法に対応して、図９に示すように、本出願はさらに、単眼カメラに基づく障害物検知装置の実施例を提供し、本実施例において、当該装置は以下のようなモジュールを含むことができる。
【００９２】
取得モジュール９０１は、前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得するためのものである。
【００９３】
事前追跡モジュール９０２は、隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除するためのものである。
【００９４】
なお、事前追跡モジュール９０２は具体的に、
前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知するための特徴点サブモジュールと、予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算するための計算サブモジュールと、前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡するための追跡サブモジュールと、前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断するための第一の判断サブモジュールと、前記第一の判断サブモジュールの結果がＹｅｓである場合、対応する初期特徴点を初期特徴点集合において削除するための削除サブモジュールと、削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定するための第一の確定サブモジュールとを含むことができる。
【００９５】
部分集合分割モジュール９０３は、いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して、予め設定されたサブブロック長とサブブロック幅に従って分割を行うためのものである。
【００９６】
部分集合分割モジュール９０３は具体的には、
予め設定された特徴点追跡アルゴリズムを使用して、目標特徴点集合が得られるように、前記最適な特徴点集合を前記目標フレーム画像において追跡するための特徴点追跡サブモジュールと、予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割するための第一の分割サブモジュールと、前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動するための移動サブモジュールと、前記目標フレーム画像における全ての画素点が分割されるまで、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定するための第二の分割サブモジュールと、を含み、なお、前記横移動ステップと縦移動ステップはそれぞれ対応するように、サブブロック長とサブブロック幅より小さいか等しい。
【００９７】
判断モジュール９０４は、各目標特徴点部分集合に対して、その対応する地面投影点集合内における画素点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断するためのものである。
【００９８】
判断モジュール９０４は具体的には、
【００９９】
前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定するための第二の確定モジュールと、いずれかの地面投影点集合に対して、目標フレーム時点と前のフレーム時点とでの各地面投影点の距離変化合計の平均値を計算するための距離計算サブモジュールと、前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断するための第二の判断サブモジュールと、前記第二の判断サブモジュールの結果がＹｅｓである場合、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定するための第三の確定サブモジュールと、前記第二の判断サブモジュールの結果がＮｏである場合、全ての地面投影点集合が判断されるまで、続いて次の地面投影点集合を選択して前記距離計算サブモジュールをトリガーするためのトリガーサブモジュールと、を含む。
【０１００】
なお、前記第二の確定サブモジュールは、
【０１０１】
前記単眼カメラの光心を原点として、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行する世界座標系Ｏ＿ＸＹＺを確立するための世界座標系確立サブモジュールと、前記単眼カメラの光心を原点として、ＯＺ’軸が単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行するカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立するためのカメラ座標系確立サブモジュールと、カメラ座標系が、世界座標系が順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転されて得られたものであって、αと、βと、γが、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定されるものであり、カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合｛（Ｘ，Ｈ，Ｚ）｝（Ｈが前記単眼カメラから地面までの高さである）を確定するための第四の確定サブモジュールと、を含み、なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
【数５８】
0006031554.tif 000059
であって、なお、
【数５９】
0006031554.tif 000060
であり、なお、カメラ座標系における座標と結像平面における座標との間の対応関係は、
【数６０】
0006031554.tif 000061
であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られるカメラ内部パラメータによって確定するものである。
【０１０２】
確定モジュール９０５は障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点の集合として確定する。
【０１０３】
選択的には、異なる実施例において、当該装置はさらに、
【０１０４】
前記目標フレーム画像の障害物点集合を出力するための出力モジュール９６を含む。
【０１０５】
本装置の実施例において、隣接フレーム画像の変換画像を事前追跡することにより、隣接フレーム画像における誤マッチングしやすい特徴点を削除することができ、得られた最適な特徴点集合は、目標フレーム画像において追跡する時に、誤マッチングをできるだけ避けることによって、障害物点の検出確度が向上する。また、本出願は、目標フレーム画像における目標特徴点部分集合に対して、その地面投影点の距離変化を判断することによって障害物点を検知することを使用して、複数の分類器をトレーニングする必要がなくなって、障害物の検知のプロセスをより容易化し、さらに、障害物検知の効率が向上する。さらに、本出願は、さらに任意のタイプの障害物を検知でき、そして、自車両運動パラメータ情報を利用する必要がなく、カメラのタイプによって限られない。
【０１０６】
注意すべきことは、本明細書における各実施例はプログレッシブ方法で記述し、各実施例によって主に説明されるのは他の実施例と異なるところであって、各実施例の間の同じまたは類似の部分は相互に参照すればよい。装置類の実施例について、それが方法の実施例と基本的に類似するため、記述が比較的に簡単で、相関するところは、方法の実施例の部分の説明を参照すればよい。
【０１０７】
最後、更に注意すべきことは、本文において、第一と第二などの関係を示す用語とは、単に、一方のエンティティまたは操作を他方のエンティティまたは操作と区別するためのものであって、必ずしもこれらのエンティティまたは操作の間にいかなるこのような実際の関係または順序があることを意味するのではない。そして、用語「包括」、「含む」またはそのいかなる他の変形は、非排他的な包含を含むことを意味することで、一連の要素を含むプロセス、方法、物品、またはデバイスは、それらの要素を含むだけではなく、更に明確に記載されていない他の要素を含み、或いは、更にこのようなプロセス、方法、物品、またはデバイスに固有する要素を含む。より多い制限が存在しない場合、「．．．を一つ含む」という文によって限定される要素は、前記要素を含むプロセス、方法、物品またはデバイスに他の同じ要素がさらに含まれることを排除しない。
【０１０８】
以上で、本出願によって提供した単眼カメラに基づく障害物検知方法及び装置を詳述したが、本文において、具体的な例を使用して本出願の原理及び実施形態を説明した。以上の実施例の説明は、本出願の方法及びその核心思想の理解を助けるために過ぎない。同時に、当業者にとって、本出願の思想によって、具体的な実施方法及び適用範囲において変更することもあり、以上のように、本明細書の内容は本出願を限定するものとして解釈されるべきではない。
【図１】
0006031554.tif 000068
【図２ａ】
0006031554.tif 000069
【図２ｂ】
0006031554.tif 000070
【図３ａ】
0006031554.tif 000071
【図３ｂ】
0006031554.tif 000072
【図３ｃ】
0006031554.tif 000073
【図３ｄ】
0006031554.tif 000074
【図４】
0006031554.tif 000075
【図６】
0006031554.tif 000076
【図７】
0006031554.tif 000077
【図８ａ】
0006031554.tif 000078
【図８ｂ】
0006031554.tif 000079
【図９】
0006031554.tif 000080
【図５】
0006031554.tif 000081