(57)【要約】      （修正有）【課題】自車の前方側方車両を検出でき、自車と前方車両との衝突を避けることを可能にする。【解決手段】目標車両に取り付けられた画像採集装置を利用して、現時点に固定視角で目標車両の前方領域を撮像して、現実画像を取得し、そして、当該現実画像に応じてプリセット視角での仮想画像を生成し、当該仮想画像に側方車両の有効な特徴を含ませることにより、これらの特徴に基づいて側方車両を正確に認識し、ひいては、側方車両の位置情報を確定する。【選択図】図１
2019196164.tif 000002
【特許請求の範囲】
【請求項１】
車両位置検出方法であって、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した、現実画像を取得し、
前記現実画像に応じて仮想画像を生成し、前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する、ことを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角であることを特徴とする方法。
【請求項２】
前記プリセット角度は第１の角度又は第２の角度であり、第１の視角は前記固定視角が水平方向に反時計回りに前記第１の角度だけ回転された視角であり、第２の視角は前記固定視角が水平方向に時計回りに前記第２の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であることを特徴とする請求項１に記載の方法。
【請求項３】
前記方法は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築することをさらに含み、前記現実平面座標系は、前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は、前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記現実画像に応じて前記仮想画像を生成することは、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換することを含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
現実平面座標系と、仮想平面座標系との間の座標変換関係を構築することは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築し、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築し、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である前記仮想世界座標系との間の座標変換関係を構築し、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築し、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築する、ことを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定することは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得し、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得し、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得することを、含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記方法は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを得ることをさらに含み、
前記仮想画像で車輪を検出することは、
前記車輪認識モデルを利用して、前記仮想画像で車輪を検出することを含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記方法は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得することをさらに含み、
変換された前記現実車輪領域を取得した後に、
変換された前記現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた前記現実車輪領域を取得することをさらに含むことを特徴とする請求項５に記載の方法。
【請求項８】
現時点での前記現実車輪領域を取得することは、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得する、ことを含むことを特徴とする請求項７に記載の方法。
【請求項９】
フュージョンされた前記現実車輪領域を取得する後に、
前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得し、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去することをさらに含むことを特徴とする請求項７又は８に記載の方法。
【請求項１０】
車両位置検出装置であって、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得するための現実画像取得ユニットと、
前記現実画像に応じて仮想画像を生成するための仮想画像生成ユニットと、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定するための車両位置確定ユニットとを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向に所定の角度だけ回転された視角であることを特徴とする装置。
【請求項１１】
前記プリセット角度は第１の角度又は第２の角度であり、第１の視角は前記固定視角が水平方向に反時計回りに前記第１の角度だけ回転された視角であり、第２の視角は前記固定視角が水平方向に時計回りに前記第２の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記装置は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築するための変換関係構築ユニットをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記仮想画像生成ユニットは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換することを特徴とする請求項１０又は１１に記載の装置。
【請求項１３】
前記変換関係構築ユニットは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築するための第１の構築サブユニットと、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築するための第２の構築サブユニットと
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築するための第３の構築サブユニットと、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築するための第４の構築サブユニットと、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築するための第５の構築サブユニットとを含むことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記車両位置確定ユニットは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得するための仮想車輪検出サブユニットと、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得するための現実車輪取得サブユニットと、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得するための車輪位置確定サブユニットとを含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記装置は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得するための認識モデル作成ユニットをさらに含み、
前記仮想車輪検出サブユニットは、具体的に、前記車輪認識モデルを利用して、前記仮想画像で車輪を検出することを特徴とする請求項１４に記載の装置。
【請求項１６】
前記装置は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得するためのオプティカルフロー追跡ユニットをさらに含み、
前記車両位置確定ユニットは、
変換された現実車輪領域を取得した後、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得するための車輪フュージョンサブユニットをさらに含むことを特徴とする請求項１４に記載の装置。
【請求項１７】
前記オプティカルフロー追跡ユニットは、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うためのオプティカルフロー追跡サブユニットと、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行うためのエッジ補完サブユニットと、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得するための領域取得サブユニットとを含むことを特徴とする請求項１６に記載の装置。
【請求項１８】
前記車両位置確定ユニットは、
フュージョンされた現実車輪領域を取得した後、前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得するための歴史車輪取得サブユニットと、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去するための領域除去サブユニットとをさらに含むことを特徴とする請求項１６又は１７に記載の装置。
【請求項１９】
プロセッサー、メモリ、システムバスを含む車両位置検出装置であって、
前記プロセッサー及び前記メモリは、前記システムバスを介して互いに接続し、
前記メモリは、コマンドを含む一つ又は複数のプログラムを記憶するためのものであり、前記コマンドが前記プロセッサーによって実行される場合に前記プロセッサーに請求項１〜９のいずれか一項に記載の方法を実行させることを特徴とする車両位置検出装置。
【請求項２０】
コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体にコマンドが記憶されており、前記コマンドが端末装置で実行される場合に、前記端末装置に請求項１〜９のいずれか一項に記載の方法を実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項２１】
コンピュータープログラム製品であって、
前記コンピュータープログラム製品が端末装置で実行される場合に、前記端末装置に請求項１〜９のいずれか一項に記載の方法を実行させることを特徴とするコンピュータープログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年５月９日に中国特許庁に提出された、出願番号が２０１８１０４３８６５９．３であり、発明の名称が「車両位置検出方法及び装置」である中国出願に基づく優先権を主張する。
【０００２】
本出願は、検出技術分野に関し、特に、車両位置検出方法及び装置に関する。
【背景技術】
【０００３】
運転者が車両を運転する過程で、運転者の自車に前方衝突警報（Ｆｏｒｗａｒｄ  Ｃｏｌｌｉｓｉｏｎ  Ｗａｒｎｉｎｇ、ＦＣＷと略称される）システム又はアダプティブクルーズコントロール（Ａｄａｐｔｉｖｅ  Ｃｒｕｉｓｅ  Ｃｏｎｔｒｏｌ、ＡＣＣと略称される）システムが取り付けられていると、当該システムは、自車の前方車両を検出でき、自車と前方車両との衝突を避けることを可能にする。
【０００４】
なお、ＦＣＷシステムは、タイムリーに自車の前方領域の車両を検出することができ、具体的に、自車の前方領域に車両がある場合に、ＦＣＷシステムは、自車の運転安全を確保するために、光、音、振動などの形で運転者に警告する。ＡＣＣシステムは、交通状況に適応するように車速を調整し、運転者の介入なしに自律的な減速または加速を実現することができ、具体的に、自車の前方に取り付けられたレーダにより、自車が進行している道路に速度がより遅い車両があるかどうかを検出し、速度がより遅い車両がある場合に、ＡＣＣシステムは、速度を低下させつつ、前方車両との間隙又は時間的間隙を制御することで、自車の運転安全を確保する。
【０００５】
しかしながら、運転者による実際の運転中に、車両が自車の側方から自車の前方に挿入することがしばしばあり、従来のＦＣＷシステムとＡＣＣシステムは、前方車両しか検出できず、自車の側方から挿入する車両をタイムリーに検出できず、これにより、自車と挿入車両との追突事故を引き起こす可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本願の実施例は、側前方車両の位置情報を検出することができる車両位置検出方法及び装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００７】
本願の実施例は、車両位置検出方法を提供し、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得し、
前記現実画像に応じて仮想画像を生成し、前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する、ことを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角である。
【０００８】
前記プリセット角度は第１の角度又は第２の角度であり、第１の視角は前記固定視角が水平方向に反時計回りに前記第１の角度だけ回転された視角であり、第２の視角は前記固定視角が水平方向に時計回りに前記第２の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であってもよい。
【０００９】
前記方法は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築することをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記した前記現実画像に応じて仮想画像を生成することは、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換することを含んでもよい。
【００１０】
前記した現実平面座標系と仮想平面座標系との間の座標変換関係を構築することは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築し、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築し、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築し、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築し、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築する、ことを含んでもよい。
【００１１】
前記した前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定することは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得し、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得し、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得することを、含んでもよい。
【００１２】
前記方法は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを得ることをさらに含み、
前記した前記仮想画像で車輪を検出することは、
前記車輪認識モデルを利用して、前記仮想画像に車輪を検出することを含んでもよい。
【００１３】
前記方法は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得することをさらに含み、
前記した変換された現実車輪領域を取得した後に、
変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得することをさらに含んでもよい。
【００１４】
前記した前記現時点での現実車輪領域を取得することは、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得する、ことを含んでもよい。
【００１５】
前記したフュージョンされた現実車輪領域を取得する後に、
前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得し、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去することをさらに含んでもよい。
【００１６】
本願の実施例はさらに車両位置検出装置を提供し、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得するための現実画像取得ユニットと、
前記現実画像に応じて仮想画像を生成するための仮想画像生成ユニットと、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定するための車両位置確定ユニットとを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向に所定の角度だけ回転された視角である。
【００１７】
前記プリセット角度は第１の角度又は第２の角度であり、第１の視角は前記固定視角が水平方向に反時計回りに前記第１の角度だけ回転された視角であり、第２の視角は前記固定視角が水平方向に時計回りに前記第２の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であってもよい。
【００１８】
前記装置は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築するための変換関係構築ユニットをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記仮想画像生成ユニットは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換してもよい。
【００１９】
前記変換関係構築ユニットは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築するための第１の構築サブユニットと、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築するための第２の構築サブユニットと、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築するための第３の構築サブユニットと、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築するための第４の構築サブユニットと、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築するための第５の構築サブユニットとを含んでもよい。
【００２０】
前記車両位置確定ユニットは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得するための仮想車輪検出サブユニットと、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得するための現実車輪取得サブユニットと、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得するための車輪位置確定サブユニットとを含んでもよい。
【００２１】
前記装置は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得するための認識モデル作成ユニットをさらに含み、
前記仮想車輪検出サブユニットは、具体的に、前記車輪認識モデルを利用して、前記仮想画像で車輪を検出してもよい。
【００２２】
前記装置は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得するためのオプティカルフロー追跡ユニットをさらに含み、
前記車両位置確定ユニットは、
変換された現実車輪領域を取得した後、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得するための車輪フュージョンサブユニットをさらに含んでもよい。
【００２３】
前記オプティカルフロー追跡ユニットは、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うためのオプティカルフロー追跡サブユニットと、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行うためのエッジ補完サブユニットと、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得するための領域取得サブユニットとを含んでもよい。
【００２４】
前記車両位置確定ユニットは、
フュージョンされた実車輪領域を取得した後、前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得するための歴史車輪取得サブユニットと、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去するための領域除去サブユニットとをさらに含んでもよい。
【００２５】
本願の実施例は車両位置検出装置をさらに提供し、プロセッサー、メモリ、システムバスを含み、
前記プロセッサー及び前記メモリは、前記システムバスを介して互いに接続し、
前記メモリは、コマンドを含む一つ又は複数のプログラムを記憶するためのものであり、前記コマンドが前記プロセッサーによって実行される場合に前記プロセッサーに上記車両位置検出方法のいずれかの実現方法を実行させることを特徴とする。
【００２６】
本願の実施例はコンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体にコマンドが記憶されており、前記コマンドが端末装置で実行される場合に、前記端末装置に上記車両位置検出方法のいずれかの実現方法を実行させることを特徴とする。
【００２７】
本願の実施例はコンピュータープログラム製品をさらに提供し、前記コンピュータープログラム製品が端末装置で実行される場合に、前記端末装置に上記車両位置検出方法のいずれかの実現方法を実行させることを特徴とする。
【発明の効果】
【００２８】
本実施例が提供する車両位置検出方法及び装置は、目標車両に取り付けられた画像採集装置を利用して、現時点に固定視角で目標車両の前方領域を撮像し、一つの現実画像を取得し、そして、当該現実画像に応じてプリセット視角での仮想画像を生成し、当該仮想画像に側方車両の有効な特徴含ませることにより、これらの特徴に基づいて側方車両を正確に認識し、ひいては、側方車両の位置情報を確定し、目標車両と側方車両との衝突などの事故を避けることを可能にする。
【図面の簡単な説明】
【００２９】
本出願の実施例又は従来技術における技術案をより明確に説明するために、以下で実施例又は従来技術の記述において使用する必要がある図面を簡単に紹介し、もちろん、以下に記述の図面が本出願のいくつかの実施例に過ぎず、当業者にとって、創造的な労力をしない前提で、これらの図面に応じて他の図面を得ることもできる。
【図１】本願の実施例が提供する車両位置検出方法のフロー模式図である。
【図２】本願の実施例が提供する画像採集装置が固定視角を有している場合における位置模式図である。
【図３ａ】本願の実施例が提供する異なる第１の視角の模式図である。
【図３ｂ】本願の実施例が提供する画像採集装置が第１の視角を有している場合における位置模式図である。
【図４ａ】本願の実施例が提供する異なる第２の視角の模式図である。
【図４ｂ】本願の実施例が提供する画像採集装置が第２の視角を有している場合における位置模式図である。
【図５ａ】本願の実施例が提供する現実画像と仮想画像の模式図である。
【図５ｂ】本願の実施例が提供する現実画像と仮想画像の模式図である。
【図５ｃ】本願の実施例が提供する現実画像と仮想画像の模式図である。
【図５ｄ】本願の実施例が提供する現実画像と仮想画像の模式図である。
【図６】本願の実施例が提供する左側車両位置情報の確定方法のフロー模式図である。
【図７】本願の実施例が提供する車輪検出領域の模式図である。
【図８ａ】本願の実施例が提供する車輪検出結果の模式図である。
【図８ｂ】本願の実施例が提供する車輪検出結果の模式図である。
【図８ｃ】本願の実施例が提供する車輪検出結果の模式図である。
【図８ｄ】本願の実施例が提供する車輪検出結果の模式図である。
【図８ｅ】本願の実施例が提供する車輪検出結果の模式図である。
【図８ｆ】本願の実施例が提供する車輪検出結果の模式図である。
【図９】本願の実施例が提供する機械学習とオプティカルフロートラッキングとのフュージョン結果の模式図である。
【図１０】本願の実施例が提供する右側車両位置情報の確定方法のフロー模式図である。
【図１１】本願の実施例が提供する車両位置検出装置の構成模式図である。
【発明を実施するための形態】
【００３０】
本願の実施例の目的、技術案及び利点をより明確にするために、以下、本願の実施例における図面を結合して、本願の実施例における技術案を明確かつ完全に記述する。明らかに、記述された実施例は、本願の一部の実施例に過ぎず、全ての実施例ではない。本願の実施例に基づいて、当業者が創造的な労働をしない前提で得られた全ての他の実施例は本願の保護範囲に属するものである。
【００３１】
第一実施例
図１を参照して、本実施例が提供する車両位置検出方法のフロー模式図であり、当該車両位置検出方法は、以下のステップを含んでいる。
【００３２】
Ｓ１０１において、目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得し、前記現実画像は前記画像採集装置が現時点に固定視角で撮像した画像である。
【００３３】
記述の便宜上、本実施例において、運転者が運転する車両を目標車両と称する。
【００３４】
本実施例において、予め一つの画像採集装置を目標車両に取り付けておいてもよく、例えば、当該画像採集装置は、カメラであってもよく、具体的に、単眼平面カメラであってもよい。図２に示すように、一つの画像採集装置を目標車両のフロント位置に取り付けてもよく、もちろん、車両ルーフに取り付けてもよく、当該画像採集装置は目標車両の前方領域を撮像できるようになり、なお、当該前方領域は、目標車両の真正面領域と側前方領域とを含み、当該側前方領域は、左側前方領域と右側前方領域とをさらに含む。撮影時には、具体的に、プリセット時間間隔に従って（０．５秒ごとに）、又はプリセット前進間隔に従って（例えば目標車両が前へ０．３メートル進行する当たり）、目標車両の前方領域を撮像することにより、時刻毎に撮像された現実画像を取得し、本実施例は、現在の撮像時点を現時点と定義する。
【００３５】
なお、予め画像採集装置の取り付け位置と画像採集装置パラメーターとを設置しておき、画像採集装置の視角が撮像範囲に対する要求を満たすようにすることができ、このようにすれば、画像採集装置の使用中、画像採集装置に、図２に示すように、設置された固定視角で前方領域を撮像させる。
【００３６】
本実施例において、目標車両の走行車線に基づいて、目標車両のどの側の車両に対して位置検出を行うかを選択することができる。具体的に、運転者が目標車両を運転して左側車線を走行している場合に、即ち、目標車両の左側に車線がなく右側に車線がある場合に、この際、Ｓ１０２を実行することで目標車両の右側車両の位置情報を検出することができ、運転者が目標車両を運転して右側車線を走行している場合、即ち、目標車両の右側に車線がなく左側に車線がある場合に、この際、Ｓ１０２を実行することで目標車両の左側車線の位置情報を検出することができ、運転者が目標車両を運転して中央車線を走行している場合に、即ち、目標車両の左右側に車線がある場合に、この際、Ｓ１０２を実行することで目標車両の両側の車両の位置情報を同時に検出することができる。
【００３７】
Ｓ１０２において、前記現実画像に応じて仮想画像を生成し、前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定し、なお、前記仮想画像は現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角である。
【００３８】
本実施例において、このステップにより、目標車両の左側前方車両の位置情報を検出することができ、具体的には、以下の通りである。
ここで、目標車両の左側前方に車両が走行していると、画像採集装置が固定視角で前方領域を撮像した現実画像について、固定視角は前向きの視角であるので、当該現実画像に目標車両の左側前方領域の物体が含まれるが、撮像の視角によって、当該現実画像は、例えば、車輪のような代表的特徴を捕捉できない又は明瞭に捕捉できないなど、左側前方車両の有効な特徴を捕捉できない可能性があり、これにより、当該左側前方車両を正確に認識できず、ひいては、当該左側前方車両の位置情報を確定できない。
【００３９】
そのために、本実施例では、固定視角で撮影された現実画像を、固定視角と異なる左側視角で示し、即ち、固定視角を左にプリセット角度だけ回転させ、回転させて得られた左側視角は前記プリセット視角であり、なお、ここで実際に画像採集装置の視角を回転させることではなく、理論上、それを回転させることである。このようにすれば、左側視角での仮想画像を生成した後、視角の変換によって、仮想画像に左側前方車両の有効な特徴を含ませることができ、これにより、これらの特徴に基づいて左側前方車両を正確に認識し、さらに、左側前方車両の位置情報を確定することができる。
【００４０】
本実施例において、このステップにより、目標車両の右側前方車両の位置情報を検出することができ、具体的には、以下の通りである。
なお、目標車両の右側前方に車両が走行していると、画像採集装置が固定視角で前方領域を撮像した現実画像について、固定視角は前向きの視角であるので、当該現実画像に目標車両の右側前方領域の物体が含まれるが、撮像の視角によって、当該現実画像は、例えば、車輪のような代表的特徴を捕捉できない又は明瞭に捕捉できないなど、右側前方車両の有効な特徴を捕捉できない可能性があり、これにより、当該右側前方車両を正確に認識できず、ひいては、当該右側前方車両の位置情報を確定できない。
【００４１】
そのために、本実施例では、固定視角で撮影された現実画像を、固定視角と異なる右側視角で示し、即ち、固定視角を右にプリセット角度だけ回転させ、回転させて得られた右側視角は前記プリセット視角であり、なお、ここで実際に画像採集装置の視角を回転させることではなく、理論上、それを回転させることである。このようにすれば、右側視角での仮想画像を生成した後、視角の変換によって、仮想画像に右側前方車両の有効な特徴を含ませることができ、これにより、これらの特徴に基づいて右側前方車両を正確に認識し、さらに、右側前方車両の位置情報を確定することができる。
【００４２】
以上より、本実施例が提供する車両位置検出方法は、目標車両に取り付けられた画像採集装置を利用して、現時点に固定視角で目標車両の前方領域を撮像し、現実画像を取得し、次に、当該現実画像に応じてプリセット視角での仮想画像を生成し、当該仮想画像に側方車両の有効な特徴を含ませることにより、これらの特徴に基づいて側方車両を正確に認識し、さらに、側方車両の位置情報を確定し、目標車両と側方車両との衝突などの事故を避けることを可能にする。
【００４３】
第二実施例
本実施例は、第一実施例におけるステップＳ１０２の具体的な実現形態について紹介し、具体的には、どのように目標車両の左側前方車両の位置情報を検出するかについて紹介する。
【００４４】
本実施例において、上記ステップＳ１０２における前記プリセット角度は第１の角度であってもよく、前記第１の視角は前記固定視角が水平方向に反時計回りに第１の角度だけ回転された視角であってもよく、これに基づいて、前記プリセット角度が前記第１の角度であれば、前記目標車両の側方車両は前記目標車両の左側車両である。
【００４５】
本実施例では、固定視角で撮像された現実画像を、固定視角と異なる左側視角で示し、本実施例において、当該左側視角を第１の視角と称する。当該第１の視角の理解を容易にするために、例を挙げて説明し、当該第１の視角は、図２に示す固定視角を左へ一定の角度だけ回転させた視角であってもよく、つまり、固定視角を水平方向に反時計回りに一定の角度だけ回転させた視角であり、本実施例において、回転する一定の角度を第１の角度と称する。
【００４６】
本実施例は第１の角度を限定しない。例えば、当該第１の角度は、図３ａの左側図に示す９０度であってもよく、第１の角度が９０度である場合に、画像採集装置が目標車両に取り付けられる際に、図３ｂに示すように、この際、画像採集装置の視角方向は左向きであり、即ち、視角方向と目標車両の進行方向とが９０度をなす。また、例えば、当該第１の角度は、図３ａ右側図に示す３０度であってもよく、第１の角度が３０度である場合、画像採集装置の視角方向と目標車両の進行方向とが３０度をなす。
【００４７】
なお、本実施例では、画像採集装置の固定視角について、実際に回転させることではないので、固定視角に対応する画像採集装置は現実画像採集装置であり、第１の視角に対応する画像採集装置は仮想画像採集装置である。
【００４８】
本実施例において、固定視角で撮像された現実画像に基づいて、当該現実画像に対して画像変換を行うことで、第１の視角での画像を取得し、本実施例では、当該画像を仮想画像と称する。理解できることは、第１の視角が異なると、異なる仮想画像に対応し、左側前方車両の有効な特徴を捕捉するために、リアルタイムで第１の視角を調整し、仮想画像に左側前方車両の有効な特徴を含ませることにより、これらの特徴に基づいて左側前方車両を正確に認識し、ひいては、左側前方車両の位置情報を確定してもよい。
【００４９】
Ｓ１０２を実現するために、予め現実平面座標系と仮想平面座標系との間の座標変換関係を構築する必要があり、なお、現実平面座標系は固定視角でのイメージング平面に対応する２次元座標系であり、仮想平面座標系はプリセット視角でのイメージング平面に対応する２次元座標系であり、なお、当該プリセット視角は第１の視角であってもよい。
【００５０】
図２と図３ｂに基づいて現実平面座標系と仮想平面座標系について説明し、具体的に、図２に示す現実画像採集装置の固定視角は一つのイメージング平面に対応し、当該イメージング平面に対して一つの２次元座標系ｕｏｖを作成し、当該２次元座標系ｕｏｖが現実平面座標系であり、同様に、図３ｂに示す仮想画像採集装置の第１の視角も一つのイメージング平面に対応し、当該イメージング平面に対して一つの２次元座標系ｕ１ｏ１ｖ１を作成し、当該２次元座標系ｕ１ｏ１ｖ１が仮想平面座標系である。
【００５１】
区分を容易にするために、本実施例では、固定視角に対応する画像採集装置を現実画像採集装置と称し、第１の視角に対応する画像採集装置を仮想画像採集装置と称する。単純化のために、本実施例では、後続の内容において、目標車両の左側前方車両を左側車両と略称する。
【００５２】
本実施例の一実現形態において、前記現実平面座標系と仮想平面座標系との間の座標変換関係を構築することは、具体的に、ステップＡ１〜Ｅ１を含むことができるが、ステップＡ１−Ｅ１の順序を限定しない。
【００５３】
ステップＡ１：現実平面座標系と現実装置座標系との間の座標変換関係を構築し、なお、現実装置座標系は画像採集装置が固定視角に対応する場合に画像採集装置に対して構築した３次元座標系である。
【００５４】
以上のように、図２に示す２次元座ｕｏｖは現実平面座標系である。
【００５５】
本実施例において、また、現実画像採集装置に対して３次元座標系ＯＣＸＣＵＣＺＣを設置し、当該３次元座標系ＯＣＸＣＵＣＺＣを現実装置座標系と定義し、本実施例では、現実装置座標系ＯＣＸＣＹＣＺＣの原点位置と座標軸方向を限定せず、目標車両の走行中、現実装置座標系ＯＣＸＣＹＣＺＣと現実画像採集装置との相対的位置が不変であればよい。例えば、図２に示すように、現実画像採集装置の光学的中心を原点ＯＣとして現実装置座標系ＯＣＸＣＹＣＺＣを構成し、ＺＣ軸は現実画像採集装置の光軸と重なり合い、ＸＣ軸とＹＣ軸とはイメージング平面のｏｕ軸とｏｖ軸にそれぞれ平行する。
【００５６】
３Ｄ実空間のいずれかの点ｐについて、当該点の現実装置座標系ＯＣＸＣＹＣＺＣにおける座標がｐ（ｘｃ，ｙｃ，ｚｃ）であり、Ｐ点が現実画像採集装置に撮像されると、現実平面座標系ｕｏｖにおいてそれに対応する唯一の点ｐ（ｕ，ｖ）が存在し、対応関係は、以下のように記述することができる。
【数１】
2019196164.tif 000003
なお、Ｆは現実画像採集装置の投影モデルであり、投影モデルは当該現実画像採集装置の内部パラメーターによって決まり、現実画像採集装置の内部パラメーターはオフラインキャリブレーションアルゴリズムにより得ることができる。
【００５７】
当該式（１）は現実平面座標系ｕｏｖと現実装置座標系ＯＣＸＣＹＣＺＣとの間の座標変換関係を記述する。式（１）において、現実画像採集装置に対応する投影モデルＦは、
【数２】
2019196164.tif 000004
である。なお、ｆｘ＝ｆ／ｄｘ、ｆｙ＝ｆ／ｄｙ、ｆは現実画像採集装置の焦点距離であり、ｄｘとｄｙとはそれぞれ現実画像採集装置の単一の画素の幅と高さの物理的サイズであり、ｕ０とｖ０は現実画像採集装置の内部パラメーターであり、（ｕ０，ｖ０）は現実画像採集装置の光軸とイメージング平面との交点の画素座標である。
【００５８】
ステップＢ１において、現実装置座標系と現実世界座標系との間の座標変換関係を構築し、なお、現実世界座標系は、画像採集装置が固定視角に対応する場合に構築された世界座標系である。
【００５９】
本実施例において、また、現実画像採集装置に対して世界座標系ＯｗＸＹＺを構築し、当該世界座標系ＯｗＸＹＺは現実世界座標系であり、本実施例は現実世界座標系ＯｗＸＹＺの原点位置と座標軸方向を限定せず、目標車両の走行中、当該現実世界座標系ＯｗＸＹＺと目標車両との相対的位置が不変であればよい。例えば、図２に示すように、現実画像採集装置上のある点Ａを取り、仮に、当該現実画像採集装置がカメラである場合に、当該カメラの光学的中心を取って点Ａとして、点Ａを通る垂線（即ち、点Ａを通り且つ地面に垂直な直線）と地面との交点を現実世界座標系ＯｗＸＹＺの原点Ｏｗとし、現実世界座標系ＯｗＸＹＺのＸ軸、Ｙ軸、Ｚ軸について、Ｚ軸は目標車両のフロント前方に指向し、Ｘ軸は目標車両の右側に指向し、Ｙ軸は、Ｘ軸とＺ軸に垂直であり且つ地面に指向してもよい。また、例えば、図２に示す原点Ｏｗの位置、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の四つの座標要素について、その中の一つ又は複数の座標要素を変えてもよく、例えば、目標車両上のある点を上記点Ａとしてもよく、また、図２に示すＸ軸、Ｙ軸、Ｚ軸の方向を変え、即ち、その反対方向を取ってもよく、変えた座標系を現実世界座標系ＯｗＸＹＺとする。
【００６０】
本実施例において、予め現実装置座標系ＯＣＸＣＹＣＺＣの原点ＯＣの地面からの高さｈを測定してもよく、現実装置座標系ＯＣＸＣＹＣＺＣは現実世界座標系ＯｗＸＹＺが順にＸ軸、Ｙ軸、Ｚ軸周りにα、β、γ角度だけ回転したものであると見なすことができ、画像採集装置が目標車両に取り付けられた後に、α、β、γは固定値であり、外部パラメーターキャリブレーションアルゴリズムにより確定される。
【００６１】
３Ｄ実空間におけるいずれかの点Ｐについて、現実装置座標系ＯＣＸＣＹＣＺＣにおける座標ｐ（ｘＣ，ｙＣ，ｚＣ）と現実世界座標系ＯｗＸＹＺにおける座標
【数３】
2019196164.tif 000005
とは、以下の変換関係を有する。
【数４】
2019196164.tif 000006
なお、Ｒは、回転行列であり、Ｒ行列は上記α、β、γ角度によって確定されることができる。
【００６２】
当該式（２）は、現実装置座標系ＯＣＸＣＹＣＺＣと現実世界座標系ＯｗＸＹＺとの間の座標変換関係を記述する。
【００６３】
ステップＣ１において、現実世界座標系と仮想世界座標系との間の座標変換関係を構築し、なお、仮想世界座標系は、画像採集装置がプリセット視角に対応する場合に構築された世界座標系である。
【００６４】
本実施例において、仮想画像採集装置に対して世界座標系
【数５】
2019196164.tif 000007
を構築し、当該世界座標系
【数６】
2019196164.tif 000008
を仮想世界座標系と定義し、本実施例は仮想世界座標系
【数７】
2019196164.tif 000009
の原点位置と座標軸方向を限定せず、目標車両の走行中、当該仮想世界座標系
【数８】
2019196164.tif 000010
と目標車両との相対的位置が不変であればよい。例えば、図３ｂに示すように、仮想画像採集装置上のある点Ａを取り、仮に、当該仮想画像採集装置がカメラである場合に、当該カメラの光学的中心を取って点Ａとして、点Ａを通る垂線（即ち当該点を通り且つ地面に垂直な直線）と地面との交点を仮想世界座標系
【数９】
2019196164.tif 000011
の原点
【数１０】
2019196164.tif 000012
としてもよく、仮想世界座標系
【数１１】
2019196164.tif 000013
の
【数１２】
2019196164.tif 000014
軸、
【数１３】
2019196164.tif 000015
軸、
【数１４】
2019196164.tif 000016
軸について、その中、
【数１５】
2019196164.tif 000017
軸は目標車両のフロント前方に指向し、
【数１６】
2019196164.tif 000018
軸は目標車両の左側に指向し、
【数１７】
2019196164.tif 000019
軸は
【数１８】
2019196164.tif 000020
軸と
【数１９】
2019196164.tif 000021
軸に垂直であり地面に指向してもよい。また、例えば、図３ｂに示す原点
【数２０】
2019196164.tif 000022
の位置、
【数２１】
2019196164.tif 000023
軸方向、
【数２２】
2019196164.tif 000024
軸方向及び
【数２３】
2019196164.tif 000025
軸方向の四つの座標要素について、その中の一つ又は複数の座標要素を変えてもよく、例えば、目標車両上のある点を上記点Ａとしてもよく、また、図３ｂに示す
【数２４】
2019196164.tif 000026
軸、
【数２５】
2019196164.tif 000027
軸、
【数２６】
2019196164.tif 000028
軸の方向を変えて、即ち、その反対方向を取ってもよく、変えた座標系を仮想世界座標系
【数２７】
2019196164.tif 000029
とする。
【００６５】
なお、仮想画像採集装置は現実画像採集装置に対してフロント方向へＳ（Ｓ＞０）メートルだけ前に移動すべきであり、その目的は、仮想画像に出来るだけ現実画像の左側領域までカバーさせるためである。
【００６６】
図２に示す現実世界座標系ＯｗＸＹＺ及び図３ｂに示す仮想世界座標系ＯｖｌＸｖｌＹｖｌＺｖｌを例として、３Ｄ実空間におけるいずれかの点Ｐについて、当該点の現実世界座標系ＯｗＸＹＺにおける座標はｐ（ｘｗ，ｙｗ，ｚｗ）であり、ｘｗ＜０となると、当該点が目標車両の左側領域の空間点であり、当該点を仮想世界座標系
【数２８】
2019196164.tif 000030
に変換した座標は
【数２９】
2019196164.tif 000031
となり、座標変換式は、
【数３０】
2019196164.tif 000032
である。当該式（３）は現実世界座標系ＯｗＸＹＺと仮想世界座標系
【数３１】
2019196164.tif 000033
との間の座標変換関係を記述する。
【００６７】
ステップＤ１において、仮想世界座標系と仮想装置座標系との間の座標変換関係を構築し、なお、仮想装置座標系は、画像採集装置がプリセット視角に対応する場合に画像採集装置に対して構築された３次元座標系である。
【００６８】
本実施例において、仮想画像採集装置に対して３次元座標系
【数３２】
2019196164.tif 000034
を設置し、当該３次元座標系
【数３３】
2019196164.tif 000035
を仮想装置座標系と定義し、本実施例は仮想装置座標系
【数３４】
2019196164.tif 000036
の原点位置と座標軸方向を限定せず、目標車両の走行中、仮想装置座標系
【数３５】
2019196164.tif 000037
と仮想画像採集装置との相対的位置は不変であればよい。例えば、図３ｂに示すように、仮想画像採集装置の光学的中心を原点
【数３６】
2019196164.tif 000038
として仮想装置座標系
【数３７】
2019196164.tif 000039
を構築し、
【数３８】
2019196164.tif 000040
軸と仮想画像採集装置の光軸とが重なり合い、
【数３９】
2019196164.tif 000041
は目標車両のフロント方向に指向し、
【数４０】
2019196164.tif 000042
は地面に指向する。
【００６９】
３Ｄ実空間におけるいずれかの点Ｐについて、仮想装置座標系
【数４１】
2019196164.tif 000043
における座標
【数４２】
2019196164.tif 000044
と、仮想世界座標系
【数４３】
2019196164.tif 000045
における座標
【数４４】
2019196164.tif 000046
は以下の変換関係を有する。
【数４５】
2019196164.tif 000047
なお、Ｒは回転行列である。
【００７０】
当該式（４）は、仮想世界座標系
【数４６】
2019196164.tif 000048
と仮想装置座標系
【数４７】
2019196164.tif 000049
との間の座標変換関係を記述する。
【００７１】
ステップＥ１において、仮想装置座標系と仮想平面座標系との間の座標変換関係を構築する。
【００７２】
図３ｂに示すように、３Ｄ実空間におけるいずれかの点Ｐについて、当該点の仮想装置座標系
【数４８】
2019196164.tif 000050
における座標は
【数４９】
2019196164.tif 000051
であり、Ｐ点が仮想画像に位置すれば、仮想平面座標系ｕ１ｏ１ｖ１に当該点に対応する唯一の点ｐ（ｕ１，ｖ１）が存在し、対応関係は、以下のように記述する。
【数５０】
2019196164.tif 000052
なお、Ｆは仮想画像採集装置の投影モデルであり、仮想画像採集装置は現実画像採集装置が視角を変えた画像採集装置であるので、投影モデルは現実画像採集装置の内部パラメーターによって決まり、現実画像採集装置の内部パラメーターは、オフラインキャリブレーションアルゴリズムにより得ることができる。
【００７３】
当該式（５）は仮想装置座標系
【数５１】
2019196164.tif 000053
と仮想平面座標系ｕ１ｏ１ｖ１との間の座標変換関係を記述する。式（５）において、投影モデルＦは、
【数５２】
2019196164.tif 000054
である。なお、
【数５３】
2019196164.tif 000055
、
【数５４】
2019196164.tif 000056
、ｆは仮想画像採集装置の焦点距離であり、
【数５５】
2019196164.tif 000057
と
【数５６】
2019196164.tif 000058
とはそれぞれ仮想画像採集装置の単一の画素の幅と高さの物理的サイズであり、
【数５７】
2019196164.tif 000059
と
【数５８】
2019196164.tif 000060
は仮想画像採集装置の内部パラメーターであり、
【数５９】
2019196164.tif 000061
は仮想画像採集装置の光軸とイメージング平面との交点の画素座標である。
【００７４】
本実施例において、予め仮想装置座標系
【数６０】
2019196164.tif 000062
の原点
【数６１】
2019196164.tif 000063
の地面からの高さｈを測定しておいてもよく、仮想装置座標系
【数６２】
2019196164.tif 000064
は、仮想世界座標系
【数６３】
2019196164.tif 000065
を順に
【数６４】
2019196164.tif 000066
軸、
【数６５】
2019196164.tif 000067
軸、
【数６６】
2019196164.tif 000068
軸周りにα、β、γ角度だけそれぞれ回転させたものであると見なすことができ、仮想画像採集装置と目標車両との相対的位置が固定されると、α、β、γは固定値となり、外部パラメーターキャリブレーションアルゴリズムにより確定でき、これらのパラメーターは式（４）のＲ行列を確定するために用いられることができる。
【００７５】
なお、仮想画像採集装置により２Ｄ画像と３Ｄ画像の相互変換を実現する場合、仮想画像のイメージング効果を確保するために、本実施例では、目標車両の近距離範囲内の画像をより明瞭にする必要があるので、小さい焦点距離を設置する必要があり、例えば、仮想画像採集装置の焦点距離fを１にし、さらに画像の明晰さを確保するために、単一の画素の幅と高さの物理的サイズを大きくする必要があり、例えば、
【数６７】
2019196164.tif 000069
と
【数６８】
2019196164.tif 000070
とを１００にし、そして、さらに小さい３Ｄ深度を設置してもよく、例えば３Ｄ深度Ｚを１にする。
【００７６】
すると、上記の一連の座標変換関係を構築することで、現実平面座標系と仮想平面座標系との座標変換関係を構築する。
【００７７】
これに基づいて、本実施例の一実現形態では、第１の実施例のＳ１０２における「前記現実画像に応じて仮想画像を生成する」ことは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換することを含んでもよい。この実現形態において、現実画像中の各画素点の現実平面座標系における座標を確定し、次に上記式（１）〜（５）により各画素点の仮想平面座標系における座標を算出し、現実画像中の画素点に対して座標位置変換を行うことにより、仮想画像を生成できる。
【００７８】
目標車両と左側車両とが異なる相対的位置に位置する場合、左側車両の車輪が現実画像で異なる形状となり、特に、左側車両が目標車両に近すぎると、左側車両の車輪が現実画像でわずかな特徴しかなく、当該車輪が仮想画像で多くの特徴を有し、そして、異なる第１の視角が採用される場合に、異なる相対的位置の車輪は類似する形状を示し、つまり、本実施例は目標車両と左側車両との間の相対的位置関係の制限を受けず、適切な第１の視角を採用すれば、左側車両の類似車輪形状を検出することができ、これにより左側車両の位置の確定を容易にすることと理解される。
【００７９】
直観的に理解するために、例を挙げて現実画像から仮想画像への変換効果について説明する。図５ａ〜図５ｄに示すように、図５ａと図５ｂはいずれも現実画像であり、この二つの図に示すものは同一の左側車両であるが、目標車両との相対的位置は異なり、図５ｃは図５ａに示す現実画像に対応する仮想画像であり、図３ａの左側図（即ち図３ｂ）に示す第１の視角での仮想画像であり、図５ｄは図５ｂに示す現実画像に対応する仮想画像であり、図３ａの右側図に示す第１の視角での仮想画像であり、図５ｂに示す車輪が図３ａの左側図に示す第１の視角を採用して仮想画像を生成する場合に、車輪は当該仮想画像に示されない。
【００８０】
これに基づいて、本実施例の一実現形態では、第１の実施例のＳ１０２における「前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する」ことは、具体的に、左側車両車輪の検出結果により、左側車両の位置情報を確定してもよい。図６に示すように、具体的には、以下のステップを含んでいる。
【００８１】
Ｓ６０１において、前記仮想画像で車輪を検出して、仮想車輪領域を取得する。
【００８２】
仮想画像中の車輪を関心領域（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ、ＲＯＩと略称する）として検出し、本実施例では、検出された車輪ＲＯＩを仮想車輪領域と称する。
【００８３】
一の具体的実施形態では、Ｓ６０１は、具体的に、車輪認識モデルを利用して、仮想画像で車輪を検出することを含んでもよい。本実施形態において、予め大量の車輪を含む車両サンプル画像を収集する必要があり、大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得し、このように、仮想画像を生成した後、当該車輪認識モデルを利用して仮想画像中の車輪を検出することができる。
【００８４】
具体的実現の際、仮想画像の検出領域内でスライディングウィンドウを用いて車輪サンプルを採集し、検出する。例えば、検出領域は、図７に示すように、左前、右前の二つの領域に区分し、それぞれの領域のサイズは３．５メートル×（１５−ｒ）メートルであり、なお、ｒは現実画像採集装置が見ることができる最も近い距離であり、現実画像採集装置の取り付け位置と外部パラメーターに相関する。本実施例では、左前領域を検出する必要があり、横方向と縦方向に０．３メートル又は他の長さをステップサイズとし、スライディングウィンドウが採集した車輪サンプルを取得し、前記車輪認識モデルにより、１フレームごとの採集画像中の車輪の検出結果を得ることができる。
【００８５】
例を挙げて仮想画像中の車輪検出結果について説明し、図８ａ〜図８ｆに示すように、図８ａと図８ｄは現実画像であり、この二つの図に示すものは同一の左側車両であるが、目標車両との相対的位置は異なり、図８ｂは図８ａに示す現実画像に対応する仮想画像であり、図３ａの左側図（即ち図３ｂ）に示す第１の視角での仮想画像であり、図８ｃも図８ａに示す現実画像に対応する仮想画像であり、図３ａの右側図に示す第１の視角での仮想画像であり、図８ｅは図８ｄに示す現実画像に対応する仮想画像であり、図３ａの左側図（即ち図３ｂ）に示す第１の視角での仮想画像であり、図８ｆも図８ｄに示す現実画像に対応する仮想画像であり、図３ａの右側図に示す第１の視角での仮想画像である。なお、各仮想画像において、一つ又は複数のボックスによって選択される領域は、車輪認識モデルにより検出された車輪領域であり、ただし、左側車両の位置によって、図８ｅに車輪を示すことができず、故に、図８ｆから車輪領域を検出する。
【００８６】
Ｓ６０２において、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換後の現実車輪領域を取得する。
【００８７】
この実現形態では、仮想車輪領域中の各画素点の仮想平面座標系における座標を確定し、次に、上記式（１）〜（５）により各画素点の現実平面座標系における座標を算出し、仮想画像中の画素点に対して座標位置変換を行うことにより、変換後の現実車輪領域を得ることができる。
【００８８】
Ｓ６０３において、前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得し、なお、当該側方車両は左側車両である。
【００８９】
本実現形態において、現実車輪領域中の各画素点の現実平面座標系における座標を確定し、次に、上記式（１）〜（５）における相関式により、各画素点の現実世界座標系における座標を算出してもよく、即ち、左側車両車輪の現実世界系における座標を確定し、左側車両車輪の現実世界座標系における座標を確定すると、左側車両とその車輪との位置関係に応じて、左側車両の目標車両に対する位置を確定することができる。
【００９０】
実際の応用において、当該実施例が目標車両のＦＣＷシステムに応用されると、左側車両と目標車両との距離が近いと確定された場合、光、音、振動などの形で運転者に警告することができ、当該実施例が目標車両のＡＣＣシステムに応用されると、左側車両と目標車両との距離が近いと確定された場合、目標車両と左側車両との間隙を制御することで目標車両の運転安全を確保することができる。
【００９１】
さらに、上記ステップＳ６０１において、車輪認識モデルを採用して仮想画像で車輪を検出する場合に、検出結果に一部の誤認識がある可能性があり、ステップＳ６０２にて得られた領域画像に非車輪領域が存在してしまう。従って、本実施例では、リアルタイムに目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、現時点での現実車輪領域を取得し、即ち、オプティカルフロー追跡された現実車輪領域を取得し、オプティカルフロー追跡された現実車輪領域を利用して、ステップＳ６０２での非車輪領域を除去するようにする。
【００９２】
なお、前記した前記現時点での現実車輪領域を取得し、即ちオプティカルフロー追跡された現実車輪領域を取得することは、具体的に、現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、補完されたオプティカルフロー追跡画像に応じて、側方車両車輪の現実車輪領域を得ることを含んでもよい。具体的には、既存のオプティカルフロー追跡方法は、追跡画像エッジの目標物体の追跡効果が理想的ではなく、本実施例における目標物体が左側車両車輪であり、左側車両車輪はほとんどの時間追跡画像の左側に現れるので、本実施例は追跡画像に対してエッジ補完を行い、例えば、画像のエッジに白い領域を増加し、次に、ピラミッドＬＫ（Ｌｕｃａｓ  Ｋａｎａｄｅ）オプティカルフロー方法を採用して、補完画像において車輪追跡を行うことにより、追跡結果の精度を向上させることができる。
【００９３】
上記の内容に基づいて、本実施例の一実現形態において、上記ステップＳ６０２の後は、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得することをさらに含んでもよい。本実現形態において、オプティカルフロー追跡の結果を取得した後、それとステップＳ６０２における画像変換結果とをフュージョンすることで画像変換結果における非車輪領域を除去することができ、例えば、図９に示すように、ボックス選択領域がフュージョン結果であり、次に、フュージョンされた現実車輪領域を利用して後続するステップＳ６０３を実行する。
【００９４】
さらに、フュージョンされた現実車輪領域について、非車輪領域が存在する可能性があり、車輪検出結果の精度を確保するために、本実施例の一実現形態において、フュージョンされた現実車輪領域を取得した後には、現時点よりも前の一つの歴史時点又は複数の連続歴史時点について各歴史時点に対応する最終的現実車輪領域を取得し、歴史時点に対応する最終的現実車輪領域に応じて、フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、当該非車輪領域を除去することをさらに含んでもよい。本実現形態において、フォワード関連の方式を採用して、現時点よりも前の最も近い検出時点又は複数の最も近い連続時刻を取得し、これらの検出時点はいずれも歴史時点であり、各歴史時点を前記現時点とすると、いずれも現実画像に基づいて左側車両の車輪を検出し、最終的現実車輪領域を取得し、現時点とこれらの歴史時点とが連続時間点を構成するので、検出された車輪領域に基づいて、この一連の時点における車輪の変化状況を確定でき、車輪変化位置が連続するはずであり、故に、これを基に現時点に対応するフュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、これにより、非車輪領域を除去でき、そして、除去操作を経て得られた現実車輪領域を利用して後続のステップＳ６０３を実行する。
【００９５】
以上より、本実施例は、座標変換関係により、現実画像を仮想画像へ変換してもよく、仮想画像で車輪を検出し、車輪検出結果によって目標車両の左側車両の位置情報を確定してもよい。具体的に、機械学習、オプティカルフロー追跡、及びマルチ時点画像関連付けなどの結合方式により、車輪領域を検出することで、車輪検出結果の精度を向上させ、これにより、左側車両の位置検出結果の精度を向上させる。
【００９６】
第三実施例
本実施例では、第１の実施例のステップＳ１０２の具体的実現形態について紹介し、具体的には、どのように目標車両の右側前方車両の位置情報を検出するかのことについて紹介する。
【００９７】
本実施例において、上記ステップＳ１０２における前記プリセット角度は第２の角度であってもよく、前記第２の視角は前記固定視角が水平方向に時計回りに第２の角度だけ回転された視角であり、これに基づいて、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両である。
【００９８】
本実施例では、固定視角で撮像された現実画像を、固定視角と異なる右側視角で示し、本実施例において、当該右側視角を第２の視角と称する。当該第２の視角の理解を容易にするために、例を挙げて説明し、当該第２の視角は、図２に示す固定視角を右へ一定の角度だけ回転させた視角であってもよく、つまり、固定視角を水平方向に時計回りに一定の角度だけ回転させ、本実施例において、回転させる一定の角度を第２の角度と称する。
【００９９】
本実施例は第２の角度を限定しない。例えば、当該第２の角度は、図４ａの左側図に示す９０度であってもよく、第２の角度が９０度である場合に、画像採集装置が目標車両に取り付けられる際に、図４ｂに示すように、この際、画像採集装置の視角方向は右向きであり、即ち、視角方向と目標車両の進行方向とが９０度をなす。また、例えば、当該第２の角度は、図４ａ右側図に示す３０度であってもよく、第２の角度が３０度である場合、画像採集装置の視角方向と目標車両の進行方向とが３０度をなす。
【０１００】
なお、本実施例では、画像採集装置の固定視角について、実際に回転させることではないので、固定視角に対応する画像採集装置は現実画像採集装置であり、第２の視角に対応する画像採集装置は仮想画像採集装置である。
【０１０１】
また、第２の実施例における第１の視角、本実施例における第２の視角及び固定視角の方向については、地面に平行であってもよく、地面に対して一定の角度をなしてもよく、実際の応用において、経験に応じて設定できる。
【０１０２】
本実施例において、固定視角で撮像された現実画像に基づいて、当該現実画像に対して画像変換を行うことで、第２の視角での画像を取得し、本実施例では、当該画像を仮想画像と称する。理解できることは、第２の視角が異なると、異なる仮想画像に対応し、右側前方車両の有効な特徴を捕捉するために、リアルタイムで第２の視角を調整して、仮想画像に右側前方車両の有効な特徴を含ませることにより、これらの特徴に基づいて右側前方車両を正確に認識し、ひいては、右側前方車両の位置情報を確定することができる。
【０１０３】
Ｓ１０２を実現するために、予め現実平面座標系と仮想平面座標系との間の座標変換関係を構築する必要があり、なお、現実平面座標系は固定視角でのイメージング平面に対応する２次元座標系であり、仮想平面座標系はプリセット視角でのイメージング平面に対応する２次元座標系であり、なお、当該プリセット視角は第２の視角であってもよい。
【０１０４】
図２と図４ｂに基づいて現実平面座標系と仮想平面座標系について説明し、具体的に、図２示す現実画像採集装置の固定視角は一つのイメージング平面に対応し、当該イメージング平面に対して一つの２次元座標系ｕｏｖを作成し、当該２次元座標系ｕｏｖは現実平面座標系であり、同様に、図４ｂに示す仮想画像採集装置の第２の視角も一つのイメージング平面に対応し、当該イメージング平面に対して一つの２次元座標系ｕ２ｏ２ｖ２を作成し、当該２次元座標系ｕ２ｏ２ｖ２は仮想平面座標系である。
【０１０５】
なお、第２の実施例における現実平面座標系と本実施例における現実平面座標系が同一の座標系であると、一回だけ作成すればよい。
【０１０６】
区分を容易にするために、本実施例では、固定視角に対応する画像採集装置を現実画像採集装置と称し、第２の視角に対応する画像採集装置を仮想画像採集装置と称する。単純化のために、本実施例では、後続の内容において、目標車両の右側前方車両を右側車両と略称する。
【０１０７】
本実施例の一実現形態において、前記現実平面座標系と仮想平面座標系との間の座標変換関係を構築することは、具体的に、ステップＡ２〜Ｅ２を含むことができるが、ステップＡ２〜Ｅ２の順序を限定しない。
【０１０８】
ステップＡ２において、現実平面座標系と現実装置座標系との間の座標変換関係を構築し、なお、現実装置座標系は画像採集装置が固定視角に対応する場合に画像採集装置に対して構築した３次元座標系である。
【０１０９】
なお、このステップＡ２は、第２の実施例におけるステップＡ１と同じであるので、相関する内容については、ステップＡ１を参照し、ここで重複しない。そして、ステップＡ１とステップＡ２は、一回だけ実行されてもよい。
【０１１０】
ステップＢ２において、現実装置座標系と現実世界座標系との間の座標変換関係を構築し、現実世界座標系は、画像採集装置が固定視角に対応する場合に構築された世界座標系である。
【０１１１】
このステップＢ２は、第２の実施例におけるステップＢ１と同じであるので、相関する内容については、ステップＢ１を参照し、ここで重複しない。そして、ステップＢ１とステップＢ２は、一回だけ実行されてもよい。
【０１１２】
ステップＣ２において、現実世界座標系と仮想世界座標系との間の座標変換関係を構築し、仮想世界座標系は画像採集装置がプリセット視角に対応する場合に構築された世界座標系である。
【０１１３】
本実施例において、仮想画像採集装置に対して世界座標系
【数６９】
2019196164.tif 000071
を構築し、当該世界座標系
【数７０】
2019196164.tif 000072
を仮想世界座標系と定義し、本実施例は仮想世界座標系
【数７１】
2019196164.tif 000073
の原点位置と座標軸方向を限定せず、目標車両の走行中、当該仮想世界座標系
【数７２】
2019196164.tif 000074
と目標車両との相対的位置は不変であればよい。例えば、図４ｂに示すように、仮想画像採集装置上のある点Ａを取り、仮に、当該仮想画像採集装置がカメラである場合、当該カメラの光学的中心を取って点Ａとしてもよく、点Ａを通る垂線（即ち当該点を通り且つ地面に垂直な直線）と地面との交点を仮想世界座標系
【数７３】
2019196164.tif 000075
の原点
【数７４】
2019196164.tif 000076
とし、仮想世界座標系
【数７５】
2019196164.tif 000077
の
【数７６】
2019196164.tif 000078
軸、
【数７７】
2019196164.tif 000079
軸、
【数７８】
2019196164.tif 000080
軸について、
【数７９】
2019196164.tif 000081
軸は目標車両のリアに指向し、
【数８０】
2019196164.tif 000082
軸は目標車両の右方に指向し、
【数８１】
2019196164.tif 000083
軸は
【数８２】
2019196164.tif 000084
軸と
【数８３】
2019196164.tif 000085
軸に垂直であり地面に指向してもよい。また、例えば、４ｂに示す原点
【数８４】
2019196164.tif 000086
位置、
【数８５】
2019196164.tif 000087
軸方向、
【数８６】
2019196164.tif 000088
軸方向及び
【数８７】
2019196164.tif 000089
軸方向の四つの座標要素について、その中の一つ又は複数の座標要素を変えてもよく、例えば、目標車両上のある点を上記点Ａとしてもよく、また、図４ｂに示す
【数８８】
2019196164.tif 000090
軸、
【数８９】
2019196164.tif 000091
軸、
【数９０】
2019196164.tif 000092
軸の向きを変えて、即ちその反対方向を取ってもよく、変えた座標系を仮想世界座標系
【数９１】
2019196164.tif 000093
とする。
【０１１４】
なお、仮想画像採集装置は現実画像採集装置に対してフロント方向へＳ（Ｓ＞０）メートルだけ前に移動すべきであり、その目的は、仮想画像に出来るだけ現実画像の右側領域までカバーさせるためである。
【０１１５】
図２に示す現実世界座標系ＯｗＸＹＺ及び図４ｂに示す仮想世界座標系
【数９２】
2019196164.tif 000094
を例として、３Ｄ実空間におけるいずれかの点Ｐについて、当該点の現実世界座標系ＯｗＸＹＺにおける座標は
【数９３】
2019196164.tif 000095
であり、
【数９４】
2019196164.tif 000096
となると、当該点は目標車両の右側領域の空間点であり、当該点を仮想世界座標系
【数９５】
2019196164.tif 000097
に変換した座標は
【数９６】
2019196164.tif 000098
であり、座標変換式は
【数９７】
2019196164.tif 000099
である。当該式（６）は現実世界座標系ＯｗＸＹＺと仮想世界座標系
【数９８】
2019196164.tif 000100
との間の座標変換関係を記述する。
【０１１６】
ステップＤ２において、仮想世界座標系と仮想装置座標系との間の座標変換関係を構築し、なお、仮想装置座標系は画像採集装置がプリセット視角に対応する場合に画像採集装置に対して構築された３次元座標系である。
【０１１７】
本実施例において、仮想画像採集装置に対して３次元座標系
【数９９】
2019196164.tif 000101
を設置し、当該３次元座標系
【数１００】
2019196164.tif 000102
を仮想装置座標系と定義し、本実施例は仮想装置座標系
【数１０１】
2019196164.tif 000103
の原点位置と座標軸方向を限定せず、目標車両の走行中、仮想装置座標系
【数１０２】
2019196164.tif 000104
と仮想画像採集装置との相対的位置は不変であればよい。例えば、図４ｂに示すように、仮想画像採集装置の光学的中心を原点
【数１０３】
2019196164.tif 000105
として仮想装置座標系
【数１０４】
2019196164.tif 000106
を構築し、
【数１０５】
2019196164.tif 000107
軸と仮想画像採集装置の光軸とが重なり合い、
【数１０６】
2019196164.tif 000108
は目標車両のリアに指向し、
【数１０７】
2019196164.tif 000109
は地面に指向する。
【０１１８】
３Ｄ実空間におけるいずれかの点Ｐについて、仮想装置座標系
【数１０８】
2019196164.tif 000110
における座標
【数１０９】
2019196164.tif 000111
と仮想世界座標系
【数１１０】
2019196164.tif 000112
における座標
【数１１１】
2019196164.tif 000113
とは以下の変換関係を有する。
【数１１２】
2019196164.tif 000114
なお、Ｒは回転行列である。当該式（７）は仮想世界座標系
【数１１３】
2019196164.tif 000115
と仮想装置座標系
【数１１４】
2019196164.tif 000116
との間の座標変換関係を記述する。
【０１１９】
ステップＥ２において、仮想装置座標系と仮想平面座標系との間の座標変換関係を構築する。図４ｂに示すように、３Ｄ実空間にいずれかの点Ｐについて、当該点の仮想装置座標系
【数１１５】
2019196164.tif 000117
における座標は
【数１１６】
2019196164.tif 000118
であり、Ｐ点が仮想画像に位置すれば、仮想平面座標系ｕ２ｏ２ｖ２に当該点に対応する唯一の点ｐ（ｕ２，ｖ２）が存在し、対応関係は、以下のように記述する。
【数１１７】
2019196164.tif 000119
なお、Ｆは仮想画像採集装置の投影モデルであり、仮想画像採集装置は現実画像採集装置が視角を変えた画像採集装置であるので、投影モデルは現実画像採集装置の内部パラメーターによって決まり、現実画像採集装置の内部パラメーターはオフラインキャリブレーションアルゴリズムにより得ることができる。
【０１２０】
当該式（８）は、仮想装置座標系
【数１１８】
2019196164.tif 000120
と仮想平面座標系ｕ２ｏ２ｖ２との間の座標変換関係を記述する。式（８）において、投影モデルＦは、
【数１１９】
2019196164.tif 000121
である。なお、
【数１２０】
2019196164.tif 000122
、
【数１２１】
2019196164.tif 000123
、ｆは仮想画像採集装置の焦点距離であり、
【数１２２】
2019196164.tif 000124
と
【数１２３】
2019196164.tif 000125
はそれぞれ仮想画像採集装置の単一の画素の幅と高さの物理的サイズであり、
【数１２４】
2019196164.tif 000126
と
【数１２５】
2019196164.tif 000127
は仮想画像採集装置の内部パラメーターであり、
【数１２６】
2019196164.tif 000128
は仮想画像採集装置の光軸とイメージング平面との交点の画素座標である。
【０１２１】
本実施例において、予め仮想装置座標系
【数１２７】
2019196164.tif 000129
の原点
【数１２８】
2019196164.tif 000130
の地面からの高さｈを測定してもよく、仮想装置座標系
【数１２９】
2019196164.tif 000131
は、仮想世界座標系が順に
【数１３０】
2019196164.tif 000132
軸、
【数１３１】
2019196164.tif 000133
軸、
【数１３２】
2019196164.tif 000134
軸周りにα、β、γ角度だけ回転されたものであると見なすことができ、仮想画像採集装置と目標車両との相対的位置が固定されると、α、β、γは固定値となり、外部パラメーターキャリブレーションアルゴリズムによって確定でき、これらのパラメーターは、式（７）のＲ行列を確定するために用いられる。
【０１２２】
なお、仮想画像採集装置により２Ｄ画像と３Ｄ画像の相互変換を実現する場合、仮想画像のイメージング効果を確保するために、本実施例において、目標車両の近距離範囲内の画像をより明晰にする必要があるので、小さい焦点距離を設置する必要があり、例えば、仮想画像採集装置の焦点距離fを１に設置し、さらに画像の明晰度を確保するために、単一の画素の幅と高さの物理的サイズを大きくする必要があり、例えば、
【数１３３】
2019196164.tif 000135
と
【数１３４】
2019196164.tif 000136
を１００とし、そして、さらに小さい３Ｄ深度を設置し、例えば、３Ｄ深度Ｚを１にする。
【０１２３】
すると、上記の一連の座標変換関係を構築することで、現実平面座標系と仮想平面座標系との座標変換関係を構築する。
【０１２４】
これに基づいて、本実施例の一実現形態では、第１の実施例のＳ１０２における「前記現実画像に応じて仮想画像を生成する」ことは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像に変換することを含んでもよい。この実現形態では、現実画像中の各画素点の現実平面座標系における座標を確定し、次に上記式（１）〜（２）及び（６）〜（８）により各画素点の仮想平面座標系における座標を算出し、現実画像中の画素点に対して座標位置変換を行うことにより、仮想画像を生成する。
【０１２５】
目標車両と左側車両とが異なる相対的位置に位置する場合、右側車両の車輪が現実画像で異なる形状となり、特に右側車両が目標車両に近すぎると、右側車両の車輪が現実画像でわずかな特徴しかなく、当該車輪が仮想画像に多くの特徴を有し、そして、異なる第２の視角が採用される場合に、異なる相対的位置の車輪は、類似する形状を示し、つまり、本実施例は目標車両と右側車両との間の相対的位置関係の制限を受けず、適切な第２の視角を採用すれば、右側車両の類似車輪形状を検出することができ、これにより右側車両の位置の確定を容易にすることと理解される。
【０１２６】
これに基づいて、本実施例の一実現形態において、第１の実施例のＳ１０２における「前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する」ことは、具体的に、右側車両の車輪の検出結果により、右側車両の位置情報を確定してもよい。図１０に示すように、具体的に、以下のステップを含むことができる。
【０１２７】
Ｓ１００１において、前記仮想画像で車輪を検出して、仮想車輪領域を取得する。
【０１２８】
仮想画像における車輪を関心領域（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ、ＲＯＩと略称する）として検出し、本実施例では、検出された車輪ＲＯＩを仮想車輪領域と称する。
【０１２９】
一つの具体的実施形態において、Ｓ１００１は、具体的に、車輪認識モデルを利用して、前記仮想画像で車輪を検出することを含んでもよい。この実施形態において、予め大量の車輪を含む車両サンプル画像を収集する必要があり、大量の車両サンプル画像中の車輪特徴に対して学習を行って、車輪を認識するための車輪認識モデルを取得し、このように、仮想画像を生成した後、当該車輪認識モデルにより仮想画像中の車輪を検出することができる。
【０１３０】
なお、上記第２の実施例及び本実施例はともに車輪認識モデルを用いる必要があり、上記第２の実施例及び本実施例の車輪認識モデルが同一のモデルであると、一回だけトレーニングすればよく、もちろん、左側車両と右側車両とにそれぞれ車輪認識モデルをトレーニングしてもよい。
【０１３１】
具体的実現の際、仮想画像の検出領域内でスライディングウィンドウを用いて車輪サンプルを採集し、検出する。図７に示すように、本実施例において右前の領域を検出する必要があり、横方向と縦方向に０．３メートル又は他の長さをステップサイズとし、スライディングウィンドウが採集した車輪サンプルを取得し、前記車輪認識モデルにより、１フレームごとの採集画像中の車輪の検出結果を得る。
【０１３２】
Ｓ１００２において、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得する。
【０１３３】
本実現形態では、仮想車輪領域中の各画素点の仮想平面座標系における座標を確定し、次に上記式（１）〜（２）及び（６）〜（８）により各画素点の現実平面座標系における座標を算出し、仮想画像中の画素点に対して座標位置変換を行うことで、変換された現実車輪領域を取得することができる。
【０１３４】
Ｓ１００３において、前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得し、なお、当該側方車両は右側車両である。
【０１３５】
この実現形態において、現実車輪領域中の各画素点の現実平面座標系における座標を確定し、次に、上記式（１）〜（２）及び（６）〜（８）における相関式により、各画素点の現実世界座標系における座標を算出でき、即ち、右側車両車輪の現実世界系における座標を確定し、右側車両車輪の現実世界座標系における座標を確定すると、右側車両とその車輪との位置関係に応じて、右側車両の目標車両に対する位置を確定することができる。
【０１３６】
実際の応用において、当該実施例が目標車両のＦＣＷシステムに応用されると、右側車両と目標車両との距離が近いと確定された場合、光、音、振動などの形で運転者に警告でき、当該実施例が目標車両のＡＣＣシステムに応用されると、右側車両と目標車両との距離が近いと確定された場合、目標車両と右側車両との間隙を制御することで目標車両の運転安全を確保できる。
【０１３７】
さらに、上記ステップＳ１００１において、車輪認識モデルは仮想画像で車輪を検出する場合に、検出結果に一部の誤認識ある可能性があり、これにより、ステップＳ１００２にて得た領域画像に非車輪領域が存在してしまう。従って、本実施例では、リアルタイムに目標車両の側方車両車輪に対してオプティカルフロー追跡を行って、現時点での現実車輪領域を取得し、即ち、オプティカルフロー追跡された現実車輪領域を取得することで、オプティカルフロー追跡した現実車輪領域を利用して、ステップＳ１００２での非車輪領域を除去するようにする。
【０１３８】
なお、前記した現時点での現実車輪領域を取得する、即ちオプティカルフロー追跡された現実車輪領域を取得することは、具体的に、現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、補完されたオプティカルフロー追跡画像に応じて、側方車両車輪の現実車輪領域を得ることを含んでもよい。具体的には、既存のオプティカルフロー追跡方法は、追跡画像のエッジに位置する目標物体の追跡効果が理想的ではなく、本実施例における目標物体が右側車両車輪であり、右側車両車輪はほとんどの時間追跡画像の右側に現れるので、本実施例は追跡画像に対してエッジ補完を行い、例えば、画像のエッジに白い領域を増加し、次にピラミッドＬＫ（Ｌｕｃａｓ  Ｋａｎａｄｅ）オプティカルフロー方を採用して、補完画像において車輪追跡を行うことにより、追跡結果の精度を向上させることができる。
【０１３９】
上記内容に基づいて、本実施例の一実現形態において、上記ステップＳ１００２の後には、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得することをさらに含んでもよい。本実施形態において、オプティカルフロー追跡結果を取得した後、それとステップＳ１００２での画像変換結果とをフュージョンすることで、画像変換結果における非車輪領域を除去し、そして、フュージョンされた現実車輪領域を利用して後続するステップＳ１００３を実行する。
【０１４０】
さらに、フュージョンされた現実車輪領域について、非車輪領域が存在する可能性があり、車輪検出結果の精度を確保するために、本実施例の一実現形態において、フュージョンされた現実車輪領域を取得した後には、現時点よりも前の一つの歴史時点又は複数の連続歴史時点について各歴史時点に対応する最終的現実車輪領域を取得し、歴史時点に対応する最終的現実車輪領域に応じて、フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、当該非車輪領域を除去することをさらに含んでもよい。本実現形態において、フォワード関連の方式を採用して、現時点よりも前の最も近い検出時点又は複数の最も近い連続時刻を取得し、これらの検出時点はいずれも歴史時点であり、各歴史時点を前記現時点とすると、現実画像に基づいて右側車両の車輪を検出し、最終的現実車輪領域を取得し、現時点とこれらの歴史時点とが連続時間点を構成するので、検出された車輪領域に基づいて、この一連の時点における車輪の変化状況を確定してもよく、車輪変化位置が連続するはずであり、故に、これを基に現時点に対応するフュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、これにより、非車輪領域を除去し、そして、除去操作を経て得られた現実車輪領域を利用して後続のステップＳ１００３を実行してもよい。
【０１４１】
以上より、本実施例は、座標変換関係により、現実画像を仮想画像へ変換してもよく、仮想画像で車輪を検出し、車輪検出結果によって目標車両の右側車両の位置情報を確定してもよい。具体的に、機械学習、オプティカルフロー追跡、及びマルチ時点画像関連付けなどの結合方式により、車輪領域を検出することで、車輪検出結果の精度を向上させ、これにより、左側車両の位置検出結果の精度を向上させることができる。
【０１４２】
第四実施例
図１１を参照して、本実施例が提供する車両位置検出装置の構成模式図であり、当該装置は、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得するための現実画像取得ユニット１１０１と、
前記現実画像に応じて仮想画像を生成するための仮想画像生成ユニット１１０２と、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定するための車両位置確定ユニット１１０３とを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向で所定の角度だけ回転された視角である。
【０１４３】
実施例の一実現形態において、前記プリセット角度は第１の角度又は第２の角度であり、前記第１の視角は前記固定視角が水平方向に反時計回りに第１の角度だけ回転された視角であり、前記第２の視角は前記固定視角が水平方向に時計回りに第２の角度だけ回転された視角であり、
それに対応して、前記プリセット角度が前記第１の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第２の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であってもよい。
【０１４４】
実施例の一実現形態において、前記装置は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築するための変換関係構築ユニットをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する２次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する２次元座標系であり、
前記仮想画像生成ユニット１１０２は、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換するために用いられてもよい。
【０１４５】
実施例の一実現形態において、前記変換関係構築ユニットは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である現実装置座標系との間の座標変換関係を構築するための第１の構築サブユニットと、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築するための第２の構築サブユニットと、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築するための第３の構築サブユニットと、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された３次元座標系である仮想装置座標系との間の座標変換関係を構築するための第４の構築サブユニットと、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築するための第５の構築サブユニットとを含む。
【０１４６】
実施例の一実現形態において、前記車両位置確定ユニット１１０３は、
前記仮想画像で車輪を検出して、仮想車輪領域を取得するための仮想車輪検出サブユニットと、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得するための現実車輪取得サブユニットと、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得するための車輪位置確定サブユニットとを含んでもよい。
【０１４７】
実施例の一実現形態において、前記装置は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得するための認識モデル作成ユニットをさらに含み、
前記仮想車輪検出サブユニットは、具体的に、前記車輪認識モデルを利用して、前記仮想画像で車輪を検出するために用いられてもよい。
【０１４８】
実施例の一実現形態において、前記装置は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得するためのオプティカルフロー追跡ユニットをさらに含み、
前記車両位置確定ユニット１１０３は、
変換された現実車輪領域を取得した後、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得するための車輪フュージョンサブユニットをさらに含んでもよい。
【０１４９】
実施例の一実現形態において、前記オプティカルフロー追跡ユニットは、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うためのオプティカルフロー追跡サブユニットと、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行うためのエッジ補完サブユニットと、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得するための領域取得サブユニットとを含む。
【０１５０】
実施例の一実現形態において、前記車両位置確定ユニット１１０３は、
フュージョンされた現実車輪領域を取得した後、前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得するための歴史車輪取得サブユニットと、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去するための領域除去サブユニットとをさらに含んでもよい。
【０１５１】
さらに、本願の実施例は、プロセッサー、メモリ、システムバスを含む車両位置検出装置を提供し、
前記プロセッサー及び前記メモリは前記システムバスを介して互いに接続し、
前記メモリは、コマンドを含む一つ又は複数のプログラムを記憶するためのものであり、前記コマンドが前記プロセッサーに実行される場合に前記プロセッサーに上記車両位置検出方法のいずれかの実現方法を実行させる。
【０１５２】
さらに、本願の実施例は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体にコマンドが記憶されており、前記コマンドが端末装置で実行される場合に、前記端末装置に上記車両位置検出方法のいずれかの実現方法を実行させる。
【０１５３】
さらに、本願の実施例は、また、コンピュータープログラム製品を提供し、前記コンピュータープログラム製品が端末で実行される場合に、前記端末装置に上記車両位置検出方法のいずれかの実現方法を実行させる。
【０１５４】
上記実施形態の記述により、当業者であれば、上記実施例に係る方法のステップの全部または一部がソフトウェアと必要な汎用ハードウェアプラットフォームにより実現されてもよいことを容易に理解可能である。 このような理解に基づいて、本発明の技術案は、本質的又は従来技術に寄与する部分がコンピュータソフトウェア製品として具現化されてもよく、このコンピュータソフトウェア製品は、ＲＯＭ／ＲＡＭ、磁気ディスク、及び光ディスク等の記憶媒体に格納されていてもよく、一台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はメディアゲートウェイ等のネットワーク通信装置であってもよい）に本願の各実施例又は実施例の一部を実行させることを可能にするように、複数のコマンドを含む。
【０１５５】
なお、本明細書の各実施例は、プログレッシブ方式で記述しており、各実施例は、他の実施例との差異に重点を置いている。各実施例間で同一又は同様の部分については、相互に参照すればよい。実施例に開示されている装置については、実施例に開示されている方法に対応するため、相関するところについて、方法の説明を参照すればよい。
【０１５６】
また、なお、本明細書において、各例の「第１」と「第２」等などの関係用語は、ただ一つの実体又は操作と他の一つの実体又は操作と区分するための用語であり、これらの実体又は操作同士にこのような実際の関係又は順序が存在することが示唆されていない。且つ、用語である「含む」や「包含」又は他の変更用語は、非排他的包含もカバーする。一連の要素を含む過程、方法、物品又はデバイスは、それらの要素だけでなく、明確に記載されていない他の要素や、この過程、方法、物品又はデバイスに固有された要素を含んでもよい。さらに限定されていない場合、「一つの…を含む」で限定された要素は、前記要素の過程、方法、物品又はデバイスにその他の同じ要素も含まれることを排除しない。
【０１５７】
開示されている実施例についての上記説明は、当業者に、本願を実現又は使用できるようにする。これらの実施例についての各種の修正は、当業者にとって自明であり、この明細書に定義している一般的原理は、本願の精神又は範囲から逸脱しない場合に、他の実施例において実現されることができる。従って、本願はこの明細書に示すこれらの実施例に限定されず、この明細書に開示されている原理と新規な特点に一致する最も広い範囲に合わせる。
【図１】
2019196164.tif 000137
【図２】
2019196164.tif 000138
【図３ａ】
2019196164.tif 000139
【図３ｂ】
2019196164.tif 000140
【図４ａ】
2019196164.tif 000141
【図４ｂ】
2019196164.tif 000142
【図５ａ】
2019196164.tif 000143
【図５ｂ】
2019196164.tif 000144
【図５ｃ】
2019196164.tif 000145
【図５ｄ】
2019196164.tif 000146
【図６】
2019196164.tif 000147
【図７】
2019196164.tif 000148
【図８ａ】
2019196164.tif 000149
【図８ｂ】
2019196164.tif 000150
【図８ｃ】
2019196164.tif 000151
【図８ｄ】
2019196164.tif 000152
【図８ｅ】
2019196164.tif 000153
【図８ｆ】
2019196164.tif 000154
【図９】
2019196164.tif 000155
【図１０】
2019196164.tif 000156
【図１１】
2019196164.tif 000157