(57)【要約】      （修正有）【課題】側方の車両を正確に測位するための側方の車両測位のための方法及び装置を提供する。【解決手段】原画像を補正画像に変換するステップと、補正画像の検出領域内の車輪特徴を検出し、補正画像内の車輪特徴を含むサブ画像の位置を取得するステップと、車輪特徴を含むサブ画像内の円特徴を検出するステップと、円検出結果を取得し、円検出結果に基づいて側方の車両測位情報を取得するステップとを含む。原画像は、画像取得装置により撮影された画像であり、補正画像は、仮想カメラの画角のもとで原画像に対応する画像であり、円検出結果は、円特徴の円中心の位置と円特徴の半径とを含む。【選択図】図１
2019028967.tif 000002
【特許請求の範囲】
【請求項１】
側方の車両測位のための方法であって、
前記方法は、
原画像を補正画像に変換するステップと、
補正画像の検出領域内の車輪特徴を検出して、補正画像内のサブ画像の位置を取得するステップと、
車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するステップと、
円検出結果に基づいて側方の車両測位情報を取得するステップとを含み、
前記原画像は、画像取得装置により撮影された画像であり、前記補正画像は、原画像に対応する仮想カメラの画角下の画像であり、
前記サブ画像は、車輪特徴を含み、
前記円検出結果は、補正画像内の円形特徴の中心の位置及び円形特徴の半径を含む方法。
【請求項２】
複数フレームの原画像のそれぞれに基づいて側方の車両測位情報を取得し、側方の車両測位情報に基づいて側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得するステップをさらに含む請求項１の方法。
【請求項３】
前記原画像を補正画像に変換するステップは、
補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップと、
マッピング関係に基づいて原画像を補正画像としてマッピングするステップと、
を含む請求項１の方法。
【請求項４】
前記画像取得装置は、魚眼カメラであり、前記補正画像内の画素の位置と原画像内の画素の位置との全単射写像関係を確立するステップは、
補正画像により使用される画像座標系と仮想カメラが位置する座標系との間のマッピング関係に基づいて、補正画像内の画素の位置に対する仮想カメラが位置する座標系における第１のマッピング位置を計算するステップと、
第１のマッピング位置と、仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する世界座標系における第２のマッピング位置を計算するステップと、
第２のマッピング位置と、世界座標系と魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する魚眼カメラが位置する座標系における第３のマッピング位置を計算するステップと、
第３のマッピング位置と、魚眼カメラの歪みパラメータとに基づいて、補正画像内の画素の位置に対する原画像により用いられる画像座標系における第４のマッピング位置を計算するステップと、
補正画像内の画素の位置に対して計算される原画像により用いられる画像座標系における第４のマッピング位置に基づいて、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップを含む請求項３の方法。
【請求項５】
前記補正画像の検出領域内の車輪特徴を検出し、補正画像内の車輪特徴を含むサブ画像の位置を取得するステップは、
サイドレーンの所定領域の位置を補正画像にマッピングし、補正画像の検出領域を取得するステップと、
補正画像の検出領域内の検出ボックスを移動させ、予め学習された車輪分類器で検出ボックス内の車輪特徴を検出し、車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として設定するステップと、
補正画像内の車輪特徴を含むサブ画像の位置を取得するステップとを含む請求項１の方法。
【請求項６】
前記車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するステップは、
車輪特徴を含むサブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するステップと、
グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標点の傾きが所定の条件を満たす、座標点の傾き方向を計算するステップと、
所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算するステップと、
補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するステップとを含む請求項１の方法。
【請求項７】
前記円検出結果に基づいて、側方の車両測位情報を取得するステップは、
複数の円検出結果をマージし、マージした円検出結果の円形特徴の中心の位置を補正画像にマッピングして世界座標系に変換して、側方の車両測位情報を取得するステップを含む請求項１の方法。
【請求項８】
側方の車両測位のための装置であって、
前記装置は、
原画像を補正画像に変換するように構成された変換ユニットと、
補正画像の検出領域内の車輪特徴を検出し、補正画像内のサブ画像の位置を取得するように構成された第１の検出ユニットと、
車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するように構成された第２の検出ユニットと、
円検出結果に基づいて側方の車両測位情報を取得するように構成された取得ユニットとを含み、
前記原画像は、画像取得装置により撮影された画像であり、前記補正画像は、原画像に対応する仮想カメラの画角下の画像であり、
前記サブ画像は、車輪特徴を含み、
前記円検出結果は、補正画像内の円形特徴の中心の位置及び円形特徴の半径を含む装置。
【請求項９】
複数フレームの原画像のそれぞれに基づいて側方の車両測位情報を取得し、側方の車両測位情報に基づいて側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得すように構成された追尾ユニットをさらに含む請求項８の装置。
【請求項１０】
前記変換ユニットは、
補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するように構成された第１の確立サブユニットと、
マッピング関係に基づいて原画像を補正画像としてマッピングするように構成された第１のマッピングサブユニットとを含む請求項８の装置。
【請求項１１】
前記画像取得装置は、魚眼カメラであり、前記第１の確立サブユニットは、
補正画像により使用される画像座標系と仮想カメラが位置する座標系との間のマッピング関係に基づいて、補正画像内の画素の位置に対する仮想カメラが位置する座標系における第１のマッピング位置を計算するように構成された第１の計算サブユニットと、
第１のマッピング位置と、仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する世界座標系における第２のマッピング位置を計算するように構成された第２の計算サブユニットと、
第２のマッピング位置と、世界座標系と魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する魚眼カメラが位置する座標系における第３のマッピング位置を計算するように構成された第３の計算サブユニットと、
第３のマッピング位置と、魚眼カメラの歪みパラメータとに基づいて、補正画像内の画素の位置に対する原画像により用いられる画像座標系における第４のマッピング位置を計算するように構成された第４の計算サブユニットと。
補正画像内の画素の位置に対して計算される原画像により用いられる画像座標系における第４のマッピング位置に基づいて、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するように構成される第２の確立サブユニットとを含む請求項１０の装置。
【請求項１２】
前記第１の検出ユニットは、
サイドレーンの所定領域の位置を補正画像にマッピングし、補正画像の検出領域を取得するように構成された第２のマッピングサブユニットと、
補正画像の検出領域内の検出ボックスを移動させ、予め学習された車輪分類器で検出ボックス内の車輪特徴を検出し、車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として設定するように構成された検出サブユニットと、
補正画像内の車輪特徴を含むサブ画像の位置を取得するように構成された取得サブユニットとを含む請求項８の装置。
【請求項１３】
前記第２の検出ユニットは、
車輪特徴を含むサブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するように構成された変換サブユニットと、
グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標点の傾きが所定の条件を満たす、座標点の傾き方向を計算するように構成された第５の計算サブユニットと、
所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算する第６の計算サブユニットと、
補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するように構成された選択サブユニットとを含む請求項８の装置。
【請求項１４】
前記取得ユニットは、
複数の円検出結果をマージし、マージした円検出結果の円形特徴の中心の位置を補正画像にマッピングして世界座標系に変換して、側方の車両測位情報を取得するように構成される請求項８の装置。
【請求項１５】
端末装置により実行されたときに、端末装置が、請求項１ないし請求項７のうちいずれか１項に係る側方の車両測位のための方法を実行するように構成された命令を記憶するコンピュータ可読記憶媒体。
【請求項１６】
端末装置により実行されたときに、コンピュータプログラム製品は、端末装置が、請求項１ないし請求項７のうちいずれか１項に係る側方の車両測位のための方法を実行するように構成されるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両制御の技術分野に関し、特に、側方の車両測位のための方法、装置、記憶媒体及びコンピュータプログラム製品に関する。
【背景技術】
【０００２】
運転者支援システムのために、正確な側方の車両測位は、正しい警告のために重要である。例えば、死角検出システムにより、死角にある車両の位置をリアルタイムに検出することができる。死角に車両がある場合に、ターンシグナルが点灯すると、システムは、運転の安全を確保するために、光、音、振動又はその他の形で、運転者に警告することがある。他の例では、いずれかの側の車両が割り込むために車線変更した場合に、前方衝突防止システムによる正確な判断は、割り込んだ車両がシステムを設置している車両の前方の領域を占有しているかどうかが、警告するか否かを判定するために重要である。上記の機能の両方は、いずれかの側の車両とシステムを備えた車両との間の相対位置関係を取得することを必要とする。
【０００３】
従来技術では、側方の車両測位を実現する方法は、大きく２つのカテゴリーに分類することができる。１つのカテゴリーは、デュアルカメラ方式であり、例えば、車両の前後に２台のカメラを設置し、２台のカメラの光学中心が平行になるようにする。特徴点の３次元位置は、２つの画像内の点の位置の関係から計算して、側方の車両の位置を得ることができる。しかしながら、この方法は、２台のカメラの高い取り付け精度を必要とし、その結果、コスト高になる。他のカテゴリーは、シングルカメラ方式である。例えば、車両の前後に設置された魚眼カメラを介して、車両の特徴を用いて、他の車両の大まかな位置を認識する。この方法は、低コストであり、他の車両の位置決め精度が低い。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以上のことから、従来の技術では、１台のカメラによる側方の車両の測位精度が低いという技術的課題に対処するために、本開示に係る方法、装置、記憶媒体及びコンピュータプログラム製品を提供する。
【課題を解決するための手段】
【０００５】
上記問題に対処するために、本開示に従って、以下の技術的解決法が提供される。
【０００６】
側方の車両測位の方法であって、前記方法は、以下のステップを含む。
【０００７】
原画像を補正画像に変換するステップ、ここで、原画像は、画像取得装置により撮影された画像であり、補正画像は、原画像に対応する仮想カメラの画角の画像である。
【０００８】
補正画像の検出領域内の車輪特徴を検出して、補正画像内のサブ画像の位置を取得するステップ、サブ画像は、車輪特徴を含む。
【０００９】
車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するステップ、ここで、円検出結果は、円形特徴の中心の位置及び円形特徴の半径を含む。
【００１０】
円検出結果に基づいて側方の車両測位情報を取得するステップ。
【００１１】
これに対応して、前記方法は、以下のステップを含む。
【００１２】
複数フレームの原画像のそれぞれに基づいて側方の車両測位情報を取得し、側方の車両測位情報に基づいて側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得するステップ。
【００１３】
これに対応して、原画像を補正画像に変換するステップは、以下のステップを含む。
【００１４】
補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップ。
【００１５】
マッピング関係に基づいて原画像を補正画像としてマッピングするステップ。
【００１６】
これに対応して、画像取得装置は、魚眼カメラであり、補正画像内の画素の位置と原画像内の画素の位置との全単射写像関係を確立するステップは、以下のステップを含む。
【００１７】
補正画像により使用される画像座標系と仮想カメラが位置する座標系との間のマッピング関係に基づいて、補正画像内の画素の位置に対する仮想カメラが位置する座標系における第１のマッピング位置を計算するステップ。
【００１８】
第１のマッピング位置と、仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する世界座標系における第２のマッピング位置を計算するステップ。
【００１９】
第２のマッピング位置と、世界座標系と魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する魚眼カメラが位置する座標系における第３のマッピング位置を計算するステップ。
【００２０】
第３のマッピング位置と、魚眼カメラの歪みパラメータとに基づいて、補正画像内の画素の位置に対する原画像により用いられる画像座標系における第４のマッピング位置を計算するステップ。
【００２１】
補正画像内の画素の位置に対して計算される原画像により用いられる画像座標系における第４のマッピング位置に基づいて、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップ。
【００２２】
これに対応して、補正画像の検出領域内の車輪特徴を検出し、補正画像における車輪特徴を含むサブ画像の位置を取得するステップ。
【００２３】
サイドレーンの所定領域の位置を補正画像にマッピングし、補正画像の検出領域を取得するステップ。
【００２４】
補正画像の検出領域内の検出ボックスを移動させ、予め学習された車輪分類器で検出ボックス内の車輪特徴を検出し、車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として設定するステップ。
【００２５】
補正画像内の車輪特徴を含むサブ画像の位置を取得するステップ。
【００２６】
これに対応して、車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するステップ。
【００２７】
車輪特徴を含むサブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するステップ。
【００２８】
グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標点の傾きが所定の条件を満たす、座標点の傾き方向を計算するステップ。
【００２９】
所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算するステップ。
【００３０】
補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するステップ。
【００３１】
これに対応して、円検出結果に基づいて、側方の車両測位情報を取得するステップは、以下のステップを含む。
【００３２】
複数の円検出結果をマージし、マージした円検出結果の円形特徴の中心の位置を補正画像にマッピングして世界座標系に変換して、側方の車両測位情報を取得するステップ。
【００３３】
側方の車両測位のための装置であって、前記装置は以下の構成を含む。
【００３４】
原画像を補正画像に変換するように構成された変換ユニット、ここで、原画像は、画像取得装置により撮影された画像であり、補正画像は、原画像に対応する仮想カメラの画角の画像である。
【００３５】
補正画像の検出領域内の車輪特徴を検出し、補正画像内のサブ画像の位置を取得するように構成された第１の検出ユニット、サブ画像は、車輪特徴を含む。
【００３６】
車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するように構成された第２の検出ユニット、ここで、円検出結果は、補正画像内の円形特徴の中心の位置及び円形特徴の半径を含む。
【００３７】
円検出結果に基づいて側方の車両測位情報を取得するように構成された取得ユニット。
【００３８】
これに対応して、前記装置は以下の構成を含む。
【００３９】
複数フレームの原画像のそれぞれに基づいて側方の車両測位情報を取得し、側方の車両測位情報に基づいて側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得すように構成された追尾ユニット。
【００４０】
これに対応して、変換ユニットは、以下の構成を含む。
【００４１】
補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するように構成された第１の確立サブユニット。
【００４２】
マッピング関係に基づいて原画像を補正画像としてマッピングするように構成された第１のマッピングサブユニット。
【００４３】
これに対応して、画像取得装置は、魚眼カメラであり、第１の確立サブユニットは、以下の構成を含む。
【００４４】
補正画像により使用される画像座標系と仮想カメラが位置する座標系との間のマッピング関係に基づいて、補正画像内の画素の位置に対する仮想カメラが位置する座標系における第１のマッピング位置を計算するように構成された第１の計算サブユニット。
【００４５】
第１のマッピング位置と、仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する世界座標系における第２のマッピング位置を計算するように構成された第２の計算サブユニット。
【００４６】
第２のマッピング位置と、世界座標系と魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する魚眼カメラが位置する座標系における第３のマッピング位置を計算するように構成された第３の計算サブユニット。
【００４７】
第３のマッピング位置と、魚眼カメラの歪みパラメータとに基づいて、補正画像内の画素の位置に対する原画像により用いられる画像座標系における第４のマッピング位置を計算するように構成された第４の計算サブユニット。
【００４８】
補正画像内の画素の位置に対して計算される原画像により用いられる画像座標系における第４のマッピング位置に基づいて、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するように構成される第２の確立サブユニット。
【００４９】
これに対応して、第１の検出ユニットは、以下の構成を含む。
【００５０】
サイドレーンの所定領域の位置を補正画像にマッピングし、補正画像の検出領域を取得するように構成された第２のマッピングサブユニット。
【００５１】
補正画像の検出領域内の検出ボックスを移動させ、予め学習された車輪分類器で検出ボックス内の車輪特徴を検出し、車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として設定するように構成された検出サブユニット。
【００５２】
補正画像内の車輪特徴を含むサブ画像の位置を取得するように構成された取得サブユニット。
【００５３】
これに対応して、第２の検出ユニットは、以下の構成を含む。
【００５４】
車輪特徴を含むサブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するように構成された変換サブユニット。
【００５５】
グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標点の傾きが所定の条件を満たす、座標点の傾き方向を計算するように構成された第５の計算サブユニット。
【００５６】
所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算する第６の計算サブユニット。
【００５７】
補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するように構成された選択サブユニット。
【００５８】
これに対応して、取得ユニットは、以下の構成を含む。
【００５９】
複数の円検出結果をマージし、マージした円検出結果の円形特徴の中心の位置を補正画像にマッピングして世界座標系に変換して、側方の車両測位情報を取得するように構成される取得ユニット。
【００６０】
コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体は、端末装置により実行されたときに、端末装置が、側方の車両測位のための方法を実行するように構成された命令を記憶する。
【００６１】
コンピュータプログラム製品が提供される。端末装置により実行されたときに、コンピュータプログラム製品は、端末装置が、側方の車両測位のための方法を実行するように構成される。
【００６２】
上記のとおり、本開示の実施形態により以下の利点が提供されることが分かる。
【００６３】
本開示の実施形態によれば、画像取得装置により撮影された原画像は、最初に平面補正画像に変換される。変換された補正画像は画像内の車輪が真円に近くなると、補正画像内の車輪特徴を検出し、次に、車輪特徴における円特徴を検出することができる。側方の他の車両は、明示的な円特徴の検出を通じて正確に測位され、それにより、単一のカメラによる側方の車両測位の精度を高める。
【図面の簡単な説明】
【００６４】
【図１】本開示の一実施形態に係る側方の車両測位のための方法のフローチャートである。
【図２】図２（ａ）は、本開示の一実施形態に係る仮想カメラの画角の概略図である。図２（ｂ）は、本開示の一実施形態に係る仮想カメラの画角の概略図である。
【図３】本開示の一実施形態に係る世界座標系の概略図である。
【図４】本開示の一実施形態に係る画素座標系の概略図である。
【図５】本開示の一実施形態に係る画像座標系の概略図である。
【図６】本開示の一実施形態に係るカメラ座標系の概略図である。
【図７】本開示の一実施形態に係るカメラ座標系と世界座標系との関係を示す概略図である。
【図８】図８（ａ）は、本開示の一実施形態に係る原画像の概略図である。図８（ｂ）は、本開示の一実施形態に係る補正画像の概略図である。
【図９】図９（ａ）は、本開示の一実施形態に係る原画像内の車輪部分の概略図である。図９（ｂ）は、本開示の一実施形態に係る補正画像内の車輪部分の概略図である。
【図１０】本開示の一実施形態に係るサイドレーンにおける所定領域の概略図である。
【図１１】本開示の一実施形態に係る車輪特徴検出結果の概略図である。
【図１２】本開示の一実施形態に係る車輪特徴を含むサブ画像の概略図である。
【図１３】本開示の一実施形態に係る円傾き方向の対称性の概略図である。
【図１４】本開示の一実施形態に係る円中心投影の概略図である。
【図１５】本開示の一実施形態に係る円検出結果の概略図である。
【図１６】本開示の一実施形態に係る側方の車両測位結果の概略図である。
【図１７】本開示の一実施形態に係る側方の車両測位のための装置の概略図である。
【発明を実施するための形態】
【００６５】
上記の目的、本開示の特徴及び利点のより良い理解及び明確性のために、以下では、本開示の実施形態を、図面及び特定の実施形態とともにさらに詳細に説明する。
【００６６】
従来の技術では、単一のカメラ（例えば、魚眼カメラ）による側方の車両測位は、車両の特徴により他の車両の大まかな位置を検出することができたが、正確な特徴を検出することができず、結果として、側方の車両測位の精度が低くなる。この問題に対処するために、本開示の一実施形態によれば、第１の仮想カメラ技術を用いて、画像取得装置により取得された原画像を補正画像に変換し、補正画像は、左側及び／又は右側の平面画像として理解され得る。補正画像内の車輪特徴を認識することにより車輪の近似位置を検出し、測位された車輪領域内の円検出により車輪の正確な位置が決定され、それにより、側方の車両の位置が計算される。さらに、円の特徴を追尾することにより、エラー認識を排除することができる。正確な特徴を認識することにより、本開示の実施形態により提供される側方の車両測位を達成する方法は、車両と側方の車両との間の位置関係を正確に取得することができる。
【００６７】
本開示の一実施形態に係り提供される側方の車両測位のための方法のフローチャートを示す図１を参照する。この実施形態は、ステップ１０１〜１０４を含む。
【００６８】
ステップ１０１において、原画像は、補正画像に変換される。原画像は、画像取得装置により撮影された画像であり、補正画像は、仮想カメラの画角のもとで原画像に対応する画像である。
【００６９】
画像取得装置は、車両に搭載され、車両の前方又は後方の画像を撮影することができる。画像取得装置により撮影された画像は、原画像として機能することができる。原画像は、本開示に係る側方の車両の位置を決めるために使用することができ、車両上の他の検出機能を達成するために使用することもでき、これは本開示により制限されない。画像取得装置は、魚眼カメラなような広角画像取得装置であってもよく、他のタイプの画像取得装置であってもよい。
【００７０】
画像取得装置により広角で撮影された画像の歪みの可能性のために、原画像に側方の車両画像の変形があり、原画像のいくつかの特定の特徴を直接検出することができない。したがって、原画像を補正画像に変換する必要がある。補正画像は、仮想カメラの画角のもとでの原画像に対応する画像であってもよい。
【００７１】
仮想カメラの画角を図２に示す。図２（ａ）は、左仮想カメラの画角であり、図２（ｂ）は、右仮想カメラの画角である。画像取得装置の画角を固定して、車両の前方又は後方を撮影する場合に、仮想カメラの画角は、次のように理解することができる。画像取得装置の画角は、仮想カメラの画角として仮想化され、仮想カメラの１つの画角のもとで、車両の片側が撮影される。したがって、左仮想カメラの画角は、次のように理解することができる。画像取得装置の画角は、仮想化され、車両の左側を仮想カメラにより撮影する左仮想カメラの画角を得ることができる。右仮想カメラの画角は、次のように理解することができる。画像取得装置の画角は、仮想化され、車両の右側を仮想カメラにより撮影する右仮想カメラの画角を得ることができる。
【００７２】
原画像を補正画像に変換する処理は、仮想カメラ技術を通して、車両の前方又は後方で広角に撮影された原画像を、車両の側方に対する平面画像ショットに変換することとして、理解することができる。
【００７３】
実際の応用では、原画像を車両の左側と右側の補正画像に変換し、車両のいずれかの側の補正画像に変換することもできる。仮想カメラの構成に基づいて変換処理を行ってもよい。
【００７４】
ステップ１０２では、補正画像の検出領域内の車輪特徴を検出し、補正画像内の車輪特徴を含むサブ画像の位置を取得する。
【００７５】
車両の側方前方及び側方後方は、車両の側方に、他の車両が存在するかどうかを検出するための重要な領域である。サイドレーンの所定の領域の位置を補正画像にマッピングして、補正画像の検出領域を取得することができる。サイドレーンには所定領域が複数存在し、補正画像には複数の検出領域が存在してもよい。
【００７６】
実際の応用では、検出ボックスを各検出領域に所定のステップサイズで移動させることができ、検出ボックスのサイズは予め定めることができる。次いで、学習された車輪分類器を採用し、検出ボックスが車輪特徴を含むかどうかを検出することができ、それにより、車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として取得し、補正画像内の車輪特徴を含むサブ画像の位置を取得することができる。
【００７７】
ステップ１０３では、車輪特徴を含むサブ画像内の円特徴を検出し、円検出結果を取得する。円検出結果は、補正画像内の円特徴の中心の位置と、円特徴の半径とを含む。
【００７８】
円特徴は、車輪特徴でさらに検出され、それにより、円特徴の中心の位置及び半径を介して正確に側方の車両の位置を決定することができる。
【００７９】
ステップ１０４では、円検出結果に基づいて側方の車両測位情報を取得する。
【００８０】
実施形態では、車輪特徴の各サブ画像に対して円特徴の検出を行い、同一円に対応する複数の円検出結果を得ることができる。これにより、複数の円検出結果をマージすることができ、マージした円検出結果の円特徴を最終的に用いて側方の車両の位置を特定することができる。本発明のいくつかの可能な実施形態では、補正画像内のマージされた円検出結果の円の特徴の中心の位置は、世界座標系にマッピングされ、側方の車両測位情報を取得することができる。
【００８１】
上記ステップの具体的な実施処理は、以下の実施形態でさらに例示される。
【００８２】
このように、本開示の一実施形態によれば、魚眼カメラにより撮影された歪みを有する原画像は、まず平面補正画像に変換される。変換補正画像における車輪が真円に近くなるように、車輪特徴が補正画像内で検出することができ、次いで、円特徴が車輪特徴内に検出される。側方の車両は、正確な円特徴の検出により正確に位置決めされ、それにより、単一のカメラによる側方の車両測位の精度を高める。
【００８３】
以下では、ステップ１０１の実施処理が示される。以下の説明の便宜上、本開示の実施形態に含まれる画素座標系、画像座標系、カメラ座標系、世界座標系、及びこれらの座標系間の変換関係が最初に導入される。本実施形態では、図示のために魚眼カメラを画像取得装置の一例として説明する。
【００８４】
魚眼カメラの設置位置と世界座標系を図３に示す。カメラ撮像においてセットツーセット関係に対応して、世界座標系（Ｏ，Ｘ，Ｙ，Ｚ）及び画素座標系（ｕ，ｖ）は確立される。
【００８５】
実際の応用では、世界座標系の原点Ｏは、魚眼カメラの垂直中心線と地面との交点で確立することができ、Ｘ軸は、車両の長手方向軸に沿って前方を指し、Ｙ軸は、車両の長手方向軸に対して右方向に垂直を指し、Ｚ軸は、車両に対して垂直上向きを指すことができる。世界座標系における物体の位置は、世界座標系における座標により識別することができる。世界座標系の単位は、メートルであることができる。座標系間で次のような変換演算を行う場合には、世界座標系の座標単位をミリメートルに変換して以降の演算を行ってもよい。世界座標系の確立は、実際の状態に適合でき、原点の位置及び世界座標系の各軸の方向は、本開示により限定されるものではない。
【００８６】
図４を参照すると、画素座標系（ｕ，ｖ）の原点Ｏ０は、画像の左上コーナに確立され、水平座標ｕ及び垂直座標ｖは、それぞれ画像の行と列に対応する。画素座標系は、カメラの感光性要素内の物理的位置を表すことができ、画素座標系の単位は、ミリメートルであることができる。
【００８７】
図５を参照すると、画像座標系（ｘ，ｙ）の原点Ｏ１は、画像座標の中心点であり、水平座標ｘ及び垂直座標ｙは、それぞれ画像の行と列に対応する。画像座標系は、画像内の画素位置に対応し、単位は、画素であってもよい。
【００８８】
画素座標系における画像座標系の原点Ｏ１の座標を（ｕ０，ｖ０）、水平軸ｘ及び垂直軸ｙ上の各画素の物理的な大きさをｄｘ及びｄｙとすると、画像座標系と画素座標系との間の関係は、次の式で表される。
【数１】
2019028967.tif 000003
【数２】
2019028967.tif 000004
ここで、（ｕ０，ｖ０）は、カメラの感光性要素の物理的中心である。画素座標系の単位をミリメートルとすると、ｄｘの単位は、ミリメートル／画素である。ｘ／ｄｘの単位は、画素であり、画素座標系の単位と互換性がある。
【００８９】
上記の式によれば、画像座標系における座標（ｘ，ｙ）と画素座標系における（ｕ，ｖ）との変換関係が得られる。
【数３】
2019028967.tif 000005
（式１）
【００９０】
上記（式１）の逆数によれば、画素座標系における座標（ｕ，ｖ）と画像座標系における（ｘ，ｙ）との変換関係が得られる。
【数４】
2019028967.tif 000006
（式２）
【００９１】
図６を参照すると、カメラ座標系の概略図が示されている。カメラ座標系の原点Ｃは、カメラの光学中心であり、Ｚｃは、カメラの光軸であり、像平面に垂直であり、Ｏ−Ｏ１は、カメラの焦点距離である。本実施形態では、カメラは、魚眼カメラ、仮想カメラ、又は他の画像取得装置であってもよく、魚眼カメラ及び仮想カメラは、それぞれのカメラ座標系に配置されてもよい。
【００９２】
カメラ座標系と画像座標系との間の関係は、次の式で表される。
【数５】
2019028967.tif 000007
【数６】
2019028967.tif 000008
ここで、ｆは、焦点距離である。
【００９３】
上記式によれば、カメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）と画像座標系における座標（ｘ，ｙ）との変換関係が得られる。
【数７】
2019028967.tif 000009
（式３）
【００９４】
上記（式３）の逆数によれば、画像座標系における座標（ｘ，ｙ）とカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）との変換関係が得られる。
【数８】
2019028967.tif 000010
（式４）
【００９５】
図７に示すように、カメラの位置を記述するために世界座標系が導入される。カメラ座標系は、回転及び変換により世界座標系にマッピングすることができ、任意の次元の回転は、座標ベクトルの積と適切な行列により表すことができる。世界座標系では、回転行列Ｒと変換ベクトルＴの２つのパラメータがある。例えば、他の座標系Ｂの回転と変換により座標系Ａを求めることができれば、座標系Ｂの座標は、座標系Ａの対応する座標に回転行列Ｒを掛け、さらに変換行列Ｔを加えることにより得ることができる。変換ベクトルＴは、２つの座標系の原点間のオフセットであってもよい。
【００９６】
したがって、世界座標系の座標（Ｘｗ，Ｙｗ，Ｚｗ）とカメラ座標系の座標（Ｘｃ，Ｙｃ，Ｚｃ）との間の変換関係は、次の式で表される。
【数９】
2019028967.tif 000011
（式５）
【００９７】
具体的には、空間点は、カメラ座標系における座標Ｐｃ（Ｘｃ，Ｙｃ，Ｚｃ）を有し、世界座標系における座標Ｐ０（Ｘｗ，Ｙｗ，Ｚｗ）を有するものとする。また、世界座標系は、カメラ座標系Ｘ軸周りにθ１、Ｙ軸周りにθ２、Ｚ軸周りにθ３を回転することにより、次いで、Ｔ（Ｘ０，Ｙ０，Ｚ０）変換することにより、得られるものとする。
【００９８】
したがって、空間ジオメトリに基づいて、カメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）と世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）との間の変換関係は、次の式で表される。
【数１０】
2019028967.tif 000012
（式６）
【００９９】
上記式６の逆数によれば、世界座標系における座標（Ｘｗ，Ｙｗ，Ｚｗ）とカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）との間の変換関係は、次の式で得られる。
【数１１】
2019028967.tif 000013
（式７）
【０１００】
画素座標系、画像座標系、カメラ座標系、世界座標系、及びこれら座標系の間の変換関係を上記に示めされる。以下では、ステップ１０１の具体的な実施処理が、上記の説明と合わせて示される。ステップ１０１の実施処理は、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップと、マッピング関係に基づいて原画像を補正画像としてマッピングするステップとを含む。
【０１０１】
そして、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップは、以下のステップを含む。
【０１０２】
補正画像により使用される画像座標系と仮想カメラが位置する座標系との間のマッピング関係に基づいて、補正画像内の画素の位置に対する仮想カメラが位置する座標系における第１のマッピング位置を計算するステップ。
【０１０３】
第１のマッピング位置と、仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する世界座標系における第２のマッピング位置を計算するステップ。
【０１０４】
第２のマッピング位置と、世界座標系と魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する魚眼カメラが位置する座標系における第３のマッピング位置を計算するステップ。
【０１０５】
第３のマッピング位置と、魚眼カメラの歪みパラメータとに基づいて、補正画像内の画素の位置に対する原画像により用いられる画像座標系における第４のマッピング位置を計算するステップ。
【０１０６】
第４のマッピング位置と、補正画像内の画素の位置とに基づいて、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するステップ。
【０１０７】
すなわち、原画像のある点の座標系をＰ’（Ｘ’，Ｙ’）とし、補正画像のある点の座標をＰ（Ｘ，Ｙ）とし、仮想カメラの焦点距離をｆ＝１，Ｚｃ＝１とすると、上記式４は、補正画像が用いる画像座標系と仮想カメラが位置する座標系（カメラ座標）との間のマッピング関係となる。式４により、仮想カメラが位置する座標系における第１マッピング位置Ｐｃ（Ｘｃ，Ｙｃ，Ｚｃ）を補正画像における画素位置Ｐ（Ｘ，Ｙ）に対して計算することができる。
【０１０８】
仮想カメラの外部パラメータを（θ１，θ２，θ３，Ｘ０，Ｙ０，Ｚ０）とすると、上記式６は、仮想カメラが位置する座標系（カメラ座標）と世界座標系との間のマッピング関係となる。式６により、世界座標系における第２のマッピング位置Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）を補正画像における画素位置Ｐ（ｘ，ｙ）に対してさらに計算することができる。仮想カメラの外部パラメータは、カメラ座標系から世界座標系に変換する際に、回転行列と変換行列を設定する。
【０１０９】
魚眼カメラの外部パラメータをθ１ｆ，θ２ｆ，θ３ｆ，Ｘｆ，Ｙｆ，Ｚｆとすると、上記式７は、世界座標系と魚眼カメラが位置する座標系（カメラ座標系）との間のマッピング関係となる。式７により、魚眼カメラが位置する座標系における第３のマッピング位置Ｐｆｃ（Ｘｆｃ，Ｙｆｃ，Ｚｆｃ）を補正画像における画素位置Ｐ（ｘ、ｙ）に対してさらに計算することができる。同様に、魚眼カメラの外部パラメータは、カメラ座標系から世界座標系に変換する際に、回転行列と変換行列を設定する。換言すれば、式７におけるθ１，θ２，θ３，Ｘ０，Ｙ０，Ｚ０は、計算のために魚眼カメラの外部パラメータθ１ｆ，θ２ｆ，θ３ｆ，Ｘｆ，Ｙｆ，Ｚｆにより置き換えることができる。
【０１１０】
魚眼カメラの歪みにより、補正画像における画素位置Ｐ（ｘ，ｙ）に対して、原画像が使用する画像座標系における第４のマッピング位置Ｐ’（Ｘ’，Ｙ’）をさらに計算することに以下の式が適用される。魚眼カメラの歪みパラメータをＫ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５とすると、以下の式で表される。
【数１２】
2019028967.tif 000014
（式８）
【数１３】
2019028967.tif 000015
（式９）
【数１４】
2019028967.tif 000016
（式１０）
【数１５】
2019028967.tif 000017
（式１１）
【０１１１】
式１１において、（ｕ０、ｖ０）は、カメラの感光性要素の物理的中心である。画素座標系の単位をミリメートルとすると、ｄｘの単位は、ミリメートル／画素であり、ｄｙの単位は、ミリメートル／画素であり、ここで、ｄｘ及びｄｙは、画素座標系と画像座標系との間の単位変換のためのパラメータである。
【０１１２】
以上の計算ステップから、補正画像における画素の位置と原画像における画素の位置との間の全単射写像関係が取得される。すなわち、補正画像における各画素の位置（ｘ，ｙ）に基づいて、原画像における画素の対応する位置（Ｘ，Ｙ）が得られる。
【０１１３】
次に、原画像は、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係に基づいて、補正画像としてマッピングすることができる。図８を参照すると、図８（ａ）に示される原画像は、図８（ｂ）に示される補正画像としてマッピングすることができる。原画像には、歪みが存在し、補正画像には側方の車両について歪みがほとんど存在せず、その後の特徴検出には補正画像を用いることができることが分かる。
【０１１４】
図９を参照すると、原画像内の車輪特徴は、楕円形であり、円形検出には使用できず、補正画像の車輪特徴は真円に近く、円検出に使用することができる。
【０１１５】
以下では、ステップ１０２の実施処理が示される。
【０１１６】
図１０を参照すると、実際の応用では、車両の左前、右前、左後方及び右後方の４つの領域は、側方に他の車両が存在するかどうかを検出するための重要な領域である。例えば、４つの領域の大きさはそれぞれ３メートルｘ３メートルである。右後方領域を例にとると、右後方領域は、車両と平行な方向に沿って６つのセクションに分割され、セクションと車両との間の距離は、それぞれ、０．５メートル、１メートル、１．５メートル、２メートル、２．５メートル、３メートルである。地面に垂直な６つの面の所定の領域は、検出対象のサイドレーンの所定の領域とされ、世界座標系のサイドレーンの所定の領域の位置は、補正画像の画像座標系にマッピングされ、ここで、マッピング処理は、上述の座標系の間の変換関係を使用することができる。
【０１１７】
次いで、検出ボックスは、補正画像の検出領域で移動され、予め学習された車輪分類器が、検出ボックス内の車輪特徴を検出するために使用される。車輪特徴を含むサブ画像として、車輪特徴を含む検出ボックスが設定される。そして、補正画像内の車輪特徴を含むサブ画像の位置が取得される。
【０１１８】
補正画像内の車輪特徴を含むサブ画像の概略図である、図１１を参照すると、実際の応用では、取得した車両検出結果を車輪リスト（車輪リスト）に保存することができる。車両検出結果は、補正画像内の車輪特徴を含むサブ画像の位置を含む。検出は、検出領域内のウインドウを描画することにより行われるので、複数の検出ボックス内で車輪特徴を検出することができる。したがって、車輪リストは、複数の車輪検出結果を含むことができ、各車輪の検出結果は、ｒｅｃｔ（ｘ，ｙ，ｗｉｄｔｈ，ｈｅｉｇｔｈ）に対応し、ここで、”ｗｉｄｔｈ”及び”ｈｅｉｇｔｈ”は、それぞれ、車輪特徴を含むサブ画像の幅及び高さを表すことができ、ｘ，ｙは、車輪特徴を含むサブ画像内にある点（例えば、左上コーナ）に対して、補正画像内の座標を表すことができる。実際の応用では、補正画像の左上コーナを（ｘ，ｙ）＝（０，０）として設定することができる。
【０１１９】
以下では、ステップ１０３の実施処理が示される。
【０１２０】
本開示の実施形態のいくつかの可能な実施形態では、車輪特徴を含むサブ画像内の円特徴を検出し、円検出結果を取得する以下のステップを含むことができる。
【０１２１】
車輪特徴を含むサブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するステップ。
【０１２２】
グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標点の傾きが所定の条件を満たす、座標点の傾き方向を計算するステップ。
【０１２３】
所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算するステップ。
【０１２４】
補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するステップ。
【０１２５】
図１２を参照する。まず、車輪特徴を含むサブ画像がグレイスケール画像に変換され、次に、グレイスケール画像に対してソーベルフィルタリングが実行される。
グレイスケール画像のソーベルカーネルの畳み込みは、次の式で表される。
【数１６】
2019028967.tif 000018
及び
【数１７】
2019028967.tif 000019
グレイスケール画像の水平座標軸の傾きＧｒａｄＸ及び垂直座標軸の傾きＧｒａｄＹは、ソーベルフィルタリングにより、それぞれ得られる。
【０１２６】
得られる値は、次に表される式を満たす、
【数１８】
2019028967.tif 000020
グレイスケール画像の各画素の座標（ｘ，ｙ）及び次の式で表される傾き方向の両方である。
【数１９】
2019028967.tif 000021
【０１２７】
図１３を参照する。一例として完全な円をとると、図１３の右側の傾き方向図は、図１３の左側の完全な円画像から生成され、異なる傾き方向は、異なる色により表すことができる。図１３から、円の内側エッジ上にある点の傾き方向は、１８０度方向の円の外側エッジ上の対応する点の傾き方向と同じであること、すなわち、円の傾き方向は、対称であることを見ることができる。
【０１２８】
円の傾き方向の対称性により、傾き閾値条件を満たす座標点の傾き方向に円中心投影を行うことができる。
【０１２９】
傾き閾値を満たす点ａ（ｘ，ｙ）について、傾き方向をθ、所定の半径をＲｉとすると、傾き方向θに対応する点ａの投影円中心ｏ（ｘ０，ｙ０）と、半径Ｒｉは、異なる所定の半径（Ｒｉ＝Ｒ１，Ｒ２，．．．，Ｒｎ）についてそれぞれ計算される。そして、
【数２０】
2019028967.tif 000022
【０１３０】
このようにして、傾き方向に沿った異なる所定の半径に対応する傾き閾値条件を満たす座標点の投影円中心の座標をそれぞれ計算することができる。座標は、グレイスケール画像内の座標であってもよい。
【０１３１】
図１４を参照すると、図１４（ａ）〜図１４（ｄ）は、４つの所定の半径Ｒ１，Ｒ２，Ｒ３，Ｒ４にそれぞれ対応する投影円の中心結果に対応する。半径が固定された円中心投影は、投影空間の次元数を３から２に減らし、計算の複雑さを効果的に減らす。
【０１３２】
最後に、最大の発生時間を有する投影円中心の座標を投票中心座標として選択し、次に表される発生時間Ｎが成立する場合には円が存在すると考えられる。
【数２１】
2019028967.tif 000023
【０１３３】
補正画像内の車輪特徴を含むサブ画像の位置を記録し、補正画像内の車輪特徴を含むサブ画像を変換することにより、上記グレイスケール画像を取得するので、グレイスケール画像内の円中心座標を補正画像に変換し、補正画像内の円特徴の円中心の位置を取得する。そして、最大の発生時間を有する投影円中心の座標に対応する所定の半径は、円特徴の半径と考えることができる。
【０１３４】
最後に、ステップ１０４の実施処理が示されている。
【０１３５】
同一円を検出する際に、複数の円検出結果が得られるので、複数の円検出結果をマージすることができる。実際の応用では、円検出結果を円リスト（円リスト）に記録し、円検出結果に対して円リストを検索してマッチング処理を行うことができる。円中心間の距離が所定の閾値よりも小さい円検出結果がマージされる。マージされた円検出結果が結果リスト（結果リスト）に記録することができ、結果リストの円特徴は、最終的に側方の車両測位のために使用される円特徴であると考えられる。図１６を参照すると、本開示の実施形態に係る側方の車両測位結果の概略図が示されている。
【０１３６】
また、本発明の実施形態では、原画像の複数フレームからそれぞれ側方の車両測位情報を取得し、側方の車両測位情報に基づいて、側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得する。
【０１３７】
すなわち、本開示の実施形態では、原画像の複数フレームを順次取得し、この方法により、本開示の実施形態に係る原画像のフレーム毎に側方の車両測位情報を決定することができる。世界座標系における同一円特徴の取得間隔と位置変動に応じて、側方の車両の速度及び自車両と側方の車両との間の相対速度を取得することができる。
【０１３８】
本開示の一実施形態に係る側方の車両測位のための装置を示す図１７を参照する。この装置は以下の構成を含む。
【０１３９】
原画像を補正画像に変換するように構成された変換ユニット１７０１、ここで、原画像は、画像取得装置により撮影された画像であり、補正画像は、原画像に対応する仮想カメラの画角の画像である。
【０１４０】
補正画像の検出領域内の車輪特徴を検出し、補正画像内のサブ画像の位置を取得するように構成された第１の検出ユニット１７０２、サブ画像は、車輪特徴を含む。
【０１４１】
車輪特徴を含むサブ画像内の円形特徴を検出し、円検出結果を取得するように構成された第２の検出ユニット１７０３、ここで、円検出結果は、補正画像内の円形特徴の中心の位置及び円形特徴の半径を含む。
【０１４２】
円検出結果に基づいて側方の車両測位情報を取得するように構成された取得ユニット１７０４。
【０１４３】
本開示の実施形態のいくつかの可能な実施形態では、本開示の実施形態に係る側方の車両測位のための装置は、以下の構成をさらに含む。
【０１４４】
複数フレームの原画像のそれぞれに基づいて側方の車両測位情報を取得し、側方の車両測位情報に基づいて側方の車両を追尾し、自車両と側方の車両との間の相対速度を取得すように構成された追尾ユニット。
【０１４５】
本開示の実施形態のいくつかの可能な実施形態では、変換ユニットは、以下の構成を含む。
【０１４６】
補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するように構成された第１の確立サブユニット。
【０１４７】
マッピング関係に基づいて原画像を補正画像としてマッピングするように構成された第１のマッピングサブユニット。
【０１４８】
本開示の実施形態のいくつかの可能な実施形態では、画像取得装置は、魚眼カメラであり、第１の確立ユニットは、以下の構成を含む。
【０１４９】
補正画像により使用される画像座標系と仮想カメラが位置する座標系との間のマッピング関係に基づいて、補正画像内の画素の位置に対する仮想カメラが位置する座標系における第１のマッピング位置を計算するように構成された第１の計算サブユニット。
【０１５０】
第１のマッピング位置と、仮想カメラが位置する座標系と世界座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する世界座標系における第２のマッピング位置を計算するように構成された第２の計算サブユニット。
【０１５１】
第２のマッピング位置と、世界座標系と魚眼カメラが位置する座標系との間のマッピング関係とに基づいて、補正画像内の画素の位置に対する魚眼カメラが位置する座標系における第３のマッピング位置を計算するように構成された第３の計算サブユニット。
【０１５２】
第３のマッピング位置と、魚眼カメラの歪みパラメータとに基づいて、補正画像内の画素の位置に対する原画像により用いられる画像座標系における第４のマッピング位置を計算するように構成された第４の計算サブユニット。
【０１５３】
補正画像内の画素の位置に対して計算される原画像により用いられる画像座標系における第４のマッピング位置に基づいて、補正画像内の画素の位置と原画像内の画素の位置との間の全単射写像関係を確立するように構成される第２の確立サブユニット。
【０１５４】
本開示の実施形態のいくつかの可能な実施形態では、第１の検出ユニットは、以下の構成を含む。
【０１５５】
サイドレーンの所定領域の位置を補正画像にマッピングし、補正画像の検出領域を取得するように構成された第２のマッピングサブユニット。
【０１５６】
補正画像の検出領域内の検出ボックスを移動させ、予め学習された車輪分類器で検出ボックス内の車輪特徴を検出し、車輪特徴を含む検出ボックス画像を、車輪特徴を含むサブ画像として設定するように構成された検出サブユニット。
【０１５７】
補正画像内の車輪特徴を含むサブ画像の位置を取得するように構成された取得サブユニット。
【０１５８】
本開示の実施形態のいくつかの可能な実施形態では、第２の検出ユニットは、以下の構成を含む。
【０１５９】
車輪特徴を含むサブ画像をグレイスケール画像に変換し、ソーベルフィルタリングを行い、水平座標軸方向及び垂直座標軸方向のグレイスケール画像の傾きを取得するように構成された変換サブユニット。
【０１６０】
グレイスケール画像内の座標点を取得し、水平座標軸方向及び垂直座標軸方向の座標の傾きが所定の条件を満たす、座標点の傾き方向を計算するように構成された第５の計算サブユニット。
【０１６１】
所定の条件を満たす座標点の傾き方向に沿って、異なる所定の半径にそれぞれ対応する投影円中心座標を計算する第６の計算サブユニット。
【０１６２】
補正画像内の円形特徴の中心の位置に変換する最大の発生時間を有する投影円中心の座標を選択し、円形特徴の半径として、最大の発生時間を有する投影円中心の座標に対応する所定の半径を設定するように構成された選択サブユニット。
【０１６３】
本開示の実施形態のいくつかの可能な実施形態では、取得ユニットは、具体的には、以下の構成を含む。
【０１６４】
複数の円検出結果をマージし、マージした円検出結果の円形特徴の中心の位置を補正画像にマッピングして世界座標系に変換して、側方の車両測位情報を取得するように構成される取得ユニット。
【０１６５】
さらに、本開示の一実施形態に係るコンピュータ可読媒体がさらに提供される。命令は、コンピュータ可読媒体に格納され、命令が端末装置により実行されるときに、本開示の実施形態に係る端末装置は、上述の側方の車両測位のための方法を実行する。
【０１６６】
本開示の一実施形態に係るコンピュータプログラム製品がさらに提供される。コンピュータプログラムが端末装置により実行されると、端末装置は、本開示の一実施形態に係る上記の側方の車両測位のための方法を実行する。
【０１６７】
このようにして、本開示の実施形態によれば、画像取得装置により撮影された原画像は、最初に平面補正画像に変換される。変換補正画像内の車輪が真円に近くなると、補正画像内の車輪特徴を検出し、次に、車輪特徴における円特徴を検出することができる。側方の他の車両は、明示的な円特徴の検出により正確に位置決めされ、それにより、単一のカメラによる側方の車両測位の精度を高める。
【０１６８】
なお、本開示の実施形態は、漸進的に記載され、各実施形態は、他の実施形態との差異に重点を置くことに留意されたい。したがって、一実施形態は、同じ又は同様の部分について他の実施形態を参照することができる。実施の形態に開示されたシステム又は装置は、実施の形態に開示された手法に対応するため、そのシステム及び装置の説明は簡単であり、その方法の一部を参照することがある。
【０１６９】
本開示において、第１及び第２のような関係用語は、実体または操作を別の実体又は別の操作から区別することのみを意図しており、これらの実体又は操作の中で実際の関係又は順序が存在することを必ずしも要求又は示唆するものではない。さらに”含む”、”含む”又は任意の他の変形などの用語は、非排他的な包含を包含することを意図している。これにより、一連の要素を含む処理、方法、対象、装置は、これらの要素を含むだけでなく、明示的に記載されていない他の要素を含むものであってもよいし、又は処理、方法、又は装置内の固有の要素も含む。それ以上の制約がない場合、”を含む”という単語で限定された要素は、その要素を含む処理、方法、物体、又は装置に存在する別の同じ要素を除外しない。
【０１７０】
本明細書に開示された実施形態と併せて、記載された方法又はアルゴリズムのステップは、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は上記２つの組み合わせにより実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、内部メモリ、読み出し専用メモリ（ＲＯＭ）、電気的にプログラム可能なＲＯＭ、電気的に消去可能なプログラム可能なＲＯＭ、レジスタ、ハードディスク、取り外し可能なハードディスク、ＣＤ−ＲＯＭ、又は任意の他の従来の形態の記憶媒体を含むことができる。
【０１７１】
開示された実施形態の説明によれば、当業者は本開示を実施又は使用することができる。これらの実施形態に対する様々な修正が当業者には明らかであり、本明細書で定義される一般原則は、本開示の精神又は範囲から逸脱することなく、他の実施形態において実施され得る。したがって、本開示は、本明細書に記載された実施形態に限定されるものではなく、本開示で開示される原理及び新規な特徴に従って最も広い範囲を確認する。
【図１】
2019028967.tif 000024
【図２】
2019028967.tif 000025
【図３】
2019028967.tif 000026
【図４】
2019028967.tif 000027
【図５】
2019028967.tif 000028
【図６】
2019028967.tif 000029
【図７】
2019028967.tif 000030
【図８】
2019028967.tif 000031
【図９】
2019028967.tif 000032
【図１０】
2019028967.tif 000033
【図１１】
2019028967.tif 000034
【図１２】
2019028967.tif 000035
【図１３】
2019028967.tif 000036
【図１４】
2019028967.tif 000037
【図１５】
2019028967.tif 000038
【図１６】
2019028967.tif 000039
【図１７】
2019028967.tif 000040
【外国語明細書】
2019028967.tif 000041
2019028967.tif 000042
2019028967.tif 000043
2019028967.tif 000044
2019028967.tif 000045
2019028967.tif 000046
2019028967.tif 000047
2019028967.tif 000048
2019028967.tif 000049
2019028967.tif 000050
2019028967.tif 000051
2019028967.tif 000052
2019028967.tif 000053
2019028967.tif 000054
2019028967.tif 000055
2019028967.tif 000056
2019028967.tif 000057
2019028967.tif 000058
2019028967.tif 000059
2019028967.tif 000060
2019028967.tif 000061
2019028967.tif 000062
2019028967.tif 000063
2019028967.tif 000064
2019028967.tif 000065
2019028967.tif 000066
2019028967.tif 000067
2019028967.tif 000068
2019028967.tif 000069
2019028967.tif 000070
2019028967.tif 000071
2019028967.tif 000072
2019028967.tif 000073
2019028967.tif 000074
2019028967.tif 000075
2019028967.tif 000076
2019028967.tif 000077
2019028967.tif 000078
2019028967.tif 000079
2019028967.tif 000080