(57)【要約】      （修正有）【課題】多焦点距離視覚に基づく障害物感知方法及び装置を提供する。【解決手段】方法は、長焦点カメラと短焦点カメラを用いて障害物の複数の時刻での検出結果をそれぞれ取得するステップと、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるステップと、少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併するステップと、を含む。【効果】異なる焦点距離カメラからの追跡シーケンスを合併することにより、多焦点距離視覚に基づく障害物感知を実現し、従来技術における追跡視野と視距が両立できない問題を解決することができる。【選択図】図３
2020042781.tif 000002
【特許請求の範囲】
【請求項１】
多焦点距離視覚に基づく障害物感知方法であって、
複数の時刻で、長焦点カメラと短焦点カメラとを用いて、障害物の検出結果をそれぞれ取得するステップと、
前記長焦点カメラと前記短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての前記複数の時刻での検出結果が含まれるステップと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るステップと、を含むことを特徴とする多焦点距離視覚に基づく障害物感知方法。
【請求項２】
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行うことは、
前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択するステップと、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、前記長焦点カメラからの検出結果を前記短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出するステップと、
すべての時刻に対して算出されたＩＯＵの平均値を求めステップと、
前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併することは、
前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るステップを含むことを特徴とする請求項１に記載の方法。
【請求項４】
新たな検出結果を取得し、それぞれ前記新たな検出結果を前記合併後の追跡シーケンスと関連検出を行い、
関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、
関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加すること、をさらに含むことを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
多焦点距離視覚に基づく障害物感知装置であって、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての前記複数の時刻での検出結果が含まれるための初期処理モジュールと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュールと、を備えることを特徴とする多焦点距離視覚に基づく障害物感知装置。
【請求項６】
前記合併モジュールは、前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択し、各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、前記長焦点カメラからの検出結果を前記短焦点カメラの結像平面に投影し、投影後の検出結果と前記短焦点カメラからの検出結果とのＩＯＵを算出し、すべての時刻に対して算出されたＩＯＵの平均値を求め、前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するために用いられることを特徴とする請求項５に記載の装置。
【請求項７】
前記合併モジュールは、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るために用いられることを特徴とする請求項５に記載の装置。
【請求項８】
新たな検出結果を取得し、それぞれ前記新たな検出結果を前記合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、関連付けが成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する関連付けモジュールをさらに備えることを特徴とする請求項５乃至７のいずれか1項に記載の装置。
【請求項９】
多焦点距離視覚に基づく障害物感知設備であって、
障害物の検出結果を取得するための長焦点カメラと、
障害物の検出結果を取得するための短焦点カメラと、
メモリ及びプロセッサを備え、前記メモリにコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至４のいずれか１項に記載の方法を実現するコントローラと、を備えることを特徴とする多焦点距離視覚に基づく障害物感知設備。
【請求項１０】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１乃至４のいずれか１項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動運転車の技術分野に関し、特に多焦点距離視覚に基づく障害物感知方法、装置、設備及びコンピュータ可読記憶媒体に関する。
【背景技術】
【０００２】
自動運転車の感知システムに対して、有効感知距離は非常に重要な指標である。短焦点カメラは視野が広くて、視野範囲における障害物が分断し難く、障害物の関連付け及び追跡に寄与するが、感知距離が短い問題を抱える一方、長焦点カメラは視野が狭いが、障害物単体の面積がより大きく、視覚測定がさらに正確であるとともに、小障害物を検出しやすく、中遠距離の障害物検出に適用できる。
【０００３】
従来の障害物感知技術は単独の短焦点カメラのみ又は長焦点カメラのみを用いて障害物を検出し追跡するため、視野と視距が両立できない。すなわち、短焦点カメラを用いて障害物を検出し追跡する場合、カバー範囲が大きいが、その視距が短すぎる一方、長焦点カメラを用いて障害物を検出し追跡する場合、その視距が長いが、カバー範囲が小さい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、多焦点距離視覚に基づく障害物感知方法を提供する。
【課題を解決するための手段】
【０００５】
第一態様によれば、本発明の実施例は、多焦点距離視覚に基づく障害物感知方法を提供し、当該方法は、
複数の時刻で、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得するステップと、
長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるステップと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るステップと、を含む。
【０００６】
第一態様に合わせて、本発明の第一態様の第一実施形態において、前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行いことは、
前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択するステップと、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ−ｏｖｅｒ−Ｕｎｉｏｎ）を算出するステップと、
すべての時刻に対して算出されたＩＯＵの平均値を求めステップと、
前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するステップと、を含む。
【０００７】
第一態様に合わせて、本発明の第一態様の第二実施形態において、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併することは、
前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るステップを含む。
【０００８】
第一態様、第一態様の第一実施形態、第一態様の第二実施形態に合わせて、本発明の第一態様の第三実施形態において、
新たな検出結果を取得し、それぞれ前記新たな検出結果を合併後の追跡シーケンスと関連検出を行い、
関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、
関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加すること、を更に含む。
【０００９】
第二態様によれば、本発明の実施例は、多焦点距離視覚に基づく障害物感知装置をさらに提供し、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュールと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュールと、を備える。
【００１０】
第二態様に合わせて、本発明の第二態様の第一実施形態において、前記合併モジュールは、前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択し、各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、すべての時刻に対して算出されたＩＯＵの平均値を求め、前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するために用いられる。
【００１１】
第二態様に合わせて、本発明の第二態様の第二実施形態において、合併モジュールは、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るために用いられる。
【００１２】
第二態様、第二態様の第一実施形態、第二態様の第二実施形態に合わせて、本発明の第二態様の第三実施形態において、前記装置は、
新たな検出結果を取得し、前記新たな検出結果を合併後の追跡シーケンスと関連検出をそれぞれ行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加するための関連付けモジュールをさらに備える。
【００１３】
上記技術案のいずれかは以下の利点又は有益な効果を有する。
【００１４】
本発明の実施例によれば、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得し、それぞれのカメラにおいて別々に目標追跡を行い、異なる追跡シーケンスを形成し、その後、追跡シーケンスがマッチングすると判定すると、異なるカメラからの追跡シーケンスを合併することにより、従来技術における追跡視野と視距が両立できない問題を解決する。
【００１５】
上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。
【図面の簡単な説明】
【００１６】
図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。
【００１７】
【図１】本発明の実施例１に係る長焦点カメラと短焦点カメラの設置方式及び視野範囲を示す模式図である。
【図２ａ】長焦点カメラにより撮影された画像の模式図である。
【図２ｂ】短焦点カメラにより撮影された画像の模式図である。
【図３】本発明の実施例１に係る多焦点距離視覚に基づく障害物感知方法の模式図である。
【図４】本発明の実施例１におけるステップＳ１３０を示すフローチャートである。
【図５】本発明の実施例における追跡シーケンスの合併効果を示す模式図である。
【図６】本発明の実施例２に係る多焦点距離視覚に基づく障害物感知方法の模式図である。
【図７】本発明の実施例３に係る多焦点距離視覚に基づく障害物感知装置の模式図である。
【図８】本発明の実施例４に係る多焦点距離視覚に基づく障害物感知装置の模式図である。
【図９】本発明の実施例５に係る多焦点距離視覚に基づく障害物感知設備の構成模式図である。
【発明を実施するための形態】
【００１８】
以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。
【００１９】
本発明の実施例は主に多焦点距離視覚に基づく障害物感知方法及び装置を提供する。以下では、下記実施例による技術案について詳細に説明する。
【００２０】
実施例１
本実施例は多焦点距離視覚に基づく障害物感知方法を提供する。
【００２１】
本実施例では、自動運転車の感知システムには、画像を撮影するための長焦点カメラと短焦点カメラとが同時に設置される。図１は本発明の実施例１に係る長焦点カメラと短焦点カメラの設置方式及び視野範囲を示す模式図である。図１において、自動運転車のヘッドの同一位置に長焦点カメラと短焦点カメラが設置され、例えば、長焦点カメラは焦点距離が１２ｍｍ、短焦点カメラは焦点距離が６ｍｍである。図１において、階調が濃く且つ角度が小さい扇形領域は長焦点カメラの視野範囲であり、階調が浅く且つ角度が大きい扇形領域は短焦点カメラの視野範囲である。
【００２２】
なお、本実施例では、長焦点カメラと短焦点カメラが自動運転車のヘッド位置に設置されることのみを例示するが、本発明のほかの実施例では、長焦点カメラと短焦点カメラは自動運転車のほかの位置に設置されてもよく、自動運転車の異なる位置に複数組の長焦点カメラと短焦点カメラが設置されてもよい。
【００２３】
図２ａ及び図２ｂは自動運転車のヘッド位置に設置された長焦点カメラと短焦点カメラによりそれぞれ撮影された画像である。
【００２４】
図２ａは長焦点カメラにより撮影された画像の模式図であり、図２ｂに比べて、図２ａにおける遠方の物体が明瞭に視認されるが、視野範囲が小さい。図２ｂは短焦点カメラにより撮影された画像の模式図であり、図２ａに比べて、図２ｂにおける視野範囲が大きいが、遠方の物体が明瞭に視認されない。
【００２５】
以上からわかるように、図２ａにおける全画像は図２ｂに含まれ、図２ａを適切な比率で縮小すると、縮小後の画像が図２ｂにおける画像の一部と重なる。
【００２６】
図３は本発明の実施例１に係る多焦点距離視覚に基づく障害物感知方法の模式図であり、当該方法は、下記のステップＳ１１０〜Ｓ１３０を含む。
【００２７】
Ｓ１１０では、複数の時刻で、長焦点カメラと短焦点カメラを用いて、障害物の検出結果をそれぞれ取得する。
本実施例及び明細書のほかの実施例では、「障害物」とは、広義に理解され、例えば、自動車の周囲の通行人、自転車、自転電動車、他の非自動車又は自動車は、本車（自動運転車）に対して、障害物とすると考えられてもよい。
【００２８】
障害物の検出結果を取得した後、初期時、それぞれのカメラにおいて別々に目標追跡を行い、すなわち、下記ステップＳ１２０を実行する。
【００２９】
Ｓ１２０では、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて、目標追跡を行い、少なくとも２つの追跡シーケンス（ｔｒａｃｋ）を得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれる。
【００３０】
本ステップでは、焦点距離が異なる２つのカメラにより取得された検出結果に対して目標追跡をそれぞれ行い、同一障害物に対して、長焦点カメラと短焦点カメラがともに検出結果を取得する場合、該障害物に対して２つの追跡シーケンスを形成でき、これらの２つの追跡シーケンスがそれぞれ長焦点カメラと短焦点カメラからのものである。
【００３１】
目標追跡に対する具体的な手順は、従来技術と同じ方式を採用してもよく、すなわち、検出結果に対して類似度の算出を行い、類似度行列を解くことで、マッチングを行い、検出結果の関連付けを実現し、それにより追跡シーケンスを得る。
【００３２】
Ｓ１３０では、前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得る。
【００３３】
本ステップでは、マッチング検出が成功すると、２つの追跡シーケンスが異なるカメラからの同一障害物に対する追跡シーケンスであることを物語っている、従って、それらを合併して１つの追跡シーケンスを形成し、カメラ間の追跡シーケンス融合を実現できる。
【００３４】
図４は、本発明の実施例１におけるステップＳ１３０を示すフローチャートであり、ステップＳ１３０は、ステップＳ１３１〜Ｓ１３４を含む。
【００３５】
Ｓ１３１では、任意の２つの追跡シーケンスに含まれる検出結果を取得する。
【００３６】
例えば、既存の少なくとも２つの追跡シーケンスのうち、任意の２つの追跡シーケンスＴａとＴｂとを抽出し、ＴａとＴｂとが複数の検出結果をそれぞれ含む。
【００３７】
Ｓ１３２では、各時刻に対して、前記任意の２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出する。
【００３８】
Ｓ１３３では、すべての時刻に対して算出されたＩＯＵの平均値を求め、前記平均値が予め設定された閾値より大きい場合、前記任意の２つの追跡シーケンスのマッチングが成功すると判定する。
【００３９】
Ｓ１３４では、マッチングが成功する場合、前記任意の２つの追跡シーケンスにおける検出結果を合併することにより、合併後の追跡シーケンスを得る。
【００４０】
具体的には、追跡シーケンスＴａとＴｂにおいて、下記の公式に示すように、各時刻の検出結果はｄｉとｄｊを含み、
【数１】
2020042781.tif 000003
ここで、ｄｉが追跡シーケンスＴａに属する検出結果であり、ｄｊが追跡シーケンスＴｂに属する検出結果であり、且つ、ｄｉとｄｊは、同一時刻におけるものである。
【００４１】
上記２つの検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ−ｏｖｅｒ−Ｕｎｉｏｎ）を算出する。純回転モデルを用いて投影を行うことができる。
【００４２】
ＩＯＵの値が１に近いほど、２つの検出結果の重なり部分が多く、２つの検出結果が同一障害物に対して撮影して得られる可能性が高い。
【００４３】
２つの追跡シーケンスのすべての同一時刻に対する検出結果について、上記ＩＯＵの平均値を求め、該平均値が予め設定された閾値より大きい場合、該任意の２つの追跡シーケンスのマッチングが成功すると判定する。
【００４４】
マッチングが成功すると、マッチングに成功する２つの追跡シーケンスを合併でき、例えば、合併して得られた追跡シーケンスがｔｒａｃｋ＝｛ｄ１，ｄ２，ｄ３，…ｄｎ｝であり、ここで、ｄｉ（ｉ＝１，２，…，ｎ）は、長焦点カメラからの検出結果であってもよいし、短焦点カメラからの検出結果であってもよい。
【００４５】
図５は本発明の実施例に係る追跡シーケンス合併効果を示す模式図である。図５において、長焦点カメラと短焦点カメラからの２つの追跡シーケンスがマッチングすると判定した後、長焦点カメラの追跡シーケンスにおける各検出結果（図５において三角形で示す）と短焦点カメラの追跡シーケンスにおける各検出結果（図５において円形で示す）を１つの追跡シーケンスに合併する。
【００４６】
実施例２
本発明の実施例は、別の多焦点距離視覚に基づく障害物感知方法を提供する。図６は、本発明の実施例２に係る多焦点距離視覚に基づく障害物感知方法の模式図であり、該方法は以下のステップＳ１１０〜Ｓ１４０を含む。
【００４７】
Ｓ１１０では、複数の時刻で、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得する。
【００４８】
Ｓ１２０では、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれる。
【００４９】
Ｓ１３０では、前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得る。
【００５０】
上記ステップＳ１１０〜Ｓ１３０は、実施例１におけるステップＳ１１０〜Ｓ１３０の具体的な方式と同様であるため、ここで重複説明を省略する。
【００５１】
ステップＳ１１０〜Ｓ１３０では、初期段階における追跡シーケンスの合併を完了する。後続では、新たな検出結果について、どのカメラからのものかに関わらず、新たな検出結果を合併後の追跡シーケンスと直接に関連付けらせ、すなわち、下記ステップＳ１４０を実行する。
【００５２】
Ｓ１４０では、新たな検出結果を取得する場合、それぞれ前記新たな検出結果を合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する。
【００５３】
上記手順によれば、本実施例は、長焦点カメラと短焦点カメラからの追跡シーケンスに対する融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。
【００５４】
実施例３
本実施例は、多焦点距離視覚に基づく障害物感知装置を提供する。図７は、本発明の実施例３に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて、目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール７０１と、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール７０２と、を備える。
【００５５】
具体的には、上記合併モジュール７０２は、
少なくとも２つの追跡シーケンスから２つの追跡シーケンスを選択し、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、
すべての時刻に対して算出されたＩＯＵの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定する。
【００５６】
マッチング検出が成功する場合、これらの２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得る。
【００５７】
例えば、任意の２つの追跡シーケンスＴａとＴｂにおいて、下記の公式に示すように、各時刻の検出結果はｄｉとｄｊを含み、
【数２】
2020042781.tif 000004
ここで、ｄｉが追跡シーケンスＴａに属する検出結果であり、ｄｊが追跡シーケンスＴｂに属する検出結果であり、且つ、ｄｉとｄｊは、タイムスタンプが同じで、すなわち、同一時刻におけるものである。
【００５８】
上記２つの検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果のＩＯＵを算出する。純回転モデルを用いて投影を行うことができる。
【００５９】
ＩＯＵの値が１に近いほど、２つの検出結果の重なり部分が多く、２つの検出結果が同一障害物に対して撮影して得られる可能性が高い。
【００６０】
２つの追跡シーケンスのすべての同一時刻に対する検出結果について、上記ＩＯＵの平均値を求め、該平均値が予め設定された閾値より大きい場合、該任意の２つの追跡シーケンスのマッチングが成功すると判定する。
【００６１】
マッチングが成功すると、マッチングに成功する２つの追跡シーケンスを合併でき、すなわち、マッチングに成功する２つの追跡シーケンスの検出結果を合併し、合併後の追跡シーケンスを得ることができる。
【００６２】
例えば、合併後の追跡シーケンスがｔｒａｃｋ＝｛ｄ１，ｄ２，ｄ３，…ｄｎ｝であり、ここで、ｄｉ（ｉ＝１，２，…，ｎ）は、長焦点カメラからの検出結果であってもよいし、短焦点カメラからの検出結果であってもよい。
【００６３】
以上からわかるように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知装置は、長焦点カメラと短焦点カメラからの追跡シーケンスの融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。
【００６４】
実施例４
本実施例は、別の多焦点距離視覚に基づく障害物感知装置を提供する。図８は、本発明の実施例４に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール７０１と、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール７０２と、を備える。
【００６５】
具体的には、上記合併モジュール７０２は、
少なくとも２つの追跡シーケンスから２つの追跡シーケンスを選択し、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、
すべての時刻に対して算出されたＩＯＵの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定する。
【００６６】
マッチング検出が成功する場合、これらの２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得る。
【００６７】
本実施例に係る装置は、新たな検出結果を取得し、それぞれ新たな検出結果を合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する関連付けモジュール８０３をさらに備える。
【００６８】
以上からわかるように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知装置は、長焦点カメラと短焦点カメラの追跡シーケンスの融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。合併後、新たな検出結果に対して、新たな検出結果と合併後の追跡シーケンスとの類似度を算出して関連付け、それにより、新たな検出結果と２つのカメラの検出結果とを直接に追跡検出することを実現する。
【００６９】
実施例５
本発明の実施例５は、多焦点距離視覚に基づく障害物感知設備を提供する。図９は、本発明の実施例５に係る多焦点距離視覚に基づく障害物感知設備の構成模式図であり、該障害物感知設備は、
障害物の検出結果を取得するための長焦点カメラ９１０と、
障害物の検出結果を取得するための短焦点カメラ９２０と、
メモリ９３０及びプロセッサ９４０を備え、前記メモリ９３０にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサ９４０により実行されると、上記実施例に係る多焦点距離視覚に基づく障害物感知方法を実現できるコントローラと、を備える。前記メモリ９３０とプロセッサ９４０の数は、１つ又は複数であってもよい。
【００７０】
前記設備は、外部装置と通信し、データのインタラクティブ伝送を行うための通信インターフェース９５０をさらに備える。
メモリ９３０は、高速ＲＡＭメモリを含む可能性もあるし、さらに不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）、例えば少なくとも１つの磁気ディスクメモリを含む可能性もある。
【００７１】
メモリ９３０、プロセッサ９４０及び通信インターフェース９５０が独立して実現する場合、メモリ９３０、プロセッサ９４０及び通信インターフェース９５０はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ  Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図９では１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。
【００７２】
選択的に、具体的に実現する時、メモリ９３０、プロセッサ９４０及び通信インターフェース９５０が１枚のチップに統合される場合、メモリ９３０、プロセッサ９４０及び通信インターフェース９５０は、内部インターフェースによって、相互間の通信を実現することができる。
【００７３】
本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。
【００７４】
また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。
【００７５】
当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。
【００７６】
フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。
【００７７】
本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。
【００７８】
当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。
【００７９】
また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。
【００８０】
以上のように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知方法、装置、設備及びコンピュータ可読記憶媒体によれば、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得し、それぞれのカメラにおいて別々に目標追跡を行い、異なる追跡シーケンスを形成し、その後、追跡シーケンのスマッチングが成功すると判定する場合、異なるカメラからの追跡シーケンスを合併し、それにより、多焦点距離視覚に基づく障害物感知を実現し、従来技術における追跡視野と視距とが両立できない問題を解決することができる。
【００８１】
以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。
【図１】
2020042781.tif 000005
【図２ａ】
2020042781.tif 000006
【図２ｂ】
2020042781.tif 000007
【図３】
2020042781.tif 000008
【図４】
2020042781.tif 000009
【図５】
2020042781.tif 000010
【図６】
2020042781.tif 000011
【図７】
2020042781.tif 000012
【図８】
2020042781.tif 000013
【図９】
2020042781.tif 000014