(57)【要約】移動物体検出方法が開示される。本方法は、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定することと、を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。移動物体検出システムもまた提供される。【選択図】図１
2016505181.tif 000002
【特許請求の範囲】
【請求項１】
移動物体検出方法であって、
複数の映像フレームに基づいて複数の特徴点を特定することと、
前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、
少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定することと、を含み、
２つの特徴点の間の相関が、距離成分と移動差分成分とを含み、前記距離成分が、前記２つの特徴点の間の距離に関連し、前記移動差分成分が、前記２つの特徴点の対応する移動の間の差分に関連する、方法。
【請求項２】
２つの特徴点の間の相関が、等式（１）：
【数１−４】
2016505181.tif 000017
に従って計算され得、式中、Ｃ１２は、２つの特徴点Ｐ１及びＰ２の間の相関を表し、
ｄｓ１２は、前記２つの特徴点の間の距離を表し、
ｄｖ１２は、前記２つの特徴点の間の移動差分を表し、
σｄｉｓ及びσｖは、それぞれ、距離及び移動の統計的分散を表す、請求項１に記載の方法。
【請求項３】
ｄｓ１２がσｄｉｓよりも大きい場合、または、ｄｖ１２がσｖの２倍よりも大きい場合、前記相関Ｃ１２がゼロに設定される、請求項２に記載の方法。
【請求項４】
σｄｉｓが
【化８】
2016505181.tif 000018
の範囲内の値に設定され、式中、Ｗが前記映像フレームの幅を表し、Ｈが前記映像フレームの高さを表す、請求項３に記載の方法。
【請求項５】
σｖが６〜１０の範囲内の値に設定される、請求項３に記載の方法。
【請求項６】
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
特徴点の前記第１のグループから、前記第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、
特徴点の前記第２のグループから、前記第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定することと、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得することと、をさらに含み、前記２つのセグメントが、前記更新された第１のグループ及び前記第２のグループに基づいて特定される、請求項１に記載の方法。
【請求項７】
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
前記第１のグループのそれぞれの特徴点に対して、前記第１のグループの他の特徴点とのその相関の和を計算することと、
前記第１のグループから、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得することと、
前記第３のグループのそれぞれの特徴点に対して、前記第３のグループの他の特徴点とのその相関の和を計算することと、
前記第１のグループに対して、前記第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定することと、
前記第２のグループのそれぞれの特徴点に対して、前記第２のグループの他の特徴とのその相関の和を計算することと、
前記第２のグループから、相関の最大の和を有する特徴点の前記所定の割合を特定して、特徴点の第４のグループを取得することと、
前記第４のグループのそれぞれの特徴点に対して、前記第４のグループの他の特徴点とのその相関の和を計算することと、
前記第２のグループに対して、前記第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定することと、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得することと、をさらに含む、請求項１に記載の方法。
【請求項８】
前記所定の割合が５０％である、請求項７に記載の方法。
【請求項９】
ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定することと、
前記主要平面上の特徴点に基づいて、基本行列を計算することと、
特徴点の前記第１のグループ及び前記第２のグループの移動が前記基本行列に適合するかどうかを判定して、特徴点のグループの移動が前記基本行列に適合する場合、特徴点の前記グループに基づいて特定された物体を静止物体として分類することと、をさらに含む、請求項１に記載の方法。
【請求項１０】
移動物体検出システムであって、
カメラと、
処理装置であって、
前記カメラによってキャプチャされた複数の映像フレームに基づいて複数の特徴点を特定し、
前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、
少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定するように構成された、処理装置と、を備え、
２つの特徴点の間の相関が、距離成分と移動差分成分とを含み、前記距離成分が、前記２つの特徴点の間の距離に関連し、前記移動差分成分が、前記２つの特徴点の対応する移動の間の差分に関連する、移動物体検出システム。
【請求項１１】
２つの特徴点の間の相関が、等式（１）：
【数１−５】
2016505181.tif 000019
に従って計算され得、式中、Ｃ１２は、２つの特徴点Ｐ１及びＰ２の間の相関を表し、
ｄｓ１２は、前記２つの特徴点の間の前記距離を表し、
ｄｖ１２は、前記２つの特徴点の間の前記移動差分を表し、
σｄｉｓ及びσｖは、それぞれ、距離及び移動の統計的分散を表す、請求項１０に記載の移動物体検出システム。
【請求項１２】
ｄｓ１２がσｄｉｓよりも大きい場合、または、ｄｖ１２がσｖの２倍よりも大きい場合、前記相関Ｃ１２がゼロに設定される、請求項１１に記載の移動物体検出システム。
【請求項１３】
σｄｉｓが
【化９】
2016505181.tif 000020
の範囲内の値に設定され、式中、Ｗが前記映像フレームの幅を表し、Ｈが前記映像フレームの高さを表す、請求項１２に記載の移動物体検出システム。
【請求項１４】
σｖが６〜１０の範囲内の値に設定される、請求項１２に記載の移動物体検出システム。
【請求項１５】
前記処理装置が、
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
特徴点の前記第１のグループから、前記第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定し、
特徴点の前記第２のグループから、前記第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定し、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得する、ようにさらに構成され、前記２つのセグメントが、特徴点の前記更新された第１のグループ及び前記第２のグループに基づいて特定される、請求項１０に記載の移動物体検出システム。
【請求項１６】
前記処理装置が、
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
前記第１のグループのそれぞれの特徴点に対して、前記第１のグループの他の特徴点とのその相関の和を計算し、
前記第１のグループから、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得し、
前記第３のグループのそれぞれの特徴点に対して、前記第３のグループの他の特徴点とのその相関の和を計算し、
前記第１のグループに対して、前記第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定し、
前記第２のグループのそれぞれの特徴点に対して、前記第２のグループの他の特徴との相関の和を計算し、
前記第２のグループから、相関の最大の和を有する特徴点の前記所定の割合を特定して、特徴点の第４のグループを取得し、
前記第４のグループのそれぞれの特徴点に対して、前記第４のグループの他の特徴点とのその相関の和を計算し、
前記第２のグループに対して、前記第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定し、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類し、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得する、ようにさらに構成される、請求項１０に記載の移動物体検出システム。
【請求項１７】
前記所定の割合が５０％である、請求項１６に記載の移動物体検出システム。
【請求項１８】
前記処理装置が、
ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定し、
前記主要平面上の特徴点に基づいて、基本行列を計算し、
特徴点の前記第１のグループ及び前記第２のグループの移動が前記基本行列に適合するかどうかを判定して、特徴点のグループの移動が前記基本行列に適合する場合、特徴点の前記グループに基づいて特定された物体を静止物体として分類する、ようにさらに構成される、請求項１０に記載の移動物体検出システム。
【請求項１９】
移動物体検出方法であって、
複数の映像フレームに基づいて複数の特徴点を特定することと、
前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、
前記複数の映像フレームのうちの少なくとも１つの中で、移動物体として、特徴点の前記グループによって画定されたセグメントを特定することと、を含み、
２つの特徴点の間の相関が、距離成分と移動差分成分とを含み、前記距離成分が、前記２つの特徴点の間の距離に関連し、前記移動差分成分が、前記２つの特徴点の対応する移動の間の差分に関連する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、概して、移動物体検出方法及び移動物体検出システムに関する。
【背景技術】
【０００２】
今日では、歩行者及び車両等の移動物体を検出するための多くの画像に基づく検出方法があり、これらの方法を用いて、車両周辺の移動物体を検出し、運転者に検出された移動物体に気づかせ、このようにして交通事故の可能性を減少させることができる。しかしながら、従来の検出方法は、誤検知を低減するために反復アルゴリズムを用い、この演算は複雑である。したがって、より効率的な移動物体検出方法及びシステムが必要とされる。
【発明の概要】
【課題を解決するための手段】
【０００３】
一実施形態では、移動物体検出方法が提供される。移動物体検出方法は、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定することと、を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
【０００４】
いくつかの実施形態では、２つの特徴点の間の相関は、等式（１）：
【数１−１】
2016505181.tif 000003
に従って計算され得、式中、Ｃ１２は、２つの特徴点Ｐ１及びＰ２の間の相関を表し、
ｄｓ１２は、２つの特徴点の間の距離を表し、
ｄｖ１２は、２つの特徴点の間の移動差分を表し、
σｄｉｓ及びσｖは、それぞれ、距離及び移動の統計的分散を表す。
【０００５】
いくつかの実施形態では、ｄｓ１２がσｄｉｓよりも大きい場合、または、ｄｖ１２がσｖの２倍よりも大きい場合、相関Ｃ１２はゼロに設定され得る。このようにして、「緩慢な」関係を有する特徴点のための相関計算は回避され、それによって演算の負荷及び複雑さを軽減し得る。
【０００６】
いつくかの実施形態では、σｄｉｓは
【化１】
2016505181.tif 000004
の範囲内の値に設定され得、式中、Ｗは映像フレームの幅を表し、Ｈは映像フレームの高さを表す。いくつかの実施形態では、σｖは６〜１０の範囲内の値に設定され得る。
【０００７】
いくつかの場合では、異なるグループが共通の特徴点を有し得る。いくつかの実施形態では、本方法は、第１のグループ及び第２のグループが共通の特徴点を有する場合、特徴点の第１のグループから、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、特徴点の第２のグループから、第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定することと、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得することと、によって、共通の特徴点を第１のグループ及び第２のグループのうちの一方に分類することをさらに含み得、２つのセグメントは、更新された第１のグループ及び第２のグループに基づいて特定され得る。
【０００８】
いくつかの実施形態では、第１の基準点はまた、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算することと、第１のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定することと、特徴点の所定の割合のそれぞれの特徴点に対して、特徴点の所定の割合の他の特徴点とのその相関の和を計算することと、特徴点の所定の割合の他の特徴との相関の最大の和を有する第１の基準点を特定することと、によって特定され得る。同方法を用いて、第２の基準点を特定することができる。
【０００９】
いくつかの実施形態では、特徴点の所定の割合は、第１グループ中の特徴点の半数であり得る。割合の値は、演算負荷等の特定の条件及び要件に応じて設定され得る。
【００１０】
いくつかの実施形態では、映像フレームをキャプチャするためのカメラの移動を表す基本行列を用いて、移動物体の検出を精密化することができる。いくつかの実施形態では、本方法は、ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定することと、主要平面上の特徴点に基づいて、基本行列を計算することと、特徴点の更新された第１のグループ及び第２のグループの移動が基本行列に適合するかどうかを判定して、特徴点のグループの移動が基本行列に適合する場合、特徴点のグループに基づいて特定された物体を静止物体として大別することと、をさらに含み得る。
【００１１】
一実施形態では、移動物体検出方法が提供される。移動物体検出方法は、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点のグループに基づいてセグメントを特定することと、を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
【００１２】
本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出方法は、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定する、ように構成された、処理装置を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
【００１３】
いくつかの実施形態では、移動物体検出システムは、映像フレームをキャプチャするためのカメラをさらに含み得る。
【００１４】
いくつかの実施形態では、２つの特徴点の間の相関は、等式（１）：
【数１−２】
2016505181.tif 000005
に従って計算され得、式中、Ｃ１２は、２つの特徴点Ｐ１及びＰ２の間の相関を表し、
ｄｓ１２は、２つの特徴点の間の距離を表し、
ｄｖ１２は、２つの特徴点の間の移動差分を表し、
σｄｉｓ及びσｖは、それぞれ、距離及び移動の統計的分散を表す。
【００１５】
いくつかの実施形態では、ｄｓ１２がσｄｉｓよりも大きい場合、または、ｄｖ１２がσｖの２倍よりも大きい場合、相関Ｃ１２はゼロに設定され得る。このようにして、「緩慢な」関係を有する特徴点のための相関計算は回避され、それによって演算の負荷及び複雑さを軽減し得る。
【００１６】
いつくかの実施形態では、σｄｉｓは
【化２】
2016505181.tif 000006
の範囲内の値に設定され得、式中、Ｗは映像フレームの幅を表し、Ｈは映像フレームの高さを表す。いくつかの実施形態では、σｖは６〜１０の範囲内の値に設定され得る。
【００１７】
いくつかの場合では、異なるグループが共通の特徴点を有し得る。いくつかの実施形態では、処理装置は、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、特徴点の第１のグループから、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定し、特徴点の第２のグループから、第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定し、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得する、ようにさらに構成され得、２つのセグメントは、特徴点の更新された第１のグループ及び第２のグループに基づいて特定され得る。
【００１８】
いくつかの実施形態では、処理装置は、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算し、第１のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得し、特徴点の第３のグループのそれぞれの特徴点に対して、特徴点の第３のグループの他の特徴点とのその相関の和を計算し、第１のグループに対して、特徴点の第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定し、第２のグループのそれぞれの特徴点に対して、第２のグループの他の特徴との相関の和を計算し、第２のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第４のグループを取得し、特徴点の第４のグループのそれぞれの特徴点に対して、特徴点の第４のグループの他の特徴点との相関の和を計算し、第２のグループに対して、特徴点の第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定し、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類し、特徴点の更新された第１のグループ及び第２のグループを取得する、ようにさらに構成され得、２つのセグメントは、特徴点の更新された第１のグループ及び第２のグループに基づいて特定され得る。
【００１９】
いくつかの実施形態では、特徴点の所定の割合は、第１グループ中の特徴点の半数であり得る。割合の値は、演算負荷等の特定の条件及び要件に応じて設定され得る。
【００２０】
いくつかの実施形態では、映像フレームをキャプチャするためのカメラの移動を表す基本行列を用いて、移動物体の検出を精密化することができる。いくつかの実施形態では、処理装置は、ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定し、主要平面上の特徴点に基づいて、基本行列を計算し、特徴点のグループの移動が基本行列に適合する場合、特徴点のグループに基づいて特定された物体を静止物体として大別する、ようにさらに構成され得る。
【００２１】
本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出方法は、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点のグループを形成し、少なくとも１つの映像フレームの中で、検出された移動物体として、特徴点のグループに基づいたセグメントを特定する、ようにさらに構成された処理装置を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
【００２２】
本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出システムは、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定する、ための処理装置を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
【００２３】
本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出システムは、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、特徴点の第１のグループから、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定し、特徴点の第２のグループから、第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定し、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類して、共通の特徴点を有しない特徴点の更新された第１のグループ及び第２のグループを取得し、少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の更新された第１のグループ及び第２のグループに基づいて、２つのセグメントを特定する、ための処理装置を含み得る。
【００２４】
本出願の一実施形態では、移動物体を検出するためのコンピュータプログラムを中に記憶するコンピュータ可読媒体が提供される。コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定することと、を含む、移動物体検出方法を実行するように命令され得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
【００２５】
本出願の一実施形態では、移動物体を検出するためのコンピュータプログラムを中に記憶するコンピュータ可読媒体が提供される。コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点のグループに基づいてセグメントを特定することと、を含む、移動物体検出方法を実行するように命令され得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
【００２６】
本出願の一実施形態では、移動物体を検出するためのコンピュータプログラムを中に記憶するコンピュータ可読媒体が提供される。コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、特徴点の第１のグループ及び第２のグループとのその相関に基づいて、共通の特徴点を第１のグループ及び第２のグループに分類して、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の更新された第１のグループ及び第２のグループによって画定された２つのセグメントを特定することと、を含む、移動物体検出方法を実行するように命令され得る。
【００２７】
従来の方法と比較して、本出願の方法は、より低い演算複雑性を有し、このようにして、移動物体検出の効率が改善される。
【図面の簡単な説明】
【００２８】
本開示の上記及び他の特徴は、添付の図面と併せて以下の説明及び添付の特許請求の範囲からより完全に明らかになるであろう。これらの図面が、本開示に従ったいくつかの実施形態のみを描写し、したがって、その範囲を限定するものと見なされるべきではないことを理解して、本開示は、添付の図面の使用を通じてさらに具体的かつ詳細に説明される。
【００２９】
【図１】本出願の一実施形態による移動物体検出方法の概略フローチャートを図解する。
【図２】本出願の一実施形態による第１のグループ中で第１の基準点を特定するための方法の概略フローチャートを図解する。
【図３】本出願の一実施形態による第１のグループ中で第１の基準点を特定するための方法の概略フローチャートを図解する。
【図４】共通の特徴点を有する特徴点の２つのグループの例を図解する。
【図５】図４に図解されるようなグループの基準点との特徴点の相関を示す表１を図解する。
【図６】共通の特徴点を有しない２つの更新されたグループの例を図解する。
【発明を実施するための形態】
【００３０】
以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照する。文脈が別様に指示しない限り、図面において、同様の符号は、典型的には、同様の構成要素を特定する。詳細な説明、図面、及び特許請求の範囲に記載の例示的な実施形態は限定を意図するものではない。本明細書に提示される主題の趣旨または範囲から逸脱することなく、他の実施形態が利用されてもよく、他の変更がなされてもよい。また、本開示の態様は、概して、本明細書に記載され、図に図解されるように、多種多様な異なる構成において、配列され、置換され、組み合わされ、設計され得、それらの構成のすべてが明示的に企図され、本開示の部分をなすことが、容易に理解されるであろう。
【００３１】
図１を参照して、本出願の一実施形態による移動物体検出方法Ｓ１０の概略フローチャートを図解する。
【００３２】
Ｓ１１では、複数の映像フレームを取得する。いくつかの実施形態では、本方法を用いて、車両周辺の移動物体を検出するとき、車両上に搭載された単眼カメラを用いて、移動物体の検出のために映像フレームをキャプチャし得る。いくつかの実施形態では、複数の映像フレームは、等間隔の時間点でキャプチャされ得る。いくつかの実施形態では、複数の映像フレームは、所定の時間間隔でキャプチャされ得る。
【００３３】
Ｓ１２では、複数の映像フレームに基づいて、複数の特徴点を特定する。いくつかの実施形態では、複数の特徴点は、特徴点の検出及び追跡方法を用いて特定され得る。
【００３４】
いくつかの実施形態では、Ｔｏｍａｓｉ及びＳｈｉによって提案された「追跡するために好適な特徴（Ｇｏｏｄ  Ｆｅａｔｕｒｅｓ  ｔｏ  Ｔｒａｃｋ）」方法を用いて、映像フレームから複数の特徴点を検出することができる。いくつかの実施形態では、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ（ＫＬＴ）追跡方法を用いて、複数の映像フレームから検出された特徴点を追跡することができる。上記特徴点検出及び追跡方法は、当業者に周知であり、本明細書に詳細に記載されていない。「追跡するために好適な特徴」方法及びＫＬＴ追跡方法の他に、他の特徴点検出及び追跡方法を用いてもよい。
【００３５】
Ｓ１３では、基本行列を計算する。
【００３６】
いくつかの実施形態では、映像フレームをキャプチャするためのカメラの移動を表す基本行列を用いて、移動物体の検出を精密化することができる。いくつかの実施形態では、静的特徴点のグループは、にＲＡＮＳＡＣ基ずいたホモグラフィーを用いて特定され得る。次いで、基本行列によって表される消失点によるカメラの移動は、静的特徴点のグループに基づいて計算され得る。基本行列の計算は、当業界で周知であるので、本明細書では詳細には説明しない。
【００３７】
Ｓ１４では、あらゆる２つの特徴点に対する相関を、それらの距離及び移動差分に基づいて、計算する。
【００３８】
いくつかの実施形態では、特徴点Ｐ１（ｘ１ｎ、ｙ１ｎ）及びＰ２（ｘ２ｎ、ｙ２ｎ）は、映像フレーム中で無作為に選択され得、式中、（ｘ１ｎ、ｙ１ｎ）はＰ１の座標を表し、（ｘ２ｎ、ｙ２ｎ）はＰ２の座標を表し、ｎは、対応する追跡映像フレームのフレームインデックスを表す。いくつかの実施形態では、２つの特徴点のＰ１とＰ２との間の相関Ｃ１２は、等式（１）：
【数１−３】
2016505181.tif 000007
【００３９】
この場合、等式（１）に従って計算され得、式中、演算子「ｅｘｐ」は指数関数を表し、
【００４０】
ｄｓ１２は、２つの特徴点Ｐ１とＰ２との間のユークリッド距離を表し、ｄｓ１２＝（ｘ１ｎ−ｘ２ｎ）２＋（ｙ１ｎ−ｙ２ｎ）２によって与えられ得、
【００４１】
ｄｖ１２は、２つの特徴点Ｐ１とＰ２の蓄積された運動ベクトルを表し、これは等式（２）：
【数２】
2016505181.tif 000008
【００４２】
によって与えられ得、式中、
【化２−１】
2016505181.tif 000009
は、Ｐ１の運動ベクトルを表し、
【化３】
2016505181.tif 000010
はＰ２の運動ベクトルを表し、
【化４】
2016505181.tif 000011
は、それぞれｊ＋１のフレームインデックスを有する映像フレーム中の、Ｐ１及びＰ２の座標であり、
【化５】
2016505181.tif 000012
は、それぞれフレームインデックスｊを有する映像フレーム中の、Ｐ１及びＰ２の座標であり、
【００４３】
σｄｉｓ及びσｖは、それぞれ、距離及び運動ベクトルの統計的分散を表す。
【００４４】
いくつかの実施形態では、ユークリッド距離以外の他に、ｄｓ１２はまた、絶対距離（ＳＡＤ）の和または自乗距離（ＳＳＤ）の和であり得る。いくつかの実施形態では、ｄｖ１２はまた、運動ベクトルのｌ２  Ｎｏｒｍ距離または運動ベクトルの正規化内積であり得る。
【００４５】
Ｓ１５では、複数の特徴点から選択して、計算された相関に基づいて、特徴点の第１のグループ及び第２のグループを形成する。いくつかの実施形態では、グループは、グループ内のあらゆる２つの特徴点がゼロより大きい相関を有するように形成される。いくつかの実施形態では、グループは、グループ内のあらゆる２つの特徴点が所定の値より大きい相関を有するように形成され得る。
【００４６】
いくつかの実施形態では、２つの特徴点の間の距離が所定の第１の閾値よりも大きい場合、または、２つの特徴点の間の移動差分が所定の第２の閾値よりも大きい場合、２つの特徴点の相関はゼロに設定され得る。
【００４７】
いくつかの実施形態では、ｄｓ１２がσｄｉｓよりも大きい（ｄｓ１２＞σｄｉｓ）場合、相関Ｃ１２はゼロに設定され得る。
【００４８】
σｄｉｓがキャプチャされた映像フレームの解像度に基づいて設定され得ることに留意されたい。いくつかの実施形態では、σｄｉｓが
【化６】
2016505181.tif 000013
の範囲内の値に設定され得、式中、Ｗは映像フレームの幅を表し、Ｈは映像フレームの高さを表す。σｄｉｓの動的範囲は、キャプチャされた映像フレームの解像度に基づいて変更され得る。
【００４９】
いくつかの実施形態では、ｄｖ１２がσｖ（ｄｖ１２＞２σｖ）の２倍よりも大きい場合、相関Ｃ１２はゼロに設定され得る。
【００５０】
いくつかの実施形態では、σｖは、車両の速度に基づいて設定され得る。いくつかの実施形態では、車両が、例えば、２０ｋｍ／ｈ未満の低速で走行する場合、σｖは６〜１０の範囲内の値に設定され得る。
【００５１】
これを行うことにより、２つの特徴点Ｐ１及びＰ２が「緩慢な関係」、例えば、ｄｓ１２＞σｄｉｓまたはｄｖ１２＞２σｖを有する場合、２つの特徴点Ｐ１及びＰ２の相関Ｃ１２が計算され得、それによって、計算量は低減される。
【００５２】
いくつかの実施形態では、２つの異なるグループが共通の特徴点を有し得る。本出願の一実施形態は、共通の特徴点を第１のグループ及び第２のグループのうちの一方に分類すための方法をさらに提供し、それは、Ｓ１６〜Ｓ１８に図解される。
【００５３】
Ｓ１６では、特徴点の第１のグループの位置及び移動を実質的に表し得る特徴点の第１のグループから、第１の基準点を特定する。
【００５４】
いくつかの実施形態では、相関の最大の和を有する特徴点が基準点としての機能を果たす場合。その基準点は、その基準点が属するグループの位置及び移動を実質的に表し得る。いくつかの実施形態では、特徴点ＰｊがグループＧを実質的に表し得る場合、それは、等式（３）：
【数３】
2016505181.tif 000014
として表され得るエネルギー最大化を満たすべきであり、式中、「ａｒｇｍａｘ」は、最大値の引数、すなわち、関数
【化７】
2016505181.tif 000015
がその最大値に達するための所与の引数の点の集合を表す。
【００５５】
図２は、本出願の一実施形態による第１のグループ中で第１の基準点を特定するための方法Ｓ１６の概略フローチャートを図解する。方法Ｓ１６は、Ｓ１６０１において、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算することと、Ｓ１６０２において、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、を含む。
【００５６】
Ｓ１７では、特徴点の第２のグループの位置及び移動を実質的に表し得る特徴点の第２のグループから、第２の基準点を特定する。
【００５７】
第２のグループの第２の基準点を特定することは、第１のグループの第１の基準点を特定することに類似しており、本明細書では詳細に説明されない。
【００５８】
映像フレームは、グループの基準点を特定する正確性に影響を与えるようなノイズ点等のいくつかの「無関係な」情報を含み得るので、それ故、特徴点のグループの基準点を特定するための、よりロバストな方法が必要とされる。図３は、第１のグループ中で第１の基準点を特定するための別の方法の概略フローチャートを図解する。
【００５９】
図３を参照して、Ｓ１６１１では、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算する。より良い理解のために、第１のグループがＮ個の特徴点を含むことを想定する。
【００６０】
Ｓ１６１２では、第１のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定する。割合の値は、演算負荷等の特定の条件及び要件に応じて設定され得る。いくつかの実施形態では、Ｓ１６１１における計算された結果によれば、第１のグループの相関の最大の和を有するＭ個の特徴点が選択され得、ＭはＮよりも小さい。いくつかの実施形態では、ＭはＮの半分であり得る。
【００６１】
Ｓ１６１３では、特徴点の所定の割合のそれぞれの特徴点に対して、特徴点の所定の割合の他の特徴点とのその相関の和を計算する。言い換えれば、Ｍ個の特徴点のそれぞれの特徴点の、Ｍ個の特徴点の他の特徴点との相関の和が計算される。
【００６２】
Ｓ１６１４では、特徴点の所定の割合の他の特徴との相関の最大の和を有する第１の基準点を特定する。第１の基準点は、第１グループの位置及び移動を実質的に表し得る。
【００６３】
Ｓ１６１１〜Ｓ１６１４によって、ノイズ点によって引き起こされる干渉を低減し得る。Ｓ１６１１〜Ｓ１６１４はまた、第２の基準点を特定するために用いることができることに留意されたい。
【００６４】
図４は、共通の特徴点を有する２つのグループの例を図解する。図４を参照すると、２つのグループ（例えば、Ｇ１及びＧ２）が存在し、特徴点Ｐ２は、Ｇ１及びＧ２の共通の特徴点である。特徴点の２つのグループが共通の特徴点を有する場合、２つのグループに対応する検出された移動物体は重複領域を有することになる。より明確に移動物体をセグメント化するために、共通の特徴点は、１つのグループにのみ分類する必要がある。
【００６５】
図５は、図４に図解されるような２つのグループの基準点との特徴点Ｐ１〜Ｐ３の相関を示す表１を図解する。表１において、Ｌ１及びＬ２は、それぞれグループＧ１及びＧ２の基準点を表す。Ｐ１〜Ｐ３のグループＧ１及びＧ２との相関は、それぞれＰ１〜Ｐ３の基準点Ｌ１及びＬ２との相関によって表され得る。
【００６６】
Ｐ２を例に取ると、Ｐ２の２つの基準点Ｌ１及びＬ２との相関は、等式（１）を用いて計算され得るＣ２Ｌ１及びＣ２Ｌ２であり得る。Ｐ２がグループＧ１及びＧ２に属するので、Ｃ２Ｌ１及びＣ２Ｌ２はゼロと等しくない。Ｐ１がグループＧ２に属さず、Ｐ３がＧ１に属さないので、Ｃ１Ｌ２及びＣ３Ｌ１はゼロと等しい。
【００６７】
Ｓ１８では、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類する。
【００６８】
いくつかの実施形態では、特徴点が、特徴点が共通の特徴点である複数のグループのうちの１つに分類される場合、それは、等式（４）：
【数４】
2016505181.tif 000016
として表され得る相関の最大化を満たすものとし、式中、「ａｒｇｍａｘ」は、最大値の引数、すなわち、関数Ｃｐｌがその最大値に達するための所与の引数の点の集合を表す。
Ｃｐｌは、特徴点Ｐの、特徴点Ｐが属するグループの基準点との相関を表す。
【００６９】
いくつかの実施形態では、複数のグループが共通の特徴点を有する場合、複数のグループのうち、その基準点が共通の特徴点との最大の相関を有する１つに分類されて、共通の特徴点を有しない複数の更新されたグループを取得し得る。
【００７０】
図６は、共通の特徴点を有しない２つの更新されたグループの例を図解する。Ｐ２の場合は、Ｃ２Ｌ２がＣ２Ｌ１よりも大きいことを想定して、Ｐ２はグループＧ２に属するものとして特定される。
【００７１】
異なるグループ間で共通する特徴点が存在しない場合は、Ｓ１６〜Ｓ１８が任意選択的であることに留意されたい。この場合、第１の移動物体及び第２の移動物体は、特徴点の第１のグループ及び第２のグループに従って少なくとも１つの映像フレーム中で特定され得る。
【００７２】
Ｓ１９では、共通点を有しない特徴点の更新された第１のグループ及び第２のグループに基づいて特定された物体のうちのいずれかが静的であるかどうかを、特徴点のこれらのグループが基本行列に適合するかどうかを判定することよって、判定する。
【００７３】
本出願の発明者は、移動物体のセグメントが完成された後、基本行列を特徴点のグループに適用して、検出率が上昇され、このように移動物体検出の効率が改善され得ることを見出した。
【００７４】
いくつかの実施形態では、特徴点の第１のグループの移動が基本行列に適合する場合、特徴点の第１のグループは静止点として特定される。さもなければ、特徴点の第１のグループの移動が基本行列に適合しない場合、特徴点の第１のグループは移動点として特定される。基本行列はまた、特徴点の第２のグループに適用されて、第２の移動物体の検出を改良することができる。
【００７５】
例えば、基本行列は、図６のグループＧ１’、Ｇ２’、及びＧ３’に適用され得る。移動物体の検出を改良する必要がない場合、Ｓ２０が任意選択的であることに留意されたい。
【００７６】
いくつかの実施形態では、移動物体の検出を精密化するように、反復アルゴリズムを本発明の方法に使用することができる。しかしながら、実験結果によれば、本出願の発明者は、反復なしの本出願の方法が移動物体検出の必要を実質的に満たし得る。したがって、従来技術と比較して、演算の負荷及び複雑さが大幅に低減され、移動物体検出の効率が大幅に改善される。
【００７７】
本開示の実施形態による方法は、移動物体検出システムで実施され得る。いくつかの実施形態では、移動物体検出装置は、車両に搭載されて、車両の近傍で移動物体を検出し得る。
【００７８】
移動物体検出システムは、カメラ及び処理装置を含み得る。カメラは、複数の映像フレームをキャプチャするように適合される。処理装置は、本開示の実施形態によれば、上述の方法を実行するように構成され得る。いくつかの実施形態では、処理装置は、ＣＰＵ、ＧＰＵ、ＤＳＰ等、またはそれらの任意の組み合わせであり得る。いくつかの実施形態では、処理ユニットは、複数のコンピューティングコンポーネントと他のコンポーネントとの組み合わせであり得る。
【００７９】
様々な態様及び実施形態が本明細書に開示されているが、他の態様及び実施形態が当業者には明らかであろう。本明細書で開示される様々な態様及び実施形態は例示の目的のためであり、限定することを意図するものではなく、真の範囲及び趣旨は以下の特許請求の範囲によって示される。
【図４】
2016505181.tif 000021
【図５】
2016505181.tif 000022
【図６】
2016505181.tif 000023
【図１】
2016505181.tif 000024
【図２】
2016505181.tif 000025
【図３】
2016505181.tif 000026
【国際調査報告】
2016505181.tif 000027
2016505181.tif 000028