(57)【要約】  ビデオオブジェクト検出は、第１のビデオフレームにおけるオブジェクト（３０２）を検出すること及びオブジェクトの第１の注目点（３０６Ｂ）及び第２の注目点（３１０Ｂ）を選択することを含む。第１の注目点は、オブジェクト（３０２）を囲むボックス（３００）の第１のコーナー（３１２）に位置する第１の注目領域（３０４）にある。第２の注目点は、ボックスの第２のコーナー（３１４）に位置する第２の注目領域（３０８）にある。第２のコーナー（３１４）は、第１のコーナーと対角線状に対向する。第１の注目点（３０６Ｂ）の第１のオプティカルフロー及び第２の注目点（３１０Ｂ）の第２のオプティカルフローが判定される。第２のビデオフレームにおいて、第１のオプティカルフローに基づいて第１の注目点の位置を判定し、第２のオプティカルフローに基づいて第２の注目点の位置を判定することによって、第２のビデオフレームにおけるオブジェクト（３０２）の位置が推定される。
2021519970.tif 000002
【特許請求の範囲】
【請求項１】
ビデオプロセッサであって、
第１のビデオフレームにおけるオブジェクトを検出するように構成されるオブジェクト検出回路、及び
オブジェクト伝搬回路、
を含み、
前記オブジェクト伝搬回路が、
前記オブジェクトを囲むボックスの第１のコーナーに位置する第１の注目領域に配置される、前記オブジェクトの第１の注目点を選択し、
前記オブジェクトを囲む前記ボックスの、前記第１のコーナーと対角線状に対向している第２のコーナーに位置する第２の注目領域に配置される、前記オブジェクトの第２の注目点を選択し、
前記第１の注目点について第１のオプティカルフローを判定し、
前記第２の注目点について第２のオプティカルフローを判定し、
第２のビデオフレームにおける前記オブジェクトの位置を推定することであって、前記第１のオプティカルフローに基づいて前記第２のビデオフレームにおける前記第１の注目点の位置を判定し、前記第２のオプティカルフローに基づいて前記第２のビデオフレームにおける前記第２の注目点の位置を判定することによって、前記第２のビデオフレームにおける前記オブジェクトの位置を推定する、
ように構成される、
ビデオプロセッサ。
【請求項２】
請求項１に記載のビデオプロセッサであって、前記オブジェクト伝搬回路が、
前記第１の注目領域における複数の注目点を識別し、
前記注目点の各々が前記オブジェクトの一部であるかどうかを判定し、
前記注目点のうち、前記オブジェクトの一部であると判定され、前記第１のコーナーに最も近い一つを、前記第１の注目点として選択する、
ように構成される、ビデオプロセッサ。
【請求項３】
請求項１に記載のビデオプロセッサであって、前記オブジェクト伝搬回路が、
前記第１の注目領域における複数の注目点を識別し、
前記注目点の各々についてオプティカルフローを判定し、
前記注目点について前記オプティカルフローに基づいて、前記注目点の一つを前記第１の注目点として選択する、
ように構成される、ビデオプロセッサ。
【請求項４】
請求項１に記載のビデオプロセッサであって、前記オブジェクト伝搬回路が、
伝搬されるべきオブジェクトのプールを維持し、
各ビデオフレームにおいて前記オブジェクトの位置が推定されるライフタイム値を前記プールにおける各オブジェクトに割り当てる、
ように構成される、ビデオプロセッサ。
【請求項５】
請求項４に記載のビデオプロセッサであって、前記オブジェクト伝搬回路が、第１の閾値を超える、検出されたオブジェクトに割り当てられる検出信頼値に基づいて、前記検出されたオブジェクトを前記プールに追加するように構成される、ビデオプロセッサ。
【請求項６】
請求項４に記載のビデオプロセッサであって、前記オブジェクト伝搬回路が、所与のビデオフレームにおいて、検出されたオブジェクトを、前記検出されたオブジェクトの前記推定された位置における前記検出されたオブジェクトと前記所与のビデオフレームにおいて検出された第２のオブジェクトとの重なりが所定の重なりよりも小さいことに基づいて、前記プールから削除するように構成される、ビデオプロセッサ。
【請求項７】
請求項１に記載のビデオプロセッサであって、
前記オブジェクトが第１のオブジェクトであり、
前記第２のフレームにおいて検出されるオブジェクトが前記オブジェクトと少なくとも所定量重なることに応答して、前記オブジェクト伝搬回路が、前記第２のビデオフレームにおける前記第１のオブジェクトの前記推定位置における前記第１のオブジェクトを抑制するように構成され、
前記第２のビデオフレームにおいて検出された前記オブジェクトの検出信頼スコアが前記第１のオブジェクトの検出信頼スコアよりも低い、
ビデオプロセッサ。
【請求項８】
ビデオオブジェクト検出のための方法であって、
第１のビデオフレームにおいてオブジェクトを検出すること、
前記オブジェクトを囲むボックスの第１のコーナーに位置する第１の注目領域に配置される、前記オブジェクトの第１の注目点を選択すること、
前記オブジェクトを囲む前記ボックスの、前記第１のコーナーと対角線状に対向する第２のコーナーに位置する第２の注目領域に配置される、前記オブジェクトの第２の注目点を選択すること、
前記第１の注目点について第１のオプティカルフローを判定すること、
前記第２の注目点について第２のオプティカルフローを判定すること、及び
第２のビデオフレームにおける前記オブジェクトの位置を推定することであって、前記第１のオプティカルフローに基づいて前記第２のビデオフレームにおける前記第１の注目点の位置を判定し、前記第２のオプティカルフローに基づいて前記第２のビデオフレームにおける前記第２の注目点の位置を判定することによって、前記第２のビデオフレームにおける前記オブジェクトの位置を推定すること、
を含む、方法。
【請求項９】
請求項８に記載の方法であって、
前記第１の注目領域における複数の注目点を識別すること、
前記注目点の各々が前記オブジェクトの一部であるかどうかを判定すること、及び
前記対象点のうち、前記オブジェクトの一部であると判定され、前記第１のコーナーに最も近い一つを前記第１の対象点として選択すること、
をさらに含む、請求項８に記載の方法。
【請求項１０】
請求項８に記載の方法であって、
前記第１の注目領域における複数の注目点を識別すること、
前記注目点の各々についてオプティカルフローを判定すること、及び
前記注目点について前記オプティカルフローに基づいて、前記注目点の一つを前記第１の注目点として選択すること、
をさらに含む、方法。
【請求項１１】
請求項８に記載の方法であって、
伝播されるべきオブジェクトのプールを維持すること、及び
前記オブジェクトの位置が各ビデオフレームにおいて推定されるライフタイム値を各オブジェクトに割り当てること、
をさらに含む、方法。
【請求項１２】
請求項１１に記載の方法であって、第１の閾値を超える、検出されたオブジェクトに割り当てられる検出信頼値に基づいて、前記検出されたオブジェクトを前記プールに追加することをさらに含む、方法。
【請求項１３】
請求項１１に記載の方法であって、検出されたオブジェクトを、所与のビデオフレームにおいて、前記検出されたオブジェクトの前記推定位置における前記検出されたオブジェクトと、前記所与のビデオフレームにおいて検出される第２のオブジェクトとの重なりが所定の重なりよりも小さいことに基づいて、前記プールから削除することをさらに含む、方法。
【請求項１４】
請求項８に記載の方法であって、
前記オブジェクトが第１のオブジェクトであり、前記方法が、前記第２のフレームにおいて検出されるオブジェクトが、前記オブジェクトと少なくとも所定量重なることに応答して、前記第２のビデオフレームにおける前記第１のオブジェクトの前記推定位置における前記第１のオブジェクトを抑制することをさらに含み、
前記第２のフレームにおいて検出された前記オブジェクトの検出信頼スコアが、前記第１のオブジェクトの検出信頼スコアよりも低い、
方法。
【請求項１５】
ビデオシステムであって、
動作環境の画像を捕捉するように構成されるカメラ、及び
前記カメラに結合されるビデオプロセッサ、
を含み、
前記ビデオプロセッサが、
前記カメラからビデオフレームを受け取り、
前記ビデオフレームの第１のビデオフレームにおいてオブジェクトを検出し、
前記オブジェクトを囲むボックスを画定し、
前記ボックスの第１のコーナーにおいて第１の注目領域を画定し、
第１の領域における第１の複数の注目点を識別し、
前記第１の複数の注目点から第１の注目点を選択し、
前記第１の注目点について第１のオプティカルフローを判定し、
前記ボックスの、前記第１のコーナーと対角線状に対向する第２のコーナーにおいて第２の注目領域を画定し、
前記第２の領域における第２の複数の注目点を識別し、
前記第２の複数の注目点から第２の注目点を選択し、
前記第２の注目点について第２のオプティカルフローを判定し、
第２のビデオフレームにおける前記オブジェクトの位置を推定することであって、前記第１のオプティカルフローに基づいて前記第２のビデオフレームにおける前記第１の注目点の位置を判定し、前記第２のオプティカルフローに基づいて前記第２のビデオフレームにおける前記第２の注目点の位置を判定することによって、前記第２のビデオフレームにおける前記オブジェクトの位置を推定する、
ように構成されている、
ビデオシステム。
【請求項１６】
請求項１５に記載のビデオシステムであって、前記ビデオプロセッサが、
エピポーラチェックを実施することによって、前記第１の複数の注目点の前記注目点の各々が前記オブジェクトの一部であるかどうかを判定し、
前記オブジェクトの一部であり、前記ボックスの第１のコーナーに最も近い、前記第１の複数の注目点の注目点を前記第１の注目点として選択し、
エピポーラ検査を実施することによって、前記第２の複数の注目点の前記注目点の各々が前記オブジェクトの一部であるかどうかを判定し、
前記オブジェクトの一部であり、前記ボックスの第２のコーナーに最も近い、前記第２の複数の注目点の注目点を第２の注目点として選択する、
ように構成される、ビデオシステム。
【請求項１７】
請求項１５に記載のビデオシステムであって、前記ビデオプロセッサが、
伝搬されるべきオブジェクトのプールを維持し、
各ビデオフレームにおいて前記オブジェクトの位置が推定されるライフタイム値を前記プールにおける各オブジェクトに割り当てる、
ように構成される、ビデオシステム。
【請求項１８】
請求項１７に記載のビデオシステムであって、前記ビデオプロセッサが、第１の閾値を超える、検出されたオブジェクトに割り当てられる検出信頼スコア値に基づいて、前記検出されたオブジェクトを前記プールに追加するように構成される、ビデオシステム。
【請求項１９】
請求項１７に記載のビデオシステムであって、前記ビデオプロセッサが、所与のビデオフレームにおいて、前記プールからの検出されたオブジェクトを、前記検出されたオブジェクトの前記推定された位置における前記検出されたオブジェクトと前記所与のビデオフレームにおいて検出される第２のオブジェクトとの重なりが所定の重なりよりも小さいことに基づいて、削除するように構成される、ビデオシステム。
【請求項２０】
請求項１５に記載のビデオシステムであって、
前記オブジェクトが第１のオブジェクトであり、
前記ビデオプロセッサが、前記第２のフレームにおいて検出された第２のオブジェクトが前記第１のオブジェクトと少なくとも所定量だけ重なることに応答して、前記第２のビデオフレームにおける前記第１のオブジェクトの推定位置における前記第１のオブジェクトを抑制するように構成され、
前記第２のビデオフレームにおいて検出された前記オブジェクトの検出信頼スコアが、前記第１のオブジェクトの検出信頼スコアよりも低い、
ビデオシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
オブジェクト検出は、コンピュータビジョンにおける重要な問題である。或るシーンにおけるオブジェクトの挙動と動きを解析するために、ビデオ処理システムはビデオデータからオブジェクトを確実に検出する必要がある。オブジェクトの検出は、オブジェクトの位置及びスケールを判定することに関与する。様々な分析応用例は、シーンにおけるオブジェクトの位置及び縮尺を判定することに基づいている。例えば、トラッカーは、オブジェクトの位置と縮尺で初期化する必要があるため、オブジェクト検出は、オブジェクト追跡に先行するものとして必須である。
【０００２】
先進運転支援システム（ＡＤＡＳ）及び自動運転システムは、オブジェクト検出に依存して、車両動作環境におけるオブジェクトの位置を判定する。ＡＤＡＳのオペレーションは、検出されたオブジェクトのドライバに警告すること、又は検出されたオブジェクトを回避するために車両の制御を想定することを含み得る。
【発明の概要】
【０００３】
視覚プロセッサが、オブジェクト検出回路とオブジェクト伝搬回路とを含む。オブジェクト検出回路は、第１のビデオフレームにおいてオブジェクトを検出するように構成される。オブジェクト伝搬回路は、オブジェクトの第１の注目点を選択するように構成される。第１の注目点は、オブジェクトを囲むボックスの第１のコーナー（corner）に位置する第１の注目領域に配置される。オブジェクト伝搬回路はまた、オブジェクトの第２の注目点を選択するように構成される。第２の注目点は、オブジェクトを囲むボックスの第２のコーナーに位置する第２の注目領域に配置される。第２のコーナーは、第１のコーナーと対角線状に対向している。オブジェクト伝搬回路はさらに、第１の注目点について第１のオプティカルフロー（optical flow）を判定し、第２の注目点について第２のオプティカルフローを判定するように構成される。さらに、オブジェクト伝搬回路は第１のオプティカルフローに基づいて第２のビデオフレームにおける第１の注目点の位置を判定し、第２のオプティカルフローに基づいて第２のビデオフレームにおける第２の注目点の位置を判定することによって、第２のビデオフレームにおけるオブジェクトの位置を推定するように構成される。
【０００４】
ビデオオブジェクト検出のための方法が、第１のビデオフレームにおいてオブジェクトを検出することを含む。オブジェクトの第１の注目点が選択される。第１の注目点は、オブジェクトを囲むボックスの第１のコーナーに位置する第１の注目領域に配置される。オブジェクトの第２の注目点が選択される。第２の注目点は、オブジェクトを囲むボックスの第２のコーナーに位置する第２の注目領域に配置される。第２のコーナーは、第１のコーナーと対角線状に対向している。第１の注目点の第１のオプティカルフローが判定される。第２の注目点に対する第２のオプティカルフローが判定される。第２のビデオフレームにおけるオブジェクトの位置は、第１のオプティカルフローに基づいて第２のビデオフレームにおける第１の注目点の位置を判定し、第２のオプティカルフローに基づいて第２のビデオフレームにおける第２の注目点の位置を判定することによって推定される。
【０００５】
ビデオシステムが、カメラ及びビデオプロセッサを含む。カメラは、動作環境の画像を捕捉するように構成される。ビデオプロセッサは、カメラに結合され、カメラからビデオフレームを受け取り、ビデオフレームの第１のビデオフレームにおけるオブジェクトを検出するように構成される。ビデオプロセッサはまた、オブジェクトを囲むボックスを画定し、ボックスの第１のコーナーにおける第１の注目領域を画定し、第１の領域における第１の複数の注目点を識別し、第１の複数の注目点から第１の注目点を選択し、第１の注目点について第１のオプティカルフローを判定するように構成される。ビデオプロセッサはさらに、ボックスの第２のコーナーにおける第２の注目領域を画定し、第２の領域における第２の複数の注目点を識別し、第２の複数の注目点から第２の注目点を選択し、第２の注目点について第２のオプティカルフローを判定するように構成される。第２のコーナーは、第１のコーナーと対角線状に対向している。ビデオプロセッサは、第１のオプティカルフローに基づいて第２のビデオフレームにおける第１の注目点の位置を判定し、第２のオプティカルフローに基づいて第２のビデオフレームにおける第２の注目点の位置を判定することによって、第２のビデオフレームにおけるオブジェクトの位置を推定するようにさらに構成される。
【図面の簡単な説明】
【０００６】
【図１】本記載に従ってビデオ画像を処理するための例示のシステムのブロック図を示す。
【０００７】
【図２】本記載に従ったオブジェクト検出のための例示の方法のためのフローチャートを示す。
【０００８】
【図３】本記載に従ってビデオ処理システムによって検出されるオブジェクトのためのオプティカルフローに基づく注目点の選択を示す。
【０００９】
【図４Ａ】本記載に従ってビデオ処理システムによって検出されるオブジェクトについてのエピポーラチェックに基づく注目点の選択を示す。
【図４Ｂ】本記載に従ってビデオ処理システムによって検出されるオブジェクトについてのエピポーラチェックに基づく注目点の選択を示す。
【００１０】
【図５Ａ】本記載に従ったオプティカルフローによって伝播されるオブジェクトのプールを示す。
【図５Ｂ】本記載に従ったオプティカルフローによって伝播されるオブジェクトのプールを示す。
【００１１】
【図６Ａ】本記載に従ったオプティカルフローによるオブジェクト伝搬のための条件を示す。
【図６Ｂ】本記載に従ったオプティカルフローによるオブジェクト伝搬のための条件を示す。
【図６Ｃ】本記載に従ったオプティカルフローによるオブジェクト伝搬のための条件を示す。
【００１２】
【図７Ａ】本記載に従った条件付きＮＭＳ（non-maximum suppression）に基づくオプティカルフローによって伝播されるオブジェクトの抑制を示す。
【図７Ｂ】本記載に従った条件付きＮＭＳに基づくオプティカルフローによって伝播されるオブジェクトの抑制を示す。
【００１３】
【図８】本記載に従ったオプティカルフローによってオブジェクト伝搬を実装するのに適した例示のシステムオンチップのためのブロック図を示す。
【発明を実施するための形態】
【００１４】
本記載において、「結合する」という用語は、間接的又は直接的な有線又はワイヤレス接続のいずれかを意味する。したがって、第１のデバイスが第２のデバイスに結合する場合、その接続は、直接的接続を介するもの、又は他のデバイス及び接続を介する間接的接続を介するものであり得る。また、本記載では、「〜に基づく」は「少なくとも部分的に基づく」ことを意味する。したがって、ＸがＹに基づく場合、ＸはＹ及び任意の数の他の要因の関数であり得る。
【００１５】
ディープラーニングの使用は、ビデオにおけるオブジェクトの検出及び認識を実質的に改善してきている。しかしながら、ディープラーニングを実装するために必要な計算の複雑度は、リアルタイムでビデオを処理する埋め込みデバイスに対する実装を困難にしている。シングルショット検出器（ＳＳＤ）などの、埋め込みデバイスにおけるオブジェクト検出に特に向けられたディープラーニングベースのオブジェクト検出の実装は有用であるが、ほとんどの埋め込みデバイスで利用可能であるよりもかなり多くの計算能力を依然として必要とする。
【００１６】
本明細書に記載されるビデオ処理装置及び方法は、著しく（例えば、８０倍）低い計算複雑度で、ＳＳＤのものと同様のオブジェクト検出精度を提供する。実装は、検出されたオブジェクトに関連付けられた２つの注目領域の各々において注目点を選択する。注目領域は、オブジェクトを囲む矩形の対向する頂点に位置する。注目点の各々のオプティカルフローが判定され、注目点のオプティカルフローに基づいて、後続のビデオフレームにおけるオブジェクトの位置が判定される。オプティカルフローを用いて伝播される検出されたオブジェクトのプールが維持される。プール内の、選択された経過時間未満のすべての検出されたオブジェクトが伝播される。第１の信頼閾値を上回る検出信頼スコアを有する検出されたオブジェクトが、プールに追加される。検出されたオブジェクトは、伝播されたオブジェクトが、第１の閾値を下回る検出信頼スコアである検出されたオブジェクトと重なる場合、オプティカルフローに基づいて伝播される。
【００１７】
図１は、本記載に従ったビデオ画像を処理するための例示のビデオ処理システム１００のブロック図を示す。ビデオ処理システム１００は、一つ又は複数のカメラ１０２と、ビデオプロセッサ１０４を含む。カメラ１０２は、特定の応用例におけるオブジェクト検出に適したフレームレート及び解像度で可視光又は赤外画像を捕捉し得る。例えば、ビデオ処理システム１００は、車両の動作環境におけるオブジェクトを検出するために、先進運転支援システム（ＡＤＡＳ）又は自動運転システムに適用され得る。そのような応用例において、カメラ１０２は、毎秒６０フレーム、毎秒３０フレームのフレームレート、又は０．５〜８メガピクセル又はそれ以上の解像度を有する他の好適な速度で動作し得る。カメラ１０２は、モバイル産業プロセッサインタフェース連合（例えば、ＭＩＰＩ  ＣＳＩ&#8722;２）によって特定されるカメラシリアルインタフェース、又はビデオデータをプロセッサに転送するのに適した他のインタフェースを介して、ビデオプロセッサ１０４に結合され得る。
【００１８】
ビデオプロセッサ１０４は、オブジェクトを検出し、カメラ１０２から受け取ったビデオデータに基づいて他のオペレーションを行うのに適している命令実行デバイスである。例えば、或るＡＤＡＳ実装において、ビデオプロセッサ１０４が、テキサス・インスツルメンツ社によって製造されたＴＤＡ２ファミリのシステムオンチップ（ＳｏＣ）であってもよく、ビデオプロセッサ１０４は任意の数及びタイプのサブプロセッサを含んでもよい。ビデオプロセッサ１０４の様々な実装は、カメラ１０２から受け取ったビデオデータを操作し、ビデオコプロセッサコア１００のカメラ１０２及び他の構成要素（例えば、ビデオディスプレイ、オートモーティブ制御システムなど）を制御するために、一つ又は複数の汎用マイクロプロセッサコア、及び／又は一つ又は複数の汎用コプロセッサコア、及び／又は一つ又は複数のデジタルシグナルプロセッサコア、及び／又は一つ又は複数のハードウェアビデオアクセラレータコア、及び一つ又は複数の視覚エンジンコアを含み得る。また、ビデオプロセッサ１０４の実装は、処理のためのビデオデータとビデオプロセッサ１０４に含まれる種々プロセッサコアによって実行される命令とのストレージのためのメモリと、メモリにアクセスし、ビデオプロセッサ１０４の外部の他のデバイスと通信するためのインタフェースとを含み得る。
【００１９】
ビデオプロセッサ１０４は、オブジェクト検出回路１０６及びオブジェクト伝搬回路１０８を含む。オブジェクト検出回路１０６及びオブジェクト伝搬回路１０８は、ビデオプロセッサ１０４のメモリにストアされた命令を実行するビデオプロセッサ１０４の一つ又は複数のプロセッサコアによって実装され得る。オブジェクト検出回路１０６は、カメラ１０２から受け取ったビデオのフレームを解析し、各フレームにおけるオブジェクトを検出する。それぞれのオブジェクト検出には、検出されたオブジェクトがビデオフレーム内に存在する尤度を表す信頼値（すなわち、検出信頼スコア）が割り当てられる。例えば、０．４〜０．６の範囲の検出信頼スコアが、検出されたオブジェクトがビデオフレーム内に存在するという良好な信頼度を示し得る。オブジェクト検出回路１０６の例は、ＳＳＤ、高速Ｒ&#8722;ＣＮＮ（領域提案＋畳み込みニューラルネットワーク）、又は他のオブジェクト検出アーキテクチャを実装し得る。
【００２０】
オブジェクト伝搬回路１０８は、前のビデオフレームで検出されたオブジェクトの、現ビデオフレームにおける位置を推定する。オブジェクト伝搬回路１０８は、前のビデオフレームにおけるオブジェクトの注目点のオプティカルフローを分析し、判定されたオプティカルフローをオブジェクトに適用することによって、前のビデオフレームから現在のビデオフレームにオブジェクトを伝播する。オブジェクト伝搬回路１０８の実装は、オブジェクトの伝播位置を、低い検出信頼度（例えば、０．３〜０．５の範囲の検出信頼スコア）のため認識されないままとなるオブジェクト検出と相関させることによって、改善されたオブジェクト検出を提供する。したがって、オブジェクト伝搬回路１０８は、さもなければ検出されないままであり得るビデオフレームにおけるオブジェクトの存在を検出し、オブジェクト伝搬回路１０８は、同様の検出性能をもたらす他のアルゴリズムよりも低い計算複雑度を有する改善された検出を提供する。
【００２１】
図２は、本記載に従ったオブジェクト検出のための例示の方法２００のフローチャートを示す。便宜上順次示されているが、示されている行為の少なくとも幾つかが、異なる順で実施され得、及び/又は並列に実施され得る。また、実装によっては、示されている行為の一部のみを行う場合がある。方法２００のオペレーションは、ビデオプロセッサ１０４及び／又はビデオ処理システム１００の実装によって成されてもよい。
【００２２】
ブロック２０２において、カメラ１０２は、ビデオフレームにおけるビデオ処理システム１００の動作環境の画像を捕捉する。オブジェクト検出回路１０６は、オブジェクトの検出のためのビデオフレームを処理する。
【００２３】
ブロック２０４において、ビデオフレームにおけるオブジェクト検出回路１０６によって検出された各オブジェクトについて、オブジェクト伝搬回路１０８はオブジェクトの２つの注目領域における注目点を識別する。図３は、オブジェクト検出回路１０６によって検出されたオブジェクト３０２を示す。オブジェクト３０２は、矩形３００によって囲まれている。オブジェクト伝搬回路１０８は、矩形３００の第１のコーナー３１２におけるエリアを第１の注目領域３０４として識別し、矩形３００の第２のコーナー３１４におけるエリアを第２の注目領域３０８として識別する。第１のコーナー３１２は、第２のコーナー３１４と対角線状に対向している。注目領域３０４及び注目領域３０８内で、オブジェクト伝搬回路１０８は、幾つかの注目点を識別する。注目点は、注目領域３０４において識別された端部又はコーナーに位置する点（例えば、画素）によって識別され得る。例えば、オブジェクト伝搬回路１０８は、閾値を超える端部又はコーナースコアを有する点を注目点として識別し得る。注目領域３０４において、オブジェクト伝搬回路１０８は、注目点３０６Ａ、注目点３０６Ｂ、注目点３０６Ｃ、注目点３０６Ｄ、及び注目点３０６Ｅを識別する。注目領域３０８において、オブジェクト伝搬回路１０８は、注目点３１０Ａ、注目点３１０Ｂ、注目点３１０Ｃ、注目点３１０Ｄ、及び注目点３１０Ｅを識別する。
【００２４】
注目領域における複数の注目点を識別すると、オブジェクト伝搬回路１０８は、複数の注目点から、注目領域の各々における注目点のうちの１つを選択する。注目領域の各々において単一の注目点を選択するために、オブジェクト伝搬回路１０８は、識別された注目点の各々についてオプティカルフローを判定する。不良オプティカルフローを示す注目点は、考慮から除去される。例えば、オブジェクトをフレームから取り出し、オブジェクトを見えなくするオプティカルフローを有する注目点等は、不良オプティカルフローと考えることができる。注目領域３０４において、注目点３０６Ａは不良オプティカルフローを有するものとして識別され、注目領域３０８において、注目点３１０Ａは不良オプティカルフローを有するものとして識別される。したがって、注目点３０６Ａは注目領域３０４における１つの注目点として選択されず、注目点３１０Ａは注目領域３０８における１つの注目点として選択されない。
【００２５】
ブロック２０６において、矩形３００は、オブジェクト３０２に加えて背景の部分を含むので、オブジェクト伝搬回路１０８は、注目点の各々がオブジェクト３０２の一部であるか、背景の一部であるかを判定する。オブジェクト３０２の一部ではない注目点は、注目領域において選択される１つの注目点としての考慮から除去される。図４Ａ及び図４Ｂは、矩形４００に配置される検出オブジェクト４０２を示す。図４Ａは、背景の様々な構成要素が矩形４００内に含まれており、これらの構成要素の幾つかが、注目領域４０４又は注目領域４０８における端部又はコーナーを示し得ることを示す。注目領域４０４及び注目領域４０８における注目点の各々について、オブジェクト伝搬回路１０８は、カメラ１０２によって異なる時間に捕捉された２つの画像を用いてエピポーラチェックを行う。オブジェクト伝搬回路１０８は、オブジェクト４０２について基本行列を演算する。基本行列を用いて、オブジェクト伝搬回路１０８はエピポーラ線を演算する。エピポーラ線から遠く（例えば、閾値より大きい）端部で終端するオプティカルフローを有する如何なる注目点も、背景又は異なるオブジェクトの一部とみなされ、注目領域における１つの注目点として選択するための考慮から除外される。
【００２６】
ブロック２０８において、良好なオプティカルフローを有し、検出されたオブジェクトの点とみなされる注目点から、オブジェクト伝搬回路１０８は、注目領域における１つの注目点となるように、アンカーポイントに最も近い（最小距離を有する）（すなわち、注目領域のコーナーに最も近い）注目点を選択する。例えば、図３において、注目点３０６Ｂ、注目点３０６Ｃ、注目点３０６Ｄ、及び注目点３０６Ｅが良好なオプティカルフローを有し、エピポーラチェックに合格した場合、注目点３０６Ｂはコーナー３１２に最も近いので、オブジェクト伝搬回路１０８は、注目領域３０４について注目点３０６Ｂを１つの注目点として選択する。同様に、注目点３１０Ｂ、注目点３１０Ｃ、注目点３１０Ｄ、及び注目点３１０Ｅが良好なオプティカルフローを有し、エピポーラ検査に合格した場合、注目点３１０Ｂはコーナー３１４に最も近いので、オブジェクト伝搬回路１０８は、注目領域３０８について注目点３１０Ｂを１つの注目点として選択する。図４Ｂにおいて、オブジェクト伝搬回路１０８は、注目領域４０４における１つの注目点として注目点４１０を選択し、注目領域４０８における１つの注目点として注目点４１２を選択する。
【００２７】
オブジェクト伝搬回路１０８は、オプティカルフローに基づいて伝搬するオブジェクトのプールを維持する。ブロック２１０において、ブロック２０２で識別されたオブジェクトがプールに追加される。オブジェクト検出回路１０６によってオブジェクトに割り当てられた検出信頼スコアが、検出されたオブジェクトがビデオフレーム内に存在するという良好な信頼度を示す場合、識別されたオブジェクトがプールに追加され得る。例えば、オブジェクト検出回路１０６によってオブジェクトに割り当てられた検出信頼スコアが信頼スコア閾値（例えば、０．４〜０．６の範囲の閾値）を超える場合、そのオブジェクトは５００に追加され得る。図５Ａ及び図５Ｂは、本記載に従ってオプティカルフローによって伝播されるオブジェクトのプール５００を示す。図５Ａはプール５００を示し、プール５００は、オブジェクト５０２、オブジェクト５０４、及びオブジェクト５０６を含む。プール５００は、ビデオプロセッサ１０４のメモリにストアされ得る。プール５００は、任意の数のオブジェクトを含み得る。新しいオブジェクトが検出されると、検出されたオブジェクトがプール５００に追加される。オブジェクトがプール５００に追加されると、ライフタイム値がオブジェクトに割り当てられる。オブジェクトがプールに追加されるときに、例えば、０．５秒、１秒などのライフタイムが、各オブジェクトに割り当てられ得る。ライフタイムの満了時に、オブジェクトはプール５００から削除され得る。プール５００におけるオブジェクトのライフタイムの持続時間の間、そのオブジェクトは各新たなビデオフレームにおいて伝播され得る（すなわち、オブジェクトの位置が推定される）。
【００２８】
ブロック２１２において、プール５００にストアされたオブジェクトは伝搬される。図５Ｂは、後続のビデオフレームにおける、プール５００内のオブジェクトの伝搬を示す。オブジェクトの各々において識別された２つの注目点のオプティカルフローは、オブジェクトを囲むボックスのアンカーポイント（すなわち、注目領域の頂点）にオプティカルフローを適用することによって、オブジェクトの位置を推定するために適用される。図５Ｂにおいて、オブジェクト５０２がオプティカルフロー５０３Ａ及びオプティカルフロー５０３Ｂに基づいて、位置５１２に伝播される。オブジェクト５０４は、オプティカルフロー５０５Ａ及びオプティカルフロー５０５Ｂに基づいて、位置５１４に伝搬される。オブジェクト５０６は、オプティカルフロー５０７Ａ及びオプティカルフロー５０７Ｂに基づいて、位置５１６に伝播される。
【００２９】
オブジェクト検出回路１０６の実装において、ビデオプロセッサ１０４が、中程度の検出信頼スコアを有するビデオフレームにおけるオブジェクトを検出し、検出されたオブジェクトが、伝播されたオブジェクトと重なる場合、プール５００におけるオブジェクトが伝播され得る。中程度の検出信頼スコアは、オブジェクトをプール５００に追加するために適用される良好な検出信頼スコアより低い信頼スコアを示す。例えば、良好な検出信頼スコアは０．４又はそれ以上であり得、一方、中程度の検出信頼スコアは少なくとも０．２であり０．４未満であり得る。
【００３０】
図６Ａ、図６Ｂ、及び図６Ｃは、本記載に従って少なくとも中程度の検出信頼スコアを有する新たに検出されたオブジェクトとの重なりに基づくオブジェクト伝搬の例を示す。少なくとも中程度の検出信頼スコアを有する新たに検出されたオブジェクトが、重なり閾値を超えるIntersection over Union（ＩｏＵ）を有するプール５００におけるオブジェクトの推定位置と重なる場合、プール５００におけるオブジェクトは、推定位置に伝播される。図６Ａにおいて、オブジェクト６０２の位置は、オブジェクト６０２の注目点のオプティカルフローに基づいて推定されている。オブジェクト６０４は、検出信頼スコア０．３（中程度の検出信頼スコア）で現在のフレームにおいて検出されており、オブジェクト６０６は検出信頼スコア０．４（中程度又は良好な検出信頼スコア）で現在のフレームにおいて検出されている。しかしながら、オブジェクト６０２と、オブジェクト６０４又はオブジェクト６０６のいずれかとの間に重なりがないので、オブジェクト伝搬回路１０８はオブジェクト６０２を現在のビデオフレームに伝播せず、オブジェクト６０２はプール５００から削除され得る。
【００３１】
図６Ｂにおいて、オブジェクト６０２の位置が、オブジェクト６０２の注目点のオプティカルフローに基づいて推定されている。オブジェクト６０８は、検出信頼スコア０．３（中程度の検出信頼スコア）で現在のフレームにおいて検出されており、オブジェクト６１０は、検出信頼スコア０．４（中程度又は良好な検出信頼スコア）で現在のフレームにおいて検出されている。オブジェクト６０２とオブジェクト６１０との間には重なりはなく、オブジェクト６０２とオブジェクト６０８とのＩｏＵは重なり閾値未満である。したがって、オブジェクト伝搬回路１０８は、現在のビデオフレームにおいてオブジェクト６０２を伝播せず、オブジェクト６０２をプール５００から削除し得る。
【００３２】
図６Ｃにおいて、オブジェクト６０２の位置が、オブジェクト６０２の注目点のオプティカルフローに基づいて推定されている。オブジェクト６１２は、検出信頼スコア０．３（中程度の検出信頼スコア）で現在のフレームにおいて検出され、オブジェクト６１４は、検出信頼スコア０．４（中程度又は良好な検出信頼スコア）で現在のフレームにおいて検出されている。オブジェクト６０２は、オブジェクト６１２とオブジェクト６１４の両方に重なる。オブジェクト６０２及びオブジェクト６１４のＩｏＵは、重なり閾値よりも小さく、したがって、オブジェクト６０２の伝搬をトリガしない。オブジェクト６０２とオブジェクト６１２のＩｏＵは重なり閾値を超えている。オブジェクト６０２と６１２の重なりに基づいて、オブジェクト伝搬回路１０８はオブジェクト６０２を現在のビデオフレームに伝搬させ、オブジェクト６０２はプール５００に残る。
【００３３】
オブジェクト伝搬回路１０８の実装において、オプティカルフローに基づくオブジェクト伝搬は、プール５００におけるオブジェクトが現在のビデオフレームにおけるオブジェクト検出回路１０６によって伝播され検出される場合、同じオブジェクトの複数の検出をもたらし得る。オブジェクト伝搬回路１０８は、条件付きnon-maximum suppression（ＮＭＳ）オペレーションを適用して、このような複数検出を回避する。オブジェクトの２つのインスタンスの重なりが所定の閾値（例えば、０．５）より高い場合、条件付きＮＭＳは、２つの検出されたオブジェクトの検出信頼スコアに関係なく、オブジェクトの２つのインスタンスのうち古い方を抑制する。オブジェクト伝搬回路１０８において、オプティカルフローに基づいて伝播されるオブジェクトは常に、新たに検出されたオブジェクトよりも古く、常に、新たに検出されたオブジェクトに有利に抑制される。
【００３４】
図７Ａ及び図７Ｂは、本記載に従った条件付きＮＭＳに基づくオプティカルフローによって伝播されるオブジェクトの抑制を示す。図７Ａにおいて、伝播されたオブジェクト７０２は０．６の検出信頼スコアを有し、オブジェクト７０４の新たに検出されたインスタンスは、０．８の検出信頼スコアを有する。オブジェクト７０２はオブジェクト７０４よりも古いので、オブジェクト伝搬回路１０８は条件付きＮＭＳを適用してオブジェクト７０２を抑制し、オブジェクト７０２はプール５００から削除され得る。これらの条件のもとで、条件付きＮＭＳは、どのオブジェクトインスタンスが抑制されるべきかを選択するために検出信頼スコアに依拠するＮＭＳと同じ結果を提供する。
【００３５】
図７Ｂにおいて、伝播されたオブジェクト７１０は０．８の検出信頼スコアを有し、オブジェクト７０８の新たに検出されたインスタンスは、０．６の検出信頼スコアを有する。オブジェクト伝搬回路１０８は、条件付きＮＭＳを適用してオブジェクト７１０を抑制する。オブジェクト７０８の検出信頼スコアがオブジェクト７１０の検出信頼スコアより低い一方、オブジェクト７１０はオブジェクト７０８よりも古く、これにより、オブジェクト伝搬回路１０８にオブジェクト７１０をオブジェクト７０８に有利に抑制させ、オブジェクト７１０はプール５００から削除され得る。これらの条件のもとで、条件付きＮＭＳは、どのオブジェクトインスタンスが抑制されるべきかを選択するために検出信頼スコアに依拠するＮＭＳとは異なる結果を提供する。
【００３６】
図２に戻ると、ブロック２１４において、オブジェクト伝搬回路１０８は、ライフタイム時間が満了したオブジェクト、又は、新たに検出されたオブジェクトと少なくとも所定のＩｏＵの閾値量だけ重ならないオブジェクトを、プール５００から除去する。
【００３７】
図８は、プロセッサビデオプロセッサ１０４の一実装であるＳｏＣ８００の例を示す。ＳｏＣ８００は、高速度相互接続８２０を介して結合される、一つ又は複数の汎用プロセッサ（ＧＰＰ）コア８０２、一つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ）コア８０６、一つ又は複数の視覚プロセッサコア８１２、及び一つ又は複数の処理アクセラレータコア８０４を含む。処理アクセラレータコア８０４は、カメラ１０２から受け取った入力画像に対して様々な処理オペレーションを行うように構成される幾つかのハードウェアアクセラレータを含む。視覚プロセッサコア８１２は、勾配演算、方位ビニング、ヒストグラム正規化などのコンピュータ視覚処理に対して調整されたベクトルプロセッサである。このようなコンピュータ視覚処理は、処理アクセラレータ８０４の前処理された出力を用い得る。ＧＰＰコア８０２は、オペレーティングシステムをホストし、８０４によって成された前処理タスクのスケジューリングを含む、ＳｏＣ８００のオペレーションの全体的な制御を提供する。ＤＳＰコア８０６は、オブジェクト検出及び分類、オブジェクト伝搬などのコンピュータ視覚処理のためのサポートを提供する。
【００３８】
ＳｏＣ８００はさらに、ＤＭＡコントローラ８１６、カメラインタフェース８１８、ディスプレイ管理構成要素８１０、例えばコンピュータ読み取り可能媒体などのオンチップランダムアクセスメモリ（ＲＡＭ）８１４、及び、さまざまな入力／出力（Ｉ／Ｏ）周辺機器８２２を含み、これらはすべて、高速相互接続８２０を介してプロセッサコア８０２、８０４、８０６、及び８１２に結合される。さらに、オートモーティブ用途を対象とするＳｏＣ８００の幾つかの実装が、オートモーティブ安全要件の遵守を可能にする安全関連機能性を含む安全構成要素８２４を含む。そのような機能性には、データのＣＲＣ（巡回冗長検査）、ドリフト検出のためのクロックコンパレータ、エラーシグナリング、ウィンドウウォッチドッグタイマー、並びに、損害及び欠陥に対するＳｏＣ８００の自己テストのためのサポートが含まれ得る。
【００３９】
本発明の特許請求の範囲内で、説明した例示の実施例に改変が成され得、他の実施例が可能である。
【図１】
2021519970.tif 000003
【図２】
2021519970.tif 000004
【図３】
2021519970.tif 000005
【図４Ａ】
2021519970.tif 000006
【図４Ｂ】
2021519970.tif 000007
【図５Ａ】
2021519970.tif 000008
【図５Ｂ】
2021519970.tif 000009
【図６Ａ】
2021519970.tif 000010
【図６Ｂ】
2021519970.tif 000011
【図６Ｃ】
2021519970.tif 000012
【図７Ａ】
2021519970.tif 000013
【図７Ｂ】
2021519970.tif 000014
【図８】
2021519970.tif 000015
【国際調査報告】
2021519970.tif 000016