(57)【特許請求の範囲】
【請求項１】
サブカテゴリ認識機能付き畳み込みニューラルネットワーク（ＣＮＮｓ）を使用することによって物体を検出するためにコンピュータが実行する方法であって、
サブカテゴリ情報を利用する領域提案ネットワーク（ＲＰＮ）によって画像から物体領域提案を生成することと、
物体カテゴリ分類、サブカテゴリ分類、および境界ボックス回帰を同時に実行する物体検出ネットワーク（ＯＤＮ）によって、前記物体領域提案を分類および精査することと、
を含む方法。
【請求項２】
前記画像は、前記ＲＰＮおよび前記ＯＤＮへの入力として使用される画像ピラミッドである、請求項１に記載の方法。
【請求項３】
前記ＲＰＮおよび前記ＯＤＮの各々は、前記物体間におけるスケールの相違により、物体カテゴリを検出するための特徴外挿層を含んでいる、請求項１に記載の方法。
【請求項４】
前記ＲＰＮは、サブカテゴリ畳み込み層を、前記畳み込み層内の各フィルタが物体サブカテゴリに対応するように含んでいる、請求項１に記載の方法。
【請求項５】
前記サブカテゴリ畳み込み層は、特定の場所および特定のスケールにおけるサブカテゴリの存在を示すヒート地図を出力する、請求項４に記載の方法。
【請求項６】
前記ヒート地図は、前記ヒート地図を二値化することによって物体候補を生成するための目的領域（ＲｏＩ）生成層を作成するために使用される、請求項５に記載の方法。
【請求項７】
前記ＲＰＮは２つの層で終了し、一方の層は、物体サブカテゴリにわたってソフトマックス確率推定を出力し、もう一方の層は、境界ボックス回帰によりＲｏＩの場所を精査する、請求項６に記載の方法。
【請求項８】
サブカテゴリ認識機能付き畳み込みニューラルネットワーク（ＣＮＮｓ）を使用することによって物体を検出するためのシステムであって、
メモリと、
前記メモリと通信するプロセッサと、を含んでおり、
前記プロセッサは、
サブカテゴリ情報を利用する領域提案ネットワーク（ＲＰＮ）によって画像から物体領域提案を生成すること、並びに、
物体カテゴリ分類、サブカテゴリ分類、および境界ボックス回帰を同時に実行する物体検出ネットワーク（ＯＤＮ）によって、前記物体領域提案を分類および精査することを行うように構成されている、システム。
【請求項９】
前記画像は、前記ＲＰＮおよび前記ＯＤＮへの入力として使用される画像ピラミッドである、請求項８に記載のシステム。
【請求項１０】
前記ＲＰＮおよび前記ＯＤＮの各々は、前記物体間におけるスケールの相違により、物体カテゴリを検出するための特徴外挿層を含んでいる、請求項８に記載のシステム。
【請求項１１】
前記ＲＰＮは、サブカテゴリ畳み込み層を、前記畳み込み層内の各フィルタが物体カテゴリに対応するように含んでいる、請求項８に記載のシステム。
【請求項１２】
前記サブカテゴリ畳み込み層は、特定の場所および特定のスケールにおけるサブカテゴリの存在を示すヒート地図を出力する、請求項１１に記載のシステム。
【請求項１３】
前記ヒート地図は、前記ヒート地図を二値化することによって物体候補を生成するための目的領域（ＲｏＩ）生成層を作成するために使用される、請求項１２に記載のシステム。
【請求項１４】
前記ＲＰＮは２つの層で終了し、一方の層は、物体サブカテゴリにわたってソフトマックス確率推定を出力し、もう一方の層は、境界ボックス回帰によりＲｏＩの場所を精査する、請求項１３に記載のシステム。
【請求項１５】
サブカテゴリ認識機能付き畳み込みニューラルネットワーク（ＣＮＮｓ）を使用することによって物体を検出するためのコンピュータ可読プログラムを備えている非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムがコンピュータ上で実行されると、
サブカテゴリ情報を利用する領域提案ネットワーク（ＲＰＮ）によって画像から物体領域提案を生成するステップと、
物体カテゴリ分類、サブカテゴリ分類、および境界ボックス回帰を同時に実行する物体検出ネットワーク（ＯＤＮ）によって、前記物体領域提案を分類および精査するステップと、
をコンピュータに実行させる非一時的なコンピュータ可読記憶媒体。
【請求項１６】
前記画像は、前記ＲＰＮおよび前記ＯＤＮへの入力として使用される画像ピラミッドである、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
【請求項１７】
前記ＲＰＮおよび前記ＯＤＮの各々は、前記物体間におけるスケールの相違により、物体カテゴリを検出するための特徴外挿層を含んでいる、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
【請求項１８】
前記ＲＰＮは、サブカテゴリ畳み込み層を、前記畳み込み層内の各フィルタが物体サブカテゴリに対応するように含んでいる、請求項１５に記載の非一時的なコンピュータ可読記憶媒体。
【請求項１９】
前記サブカテゴリ畳み込み層は、特定の場所および特定のスケールにおけるサブカテゴリの存在を示すヒート地図を出力する、請求項１８に記載の非一時的なコンピュータ可読記憶媒体。
【請求項２０】
前記ヒート地図は、前記ヒート地図を二値化することによって物体候補を生成するための目的領域（ＲｏＩ）生成層を作成するために使用される、請求項１９に記載の非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願情報）
本出願は、参照によって、その全体が本明細書に組み込まれる２０１５年１１月４日に出願された仮出願第６２／２５０，７９０号に対する優先権を主張する。
【背景技術】
【０００２】
（技術分野）
本発明は、画像処理、およびより具体的には、物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワークに関する。
【０００３】
（関連技術の説明）
畳み込みニューラルネットワーク（ＣＮＮｓ）は、画像分類、物体検出、および画像記述生成などの異なる認識問題を解決することにおいて主流になってきている。ＣＮＮｓが強力であるのは、表現および学習の両方におけるＣＮＮｓの能力に起因する。現代のＣＮＮｓにおける数百万あるいは数十憶にも及ぶ重みが理由で、ＣＮＮｓは、従来の「非ＣＮＮ」法と比較して、データからはるかにより豊かな表現を学習することができる。
【発明の概要】
【０００４】
サブカテゴリ認識機能付き畳み込みニューラルネットワーク（ＣＮＮｓ）を使用することによって物体を検出するためのコンピュータ実現方法が提示される。本方法は、サブカテゴリ情報を利用する領域提案ネットワーク（ＲＰＮ）によって画像から物体領域提案を生成することと、物体カテゴリ分類、サブカテゴリ分類、および境界ボックス回帰を同時に実施する物体検出ネットワーク（ＯＤＮ）によって物体領域提案を分類および精査することとを含む。
【０００５】
サブカテゴリ認識機能付き畳み込みニューラルネットワーク（ＣＮＮｓ）を使用することによって物体を検出するためのシステムが提示される。本システムは、メモリと該メモリと通信しているプロセッサとを含んでおり、該プロセッサは、サブカテゴリ情報を利用する領域提案ネットワーク（ＲＰＮ）によって画像から物体領域提案を生成すること、並びに物体カテゴリ分類、サブカテゴリ分類、および境界ボックス回帰を同時に実施する物体検出ネットワーク（ＯＤＮ）によって該物体領域提案を分類および精査することを行うように構成されている。
【０００６】
畳み込みニューラルネットワーク（ＣＮＮ）を訓練するためのコンピュータ可読プログラムを備えている非一時的なコンピュータ可読記憶媒体が提示され、該コンピュータ可読プログラムは、コンピュータ上で実行されると、サブカテゴリ情報を利用する領域提案ネットワーク（ＲＰＮ）によって画像から物体領域提案を生成するステップと、物体カテゴリ分類、サブカテゴリ分類、および境界ボックス回帰を同時に実施する物体検出ネットワーク（ＯＤＮ）によって該物体領域提案を分類および精査するステップとをコンピュータに実行させる。
【０００７】
これらおよび他の特徴並びに利点は、添付の図面と併せて読むべきそれらの例示的な実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００８】
本開示は、以下の図を参照して好ましい実施形態の以下の説明において詳細を提供する。
【図１】本発明の実施形態に従う、領域提案ネットワークおよび物体検出ネットワークを説明するサブカテゴリ認識機能付き畳み込みニューラルネットワーク（ＣＮＮ）の一例であるブロック／フロー図である。
【図２】本発明の実施形態に従う、領域提案ネットワークの一例のブロック／フロー図である。
【図３】本発明の実施形態に従う、物体検出ネットワークの一例のブロック／フロー図である。
【図４】本発明の実施形態に従う、サブカテゴリ認識機能付き畳み込みニューラルネットワーク（ＣＮＮｓ）を使用することによって物体を検出する方法のブロック／フロー図である。
【図５】本発明の実施形態に従う、処理システムのブロック図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態は、サブカテゴリ情報を使用して提案生成プロセスをガイドする領域提案ネットワーク（ＲＰＮ）と、共同のカテゴリ分類、サブカテゴリ分類、および境界ボックス回帰のための物体検出ネットワーク（ＯＤＮ）とを提供する。加えて、本発明は、畳み込みニューラルネットワーク（ＣＮＮ）ベースの検出に画像ピラミッドを使用することを提案する。屋外シーンで自動車、歩行者、および自転車利用者を検出するためのＫＩＴＴＩ（カールスルーエ工科大学および豊田工業大学シカゴ校）検出ベンチマークについて実験が行われ、ここでは物体検出および物体配向推定の両方に対する最先端の性能が達成される。
【００１０】
加えて、本発明は、画像を与えられる視覚的物体検出を解決するための方法およびシステムを提案する。目標は、目的の物体（例えば、自動車、歩行者など）を特定し、画像空間内の当該物体の場所を推定することである。ＣＮＮ法は、物体の表現を学習し、サブカテゴリの概念を調査することによって物体の表現を改善するために採用される。主要課題は、効率的であると同時に正確に物体を認識することである。
【００１１】
本発明は、物体検出のためのサブカテゴリ認識機能付きＣＮＮｓをさらに提案する。この検出方法は、二段階の検出パイプラインで動作する。第１の段階では、領域提案のセットが画像から生成される。第２の段階では、これらの領域提案が、検出のために精査された領域提案の場所によって分類される。領域提案生成のため、サブカテゴリ情報を利用して領域生成プロセスをガイドするＲＰＮが提案される。各サブカテゴリについてテンプレートまたは検出器を訓練する従来の物体検出方法によって動機付けられて、サブカテゴリ畳み込み（ｃｏｎｖ）層がＲＰＮに導入され、ここでは畳み込み層内の各フィルタがサブカテゴリを捕捉する。サブカテゴリ畳み込み層は、特定の場所およびスケールにおける特定のサブカテゴリの存在に関するヒート地図を出力する。これらのヒート地図を使用して、ＲＰＮは、信頼できるサブカテゴリ検出を領域提案として出力することができる。領域提案分類および精査のため、ＯＤＮが、サブカテゴリ情報を高速Ｒ−ＣＮＮネットワークに投入することによって導入される。検出ネットワークは、物体カテゴリ分類、サブカテゴリ分類、および境界ボックス回帰を共同でまたは同時に実施することができる。加えて、ＲＰＮおよび検出ＣＮＮの両方において、画像ピラミッドが入力として使用され、新しい特徴外挿層が、複数のスケールにある畳み込み特徴を効率的に計算するために導入される。このやり方では、本方法は、物体間の大きなスケールの相違により物体カテゴリを検出することができる。
【００１２】
本発明は、１）領域提案ネットワークを使用すること、および２）領域提案があると物体検出ネットワークを使用することの２つのステップからなる方法をさらに提案する。本方法は、サブカテゴリの概念（すなわち、類似する外観特性を共有する例のグループ、例えば、正面から見た自動車、立っているまたは歩いている人など）を使用して、物体のコンパクト表現を学習する。第１のステップでは、画像から直接物体領域を提案することができるＣＮＮ法を学習する。画像内の対象物体の想定される場所を予測するためにサブカテゴリ認識機能付き畳み込みフィルタを学習する。このステップでは、多くの誤検出ボックスが生成されてもよい。しかしながら、目標は、いかなる真の検出も見逃さないことである。第２のステップでは、候補ボックス提案があると、各領域が、サブカテゴリ認識機能付き分類モデルを使用することによって評価される。領域提案ネットワークと対照的に、このモデルは、より長い時間がかかるが高品質の検出結果をもたらす、はるかに複雑な分類モデルを有していてもよい。したがって、サブカテゴリ情報は、よい良い物体提案および物体検出モデルを学習するために活用される。
【００１３】
物体カテゴリ検出における１つの主要課題は、クラス内変動、物体姿勢相違、スケール変化、オクルージョン、トランケーションなどの異なる因子に起因する画像内の物体の外観変化にどのように対処するかである。従来の物体検出方法において、これらの課題因子すべてに対処するために総合的なモデルを訓練することは、途轍もないことである。したがって、サブカテゴリの概念が導入される。
【００１４】
１つのカテゴリに対して１つのモデルを築く代わりに、モデルの混合体が構築され、各モデルがサブカテゴリを捕捉する。例えば、変形部位モデル（ＤＰＭ）では、ＨＯＧテンプレートの混合体が各カテゴリについて訓練され、ここでは各テンプレートが、特定の範囲の縦横比を有する物体を捕捉する。３Ｄボクセルパターン（３ＤＶＰ）表現では、各３ＤＶＰが、類似の姿勢、オクルージョン、およびトランケーション妨害を有する物体を捕捉し、検出器は、各３ＤＶＰについて訓練される。これらの例から分かるように、サブカテゴリは、従来の物体検出方法においては「分割統治」様式で利用されており、この概念は、命名可能なサブカテゴリ（例えば、「セダン」は「自動車」のサブカテゴリである）の及ばない一般的なものである。しかしながら、サブカテゴリは、ＣＮＮベースの物体検出方法では十分には調査されていなかった。
【００１５】
本発明の例示的な実施形態は、物体検出のためのサブカテゴリ認識機能付きＣＮＮｓを提案する。サブカテゴリ情報を使用した検出のための領域提案、共同の検出、およびサブカテゴリ分類のための新しいネットワークを生成するためのＣＮＮアーキテクチャが、図１に提示される。
【００１６】
同様の番号が同じまたは類似の要素を表す図および最初に図１を、これより詳細に参照して、本発明の実施形態に従う、物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク（ＣＮＮ）を示す。サブカテゴリ認識機能付きＣＮＮ１００は、領域提案ネットワーク（ＲＰＮ）１２０および物体検出ネットワーク（ＯＤＮ）１３０によって処理される画像１１０を含んでいる。領域提案ネットワーク（ＲＰＮ）１２０および物体検出ネットワーク（ＯＤＮ）１３０は、サブカテゴリ情報１４０を利用してもよい。
【００１７】
具体的には、本検出方法は、二段階パイプラインで動作する。第１の段階では、領域提案のセットが画像から生成される。第２の段階では、これらの領域提案が、検出のために精査された領域提案の場所により分類される。
【００１８】
領域提案には、ボトムアップ分割ベースの方法が広く使用される。しかしながら、これらの方法は、自律運転においてなど、大きなスケールの相違を有する複雑なシーンにおける物体に対処することができない。したがって、本発明の例示的な実施形態は、サブカテゴリ情報を利用して領域生成処理をガイドするＲＰＮを提案する。各サブカテゴリについてテンプレートまたは検出器を訓練する従来の物体検出方法によって動機付けられて、サブカテゴリ畳み込み（ｃｏｎｖ）層がＲＰＮに導入され、ここでは畳み込み層内の各フィルタは、サブカテゴリ検出について区別して訓練される。サブカテゴリ畳み込み層は、特定の場所およびスケールにおける特定のサブカテゴリの存在に関するヒート地図を出力する。これらのヒート地図を使用して、ＲＰＮは、信頼できるサブカテゴリ検出を領域提案として出力することができる。
【００１９】
領域提案分類および精査のため、新しい物体検出ネットワークが、サブカテゴリ情報を高速Ｒ−ＣＮＮネットワークに投入することによって導入される。検出ネットワークは、物体カテゴリ分類、サブカテゴリ分類、および境界ボックス回帰を共同でまたは同時に実施することができる。加えて、ＲＰＮおよび検出ＣＮＮの両方において、画像ピラミッドが入力として使用され、新しい特徴外挿層が、複数のスケールにある畳み込み特徴を効率的に計算するために導入される。このやり方では、本発明の方法は、大きなスケールの相違により物体カテゴリを検出することができる。
【００２０】
以下にさらに論じられるように、検出フレームワークを評価するために、ＫＩＴＴＩ検出ベンチマークに対して実験が行われる。物体の配向に従ってサブカテゴリを発見することによって、本発明の方法は、物体を検出すること、および物体の配向を推定することを共同でまたは同時に行うことができる。
【００２１】
物体検出におけるサブカテゴリに関して、サブカテゴリは、物体検出を容易にするために広く使用されており、物体サブカテゴリを発見する異なる方法が提案されてきた。変形部位モデル（ＤＰＭ）では、サブカテゴリは、物体の境界ボックスの縦横比に従って物体をクラスタ化することによって発見される。サブカテゴリを発見するために物体の視点に従ってクラスタ化を実施する研究が行われてきた。視覚的サブカテゴリは、物体の登場空間内でクラスタ化することによって構築される。３Ｄボクセルパターン（３ＤＶＰ）は、ボクセルの可視性に従って３Ｄボクセル空間内でクラスタ化を実施し、それは物体姿勢、オクルージョン、およびトランケーションを共同でモデル化する。
【００２２】
ＣＮＮベースの物体検出に関して、従来のＣＮＮベースの物体検出方法は、一段階検出方法および二段階検出方法の２つのクラスにカテゴリ分類され得る。一段階検出では、ＣＮＮが直接的に、入力画像を処理し、物体検出の境界ボックスを出力する。二段階検出では、まず領域提案が入力画像から生成され、ここでは異なる領域提案方法が用いられ得る。次いでこれらの領域提案は、分類および場所の精査のためにＣＮＮに供給される。本発明の例示的な実施形態は、二段階検出フレームワークを採用し、ここでは領域提案処理は、粗密検出方法における粗検出ステップであると見なされ得る。
【００２３】
近年のＣＮＮベースの物体検出方法では、領域提案技術は、各画像から物体候補のセットを生成するために利用される。これらの物体候補、すなわち領域提案は、物体検出問題を解決するためにＣＮＮによって分類される。理想的には、領域提案手法は、できる限り少ない提案で入力画像内の物体を網羅する。画像内の物体は、異なる場所および異なるスケールで登場するため、複雑なシーンにおいては特に、領域提案自体が困難な課題である。
【００２４】
画像から物体提案を生成するためのネットワークアーキテクチャが提示される。このアーキテクチャは、アグリゲーテッドチャンネルフューチャー（ＡＣＦ）検出器および変形部位モデル（ＤＰＭ）などの従来のスライディングウィンドウベースの物体検出器から着想を得たものである。図２は、領域提案ネットワークのアーキテクチャを説明する。
【００２５】
領域提案ネットワーク（ＲＰＮ）２００は、ピラミッド画像２０２、畳み込み層２０４、畳み込み特徴地図２０６、特徴外挿層２０８、外挿された変換特徴地図２１０、サブカテゴリ変換層２１２、ヒート地図２１４、ＲｏＩ生成層２１６、生成されたＲｏＩs２１８、ＲｏＩプーリング層２２０、プーリングされた変換特徴地図２２２、別のサブカテゴリ変換層２２４、および２つの最終層２２６を含んでおり、２つの最終層２２６の一方は物体サブカテゴリにわたってソフトマックス確率推定を出力し、もう一方の層は境界ボックス回帰によりＲｏＩの場所を精査する。
【００２６】
物体の異なるスケールに対処するために、画像ピラミッド２０２がＲＰＮ２００に入力され、画像ピラミッド２０２は、画像２０２の畳み込み特徴地図２０６を、各スケールにつき１つの畳み込み特徴地図で抽出するために、いくつかの畳み込み（ｃｏｎｖ）層および最大プーリング層２０４によってまず処理される。画像ピラミッド２０２に対する畳み込み特徴の計算の速度を上げるために、特徴外挿層２０８が導入され、これが、画像ピラミッドによって網羅されないスケールの特徴地図２１０を、外挿を用いて生成する。外挿された畳み込み特徴地図２１０を計算した後、物体サブカテゴリ検出のための畳み込み層２１２が設計され、ここでは畳み込み層内の各フィルタは物体カテゴリに対応する。このフィルタは、ネットワーク２００の訓練中に対応するサブカテゴリ内の物体の正しい場所およびスケールを必ず標的にするように訓練される。
【００２７】
サブカテゴリ畳み込み層２１２は、各スケールについてヒート地図２１４を出力し、ここではヒート地図２１４内の各場所は、対応する場所、スケール、およびサブカテゴリ内の物体の信頼性を示す。サブカテゴリヒート地図２１４を使用して、ヒート地図を二値化することによって物体候補（ＲｏＩｓ）２１８を生成するＲｏＩ生成層２１６が設計される。ＲｏＩｓ２１８は、外挿された畳み込み特徴地図２２２から畳み込み特徴をプーリングするためにＲｏＩプーリング層２２０において使用される。最後に、ＲＰＮ２００は、２つの兄弟層２２６で終了し、一方は、物体サブカテゴリにわたってソフトマックス確率推定を出力し、もう一方の層が、境界ボックス回帰を用いてＲｏＩの場所を精査する。
【００２８】
ＲＰＮ２００では、固定サイズの畳み込みフィルタが、物体の場所を突き止めるためにサブカテゴリ畳み込み層で使用される（例えば、５×５の畳み込みフィルタ）。物体の異なるスケールに対処するために、画像ピラミッド２０２が使用される。画像ピラミッド２０２は、異なる標本スケールに従って元の画像を再スケールすることによって得られた異なる解像度を有する画像からなる。入力画像用に画像ピラミッド２０２を構築した後、多重解像度の畳み込み特徴地図２０６が、いくつかの畳み込み層および最大プーリング層２１０をピラミッド内の各画像に適用することによって計算され得る（図２）。畳み込みがすべてのスケールに対して明示的に実施される場合、それは、細かく標本化された画像ピラミッドが領域提案プロセスにおいて必要とされるときは、特に、計算コストが高い。近年の研究では、多重解像度の画像特徴は、明示的に計算されたものよりも近くのスケールからの外挿によって概算することができるということが実証されている。その結果、本発明の例示的な実施形態は、画像ピラミッド２０２に対する畳み込み特徴の計算を加速させるために特徴外挿層２０８を導入する。
【００２９】
具体的には、特徴外挿層は、特徴抽出のために最後の畳み込み層によって供給されるＮ個の特徴地図を入力として受け取り、ここではＮは、入力された画像ピラミッド内のスケールの数に等しい。各特徴地図は、Ｈ列、Ｗ行、およびＣチャネルの、サイズＨ×Ｗ×Ｃの多次元アレイである。特徴地図の幅および高さは、画像ピラミッド内の最大スケールに対応し、ここではより小さいスケールの画像は、同じサイズの特徴地図を生成するためにゼロで埋められる。特徴外挿層は、Ｎ個のスケールの中で最も近いスケールから特徴を外挿することによって中間スケールで特徴地図を構築し、ここでは双線形補間が使用される。
【００３０】
Ｍ個の中間スケールがすべてのｉ番目のスケールと（ｉ＋１）番目のスケールとの間に追加されるとすると（ｉ＝１，．．．，Ｎ−１）、特徴外挿層の出力は、Ｎ’＝（Ｎ−１）Ｍ＋Ｎ個の特徴地図であり、各々のサイズはＨ×Ｗ×Ｃである。多次元アレイを外挿することは、畳み込み特徴地図を明示的に計算するよりもはるかに速いため、特徴外挿層は、少ないメモリを使用しつつ、画像ピラミッドに対する特徴計算の速度を上げる。
【００３１】
畳み込み特徴地図を計算した後、サブカテゴリ畳み込み層が、サブカテゴリ検出のために設計される。各サブカテゴリについて分類子または検出器を訓練する従来の物体検出方法によって動機付けられて、サブカテゴリ畳み込み層内の畳み込みフィルタは、特定のサブカテゴリを検出するように訓練される。検討すべきサブカテゴリがＫ個あるとすると、サブカテゴリ畳み込み層は、Ｋ＋１個の畳み込みフィルタからなり、１つの追加畳み込みフィルタは、特別な「背景」カテゴリのためのものである。マルチクラス検出（例えば、自動車、歩行者、自転車利用者など）の場合、Ｋ個のサブカテゴリは、すべてのクラスからのすべてのサブカテゴリの集合である。これらの畳み込みフィルタは、外挿された畳み込み特徴地図上で動作し、入力画像内の物体の存在の信頼性を示すヒート地図を出力する。特徴ピラミッド内の特定のスケールを標的にするように訓練される固定サイズの畳み込みフィルタがこの層では使用される（例えば、５×５×Ｃの畳み込みフィルタ）。
【００３２】
ＲｏＩ生成層は、Ｎ’個のヒート地図を入力として受け取り、領域提案（ＲｏＩｓ）のセットを出力し、ここではＮ’は、外挿後の特徴ピラミッド内のスケールの数に等しい。各ヒート地図は、Ｋ個のサブカテゴリではサイズＨ×Ｗ×Ｋの多次元アレイである（すなわち、ＲｏＩ生成では、ヒート地図内の「背景」チャネルは無視される）。ＲｏＩ生成層は、サブカテゴリのチャネルにわたって最大プーリングすることによって、まず各ヒート地図をＨ×Ｗの２Ｄアレイに変換する。次いで、ＲｏＩ生成層は、２Ｄヒート地図を二値化してＲｏＩｓを生成する。このようにして、ある領域の客観性がサブカテゴリから情報を集めることによって測定される。試験および訓練においては、異なる生成戦略が使用される。
【００３３】
試験では、予め定められた閾値よりも高いスコアを有する２Ｄヒート地図内の各場所（ｘ，ｙ）が、ＲｏＩを生成するために使用される。まず、サブカテゴリ畳み込み層内の畳み込みフィルタの幅および高さと同じ幅および高さ（例えば５×５）を有する、（ｘ，ｙ）を中心とする基準となる境界ボックスが生成され、その縦横比は１である。次に、この基準となるボックスと同じ面積（例えば２５）を有するが縦横比が異なる、（ｘ，ｙ）を中心とするいくつかの境界ボックスが生成される。最後に、ＲｏＩ生成層は、ヒート地図のスケールに従って、生成されたボックスを再スケールする。このやり方では、これらのＲｏＩｓは、異なるスケールおよび縦横比の物体を網羅することができる。
【００３４】
訓練では、ＲｏＩ生成層は、確率的勾配降下法でのバッチサイズに対するバジェットがあると、サブカテゴリ畳み込みフィルタを訓練するためのハードポジティブＲｏＩｓおよびハードネガティブＲｏＩｓを出力する。まず、試験において説明されたものと同じ手順を使用して、各ヒート地図内の各場所についていくつかの境界ボックスを生成する。次に、訓練画像内の物体のグラウンドトゥルース境界ボックスに従って、生成されたボックスとグラウンドトゥルースボックスとのインターセクションオーバーユニオン（ＩｏＵ）重複が、計算される。何らかの閾値（例えば０．５）より大きい／小さいＩｏＵ重複を有する境界ボックスは、ポジティブ／ネガティブであると見なされる。最後に、各訓練画像Ｒについて生成されるＲｏＩの数（すなわち、バッチ内の画像の数で除算されるバッチサイズ）が与えられると、ＲｏＩ生成層は、Ｒ×αのハードポジティブ（すなわち、Ｒ×αのヒート地図内で最低スコアを有するポジティブ境界ボックス）およびＲ×（１−α）のハードネガティブ（すなわち、Ｒ×（１−α）のヒート地図内で最高スコアを有するネガティブ境界ボックス）を出力し、ここではα∈（０，１）は、ポジティブである例の割合である。
【００３５】
ＲｏＩを生成した後、ＲｏＩプーリング層が、各ＲｏＩについて畳み込み特徴をプーリングするために適用される。次いでプーリングされた畳み込み特徴は、サブカテゴリ分類および境界ボックス回帰という２つのタスクのために使用される。図２に例証されるように、ＲＰＮ２００は、２つの兄弟出力層２２６を有している。第１の層は、Ｋ＋１個のサブカテゴリにわたって離散確率分布：
ｐ＝（ｐ０，．．．，ｐｋ）を出力する。
【００３６】
これは、ソフトマックス関数をサブカテゴリ畳み込み層のＫ＋１個の出力にわたって適用することによって計算される。第２の層は、Ｋ’個の物体クラス（Ｋ’＜＜Ｋ）について、境界ボックス回帰オフセットを出力する。
【００３７】
【数１】
0006547069.tif 000002
【００３８】
本方法は、ＲｏＩに対するスケール不変の変換および対数空間の幅／高さシフトを特定するｔｋ’をパラメータ化する。本方法は、共同のサブカテゴリ分類および境界ボックス回帰のためにＲＰＮを訓練するためにマルチタスク損失を用いる。
【００３９】
【数２】
0006547069.tif 000003
式中、ｋ＊およびｋ’＊は、それぞれ真のサブカテゴリラベルおよび真のクラスラベルであり、Ｌｓｕｂｃｌｓ（ｐ，ｋ＊）＝−ｌｏｇ  ｐｋ＊は、標準クロスエントロピー損失であり、
【００４０】
【数３】
0006547069.tif 000004
は、クラスｋ’＊の真の境界ボックス回帰ターゲットであり、
【００４１】
【数４】
0006547069.tif 000005
は、クラスｋ’＊の予測である。
【００４２】
本方法は、境界ボックス回帰損失Ｌｌｏｃ（ｔ，ｔ＊）に平滑Ｌ１損失を使用する。指示関数［ｋ’＊≧１］は、ＲｏＩが背景である（すなわち、ｋ’＊＝０）場合は、境界ボックス回帰が無視されることを示す。λは、２つの損失の均衡を保つための予め定められた重みである。
【００４３】
訓練では、損失関数からの導関数は、逆伝播される。図２の矢印２１１は、逆伝播の経路を示す。ＲＰＮ２００内の２つのサブカテゴリ畳み込み層は、重みを共有する。これらの重みまたは畳み込みフィルタは、サブカテゴリ分類についてのソフトマックス損失関数からの導関数に従って更新される。このやり方では、本方法は、これらのフィルタをサブカテゴリ検出のために訓練することができる。サブカテゴリ畳み込み層を使用するヒート地図の計算において、およびＲｏＩ生成層内には導関数フローは存在しない。
【００４４】
領域提案プロセスの後、これらの提案を分類しそれらの場所を精査するためにＣＮＮｓが利用される。領域提案は物体検出における検索空間を大幅に減少させるため（例えば、画像あたり数千の領域）、通常は高次元のいくつかの全結合層を含んでいるより強力なＣＮＮｓを検出ステップにおいて使用することができる。以下のセクションでは、サブカテゴリ認識機能付き物体検出ネットワークが導入され、ここではサブカテゴリ情報は、物体検出を容易にし、共同の検出およびサブカテゴリ分類のタスクを達成するために使用される。
【００４５】
図３は、物体検出ネットワーク３００のアーキテクチャを示す。ネットワーク３００は、ピラミッド画像３０２、畳み込み層３０４、畳み込み特徴地図３０６、特徴外挿層３０８、外挿された変換特徴地図３１０、ＲｏＩプーリング層３１２、ＲｏＩｓ３１４、プーリングされた変換特徴地図３１６、サブカテゴリＦＣ（全結合）層３１８、ＲｏＩ特徴ベクトル３２０、および３つの最終層３２２を含んでおり、３つの最終層３２２は、２つが物体サブカテゴリにわたってソフトマックス確率推定を出力し、残りの１つの層が、境界ボックス回帰によりＲｏＩの場所を精査する。
【００４６】
ネットワーク３００は、高速Ｒ−ＣＮＮ検出ネットワークに基づいて構築される。本発明の例示的な実施形態は、画像ピラミッド３０２を使用して物体のスケールの相違に対処する。特徴抽出のための最後の畳み込み層３０４の後、特徴外挿層３０８が、畳み込み特徴ピラミッド内のスケールの数を増やすために追加される。ＲＰＮから生成された領域提案が与えられると、ＲｏＩプーリング層３１２が、対応する畳み込み特徴地図３０６から各ＲｏＩについての畳み込み特徴をプーリングするために用いられる。プーリングされた畳み込み特徴３１６は、３つの全結合（ＦＣ）層３１８に供給され、ここでは最後のＦＣ層は、サブカテゴリ分類のために設計される。Ｋ個のサブカテゴリの場合、「サブカテゴリＦＣ」層は、Ｋ＋１個の次元ベクトルを出力し、１つの追加の次元は、背景クラスのためのものである。ＲｏＩ特徴ベクトル３２０と名付けられた出力は、サブカテゴリ空間内の埋め込みであると見なされる。最後に、検出ネットワーク３００は、３つの出力層３２２で終了する。第１の出力層は、ソフトマックス関数を直接サブカテゴリ分類のための「サブカテゴリＦＣ」層の出力に適用する。他の２つの出力層は、ＲｏＩ特徴ベクトル上で動作し、物体クラス分類および境界ボックス回帰のためのＦＣ層を適用する。
【００４７】
本方法は、共同の物体クラス分類、サブカテゴリ分類、および境界ボックス回帰のためのマルチタスク損失を用いて物体検出ネットワーク３００を訓練する。
【００４８】
【数５】
0006547069.tif 000006
式中、ｐ＝（ｐ０，．．．，ｐｋ）は、Ｋ＋１個のサブカテゴリにわたる確率分布であり、
【００４９】
【数６】
0006547069.tif 000007
は、Ｋ’＋１個の物体クラスにわたる確率分布であり、ｋ＊およびｋ’＊は、それぞれ真のサブカテゴリラベルおよび真のクラスラベルであり、ｔおよびｔ＊は、それぞれ境界ボックス回帰の予測ベクトルおよび真のベクトルであり、λ１およびλ２は、異なるタスクの損失の均衡を保つための予め定められた重みである。Ｌｓｕｂｃｌｓ（ｐ，ｋ＊）＝−ｌｏｇ  ｐｋ＊およびＬｃｌｓ（ｐ’，ｋ’＊）＝−ｌｏｇ  ｐ’ｋ’＊は、標準クロスエントロピー損失であり、Ｌｌｏｃ（ｔ，ｔ＊）は、ＲＰＮ２００（図２）にあるように、平滑Ｌ１損失である。逆伝播訓練では、マルチタスク損失の導関数は、前の層へ逆伝播される。図３の矢印３１１は、導関数フローの経路を示す。
【００５０】
図４は、本発明の実施形態に従う、畳み込みニューラルネットワーク（ＣＮＮ）を訓練する方法のブロック／フロー図である。
【００５１】
ブロック４１０で、物体領域提案が、サブカテゴリ情報を利用する領域提案ネットワーク（ＲＰＮ）によって画像から生成される。
【００５２】
ブロック４２０で、物体領域提案が、物体カテゴリ分類、サブカテゴリ分類、および境界ボックス回帰を同時に実施する物体検出ネットワーク（ＯＤＮ）によって分類および精査される。
【００５３】
本発明の例示的な実施形態の利点は、（ｉ）本システムおよび本方法が、現代の物体検出方法においては必要なモジュールであることが多い追加の領域提案手順を使用する必要性を取り除くことによってパイプライン全体をより簡便にすること、および（ｉｉ）サブカテゴリ認識機能付きＣＮＮ法が、他の従来の方法と比較してより正確な検出精度を生成することである。
【００５４】
実験では、物体検出フレームワークは、ＫＩＴＴＩ検出ベンチマークに適用される。ＫＩＴＴＩデータセットは、自律運転シーンからのビデオフレームで構成される。訓練用に７，４８１枚の画像、および試験用に７，５１８枚の画像がある。３つの物体カテゴリは、物体検出、すなわち、自動車、歩行者、および自転車利用者について注釈付けされ、評価される。ＫＩＴＴＩ試験セットのグラウンドトゥルース注釈は公開されていないため、検出フレームワークに関する分析を実行するために、ＫＩＴＴＩ訓練用画像を訓練セットおよび検証セットに分割する。分割は、訓練セットおよび検証セットにわたって同じビデオからの画像が存在しないことを確実にするように行われる。訓練セットは３，６８２枚の画像を含んでいる一方、検証セットは３，７９９枚の画像を有する。表１は、ＫＩＴＴＩ訓練セットの統計を要約したものである。
【００５５】
【表１】
0006547069.tif 000008
【００５６】
ＫＩＴＴＩ検出ベンチマークによって示唆されているように、検出フレームワークは、３つのレベルの難度、すなわち、簡単、普通、および困難で評価され、ここでは、難度は、検討される物体の最小スケール、ならびに物体のオクルージョンおよびトランケーションによって測定される。平均精度（ＡＰ）を使用して、検出性能を測定し、ここでは、自動車、歩行者、および自転車利用者についてそれぞれ７０％、５０％、および５０％重複閾値が、ＫＩＴＴＩベンチマークによって採用される。共同の検出および配向推定を評価するために、異なる検出リコールにおいて検出とグラウンドトゥルースとの配向類似性を評価する平均配向類似性（ＡＯＳ）と呼ばれる新しい基準が使用される。
【００５７】
ＫＩＴＴＩ内の３つのカテゴリでは、サブカテゴリを発見するために、物体外観に基づいたクラスタ化、または物体境界ボックスの縦横比に基づいたクラスタ化など、異なる手法が利用され得る。具体的には、本実装において、自動車については、クラスタ化プロセスにおいて物体姿勢、オクルージョン、およびトランケーションを共同でモデル化する３Ｄボクセルパターン（３ＤＶＰ）表現が採用される。各３ＤＶＰは、自動車のサブカテゴリであると見なされる。歩行者および自転車利用者については、物体の配向に従うクラスタ化が実施され、各クラスタがサブカテゴリであると見なされる。
【００５８】
このやり方では、本方法は、フレームワーク内でサブカテゴリ分類を実行することによって物体の配向を推定することができ、ここではサブカテゴリの配向は、検出された物体に転送される。ＫＩＴＴＩデータセットにおける検証では、本方法は、１７３個のサブカテゴリ（自動車については１２５個の３ＤＶＰｓ、歩行者および自転車利用者についてはそれぞれ２４個の姿勢）を使用したが、ＫＩＴＴＩデータセットにおける試験では、本方法は、２７５個のサブカテゴリ（自動車については２２７個の３ＤＶＰｓ、歩行者および自転車利用者についてはそれぞれ２４個の姿勢）を使用した。それに応じて、ＲＰＮ２００内のサブカテゴリ畳み込み層および検出ネットワーク３００内のサブカテゴリＦＣ層は、サブカテゴリの数に１を足したものに等しい出力数を有する。
【００５９】
ＲＰＮ２００では、５つのスケールを入力画像ピラミッド内で使用したが（０．２５、０．５、１．０、２．０、３．０）、ここでは各数字は、元の画像サイズに関して再スケーリング因子を示す。特徴外挿層は、２つの入力スケールすべての間に等しい間隔をあけて４つのスケールを外挿する。したがって、最終的な畳み込み特徴ピラミッドは、２１個のスケールを有する。ＲｏＩ生成層では、ヒート地図内の各場所が、７つの異なる縦横比を有する７つのボックス（３．０、２．０、１．５、１．０、０．７５、０．５、０．２５）を生成し、ここでは各数字は、境界ボックスの高さおよび幅の比を示す。ＲＰＮ２００を訓練することにおいて、各ＳＧＤミニバッチは、一様に無作為に選択された単一の画像から構築される。ミニバッチは、サイズ１２８を有し、そのうち６４がポジティブＲｏＩｓおよび６４がネガティブＲｏＩｓであり、ここではＩｏＵ閾値は７０％である。
【００６０】
検出ネットワーク３００では、４つのスケールが入力画像ピラミッド内で使用され（１．０、２．０、３．０、４．０）、２つの入力スケールすべての間に４つのスケールが外挿される。合計すると、本方法は、１６スケールの畳み込み特徴ピラミッドを有していた。各ＳＧＤミニバッチは、２つの画像から構築される。ミニバッチは、サイズ１２８を有し、そのうち６４が各画像からのＲｏＩである。ＲｏＩの２５％がポジティブであり、ここではＩｏＵ閾値は、自動車、歩行者、および自転車利用者について、それぞれ７０％、５０％、５０％である。同じＳＧＤハイパーパラメータが、領域提案および検出の両方に使用される。
【００６１】
結論として、本発明のシステムおよび方法は、ＣＮＮベースの物体検出においてどのようにしてサブカテゴリ情報を活用することができるかを調査した。新規の領域提案ネットワークおよび新規の物体検出ネットワークが提案され、ここでは、サブカテゴリ情報は、領域提案、物体検出、および配向推定を改善するために明示的に用いられた。サブカテゴリ認識機能付きＣＮＮｓはまた、効率的なやり方で画像ピラミッドを使用して物体のスケールの相違に対処することができる。広範な実験は、ＫＩＴＴＩ検出ベンチマークに対して行われた。
【００６２】
本明細書に記載される実施形態は、完全にハードウェアであるか、完全にソフトウェアであるか、またはハードウェア要素およびソフトウェア要素の両方を含んでいてもよい。好ましい実施形態において、本発明は、限定されるものではないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含んでいるソフトウェアに実装される。
【００６３】
実施形態は、コンピュータまたは任意の命令実行システムによる使用のための、またはコンピュータまたは任意の命令実行システムに関連する使用のためのプログラムコードを提供するコンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含んでいてもよい。コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、もしくはデバイスによる使用のための、または命令実行システム、装置、もしくはデバイスに関する使用のためのプログラムを記憶、通信、伝播、または転送する任意の装置を含んでいてでもよい。該媒体は、磁気、光学、電子、電磁、赤外線、もしくは半導体システム（または装置もしくはデバイス）または伝搬媒体であり得る。該媒体は、半導体または固体メモリ、磁気テープ、リムーバブルコンピュータフロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、リジッド磁気ディスク、および光学ディスクなどのコンピュータ可読記憶媒体を含んでいてもよい。
【００６４】
各コンピュータプログラムは、記憶媒体またはデバイスがコンピュータによって読み取られるときに本明細書に説明される手順を実施するようにコンピュータの動作を構成および制御するために、汎用または専用プログラマブルコンピュータによって読み取り可能な機械可読記憶媒体またはデバイス（例えば、プログラムメモリまたは磁気ディスク）に実体的に記憶されてもよい。本発明のシステムはまた、コンピュータプログラムで構成されたコンピュータ可読記憶媒体において具現化されると見なされてもよく、ここではそのように構成された記憶媒体が、特定かつ予め定められた様式で本明細書に説明される機能を実行するようにコンピュータを動作させる。
【００６５】
プログラムコードを記憶および／または実行するのに好適なデータ処理システムは、システムバスを通じて直接的または間接的にメモリ要素に結合されている少なくとも１つのプロセッサを含んでいてもよい。該メモリ要素は、プログラムコードの実際の実行中に用いられるローカルメモリ、バルクストレージ、および実行中にコードが該バルクストレージから検索される回数を減らすために少なくとも一部のプログラムコードの一時記憶を提供するキャッシュを含んでいることができる。入力／出力すなわちＩ／Ｏデバイス（キーボード、ディスプレイ、ポインティングデバイスなどを含んでいるがそれらに限定されない）が、直接、または介在するＩ／Ｏコントローラを介するかのいずれかでシステムに結合されていてもよい。
【００６６】
ネットワークアダプタもまた、データ処理システムが、他のデータ処理システムまたは介在するプライベートもしくはパブリックネットワークを介してリモートプリンタもしくはストレージデバイスに結合されることを可能にするためにシステムに結合されていてもよい。モデム、ケーブルモデム、およびイーサネット（登録商標）カードは、現在利用可能なタイプのネットワークアダプタのうちのほんの一部にすぎない。
【００６７】
図５を参照すると、典型的な処理システム６００が示される。処理システム６００は、システムバス６０２により他の構成要素に動作可能に結合されている少なくとも１つのプロセッサ（ＣＰＵ）６０４を含んでいる。キャッシュ６０６、リードオンリメモリ（ＲＯＭ）６０８、ランダムアクセスメモリ（ＲＡＭ）６１０、入力／出力（Ｉ／Ｏ）アダプタ６２０、ネットワークアダプタ６４０、ユーザインタフェースアダプタ６５０、およびディスプレイアダプタ６６０が、システムバス６０２に動作可能に結合されている。ディスプレイデバイス６６２は、ディスプレイアダプタ６６０によってシステムバス６０２に動作可能に結合され得る。
【００６８】
当然ながら、処理システム６００はまた、当業者によって容易に考えられるような他の要素（図示されない）を含んでいてもよく、同様に特定の要素を省いてもよい。例えば、様々な他の入力デバイスおよび／または出力デバイスが、当業者によって容易に理解されるような処理システム６００の特定の実装態様に応じて、処理システム６００に含まれ得る。例えば、様々なタイプの無線および／または有線の入力および／または出力デバイスが使用され得る。さらには、様々な構成にある追加のプロセッサ、コントローラ、メモリなども、当業者によって容易に理解されるように利用され得る。処理システム６００のこれらのバリエーションおよび他のバリエーションは、本明細書において提供される本発明の教示を前提として当業者によって容易に考えられる。
【００６９】
前述したことは、あらゆる点において例証および例示的であるが限定的ではないと理解されるものとし、本明細書に開示される本発明の範囲は、詳細な説明から決定されるのではなく、特許法で認められた全容に従って解釈される特許請求の範囲から決定されるものとする。本明細書に示され説明されている実施態様は、単に本発明の原理の例証であるということ、および当業者は、本発明の範囲および趣旨から逸脱することなく様々な修正を実施してもよいということが理解される。当業者は、本発明の範囲および趣旨から逸脱することなく様々な他の特徴の組み合わせを実施することができる。特許法により要求される詳細事項および特殊性をもってして本発明の態様がこのようにして説明されてきたが、特許証により保護されることを請求または希望する対象は、添付の特許請求の範囲に定められる。
【図１】
0006547069.tif 000009
【図２】
0006547069.tif 000010
【図３】
0006547069.tif 000011
【図４】
0006547069.tif 000012
【図５】
0006547069.tif 000013