(57)【要約】方法が画像内の物体を検出する。本方法は、第１のサブネットワークを用いて画像の第１の領域から第１の特徴ベクトルを抽出し、第２のサブネットワークを用いて第１の特徴ベクトルを処理することによって画像の第２の領域を求める。本方法は、第２のサブネットワークを用いて画像の第２の領域から第２の特徴ベクトルも抽出し、第３のサブネットワークを用いて、第１の特徴ベクトル及び第２の特徴ベクトルに基づいて物体を検出し、この物体を取り囲むバウンディング領域及びこの物体のクラスを生成する。第１のサブネットワーク、第２のサブネットワーク、及び第３のサブネットワークは、ニューラルネットワークを形成する。また、第１の領域のサイズは、第２の領域のサイズと異なる。
2019517701.tif 000002
【特許請求の範囲】
【請求項１】
画像内の物体を検出する方法であって、
第１のサブネットワークを用いて画像の第１の領域から第１の特徴ベクトルを抽出することと、
第２のサブネットワークを用いて前記第１の特徴ベクトルを処理することによって、前記画像の第２の領域を求めることであって、前記第１の領域のサイズは前記第２の領域のサイズと異なることと、
前記第１のサブネットワークを用いて、前記画像の前記第２の領域から第２の特徴ベクトルを抽出することと、
第３のサブネットワークを用いて、前記第１の特徴ベクトル及び前記第２の特徴ベクトルに基づいて前記物体を検出し、前記物体を取り囲むバウンディングボックス及び前記物体のクラスを生成することと、
を含み、
前記第１のサブネットワーク、前記第２のサブネットワーク、及び前記第３のサブネットワークは、ニューラルネットワークを形成し、
該方法のステップは、プロセッサによって実行される、
方法。
【請求項２】
前記第２のサブネットワークは、深層リカレントニューラルネットワークである、
請求項１に記載の方法。
【請求項３】
前記深層リカレントニューラルネットワークは、スタックされたリカレントニューラルネットワークである、
請求項２に記載の方法。
【請求項４】
前記スタックされたリカレントニューラルネットワークは、２つの隠れ層によって形成される、
請求項３に記載の方法。
【請求項５】
前記第３のサブネットワークは、前記第１の特徴ベクトル及び前記第２の特徴ベクトルを用いて要素単位ｍａｘ演算を実行する、
請求項１に記載の方法。
【請求項６】
前記検出された物体及び前記物体の前記クラスをディスプレイデバイス上にレンダリングすること、又は
前記検出された物体及び前記物体の前記クラスを、ネットワークを介して送信すること、
を更に含む、請求項１に記載の方法。
【請求項７】
前記第１のサブネットワークを用いて前記画像を処理して、前記画像の特徴マップの集合を生成することであって、前記第１のサブネットワークは深層畳み込みニューラルネットワーク（ＤＣＮＮ）であることと、
提案生成器を用いて、前記第１の領域を求めることと、
前記第１の領域に対応する前記特徴マップから前記第１の特徴ベクトルを求めることと、
前記第２の領域に対応する前記特徴マップと、前記第２のサブネットワークにおいて前記第１の特徴ベクトルを生成している間に計算された隠れ表現とから、前記第２の特徴ベクトルを求めることと、
を更に含む、請求項１に記載の方法。
【請求項８】
前記特徴マップは、前記ＤＣＮＮの最後の畳み込み層から計算される、
請求項７に記載の方法。
【請求項９】
前記第２のサブネットワークは、前記第１の特徴ベクトルを取り込み、前記第１の領域に関連した前記第２の領域のスケール不変平行移動及び対数空間高さ／幅シフトを符号化したターゲットベクトルを出力し、
前記対数空間高さ／幅シフトは、以下の式によって表され、
【数１】
2019517701.tif 000010
ここで、（ｇｘ；ｇｙ；ｇｗ；ｇｈ）は、前記第１の領域の位置ｘ及びｙを示す中心座標、幅ｗ並びに高さｈを表し、（ｐｘ；ｐｙ；ｐｗ；ｐｈ）は、前記第１の領域を表す、
請求項１に記載の方法。
【請求項１０】
前記第２の領域は、前記第１の領域及び前記ターゲットベクトルを用いることによって求められる、
請求項９に記載の方法。
【請求項１１】
前記第１の特徴ベクトルを抽出するステップ、又は前記第２の特徴ベクトルを抽出するステップは、
前記第１の領域又は前記第２の領域をサブウィンドウの既定のグリッドに分割することと、
各サブウィンドウ内の前記特徴の最大値を求めることと、
前記リカレントニューラルネットワークによって前記最大値を順次処理することと、
を含む、請求項２に記載の方法。
【請求項１２】
前記第２の領域のサイズは、前記第１の領域のサイズよりも大きい、
請求項１に記載の方法。
【請求項１３】
前記深層ニューラルネットワークは、強化学習アルゴリズムを用いてトレーニングされる、
請求項１に記載の方法。
【請求項１４】
強化報酬ｒｔが、以下の式によって得られ、
【数２】
2019517701.tif 000011
ここで、Ｐ（ｃ＊）は、真のクラスｃ＊の予測確率であり、ＩｏＵは、ｃ＊の予測バウンディングボックスＢｃ＊と、該予測バウンディングボックスＢｃ＊に対応する対応グラウンドトゥルースバウンディングボックスＢ＊ｃ＊との和集合に対するこれらの両ボックス間の交差集合の割合であり、
ｔは、計算の時間ステップであり、Ｔは、時間ステップの所定の数である、
請求項１３に記載の方法。
【請求項１５】
前記強化報酬が前記第３のサブネットワークによって求められるとき、或る数のエピソードが１つだけ加えられ、前記エピソードの数は８以下になるように設定される、
請求項１４に記載の方法。
【請求項１６】
前記スタックされたリカレントニューラルネットワークは、要素単位ＭＡＸ演算を含む、
請求項３に記載の方法。
【請求項１７】
前記強化報酬は、連続報酬演算に基づいて求められる、
請求項１４に記載の方法。
【請求項１８】
前記第１のサブネットワークは、強化学習アルゴリズムによってトレーニングされる、
請求項１に記載の方法。
【請求項１９】
前記強化学習アルゴリズムは、前記画像内の背景サンプルをトレーニングすることを除外する、
請求項１８に記載の方法。
【請求項２０】
前記ターゲットベクトルは４次元ベクトルである、
請求項９に記載の方法。
【請求項２１】
前記スタックされたリカレントニューラルネットワークは、３つ以上の隠れ層によって形成される、
請求項２に記載の方法。
【請求項２２】
コンピューターに物体検出プロセスを実行させるプログラムを記憶する非一時的コンピューター可読記録媒体であって、
前記物体検出プロセスは、
第１のサブネットワークを用いて画像の第１の領域から第１の特徴ベクトルを抽出することと、
第２のサブネットワークを用いて前記第１の特徴ベクトルを処理することによって、前記画像の第２の領域を求めることであって、前記第１の領域のサイズは前記第２の領域のサイズと異なることと、
前記第１のサブネットワークを用いて、前記画像の前記第２の領域から第２の特徴ベクトルを抽出することと、
第３のサブネットワークを用いて、前記第１の特徴ベクトル及び前記第２の特徴ベクトルに基づいて前記物体を検出し、前記物体を取り囲むバウンディングボックス及び前記物体のクラスを生成することと、
を含み、
前記第１のサブネットワーク、前記第２のサブネットワーク、及び前記第３のサブネットワークは、ニューラルネットワークを形成する、
非一時的コンピューター可読記録媒体。
【請求項２３】
物体検出システムであって、
ヒューマンマシンインターフェースと、
ニューラルネットワークを含む記憶デバイスと、
メモリと、
該システムの外部にあるネットワークと接続可能なネットワークインターフェースコントローラーと、
撮像デバイスと接続可能な撮像インターフェースと、
前記ヒューマンマシンインターフェース、前記記憶デバイス、前記メモリ、前記ネットワークインターフェースコントローラー及び前記撮像インターフェースに接続するように構成されたプロセッサと、
を備え、
前記プロセッサは、前記記憶デバイスに記憶された前記ニューラルネットワークを用いて画像内の物体を検出する命令を実行し、
前記ニューラルネットワークは、
第１のサブネットワークを用いて前記画像の第１の領域から第１の特徴ベクトルを抽出するステップと、
第２のサブネットワークを用いて前記第１の特徴ベクトルを処理することによって、前記画像の第２の領域を求めるステップであって、前記第１の領域のサイズは前記第２の領域のサイズと異なる、ステップと、
前記第１のサブネットワークを用いて、前記画像の前記第２の領域から第２の特徴ベクトルを抽出するステップと、
第３のサブネットワークを用いて、前記第１の特徴ベクトル及び前記第２の特徴ベクトルに基づいて前記物体を検出し、前記物体を取り囲むバウンディングボックス及び前記物体のクラスを生成するステップと、
を実行し、
前記第１のサブネットワーク、前記第２のサブネットワーク、及び前記第３のサブネットワークは、ニューラルネットワークを形成する、
物体検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワークに関し、より具体的には、ニューラルネットワークを用いた物体検出システム及び物体検出方法に関する。
【背景技術】
【０００２】
物体検出は、コンピュータービジョンにおける最も基本的な問題の１つである。物体検出の目標は、例えば、所与の入力画像の信頼値を有するバウンディングボックスの形態の既定の物体クラスのインスタンスを検出し、その位置を突き止めることである。物体検出問題は、走査ウィンドウ技法によって物体分類問題に変換することができる。しかしながら、走査ウィンドウ技法は非効率的である。なぜならば、分類ステップは、様々なロケーション、スケール、及びアスペクト比の全ての可能な画像領域について実行されるからである。
【０００３】
領域ベースの畳み込みニューラルネットワーク（Ｒ−ＣＮＮ）が、２段階手法を実行するのに用いられる。この２段階手法では、物体提案の集合が、提案生成器を用いて関心領域（ＲＯＩ）として生成され、物体の存在及びＲＯＩにおけるクラスが、深層ニューラルネットワークを用いて求められる。しかしながら、Ｒ−ＣＮＮの検出精度は、幾つかの場合には不十分である。したがって、物体検出性能を更に改善するために別の手法が必要とされている。
【発明の概要】
【０００４】
幾つかの実施の形態は、画像内の物体を検出する方法が、第１のサブネットワークを用いて画像の第１の領域から第１の特徴ベクトルを抽出することと、第２のサブネットワークを用いて前記第１の特徴ベクトルを処理することによって、前記画像の第２の領域を求めることであって、前記第１の領域のサイズは前記第２の領域のサイズと異なることと、前記第２のサブネットワークを用いて、前記画像の前記第２の領域から第２の特徴ベクトルを抽出することと、第３のサブネットワークを用いて、前記第１の特徴ベクトル及び前記第２の特徴ベクトルに基づいて前記物体を検出し、前記物体を取り囲むバウンディングボックス及び前記物体のクラスを生成することとを含み、前記第１のサブネットワーク、前記第２のサブネットワーク、及び前記第３のサブネットワークは、ニューラルネットワークを形成し、該方法のステップは、プロセッサによって実行されるという認識及び理解に基づいている。
【０００５】
したがって、１つの実施の形態は、コンピューターに物体検出プロセスを実行させるプログラムを記憶する非一時的コンピューター可読記録媒体であって、前記物体検出プロセスは、第１のサブネットワークを用いて画像の第１の領域から第１の特徴ベクトルを抽出することと、第２のサブネットワークを用いて前記第１の特徴ベクトルを処理することによって、前記画像の第２の領域を求めることであって、前記第１の領域のサイズは前記第２の領域のサイズと異なることと、前記第２のサブネットワークを用いて、前記画像の前記第２の領域から第２の特徴ベクトルを抽出することと、第３のサブネットワークを用いて、前記第１の特徴ベクトル及び前記第２の特徴ベクトルに基づいて前記物体を検出し、前記物体を取り囲むバウンディングボックス及び前記物体のクラスを生成することとを含み、前記第１のサブネットワーク、前記第２のサブネットワーク、及び前記第３のサブネットワークは、ニューラルネットワークを形成する、非一時的コンピューター可読記録媒体を開示する。
【０００６】
別の実施の形態は、物体検出システムであって、ヒューマンマシンインターフェースと、ニューラルネットワークを含む記憶デバイスと、メモリと、該システムの外部にあるネットワークと接続可能なネットワークインターフェースコントローラーと、撮像デバイスと接続可能な撮像インターフェースと、前記ヒューマンマシンインターフェース、前記記憶デバイス、前記メモリ、前記ネットワークインターフェースコントローラー及び前記撮像インターフェースに接続するように構成されたプロセッサとを備え、前記プロセッサは、前記記憶デバイスに記憶された前記ニューラルネットワークを用いて画像内の物体を検出する命令を実行し、前記ニューラルネットワークは、第１のサブネットワークを用いて前記画像の第１の領域から第１の特徴ベクトルを抽出するステップと、第２のサブネットワークを用いて前記第１の特徴ベクトルを処理することによって、前記画像の第２の領域を求めるステップであって、前記第１の領域のサイズは前記第２の領域のサイズと異なる、ステップと、前記第２のサブネットワークを用いて、前記画像の前記第２の領域から第２の特徴ベクトルを抽出するステップと、第３のサブネットワークを用いて、前記第１の特徴ベクトル及び前記第２の特徴ベクトルに基づいて前記物体を検出し、前記物体を取り囲むバウンディングボックス及び前記物体のクラスを生成するステップとを実行し、前記第１のサブネットワーク、前記第２のサブネットワーク、及び前記第３のサブネットワークは、ニューラルネットワークを形成する、物体検出システムを開示する。
【図面の簡単な説明】
【０００７】
【図１】本発明の幾つかの実施形態による画像内の物体を検出する物体検出システムのブロック図である。
【図２】幾つかの実施形態による画像内の物体を検出するコンピューター実施される物体検出方法において用いられるニューラルネットワークのブロック図である。
【図３Ａ】幾つかの実施形態によるサブネットワークを用いて画像内の特徴ベクトルを抽出し、領域を求めるプロセスを示すブロック図である。
【図３Ｂ】幾つかの実施形態によるサブネットワークを用いて画像内の特徴ベクトルを抽出し、領域を求めるプロセスを示すフローチャートである。
【図３Ｃ】幾つかの実施形態による深層畳み込みニューラルネットワーク（ＤＣＮＮ）によって形成されるサブネットワークのブロック図である。
【図４Ａ】幾つかの実施形態による画像内のターゲット物体上にグリンプスボックス（glimpse boxes）を配置する一例を示す図である。
【図４Ｂ】幾つかの実施形態による画像内のターゲット物体上にグリンプスボックスを配置する一例を示す図である。
【図５】３×３グリッドに分割された第１の領域又は第２の領域のサブウィンドウを示す図である。
【図６】幾つかの実施形態によるスタックされたＲＮＮによって形成されたサブネットワークのブロック図である。
【図７】幾つかの実施形態による画像内の物体を検出するコンピューター実施される物体検出方法において用いられるネットワークモジュールのブロック図である。
【図８】幾つかの実施形態によるスタックされたＲＮＮによって形成されたサブネットワークのブロック図である。
【図９】幾つかの実施形態によるミニバッチにおける１つのサンプルから生成されるエピソードの数の効果を示す比較結果を示す図である。
【図１０】幾つかの実施形態による４つの異なるアーキテクチャセットアップによって得られた性能結果の一例を示す図である。
【図１１】幾つかの実施形態による連続報酬演算（continuous reward operation）及び離散報酬演算（discrete reward operation）によって実証された性能の比較結果を示す図である。
【図１２】ＲＥＩＮＦＯＲＣＥアルゴリズムから背景サンプルを除外した場合によって得られる性能結果と、ＲＥＩＮＦＯＲＣＥアルゴリズムに背景サンプルを含む場合によって得られる性能結果との比較を示す図である。
【図１３】４次元ベクトルを有するグリンプス及び２次元ベクトルを有するグリンプスを用いることによって得られる性能の表を示す図である。
【発明を実施するための形態】
【０００８】
本発明の様々な実施形態が、図面を参照して以下で説明される。図面は縮尺どおり描かれておらず、類似の構造又は機能の要素は、図面全体にわたって同様の参照符号によって表されることに留意されたい。図面は、本発明の特定の実施形態の説明を容易にすることのみを意図することにも留意されたい。図面は、本発明の網羅的な説明として意図されるものでもなければ、本発明の範囲を限定するものとして意図されるものでもない。加えて、本発明の特定の実施形態と併せて説明される態様は、必ずしもその実施形態に限定されず、本発明の任意の他の実施形態において実施することができる。
【０００９】
幾つかの実施形態は、物体検出システムが、ヒューマンマシンインターフェースと、ニューラルネットワークを含む記憶デバイスと、メモリと、システムの外部にあるネットワークと接続可能なネットワークインターフェースコントローラーと、撮像デバイスと接続可能な撮像インターフェースと、ヒューマンマシンインターフェース、記憶デバイス、メモリ、ネットワークインターフェースコントローラー及び撮像インターフェースに接続するように構成されたプロセッサとを備え、プロセッサは、記憶デバイスに記憶されたニューラルネットワークを用いて画像内の物体を検出する命令を実行し、ニューラルネットワークは、第１のサブネットワークを用いて画像の第１の領域から第１の特徴ベクトルを抽出するステップと、第２のサブネットワークを用いて第１の特徴ベクトルを処理することによって、画像の第２の領域を求めるステップであって、第１の領域のサイズは第２の領域のサイズと異なる、ステップと、第２のサブネットワークを用いて、画像の第２の領域から第２の特徴ベクトルを抽出するステップと、第３のサブネットワークを用いて、第１の特徴ベクトル及び第２の特徴ベクトルに基づいて物体を検出し、物体を取り囲むバウンディングボックス及び物体のクラスを生成するステップとを実行し、第１のサブネットワーク、第２のサブネットワーク、及び第３のサブネットワークは、ニューラルネットワークを形成するという認識に基づいている。
【００１０】
図１は、本発明の幾つかの実施形態による物体検出システム５００のブロック図を示している。物体検出システム５００は、キーボード５１１及びポインティングデバイス／メディア５１２と接続可能なヒューマンマシンインターフェース（ＨＭＩ）５１０と、プロセッサ５２０と、記憶デバイス５３０と、メモリ５４０と、ローカルエリアネットワーク及びインターネットネットワークを含むネットワーク５９０と接続可能なネットワークインターフェースコントローラー５５０（ＮＩＣ）と、ディスプレイインターフェース５６０と、撮像デバイス５７５と接続可能な撮像インターフェース５７０と、印刷デバイス５８５と接続可能なプリンターインターフェース５８０とを備える。物体検出システム５００は、ＮＩＣ５５０に接続されたネットワーク５９０を介して電子テキスト／撮像文書５９５を受信することができる。記憶デバイス５３０は、原画像５３１、フィルターシステムモジュール５３２、及びニューラルネットワーク４００を含む。ポインティングデバイス／メディア５１２は、コンピューター可読記録媒体上に記憶されたプログラムを読み出すモジュールを備えることができる。
【００１１】
画像内の物体を検出するために、キーボード５１１、ポインティングデバイス／メディア５１２を用いて、又は、他のコンピューター（図示せず）に接続されたネットワーク５９０を介して、物体検出システム５００に命令を送信することができる。物体検出システム５００は、ＨＭＩ５１０を用いて命令を受信し、記憶デバイス５３０に記憶されたニューラルネットワーク４００を用いるプロセッサ５２０を用いて画像内の物体を検出する命令を実行する。フィルターシステムモジュール５３２は、画像処理を実行して、命令に関連する所与の画像から所定のフォーマット画像を取得するように動作可能である。フィルターシステムモジュール５３２によって処理された画像は、ニューラルネットワーク４００が物体を検出するのに用いることができる。ニューラルネットワーク４００を用いた物体検出プロセスは、以下で説明される。次の説明では、グリンプス領域が、画像内のターゲット物体の特徴を検出するために画像内のターゲット上に配置されるグリンプスボックス、バウンディングボックス、グリンプスバウンディングボックス又はバウンディングボックス領域と呼ばれる。
【００１２】
幾つかの実施形態は、画像内の物体を検出する方法が、第１のサブネットワークを用いて画像の第１の領域から第１の特徴ベクトルを抽出することと、第２のサブネットワークを用いて第１の特徴ベクトルを処理することによって、画像の第２の領域を求めることであって、第１の領域のサイズは第２の領域のサイズと異なることと、第２のサブネットワークを用いて、画像の第２の領域から第２の特徴ベクトルを抽出することと、第３のサブネットワークを用いて、第１の特徴ベクトル及び第２の特徴ベクトルに基づいて物体を検出し、物体を取り囲むバウンディングボックス及び物体のクラスを生成することとを含み、第１のサブネットワーク、第２のサブネットワーク、及び第３のサブネットワークは、ニューラルネットワークを形成し、本方法のステップは、プロセッサによって実行されるという認識に基づいている。
【００１３】
図２は、幾つかの実施形態による画像内の物体を検出するコンピューター実施される物体検出方法において用いられるニューラルネットワーク４００のブロック図を示している。ニューラルネットワーク４００は、第１のサブネットワーク１００、第２のサブネットワーク２００及び第３のサブネットワーク３００を備える。ニューラルネットワーク４００は、画像内のターゲット物体から特徴を抽出することによって画像内のターゲット物体を検出するように設計される。ニューラルネットワーク４００は、画像のターゲット物体上にグリンプスボックスを適応的に順次配置して、ターゲット物体の特徴を抽出する。グリンプスボックスは、この実施形態では、異なるサイズを有する正方形状又は異なるサイズ及び異なるアスペクト比を有する長方形状を有するように設計される。ただし、グリンプスボックスの形状は、ニューラルネットワーク４００において用いられるアルゴリズムに従って三角形、六角形、円形、楕円形又は任意の多角形等の他の所定の形状であってもよい。ターゲット物体上にグリンプスボックスを配置するシーケンスを適用するニューラルネットワーク４００は、アテンションベースの物体検出（ＡＯＤ）ネットワークと呼ばれる場合がある。ニューラルネットワーク４００は、物体検出システム５００が、画像内のターゲット物体に対応するグリンプスボックスから抽出された特徴を提供することによって画像内のターゲット物体の分類の判断を行うことを可能にする。この場合、第１のサブネットワーク１００は、画像内のターゲット物体のより良好な特徴を取得する深層畳み込みニューラルネットワーク（ＤＣＮＮ）１００とすることができる。
【００１４】
物体検出プロセスでは、画像１１が提供されると、画像１１の全エリアが深層畳み込みニューラルネットワーク（ＤＣＮＮ）１００によって処理され、特徴マップ１５０の集合が計算されて保存される。同時に、提案生成器１０が、画像１１のターゲット物体上に配置する第１のグリンプスボックス１５として提案バウンディングボックスを提供する。第１のグリンプスボックス１５は、画像１１における提案バウンディングボックスの位置ｘ、ｙ、幅ｗ及び高さｈを含むパラメーターを有する。ＤＣＮＮ１００は、特徴マップ１５０内の領域から第１のグリンプスボックス１５の特徴も抽出する。特徴マップ１５０内の領域は、画像１１の提案バウンディングボックス（第１のグリンプスボックス１５）に対応する。
【００１５】
第２のサブネットワーク２００は、関心領域（ＲＯＩ）プールモジュール２１０及び２２０と、リカレントニューラルネットワーク（ＲＮＮ）２０５とを備える。ＲＯＩプールモジュール２１０は、ＲＮＮ２０５の使用によって第１のグリンプスボックス１５の第１の特徴に適用され、第１の特徴ベクトル２３０を生成する。第１の特徴ベクトル２３０は、第３のサブネットワーク３００の要素単位ＭＡＸ３１０に送信される。第２のサブネットワーク２００は、第１のグリンプスボックス１５（アンカーバウンディングボックス）を基準とした第２のグリンプスボックス２０に関するスケール不変平行移動及び対数空間高さ／幅シフトを符号化するのに用いられるターゲットベクトル２５０も生成する。第２のグリンプス２０は、提案されたバウンディングボックス１５及びターゲットベクトル２５０を用いることによって取得される。続いて、ＤＣＮＮ１００は、画像１１の第２のグリンプス２０に基づいて第２の特徴を抽出する。第２のグリンプスボックス２０の第２の特徴は、次に、第２のサブネットワーク２００のＲＯＩプールモジュール２２０に適用され、第２の特徴ベクトル２４０が生成される。第２のサブネットワーク２００は、第２の特徴ベクトル２４０を第３のサブネットワーク３００の要素単位ＭＡＸ３１０に送信し、要素単位ＭＡＸ３１０は、物体検出プロセスの使用に備えて第２の特徴ベクトル２４０を保存する。第３のサブネットワーク３００は、第２の特徴ベクトル２３０及び第３の特徴ベクトル２４０を処理し、物体バウンディングボックス３２０及び物体クラス確率３３０を出力として生成する。これらの出力に基づいて、物体検出システム５００は、画像１１内のターゲット物体の物体クラス及び物体ロケーションに関する最終決定を行う。
【００１６】
幾つかの実施形態では、提案生成器１０は、ニューラルネットワークアーキテクチャの設計に応じてニューラルネットワーク４００内に配置されてもよい。
【００１７】
図３Ａ及び図３Ｂは、本発明の幾つかの実施形態によるサブネットワークにおいて用いられる画像内の特徴ベクトルを抽出し、領域を求めるプロセスを示すブロック図及びフローチャートを示している。
【００１８】
図３ＡにおけるブロックＳ０には、第１のサブネットワーク１００を用いて第１の特徴ベクトルを抽出する初期プロセスが示されている。命令が物体検出システム５００に与えられると、画像１１がプロセッサ５２０のワーキングメモリ内に提供される。このワーキングメモリは、プロセッサ５２０の内部メモリとすることもできるし、プロセッサ５２０に接続されたメモリ５４０又は記憶デバイス５３０とすることもできる。プロセッサ５２０は、システム設計に応じて、物体検出の処理速度を高めるために２つ以上の処理ユニットとすることもできる。ＤＣＮＮ１００は、画像１１の全エリアに適用されて、特徴マップ１５０の集合を取得し、その後、提案生成器１０は、提案バウンディングボックスを第１のグリンプス領域１５として提供する。第１のグリンプス領域１５は、第１のグリンプスボックス１５と呼ばれる場合がある。第１のサブネットワーク１００（ＤＣＮＮ１００）は、第１のグリンプス領域１５の第１の特徴を特徴マップ１５０の対応する領域から抽出し、この第１の特徴を第２のサブネットワーク２００に送信する。この場合、特徴マップ１５０の対応する領域は、画像１１の第１のグリンプス領域１５に関連付けられる。
【００１９】
図３Ａ及び図３ＢにおけるステップＳ１及びＳ２は、第１のサブネットワーク１００及び第２のサブネットワーク２００を用いて第１の特徴ベクトルを第１の領域から抽出するプロセスを示している。図３Ａ及び図３ＢのステップＳ１において、第２のサブネットワーク２００は、第１のグリンプス領域１５の第１の特徴を特徴マップ１５０から受信した後、第１の特徴ベクトルを生成して出力する。同時に、第２のサブネットワーク２００は、第２のグリンプス領域２０に関連したターゲットベクトルを生成する。この場合、第２のサブネットワーク２００は、ターゲットベクトルを処理することによって第２のグリンプス領域２０を求める。第１のグリンプス領域１５及び第２のグリンプス領域２０のサイズは互いに異なる。ステップＳ１及びＳ２の順番は、交換することができる。なぜならば、第１のグリンプス領域１５の第１の特徴が、ステップＳ０において第２のサブネットワーク２００によって取得されている限り、第２のサブネットワーク２００は、処理順序を限定することなく第１の特徴ベクトル及びターゲットベクトルを生成することができるからである。
【００２０】
図３Ａ及び図３ＢにおけるステップＳ３において、第２の特徴ベクトルが、第１のサブネットワーク１００及び第２のサブネットワーク２００を用いて第２の領域から抽出される。第２のサブネットワーク２００は、第２のグリンプス領域２０の第２の特徴を受信した後、第２のグリンプス領域２０の第２の特徴を第３のサブネットワーク３００に送信する。第１の特徴ベクトルは、ステップＳ１において第３のサブネットワーク３００によって受信されていることに留意されたい。
【００２１】
ステップＳ４において、第３のサブネットワーク３００が、第１の特徴ベクトル及び第２の特徴ベクトルに基づいて画像１１内の物体を検出する。
【００２２】
図３Ｃは、畳み込み層を備えるＤＣＮＮ１００の一例を示している。ＤＣＮＮ１００では、特徴マップ１５０の集合は、最後の畳み込み層において計算される。ＤＣＮＮ１００は、特徴マップの特徴が画像１１の第１の領域に関連付けられるように計算する。
【００２３】
さらに、幾つかの実施形態では、ＤＣＮＮ１００は、画像内の物体を検出する同等の効果を得るためにＡｌｅｘＮｅｔ又はＶＧＧＮｅｔ等の事前にトレーニングされたネットワークとすることができる。
【００２４】
図４Ａ及び図４Ｂは、画像内のターゲット物体上にグリンプスボックスを配置する例を示している。それらの例では、物体検出プロセスは、最終検出ボックスがターゲット画像上に配置されるまで、画像のターゲット画像上にボックスを配置する４つのステップによって実行される。
【００２５】
図４Ａは、２つの画像４Ａ−１及び４Ａ−２を上側及び下側に含む。画像４Ａ−１及び４Ａ−２は、同一の犬の画像をターゲット物体として示している。画像４Ａ−１は、犬の画像上の物体提案ボックス４Ａ、第１のグリンプスボックス４Ａ及び第２のグリンプスボックス４Ａを示している。
【００２６】
ターゲット物体の検出プロセスの第１のステップにおいて、物体提案ボックス４Ａが、提案生成器１０によってアンカーバウンディングボックスとして生成され、犬の画像を取り囲むように画像４Ａ−１上に配置される。この画像では、物体提案ボックス４Ａは、明るいボックスによって示されている。
【００２７】
第２のステップにおいて、第２のサブネットワーク２００が、第１のサブネットワーク１００によって特徴マップ１５０から抽出された物体提案ボックス４Ａの特徴を受信した後、第１のグリンプスボックス４Ａ及び第１の特徴ベクトルを生成する。次に、画像４Ａ−１において破線によって示される第１のグリンプスボックス４Ａは、物体提案ボックス４Ａを取り囲むように画像４Ａ−１上に配置され、第１の特徴ベクトルは、第３のサブネットワーク３００に送信される。この場合、第１のグリンプスボックス４Ａのサイズ及び形状は、物体提案ボックス４Ａのサイズ及び形状と異なるように構成される。
【００２８】
第３のステップにおいて、第１のサブネットワーク１００が、特徴マップ１５０を用いて第１のグリンプスボックス４Ａの特徴を抽出し、第１のグリンプスボックス４Ａの特徴を第２のサブネットワーク２００に送信する。第２のサブネットワーク２００は、第１のグリンプスボックス４Ａの特徴に基づいて第２のグリンプスボックス４Ａ及び第２の特徴ベクトルを生成し、第２の特徴ベクトルを第３のサブネットワーク３００に送信する。第２のサブネットワーク２００は、物体提案ボックス４Ａを取り囲むように第２のグリンプスボックス４Ａも画像４Ａ−１上に配置する。この場合、第２のグリンプスボックス４Ａの面積は、画像４Ａ−１に示すように、第１のグリンプスボックス４Ａの面積よりも狭くなるように構成される。
【００２９】
第４のステップにおいて、第２のグリンプスボックス４Ａの特徴が、第１のサブネットワーク１００によって特徴マップ１５０から抽出され、第２のサブネットワーク２００に送信される。続いて、第２のサブネットワーク２００は、第３の特徴ベクトルを生成し、第３のサブネットワーク３００に送信する。
【００３０】
最後のステップにおいて、第３のサブネットワーク３００が、第１の特徴ベクトル、第２の特徴ベクトル及び第３の特徴ベクトルに基づく物体クラス確率及び物体バウンディングボックスを出力する。第３のサブネットワーク３００は、物体クラス確率に基づいて、ターゲット物体が犬であると判断し、画像４Ａ−２に示すように、ターゲットを取り囲むように最終検出ボックス４Ａを画像４Ａ−２上に配置して、犬の画像を取り囲む。
【００３１】
図４Ｂは、２つの画像４Ｂ−１及び４Ｂ−２を上側及び下側に含む。画像４Ｂ−１及び４Ｂ−２は、鳥の画像をターゲット物体として示している。画像４Ｂ−１は、鳥の画像上の物体提案ボックス４Ｂ、第１のグリンプスボックス４Ｂ及び第２のグリンプスボックス４Ｂを示している。物体検出プロセスは、最終検出ボックスがターゲット画像上に配置されるまでボックスをターゲット画像上に配置する４つのステップによって実行される。図４Ｂにおいて実行される物体検出プロセスは、図４Ａに関して説明した物体検出プロセスと同一であるので、詳細な説明は省略する。画像４Ｂ−２は、最終検出ボックスが鳥の画像上に配置されることを示している。ターゲット物体のうちの１つの一部分がこの場合欠落していても、複数のターゲットが正しく検出されることに留意されたい。
【００３２】
グリンプスボックス生成
幾つかの実施形態では、グリンプス領域はグリンプスボックスと呼ばれる。第２のサブネットワーク２００によって時間ステップｔにおいて計算されるグリンプスボックスＧは、Ｇｔ∈Ｒ４によって表される。ｔ＝０の場合、第１のグリンプスボックスＧ０が、提案生成器１０によって提案バウンディングボックスとして提供される。この提案バウンディングボックスは、アンカーバウンディングボックスとして用いられる。ｔ＞０の場合、後続のグリンプスボックスＧｔが、先行プロセスステップにおいて取得された先行グリンプスボックスの特徴の情報を集約することによって第１のサブネットワーク１００及び第２のサブネットワーク２００によって動的に求められる。
【００３３】
グリンプスボックスＧｔを得るために、スケール不変及び高さ／幅正規化シフトパラメーター化が、アンカーバウンディングボックスとともに用いられる。スケール不変平行移動及び対数空間高さ／幅シフトパラメーター化は、アンカーバウンディングボックスからのシフトの量を示すターゲットベクトル（δｘ，δｙ，δｗ，δｈ）を提供する。このターゲットベクトルは以下のように表される。
【数１】
2019517701.tif 000003
ここで、（ｇｘ，ｇｙ，ｇｗ，ｇｈ）は、グリンプスボックスの中心座標ｘ及びｙ、幅ｗ及び高さｈを表し、（ｐｘ，ｐｙ，ｐｗ，ｐｈ）は、提案バウンディングボックスを表す。
【００３４】
最初に、ターゲットベクトル（δｘ，δｙ，δｗ，δｈ）が、式（１）に従って提案バウンディングボックスから得られる。次に、新たなグリンプスボックスが、（ｐｘ＋ｐｗδｘ，ｐｙ＋ｐｈδｙ，ｐｗｅｘｐ（δｗ），ｐｈｅｘｐ（δｈ））として得られる。
【００３５】
各グリンプスボックスＧｔについて、ＲＯＩプールモジュール２１０を第１のグリンプスボックス１５の特徴に適用することによって、所定の次元特徴ベクトルが抽出される。ＲＯＩプールモジュール２１０は、第１のグリンプスボックス１５の特徴をＲＯＩとして受信する。ＲＯＩプールモジュール２１０は、第１のグリンプスボックス１５の特徴をサブウィンドウの所定のグリッドに分割し、次に、各サブウィンドウにおける第１のグリンプスボックス１５の特徴の特徴値を最大プールする。プールされた特徴値は、層ｆｃ６及びｆｃ７を有するリカレントニューラルネットワーク（ＲＮＮ）２０５内に供給される。
【００３６】
図５は、サブウィンドウ９０１の３×３グリッドの一例を示している。この場合、第１のグリンプスボックス１５の特徴は、リカレントニューラルネットワークの所定のアーキテクチャに従って、サブウィンドウの３×３グリッドに分割される。
【００３７】
幾つかの実施形態では、ＲＮＮ２００は、スタックされたリカレントニューラルネットワーク（スタックされたＲＮＮ）とすることができる。図６は、特徴値がＲＯＩプールモジュール２１０及び２２０から供給されるスタックされたＲＮＮ２００を示している。スタックされたＲＮＮ２００は、ｆｃ６及びｆｃ７の２つの層を備え、これらの層では、所与の特徴値が、図５に示すように矢印の方向に沿って処理される。
【００３８】
幾つかの実施形態では、スタックされたＲＮＮ２００は、３つのステップを含むことができる。図７は、３つのステップを有するスタックされたＲＮＮ２００の一例を示している。この場合、第１のグリンプスボックスが提案生成器１０によって生成され、第２のグリンプスボックス及び第３のグリンプスボックスがそれぞれＲＯＩプールモジュール２１０及び２２０を通じて生成される。グリンプスボックス及びグリンプスベクトルを生成する各ステップは、図２の場合に説明したものと同一であるので、詳細な説明は省略する。
【００３９】
この場合、サブネットワーク３００は、第１の特徴ベクトル、第２の特徴ベクトル及び第３の特徴ベクトルに基づいて物体クラス確率及び物体境界ボックスを求める。図８は、幾つかの実施形態による３つのステップを含むスタックされたＲＮＮ２００の一例を示している。矢印は、スタックされたＲＮＮ２００内のデータ処理フローを示している。
【００４０】
層ｆｃ６及びｆｃ７の数は、スタックされたＲＮＮのアーキテクチャ設計に応じて、４つ以上に増加させることができる。
【００４１】
幾つかの実施形態では、検出性能を改善するために、グリンプスを生成する別のネットワークアーキテクチャとして強化学習アルゴリズムを用いて、ＤＣＮＮ１０をトレーニングすることができる。
【００４２】
強化学習及びネットワークトレーニング
強化学習アルゴリズムのプロセスでは、強化学習エージェント（ＲＬエージェント）が、環境の状態ｘ∈χを観測することによって環境と絶えず相互作用し、次いで、ＲＬエージェントは、そのポリシーπ（ａ｜ｘ）と、状態から行動への確率的マッピングとに従って行動ａ∈Ａを選ぶ。
【００４３】
現在の状態及び選ばれた行動に応じて、環境におけるＲＬエージェントの状態は、Ｘ’〜Ｐ（・｜ｘ，ａ）に変化する。ＲＬエージェントは、報酬として記憶された実数値報酬信号ｒ〜Ｒ（・｜ｘ，ａ）も受信する。この相互作用は、所定の有限の数Ｔ個のステップの間継続する。Ｔ個のステップのそれぞれにおける相互作用から得られた結果は、エピソードξと呼ばれる。
【００４４】
ＲＬエージェントは、全てのエピソードにおいて受け取る報酬の和
【数２】
2019517701.tif 000004
を最大にするように構成される。この場合、Ｒ（ξ）はξのリターンを表す。強化学習の目標は、期待リターン
【数３】
2019517701.tif 000005
が最大になるようなポリシーπを見つけることである。ポリシーπは、Ｔ個の時間ステップのそれぞれにおいて受け取る報酬に基づいて学習されない。強化学習プロセスでは、ＲＥＩＮＦＯＲＣＥアルゴリズムと呼ばれるポリシー勾配アルゴリズムが用いられる。この場合、πはθによってパラメーター化される。ポリシー勾配アルゴリズムは、その最も単純な形態では、ステップサイズαｉ＞０の或る選択について、勾配上昇更新
【数４】
2019517701.tif 000006
によって、Ｊ（πθ）の勾配の方向にポリシーパラメーターを変化させる。
【００４５】
ガウス分布をπθとして用いることによって、近似的な勾配が、現在のポリシーの下で複数のエピソードを生成することによって計算される。
【数５】
2019517701.tif 000007
【００４６】
上述したアルゴリズムは、勾配上昇アルゴリズムであり、標準的なバックプロパゲーションニューラルネットワークのトレーニングに導入される。この実施形態では、ニューラルネットワーク４００は、強化学習からの勾配及び教師ありトレーニングからの勾配の双方をバックプロパゲーションすることによってトレーニングされる。
【００４７】
図２は、スタックされたリカレントニューラルネットワーク（ＲＮＮ）によって形成された第２のサブネットワーク２００のブロック図を示している。第２のサブネットワーク２００は、スタックされたリカレントニューラルネットワーク（ＲＮＮ）２０５と、ＲＯＩプールモジュール２１０及び２２０とを備える。リカレント接続は、この図ではｆｃ６及びｆｃ７として示されている。
【００４８】
ＲＮＮ２０５のトレーニングデータは、領域ベースの畳み込みニューラルネットワークアルゴリズム（Ｒ−ＣＮＮアルゴリズム）のトレーニングデータと同様の方法によって作成される。提案生成器１０によって生成された各提案バウンディングボックスには、グラウンドトゥルース物体バウンディングボックスとの重複に従って、１つの背景クラス及びＫ個の前景物体クラスの中のクラスラベルｃ＊が割り当てられる。背景クラスは、前景クラスに属しない任意の物体とすることができる。
【００４９】
各提案バウンディングボックスには、物体を基準としたスケール不変平行移動及び対数空間高さ／幅シフトを符号化したバウンディングボックスターゲットベクトルが与えられる。バウンディングボックスターゲットベクトルは、グラウンドトゥルース物体バウンディングボックスについて定義されず、したがって、グラウンドトゥルース物体バウンディングボックスは、ＲＮＮ２０５のトレーニングには用いられない。
【００５０】
第３のサブネットワーク３００は、全ての既定の前景クラスのソフトマックス分類スコア及びバウンディングボックスである最終出力を提供する。
【００５１】
第２のサブネットワーク２００のトレーニングの間、グラウンドトゥルースアノテーションが全ての既定の前景クラスに提供され、標準的なバックプロパゲーションスルータイム（ＢＰＴＴ）アルゴリズムがトレーニングに用いられる。この場合、ＢＰＴＴは、図２におけるグリンプス生成層（Ｇ層）をトレーニングするのに適用されない。その代わり、グリンプス生成層は、上述したポリシー勾配アルゴリズムの過程でトレーニングすることができる。
【００５２】
幾つかの実施形態では、環境の状態ｘ∈χは、図２におけるグリンプスモジュール（Ｇ層）に与えられる入力である。グリンプスモジュール２５０は、時間ステップｔにおける新たなグリンプス領域Ｇｔを示す。トレーニングの間、複数のエピソードが、Ｔ個のステップにおいて提案バウンディングボックスから実行される。全てのエピソードのそれぞれは、提案生成器１０によって提供される同一の提案バウンディングボックスから開始する。
【００５３】
ガウス雑音が、グリンプス生成層によって計算された現在のグリンプス領域Ｇに加えられる。各エピソードにおいて、第３のサブネットワーク３００は、最後の時間ステップにおいてクラス確率及び物体バウンディングボックスを出力する。これらの出力のそれぞれから、ニューラルネットワーク４００は、全強化報酬
【数６】
2019517701.tif 000008
を計算する。ここで、エピソードξの各報酬ｒｔは、以下のように表される。
【数７】
2019517701.tif 000009
ここで、Ｐ（ｃ＊）は、真のクラスｃ＊の予測確率であり、ＩｏＵは、ｃ＊の予測バウンディングボックスと、この予測バウンディングボックスに対応する対応グラウンドトゥルースバウンディングボックスとの和集合に対するこれらの両ボックス間の交差集合の割合である。直感的に、ガウス雑音を加えた後のグリンプスバウンディングボックスが、より高いクラス確率及びより大きなＩｏＵをもたらす場合、より高いリターンが、対応するエピソードに割り当てられる。ＲＥＩＮＦＯＲＣＥアルゴリズムは、生成されるグリンプスがより高いリターンをもたらすようにモデルを更新する。
【００５４】
以下の説明では、平均適合率の平均（ｍＡＰ：mean average precisions）が、物体検出の性能を評価するパラメーターとして用いられる。
【００５５】
幾つかの実施形態は、妥当な物体検出性能を得るためにトレーニングにおいて用いられるエピソードの数が８以下であるという認識に基づいている。
【００５６】
図９は、幾つかの実施形態によるミニバッチにおける１つのサンプルから生成されるエピソードの数の効果を示している。図９に見て取ることができるように、エピソードの数が多いほど、より良好な性能をもたらす傾向があるが、８つのエピソードの場合が妥当な性能結果を提供する。計算時間及び計算のコストは、エピソードの数とともに増加するので、エピソードの数は、ニューラルネットワークの所定の設計に応じて選ぶことができる。
【００５７】
幾つかの実施形態は、要素単位ＭＡＸ演算を有するスタックされたＲＮＮのアーキテクチャが、要素単位ＭＡＸ演算モジュールを有するＲＮＮのアーキテクチャ、要素単位ＭＡＸ演算モジュールを有しないスタックされたＲＮＮのアーキテクチャ及び要素単位ＭＡＸ演算モジュールを有しないＲＮＮのアーキテクチャと比較して、より良好な物体検出性能を提供するという認識に基づいている。
【００５８】
図１０は、幾つかの実施形態による４つの異なるアーキテクチャセットアップによって得られた性能結果を示している。この図に見られるように、要素単位ｍａｘを有するスタックされたＲＮＮは、要素単位ＭＡＸ演算モジュールを有するＲＮＮ、要素単位ＭＡＸ演算モジュールを有しないスタックされたＲＮＮ及び要素単位ＭＡＸ演算モジュールを有しないＲＮＮの他の３つのアーキテクチャよりも良好な検出性能を提供する。
【００５９】
図１１は、幾つかの実施形態による、連続報酬演算が離散報酬演算よりも優れていることを示す実証結果を示している。幾つかの実施形態は、連続報酬演算が離散報酬演算よりも良好な性能をもたらすという認識に基づいている。
【００６０】
各エピソードにおいて、強化報酬ｒｔが得られる。強化報酬の値を求める２つの報酬演算がある。１つは離散報酬演算と呼ばれ、この演算では、最高スコアリングクラスがグラウンドトゥルースラベルである場合には、報酬はｒｔ＝１となるように設定され、そうでない場合には、報酬はｒｔ＝０となるように設定される。この場合、０と１との間に中間値はない。
【００６１】
他方、もう１つの報酬演算は連続報酬演算と呼ばれ、この報酬演算では、報酬は０〜１の範囲を有する。この場合、最高スコアリングクラスがグラウンドトゥルースラベルであり、かつ、予測バウンディングボックスとグラウンドトゥルースバウンディングボックスとの間で得られたＩｏＵが所定のＩｏＵ閾値以上である場合には、報酬は式（３）に従って設定され、そうでない場合には、報酬はｒｔ＝０となるように設定される。
【００６２】
幾つかの実施形態は、背景サンプルを除外することがより良好な性能を与えるという認識に基づいている。
【００６３】
図１２は、ＲＥＩＮＦＯＲＣＥアルゴリズムに背景サンプルを含む場合と、ＲＥＩＮＦＯＲＣＥアルゴリズムから背景サンプルを除外した場合との比較を示している。図１２に見て取ることができるように、背景サンプルを除外した場合は、より良好な性能を与える。この場合、式（３）におけるＩＯＵは、背景サンプルに対して１になるように設定される（ＩＯＵ＝１）。なぜならば、背景サンプルのグラウンドトゥルースバウンディングボックスは存在しないからである。
【００６４】
図１３は、幾つかの実施形態による、４次元ベクトルを有するターゲットベクトルが、２次元ベクトルを有するグリンプスよりも良好な性能をもたらすことを示す結果を示している。
【００６５】
幾つかの実施形態は、ｘシフト、ｙシフト、ｘスケーリング及びｙスケーリングを含む４次元ベクトルを有するターゲットベクトルが、ｘシフト及びｙシフトを含む２次元ベクトルを有するグリンプスよりも良好な性能を提供するという認識に基づいている。
【００６６】
本発明の上記の実施形態は数多くの方法のいずれかにおいて実現することができる。例えば、それらの実施形態は、ハードウェア、ソフトウェア又はその組み合わせを用いて実現することができる。ソフトウェアにおいて実現されるとき、そのソフトウェアコードは、単一のコンピューター内に設けられるにしても、複数のコンピューター間に分散されるにしても、任意の適切なプロセッサ、又はプロセッサの集合体において実行することができる。そのようなプロセッサは集積回路として実現することができ、集積回路コンポーネント内に１つ以上のプロセッサが含まれる。しかしながら、プロセッサは、任意の適切な構成の回路を用いて実現することができる。
【００６７】
また、本発明の実施形態は方法として具現することができ、その一例が提供されてきた。その方法の一部として実行される動作は、任意の適切な方法において順序化することができる。したがって、例示的な実施形態において順次の動作として示される場合であっても、例示されるのとは異なる順序において動作が実行される実施形態を構成することもでき、異なる順序は、幾つかの動作を同時に実行することを含むことができる。
【００６８】
請求項要素を変更するために特許請求の範囲において「第１の」、「第２の」のような序数の用語を使用することは、それだけで、或る請求項要素が別の請求項要素よりも優先度が高いこと、優位であること、若しくは上位にあることを、又は方法の動作が実行される時間的な順序を暗示するのではなく、請求項要素を区別するために、或る特定の名称を有する１つの請求項要素を（序数用語を使用しなければ）同じ名称を有する別の要素から区別するラベルとして単に使用される。
【図１】
2019517701.tif 000012
【図２】
2019517701.tif 000013
【図３Ａ】
2019517701.tif 000014
【図３Ｂ】
2019517701.tif 000015
【図３Ｃ】
2019517701.tif 000016
【図４Ａ】
2019517701.tif 000017
【図４Ｂ】
2019517701.tif 000018
【図５】
2019517701.tif 000019
【図６】
2019517701.tif 000020
【図７】
2019517701.tif 000021
【図８】
2019517701.tif 000022
【図９】
2019517701.tif 000023
【図１０】
2019517701.tif 000024
【図１１】
2019517701.tif 000025
【図１２】
2019517701.tif 000026
【図１３】
2019517701.tif 000027
【手続補正書】
【提出日】平成30年12月7日(2018.12.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像内の物体を検出する方法であって、
第１のサブネットワークを用いて画像の第１の領域から第１の特徴を抽出することと、
第２のサブネットワークを用いて前記第１の特徴から第１の特徴ベクトルを抽出することと、
前記第２のサブネットワークを用いて前記第１の特徴ベクトルを処理することによって、前記画像の第２の領域を求めることであって、前記第１の領域のサイズは前記第２の領域のサイズと異なることと、
前記第２のサブネットワークを用いて、前記画像の前記第２の領域から第２の特徴ベクトルを抽出することと、
第３のサブネットワークを用いて、前記第１の特徴ベクトル及び前記第２の特徴ベクトルに基づいて前記物体を検出し、前記物体を取り囲むバウンディングボックス及び前記物体のクラスを生成することと、
を含み、
前記第１のサブネットワーク、前記第２のサブネットワーク、及び前記第３のサブネットワークは、ニューラルネットワークを形成し、
該方法のステップは、プロセッサによって実行される、
方法。
【請求項２】
前記第２のサブネットワークは、深層リカレントニューラルネットワークである、
請求項１に記載の方法。
【請求項３】
前記深層リカレントニューラルネットワークは、スタックされたリカレントニューラルネットワークである、
請求項２に記載の方法。
【請求項４】
前記スタックされたリカレントニューラルネットワークは、２つの隠れ層によって形成される、
請求項３に記載の方法。
【請求項５】
前記第３のサブネットワークは、前記第１の特徴ベクトル及び前記第２の特徴ベクトルを用いて要素単位ｍａｘ演算を実行する、
請求項１に記載の方法。
【請求項６】
前記検出された物体及び前記物体の前記クラスをディスプレイデバイス上にレンダリングすること、又は
前記検出された物体及び前記物体の前記クラスを、ネットワークを介して送信すること、
を更に含む、請求項１に記載の方法。
【請求項７】
前記第１のサブネットワークを用いて前記画像を処理して、前記画像の特徴マップの集合を生成することであって、前記第１のサブネットワークは深層畳み込みニューラルネットワーク（ＤＣＮＮ）であることと、
提案生成器を用いて、前記第１の領域を求めることと、
前記第１の領域に対応する前記特徴マップから前記第１の特徴ベクトルを求めることと、
前記第２の領域に対応する前記特徴マップと、前記第２のサブネットワークにおいて前記第１の特徴ベクトルを生成している間に計算された隠れ表現とから、前記第２の特徴ベクトルを求めることと、
を更に含む、請求項１に記載の方法。
【請求項８】
前記特徴マップは、前記ＤＣＮＮの最後の畳み込み層から計算される、
請求項７に記載の方法。
【請求項９】
前記第２のサブネットワークは、前記第１の特徴ベクトルを取り込み、前記第１の領域に関連した前記第２の領域のスケール不変平行移動及び対数空間高さ／幅シフトを符号化したターゲットベクトルを出力し、
前記対数空間高さ／幅シフトは、以下の式によって表され、
【数１】
2019517701.tif 000028
ここで、（ｇｘ；ｇｙ；ｇｗ；ｇｈ）は、前記第１の領域の位置ｘ及びｙを示す中心座標、幅ｗ並びに高さｈを表し、（ｐｘ；ｐｙ；ｐｗ；ｐｈ）は、前記第１の領域を表す、
請求項１に記載の方法。
【請求項１０】
前記第２の領域は、前記第１の領域及び前記ターゲットベクトルを用いることによって求められる、
請求項９に記載の方法。
【請求項１１】
前記第１の特徴ベクトルを抽出するステップ、又は前記第２の特徴ベクトルを抽出するステップは、
前記第１の領域又は前記第２の領域をサブウィンドウの既定のグリッドに分割することと、
各サブウィンドウ内の前記特徴の最大値を求めることと、
前記リカレントニューラルネットワークによって前記最大値を順次処理することと、
を含む、請求項２に記載の方法。
【請求項１２】
前記第２の領域のサイズは、前記第１の領域のサイズよりも大きい、
請求項１に記載の方法。
【請求項１３】
前記深層ニューラルネットワークは、強化学習アルゴリズムを用いてトレーニングされる、
請求項１に記載の方法。
【請求項１４】
強化報酬ｒｔが、以下の式によって得られ、
【数２】
2019517701.tif 000029
ここで、Ｐ（ｃ＊）は、真のクラスｃ＊の予測確率であり、ＩｏＵは、ｃ＊の予測バウンディングボックスＢｃ＊と、該予測バウンディングボックスＢｃ＊に対応する対応グラウンドトゥルースバウンディングボックスＢ＊ｃ＊との和集合に対するこれらの両ボックス間の交差集合の割合であり、
ｔは、計算の時間ステップであり、Ｔは、時間ステップの所定の数である、
請求項１３に記載の方法。
【請求項１５】
前記強化報酬が前記第３のサブネットワークによって求められるとき、或る数のエピソードが１つだけ加えられ、前記エピソードは、前記時間ステップのそれぞれにおける前記相互作用から得られた結果であり、前記エピソードの数は８以下になるように設定される、
請求項１４に記載の方法。
【請求項１６】
前記スタックされたリカレントニューラルネットワークは、要素単位ＭＡＸ演算を含む、
請求項３に記載の方法。
【請求項１７】
前記強化報酬は、連続報酬演算に基づいて求められる、
請求項１４に記載の方法。
【請求項１８】
前記第１のサブネットワークは、強化学習アルゴリズムによってトレーニングされる、
請求項１に記載の方法。
【請求項１９】
前記強化学習アルゴリズムは、前記画像内の背景サンプルをトレーニングすることを除外する、
請求項１８に記載の方法。
【請求項２０】
前記ターゲットベクトルは４次元ベクトルである、
請求項９に記載の方法。
【請求項２１】
前記スタックされたリカレントニューラルネットワークは、３つ以上の隠れ層によって形成される、
請求項２に記載の方法。
【請求項２２】
コンピューターに物体検出プロセスを実行させるプログラムを記憶する非一時的コンピューター可読記録媒体であって、
前記物体検出プロセスは、
第１のサブネットワークを用いて画像の第１の領域から第１の特徴を抽出することと、
第２のサブネットワークを用いて前記第１の特徴から第１の特徴ベクトルを抽出することと、
前記第２のサブネットワークを用いて前記第１の特徴ベクトルを処理することによって、前記画像の第２の領域を求めることであって、前記第１の領域のサイズは前記第２の領域のサイズと異なることと、
前記第２のサブネットワークを用いて、前記画像の前記第２の領域から第２の特徴ベクトルを抽出することと、
第３のサブネットワークを用いて、前記第１の特徴ベクトル及び前記第２の特徴ベクトルに基づいて前記物体を検出し、前記物体を取り囲むバウンディングボックス及び前記物体のクラスを生成することと、
を含み、
前記第１のサブネットワーク、前記第２のサブネットワーク、及び前記第３のサブネットワークは、ニューラルネットワークを形成する、
非一時的コンピューター可読記録媒体。
【請求項２３】
物体検出システムであって、
ヒューマンマシンインターフェースと、
ニューラルネットワークを含む記憶デバイスと、
メモリと、
該システムの外部にあるネットワークと接続可能なネットワークインターフェースコントローラーと、
撮像デバイスと接続可能な撮像インターフェースと、
前記ヒューマンマシンインターフェース、前記記憶デバイス、前記メモリ、前記ネットワークインターフェースコントローラー及び前記撮像インターフェースに接続するように構成されたプロセッサと、
を備え、
前記プロセッサは、前記記憶デバイスに記憶された前記ニューラルネットワークを用いて画像内の物体を検出する命令を実行し、
前記ニューラルネットワークは、
第１のサブネットワークを用いて前記画像の第１の領域から第１の特徴を抽出するステップと、
第２のサブネットワークを用いて前記第１の特徴から第１の特徴ベクトルを抽出するステップと、
前記第２のサブネットワークを用いて前記第１の特徴ベクトルを処理することによって、前記画像の第２の領域を求めるステップであって、前記第１の領域のサイズは前記第２の領域のサイズと異なる、ステップと、
前記第２のサブネットワークを用いて、前記画像の前記第２の領域から第２の特徴ベクトルを抽出するステップと、
第３のサブネットワークを用いて、前記第１の特徴ベクトル及び前記第２の特徴ベクトルに基づいて前記物体を検出し、前記物体を取り囲むバウンディングボックス及び前記物体のクラスを生成するステップと、
を実行し、
前記第１のサブネットワーク、前記第２のサブネットワーク、及び前記第３のサブネットワークは、ニューラルネットワークを形成する、
物体検出システム。
【国際調査報告】
2019517701.tif 000030
2019517701.tif 000031