(57)【要約】      （修正有）【課題】対象カテゴリのための特異的オブジェクト検出器を生成する方法を提供する。【解決手段】カテゴリのための事前トレーニングされた一般検出器を用いて、ビデオシーケンスのフレーム内でシードオブジェクトを識別するステップを含む。外観モデルを、シードオブジェクトが識別される他のフレームを使用して、シードオブジェクトの各々について反復して学習する。外観モデルは、部分画像を誤ってラベル付けしてしまう損失を計上する損失関数及び外観モデル間の距離を測定する正規化項を最適化するために、ともに学習される。部分画像を誤ってラベル付けしてしまう損失を、現在の外観モデルが損失に寄与する位置の外部の部分画像が考慮されるように、後続のフレーム内のシードオブジェクトの位置を予測する動きモデルを使用して求める。その後、特異的オブジェクト検出器は、最適化された外観モデルを、集約することによって生成する。【選択図】なし【特許請求の範囲】
【請求項１】
あるオブジェクトカテゴリにあるオブジェクトを識別するようにトレーニングされている一般検出モデルであって、前記一般検出モデルは、複数のシードオブジェクトを識別し、各シードオブジェクトはビデオシーケンスのフレーム内で識別される、一般検出モデルと、
トラッカ集合をインスタンス化する追跡構成要素であって、前記一般検出モデルによって検出される複数のシードオブジェクトの各々に対して１つのトラッカがあり、各トラッカは、動きモデルおよび検出モデルを備える、追跡構成要素と、
特異的オブジェクト検出器を学習する学習構成要素であって、前記学習は、複数回の反復にわたって、
前記複数のシードオブジェクトの各々に対して、
現在の動きモデルによって、前記シードオブジェクトが位置すると予測される、前記ビデオシーケンスの異なるフレーム内でオブジェクト領域を識別すること、
現在の外観モデルによって、前記異なるフレームの部分画像をポジティブまたはネガティブであるとしてラベル付けし、前記現在の外観モデルが前記オブジェクトカテゴリについてポジティブであるとしてラベル付けする前記オブジェクト領域の外部の部分画像をハードネガティブであるとして識別すること、
前記ハードネガティブを計上する損失項、および、前記現在の外観モデル間の距離の関数である正規化項を含む損失関数を最適化することによって、前記複数のシードオブジェクトのための前記現在の外観モデルをともに更新すること、ならびに
前記特異的オブジェクト検出器を生成するために、前記反復のうちの少なくとも１回の前記外観モデルを集約すること
を含む、学習構成要素と、
前記一般検出モデル、追跡構成要素、および学習構成要素を実装するプロセッサと
を備える、特異的オブジェクト検出器を生成するためのシステム。
【請求項２】
あるオブジェクトカテゴリにあるオブジェクトを識別するようにトレーニングされている一般検出モデルを用いて、複数のシードオブジェクトを識別するステップであって、各シードオブジェクトはビデオシーケンスのフレーム内で識別される、識別するステップと、
前記ビデオシーケンスの後続のフレームにおいて前記シードオブジェクトを追跡するために前記シードオブジェクトの各々に対するトラッカをインスタンス化するステップであって、各トラッカは、動きモデルおよび外観モデルを備え、前記動きモデルは、前記シードオブジェクトが位置すると予測される、後続のフレームの領域を識別するように構成され、前記外観モデルは、前記後続のフレームの部分画像セットの各々に、前記シードオブジェクトに関するポジティブおよびネガティブから選択されるラベルを割り当てるように構成され、前記外観モデルによってポジティブラベルを割り当てられ、前記識別された領域の外部にある前記部分画像セット内の前記部分画像としてハードネガティブが識別される、インスタンス化するステップと、
前記オブジェクトカテゴリのための特異的検出器を学習するステップであって、前記部分画像をサンプリングするサブステップと、現在の外観モデル間の距離の関数である正規化項、および、複数の前記外観モデルにわたって集約される損失項であって、前記損失は、前記識別されたハードネガティブに基づいて、前記部分画像セットが前記現在の外観モデルによって誤って分類されてしまうことによって招かれる、損失項を含む損失関数を最適化するために前記外観モデルを反復的に更新するサブステップと、前記更新された外観モデルを集約するサブステップとを含む、学習するステップと
を含む、特異的オブジェクト検出器を生成するための方法であって、
前記複数のシードオブジェクトを識別する前記ステップ、前記トラッカをインスタンス化するステップ、および、前記特異的検出器を学習するステップのうちの少なくとも１つは、コンピュータプロセッサによって実行される、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
例示的な実施形態は、オブジェクト検出に関し、特に、画像シーケンスに基づいてオブジェクト検出器を生成するための自動システムおよび方法と組み合わせて応用される。
【背景技術】
【０００２】
ビデオ内の歩行者および車両のような対象オブジェクトを検出するために、ビデオデータの自動分析のためのアルゴリズムが開発されている。そのような方法の用途は、オブジェクトの長期的追跡（Ｋ．  Ｆｒａｇｋｉａｄａｋｉ他「Ｔｗｏ−ｇｒａｎｕｌａｒｉｔｙ  ｔｒａｃｋｉｎｇ：  ｍｅｄｉａｔｉｎｇ  ｔｒａｊｅｃｔｏｒｙ  ａｎｄ  ｄｅｔｅｃｔｉｏｎ  ｇｒａｐｈｓ  ｆｏｒ  ｔｒａｃｋｉｎｇ  ｕｎｄｅｒ  ｏｃｃｌｕｓｉｏｎｓ」ＥＣＣＶ  （２０１２））、イベント検索（Ｒ．  Ｆｅｒｉｓ他「Ｌａｒｇｅ−ｓｃａｌｅ  ｖｅｈｉｃｌｅ  ｄｅｔｅｃｔｉｏｎ，  ｉｎｄｅｘｉｎｇ，  ａｎｄ  ｓｅａｒｃｈ  ｉｎ  ｕｒｂａｎ  ｓｕｒｖｅｉｌｌａｎｃｅ  ｖｉｄｅｏｓ」ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  ＭＭ，  （２０１２））、および人間挙動の理解（Ｓ．  Ｐｅｌｌｅｇｒｉｎｉ他「Ｙｏｕ’ｌｌ  ｎｅｖｅｒ  ｗａｌｋ  ａｌｏｎｅ：  Ｍｏｄｅｌｉｎｇ  ｓｏｃｉａｌ  ｂｅｈａｖｉｏｒ  ｆｏｒ  ｍｕｌｔｉ−ｔａｒｇｅｔ  ｔｒａｃｋｉｎｇ」ＣＶＰＲ  （２００９））を含む。オブジェクト検出に対する１つのアプローチにおいて、「オブジェクト対背景」分類器が、画像内のすべての可能性のある位置にわたってトラバースされるスライディングウィンドウに適用される（Ｎ．  Ｄａｌａｌ他「Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ  ｆｏｒ  ｈｕｍａｎ  ｄｅｔｅｃｔｉｏｎ」ＣＶＰＲ  （２００５）、Ｐ．  Ｆ．  Ｆｅｌｚｅｎｓｚｗａｌｂ他「Ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ｗｉｔｈ  ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ  ｔｒａｉｎｅｄ  ｐａｒｔ−ｂａｓｅｄ  ｍｏｄｅｌｓ」ＩＥＥＥ  ＴＰＡＭＩ  （２０１０）、以下「Ｆｅｌｚｅｎｓｚｗａｌｂ  ２０１０」参照）。良好な精度および低い誤検出率を達成するために、そのような分類器は、対象カテゴリを定義する、手動で注釈付けされた画像を使用してトレーニングされる。カテゴリ内の多様性を計上するために、多くの例が必要とされ得る。したがって、オブジェクト検出器は一般的に、特異的な画像ソースからの、大きく、高品質で、監督されたトレーニングデータを利用する。たとえば、ＰＡＳＣＡＬ  ＶＯＣチャレンジまたはＩｍａｇｅＮｅｔなどからの選択された視覚オブジェクトクラスにおけるラベル付けされた画像が利用され得る。しかしながら、この形態の教師あり学習は費用がかかり、トレーニング画像が対象の適用領域を表さない場合があるため、依然として新たなデータソースに一般化するオブジェクト検出器を提供することはできない（Ａ．  ＴｏｒｒａｌｂａおよびＡ．  Ａ．  Ｅｆｒｏｓ「Ｕｎｂｉａｓｅｄ  ｌｏｏｋ  ａｔ  ｄａｔａｓｅｔ  ｂｉａｓ」ＣＶＰＲ  （２０１１）参照）。
【０００３】
一例として、ビデオカメラは、車または歩行者のような、同じカテゴリにあるオブジェクトを識別するためにビデオ画像をキャプチャするために、複数の異なる位置に位置付けられ得る。たとえば、照明、建造物のタイプなどに関して、それらの位置の各々における条件は異なる場合がある。これらの差に対処するために、対象オブジェクトのための特異的検出モデルがビデオカメラごとに生成され得る。これは、データの定期的な収集およびラベル付けを必要とすることになり、多数のカメラに法外な費用がかかる場合がある。代替案として、一般検出器が学習され、すべてのカメラに採用され得る。しかしながら、この手法によって、性能が準最適なものになる場合があり、最良にランク付けされる検出がわずかでしかなくなることで、たとえば、非常に低い再現率で高い適合率を呈する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
大量の特異的なトレーニングデータを必要とすることなく、種々の条件に良好に適合される対象オブジェクトのための検出モデルを生成するための信頼性のある方法が依然として必要とされている。
【課題を解決するための手段】
【０００５】
例示的な実施形態の一態様によれば、特異的オブジェクト検出器を生成するための方法は、オブジェクトカテゴリにあるオブジェクトを識別するようにトレーニングされている一般検出モデルによって、複数のシードオブジェクトを識別することを含み、各シードオブジェクトはビデオシーケンスのフレーム内で識別される。複数回の反復について、および、現在の動きモデルを有する複数のシードオブジェクトの各々について、本方法は、シードオブジェクトが位置すると予測されるビデオシーケンスの複数のフレーム内のオブジェクト領域を識別するステップと、現在の外観モデルによって、異なるフレームの部分画像をポジティブまたはネガティブとしてラベル付けするステップと、現在の外観モデルがそのオブジェクトカテゴリについてポジティブとしてラベル付けするオブジェクト領域の外部の部分画像をハードネガティブとして識別するステップとを含む。本方法は、現在の外観モデル間の距離の関数である正規化項を含む損失関数を最適化するために、複数のシードオブジェクトのための現在の外観モデルをともに更新するステップをさらに含む。特異的オブジェクト検出器は、反復のうちの少なくとも１回の外観モデルを集約することによって形成される。
【０００６】
本方法のステップのうちの１つまたは複数は、コンピュータプロセッサによって実行されてもよい。
【０００７】
例示的な実施形態の別の態様によれば、特異的オブジェクト検出器を生成するためのシステムは、オブジェクトカテゴリにあるオブジェクトを識別するようにトレーニングされている一般検出モデルを含み、一般検出モデルは、複数のシードオブジェクトを識別し、各シードオブジェクトはビデオシーケンスのフレーム内で識別される。追跡構成要素が、トラッカ集合をインスタンス化し、一般検出モデルによって検出される複数のシードオブジェクトの各々に対して１つのトラッカがあり、各トラッカは、動きモデルおよび検出モデルを備える。学習構成要素が、特異的オブジェクト検出器を学習する。学習は、複数回の反復について、および、現在の動きモデルを有する複数のシードオブジェクトの各々について、ビデオシーケンスの複数のフレーム内の、シードオブジェクトが位置すると予測されるオブジェクト領域を識別すること、現在の外観モデルによって、異なるフレームの部分画像をポジティブまたはネガティブとしてラベル付けすること、ならびに、現在の外観モデルがそのオブジェクトカテゴリについてポジティブとしてラベル付けするオブジェクト領域の外部の部分画像をハードネガティブとして識別することを含む。学習は、ハードネガティブを考慮に入れる損失項、および、現在の外観モデル間の距離の関数である正規化項を含む損失関数を最適化することによって、複数のシードオブジェクトのための現在の外観モデルを更新することを含む。学習は、特異的オブジェクト検出器を生成するために、反復のうちの少なくとも１回の外観モデルを集約するステップをさらに含む。プロセッサが、一般検出モデル、追跡構成要素、および学習構成要素を実装する。
【０００８】
例示的な実施形態の別の態様によれば、特異的オブジェクト検出器を生成するための方法は、オブジェクトカテゴリにあるオブジェクトを識別するようにトレーニングされている一般検出モデルによって、複数のシードオブジェクトを識別するステップを含み、各シードオブジェクトはビデオシーケンスのフレーム内で識別される。ビデオシーケンスの後続のフレームにおいてシードオブジェクトを追跡するための、シードオブジェクトの各々に対するトラッカがインスタンス化される。各トラッカは、動きモデルおよび外観モデルを含む。動きモデルは、後続のフレームの、シードオブジェクトが位置すると期待される領域を識別するように構成される。外観モデルは、シードオブジェクトに関するポジティブおよびネガティブから選択されるラベルを後続のフレームの部分画像セットの各々に割り当てるように構成され、部分画像セットのうち、外観モデルによってポジティブラベルを割り当てられ、かつ、識別される領域の外部にある部分画像としてハードネガティブが識別される。そのオブジェクトカテゴリのための特異的検出器が学習され、これは、部分画像をサンプリングし、現在の外観モデル間の距離の関数である正規化項、および、複数の外観モデルにわたって集約される損失項であって、当該損失は、一部には、識別されたハードネガティブに基づいて、部分画像セットが現在の外観モデルによって誤って分類されてしまうことによって招かれる、損失項を含む損失関数を最適化するために外観モデルを反復的に更新すること、ならびに、更新された外観モデルを集約することによって外観モデルをともに学習することを含む。
【０００９】
本方法のステップのうちの１つまたは複数は、コンピュータプロセッサによって実行されてもよい。
【図面の簡単な説明】
【００１０】
【図１】図１は、例示的なシステムおよび方法の概観の図である。
【図２】図２は、例示的な実施形態の一態様による適合されたカテゴリレベルオブジェクト検出器を生成するためのシステムの機能ブロック図である。
【図３】図３は、例示的な実施形態の別の態様によるカテゴリレベルオブジェクト検出器を生成するための方法を示す流れ図である。
【図４】図４は、例示的な方法の適用を示す写真画像を示す図である。
【発明を実施するための形態】
【００１１】
例示的な実施形態は、マルチタスク学習によってカテゴリレベルオブジェクト検出モデルを生成するためのシステムおよび方法を提供する。方法は、車両、人間、または他の動物もしくは鳥のような、動いているオブジェクトのための、および／または、カメラが動いている場合の、すなわち、カメラと検出されているオブジェクトとの間に相対運動がある場合の検出器を生成するのに特に適している。しかしながら、本方法は、オブジェクトが静止している場合にも適している。
【００１２】
一実施形態において、カメラセットの各々について漸進的にカテゴリレベル検出モデルを構築するために、教師なし転移学習が採用される。各検出モデルは、そのカメラによって生成されるビデオストリームからトレーニングデータを自動的に生成することによって、それぞれのカメラおよびその環境に自動的に適合される。これによって、一般検出モデルのオンライン適合が低コストで達成されることが可能になる。したがって、学習された外観ベースのカテゴリレベル検出モデルは、ビデオ画像を手動で注釈付けする必要なしに、新たなビデオストリームに特異的なものとなる。
【００１３】
本方法は、効率的なオンライン様式で特異的検出モデルをトレーニングするために、ビデオストリームから、性能にとって有益である、ポジティブおよびネガティブな例、特にハードネガティブの信頼性のあるセットを自動的に引き出すことを可能にする。
【００１４】
システムおよび方法の簡略化された概観を提供する図１を参照すると、本方法は、特定位置にあるビデオカメラキャプチャデバイス２２によってキャプチャされるビデオのような画像１４、１６、１８、２０などのビデオシーケンス１２に特異的である、外観ベースのカテゴリレベルオブジェクト検出器１０の教師なしオンライン学習を含む。図２により詳細に示す例示的なシステム１への入力は、本明細書においてはターゲットビデオと称する、ラベル付けされていない以前は観測されていなかったビデオシーケンス１２である。各画像１４、１６、１８、２０は、シーケンスにおける前の画像および次の画像から時間的に等間隔に離間され得るそれぞれの時刻ｔ１、ｔ２、ｔ３、ｔ４などにおいてキャプチャされる。たとえば、画像は、約５秒以下、または１秒以下、または０．１秒以下だけ時間的に離間される。画像間の間隔は、一部には、オブジェクトがフレームに対して動く予測速度に応じて決まってもよく、より遅く動くオブジェクトについては時間はより長くなる可能性がある。たとえば、オブジェクトが人間または車両である場合、画像は、毎秒２５フレームの速度でキャプチャされ、したがって、約４０ミリ秒だけ時間的に離間されてもよい。
【００１５】
システム１は、対象カテゴリ、ここでは車に特異的である一般オブジェクト検出モデル（ＧＤ）２４を採用する。一般オブジェクト検出モデル（ＧＤ）２４は、対象カテゴリにおけるオブジェクトの画像、一例においては車の画像を含む固定のラベル付けされた汎用オブジェクトデータセットに対して事前にトレーニングされている。トレーニング画像は、静止画像、または、１つもしくは複数の異なる画像キャプチャデバイスによってキャプチャされるビデオシーケンスから導出される画像であってもよい。一般的に、トレーニング画像はキャプチャデバイス２２によってキャプチャされる画像を含まないが、いくつかの実施形態においては、画像のサブセットはキャプチャデバイス２２によってキャプチャされている場合があることが意図される。トレーニング画像は、時刻ｔ１より前のある時刻においてキャプチャされる。トレーニングされた一般オブジェクト検出モデル（ＧＤ）２４は、画像のビデオシーケンス１２内のオブジェクト２６、２８のうちの少なくともいくつかを、所定のカテゴリのものであるとして識別することが可能であると期待される。任意の適切な一般オブジェクト検出モデル（ＧＤ）２４が本明細書において使用され得、単純にブラックボックスとして考えられ得る。
【００１６】
そのような「シード」検出２６、２８などの候補セットを高適合率かつ低再現率で識別するために、一般オブジェクト検出モデル（ＧＤ）２４がターゲットビデオシーケンス１２に適用される。たとえば、一般オブジェクト検出モデル（ＧＤ）２４は、候補検出のより大きいセットを（検出器の内部設計に応じて決まる検出確度スコアに基づいて）ランク付けしてもよい。最も可能性のある検出のみが選択されることに起因して、シード検出は、対象カテゴリによって適切にラベル付けされる可能性が高い。
【００１７】
追跡構成要素３０（図２）が、特異的に検出された各オブジェクトインスタンス２６、２８に対するそれぞれの外観ベースのトラッカ３２、３４を含むトラッカ集合３１を初期化する。例示的な方法は、ポジティブ−ネガティブ（Ｐ−Ｎ）学習に基づくトラッキングバイディテクションアルゴリズムを採用するが（たとえば、Ｚ．  Ｋａｌａｌ他「Ｔｒａｃｋｉｎｇ−ｌｅａｒｎｉｎｇ−ｄｅｔｅｃｔｉｏｎ」ＩＥＥＥ  ＴＰＡＭＩ  ３４（７）：１４０９−１４２２  （２０１２），  “Ｋａｌａｌ  ２０１２”参照）、マルチタスク学習を使用してこのフレームワークを複数のターゲットの追跡に拡張する。たとえば、図１に示すように、所与のシード検出２６のためのバウンディングボックス３５を所与として、トラッカ３２は候補の拘束されるオブジェクト領域３６、３８を予測し、ビデオシーケンス１２内の少なくとも１つの後続の画像において、オブジェクトインスタンス２６がその領域内に位置すると予測される。予測されるオブジェクト領域（複数の場合もあり）３６、３８などが記憶される。
【００１８】
各トラッカは、各シード２６、２８について初期化される、ｗｉで示されている検出モデル（パラメータのセット）を含むそれぞれのインスタンスレベル外観検出器４０、４１と、候補オブジェクト領域３６、３８を予測する、ｍｉで示されているそれぞれの動きモデル４２、４３とを含む。学習構成要素４４は、正規化マルチタスク学習フレームワークを有する各トラッカによって使用される外観検出器４０、４１のための外観モデルパラメータｗｉをともに学習させ（マルチタスク学習の説明については、Ｔ．  ＥｖｇｅｎｉｏｕおよびＭ．  Ｐｏｎｔｉｌ「Ｒｅｇｕｌａｒｉｚｅｄ  ｍｕｌｔｉ−ｔａｓｋ  ｌｅａｒｎｉｎｇ，”  ＳＩＧＫＤＤ  （２００４）、以下「Ｅｖｇｅｎｉｏｕ  ２００４」参照）。この結果として、本明細書において、以下インスタンストラッカ集合（ＥＩＴ）と称するものがもたらされる。結合学習において、各外観モデルｗｉは、マルチタスク正規化を通じて他の外観モデルｗｊと特徴を共有するように制約されながら、特異的なオブジェクト２６、２８およびビデオにわたって観測されるその変化に適合するようにオンラインで更新される。この学習された個々の外観モデルは、組み合わされて、特異的検出器（ＳＤ）１０のためのカテゴリレベル検出モデル（パラメータのセット）ｗＣになる。その後、特異的検出器１０は、対象オブジェクトのすべてのインスタンスを検出する、すなわち、数個のみのシードオブジェクトを超えて一般化するために、ビデオシーケンス１２全体（またはビデオストリームの後続のフレーム）に対して作動することができる。
【００１９】
特定的検出器１０のためのモデルを学習するためにトラッカ集合３１を使用する利点は、明白なポジティブおよびハードネガティブトレーニング例をＰ−Ｎ学習フレームワークの下で原則に基づいた方法で取得することができることである。所与のインスタンス検出器４０のための各ポジティブトレーニング例４８、４９は、それぞれのトラッカ３２によって予測されるそれぞれの候補領域３６、３８内にあるピクセルを含むように制約され、一方で、ハードネガティブトレーニング例５０、５１は、検出器４０が現在の外観モデルに基づいて誤ってポジティブであるとして識別するが、それぞれの画像について候補領域３６、３８の中にはないものである。したがって、たとえば、ポジティブ例４９は候補領域３６の中にあり、一方で、ハードネガティブ例５０、５１（ここでは木）は各々、その画像についてそれぞれの候補領域３８の外部にある。一例として、特定オブジェクト（たとえば、車Ａ）を追跡するとき、ポジティブおよびハードネガティブがインスタンスレベルにおいて検出される。これは、ポジティブトレーニング例２６、４８が、車Ａと強く重なる画像部分領域であり、一方でネガティブはすべて、画像の特定部分と重ならない（または最小限にしか重ならない）ウィンドウである（車Ｂのような他の車を含む可能性はある）。それゆえ、ネガティブ（およびハードネガティブ）は、特定対象オブジェクトの位置の予測から明白に取得され得、一方でポジティブは、後続のフレーム内のオブジェクトに追随することによって取得され得る。対照的に、ほとんどの関連する手法はカテゴリレベルで機能し、画像のいずれの部分が検出器にとってポジティブもしくはネガティブであると考えられるかを知るために、すべての対象オブジェクトがレベル付されなければならない場合に完全に注釈付けされたデータを必要とするか、または、発見的学習を利用してハードネガティブと考えられていない間にポジティブを選択するかのいずれかである。たとえば、Ｘ．  Ｗａｎｇ他「Ｄｅｔｅｃｔｉｏｎ  ｂｙ  ｄｅｔｅｃｔｉｏｎｓ：  Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ  ｄｅｔｅｃｔｏｒ  ａｄａｐｔａｔｉｏｎ  ｆｏｒ  ａ  ｖｉｄｅｏ」ＣＶＰＲ  （２０１２）、以下「Ｗａｎｇ  ２０１２」、Ｋ．  Ｔａｎｇ他「Ｓｈｉｆｔｉｎｇ  ｗｅｉｇｈｔｓ：  Ａｄａｐｔｉｎｇ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｏｒｓ  ｆｒｏｍ  ｉｍａｇｅ  ｔｏ  ｖｉｄｅｏ」ＮＩＰＳ  （２０１２）、Ｍ．  Ｗａｎｇ他「Ｔｒａｎｓｆｅｒｒｉｎｇ  ａ  ｇｅｎｅｒｉｃ  ｐｅｄｅｓｔｒｉａｎ  ｄｅｔｅｃｔｏｒ  ｔｏｗａｒｄｓ  ｓｐｅｃｉｆｉｃ  ｓｃｅｎｅｓ」ＣＶＰＲ  （２０１２）、Ｋ．  Ｏｋｕｍａ他「Ｓｅｌｆ−ｌｅａｒｎｉｎｇ  ｆｏｒ  ｐｌａｙｅｒ  ｌｏｃａｌｉｚａｔｉｏｎ  ｉｎ  ｓｐｏｒｔｓ  ｖｉｄｅｏ」Ｔｅｃｈｎｉｃａｌ  ｒｅｐｏｒｔ  ａｒＸｉｖ：１３０７．７１９８、以下Ｏｋｕｍａを参照されたい。
【００２０】
しかしながら、目標である対象カテゴリ（車）全体の有用なモデルｗＣを学習するには、個々のオブジェクトインスタンス（たとえば、車Ａおよび車Ｂ）の追跡では十分でない。諒解されるように、教師なし設定にある特異的検出器１０のためのカテゴリレベルのモデルｗＣを学習することは、カテゴリの明らかな定義がないため困難である。例示的な実施形態において、下記に詳述する外観モデルｗｉ（パラメータ）は、平均正規化マルチタスク追跡（ＭＲ−ＭＴＴ）定式化を使用してともに学習される。これによって、各特定オブジェクトの外観モデルが、カテゴリの共有潜在変数モデルによってともに連結されることが可能になる。したがって、アルゴリズムによって学習される潜在変数カテゴリレベルモデルｗＣは、インスタンスレベル外観モデルｗｉの平均に対応してもよいが、メディアンの識別のような他の集約方法も企図される。それゆえ、インスタンスレベル外観モデルの平均または他の集約単位である特異的オブジェクト検出器モデルｗＣは、インスタンスレベルモデルｗｉによってともに学習され、トラッカによって使用される各インスタンスレベルモデルｗｉは他の関連トラッカと特徴を共有することができるため、これによって各インスタンスの追跡も改善される。
【００２１】
マルチタスク学習を使用したビデオ特異的オブジェクト検出器１０の教師なし学習のためのこの手法は、以下を含む、既存の方法にまさるいくつかの利点をもたらす。
１．上述のような、トレーニング例の原則に基づいた選択（ポジティブおよびハードネガティブ）。
２．一般的に無視される、トレーニング中の一時的な相関関係の利用（たとえば、Ｗａｎｇ  ２０１２による）。
３．配備および連続的な適合が容易であること。各カメラは、カテゴリレベル特異的検出器１０を学習するために一般オブジェクト検出モデル（ＧＤ）２４および本発明のオンライントラッキングバイディテクションアルゴリズムさえあればよい。他のドメイン適合手法において、ソーストレーニングデータへの一定のアクセスが、検出器を学習するのに使用される。実際には、これはカメラごとの膨大な量のデータを記憶すること、または、遠隔サーバとの大規模なネットワーク通信を必要とするため、コストがかかる（たとえば、Ｋ．  Ｔａｎｇ他「Ｓｈｉｆｔｉｎｇ  ｗｅｉｇｈｔｓ：  Ａｄａｐｔｉｎｇ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｏｒｓ  ｆｒｏｍ  ｉｍａｇｅ  ｔｏ  ｖｉｄｅｏ」ＮＩＰＳ  （２０１２）、Ｍ．  Ｗａｎｇ他「Ｔｒａｎｓｆｅｒｒｉｎｇ  ａ  ｇｅｎｅｒｉｃ  ｐｅｄｅｓｔｒｉａｎ  ｄｅｔｅｃｔｏｒ  ｔｏｗａｒｄｓ  ｓｐｅｃｉｆｉｃ  ｓｃｅｎｅｓ」ＣＶＰＲ，  （２０１２）、以下「Ｍ．  Ｗａｎｇ  ２０１２」参照）。
４．本方法は（Ｍ．  Ｗａｎｇ  ２０１２およびＯｋｕｍａとは異なり）動き検出および背景差分に依拠しないため、シーン含有静止オブジェクト（たとえば、駐車されている車、静止している歩行者）および（たとえば、車両搭載カメラの）可動性カメラ設定に適用可能である。
【００２２】
図２を参照すると、例示的なシステム１は、例示的な方法を実行するための命令６４を記憶するメモリ６２、および、命令を実行するためにメモリと通信しているプロセッサ６６を有する、図示されているコンピュータ６０のような、１つまたは複数のコンピューティングデバイスによってホストされてもよい。１つまたは複数のネットワークインターフェースデバイス６８、７０が、外部デバイスとの通信を可能にする。ハードウェア構成要素６２、６６、６８、７０は、データ／制御バス７２によって通信可能に接続される。コンピュータ６０は、画像キャプチャデバイス２２に組み込まれてもよい。別の実施形態において、２つ以上のキャプチャデバイス２２、７４が、たとえば、ローカルエリアネットワークまたはインターネットのような広域ネットワークのような、有線または無線リンクを介して同じシステム１を利用してもよい。
【００２３】
命令６４は、追跡構成要素３０および学習構成要素４４を含み、学習されたオブジェクト検出器１０を適用する役割を果たすオブジェクト検出構成要素７６をさらに含んでもよい。特異的検出器１０が学習されると、これは、オブジェクト検出器７６によって、対象カテゴリ内のさらなるオブジェクトを検出するために、キャプチャデバイス２２からのビデオデータに適用することができる。システムによって出力される情報８０は、検出器１０、検出モデルｗＣ、および、検出モデルをビデオデータに適用することによって生成される情報のうちの１つまたは複数を含んでもよい。
【００２４】
コンピュータシステム１は、デスクトップ、ラップトップ、パームトップコンピュータのようなＰＣ、携帯情報端末（ＰＤＡ）、サーバコンピュータ、携帯電話、タブレットコンピュータ、ポケットベル、それらの組み合わせ、または、例示的な方法を実行するための命令を実行することが可能な他のコンピューティングデバイスのような、１つまたは複数のコンピューティングデバイスを含んでもよい。
【００２５】
メモリ６２は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスクもしくはテープ、光ディスク、フラッシュメモリ、またはホログラフィックメモリのような、任意のタイプの持続性コンピュータ可読媒体を表してもよい。一実施形態において、メモリ６２は、ランダムアクセスメモリと読み出し専用メモリとの組み合わせを含む。いくつかの実施形態において、プロセッサ６６およびメモリ６２は単一のチップに組み合わされてもよい。メモリ６２は、例示的な方法を実行するための命令、および、処理されるデータ１０、４０、４１、４２、４３などを記憶する。
【００２６】
ネットワークインターフェース６８、７０は、コンピュータが、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）もしくはインターネットのようなコンピュータネットワークを介して他のデバイスと通信することを可能にし、変調復調器（ＭＯＤＥＭ）、ルータ、ケーブル、および／またはＥｔｈｅｒｎｅｔ（登録商標）ポートを含んでもよい。
【００２７】
デジタルプロセッサ６６は、シングルコアプロセッサ、デュアルコアプロセッサ（またはより一般的にマルチコアプロセッサによって）、デジタルプロセッサおよび協働する数値演算コプロセッサ、デジタルコントローラなどによってなどで様々に具現化されてもよい。デジタルプロセッサ６６は、コンピュータ６０の動作の制御に加えて、メモリ６２に記憶されている、図１および図３に概説した方法の実行のための命令を実行する。
【００２８】
用語「ソフトウェア」は本明細書において使用される場合、コンピュータまたは他のデジタルシステムによって、当該コンピュータまたは他のデジタルシステムを、ソフトウェアの意図であるタスクを実行するように構成するように実行可能な命令の任意の集合またはセットを包含するように意図される。用語「ソフトウェア」は本明細書において使用される場合、ＲＡＭ、ハードディスク、光ディスクなどのような記憶媒体に記憶されるそのような命令を包含するように意図され、また、ＲＯＭなどに記憶されているソフトウェアであるいわゆる「ファームウェア」を包含するようにも意図される。そのようなソフトウェアは、様々な方法で編成されてもよく、ライブラリ、遠隔サーバなどに記憶されているインターネットベースのプログラム、ソースコード、解釈コード、オブジェクトコード、直接実行可能なコードなどとして編成されるソフトウェア構成要素を含んでもよい。ソフトウェアは、特定の機能を実行するために、システムレベルコードまたはサーバもしくは他の位置に存在する他のソフトウェアへのコールを起動することができることが企図される。
【００２９】
諒解されるように、図１は、コンピュータシステム６０に組み込まれる構成要素の一部のみの高レベル機能ブロック図である。プログラム可能コンピュータの構成および動作は周知であるため、それらはこれ以上説明しない。
【００３０】
ここで図３を参照すると、オブジェクト検出のための例示的な方法が示されている。方法は、Ｓ１００において開始する。
【００３１】
Ｓ１０２において、一般オブジェクト検出モデル（ＧＤ）２４が対象カテゴリに対して提供される。
【００３２】
Ｓ１０４において、画像キャプチャデバイス２２からビデオシーケンス１２が受信される。
【００３３】
Ｓ１０６において、シードオブジェクト２６、２８を識別するために、一般オブジェクト検出モデル（ＧＤ）２４がビデオシーケンスまたはシーケンスの部分に適用される。特に、固定高さおよび幅のウィンドウが、対象オブジェクトに対する最も可能性のあるウィンドウを識別するために、画像の少なくとも一部にわたって動かされる。
【００３４】
Ｓ１０８において、シードオブジェクトごとに、追跡構成要素３０によってトラッカがインスタンス化される。特に、Ｓ１１０において、初期外観検出器４０、４１ｗｉがシードオブジェクトごとにインスタンス化され、Ｓ１１２において、それぞれの初期動きモデル４２、４３ｍｉがインスタンス化される。動きモデル４２は、後続画像のシーケンスのうちの少なくとも１つについてそれぞれのシードオブジェクト２６の位置を予測することによって、オブジェクト領域３６、３８を識別するのに使用される。
【００３５】
Ｓ１１４において、ポジティブサンプルをハードネガティブから区別するために各シードオブジェクトの予測される位置（オブジェクト領域）を使用して、現在の（たとえば、初期）外観検出器を（学習構成要素４４によって）後続画像のうちの１つまたは複数に適用することによって、ポジティブおよびハードネガティブサンプルが抽出され、したがって、ネガティブサンプルは、そうでなければ現在の外観モデルがポジティブであるとしてラベル付けしていたことになる、オブジェクト領域の外部の部分画像を含む。
【００３６】
Ｓ１１６において、ポジティブおよびネガティブサンプルが、たとえば、勾配降下法のような反復学習法を使用して、学習構成要素４４による結合学習を通じて外観検出器４０、４１のパラメータｗｉを更新するのに使用される。
【００３７】
Ｓ１１８において、特異的オブジェクト検出器モデルｗＣが、外観モデルｗｉのセットに基づいてそのカテゴリについて学習され、モデルｗＣを組み込んだ特異的オブジェクト検出器１０が形成される。
【００３８】
Ｓ１２０において、学習された特異的オブジェクト検出器１０が同じ画像キャプチャデバイス２２および／または位置からの新たなビデオに適用され得る。
【００３９】
Ｓ１２２において、新たな特異的オブジェクト検出器１０、そのモデルｗＣ、および／またはビデオ内で検出されたオブジェクトに関する情報のような情報８０が、システム１から出力される。たとえば、例示的な一実施形態において、識別された各車両が同じまたは新たなビデオストリームにおいてラベル付けされ得る。
【００４０】
方法は、Ｓ１２４において終了する。
【００４１】
図３に示す方法は、コンピュータ上で実行されてもよいコンピュータプログラム製品内に実装されてもよい。コンピュータプログラム製品は、ディスク、ハードドライブなどのような、制御プログラムが記録（記憶）されている持続性コンピュータ可読記録媒体を含んでもよい。一般的な形態の持続性コンピュータ可読媒体は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ、または任意の他の光媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、または他のメモリチップもしくはカートリッジ、あるいはコンピュータが読み出し使用することができる任意の他の持続性媒体を含む。コンピュータプログラム製品は、コンピュータ６０と一体的であってもよく（たとえば、ＲＡＭの内部ハードドライブ）、または、別個であってもよく（たとえば、コンピュータ６０と動作可能に接続される外部ハードドライブ）、または、別個であり、（たとえば、低価格独立ディスク冗長アレイ（ＲＡＩＤ）、または、デジタルネットワークを介してコンピュータ６０によって間接的にアクセスされる他のネットワークサーバストレージとして）ローカルエリアネットワーク（ＬＡＮ）もしくはインターネットのようなデジタルデータネットワークを介してアクセスされてもよい。
【００４２】
代替的に、本方法は、無線波および赤外線データ通信などの間に生成されるもののような、音響波または光波のような伝送媒体を使用してデータ信号として制御プログラムが具現化される伝送可能な搬送波のような、一時的媒体において実施されてもよい。
【００４３】
例示的な方法は、１つまたは複数の汎用コンピュータ、専用コンピュータ（複数の場合もあり）、プログラムされているマイクロプロセッサもしくはマイクロコントローラおよび周辺集積回路要素、ＡＳＩＣもしくは他の集積回路、デジタル信号プロセッサ、個別素子回路のような配線電子装置もしくは論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡのようなプログラム可能論理デバイス、グラフィックカードＣＰＵ（ＧＰＵ）、またはＰＡＬなどで実施されてもよい。一般に、図３に示す流れ図を実施することが可能である有限状態機械を実装することが可能な任意のデバイスは、オブジェクト検出のための方法を実施するのに使用することができる。諒解されるように、本方法のステップはすべてコンピュータ実施されてもよいが、いくつかの実施形態において、これらステップの１つまたは複数は、少なくとも部分的に手動で実行されてもよい。
【００４４】
諒解されるように、本方法のステップは、すべて図示されている順序において進行する必要はなく、より少ない、より多い、または異なるステップが実行されてもよい。
【００４５】
図４は、ショッピングモールを通って歩いている人々を撮影したビデオのフレームシーケンス上で例示的な方法を示している。方法は、観測されていないビデオシーケンスによる（１）において開始する。一般検出器による（２）において、シードオブジェクト（人々）２６、２８が、フレームのうちの１つまたは複数の中のスコアが高いウィンドウとして識別される。それぞれの動きモデルを使用した（３）において、人々が見つけられると期待されるウィンドウを含む領域が、各シードについて識別される。２つのシードに対する外観モデルが初期化される。特異的検出器が一連の反復にわたって学習され、（４）において、より多くの人々を識別するためにビデオストリームの同じまたは新たな部分に適用される。
【００４６】
ここで、システムおよび方法のさらなる詳細を説明する。
【００４７】
本明細書において使用される場合、検出器４０、４１、１０のような「オブジェクト検出器」は、（学習された）ベクトル
【数１】
2015167017.tif 000002
、すなわち、ｄ個の実数値のベクトルによってパラメータ化される分類器を示し、ｄは、たとえば、少なくとも１０、または少なくとも１００、または少なくとも１０００、または約４０００もしくは約８０００のような、それ以上であってもよい。この分類器は、たとえば、以下の式による、学習されたベクトルｗおよび領域特徴ベクトルφ（ｘ）の積（ならびに任意選択的にオフセットｂ）の関数としての、特徴ベクトル
【数２】
2015167017.tif 000003
（すなわち、ｗと同じ数の次元ｄ）によって表される画像領域ｘが対象オブジェクトを含む確率を計算する。
【数３】
2015167017.tif 000004
【００４８】
ｗＴは、検出器４０、４１の場合はｗｉに対応し、検出器１０の場合はｗＣに対応するベクトルｗの転置を表す。
【００４９】
式（１）は線形分類器を記述しているが、本方法は、明示的な埋め込みを使用することによって非線形設定に適用することもできる（Ｆ．  Ｐｅｒｒｏｎｎｉｎ他「Ｌａｒｇｅ−ｓｃａｌｅ  ｉｍａｇｅ  ｃａｔｅｇｏｒｉｚａｔｉｏｎ  ｗｉｔｈ  ｅｘｐｌｉｃｉｔ  ｄａｔａ  ｅｍｂｅｄｄｉｎｇ」ＣＶＰＲ  （２０１０）参照）。特に、固定高さおよび幅のウィンドウが、対象オブジェクトに対する最も可能性のあるウィンドウを識別するために、画像の少なくとも一部にわたって動かされる。
【００５０】
シードの検出（Ｓ１０６）
このステップにおいて、固定高さおよび幅の仮想ウィンドウが、対象オブジェクトに対する最も可能性のあるウィンドウを識別するために、画像シーケンス内の各画像（フレーム）の少なくとも一部にわたってトラバースされる。用語「検出された領域」は、バウンディングボックス座標のセットおよび／または対応する部分画像を示し得る。このステップにおいて、ＧＤの最も確度の高い検出が、シード２６、２８として選択される。様々な無料のオブジェクト検出器および市販のオブジェクト検出器が、この目的に適している。たとえば、Ｗａｎｇ  ２０１２の方法が使用されてもよい。ＤＰＭと称される例示的なＧＤがＦｅｌｚｅｎｓｚｗａｌｂ  ２０１０に記載されている。
【００５１】
一実施形態において、ウィンドウが画像をトラバースすると、重なっている場合もあるし、またはそうでない場合もある画像領域（部分画像）のセットが生成され、確率Ｐ（ｘ）が、これらの領域の各々について、ｗＧおよびｂＧ（定数である）で示されている、一般オブジェクト検出モデル（ＧＤ）２４のパラメータｗおよびｂを使用して、式１にしたがって計算される。一般オブジェクト検出モデル（ＧＤ）２４は、対象オブジェクトの位置が（たとえば、バウンディングボックスによって、またはピクセルレベルで）識別されているラベル付けされている画像のトレーニングウィンドウから抽出される特徴ベクトルφ（ｘ）を用いてオフラインでトレーニングされていてもよい。したがって、各トレーニングウィンドウは、パラメータｗＧおよびｂＧを学習するためにそれぞれの特徴ベクトルとともに分類器に入力されるラベル（たとえば、ポジティブまたはネガティブに対応する２値ラベル）を割り当てられ得る。しかしながら、これらの方法／パラメータに依拠しないシードの検出のための他の方法も企図される。一般オブジェクト検出モデル（ＧＤ）２４は単純に、その結果、対象オブジェクト（たとえば、車）を含むと想定されるいくつかのウィンドウｘ（シード検出）を出力するブラックボックスとして扱うことができる。
【００５２】
トレーニングされた一般オブジェクト検出モデル（ＧＤ）２４は、高適合率かつ低再現率レジームにおいて機能していると想定される。一般オブジェクト検出モデル（ＧＤ）２４は、ビデオシーケンスの各画像を別々に見て、そのＧＤが、対象オブジェクトの高い存在確度を有するウィンドウ（画像部分領域）を識別する。それゆえ、シード２６、２８は、正確な検出に対応する傾向にある。一実施形態において、一般オブジェクト検出モデル（ＧＤ）２４は、画像部分領域が対象オブジェクトを含むことを確認するために、検出をランク付けする。Ｎ個の最上位にランク付けされた検出がシードとして選択されてもよく、Ｎは所定数であってもよい。付加的にまたは代替的に、閾値確度を満たす検出のみがシードとして選択されてもよい。
【００５３】
トラッキングバイディテクションのためのＰ−Ｎ学習
Ｓ１０６においてシード２６、２８の各々が生成された後、ポジティブ−ネガティブ（Ｐ−Ｎ）学習に基づくことができる追跡アルゴリズムが実行される。これは、Ｋａｌａｌ  ２０１２の方法にしたがって実行されてもよい。例示的なＰ−Ｎ学習方法において、トラッカ３０、３２が、パラメータｗｉを有する外観検出器４０、４１およびｍｉで示されている動きモデル４２、４３などを保持する。各外観検出器４０、４１のパラメータｗｉは、シードが見つかったフレームから抽出されるポジティブ領域（シードウィンドウ内にあるかまたは近接する）およびネガティブ領域（シードウィンドウの外部にある）から抽出される特徴ベクトルに基づいて計算される値を用いてインスタンス化され得る。
【００５４】
動きモデルｍｉは、オブジェクトの位置の以前の推定値の周囲の探索領域３６を画定する。探索領域は、半径またはバウンディングボックスによって画定されてもよく、２つ以上のウィンドウから成るセットを含んでもよいが、画像全体には満たない。探索領域３６は、オプティカルフロー場のメディアン補間によって決定されてもよい。一例として、以前の位置から疎なオプティカルフローを効率的に計算するためにＫａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ（ＫＬＴ）アルゴリズムが使用されてもよい（Ｓ．  Ｂａｋｅｒ他「Ｌｕｃａｓ−Ｋａｎａｄｅ  ２０  ｙｅａｒｓ  ｏｎ：  Ａ  ｕｎｉｆｙｉｎｇ  ｆｒａｍｅｗｏｒｋ」５６：  ２２１−２５５  （Ｓｐｒｉｎｇｅｒ，  ２００４）参照）。この方法は、第１のフレームｔにおいてオブジェクト内にあるものとして識別されるピクセルのセットの各々について、それらのピクセルが第２の後続のフレームｔ＋１内にある場合を予測する。これは、フレームｔ内のピクセルを、フレームｔ＋１内の、たとえば、２０ピクセルの半径内のピクセルと比較して、一致するピクセルを識別し、これらの一致するピクセルから動きモデルｍｉを更新することによって、ローカル探索によって実行される。その後、フレームｔにおけるオブジェクトの位置の以前の推定値から、フレームｔ＋１内の新たな位置が、現在の外観検出器ｗｉを新たなフレームに対して作動させて、検出のセット（外観検出器がポジティブであると考えるウィンドウ）を生成し、その後、現在の動きモデルｍｉにしたがって最も可能性がある検出を選択することによって推定される。その後、トラッカのパラメータｗｉおよびｍｉが、ポジティブであると考えられるこの新たな検出を用いて更新されて、一方で他の検出はネガティブであるとして扱われる。これらのネガティブウィンドウは、以前のモデルによって誤って行われた誤検出に対応するため、ハードネガティブとしての役割を果たす。
【００５５】
各シード物体は、検出され得る限り追跡される。動きモデル予測および外観検出器のポジティブがもはや重ならなくなると、追跡されているオブジェクトはもはや視野の中になく、対応するモデルはもはや更新されないと考えることができるが、特異的検出器ｗＣを計算するために、なお使用することができる。しかしながら、オブジェクトが一時的に、人の場合には柱または木のような障害物の後ろを通り得る事例を許容するために、検出器は、数フレームをスキップして、オブジェクトが再び現れたときに検出を継続することを可能にされ得る。
【００５６】
インスタンストラッカ集合（ＥＩＴ）モデル
以下において、用語「最適化」、「最小化」および同様の表現は、当業者がこれらの用語を理解するであろうように、広範に解釈されるべきである。たとえば、これらの用語は、絶対的な大域的最適値、大域的絶対最小値などに限定されるものとして解釈されるべきではない。たとえば、関数の最小化は、絶対最小値に達する前に停止基準において終結する反復最小化アルゴリズムを採用し得る。最適値または最小値が局所最適または局所最小値であることも企図される。
【００５７】
Ｎを、各々がパラメータｗｉのそれぞれの現在のベクトルと関連付けられるシード２６、２８などの数とし、ここで、ｉ＝１．．．Ｎである。Ｎは、少なくとも１０、または少なくとも５０のような、少なくとも２とすることができる。適合率を犠牲にせずに、より多くのシードが識別されることが一般的により良好である。現在のベクトルｗｉは、損失関数を最適化することによって、新たな検出に基づいて更新される。例示的な実施形態において、各外観検出器を更新することによって、正規化経験損失が最小限に抑えられることになる。
【数４】
2015167017.tif 000005
式中、ｘｋはｋ番目の検出の特徴記述子（すなわち、Ｐ−Ｎ学習におけるウィンドウ）である。これは、ランダムなウィンドウ（初期化中にネガティブを取得するためのもの）、一般検出器からのシード、または以前のモデルから取得される検出に対応する。
ｙ（ｘｋ）はラベル（たとえば、上述のようなポジティブまたはネガティブ）である。
【数５】
2015167017.tif 000006
は、ｘｋおよびｙを、パラメータｗｉを使用して分類することによって招かれる損失である（たとえば、ハードネガティブは、現在のモデルによってポジティブであるものとして識別されるサンプルであり、したがって損失を増大する）。
Ω（ｗｉ）は正規化項であり、λは、損失項に対して正規化項に強調がどの程度適用されるかを調整する重み付けパラメータである。λを学習するためのようなものとしてのトレーニングデータはないため、動きモデルに一致するポジティブに、そうでないものよりも高いスコアを割り当てることが自動的に選択され得る。一般的に、λは、約０．１のような、約０．００１〜０．２であってもよい。
【００５８】
式（２）の損失関数は、所与のトラッカについて、正（または極限においては０）である重み付き正規化項λΩ（ｗｉ）を加算した、識別されたハードネガティブに基づいて、現在の外観モデルによってｋ個の部分画像の検出を誤って分類することによって招かれる損失
【数６】
2015167017.tif 000007
のｋ個の検出すべてにわたる総和を最小化する
【数７】
2015167017.tif 000008
で示されているパラメータｗｉを識別する。
【００５９】
式（２）において与えられている損失関数は例示である。他の損失関数が代替的に利用されてもよい。
【００６０】
更新（Ｓ１１６）は、モデルｗがビデオのすべてのフレームに対して作動され更新され、すべてのフレームにて再実行されるバッチモード、または、１または数フレームから成るセットのみが後続のフレームセットにその後返され得るモデルを学習するのに使用されるストリーミングモードなどに適用され得る。
【００６１】
結合検出器パラメータＷ＝｛ｗ１，．．．，ｗＮ｝を有するＮ個のトラッカから成るセットは、インスタンストラッカ集合（ＥＩＴ）として示される。この表記によって、式（２）におけるＮ個の等式は、以下の式（３）に示すような損失関数を有する集合パラメータにわたる結合最小化として表すことができる。
【数８】
2015167017.tif 000009
式中、Ｌ（Ｘ，ｙ，Ｗ）はすべての外観検出器にわたる損失であり、λΩ（Ｗ）は対応する重み付き正規化項である。
【００６２】
例示的な実施形態において、
【数９】
2015167017.tif 000010
である。
【００６３】
諒解されるように、
【数１０】
2015167017.tif 000011
である場合、式（２）が正確に復元され、各トラッカの外観モデルは別々に最適化される。すべてのトラッカをともに学習させるために、外観モデルの距離（または相違）測度の関数である正規化項が代わりに与えられる。たとえば、以下の正規化項が式（３）に利用されてもよい。
【数１１】
2015167017.tif 000012
式中、
【数１２】
2015167017.tif 000013
はｗｉ−ｗｊのｌ２ノルムを示し、各ｗｊはパラメータベクトルｗｉのうちの１つである。これは、外観モデル間のすべての対になった差の平均の関数である正規化項を与える。２つのベクトル間の差ｗｉ−ｗｊの計算において、各要素は別々に考慮され、対における第２のモデルの要素の値が第１のモデルの対応する値から減算される。諒解されるように、ｌ２ノルムではなく、パラメータベクトルの対の間の別の距離測度が利用されてもよい。たとえば、式（４）は、ｗｉと外観ベクトルのメディアンとの間の距離の総和として計算されてもよい。付帯的にまたは代替的に、パラメータベクトルのすべての対にわたる距離測度の総和の何らかの他の関数が式（４）に置き換えられてもよい。諒解されるように、正規化項の値がより低い、すなわち、外観モデルが互いにより類似している場合、式３が最小化される可能性がより高くなる。
【００６４】
正規化項は、パラメータベクトルｗｉ間の差が大きいトラッカの対にペナルティを課し、したがって、分類器４０、４１が互いに類似している解を促進する。この手法は、平均正規化マルチタスク学習（ＭＲ−ＭＴＬ）（たとえば、Ｅｖｇｅｎｉｏｕ  ２００４参照）として既知であり、各ｗｉはすべてのｗｉの平均から大きく逸脱するべきではないという制約を課すことと等価である。それゆえ、この正規化は、各検出器が個々のオブジェクト外観の外観に過学習になるのを抑制し、潜在的な共有する性質（カテゴリの外観）をトラッカのパラメータベクトルｗｉの平均としてモデル化することによって、それらがタスクにわたって一般化することを可能にする。
【００６５】
この手法の利点は、｛ｗｉ｝の平均（ａｖｅｒａｇｅ）（たとえば、算術的平均（ｍｅａｎ））が有効な、単一のカテゴリレベル検出モデルｗＣとしての役割を果たすことである。その結果、トラッカが学習されると、特異的検出モデルｗＣのトレーニングは、たとえば、以下のように容易に達成することができる。
【数１３】
2015167017.tif 000014
【００６６】
平均を計算するにあたって、各次元が別々に考慮され、すべてのｗｉにわたってその値が平均される。実際には、この単純な混合モデルは、ｄ≫１である高次元特徴
【数１４】
2015167017.tif 000015
に特に適合される。
【００６７】
この正規化のもう１つの利点は、誤りのあるシード（一般検出器による初期誤検出）に対してよりロバストであるモデルｗＣの学習を可能にすることである。それらの外観モデルは平均とは大きく異なり、それゆえ、対応するトラッカは未学習であると迅速に判定されることが期待されるはずである。結果として、それらは一般的に数フレームよりも多いフレームにわたってこれらの誤りのあるシードを追跡することができなくなる。これは、それらがトラッカセットから外され得ることの指標として使用することもできる。対照的に、正確なシードは共通の外観因子を共有するため、より長きにわたって追跡されることになり、したがって、そのカテゴリモデルにより多く寄与する。式（４）に使用されているｌ２ノルムは異常値に対して非常にロバストであることが留意され得る。それゆえ、平均をメディアンに置き換えるよりロバストな代替案、たとえば、疎性導入正規化器、または異常値検出方法を使用することによって、誤りのあるシードの取り扱いを改善することができる。しかしながら、これは、より複雑で計算量が多いソリューションと引き換えになり得る。
【００６８】
モデルの学習（Ｓ１１８）
上記の最適化問題（式（３））は、以下のように更新規則を有する確率的勾配降下法（ＳＧＤ）を使用して解決することができる。
【数１５】
2015167017.tif 000016
式中、ηは学習率であり、
【数１６】
2015167017.tif 000017
は損失関数に依存し、ランダムに選択されるトレーニングサンプル（ｘｋ，ｙｋ）について評価される。上述の方法によって取得されるポジティブおよびネガティブウィンドウからの外観モデルを更新するとき、ランダムにシャッフルされるウィンドウにわたって、すべてのウィンドウを通じた２回、３回、４回またはそれ以上のパスのような、複数回のパス（エポックと呼ばれる）を行うことができる。式（６）は、学習プロセスが結合プロセスであり、検出器ｗｉの更新がすべての他の検出器ｗｊ、ｊ≠ｉの寄与を含むことに留意されたい。
【００６９】
ＳＧＤに関するさらなる詳細については、ｈｔｔｐ：／／ｌｅｏｎ．ｂｏｔｔｏｕ．ｏｒｇ／ｐｒｏｊｅｃｔｓ／ｓｇｄにおいて利用可能なＬ．  Ｂｏｔｔｏｕ「ＳＧＤ」を参照されたい。
【００７０】
学習率η（式６）、正規化パラメータλ（式３）、およびエポックの数のような、アルゴリズムのハイパーパラメータの値の選択は、様々な方法によって実行することができる。ハイパーパラメータを調整するのに一般的に使用される相互検証は、一度に１つのポジティブ例しか利用可能でない例示的な実施形態においては一般的に適用可能ではない。さらに、スライディングウィンドウ手法において適用される追加の後処理ステップに起因して、最適な検出性能をもたらすためにウィンドウ分類性能の最適化を保証することができない（Ｒ．  Ｇ．  Ｃｉｎｂｉｓ他「Ｓｅｇｍｅｎｔａｔｉｏｎ  ｄｒｉｖｅｎ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ｗｉｔｈ  Ｆｉｓｈｅｒ  ｖｅｃｔｏｒｓ」ＩＣＣＶ  （２０１３）、以下Ｃｉｎｂｉｓ  ２０１３参照）。それゆえ、例示的な実施形態において、単純な選択は、現在のフレームにおける正確な検出のランクを最大にする最小過学習パラメータ、たとえば、最小のηおよびエポック数、ならびに最大のλの設定を含む。
【００７１】
検出フレームワーク
例示的なＥＩＴフレームワークは、線形分類器に基づく任意の検出器に適している。ＥＩＴ方法の新規の実施態様において、以下が指定される。（ｉ）部分画像ｘの特徴φ（ｘ）を計算する方法、および（ｉｉ）採用されるべき損失関数
【数１７】
2015167017.tif 000018
。これらの各々についての選択は用途に応じて決まり得るが、一実施形態において、有用な特徴ベクトルはフィッシャーベクトルであり、損失関数としてロジスティック損失が採用される。ヒンジ損失のような他の損失関数が代替的に使用されてもよい。損失関数は、ハードネガティブならびにポジティブおよび（初期には）ランダムなネガティブを計上する。
【００７２】
いくつかの実施形態について、ビデオを通じてストリーミング様式でＮ個の検出器を更新する必要があり得るため、検出器は、再トレーニングするために効率的であるべきである。その効率を達成するためには、一般検出器（ＧＤ）を再トレーニングする必要を回避する、線形分類器およびＳＧＤ（たとえば、式（６））に基づく検出器が特に適している。ＧＤは単純にブラックボックスとして使用することができる、すなわち、これをトレーニングする方法に対して仮定を行う必要はなく、単純に、ターゲットビデオストリームのサブセットに対する数個のシード検出を出力するオラクルとして使用することができる。さらに、一般検出器は、高効率ハードウェア上でトレーニングするのに日単位の時間がかかる、計算コストが高いトレーニング手順に依拠することが多い。これは、Ｆｅｌｚｅｎｓｚｗａｌｂ  ２０１０に記載されているＧＤに当てはまる。
【００７３】
部分画像特徴記述子
部分画像特徴φ（ｘ）について、フィッシャーベクトル（ＦＶ）を利用することができる。たとえば、Ｆ．  ＰｅｒｒｏｎｎｉｎおよびＣ．  Ｄａｎｃｅ「Ｆｉｓｈｅｒ  ｋｅｒｎｅｌｓ  ｏｎ  ｖｉｓｕａｌ  ｖｏｃａｂｕｌａｒｉｅｓ  ｆｏｒ  ｉｍａｇｅ  ｃａｔｅｇｏｒｉｚａｔｉｏｎ」ＣＶＰＲ  （２００７）、Ｐｅｒｒｏｎｎｉｎ，  ＳａｎｃｈｅｚおよびＭｅｎｓｉｎｋ「Ｉｍｐｒｏｖｉｎｇ  ｔｈｅ  Ｆｉｓｈｅｒ  ｋｅｒｎｅｌ  ｆｏｒ  ｌａｒｇｅ−ｓｃａｌｅ  ｉｍａｇｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ」ＥＣＣＶ，  １４３−１５６  （２０１０）、ＳａｎｃｈｅｚおよびＰｅｒｒｏｎｎｉｎ「Ｈｉｇｈ−ｄｉｍｅｎｓｉｏｎａｌ  ｓｉｇｎａｔｕｒｅ  ｃｏｍｐｒｅｓｓｉｏｎ  ｆｏｒ  ｌａｒｇｅ−ｓｃａｌｅ  ｉｍａｇｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ」ＣＶＰＲ  （２０１１）、Ｊ．  Ｓａｎｃｈｅｚ他「Ｉｍａｇｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  ｔｈｅ  Ｆｉｓｈｅｒ  Ｖｅｃｔｏｒ：  Ｔｈｅｏｒｙ  ａｎｄ  Ｐｒａｃｔｉｃｅ」ＩＪＣＶ  （２０１３）、すなわち「Ｓａｎｃｈｅｚ  ２０１３」、２０１２年３月２９日に公開されたＪｏｒｇｅ  Ｓａｎｃｈｅｚ他による「ＩＭＡＧＥ  ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ  ＥＭＰＬＯＹＩＮＧ  ＩＭＡＧＥ  ＶＥＣＴＯＲＳ  ＣＯＭＰＲＥＳＳＥＤ  ＵＳＩＮＧ  ＶＥＣＴＯＲ  ＱＵＡＮＴＩＺＡＴＩＯＮ」と題する米国特許出願公開第２０１２００７６４０１号明細書、ならびに、２０１２年２月２３日に公開されたＦｌｏｒｅｎｔ  Ｐｅｒｒｏｎｎｉｎ他による「ＬＡＲＧＥ  ＳＣＡＬＥ  ＩＭＡＧＥ  ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ」と題する米国特許出願公開第２０１２００４５１３４号明細書を参照されたい。
【００７４】
ＦＶは以前は追跡には適用されていなかったが、ＦＶは、画像分類（Ｓａｎｃｈｅｚ  ２０１３参照）およびオブジェクト検出（Ｑ．  Ｃｈｅｎ他「Ｅｆｆｉｃｉｅｎｔ  ｍａｘｉｍｕｍ  ａｐｐｅａｒａｎｃｅ  ｓｅａｒｃｈ  ｆｏｒ  ｌａｒｇｅ−ｓｃａｌｅ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ」ＣＶＰＲ  （２０１３）、以下「Ｃｈｅｎ  ２０１３」Ｃｉｎｂｉｓ  ２０１３）に良好な特徴であることが既知であり、これは、強力な特異的検出器の学習を可能にする。ＦＶは、回復問題に対する効率も証明されている（Ｈ．  Ｊｅｇｏｕ他「Ａｇｇｒｅｇａｔｉｎｇ  ｌｏｃａｌ  ｉｍａｇｅ  ｄｅｓｃｒｉｐｔｏｒｓ  ｉｎｔｏ  ｃｏｍｐａｃｔ  ｃｏｄｅｓ」ＩＥＥＥ  ＴＰＡＭＩ  （２０１２）参照）。これは、ＥＩＴ手法による個々のオブジェクトインスタンスの効率的な追跡を可能にする。ＦＶは高次元特徴であり、それゆえ、例示的な平均正規化マルチタスク学習アルゴリズムによく適している。
【００７５】
ここで、特定の実施態様を説明する。最初に、１６×１６ピクセルのローカルパッチ（ただし、より小さいまたはより大きいパッチが使用されてもよい）が、いくつかの、たとえば、１５の異なるスケール（スケールはダウンサンプリングによって取得される）にある規則的な格子上で部分画像から密に抽出される。各パッチについて、形状、色および／または勾配（ＳＩＦＴ）特徴のような低レベルの特徴が抽出される（Ｄ．  Ｌｏｗｅ「Ｄｉｓｔｉｎｃｔｉｖｅ  ｉｍａｇｅ  ｆｅａｔｕｒｅｓ  ｆｒｏｍ  ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｋｅｙｐｏｉｎｔｓ」ＩＪＣＶ，  ２００４参照）。たとえば、各パッチは、１２８次元ＳＩＦＴ記述子によって表され、これが、主成分分析（ＰＣＡ）によって３２次元に圧縮され得る。たとえば、Ｋ平均クラスタリング分析を使用して、ビデオストリームの第１のフレームから取得される記述子のサブセットを用いて１２８成分から成るガウス混合モデル（ＧＭＭ）を推定することによって、視覚的語彙が計算される。
【００７６】
パッチ記述子は、それに基づいて特徴ベクトルを出力する発生モデルに入力される。したがって、各特徴ベクトルは、ｄ次元空間における部分画像の固定長ベクトル表現である。一般的に、各特徴ベクトルは、少なくとも３０、または少なくとも６０、または少なくとも１００、または少なくとも５００次元で、最大１０００以上の次元を有し、各次元はそれぞれの特徴値を有し、これはより少ない次元に低減され得る。
【００７７】
Ｃｓｕｒｋａ他、Ｖｉｓｕａｌ  Ｃａｔｅｇｏｒｉｚａｔｉｏｎ  ｗｉｔｈ  Ｂａｇｓ  ｏｆ  Ｋｅｙｐｏｉｎｔｓ，  ＥＣＣＶ  Ｗｏｒｋｓｈｏｐ，  ２００４のｂａｇ−ｏｆ−ｖｉｓｕａｌ−ｗｏｒｄｓのような他の画像表現が使用されてもよい。
【００７８】
損失関数
分類器をトレーニングするために、損失関数が利用され得る。
【数１８】
2015167017.tif 000019
これに対して、式（６）で必要とされるＳＧＤ導関数を閉形式で計算することができる。この実施形態において、ウィンドウ分類器（式（１））は、標準的なロジスティック回帰に対応する。代替形態として、ヒンジ損失または二次損失が使用されてもよい。
【００７９】
検出器初期化
集合の各トラッカに対する検出器４０、４１は、ポジティブ例としてのＧＤのシード検出２６、２８およびネガティブ例としての重ならないランダムな部分画像を使用することによって初期化することができる。ポジティブのセットは、小さいランダムなずらしおよびスケーリング変換をシード検出に適用することによって強化することができる。
【００８０】
例示的なシステムおよび方法は、様々な事例に応用される。たとえば、これは、交通または駐車違反のためのビデオ施行のために採用され得る。多数のカメラが都市のような施行領域にわたって配備され得、それらすべてが同じ車両検出方法を実行する。しかしながら、カメラは異なる道路およびシーン構成、異なるカメラ視点、車両に対する距離、ならびに、他者との間での照明条件のばらつきに直面し得、各カメラの特異的検出器を個々に学習させることが有利である。別の実施形態において、ビデオカメラは、スクールバスのような公共交通機関に、たとえば、停止されるときにバスを追い越す車両を検出するために設置されてもよい。別の実施形態において、カメラは、速度違反を検出するために道路清掃トラックに設置されてもよい。また別の実施形態において、方法は、乗用車のような、バス以外のカテゴリにある車両を検出するために使用されるモバイルカメラによってバスレーン施行のために採用されてもよい。また別の実施形態において、方法は、相乗り車（ＨＯＶ）用レーンにある乗用車で移動している、車両内の人の数を検出するために採用されてもよい。この実施形態について、１つは人のため、および、１つは車のための、２つのタイプの特異的検出器が各カメラおよび／または位置に対してトレーニングされてもよい。
【００８１】
例示的な実施形態の範囲を制限することを意図せず、以下の例は、本方法の人および車両の検出への適用を示す。
【実施例】
【００８２】
データセット
公的に利用可能なベンチマーク、すなわち、ＣＡＶＩＡＲデータベース（ｈｔｔｐ：／／ｈｏｍｅｐａｇｅｓ．ｉｎｆ．ｅｄ．ａｃ．ｕｋ／ｒｂｆ／ＣＡＶＩＡＲ／）からの５つのビデオシーケンス、および、ＶＩＲＡＴデータベース（ｈｔｔｐ：／／ｗｗｗ．ｖｉｒａｔｄａｔａ．ｏｒｇ）からの１つのビデオシーケンスを利用した。ＣＡＶＩＡＲにおける対象オブジェクトは人であり、一方、ＶＩＲＡＴにおいて、対象オブジェクトは車である。データセットにおけるいくつかの統計を表１に示す。
【表１】
2015167017.tif 000020
【００８３】
Ｗａｎｇ  ２０１２との公正な比較を行うために、ＣＡＶＩＡＲからの同じシーケンス（Ｏｌｓ１，  Ｏｌｓ２，  Ｏｓｏｗ１，  Ｏｌｓｒ２，  およびＯｓｅ２）を使用し、記載することを除いて、同じ実験設定を使用した。画像サイズは２．０倍に拡大した。５つのシーケンスの各々について別々に実験を実行した。各シーケンスはＥＩＴの教師なし学習およびＳＤ１０の評価の両方に使用される（Ｗａｎｇ  ２０１２におけるものと同じ「変換」設定）。これは、オブジェクト検出器がビデオストリームに沿って連続的に適合される実際の実施形態に対応する。
【００８４】
ＶＩＲＡＴについて、静止しているオブジェクトおよび動いているオブジェクトの両方によって完全に注釈付けされており、一般的な駐車シーンにも対応するため、シーケンス０４０１が使用された。ＶＩＲＡＴ−０４０１のサイズ（３７５Ｋのオブジェクト）および継続時間（５８Ｋフレーム）が、シーケンスを２つの部分に分割することを可能にする。例示的なＥＩＴが、ＳＤ１０を学習するためにビデオの第１の部分に対して作動され、その後、その性能が第２の部分に対して評価された。これは、ビデオストリームの最初の部分に対して教師なし学習が行われ（較正段階）、更新なしでストリームの残りの部分にシステムが適用される状況に対応する。この設定は、ＳＤの一般化エラーを評価することも可能にする。
【００８５】
一般検出器
Ｆｅｌｚｅｎｓｚｗａｌｂ  ２０１０の可変形状モデル（ＤＰＭ）がブラックボックス一般オブジェクト検出器として使用された。この一般検出器はＰａｓｃａｌ  ＶＯＣ  ２００７において事前トレーニングされており、オンラインで公的に利用可能である（ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｂｅｒｋｅｌｅｙ．ｅｄｕ／ｒｂｇ／ｌａｔｅｎｔ／ｖｏｃ−ｒｅｌｅａｓｅ５．ｔｇｚ）。ＤＰＭによって取得される性能を表２に示す。Ｗａｎｇ  ２０１２によって報告される元のＤＰＭ結果は、これらの実施例において取得されるものとはわずかに異なる（場合によってはより良好で、場合によってはより悪い）ことに留意されたい。これは、本実施例においてはＤＰＭの最新バージョンを用いたが、これはＷａｎｇ  ２０１２によって使用されたより古いものとは異なるためである可能性が最も高い。
【００８６】
予備実験において、一般オブジェクト性検出器（Ｂ．  Ａｌｅｘｅ他「Ｍｅａｓｕｒｉｎｇ  ｔｈｅ  ｏｂｊｅｃｔｎｅｓｓ  ｏｆ  ｉｍａｇｅ  ｗｉｎｄｏｗｓ」ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  ＰＡＭＩ  （２０１２））も考慮されたが、ＤＰＭを用いて開始した方が良好な結果をもたらしたことが分かった。オブジェクト性は、場合によっては有用でない場合がある特徴に対して何らかの仮定を行う（たとえば、駐車シーンにおいて、車は特徴であると考えられないが、本実施例においては、車はオブジェクトとして突出するべきである）。
【００８７】
結果
例示的なマルチタスクインスタンストラッカ集合によって取得される特異的検出器（ＳＤ）１０（ＭＴ−ＥＩＴ  ＳＤ）を、教師なし設定に適用可能な３つの他のオブジェクト検出器と比較した。
１．ビデオ全体にわたって単独で使用される一般検出器（ＧＤ）（Ｆｅｌｚｅｎｓｚｗａｌｂ  ２０１０）。
２．最高スコアのもの（ＭＴ−ＥＩＴ  ＳＤにおいてシードとして使用されるもの）のＦＶ記述子との類似性によるＧＤ検出の再ランク付けに依拠する、Ｗａｎｇ  ２０１２の「検出による検出」（ＤｂＤ）教師なしオブジェクト検出手法、これは変換のみの手法であり、それゆえ、ＶＩＲＡＴのようなシナリオには直接適用可能ではないことに留意されたい。
３．平均正規化マルチタスク追跡を有しない例示的なＥＩＴアルゴリズム、トラッカは別々に学習され、「Ｉ−ＥＩＴ」と称される。
【００８８】
表２は、定量的実験結果を示す。適合率−再現率曲線の下の面積に対応する平均適合率（ＡＰ）を使用して性能が測定される。これは、オブジェクト検出性能を測定するのに使用される標準的な測定基準である（Ｍ．  Ｅｖｅｒｉｎｇｈａｍ他「Ｔｈｅ  Ｐａｓｃａｌ  ｖｉｓｕａｌ  ｏｂｊｅｃｔ  ｃｌａｓｓｅｓ  （ＶＯＣ）  ｃｈａｌｌｅｎｇｅ」ＩＣＣＶ  ８８（２）：３０３−３３８  （２０１０））。
【表２】
2015167017.tif 000021
【００８９】
表２から、例示的なＭＴ−ＥＩＴ  ＳＤ方法は、種々のシナリオにわたって平均して＋４％だけ一般検出器よりも改善していることを観察することができる。これによって、特定のシーンに対する例示的な単純で効率的な検出器１０の教師なし学習が、現行技術水準の、慎重に調整された複雑な、大量の無関係なデータに対してトレーニングされた一般オブジェクト検出器をしのぎ得ることが確認される。概ね１０秒長である最小のビデオに対応する（表１）１つ（Ｏｌｓ１）を除くすべてのシナリオにおいて改善が見られた。これは、この長さのビデオは、はるかにより多くのデータ（Ｐａｓｃａｌ  ＶＯＣの場合は数千枚の画像）に対してトレーニングされた一般検出器よりも良好である特異的検出器を構築するには不十分であることを示唆する。
【００９０】
すべてのトラッカ（ＭＴ−ＥＩＴ  ＳＤ）をともに学習することによって、それらを別々に学習する（Ｉ−ＥＩＴ  ＳＤ）よりも平均して＋１．７％の改善が得られることも見て取れる。いくつかのシナリオについて、この利得は相当なものであり（Ｏｌｓ２については＋４．４％）、一方で、あるシナリオでは性能はわずかに劣化した（Ｏｓｅ２についての−０．８％）。これは、追跡されるシードインスタンスが、対象オブジェクトのカテゴリを認識するのに有用な外観特徴を共有するときに、マルチタスク追跡定式化が、より良好な特異的検出器を構築する一助となり得ることを示唆する。一般的に車のような広いオブジェクトカテゴリに存在する異常値および大きなクラス内ばらつきをよりロバストに処理するために、単純な平均正規化定式化よりもロバストなマルチタスク学習アルゴリズムが採用されてもよい。
【００９１】
ＭＴ−ＥＩＴ  ＳＤ方法は、ＤｂＤ方法にまさる小さな改善（ＣＡＶＩＡＲシナリオにわたって平均して＋０．６％）を生む。これは、本方法が、（十分なシードを得るために）ビデオストリームの十分に大きい部分を見た後に一般検出器を放棄するのに十分に正確であり、一方でＤｂＤは、ｋ個の最近傍に基づく冗長な学習手法である（特異的検出器を出力しない）ため、常に一般検出器を作動させなければならない。ＤｂＤは、性能向上のために特異的検出器１０の結果に対する後処理ステップとして適用され得るが、これによってさらに計算コストがかかることになることも留意され得る。
【００９２】
上記で開示されたものの変形形態ならびに他の特徴および機能、またはその代替形態が、多くの他の異なるシステムおよびアプリケーションに組み合わされてもよいことが諒解される。それにおける様々な現在予見または予期できない代替形態、変更形態、変形形態または改善が、当業者によって後に行われてもよく、これらも添付の特許請求の範囲によって包含されることが意図される。
【図１】
2015167017.tif 000022
【図２】
2015167017.tif 000023
【図３】
2015167017.tif 000024
【図４】
2015167017.tif 000025