(57)【要約】  画像又はビデオシーケンス内のマルチクラス対象物を検出するシステムを訓練するための方法が説明される。一連の対象物クラスについて弱分類器の共通アンサンブルを識別する。各対象物クラスについて、それぞれの重み付けスキームが弱分類器のアンサンブルに適応させられる。画像又はビデオシーケンス内の複数のクラスの対象物を検出する方法も開示される。各クラスには、検出器のすべてが弱分類器の共通アンサンブルに基づくように、弱分類器の重み付けされた組合せにより実現された検出器が割り当てられる。続いて、各クラスに対して重みが個別に設定される。
2007537542.tif 000002
【特許請求の範囲】
【請求項１】
画像又はビデオシーケンス内のマルチクラス対象物を検出するシステムを訓練するための方法であって、
一連の対象物クラスについて弱分類器の共通アンサンブルを識別するステップと、
各対象物クラスについて、それぞれの重み付けスキームを弱分類器の前記アンサンブルに適応させるステップを有することを特徴とする訓練方法。
【請求項２】
前記対象物クラスの内の１つが区別されたクラスであり、弱分類器の前記アンサンブルはこの区別されたクラスから選択される、請求項１記載の方法。
【請求項３】
前記区別されたクラスは、画像又はビデオシーケンス内に高い頻度で出現する少なくとも１つの対象物を有している、請求項２記載の方法。
【請求項４】
弱分類器の前記アンサンブルは前記対象物クラスのすべてを含んだデータセットから学習される、請求項１記載の方法。
【請求項５】
正の対象物を負の対象物から区別するために、弱分類器の前記アンサンブルを最適化する、請求項４記載の方法。
【請求項６】
弱分類器の前記アンサンブルは弱分類器の複数のアンサンブルの組合せであり、これら弱分類器の複数のアンサンブルの各々は単一の対象物クラスから個別に学習される、請求項１記載の方法。
【請求項７】
前記組合せは弱分類器の前記複数のアンサンブルの数学的な合併である、請求項６記載の方法。
【請求項８】
前記組合せは弱分類器の前記複数のアンサンブルの数学的な共通部分である、請求項６記載の方法。
【請求項９】
弱分類器の前記複数のアンサンブルの組合せは、多数決により決定される部分集合である、請求項６記載の方法。
【請求項１０】
画像又はビデオシーケンス内の複数のクラスの対象物を検出する方法であって、
各クラスに、弱分類器の重み付けされた組合せにより実現された検出器を割り当て、これら検出器のすべてが弱分類器の共通アンサンブルに基づくようにするステップと、
各クラスに対して重みを個別に設定するステップを有する、ことを特徴とする検出方法。
【請求項１１】
前記検出器のスコアを使用して、検出された対象物を１つ又は複数の対象物くらすに分類する、請求項１０記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連発明の相互参照
本出願は２００４年５月１０日に出願されたアメリカ合衆国暫定特許出願通し番号６０／５６９，５５２の利益を主張するものであり、該アメリカ合衆国暫定特許出願の全体が参照として本願に取り込まれている。
【０００２】
発明の分野
本発明は、効率的なマルチクラス対象物検出のために、ブースト分類器を組み合わせる方法に、より詳細には、マルチクラス対象物を識別する検出システムをブースト分類器を用いて訓練するためのシステム及び方法に関する。
【０００３】
本発明の背景
近年、特に画像対象物検出の分野において、総合的な強分類器を得るために一連の単純又は弱分類器をブーストする技術が強力な解決手段へと発展してきた。画像対象物検出はますます一般的になってきており、多くの異なる検出シナリオにおいて使用することができる。このような用途の例としては、顔検出、歩行者検出、交通標識検出、及び車両検出がある。
【０００４】
ブースティング技術は単一の対象物クラスの検出に特に効果的である。しかしながら、この手法を単一の対象物クラスの検出から複数の対象物クラスの検出に拡張する場合、クラスの個数に比例して手法の複雑さが増大する。多くの検出用途では、有効であるためには複数の対象物クラスの検出が必要とされる。このような用途の一例が車両検出である。車両検出では、自動車、トラック、歩行者、及び交通標識に対して、別個の対象物クラスが定義される。複数の対象物クラスを要する検出用途の別の例は群衆検出である。特に、群衆が動いている場合には、これらの群衆の異なるポーズ又は動作に基づいて群衆サブクラスを定義するとより効果的である。例えば、このようなサブクラスは、着席、起立、及び歩行を含むことになろう。
【０００５】
画像内での対象物検出のタスクに関して、公知の手法はブースティングに基づいた学習／検出フレームワークを使用する。ブースティングは単純又は弱分類器
【数１】
2007537542.tif 000003
の集合
Ｈ＝{ｈ1, ... ,ｈT}                    （１）
を選択し、組み合わせる。なお、各々の弱分類器は、最終又は強分類器を形成する分類器候補の大きな集合から取ったものである。対象物画像検出の問題においては、Ｘはすべての画像パッチの集合であり、クラス＋１は対象物に対応し、クラス−１は非対象物に対応している。さらに重み係数の集合
α＝{α1, ... ,αT}                    （２）
が与えられれば、対象物検出は候補画像パッチｘ∈Ｘ上で強分類器ｈを評価することで解決される。判別ｈ(ｘ)は弱分類器の判別の加重和から計算される。すなわち、
【数２】
2007537542.tif 000004
ここで、θは、ユーザがフォールスアラームと検出ミス率とを均衡させることができるようにする閾値である。弱分類器ｈtと適正な重みαtの最適な選択は、ＡｄａＢｏｏｓｔ訓練アルゴリズムから得られる。
【０００６】
この技術は、例えば、顔、車両、歩行者などの単一のクラス対象物の検出に適用され、非常に成功を収めてきた。しかしながら、例えば、交通シーンにおける自動車、トラック、歩行者、及び交通標識の結合検出のように、１つのシーンの中で複数のクラス{１, ... , Ｌ}の対象物を検出することが要求される状況が存在している。
【０００７】
素朴な解決手段は、上記アルゴリズムに基づいて、各クラスｌについてＡｄａＢｏｏｓｔを使用して弱分類器Ｈ(l)と重みα(l)のそれぞれのアンサンブルを訓練する。すなわち、
【数３】
2007537542.tif 000005
この手法の検出タスクのためのメモリと計算量はＬに比例し、多くの場合、実時間検出システムを妨げる。計算量の大きいこのような手法は、時間、コスト、又は効率性の点で実行可能でなく、妥当な解決手段とは見なされない。したがって、実時間マルチクラス検出を可能にし、しかも効率的に動作することのできる検出システムへの需要が存在する。
【０００８】
発明の概要
本発明では、個々の検出器の特徴と分類器設計とを含んだ主要要素を結合して設計することにより、より効率的なマルチクラス検出法及びシステムが案出されている。本発明の１つの実施形態によれば、画像又はビデオシーケンス内のマルチクラス対象物を検出するシステムを訓練するための方法が記載されている。一連の対象物クラスに対する弱分類器の共通アンサンブルが識別される。各対象物クラスについて、それぞれの重み付けスキームを弱分類器のアンサンブルに適応させる。
【０００９】
本発明はまた画像又はビデオシーケンス内の複数のクラスの対象物を検出する方法にも関している。各クラスには、すべての検出器が弱分類器の共通アンサンブルに基づくように、弱分類器の重み付けされた組合せによって実現された検出器が割り当てられる。続いて、各クラスについて、重みが個別に設定される。
【００１０】
図面の簡単な説明
以下に、本発明の好ましい実施形態をより詳細に説明する。添付した図面において、同じ参照番号は同じエレメントを指している。
【００１１】
図１は、本発明によるマルチクラス対象物検出及び追跡システムのシステムブロック図であり、
図２は、本発明によるマルチクラス対象物検出のフレームワークを示している。
【００１２】
詳細な説明
本発明は、効率的なマルチクラス対象物検出のためにブースト分類器を組み合わせるシステム及び方法に関している。本発明はまたマルチクラス対象物検出のための分類器を訓練する方法にも関している。本発明は、様々な対象物の検出を必要とする多くの用途に使用することができる。このようなシステムは、例えば、人物又は顔貌の検出と追跡のような監視用途に使用されうる。
【００１３】
本発明はまた組立ライン上の対象物を検出及び追跡するために使用することもできる。医療用に人間の臓器を検出及び追跡するという他の用途も考えられる。当業者には、他の環境においても本発明は使用され得ることが理解されなければならない。本発明が有用となる他の環境は車両の検出と追跡にある。様々なタイプの車両の検出に加えて、ときには歩行者、交通標識、及び車両環境に関連した他の対象物の検出の必要性もある。ここでは、本発明を説明するという目的で、オンロード障害物検出の環境において本発明の説明を行う。
【００１４】
図１には、本発明を実施するシステムのブロック図が示されている。１つ又は複数のカメラ１０２が、道路とその周囲の画像を捕捉するために使用される。典型的な道路画像の場合に予想されるように、画像は建物、木、及び家のような背景画像と、路上を走行する車両を含む。画像はプロセッサ１０４に伝送され、プロセッサ１０４はデータベース１０６内の要素分類器を用いて信頼度のスコアを計算する。画像は、種々の対象物クラスを識別するために本発明に従って分析される。このような対象物の例には、自動車、トラック、歩行者、及び交通標識が含まれる。十分な信頼水準で対象物が識別されれば、対象物は出力デバイス１０８を介して識別される。出力デバイス１０８は、ユーザに１つ又は複数の対象物の存在を知らせる出力信号を供給する。出力信号は可聴信号又は他のタイプの警報信号であってよい。出力デバイス３０８は検出された対象物を見るためのディスプレイを含んでいてもよい。ディスプレイはカメラ３０２によって撮られた画像のビューを提供する。さらに、すでに検出され、いま追跡されつつある対象物を表示するように、カメラ３０２を拡張してもよい。
【００１５】
マルチクラス対象物を効率的に検出する技術を開発するに際して、本発明は、多数の弱分類器を識別及び選択するために使用される多数の訓練技術に注目している。なお、これらの多数の弱分類器はその後、データベース１０６に格納され、種々の対象物の検出に使用される。本発明の前提は、Ｌ個の検出器のすべてが一連の共通する特徴又は弱分類器を共有するという根本的な原則である。高い検出精度を維持するために、個々の強分類器は弱分類器の選択に先行して重みα(l)の個々の集合に適合させられる。個別的な重み付けを用いることにより、単一クラス検出に比べて、計算量に最小の増大しか存在しない。従来技術の数式（３）及び（４）の計算に由来する複雑さの大部分は弱分類器の評価から生じており、重み付けから生じているのではない。
【００１６】
図２には、本発明によるマルチクラス対象物検出のフレームワークが示されている。システムの訓練は弱分類器の共通集合Ｈの選択と個々の重みα(l)の適合に関連している。本発明によれば、弱分類器の訓練に以下の技術を使用することができる：
１．所与のＬ個の対象物クラスに対して、弱分類器の共通アンサンブルＨ＝Ｈ(1)＝…＝Ｈ(L)＝{ｈ1, ... ,ｈT}を選ぶ。
２．for ｌ＝１, ... ,Ｌ
３．ＡｄａＢｏｏｓｔを用いてα(l)をクラスｌの訓練集合に適合させる。その際、候補となる弱分類器はＨにより与えられる。
【００１７】
上記のステップ１が与えられれば、残る未解決問題は共通の弱分類器アンサンブルＨの選択である。本発明によれば、Ｈを選択するための３つの異なる技術が説明される。第１の技術は、１つの区別されたクラスｌ0が存在することを仮定している。この区別されたクラスは、例えば、シーン内への出現頻度が高い対象物のクラスであってよい。クラスｌ0の訓練集合は弱分類器の共通アンサンブル
【数４】
2007537542.tif 000006
を選択するために使用される。このアンサンブルが選択されると、上で示されたように、ＡｄａＢｏｏｓｔを用いて個々のクラスの重み{α(1), ... ,α(L)}が再適応させられる。その際、候補となる弱分類器はＨのみから取られる。この技術が使用され得る用途の一例は、製造用途である。検出される主な対象物は組立ライン上のアイテムであろうから、その対象物に関連した弱分類器が訓練集合として使用される。
【００１８】
訓練集合を形成する第２の技術は、１つの区別されたクラスの割当てが妥当でない場合に使用される。そのような場合には、より対称的な手続きが適切である。この手法では、すべての訓練サンプルの合併に基づいて共通分類器Ｈが訓練される。次に、個々の分類器ｌは、Ｈと専らクラスｌからの正の訓練サンプルとに関連してα(l)を調整することにより微調整される。言い換えれば、この手法では、すべての正の対象物を負の対象物から区別するためにＨが最適化される。個々の検出問題は個々の弱分類器のそれぞれのインパクトを適応させることにより特殊化させることができる。
【００１９】
この技術が使用され得る１つの例は、複数のクラスがある程度の共通性を有しているような用途にある。例えば、顔検出は様々な顔のポーズから成るクラスを使用する。しかしながら、ポーズの分類器の多くは類似している（例えば、眼、鼻、及び口）。同様に、車両検出は様々な車両から成るクラスを使用する。どのケースでも、通常、車両の端や隅のようないくつかの特徴は見られる。
【００２０】
第３の技術は、各対象物クラスｌについて、最も適切な弱分類器を集めることによりＨを得る。この観点で、第１の訓練ステップにおいて、弱分類器の個々の集合{Ｈ(1), ... ,Ｈ(L)}が選択される。続いて、最終集合Ｈが{Ｈ(1), ... ,Ｈ(L)}の組合せから得られる。１つのアプローチは合併
【数５】
2007537542.tif 000007
を用いることであり、他のオプションは{Ｈ(l)}の共通部分の使用、又は、より複雑な多数決スキームによって決定される{Ｈ(l)}の部分集合の使用を含む。
【００２１】
この技術はデータリソースの分散を必要とする用途に最も良く使用される。例えば、より複雑な車両検出スキームでは、車両の他に、交通標識や歩行者も検出される。検出され得る更なる対象物には、道路の車線、ガードレール、木や家や他の建物のような背景の対象物が含まれる。このような場合、各クラスは他のクラスとは異なる弱分類器を使用する。しかしながら、それでもこられのクラスのすべてに共通するいくつかの弱分類器が存在する。
【００２２】
図２に示されているフレームワークはマルチクラス分類に適用できるように拡張することができる。このシナリオでは、分類器はｘに最尤クラスラベル
【数６】
2007537542.tif 000008
を割り当てる。このタスクの自然な手続きは、アクティベーションが最大であるクラス、すなわち、
【数７】
2007537542.tif 000009
を選択することであろう。ここで、ｆ(l)はクラスｌのアクティベーション関数である。
【００２３】
本発明は、個々のすべてのクラス検出器において共通した、したがって一度だけ計算すればよいブースト弱分類器の集合を使用する。この制限による考えられる検出精度の主な損失は、各対象物クラスの誤分類のエラーを減少させるために、各対象物クラスに対して個別に弱分類器の重みを事後的に再訓練することによって防止される。従来技術の手法に比べて、本発明の訓練の複雑さが著しく増大することはない。というのも、ＡｄａＢｏｏｓｔによる個々のクラスの重みの再調整は、Ｈのみに、したがって弱分類器候補の格段に小さな集合に基づいているからである。
【００２４】
マルチクラス対象物の検出にブースト分類器を使用する方法の実施形態を説明したが、当業者には上記の教唆に照らして改良及び変更が可能であることを指摘しておきたい。それゆえ、開示された本発明の個々の実施形態に対して、添付した請求項により規定されるものとしての本発明の範囲及び趣旨の内で、変更を為しうることが理解されなければならない。以上、特許法により要求される詳細及び特定性を以て本発明を説明したが、請求及び特許証による保護を求めるものは添付した請求項に示されている。
【図面の簡単な説明】
【００２５】
【図１】本発明によるマルチクラス対象物検出及び追跡システムのシステムブロック図である。
【図２】本発明によるマルチクラス対象物検出のフレームワークを示す。
【図１】
2007537542.tif 000010
【図２】
2007537542.tif 000011
【国際調査報告】
2007537542.tif 000012
2007537542.tif 000013
2007537542.tif 000014