(57)【要約】【課題】本方法は、訓練データから分類器を構築し、訓練された分類器を用いてテストデータ中の移動物体を検出する。【解決手段】訓練データから抽出された低次特徴から高次特徴が生成される。高次特徴は解析多様体上の正定行列である。高次特徴の部分集合が選択され、内部平均行列が求められる。各高次特徴は、内部平均行列を用いて、解析多様体の接ベクトル空間上の特徴ベクトルに写像される。訓練されていない分類器が、特徴ベクトルにより訓練されて、訓練された分類器が得られる。テスト用の高次特徴がテスト用の低次特徴から同様に生成される。テスト用の高次特徴は、訓練された分類器を用いて分類されて、テストデータ中の移動物体が検出される。【選択図】図１
2008310796.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにより実施される、訓練データから分類器を構築し、前記分類器を用いてテストデータ中の移動物体を検出する方法であって、
前記訓練データから抽出される低次特徴から、解析多様体の形式の正定行列である、高次特徴を生成するステップと、
前記高次特徴の部分集合を選択するステップと、
選択された前記高次特徴の前記部分集合から内部平均行列を求めるステップと、
前記内部平均行列を用いて前記各高次特徴のそれぞれを前記解析多様体の接ベクトル空間上の特徴ベクトルに写像するステップと、
訓練されていない分類器を前記特徴ベクトルにより訓練して、訓練された分類器を得るステップと、
テストデータから抽出される試験用の低次特徴から、前記解析多様体の形式の正定行列である、試験用の高次特徴を生成するステップと、
前記訓練された分類器を用いて前記試験用の高次特徴を分類して、前記テストデータ中の移動物体を検出するステップと
を含む、コンピュータにより実施される、訓練データから分類器を構築し、前記分類器を用いてテストデータ中の移動物体を検出する方法。
【請求項２】
前記訓練データ及び前記テストデータは、画像の形式である
請求項１記載の方法。
【請求項３】
前記訓練データ及び前記テストデータは、映像の形式である
請求項１記載の方法。
【請求項４】
前記低次特徴は、前記画像中の画素強度及び色から導出される
請求項２記載の方法。
【請求項５】
前記低次特徴は、前記映像中の画素強度及び色、並びに画素の動きベクトル、オプティカルフロー、並びに強度距離及び勾配距離から導出される
請求項３記載の方法。
【請求項６】
前記移動物体は、人間である
請求項１記載の方法。
【請求項７】
前記高次特徴は、モーションキューから求められる
請求項１記載の方法。
【請求項８】
前記モーションキューは、動きセンサにより検知される
請求項７記載の方法。
【請求項９】
前記モーションキューは、前記訓練データから得られる
請求項７記載の方法。
【請求項１０】
前記モーションキューは、前記テストデータから得られる
請求項７記載の方法。
【請求項１１】
前記モーションキューは、カメラの動きを用いて物体及び前記カメラの統合的な動きから補償される物体の動きである
請求項７記載の方法。
【請求項１２】
前記モーションキューは、背景モデルを用いる
請求項７記載の方法。
【請求項１３】
前記モーションキューは、オプティカルフローを考慮する
請求項７記載の方法。
【請求項１４】
前記訓練データは一連のフレームから得られ、前記モーションキューは前記フレーム間の差を考慮する
請求項７記載の方法。
【請求項１５】
前記高次特徴は、多様体を含む
請求項７記載の方法。
【請求項１６】
前記分類器は、ブーストされた分類器である
請求項１記載の方法。
【請求項１７】
前記分類器は、前記多様体に適用されるロジットブーストによりブーストされた分類器である
請求項１５記載の方法。
【請求項１８】
前記ロジットブーストによりブーストされた分類器の訓練は、
前記高次特徴に同一の重みを割り当てるステップと、
分類器の決定関数にゼロを割り当てるステップと、
等しい値を前記分類器の所与のクラスである確率に割り当てるステップと、
所定の目標に到達するまで以下のステップを繰り返すステップであって、
前記高次特徴の応答値及び重みを求めるステップと、
前記多様体上の加重平均を求めるステップと、
前記加重平均を用いて前記高次特徴を接ベクトル空間上に写像するステップと、
前記重み及び写像された特徴を用いて境界関数を弱分類器として重み付き最小二乗回帰により当てはめるステップと、
前記分類器の決定関数を前記弱分類器のスコアにより更新するステップと、
所与のクラスである前記確率を更新するステップと、
前記ロジットブーストによりブーストされた分類器の結果を累積スコアの符号として求めるステップと
を繰り返すステップとをさらに含む
請求項１７記載の方法。
【請求項１９】
前記所定の目標は、目標性能スコアである
請求項１８記載の方法。
【請求項２０】
前記所定の目標は、ブーストされた分類器に含まれる前記弱分類器の所定数である
請求項１８記載の方法。
【請求項２１】
前記ロジットブーストによりブーストされた分類器は、前記多様体に適用される前記ロジットブーストによりブーストされた分類器の二分木を含むカスケード分類器の集合である
請求項１７記載の方法。
【請求項２２】
前記高次特徴は、対称の外観を有する前記移動物体用の前記訓練データの画像中の対称領域から得られる
請求項１記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には画像集合中の物体の分類に関し、特に分類器を用いる映像中の人間及び車両の検出に関する。
【背景技術】
【０００２】
人間の検出
画像中の人間の検出は、物体検出問題の中でも最も困難な例の一つと考えられている。人体及び衣服の関節構造及び様々な外観は、照明及び姿勢の変化と相まって、問題の複雑度を高めている。
【０００３】
人間の検出方法は、探索方法に基づいて２つのグループに分けることができる。第１のグループは、画像中の全ての可能性のある検出部分窓又は領域に分類器を順次適用することに基づく。ハールウェーブレットを人間の記述子として用いて多項サポートベクターマシン（ＳＶＭ）を訓練することができる（P. Papageorgiou及びT. Poggio著「物体検出用の訓練可能なシステム（A trainable system for object detection）」（Intl. J. of Computer Vision, 38(1):15-33, 2000））。この研究は、人体の部位を検出するように訓練される複数の分類器に展開され、検出窓内の応答が結合されて最終的な判断が下される（A. Mohan、C. Papageorgiou、及びT. Poggio著「例に基づく画像中の構成要素による物体の検出（Example-based object detection in images by components）」（IEEE Trans. Pattern Anal. Machine Intell., 23(4):349-360, 2001））。
【０００４】
画像シーケンスにおいて、リアルタイムで移動する人間の検出方法は、時空間差から抽出されるウェーブレット記述子を用いる（P. Viola、M. Jones、及びD. Snow著「動き及び外観のパターンを用いる歩行者の検出（Detecting pedestrians using patterns of motion and appearance）」（IEEE Conf. on Computer Vision and Pattern Recognition, New York, NY, volume 1, pages 734-741, 2003））。アダブーストを用いて、最も識別性の高い特徴が選択され、複数の分類器が結合されて棄却カスケードを形成し、いずれかの分類器が仮説を棄却すると、その仮説は負の例と見なされるようになっている。
【０００５】
別の人間検出器は、密にサンプリングされた勾配方向ヒストグラムを用いてＳＶＭ分類器を訓練する（N. Dalal及びB. Triggs著「人間検出用の勾配方向ヒストグラム（Histograms of oriented gradients for human detection）」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, pages 886-893, 2005））。
【０００６】
同様の手法では、勾配方向ヒストグラムの特徴を用いてカスケードモデルを訓練することによってリアルタイムに近い検出性能が達成される（Q. Zhu、S. Avidan、M. C. Yeh、及びK. T. Cheng著「勾配方向ヒストグラムのカスケードを用いる高速な人間検出（Fast human detection using a cascade of histograms of oriented gradients）」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, New York, NY, volume 2, pages 1491 - 1498, 2006））。
【０００７】
第２のグループの方法は、共通部分を検出し、これらの部分の局所特徴を幾何学的制約に従って組み立てて、最終的な人間モデルを形成することに基づく。これらの部分は、局所方向特徴の共起により表され、アダブーストを用いて部分毎に別個の検出器を検出することができる。人間の位置は、幾何学的関係に従って結合される部分出現の同時尤度を最大化することによって求めることができる。
【０００８】
混雑したシーンでの人間の検出方法が、B. Leibe、E. Seemann、及びB. Schiele著「混雑したシーンにおける歩行者検出（Pedestrian detection in crowded scenes）」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, pages 878-885, 2005）に記載されている。この方法は、画素毎の尤度に基づくトップダウン分割により局所的な外観の特徴及びそれらの幾何学的関係をグローバルキューと組み合わせる。
【０００９】
共分散特徴が、O. Tuzel、F. Porikli、及びP. Meer著「領域共分散：検出及び分類のための高速記述子（Region covariance: A fast descriptor for detection and classification）」（Proc. European Conf. on Computer Vision, volume 2, pages 589-600, 2006）、並びにPorikli他により２００５年１２月１４日付で出願された米国特許出願第１１／３０５，４２７号「データ特徴から共分散行列を作成する方法（Method for Constructing Covariance Matrices from Data Features）」（本明細書中に参照により援用される）に記載されている。これらの特徴は、照合問題及びテクスチャ分類問題に用いることができ、物体追跡に拡張された（F. Porikli、O. Tuzel、及びP. Meer著「リー代数に基づくモデル更新を用いる共分散追跡（Covariance tracking using model update based on Lie algebra）」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, New York, NY, volume 1, pages 728-735, 2006）、並びにPorikli他により２００６年２月９日付で出願された米国特許出願第１１／３５２，１４５号「共分散行列を用いて映像中の物体を追跡する方法（Method for Tracking Objects in Videos Using Covariance Matrices）」（参照により本明細書中に援用される））。領域は、空間位置、強度、より高次の導関数等の画像特徴の共分散行列により表現された。共分散行列はベクトル空間にないため、従来のマシン技法を用いて分類器を訓練することは適切でない。
【００１０】
対称正定行列（非特異共分散行列）は、連結リーマン多様体として定式化することができる。微分可能多様体上にあるデータ点をクラスタリングする方法が、E. Begelfor及びM. Werman著「アフィン不変性再考（Affine invariance revisited）」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, New York, NY, volume 2, pages 2087-2094, 2006）、R. Subbarao及びP. Meer著「解析多様体上のクラスタリングのための非線形平均シフト（Nonlinear mean shift for clustering over analytic manifolds）」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, New York, NY, volume 1, pages 1168-1175, 2006）、並びにO. Tuzel、R. Subbarao、及びP. Meer著「リー群でのモード発見による複数同時３Ｄ動き推定（Simultaneous multiple 3D motion estimation via mode finding on Lie groups）」（Proc. 10th Intl. Conf. on Computer Vision, Beijing, China, volume 1, pages 18-25, 2005）（参照により本明細書中に援用される）に記載されている。
【００１１】
分類器
データ分類器は、科学分野、研究分野、工学分野、医学分野、経済学分野、及び社会学分野に多くの実用途がある。分類器は、医学的診断、ポートフォリオ分析、信号の復号、ＯＣＲ、音声認識及び顔認識、データマイニング、サーチエンジン、消費者の嗜好選択、指紋認証等に用いることができる。
【００１２】
分類器は、教師あり学習法又は教師なし学習法を用いて訓練することができる。後者の場合、データの先験的知識が一切ない状態でモデルをデータに当てはめる。すなわち、入力データは本質的に、正規分布の確率変数の集合である。本発明は、ラベル付き訓練データから特徴を抽出して、観測値を出力に写像する関数を学習する教師あり学習に関わる。
【００１３】
一般に、分類器は、離散的又は連続的な特徴ＸからラベルＹの離散集合への写像である。例えば、顔認識システムでは、顔の画像から特徴が抽出される。次に分類器が各画像を例えば男性又は女性としてラベル付けする。
【００１４】
線形分類器は、一次関数を用いて特徴を区別する。形式的には、分類器への入力が特徴ベクトル（→）ｘである場合（なお、（→）ｘは、ｘの上に→があることを表す。）、推定ラベルｙは、
【００１５】
【数１】
2008310796.tif 000003
【００１６】
であり、ここで、（→）ｗは重みの実ベクトルであり、ｆは２つのベクトルのドット積を所望の出力に変換する関数である。多くの場合、ｆは、特定の閾値を上回る全ての値を「肯定」に写像し、全ての他の値を「否定」に写像する単純な関数である。
【００１７】
このような２クラス（２値）分類において、線形分類器の動作は高次元入力空間を超平面で「分割する」。超平面の片側の全ての点は「肯定」として分類され、他の点は「否定」として分類される。
【００１８】
線形分類器は、特に特徴ベクトル（→）ｘが疎である時に最も速い分類器であることが多いため、分類速度が問題となる状況で用いられることが多い。
【００１９】
リーマン幾何学
リーマン幾何学は対称正定行列の空間に焦点を置く（W. M. Boothby著「微分可能多様体及びリーマン幾何学入門（An Introduction to Differentiable Manifolds and Riemannian Geometry）」（Academic Press, 2002）（参照により本明細書中に援用される）を参照）。ベクトル空間上にある点を太字の小文字ｘ∈Ｒｍとし、多様体上にある点を太字の大文字Ｘ∈Ｍとする。
【００２０】
リーマン多様体
多様体は、ユークリッド空間に局所的に類似する位相空間である。多様体上の全ての点は近傍を有し、この近傍には同相写像、すなわち、この近傍をＲｍに写像する一対一の連続写像が両方向に存在する。微分可能多様体の場合、多様体上の曲線の導関数を定義することが可能である。
【００２１】
リーマン幾何学では、リーマン多様体（Ｍ，ｇ）は、点間で滑らかに変化する内積ｇを各接ベクトル空間が或る様式で備える実微分可能多様体Ｍである。これにより、曲線の長さ、角度、面積又は体積、曲率、関数の勾配及びベクトル場の発散等の様々な観念を定義することができる。
【００２２】
リーマン多様体は、多様体の滑らかな部分多様体に対して等長なメトリック空間として定義することができる。メトリック空間は、要素間の距離が定義されている集合、例えば、３次元ユークリッド空間である。メトリック空間は、内部メトリックを伴う滑らかな部分多様体Ｒｎに対して等長であり、ここで、等長性は曲線長の保存という意味である。リーマン多様体は、解析用の遷移写像を有する位相多様体である解析多様体の一例である。
【００２３】
リーマン多様体の内積構造は、リーマンメトリックと呼ばれる対称２テンソルの形式で与えられる。リーマンメトリックは、ベクトル及びコベクトルを相互変換するため、及び４階リーマン曲率テンソルを定義するために用いることができる。あらゆる微分可能多様体にリーマン構造を与えることができる。
【００２４】
リーマン多様体をメトリック空間に変えることは非自明である。リーマン多様体は通常「曲線」であるが、多様体にも「直線」の観念、すなわち、曲面上の最短経路に沿った点に局所的に交わる測地線はある。
【００２５】
固定点において、滑らかな多様体Ｍの接束、また実際には多様体上のあらゆるベクトル束はベクトル空間であり、このような各空間は内積を持つことができる。多様体の接束上の内積の集合が、多様体を横断するにつれて滑らかに変化する場合、各接ベクトル空間において点毎にのみ定義された概念を拡張して、多様体の有限領域に関する類似観念を得ることができる。
【００２６】
例えば、滑らかな曲線α（ｔ）：［０，１］→Ｍは、あらゆる点ｔ０∈（０，１）において接ベクトル空間ＴＭ（ｔ０）の接線ベクトルα’（ｔ０）を有し、このようなベクトルはそれぞれ長さ‖α’（ｔ０）‖を有し、ここで、‖・‖は、ＴＭ（ｔ０）上の内積により生じるノルムを示す。これらの長さを積分すると曲線αの長さが得られる。
【００２７】
【数２】
2008310796.tif 000004
【００２８】
多くの場合、線形代数の概念から微分幾何の概念へ移すためには、滑らかさの要件が非常に重要である。Ｒｎの全ての滑らかな部分多様体にはリーマンメトリックｇが伴う。各接ベクトル空間上の内積は、部分多様体Ｒｎ上の内積の制限である。実際に、全てのリーマン多様体はユークリッド空間Ｒｎに等長埋め込みすることができるとするナッシュの埋め込み定理から、全てのリーマン多様体はこのように実現できることになる。
【００２９】
多様体上の点Ｘにおける導関数は、その点における接ベクトル空間であるベクトル空間ＴＸにある。リーマン多様体Ｍは、点間で滑らかに変化する各接ベクトル空間が内積＜，＞Ｘを持つ微分可能多様体である。この内積は、接ベクトル空間上の接線ベクトルからノルムを、‖ｙ‖２ｘ＝＜ｙ，ｙ＞Ｘとなるように生じる。
【００３０】
多様体上の２点を接続する最短曲線は測地線と呼ばれ、点ｄ（Ｘ，Ｙ）間の距離はこの曲線の長さにより与えられる。ｙ∈ＴＸ及びＸ∈Ｍとする。点Ｘから、接線ベクトルｙで始まる固有の測地線が存在する。指数写像ｅｘｐＸ：ＴＸ｜→Ｍはベクトルｙをこの測地線が到達する点に写像し、測地線の距離はｄ（Ｘ，ｅｘｐＸ（ｙ））＝‖ｙ‖Ｘにより与えられる。（なお、｜→は、｜と→が接続している記号を表す。）
【００３１】
一般に、指数写像ｅｘｐＸはＸの近傍における一対一のみである。したがって、逆写像ｌｏｇＸ：Ｍ｜→ＴＸは点Ｘの近傍周辺でのみ一意に定義される。任意のＹ∈Ｍに関して、いくつかのｙ∈ＴＸが存在し、Ｙ＝ｅｘｐＸ（ｙ）となる場合、ｌｏｇＸ（Ｙ）は、最小ノルムを有する接線ベクトルにより与えられる。両演算子は点依存であり、この依存性が下付き文字により明示されることに留意されたい。
【発明の開示】
【課題を解決するための手段】
【００３２】
本発明の実施の形態は、画像中の物体、特に人間及び歩行者を検出する方法を提供する。本方法は共分散行列を物体記述子として用いる。付加的なモーションキューを用いて特定の形式の共分散行列が構築される。これらの記述子はベクトル空間にないため、よく知られた機械学習技法は、物体を検出する分類器の訓練に適していない。ｄ次元非特異共分散行列は連結リーマン多様体として表される。本発明は、探索空間の幾何学に関する先験的情報を組み込むことによってリーマン多様体上の点を分類する。
【００３３】
具体的には、方法は、訓練データから分類器を構築し、訓練された分類器を用いてテストデータ中の移動物体を検出する。訓練データから抽出された低次特徴から高次特徴が生成される。高次特徴は解析多様体上の正定行列である。高次特徴の部分集合が選択され、内部平均行列が求められる。各高次特徴は、内部平均行列を用いて、解析多様体の接ベクトル空間上の特徴ベクトルに写像される。訓練されていない分類器が、特徴ベクトルにより訓練されて、訓練された分類器が得られる。テスト用の高次特徴がテスト用の低次特徴から同様に生成される。テスト用の高次特徴は、訓練された分類器を用いて分類されて、テストデータ中の移動物体が検出される。
【発明の効果】
【００３４】
本発明の実施の形態は、物体記述子としての共分散行列及び訓練方法であるリーマン多様体を利用して画像中の人間を検出する方法を提供する。本方法は、Ｓｙｍ＋ｄに特異的でなく、任意の連結リーマン多様体上にある点に対して分類器を訓練するために用いることができる。
【発明を実施するための最良の形態】
【００３５】
分類器の構築及び分類
図１は、本発明の一実施の形態による、訓練された分類器を構築する方法１００を示す。分類器は、訓練データを用いて構築及び分類される。訓練データとは、本明細書中において、データが既にラベル付けされていることを意味する。訓練データは、（ラベル付き）特徴の抽出と、訓練された分類器の性能の検証又は測定との両方に用いられる。次に、訓練された分類器を用いてテストデータを分類することができる。
【００３６】
訓練データ１０２から低次特徴１０１を抽出する（２００）。低次特徴１０１を用いて高次特徴３０１を生成する（３００）。高次特徴は解析多様体上の正定行列の形式である。
【００３７】
高次特徴３０１の部分集合１１１を選択する（１１０）。選択した高次特徴の部分集合１１１を用いて内部平均共分散行列１２１を求める（１２０）。内部平均共分散行列１２１は、高次特徴の部分集合に対して解析多様体の接ベクトル空間を定義する。接ベクトル空間は局所ユークリッド空間である。内部平均行列を用いて、各高次特徴３０１を多様体の局所ユークリッド空間内の特徴ベクトル１３１に写像（投影）する（１３０）。次に、特徴ベクトル１３１を用いて分類器モデル４１０を訓練し（４００）、訓練された分類器６０１を生成する。
【００３８】
次に、訓練された分類器６０１を用いてテストデータ１０４を分類することができる（１４０）。この分類は、テストデータにラベル１０５を割り当てる。特徴ベクトルがテストデータに関して上述の方法と同様に生成される。
【００３９】
低次特徴の抽出
図２は、一例のテストデータ１０２、例えば画像又は映像に対する抽出（２００）を示す。低次特徴の抽出は、音響信号、医用画像、自然現象からサンプリングされたデータ等といった他のデータに対して行ってもよいことに留意すべきである。
【００４０】
低次特徴１０１は、画素強度、画素の色、並びに勾配２０１、テクスチャ２０２、カラーヒストグラム２０３、及び動きベクトル２０４等の導出低次特徴を含み得る。
【００４１】
高次特徴の生成
低次特徴１０１を用いて解析多様体上の高次特徴３０１を生成する（３００）。好適な実施の形態において、高次特徴は、内部平均行列を用いて接ベクトル空間上に投影されたリーマン多様体上の正定行列である。より具体的には、正定行列は低次特徴の共分散行列である。これは、低次特徴から窓３２０を用いて共分散行列３１１を求めること（３１０）によって行われる。
【００４２】
共分散行列の形式の高次特徴がPorikli他により２００５年１２月１４日付で出願された米国特許出願第１１／３０５，４２７号「データ特徴から共分散行列を作成する方法（Method for Constructing Covariance Metrices from Data Features）」（本明細書中に参照により援用される）に概略されている。
【００４３】
１つ又は複数の軸に沿って対称の物体の場合、本発明では、対応する軸に沿って対称の部分である画像窓に関して高次特徴を構築する。例えば、人間又は顔の場合、物体は、画像の中心を通る垂直線に沿って対称であるため、１つの領域のみでなく、その軸に沿った２つの対称領域において高次特徴を計算する。
【００４４】
共分散記述子
共分散行列は、さもなければ相関し得る複数の低次特徴を結合する自然な方法を提供する。各共分散行列の対角要素は各高次特徴の分散を表し、非対角要素は高次特徴の相関を表す。共分散行列はユークリッド空間にないため、その方法は、正定行列のリー群構造から導かれる、一般化固有値を伴う距離メトリックを用いる。
【００４５】
本発明の一実施の形態による、画像中の人間の検出に適応させる共分散記述子は、次のように説明することができる。１次元強度又は３次元カラー画像をＩとし、画像Ｉから抽出されるＷ×Ｈ×ｄ次元の低次特徴画像を
【００４６】
【数３】
2008310796.tif 000005
【００４７】
とする。ここで、関数Φは、強度、色、勾配、フィルタ応答等といった任意の写像とすることができる。特徴画像Ｆ中の所与の矩形検出窓又は領域Ｒに関して、矩形領域Ｒ内のｄ次元特徴を｛ｚｉ｝ｉ＝１．．Ｓとする。領域Ｒは特徴のｄ×ｄの共分散行列
【００４８】
【数４】
2008310796.tif 000006
【００４９】
で表される。ここで、μは特徴ｚの平均であり、Ｔは転置演算子である。
【００５０】
人間検出問題の場合、本発明では、写像Φ（Ｉ，ｘ，ｙ）を８つ（ｄ＝８）の低次特徴
【００５１】
【数５】
2008310796.tif 000007
【００５２】
として定義する。ここで、ｘ及びｙは画素座標であり、Ｉｘ，Ｉｘｘ，．．は強度導関数であり、ａｒｃｔａｎ（｜Ｉｘ｜／｜Ｉｙ｜）はエッジの向きであり、Ｔは転置演算子である。
【００５３】
異なるタイプ及び数の低次特徴を検出に用いることができる。
【００５４】
定義した写像により、入力画像は、式（３）で定義されるように８次元低次特徴画像Ｆに写像される。領域ｒの共分散記述子は８×８共分散行列ＣＲである。対称性のため、異なる値を３６個だけ有する上三角部分のみを記憶する。記述子は、領域内の定義された特徴の分散、それらの互いの相関、及び空間配置の情報を符号化する。
【００５５】
共分散記述子は積分画像を用いて求めることができる（O. Tuzel、F. Porikli、及びP. Meer著「領域共分散：検出及び分類のための高速記述子（Region covariance: A fast descriptor for detection and classification）」（Proc. European Conf. on Computer Vision, Graz, Austria, volume 2, pages 589-600, 2006）（本明細書中に参照により援用される））。
【００５６】
ｄ（ｄ＋１）／２個の積分画像を構築すると、領域のサイズに関係なく、あらゆる矩形領域の共分散記述子を求めることができる（上記Tuzel他を参照）。任意のサイズの領域Ｒが与えられる場合、部分領域ｒ１，２，．．．，から得ることができる非常に多数の共分散記述子がある。
【００５７】
図３に示すように、積分画像１０２は複数の領域３２１に分割することができる。所与の訓練領域３２１から、形状及びサイズの制約３２２に従って窓３２０の位置を生成する（３２５）。窓毎に、窓３２０内の低次特徴１０１を用いて共分散行列を求める。
【００５８】
検出領域Ｒの幅及び高さの１／１０という最小サイズから開始して、全ての画素位置において、サンプリングを行い部分領域ｒを検討する。部分領域が領域と等しくなる（ｒ＝Ｒ）まで、部分窓ｒのサイズを横方向又は縦方向、又はその両方に沿って１／１０のステップで増分する。
【００５９】
この手法は、重なりのために冗長と思われるかもしれないが、重なり領域は検出性能における重要な要素である。後述するブースト機構により、最良の領域を検索することができる。共分散記述子は照明の変化に対してロバストである。本発明ではこの特性を、画像中の局所的な照明変化も含むように拡張する。
【００６０】
可能性のある特徴部分領域ｒは検出領域Ｒ内にある。上述した積分画像表現を用いて、検出領域ＣＲ及び部分領域Ｃｒの共分散を求める。共分散行列Ｃｒの行及び列を行列ＣＲのそれぞれの対角要素で割ることによって正規化共分散行列を求める。これは、まず領域Ｒ内の特徴ベクトルを、ゼロ平均及び単位標準偏差を持つように正規化し、その後、部分領域ｒの共分散記述子を求めることに等しい。
【００６１】
窓３２０を用いて、リーマン多様体上に共分散行列３１１を構築することができる（３３０）。次に、窓３２０を用いて行列３１１を正規化して（３４０）、高次特徴３０１を作成する。
【００６２】
接ベクトル空間への投影
ｄ×ｄ次元の対称正定行列（非特異共分散行列）Ｓｙｍ＋ｄを連結リーマン多様体として定式化することができ、Ｓｙｍ＋ｄの接ベクトル空間上の不変リーマンメトリックは次のようになる。
【００６３】
【数６】
2008310796.tif 000008
【００６４】
リーマンメトリックに関連する指数写像
【００６５】
【数７】
2008310796.tif 000009
【００６６】
は大域微分同相写像（一対一の上への両方向で連続的に微分可能な写像）である。したがって、対数は多様体上の全ての点において一意に定められる。
【００６７】
【数８】
2008310796.tif 000010
【００６８】
演算子ｅｘｐ及びｌｏｇは従来の行列の指数演算子及び対数演算子である。混乱を避けるために、演算子ｅｘｐＸ及びｌｏｇＸは多様体特有の演算子であり、点依存でもある（Ｘ∈Ｓｙｍ＋ｄ）。Ｓｙｍ＋ｄの接ベクトル空間は、ｄ×ｄの対称行列の空間であり、多様体及び接ベクトル空間は共にｍ＝ｄ（ｄ＋１）／２次元である。
【００６９】
対称行列の場合、従来の行列の指数演算子及び対数演算子は次のように求めることができる。よく知られるように、対称行列の固有値分解はΣ＝ＵＤＵＴである。指数級数は、
【００７０】
【数９】
2008310796.tif 000011
【００７１】
であり、ここで、ｅｘｐ（Ｄ）は固有値の指数関数の対角行列である。同様に、対数は次のようになる。
【００７２】
【数１０】
2008310796.tif 000012
【００７３】
指数演算子は常に定義されるが、対数は正の固有値を有する対称行列Ｓｙｍ＋ｄにのみ存在する。上記の測地線の定義から、Ｓｙｍ＋ｄ上の２点間の距離は、式（６）を式（４）に代入することによって測定する。
【００７４】
【数１１】
2008310796.tif 000013
【００７５】
アフィン不変な距離メトリックの等価形態をＸ及びＹの同時固有値に関して得ることができることに気付く。
【００７６】
接ベクトル空間上の直交座標系をベクトル操作により定義する。点Ｘにおける接ベクトル空間上のベクトルｙの直交座標は写像ベクトル
【００７７】
【数１２】
2008310796.tif 000014
【００７８】
により与えられる。ここで、ｕｐｐｅｒ演算子は行列の上三角部分のベクトル形式を指す。写像ｖｅｃＸは、接ベクトル空間上の式（４）のリーマンメトリックを、Ｒｍ内に規定される正準メトリックに関係付ける。
【００７９】
内部平均共分散行列
本発明では、内部平均共分散行列１２１を求めることによって分類精度を高める。共分散行列はユークリッド幾何学に適合しない。したがって、本発明では、楕円幾何学又はリーマン幾何学を用いる。対称正定（エルミート）行列の平均を求めるには、本発明の共分散行列（高次特徴３０１）等、いくつかの方法が知られている（Pennec他著「テンソル計算のためのリーマン構造（A Riemannian framework for tensor computing）」（Intl. J. of Computer Vision, volume 66, pages 41-66, January 2006）（参照により本明細書中に援用される）を参照）。
【００８０】
リーマン多様体Ｍ上の点の集合を｛Ｘｉ｝ｉ＝１．．．Ｎとする。ユークリッド空間と同様、リーマン多様体上の点のケルヒャー（Karcher）平均は、距離の二乗和を最小化する多様体Ｍ上の点
【００８１】
【数１３】
2008310796.tif 000015
【００８２】
であり、本発明の場合、式（９）の距離メトリックｄ２である。
【００８３】
誤差関数をＹに関して微分し、ゼロに等しくすると、
【００８４】
【数１４】
2008310796.tif 000016
【００８５】
が得られ、勾配降下法を用いて誤差関数の極小値を見付けることができる。この方法は、接ベクトル空間上の平均に対する一次近似を求めることによって繰り返す。本発明では、指数、すなわち接線ベクトルの平均の内部を加重和に変える。
【００８６】
【数１５】
2008310796.tif 000017
【００８７】
図５は、選択するステップ（１１０）及び求めるステップ（１２０）をより詳細に示す。内部平均共分散行列１２１は次のように得る（５００）。所与の窓３２０及びその内部の高次特徴３０１に関して、共分散行列（高次特徴３０１）の部分集合を選択する（５１０）。この部分集合１１１から行列５２１を選択する（５２０）。選択した行列５２１を現参照行列として割り当てる（５３０）。
【００８８】
現参照行列に対して平均対数を求める（５４０）。加重和を求める（５５０）。この加重和を参照行列と比較し（５６０）、変化スコアを求める（５７０）。この変化スコアが何らかの小さな閾値ε（Ｙ）よりも大きい場合、次の行列を選択して割り当てる。
【００８９】
そうではなく大きくない場合（Ｎ）、参照行列を内部平均共分散行列１２１として割り当てる（５９０）。すると、この内部平均共分散行列を用いて、各高次特徴３０１を対応する特徴ベクトル１３１に写像することができる。これらの特徴ベクトルを用いて分類器モデル４１０を訓練する。
【００９０】
リーマン多様体上での分類
訓練用のクラスラベル集合を｛（Ｘｉ，ｙｉ）｝ｉ＝１．．．Ｎとし、ここで、Ｘ∈Ｍであり、ｙｉ∈｛０，１｝である。訓練用のクラスラベル集合に基づいて多様体を２分割する関数Ｆ（Ｘ）：Ｍ｜→｛０，１｝を求めたい。
【００９１】
多様体を分割するこのような関数は、ユークリッド空間における同様の分割と比べて複雑な観念である。例えば、最も単純な形式であるＲ２上の分類器を考える。Ｒ２上の点及び方向ベクトルは、Ｒ２を２つの部分に分割する線を定義する。等価なものとして、２次元微分可能多様体上で、指数写像により多様体上の曲線を定義する、多様体上の点及びこの点の接ベクトル空間上の接線ベクトルを考えることができる。例えば、２Ｄトーラス上の線の画像を考えると、曲線が多様体を２つの部分に分割することは決してできない。
【００９２】
１つの分類方法は多様体を、より高次元のユークリッド空間に写像する。これは、多様体の平坦化として考えることができる。しかし、一般的な場合、多様体上の点間の距離を大域的に保存する写像はない。したがって、平坦化された空間に関して訓練される分類器は、点の大域構造を反映しない。
【００９３】
分類器
図４Ａ〜図４Ｅは、分類器６０１を訓練する代替的な実施の形態を示す。図４Ａは、単一分類器の方法を示す。図４Ｂ及び図４Ｃは、ブーストされた分類器の方法を示す。図４Ｄは、マージンカスケードによりブーストされた分類器の方法を示す。
【００９４】
単一分類器
図４Ａに示すように、単一分類器６０１は以下のように訓練される。内部平均共分散行列を高次特徴３０１から求める（１２０）。この高次特徴３０１を、内部平均共分散行列１２１を用いて接ベクトル空間上に投影し（４１２）、高次特徴を写像する。投影後の行列の固有係数を特徴ベクトル１３１として再構築する（６２０）。利用可能な分類器モデルの中から選択された分類器モデル４１０を用い、この選択された分類器を次に、特徴ベクトル１３１を用いて訓練する。
【００９５】
ブーストされた分類器
図４Ｂは、ブーストされた分類器を訓練するステップを示す。高次特徴３０１の部分集合１１１を選択する（１１０）。選択した高次特徴の部分集合１１１から内部平均共分散行列を求める（１２０）。これらの特徴を用いて、選択された単一分類器を訓練し（６００）、訓練された分類器６０１を作成する。
【００９６】
訓練された分類器を訓練データ１０２の一部に適用し（４２２）、分類器の性能４２５を求めることができる（４２４）。性能が許容可能なものである場合、この分類器を分類器の集合４０１に追加する（４２６）。
【００９７】
次にステップ４２８により、分類器の集合４０１に所望数の分類器が蓄積されるまで追加分類器を評価することができる。訓練すべき分類器毎に異なる高次特徴の部分集合を選択することができることに留意すべきである。この場合、選択された高次特徴の部分集合毎に内部平均共分散行列を求める。
【００９８】
ブースティングのために、図４Ｃに示すように分類器の集合４０１をさらに評価することができる。性能データ４２５を用いて、最良の分類器４３１を選択する（４３０）。この最良の分類器４３１を訓練データ１０２の一部に適用し（４３２）、累積性能４３５を求める（４３４）。ステップ４３６において、累積性能４３５が所定の目標性能よりも低い場合、訓練データの重みを更新し（４３８）、別の分類器を訓練することができる。そうでない場合、ブーストされた分類器の訓練は完了する（４３９）。
【００９９】
本明細書では、接ベクトル空間上でいくつかの弱分類器を訓練し、ブースティングにより弱分類器を結合することによる増分法を記載する。多様体上の近傍から座標チャートに似たユークリッド空間への写像を定義することから始める。本発明の写像は、点Ｘの近傍を接ベクトル空間ＴＸに写像する対数写像ｌｏｇＸである。この写像は、点の近傍周辺の同相写像であるため、多様体の構造は局所的に保存される。接ベクトル空間はベクトル空間であり、本発明では、分類器をこの空間上で訓練する。分類器は、多様体上の任意の点において接ベクトル空間上で訓練することができる。点の平均は、多様体上の距離の二乗和を最小化する。したがって、平均は、一次まで良好な近似である。
【０１００】
各繰り返し中に、点の加重平均を求め、重みはブースティングにより調整する。点を平均において接ベクトル空間に写像し、このベクトル空間上で弱分類器を訓練する。以前のブースティング段階で誤分類されたサンプルの重みは大きくなるため、加重平均はこれらの点に近付き、これらの点に対してより正確な分類器を作成する。この手法は、いくつかの弱分類器を平均化することにより近似誤差を最小化する。
【０１０１】
リーマン多様体上のロジットブースト
ベクトル空間上の従来のロジットブースト法の簡単な説明から始める（J. Friedman、T. Hastie、及びR. Tibshirani著「付加ロジスティック回帰：ブースティングの統計的な考え方（Additive logistic regression: A statistical view of boosting）」（Ann. Statist., 28(2):337-407, 2000）（参照により本明細書中に援用される））。
【０１０２】
２値分類問題ｙｉ∈｛０，１｝を考える。点ｘがクラス１である確率は次式により表される。
【０１０３】
【数１６】
2008310796.tif 000018
【０１０４】
ロジットブースト方法は、データｌ（ｙ，ｐ（ｘ））の負の２項対数尤度を次のようにニュートン反復により最小化することにより回帰関数の集合｛ｆｌ（ｘ）｝ｌ＝１．．．Ｌ（弱関数）を訓練する。
【０１０５】
【数１７】
2008310796.tif 000019
【０１０６】
ロジットブースト方法は、訓練点（特徴）ｘｉ∈Ｒｍの重み付き最小二乗回帰ｆｌ（ｘ）を、重みｗｉの応答値ｚｉ∈Ｒに当てはめる。
【０１０７】
本発明によるリーマン多様体上のロジットブースト方法は、弱関数のレベルで従来のロジットブーストと異なる。本発明の方法では、弱関数の領域はＭにあるため、ｆｌ（Ｘ）：Ｍ｜→Ｒである。上記の説明に従って、接ベクトル空間において、多様体上の点の加重平均で回帰関数を訓練する。弱関数を
【０１０８】
【数１８】
2008310796.tif 000020
【０１０９】
として定義し、関数ｇｌ（ｘ）：Ｒｍ｜→Ｒ及び点の加重平均μｌ∈Ｍを訓練する。式（１０）の写像ベクトルにより接線ベクトルの直交座標が得られることに留意されたい。
【０１１０】
この方法の疑似コードを図７に示す。（＊）印を付けたステップは従来のロジットブースト法と異なる。関数｛ｇｌ｝ｌ＝１．．．Ｌの場合、関数の領域がＲｍにあるため、一次関数、回帰決定木等といった任意の形式の重み付き最小二乗回帰を使用することが可能である。
【０１１１】
入力は、訓練用のクラスラベル集合｛（Ｘｉ，ｙｉ）｝ｉ＝１．．．Ｎであり、ここで、Ｘ∈Ｍ及びｙｉ∈｛０，１｝であり、重みｗｉから始める。次に、ｌ＝１．．．Ｌに関して以下のステップを繰り返す。応答値ｚｉ及び重みｗｉを計算する。次に、点の加重平均μｌを計算する。データ点をμｌにおける接ベクトル空間に写像する。重みｗｉを用いて関数ｇ（ｘ）をｚｉの最小二乗回帰によりｘｉに当てはめ、Ｆ（Ｘ）を更新する。ここで、ｆｌは式（１５）において定義され、ｐ（Ｘ）は式（１３）において定義される。本方法は、分類器ｓｉｇｎ［Ｆ（Ｘ）］＝ｓｉｇｎ［ΣＬｌ＝１ｆｌ（Ｘ）］を出力する。
【０１１２】
調整可能な重みを有するブーストされた分類器
図４Ｄ及び図４Ｅに示すようなマージンカスケード分類器の場合、確率分類器モデル４４１を用い、上述のように、高次特徴３０１を用いて、強力なブーストされた分類器を訓練する（４４０）。強力な訓練されたブーストされた分類器を次に、訓練データ１０２の一部に適用する（４４２）。
【０１１３】
訓練データの正及び負のサンプルをそれらの確率に従って順序付け（４４３）、２つのリスト、すなわち、正のサンプルの正のリストと、負のサンプルの負のリストとを得る。
【０１１４】
次に、正の検出率に対応する正のリスト中の特定の正の例を得る。この正のサンプルを、現在の正の確率として割り当てる。同様に、負のリスト及び負の検出率を用いて、現在の負の確率を求める。
【０１１５】
次に、現在の負の確率を現在の正の確率から引いて現在のギャップを得る（４４４）。分類器の決定閾値を現在の正の確率及び現在の負の確率の和の半分に設定する（４５３）。より詳細に後述する図４Ｅを参照。２つのコスト要因を定義する。いかなる正のサンプルも逃さないコスト（ＣＰ）４５１及び偽陽性サンプルを最小化するコスト（ＣＦＰ）４５２。分類のマージン４４８をユーザが設定するか、又はカスケードになった分類器の検出性能に基づいて調整する。
【０１１６】
マージンを用い、目標マージン４４８並びに目標検出率及び目標棄却率４４９に基づく目標検出率及び目標棄却率のギャップ及び確率４５４を用いて、分類器の決定閾値を求める。この結果を用いて、訓練データ１０２から真の負のサンプルを棄却する（４４６）と共に、偽陽性を負の訓練データとして加える（４４７）。
【０１１７】
マージンの調整
マージンのサイズは分類器の速度及び精度を決める。ステップ４５５において、ＣＰコスト及びＣＦＰコストに基づいてマージンが大きい場合、速度は速いが、結果の精度は低くなる可能性がある。マージンのサイズを小さくすると、分類は遅くなるが、結果の精度は高くなる。いかなる正のサンプルも逃したくない場合、閾値を負のサンプルの方へシフトする（４５６）、すなわち、閾値を下げる。いかなる偽陽性サンプルも検出したくない場合、閾値を正のサンプルの方へシフトして負の訓練サンプルから離す（４５７）、すなわち、閾値を上げる。
【０１１８】
ブーストされた分類器への分類器の追加（４２６）を上述のように、ステップ４４５において現在のギャップがマージンよりも大きくなるまで繰り返す。
【０１１９】
拒否機能（rejector）のカスケード
拒否機能のカスケード及びブースティング構造を使用して、分類プロセスの速度を高める。各拒否機能は、強分類器であり、上述のように加重線形弱分類器の集合から成る。各拒否機能における弱分類器の数は、目標真陽性率及び目標偽陽性率により決まる。各弱分類器は高次元特徴に対応し、高次元入力空間を決定境界（超平面等）により分割する。各弱分類器は、高次元特徴のバッグから単一の高次元特徴に基づいて推定を行う。ブースティングは、訓練データを再重み付けしたものに弱分類器を順次当てはめることによって働く。ジェントルブーストを用いて、ベルヌーイの対数尤度の段階的最適化により付加対数回帰モデルを当てはめる。
【０１２０】
拒否機能のカスケードを用いる人間検出
図８は、本発明のカスケード分類器の一実施の形態を示す。人間検出の場合、Ｓｙｍ＋８上の例えばＫ＝３０個の本発明のロジットブースト分類器８０１を拒否機能カスケードと結合する。弱分類器｛ｇｌ｝ｌ＝１．．．Ｌは、Ｓｙｍ＋８の接ベクトル空間上で訓練される線形回帰関数である。接ベクトル線空間はｍ＝３６次元の空間である。Ｎｐｉ及びＮｎｉを訓練集合中の正の画像数及び負の画像数とする。負の画像からサンプリングされる検出領域又は検出窓は負のサンプルであるため、負の画像数よりも多くの負の例を生成することが可能である。
【０１２１】
ｋ番目のカスケードレベルを訓練しているものと仮定する。前の（ｋ−１）個の分類器のカスケードにより負の訓練画像上の全ての可能性のある検出領域を分類する。誤分類されたサンプルｍは、負の可能性のある集合（正として分類されるサンプル）を形成する。負の可能性のある集合の濃度は非常に高いため、カスケードレベルｋにおいて、この集合からＮｎ＝１００００個の例を負の例としてサンプリングする。全てのカスケードレベルにおいて、全ての正の訓練画像を正の訓練セットとして考える。正の画像の各々に１人の人間がいるため、Ｎｐ＝Ｎｐｉである。
【０１２２】
非常に多数の共分散記述子を単一の検出領域から求めることができる。これらの記述子を全て検査することは計算上困難である。ｋ番目のロジットブーストレベルのブースティングの繰り返し毎に、全ての可能性のある部分領域の中から部分領域をサンプリングし（２００）、上述のように正規化共分散記述子を構築する。各部分領域を表す弱分類器を訓練し、負の２項対数尤度を最小化する最良の分類器をカスケードレベルｋに追加する。
【０１２３】
カスケード検出器の各レベルは、正の例の少なくとも９９．８％を正確に検出し、負の例の少なくとも３５％を棄却するように最適化される。さらに、正のサンプルと決定境界との間にマージン制約を課す。カスケードレベルｋにおいてサンプルが正である可能性をｐｋ（Ｘ）とし、式（１３）を用いて評価する。
【０１２４】
全ての正の例の中で（０．９９８Ｎｐ）番目に大きな確率を有する正の例をＸｐとする。全ての負の例の中で（０．３５Ｎｎ）番目の確率を有する負の例をＸｎとする。ｐｋ（Ｘｐ）−ｐｋ（Ｘｎ）＞ｔｈｂとなるまで、弱分類器をカスケードレベルｋに追加し続ける。閾値をｔｈｂ＝０．２に設定する。
【０１２５】
制約が満たされる場合、ｐｋ（Ｘ）＞ｐｋ（Ｘｐ）−ｔｈｂ＞ｐｋ（Ｘｎ）又は同等のＦｋ（Ｘ）＞Ｆｋ（Ｘｎ）であれば、カスケードレベルｋにより新たなサンプルを正として分類する。本発明の方法では、上位９９．８パーセンタイルのあらゆる正の訓練サンプルが決定境界よりも少なくともｔｈｂだけ高い確率を有する。プロセスは（ｋ＋１）番目のカスケードレベルの訓練に続き、ｋ＝Ｋとなるまで行う。
【０１２６】
この方法は、上述したリーマン多様体上の本発明のロジットブースト分類器の修正形態である。負の集合は検出タスクに対して十分に特徴付けされていないため、正のサンプルのみの加重平均を求める。稀にしか起こらないが、特徴の一部が完全に相関する場合、共分散記述子に特異点がある。本発明では、非常に小さな恒等行列を共分散記述子に追加することによって、これらの場合を無視する。
【０１２７】
共分散記述子内のモーションキューによる物体検出
図６は、本発明の一実施の形態による、モーションキューから高次特徴を求める手順を示す。これらの特徴は、本明細書中に記載するような分類器の訓練、及び物体検出のために用いることができる。
【０１２８】
本発明の実施の形態による画像中の物体の検出に適応させる共分散記述子は、映像データから抽出されるモーションキューも含むことができる。モーションキューは、別のセンサにより提供することができ、又は映像データ自体を解析することによって求めることができる。画素毎の物体の動き情報を低次特徴として組み込む。
【０１２９】
移動カメラを用いるシステムの場合、映像中の見かけの動きは物体及び／又はカメラの動きによるものであり得る。したがって、本発明では、移動カメラからの第１の訓練映像１（６０１）と、固定カメラからの第２の訓練映像２（６０２）とを用いる。
【０１３０】
第１の訓練映像６０１中のカメラの動きを補償して（６１０）、物体による動きのみを得る。これは、連続映像画像を安定化又は位置合わせすることにより行われる。画像の位置合わせはカメラの動きを、パラメトリックな（アフィン、透視射影等の）大域動きモデル、又はノンパラメトリックな密な動き場として与える。いずれの場合も、連続画像を位置合わせする。この結果、安定化画像６１１が得られる。この安定化画像６１１を用いて、シーン中の移動物体を、補償ステップ（６１０）の後に動きの大きな領域として見付ける。
【０１３１】
固定カメラシステムの場合、第２の映像６０２中にカメラの動きはない。よって、補償は必要ない。存在する動きはいずれも物体の動きによるものである。したがって、背景モデル６６２を生成し保持する（６６０）。
【０１３２】
様々なモーションキューを用いる。モーションキューとは、高次特徴を求める（３００）時の付加的な低次特徴である。
【０１３３】
モーションキューの第１の集合を前景６６１から得る。入力画像（移動カメラの場合は安定化画像６１１）を用いて、背景モデル６６２を保持する（６６０）。前景６６１と呼ばれる、シーンの変化した部分は、背景モデル６６２から現画像６６６を比較し減算すること（６６５）によって求められる。前景画素値は、現画像の画素とその画素の背景モデルとの間の距離に対応する。この距離は閾値処理することができる。これらの画素毎の距離をモーションキューの第１の集合として用いる。
【０１３４】
モーションキューの第２の集合を連続画像差分（６２０）により得る。移動カメラシステムの場合には動き補償（安定化）画像６１１である以前の画像のうちの１つ又は複数から現画像を引くことにより、差分画像６２１の数を求める。この減算により画素における強度距離が得られる。強度距離の代わりに、他の距離、例えば勾配の大きさの距離、向きの差も用いることができる。
【０１３５】
現画像と以前の（安定化）画像６１１との間のオプティカルフロー６５１を求めること（６５０）によって動き特徴の第３の集合を計算する。オプティカルフローの算出により、全ての画素において動きベクトルが作成される。次にこの、オプティカルフローベクトルの垂直成分及び水平成分、又はオプティカルフローベクトルの大きさ及び向きの角度を含む動きベクトルを、画素毎のモーションキューとして割り当てる。別法として、オプティカルフローの代わりに、ブロックマッチング又は他の方法により画素毎のモーションベクトルを求める。
【０１３６】
移動物体の検出のために、本発明では、上記の写像関数Φ（Ｉ，ｘ，ｙ）中の低次特徴の中にモーションキューを含める。低次特徴は、上述のように高次特徴を生成する（３００）ために用いることができる。次に、訓練データから得られた高次特徴を用いて、分類器６０１を訓練することができ、一方で、テストデータから同様に得られた高次特徴を用い、訓練された分類器を用いて移動物体を検出することができる。
【０１３７】
試験
テストデータ１０４の分類（１４０）中に、低次特徴を抽出し、上述のように高次特徴を生成するために用いる。高次特徴は最終的に、分類（１４０）のために、上述のように特徴ベクトルに写像される。分類は、テストデータ１０４にラベル１０５を、例えば人間か否かを割り当てる。
【０１３８】
本発明の好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応形態及び修正形態を実施できることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る変形形態及び修正形態を全て網羅することである。
【図面の簡単な説明】
【０１３９】
【図１】本発明の一実施の形態による、テストデータを分類するように分類器を訓練する方法のフロー図である。
【図２】本発明の一実施の形態による、テストデータから低次特徴を抽出する手順のフロー図である。
【図３】本発明の一実施の形態による、低次特徴を高次特徴に変換する手順のフロー図である。
【図４Ａ】本発明の一実施の形態による、分類器を訓練する手順のフロー図である。
【図４Ｂ】本発明の一実施の形態による、分類器を訓練する手順のフロー図である。
【図４Ｃ】本発明の一実施の形態による、分類器を訓練する手順のフロー図である。
【図４Ｄ】本発明の一実施の形態による、分類器を訓練する手順のフロー図である。
【図４Ｅ】本発明の一実施の形態による、分類器を訓練する手順のフロー図である。
【図５】本発明の一実施の形態による、内部平均共分散行列を求める手順のフロー図である。
【図６】本発明の一実施の形態による、モーションキューから高次特徴を求める手順の詳細のフロー図である。
【図７】本発明の一実施の形態による、ロジットブースト分類器を訓練する手順の詳細の疑似コードである。
【図８】本発明の一実施の形態による、物体用のカスケード分類器のブロック図である。
【図１】
2008310796.tif 000021
【図２】
2008310796.tif 000022
【図３】
2008310796.tif 000023
【図４Ａ】
2008310796.tif 000024
【図４Ｂ】
2008310796.tif 000025
【図４Ｃ】
2008310796.tif 000026
【図４Ｄ】
2008310796.tif 000027
【図４Ｅ】
2008310796.tif 000028
【図５】
2008310796.tif 000029
【図６】
2008310796.tif 000030
【図７】
2008310796.tif 000031
【図８】
2008310796.tif 000032
【外国語明細書】
2008310796.tif 000033
2008310796.tif 000034
2008310796.tif 000035
2008310796.tif 000036
2008310796.tif 000037
2008310796.tif 000038
2008310796.tif 000039
2008310796.tif 000040
2008310796.tif 000041
2008310796.tif 000042
2008310796.tif 000043
2008310796.tif 000044
2008310796.tif 000045
2008310796.tif 000046
2008310796.tif 000047
2008310796.tif 000048
2008310796.tif 000049
2008310796.tif 000050
2008310796.tif 000051
2008310796.tif 000052
2008310796.tif 000053
2008310796.tif 000054
2008310796.tif 000055
2008310796.tif 000056
2008310796.tif 000057
2008310796.tif 000058
2008310796.tif 000059
2008310796.tif 000060
2008310796.tif 000061
2008310796.tif 000062
2008310796.tif 000063
2008310796.tif 000064
2008310796.tif 000065
2008310796.tif 000066
2008310796.tif 000067
2008310796.tif 000068
2008310796.tif 000069
2008310796.tif 000070
2008310796.tif 000071
2008310796.tif 000072
2008310796.tif 000073
2008310796.tif 000074
2008310796.tif 000075
2008310796.tif 000076
2008310796.tif 000077
2008310796.tif 000078
2008310796.tif 000079
2008310796.tif 000080