"映像シーケンスの特徴を分類する方法であって、前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、前記対象領域を複数のセルに分割すること、前記複数セルのセル内のオプティックフローのヒストグラムを計算すること、セル対についての前記オプティックフローのヒストグラムを比較すること、前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含む方法。前記対象領域の画像解析を行うことをさらに含み、前記特徴をクラスに割り当てることは、前記画像解析と、前記比較の結果とに基づく請求項1の方法。画像解析を行なうことは、前記対象領域に対応する静止画像について勾配方向ヒストグラムを計算することを含む請求項2の方法。前記特徴をクラスに割り当てることは、ランダム決定森分類器を使用することを含む請求項1乃至3のいずれかの方法。前記特徴をクラスに割り当てることは、前記映像シーケンス中の歩行者に前記特徴が一致するかどうか判断することを含む請求項1乃至4のいずれかの方法。各セルのオプティックフローフィールドは、大きさと方向を示す複数のベクトルを含み、オプティックフローのヒストグラムを計算することは、前記ベクトルの方向に基づいて、セル内のオプティックフローの各ベクトルをビンに割り当てることを含む請求項1乃至5のいずれかの方法。前記フレームの前記オプティックフローフィールドを複数のチャネルとして記憶することをさらに含み、各チャネルは、前記オプティックフローのベクトルの方位範囲に対応する請求項6の方法。前記オプティックフローフィールドは、インテグラルイメージとして記憶される請求項7の方法。各セルの前記オプティックフローフィールドから前記対象領域について全体的に観察されたオプティックフローを減じることにより、前記映像シーケンスのカメラモーション補正を行うことをさらに含む請求項6乃至8のいずれかの方法。コンピュータ上で実行されたとき、映像シーケンスの特徴を分類する命令をプロセッサに実行させるプログラムであって、前記命令は、前記映像シーケンスのフレームの、前記特徴を含んでいる対象領域を選択すること、前記対象領域を複数のセルに分割すること、前記複数セルのセル内のオプティックフローのヒストグラムを計算すること、セル対についての前記オプティックフローのヒストグラムを比較すること、前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てること、を含むプログラム。映像シーケンスのフレームを受け取るように動作可能な入力モジュールと、記憶モジュールと、前記フレームの前記特徴を含んでいる対象領域を選択し、前記対象領域を複数のセルに分割し、前記複数セルのセル内のオプティックフローのヒストグラムを計算し、セル対についての前記オプティックフローのヒストグラムを比較し、前記比較の結果の少なくとも一部に基づいて前記特徴をクラスに割り当てるように動作可能なプロセッサと、前記特徴に割り当てられたクラスを示す情報を出力するように動作可能な出力モジュールと、を具備する映像解析システム。前記プロセッサは、前記対象領域の画像解析を行うように動作可能であって、前記特徴をクラスに割り当てることは、前記画像解析と前記比較の結果とに基づく請求項11のシステム。前記プロセッサは、前記対象領域に対応する、静止画像の勾配方向ヒストグラムを計算することにより画像解析を行なうように動作可能である請求項12のシステム。前記プロセッサは、ランダム決定森分類器を用いて前記特徴をクラスに割り当てるように動作可能である請求項11乃至13のいずれかのシステム。前記プロセッサは、前記特徴が前記映像シーケンスの歩行者に一致するかどうか判断することによって前記特徴をクラスに割り当てるように動作可能である請求項11乃至14のいずれかのシステム。各セルのオプティックフローフィールドは、大きさと方向を示す複数のベクトルを含み、前記プロセッサは、前記ベクトルの方向に基づいて、セル内のオプティックフローの各ベクトルをビンに割り当てることにより、オプティックフローのヒストグラムを計算するように動作可能である請求項11乃至15のいずれかのシステム。前記フレームのオプティックフローフィールドを複数のチャネルとして記憶するためのストレージをさらに具備し、各チャネルは、前記オプティックフローのベクトルの方位範囲に対応する請求項16のシステム。前記オプティックフローフィールドは、インテグラルイメージとして記憶される請求項17のシステム。前記プロセッサは、各セルの前記オプティックフローフィールドから前記対象領域について全体的に観察されたオプティックフローを減じることにより、映像シーケンスのカメラモーションを補償するように動作可能である請求項16乃至18のいずれかのシステム。一実施形態によれば、映像シーケンスの特徴を分類する方法は、映像シーケンスのフレームの、特徴を含んでいる対象領域を選択すること、この対象領域を複数のセルに分割すること、セルによりオプティックフローのヒストグラムを計算すること、セル対についてのオプティックフローのヒストグラムを比較すること、比較の結果の少なくとも一部に基づいて特徴をクラスに割り当てることを含む。この実施形態において、映像シーケンスの特徴は、これらをクラスに割り当てることにより認識される。クラスへの割り当ては、オプティックフローのヒストグラムの比較に基づく。映像シーケンスのフレームについてのオプティックフローフィールドは、フレーム間でのフレーム部分の動きを示す。オプティックフローフィールドは、フレーム間でのフレームの各ピクセルの動きを示すことができる。またオプティックフローフィールドは、フレーム間でのピクセルブロックの動きを示すこともできる。オプティックフローのヒストグラムは、対象領域のセルについて計算される。オプティックフローのヒストグラムを比較することにより、対象領域のさまざまな部分の動きの相関を識別することができる。これらの相関は、映像シーケンスのフレーム中の歩行者のような、特別な特徴の存在を示すことができる。比較の結果、対象領域中の特徴はクラスに割り当てられる。一実施形態によれば、前記方法は、映像シーケンスのフレームについて画像解析を行なうことをさらに含む。画像解析の結果と、オプティックフローのヒストグラム比較の結果とが、特徴を分類するのに用いられる。この実施形態では、映像中の特徴は、動きおよび画像認識結果の両方に基づいて分類される。これは、形状といった静止画像の特性および動きの特性の両方が映像シーケンスの特徴を識別するのに用いられることを意味する。一実施形態によれば、前記画像解析は、対象領域に対応する静止画像について勾配方向ヒストグラムを計算することを含んでいる。勾配方向ヒストグラムは画像中の形を認識する方法である。一実施形態によれば、特徴をクラスに割り当てるためにランダム決定森が用いられる。ランダム決定森は、トレーニングデータを用いて、前記方法を実行するのに先だって訓練される。トレーニングデータは、分類が既知の映像シーケンスの集合に相当する。一実施形態によれば、前記方法は映像シーケンスの歩行者を識別するために用いられる。特徴は、該特徴が歩行者に相当するかどうか判断することによりクラスに割り当てられる。一実施形態によれば、各セルのオプティックフローフィールドは、フレーム間の映像シーケンスのフレーム部分の仮現運動の大きさおよび方向を示すベクトルを含んでいる。オプティックフローのヒストグラムの計算は、ベクトルの方向に基づいて、オプティックフローの各ベクトルをビンに割り当てることを含んでいる。一実施形態によれば、フレームについてのオプティックフローフィールドはチャネルに記憶される。各チャネルは、オプティックフローのベクトルの方位範囲に対応する。一実施形態によれば、オプティックフローフィールドはインテグラルイメージとして記憶される。一実施形態によれば、前記方法は、各セルのオプティックフローフィールドから対象領域について全体的に観察されたオプティックフローを減じることにより、映像シーケンスのカメラモーションを補償すること含んでいる。更なる実施形態によれば、上述の実施形態に従う方法をコンピュータに実行させるためのコンピュータ可読媒体が提供される。更なる実施形態によれば、上述の実施形態に従う方法を実行するための映像解析システムが提供される。図1は、映像シーケンスの特徴を分類するためのデータ処理システム100を示す。データ処理システム100は、プロセッサ102、メモリ104、入力モジュール108および出力モジュール110を含む。メモリ104は、映像シーケンスの特徴を分類するためのプログラム106を記憶する。プログラム106は、プロセッサ102上で実行することができる。入力モジュール108は、解析用の映像シーケンスの入力を受け取って該映像シーケンスの特徴を分類することができる。出力モジュール110は、その分類の結果を出力することができる。該入力モジュールは、映像シーケンスのフレーム間の動きを示すオプティックフローデータを受け取ることができる。あるいは、プロセッサが、入力映像シーケンスからオプティックフローデータを計算するように機能してもよい。入力モジュール108は、ビデオカメラまたは映像レコーダから映像データを受け取ることが可能なデータ接続部とすることができる。入力モジュール108は、インターネットのようなネットワーク上の映像データを受信することができるネットワーク接続部であってもよい。データ処理システム100は、従来型のコンピュータであってもよい。以下では、プログラム106が行う方法について説明する。図2は、映像シーケンスのフレーム中の特徴を分類するための方法のフローチャートを示す。この方法は、特徴のさまざまな部分の動きにおける相関に基づいて映像中の特徴を分類するためにオプティックフローデータを使用する。オプティックフローデータは、映像シーケンスのフレーム間の動きを示すフィールドである。オプティックフローデータは、映像シーケンスの以前のフレームまたは次のフレームについて、フレーム中の各ピクセルの動きを示すことができる。オプティックフローデータは、映像シーケンスのフレーム中のピクセル部分集合の動きを示すことができる。例えば、オプティックフローデータは、フレーム中の1ピクセルおきの動きを示すことができる。オプティックフローフィールドは、フレーム中の点集合の動きの大きさと方向を含んでいる。方法のステップ202は、フレームの対象領域を選択することである。該方法の以下のステップは、この対象領域に適用される。対象領域は、フレームの画像解析を行ない、特徴候補を識別することにより特定してもよい。あるいは、フレーム中の特定サイズを持っているすべての領域を順次に選択してもよい。ステップ204において、対象領域は多数のセルに分割される。ステップ206では、対象領域中の各セルについてオプティックフローのヒストグラムが計算される。オプティックフローのヒストグラムは、セル内の各ピクセルのオプティックフロー、あるいは各オプティックフローフィールド単位のオプティックフローに対し、オプティックフローの方向に応じてビンを割り当てることにより計算される。ステップ208では、セル対のヒストグラムが比較される。該比較の結果を用いることにより、対象領域中の特徴がステップ210において分類される。該分類は、このように対象領域のさまざまな部分の動きの相関に基づく。上記の説明では、分類は方法の結果を示すために使用される。該分類は、2つのクラス例えば歩行者、非歩行者のうちの一方への分類であってもよい。そのような分類体系は、映像シーケンスの歩行者を識別するために使用されるだろう。上述したようにフレーム中のさまざまな点のオプティックフローの比較を解析する方法のことを、以下では共起フローCoFと呼ぶ。CoF法は、映像シーケンス中の歩行者を識別する勾配ヒストグラムHOG法と共に使用することができる。歩行者の検出のためのHOG法は、N.DalalおよびB.Triggs,人検知のための勾配方向ヒストグラムCVPR1,886893頁,2005年に記載されている。この組み合わせた方法において、HOG特徴は、まず配向エッジエネルギー応答の計算を行い、d=8の異なる方位で入力画像とorientedoddGaborフィルタとの畳み込みをとることにより、入力画像から抽出される。このフィルタリングは入力画像全体について行われ、その結果はインテグラルイメージとして記憶される。エリア総和テーブルとしても知られているインテグラルイメージを使用することにより、様々なサイズのウィンドウに関して計算を効率的に行うことができる。j番目の方向のガボールフィルタリングの出力をj=1,...dについてGjと示す。歩行者の識別のために、1:2のアスペクト比を持つ矩形のウィンドウすなわち対象領域が使用される。このウィンドウについては、HOG法に基づく特徴とCoF法に基づく特徴とが計算される。これらの特徴は、フレームの対象領域中のオブジェクトを歩行者あるいは非歩行者に分類するのに当該特徴を利用する、ランダム森分類器のような統計モデルへの入力に用いられる。対象領域の特徴をHOGを用いて計算する処理は以下のとおりである。候補矩形対象領域について、対象領域のサブ領域であるセル、Rが規定される。セルは、各レベルで2l×22ll=0,...,lmaxのセルを持つように、MIPマッピングと同様にマルチレベル型でグリッドワイズに生成される。最も細かいレベルで適切な数としてlmax=3が選ばれる。およそこれは、64×128ピクセルサイズのRについて、最下位レベルの各セルが8×8ピクセルから成ることを示す。セル内の各方位チャネルにおけるガボールフィルタリング{Gj}の出力の和から、1組の特徴要素flm,n∈Rdが計算される。m=1,...,2l,n=1,...,2l1について、レベルlのセルは、wlm,nと呼ばれる。特徴要素の集合は次の式から与えられる。ここで、u,vはR内のローカル座標であり、flm,nは全方向についてのフィルタ出力を用いて正規化される。正規化された特徴は次式から与えられる。多次元のHOG記述子を形成するには、異なるレベルの特徴を連結することによって、より粗いスケールからの出力が組込まれてNG-次元のHOG記述子VGが次式のように形成される。上記のように計算された特徴vGは、共起フローCoF方法を用いて計算された特徴に加え、歩行者または非歩行者のいずれかに映像中の移動オブジェクトを分類するのに用いられる。歩行者識別のために、以下のように特徴を抽出するようCoF法を実施することができる。図3は、特徴を抽出する方法の概略図を示す。例えばM.Werlberger,W.Trobin,T.Pock,A.Wedel,D.Cremers,H.Bischof,異方性フーバーL1オプティカルフローBMVC,2009年に記載された技術を利用することにより、全体画像300について調整されたフローフィールドが計算される。フローフィールド302は、画像300上の多数点におけるオプティックフローの方向および大きさを含んでいる。オプティックフローフィールドは、離散的な方位i=1...bに従って個別のチャネルFiとして記憶され、後にオプティックフローのヒストグラムにおけるビンに用いられる。したがって、チャネルFiは、方向の特定範囲および大きさに対応する出力を表わす。チャネルへの出力は、エリア総和テーブルとしても知られるインテグラルイメージ304として記憶される。これにより画像の対象領域のセルについて効率的にヒストグラムを計算することが可能である。オプティックフローのヒストグラムが、サブ領域306のセルについて計算される。ヒストグラム308は、{Fi}の各チャネルの関心セルwkn,mの領域にわたって和を計算することにより構築される。したがって、ヒストグラムのi番目の要素は次のように計算される。動いているカメラからの映像シーケンスを得る場合、計算されるフローフィールドは、カメラモーションによって影響を受けるだろう。この動きは、ヒストグラムを生成する前に支配的画像フローを減じることにより補償することができる。支配的背景フローは、対象領域サブウインドウR中で全体的に観察されるフローの平均を求めることにより計算される。ヒストグラムのi番目の要素の訂正された値は、次式のように与えられる。ヒストグラムのビンならびにオプティックフローフィールドの方向が記憶される離散的な方位の範囲は、180度あるいは360度をカバーしうる。ただし、フローフィールドが正数、負数の両方で含まれる場合にヒストグラムを計算するのであれば、ビンの範囲は180度である。したがって、例えば、30度の方向を有するフィールドが、異符号の270度におけるフィールドと同じビンに含まれるだろう。ビンが360度にまたがるときに、各ビンの角度範囲は2倍になり、大きさのみがヒストグラムの計算に用いられることになる。その後、R内のセル対についてヒストグラム308の比較がなされる。L1ノルム310を使用して、各セル対はスカラー値を出力する。該スカラー値を合成してCoF特徴ベクトル312を生成する。ビンが360度をカバーする場合、ヒストグラムの比較がヒストグラム交差を用いて行なわれ、各ビン対の比較和から計算されたスカラー値を与える。ある領域のCoF特徴ベクトルおよびHOG特徴ベクトルは、対象領域内の特徴を分類するためにランダム決定森に基づいた分類器に入力される。独立した2つのランダム森がCoF特徴およびHOG特徴をそれぞれ用いて訓練される。クラス確率分布は、当該2つのランダム森のすべての木にわたって該ランダム森の葉ノードにおいて合成される。図4は、上述の共起フロー法の単独使用CoFのみ、勾配方向ヒストグラム法の単独使用HOGのみ、図3を参照して説明したCoF法とHOG法を組み合わせて用いることにより歩行者を検出する方法の使用HOGとCoFによる、映像シーケンス中の歩行者検出結果の比較を示す。図4から分かるように、各法のいずれかを単独の場合に比べて、CoF法とHOG法を組み合わせた方法は、うまく機能する。図5は、aHOG単独使用、bCoF単独使用、dHOGとCoFの組み合わせ使用による、歩行者検出の2つの事例を示す。また図5は、CoF法において使用されるオプティックフローcを示す。オプティックフローは、大きさによって色分けされている。図5a、bおよびdにおいて、紫モノクロ画像では黒色の箱は歩行者であるとして検出された特徴を示し、緑モノクロ画像では白色の箱は歩行者として検出されるべきだった特徴を示す。図5の上部の画像中で示される例において、スーツケースを持った路上の女性をHOGは逃しているが、CoFは検出している。CoFは、例えば道を横断するときのように動いている歩行者を発見することが可能な歩行者検出の重要なアプリケーションであることに留意されたい。しかし、CoF法は静止している歩行者を検出しないHOGでは検出される。図5の下部の画像において、CoF法は、フレームの右手側に向かって歩いている人を検出する。これをHOGは逃しているが、恐らく歩行者のズボンが暗い色であることも相まって背景が暗いことによるものである。このように、2つの方法を組合せて利用することにより、役割の範囲において歩行者を発見することができる。したがって、本出願で説明した方法は、勾配ヒストグラムのような既知の方法をコンプリメントするものである。図6は、歩行者検出システムを示す。歩行者検出システム600は、ビデオカメラ610および映像解析モジュール620を有する。該映像解析モジュールは、オプティックフローフィールド計算機622と、対象領域選別器624と、フローの共起ベクトル計算機626と、勾配方向ヒストグラムベクトル計算機628と、分類器630とを有する。分類器は、2つのランダム決定森、すなわちフローの共起決定森632と勾配方向ヒストグラム決定森634とを記憶する。解析モジュールは、出力モジュール640に付随している。出力モジュールは、ビデオカメラ610によって記録された映像シーケンスを歩行者を強調して表示するビデオスクリーンであってもよい。出力モジュールは、歩行者の接近を示す信号を出力してもよいし、あるいは特定のポイントを通過する歩行者数の統計を収集するのに用いられる信号を出力してもよい。歩行者検出システム600を自走車両内部に統合してもよい。この応用例では、ビデオカメラ610は自走車両の進行方向に向けられる。多数のカメラを自走車両上に配置し、個々のカメラからの出力を常に解析モジュール620によって監視してもよい。あるいは、自走車両の移動方向によってビデオカメラのうちのいずれか1台に切り替えるよう解析モジュールを構成してもよい。使用時において、ビデオカメラ610は、自走車両の移動方向の視野の映像シーケンスを捕らえる。オプティックフロー計算機622は、映像シーケンスのフレームのオプティックフローフィールドを計算する。対象領域選別器624は、該映像シーケンスのフレームの対象領域を選択する。対象領域は、上述した勾配方向ヒストグラム法を用いて映像シーケンスのフレーム解析を行なうことにより選択される。対象領域について、フローの共起ベクトル計算機626は、オプティカルフローの共起のベクトルを計算する。フローの共起ベクトル計算機626は、フローの共起ベクトルを計算する場合に、対象領域における支配的なフローを減じることにより映像シーケンスにおける車両の動きを補償する。該ベクトルは、対象領域のベルに関してオプティックフローのヒストグラムを比較することにより計算される。また勾配方向ヒストグラムベクトル計算機628は、対象領域のベクトルを計算する。フローの共起ベクトル計算機626によって計算されたベクトル、および勾配方向ヒストグラムベクトル計算機628によって計算されたベクトルは、分類器630に入力される。分類器630は、該ベクトルを用いて対象領域中の特徴を歩行者あるいは非歩行者に分類する。分類器630は、記憶されたランダム決定森632および634を用い、該ベクトルを歩行者あるいは非歩行者のいずれかに関連づけるものとして分類する。出力モジュール640は、映像シーケンスの各フレームについて、歩行者の存在または不存在を示す信号を出力する。この出力信号は、歩行者が強調された映像シーケンスであってもよい。この映像シーケンスを、自走車両のドライバーが見ることのできるビデオスクリーンに表示してもよい。該出力信号は、自走車両の進路内の歩行者の存在についてドライバーに警報するよう警報器を動作させてもよい。該出力信号が、自動車の操縦装置に直接接続されていて、歩行者の接近により、当該自動車に速度を低下させ、あるいは進路を転換させてもよい。歩行者検出システム600がショッピングセンターや駅のような公共建造物における歩行者監視システムに統合されてもよい。ビデオカメラは、建物に入る歩行者や建物から出る歩行者の視界に固定されうる。出力信号は、常に、建物に入る歩行者と建物から出る歩行者の数を示すことができる。したがって、歩行者検出システムは、建物への訪問者数の統計値を得ることができ、建物の内部にいる人々の数を常に算出することができる。ヒストグラム比較結果に基づく映像シーケンスの特徴分類には、ランダム決定森に代えて他の統計分類器を用いてもよい。例えば、サポートベクトルマシンSVMのような線形分類器を使用してもよい。エイダブーストAdaBoostによって訓練された分類器を使用することもできる。フレームの静的な特徴解析における特徴分類のために、さまざまなタイプの分類器を用いてもよい。例えば、HOGを使用した解析中に、線形分類器あるいはブースティングされた分類器を使用してもよい。いくつかの実施形態を説明したが、これらの実施形態は例示のみを目的としており、発明の範囲を制限することは意図されていない。実際には、本明細書で説明した新規の方法およびシステムは他の様々な形で具体化することができ、更に、発明の趣旨から逸脱しない範囲で、本明細書で説明した方法およびシステムの構造における様々な省略置換および変更をなしてもよい。添付の特許請求の範囲およびその均等物は、発明の範囲および趣旨に含まれる構造あるいは改良に及ぶことが意図される。"