(57)【要約】【課題】  映像中の物体のカテゴリを識別する際の、似て非なるカテゴリの識別率の向上を目的とする。【解決手段】  第一の特徴量算出部111は、動画シーケンスから第一の特徴量を抽出する。多様体学習部112は、第一の特徴量を次元圧縮し、次元圧縮された第一の特徴量の部分集合と、当該次元圧縮に対応する射影行列を生成する。第二の特徴量算出部113は、部分集合の代表点に基づき、次元圧縮された第一の特徴量の分布を示す第二の特徴量を算出する。学習部114は、第二の特徴量を用いて識別パラメータを学習する。識別部12は、射影行列および識別パラメータを用いて、映像中の物体のカテゴリを識別する。【選択図】  図1
2015133085.tif 000002
【特許請求の範囲】
【請求項１】
動画シーケンスから第一の特徴量を抽出する第一の抽出手段と、
前記第一の特徴量を次元圧縮する圧縮手段と、
前記次元圧縮された第一の特徴量の部分集合と、当該次元圧縮に対応する射影行列とを生成する生成手段と、
前記部分集合の代表点に基づき、前記次元圧縮された第一の特徴量の分布を示す第二の特徴量を算出する第一の算出手段と、
前記第二の特徴量を用いて識別パラメータを学習する学習手段と、
前記射影行列および前記識別パラメータを用いて、映像中の物体のカテゴリを識別する識別手段とを有する情報処理装置。
【請求項２】
前記第一の抽出手段は、前記第一の特徴量として複数種類の特徴量を抽出する請求項1に記載された情報処理装置。
【請求項３】
前記生成手段は、前記次元圧縮された特徴量を真値として、前記特徴量を低次元空間に射影する射影行列を生成する請求項1または請求項2に記載された情報処理装置。
【請求項４】
前記生成手段は、前記次元圧縮された特徴量のベクトル量子化データを前記部分集合とする請求項1から請求項3の何れか一項に記載された情報処理装置。
【請求項５】
前記生成手段は、前記次元圧縮された特徴量のクラスタリングデータを前記部分集合とする請求項1から請求項3の何れか一項に記載された情報処理装置。
【請求項６】
前記第一の算出手段は、各部分集合の代表点を算出する手段と、
ビンとして前記代表点を原点からの距離の順に配列したヒストグラムを決定する手段と、
前記次元圧縮された第一の特徴量それぞれについて、当該特徴量との間の距離が最短のビンに投票したヒストグラムを前記第二の特徴量として生成する手段とを有する請求項1から請求項5の何れか一項に記載された情報処理装置。
【請求項７】
前記第一の算出手段は、さらに、前記生成されたヒストグラムを正規化する手段を有する請求項6に記載された情報処理装置。
【請求項８】
前記学習手段は、前記第二の特徴量を用いて、識別対象カテゴリごとの識別パラメータを学習する請求項1から請求項7の何れか一項に記載された情報処理装置。
【請求項９】
前記識別手段は、識別対象の動画シーケンスから輝度の勾配に関係する第三の特徴量を抽出する第二の抽出手段と、
前記射影行列を用いて、前記第三の特徴量を低次元空間に射影する射影手段と、
前記低次元空間に射影された第三の特徴量の分布を示す第四の特徴量を算出する第二の算出手段と、
前記識別パラメータおよび前記第四の特徴量に基づき、前記識別対象の動画シーケンスから前記物体のカテゴリを識別する認識手段を有する請求項1から請求項8の何れか一項に記載された情報処理装置。
【請求項１０】
動画シーケンスから第一の特徴量を抽出する抽出手段と、
前記第一の特徴量を次元圧縮する圧縮手段と、
前記次元圧縮された第一の特徴量の部分集合を生成する生成手段と、
前記部分集合の境界を学習して、前記部分集合ごとの識別パラメータを生成する学習手段と、
前記第一の特徴量に対する、前記部分集合に属す識別カテゴリの重みを行列要素とする重み行列を算出する算出手段と、
前記識別パラメータおよび前記重み行列を用いて、映像中の物体のカテゴリを識別する識別手段とを有する情報処理装置。
【請求項１１】
前記識別手段は、識別対象の動画シーケンスから第二の特徴量を抽出する第二の抽出手段と、
前記識別パラメータ、前記重み行列および前記第二の特徴量に基づき、前記識別対象の動画シーケンスから前記物体のカテゴリを識別する認識手段を有する請求項10に記載された情報処理装置。
【請求項１２】
前記識別手段は、前記物体のカテゴリとして前記物体の行動カテゴリを識別する請求項1から請求項11の何れか一項に記載された情報処理装置。
【請求項１３】
前記第二の特徴量は輝度の勾配に関係する特徴量である請求項11または請求項12に記載された情報処理装置。
【請求項１４】
前記第位一の特徴量は輝度の勾配に関係する特徴量である請求項1から請求項13の何れか一項に記載された情報処理装置。
【請求項１５】
抽出手段、圧縮手段、生成手段、算出手段、学習手段、識別手段を有する情報処理装置の情報処理方法であって、
前記抽出手段が、動画シーケンスから第一の特徴量を抽出し、
前記圧縮手段が、前記第一の特徴量を次元圧縮し、
前記生成手段が、前記次元圧縮された第一の特徴量の部分集合と、当該次元圧縮に対応する射影行列とを生成し、
前記算出手段が、前記部分集合の代表点に基づき、前記次元圧縮された第一の特徴量の分布を示す第二の特徴量を算し、
前記学習手段が、前記第二の特徴量を用いて識別パラメータを学習し、
前記識別手段が、前記射影行列および前記識別パラメータを用いて、映像中の物体のカテゴリを識別する情報処理方法。
【請求項１６】
抽出手段、圧縮手段、生成手段、学習手段、算出手段、識別手段を有する情報処理装置の情報処理方法であって、
前記抽出手段が、動画シーケンスから第一の特徴量を抽出し、
前記圧縮手段が、前記第一の特徴量を次元圧縮し、
前記生成手段が、前記次元圧縮された第一の特徴量の部分集合を生成し、
前記学習手段が、前記部分集合の境界を学習して、前記部分集合ごとの識別パラメータを生成し、
前記算出手段が、前記第一の特徴量に対する、前記部分集合に属す識別カテゴリの重みを行列要素とする重み行列を算出し、
前記識別手段が、前記識別パラメータおよび前記重み行列を用いて、映像中の物体のカテゴリを識別する情報処理方法。
【請求項１７】
コンピュータを請求項1から請求項14の何れか一項に記載された情報処理装置の各手段として機能させるためのプログラム。
【請求項１８】
請求項17に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中の物体のカテゴリを識別する情報処理に関する。
【背景技術】
【０００２】
映像中の人物の複数カテゴリの認識手法として、例えば特許文献1に示されるような手法が提案されている。特許文献1の手法は、画像データに対して次元圧縮を施し、低次元データを抽出し、抽出した低次元データをクラスタリングして、映像中の複数カテゴリ（人物の年齢）を認識する。
【０００３】
しかし、特許文献1の手法は主成分分析、局所性保存射影、線形判別分析など、入力データの特徴空間における線形性を仮定した次元圧縮を用いるため、似て非なるカテゴリを識別することが困難である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2010-257409号公報
【非特許文献】
【０００５】
【非特許文献１】Heng Wang、Alexander Klaser、Cordelia Schmid、Cheng-Lin Liu「Action recognition by dense trajectories」CVPR 2011: 3169-3176頁
【非特許文献２】N. Dalal、B. Triggs「Histograms of oriented gradients for human detection」In CVPR、2005年
【非特許文献３】I. Laptev、M. Marsza.ek、C. Schmid、B. Rozenfeld「Learning realistic human actions from movies」In CVPR、2008年
【非特許文献４】N. Dalal、B. Triggs、C. Schmid「Human detection using oriented histograms of flow and appearance」In ECCV、2006年
【非特許文献５】S. Roweis、L. Saul「Non linear dimensionality reduction by locally linear embedding」Science、Vol. 290、No. 5500、2323-2326頁、2000年12月22日
【非特許文献６】J. B. Tenenbaum、V. deSilva、J. C. Langford「A global geometric framework for nonlinear dimensionality reduction」Science、290: 2319-2323頁、2000年
【非特許文献７】P. S. Bradley、U. M. Fayyad「Refining Initial Points for K-Means Clustering」in Proceedings of the 15th International Conference on Machine Learning、91-99頁、1998年
【非特許文献８】Y. Cheng「Mean shift mode seeking, and clustering」IEEE Trans. Pattern Anal. and Machine Intell.、17(8): 790-799頁、1995年
【非特許文献９】Kohonen T.「Self-organizing formation of topologically correct feature maps」Biol Cybern 43: 59-69頁、1982年
【非特許文献１０】Y. Linde、A. Buzo、R. M. Gray「An Algorithm for Vector Quantizer Design」IEEE Trans. on Communications、Vol. 28、No. 1、84-95頁、1980年
【非特許文献１１】V. Vapnik「The Nature of Statistical Learning Theory」Springer、1995年
【非特許文献１２】Minsky M.、Papert S.「Perceptrons」MIT Press、1969年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、映像中の物体のカテゴリを識別する際の、似て非なるカテゴリの識別率の向上を目的とする。
【課題を解決するための手段】
【０００７】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００８】
本発明にかかる情報処理は、動画シーケンスから第一の特徴量を抽出し、前記第一の特徴量を次元圧縮し、前記次元圧縮された第一の特徴量の部分集合と、当該次元圧縮に対応する射影行列とを生成し、前記部分集合の代表点に基づき、前記次元圧縮された第一の特徴量の分布を示す第二の特徴量を算出し、前記第二の特徴量を用いて識別パラメータを学習し、前記射影行列および前記識別パラメータを用いて、映像中の物体のカテゴリを識別する。
【発明の効果】
【０００９】
本発明によれば、映像中の物体のカテゴリを識別する際に、似て非なるカテゴリの識別率を向上することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例1の行動認識処理を行う情報処理装置（行動認識装置）の構成例を示すブロック図。
【図２】学習部11と識別部12の処理の概要を説明するフローチャート。
【図３】特徴量の次元削減（次元圧縮）を示す図。
【図４】部分集合の一例を示す図。
【図５】部分集合の代表点の一例を示す図。
【図６】ヒストグラムの一例を示す図。
【図７】射影部による射影を説明する図。
【図８】実施例2の行動認識装置の構成例を示すブロック図。
【図９】次元削減（次元圧縮）を示す図。
【図１０】部分集合の一例を示す図。
【図１１】部分集合の代表点の一例を示す図。
【図１２】ヒストグラムの一例を示す図。
【図１３】連結されたヒストグラムの一例を示す。
【図１４】射影部による射影を説明する図。
【図１５】実施例3の行動認識装置の構成例を示すブロック図。
【図１６】部分集合の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明にかかる実施例の情報処理を図面を参照して詳細に説明する。
【実施例１】
【００１２】
［装置の概要］
図1のブロック図により実施例1の行動認識処理を行う情報処理装置（以下、行動認識装置）の構成例を示す。なお、行動認識装置は半導体集積回路(LSI)を用いて実現される。
【００１３】
行動認識装置は、学習部11と識別部12を有し、これら構成は行動認識装置の機能にそれぞれ対応する。図2のフローチャートにより学習部11と識別部12の処理の概要を説明する。なお、図2に示す処理を実行するプログラムをコンピュータ機器に供給して行動認識装置を実現することも可能である。
【００１４】
行動認識装置は、時間的に連続する複数の静止画像（以下、動画シーケンス）を入力して(S11)、動画シーケンスから例えば輝度の勾配に関係する第一の特徴量を算出する(S12)。そして、学習モードにおいて(S13)、第一の特徴量の次元を圧縮し(S14)、次元圧縮によって得られる低次元空間の第一の特徴量の部分集合に基づき第二の特徴量を算出する(S15)。また、行動認識装置は、低次元空間の第一の特徴量を真値とする射影行列を算出し、所定の記憶領域に格納する(S16)。さらに、行動認識装置は、第二の特徴量に基づき識別対象カテゴリごとの識別パラメータを学習し(S18)、学習した識別パラメータを所定の記憶領域に格納する(S19)。以上が学習部11の処理の概要である。
【００１５】
一方、識別モードにおいて(S13)、行動認識装置は、所定の記憶領域に格納された射影行列を用いて第一の特徴量の次元を圧縮し(S17)、次元圧縮によって得られる低次元空間の第一の特徴量の部分集合に基づき、第二の特徴量を算出する(S15)。また、行動認識装置は、所定の記憶領域に格納された識別対象カテゴリごとの識別パラメータを用いて識別を行う(S20)。以上が認識部12の処理の概要である。
【００１６】
行動認識装置によって得られる映像中の物体（例えば人物）の行動認識結果は、行動認識装置の上位階層（アプリケーション層）に伝達される。そして、行動認識結果は、監視カメラに実装される異常行動検出機能や、DVDレコーダや家庭用ビデオカメラなどに実装されるビデオセグメンテーション機能など、様々な映像情報処理アプリケーションに利用される。
【００１７】
識別対象カテゴリとしては、例えば、人間の「走る」「ジョギングする」「歩く」「這う」「立つ」「座る」「うずくまる」「倒れる」などの行動カテゴリが挙げられる。
【００１８】
●学習部11
図1に示すように、学習部11は、学習部11の各処理に対応する第一の特徴量算出部111、多様体学習部112、第二の特徴量算出部113、学習部114を有する。
【００１９】
第一の特徴量算出部111において、算出部1111は、識別対象カテゴリごとに、時間的に連続した複数の静止画像（以下、動画シーケンス）を入力し、所定の特徴量を抽出する。特徴量としては、例えば、非特許文献1のHistograms of Oriented Gradients (HOG)、非特許文献2のHistograms of Flow (HOF)、非特許文献3のMotion Boundary Histogram (MBH)などがある。
【００２０】
HOGは、物体を認識するために局所領域における輝度の勾配方向をヒストグラム化した勾配ベースの特徴量（輝度勾配ヒストグラム）である。HOGは、映像中から歩行者や人工物などの物体を検出するために使われ、輝度勾配ヒストグラム（物体のみえから得られる角度ごとのヒストグラム）のビンに輝度強度が累積される。つまり、画像の局所領域の輝度の勾配方向ごとの強度に着目する特徴量である。
【００２１】
HOFは、カメラと物体の距離に応じて観測される画像上の動きベクトルを局所領域においてヒストグラム化し、近隣の領域で作成したヒストグラムとの差分を抽出した特徴量であり、輝度の時系列の勾配強度に着目する特徴量である。
【００２２】
MBHは、オプティカルフローの水平、垂直各成分の局所勾配が表す動きの境界のヒストグラムを生成して、動きの軌道の時空間的コンテキストを表現する特徴量である。なお、第一の特徴量としては、輝度の勾配に限らず、輝度値そのものを用いてもよいし、色に基づく特徴量などを用いてもよい。
【００２３】
算出部1111が抽出した特徴量は、第一の特徴量として、特徴量格納部1112に一時格納される。特徴量格納部1112は、多様体学習部112の要求に応じて、第一の特徴量を多様体学習部112に出力する。
【００２４】
多様体学習部112において、次元削減部1121は、第一の特徴量算出部111が算出した第一の特徴量を入力し、第一の特徴量に多様体学習による次元削減を施し、次元削減した第一の特徴量を部分集合生成部1122に出力する。多様体学習による次元削減には、例えば、非特許文献5のLLEや非特許文献6のisomapを用いる。図3により特徴量の次元削減（次元圧縮）を示す。図3(a)は第一の特徴量算出部111が抽出した第一の特徴量を示し、図3(b)は次元が圧縮（削減）された第一の特徴量を示す。
【００２５】
また、多様体学習部112は、第一の特徴量算出部111が抽出した第一の特徴量を真値として、別の新たな第一の特徴量が入力された場合、多様体学習を行わずに行列演算のみで次元削減結果が得られるように射影行列を算出する。つまり、図3(a)に対する図3(b)の射影行列が算出され、射影行列は識別部12に出力される。なお、射影行列は、例えば線形回帰分析を用いて算出する。
【００２６】
部分集合生成部1122は、次元削減部1121から低次元空間の第一の特徴量を入力し、機械学習によるクラスタ解析やベクトル量子化、あるいは、自己組織化写像などを適用して、複数の部分集合を生成する。部分集合は、例えば、低次元空間の第一の特徴量のベクトル量子化データまたはクラスタリングデータである。機械学習の手法には、例えば、非特許文献7のK-means、非特許文献8のMean shift、非特許文献9のSOM、非特許文献10のLinde-Buzo-Grayアルゴリズムを用いる。図4に部分集合の一例を示す。図4(a)は次元圧縮後の第一の特徴量を示し、図4(b)はクラスタ解析により第一の特徴量が複数の部分集合に区分された状態を示す。
【００２７】
第二の特徴量算出部113において、ヒストグラムビン決定部1131は、部分集合生成部1122が生成した部分集合を入力する。そして、各部分集合の代表点（重心、部分集合内の単位面積当りの点群の密度が最大点、または、部分集合内から無作為に選択した点など）の座標を算出して、ヒストグラム生成部1132に出力する。図5に部分集合の代表点の一例を示す。図5(a)は複数の部分集合を示し、図5(b)は算出された部分集合の代表点（×記号）を示す。
【００２８】
ヒストグラム生成部1132は、ヒストグラムビン決定部1131から入力される部分集合の代表点の座標を例えば原点からの距離の昇順（または降順）に配列してヒストグラムビンとするヒストグラムを生成する。図6にヒストグラムの一例を示す。図6(a)は部分集合の代表点G(C1)、G(C2)、…、G(C7)を示し、図6(b)は生成されるヒストグラムを示す。詳細な手順は次のとおりである。
手順1：学習用として与えられた動画シーケンスに第一の特徴量算出部111および多様体学習部112を適用して、低次元空間の第一の特徴量を算出する。
手順2：算出した低次元空間の第一の特徴量と全部分集合の代表点の座標の間のユークリッド距離を算出する。
手順3：算出したユークリッド距離が最小の代表点（最短の代表点）の座標を特定し、この代表点の座標に対応するヒストグラムビンに投票する。例えば、第一の特徴量が図6(a)に示す点Pで与えられた場合、代表点G(C5)との間のユークリッド距離が最小であり、図6(b)に示すヒストグラムビンG(C5)に投票する。
手順4：手順1〜3を、学習用に与えられたすべての動画シーケンスに適用して、複数のヒストグラムを生成する。
【００２９】
ヒストグラム正規化部1133は、各学習用動画シーケンスに対応するヒストグラムについて、その頻度値の合計が1になるようにヒストグラムを正規化したヒストグラムを第二の特徴量として学習部114に出力する。
【００３０】
学習部114において、パラメータ学習部1141は、第二の特徴量算出部113から第二の特徴量を入力し、識別対象カテゴリごとの識別パラメータを学習する。ある識別対象カテゴリの識別パラメータの学習は、当該カテゴリの第二の特徴量をポジティブデータ、その他の第二の特徴量をネガティブデータとし、例えば非特許文献11のサポートベクタマシン(SVM)や非特許文献12のパーセプトロンを用いて行われる。パラメータ格納部1142は、識別対象カテゴリごとの識別パラメータを一時格納し、識別部12からの要求に応じて、識別対象カテゴリごとの識別パラメータを出力する。
【００３１】
●認識部12
図1に示すように、識別部12は、識別部12の各処理に対応する第一の特徴量算出部121、射影部122、第二の特徴量算出部123、識別部124を有す。
【００３２】
第一の特徴量算出部121は、学習部11の第一の特徴量算出部111と同様の構成を有し、識別対象の動画シーケンスから第一の特徴量を抽出する。抽出された特徴量は、学習部11と同様に、第一の特徴量として、特徴量格納部1112と同様のメモリ領域に一時格納され、射影部122の要求に応じて、第一の特徴量が射影部122に出力される。
【００３３】
射影部122は、学習部11の多様体学習部112において予め算出された射影行列を用いて、第一の特徴量算出部121が抽出した第一の特徴量を低次元空間に射影する。図7により射影部122による射影を説明する。図7(a)は第一の特徴量算出部121が抽出した第一の特徴量を示し、図7(b)は射影により次元が圧縮（削減）された第一の特徴量を示す。
【００３４】
第二の特徴量算出部123は、学習部11の第二の特徴量算出部113と同様の構成を有し、射影部122から入力した低次元空間の第一の特徴量から、例えば、第一の特徴量の分布を示すヒストグラムを算出する。そして、当該ヒストグラムを第二の特徴量として識別部124に出力する。
【００３５】
識別部124は、第二の特徴量算出部123から第二の特徴量を入力し、学習部11の学習部114において予め学習された識別対象カテゴリごとの識別パラメータを入力する。そして、第二の特徴量と識別パラメータを用いて、識別部12に入力される、カテゴリが未知の識別対象の動画シーケンスのカテゴリを識別する。なお、識別パラメータは、例えば、サポートベクトルマシンやパーセプトロンを用いる場合は識別関数の重みベクトルである。
【００３６】
識別部124の行動認識結果は、映像中の物体（例えば人物）の動作や行動を示し、行動認識装置の上位階層（アプリケーション層）に伝達される。例えば、監視カメラ、DVDレコーダ、家庭用ビデオカメラにおいて、映像中の物体の動作や行動を認識し、予め用意されたデータベースと比較して、特定シーンを検出する機能を想定する。この場合、上位階層は、行動認識装置を制御するCPUや、上記機能のプログラムを実行するCPUなどである。また、上記機能としては、監視カメラに実装される異常行動検出機能、DVDレコーダや家庭用ビデオカメラなどに実装されるビデオセグメンテーション機能などが挙げられる。
【００３７】
このように、学習部11により、学習用として与えられた動画シーケンスの第二の特徴量を生成し、識別対象カテゴリごとの識別パラメータを学習する。その後、識別部12により、学習部11において学習された識別対象カテゴリごとの識別パラメータを用いて、カテゴリが未知の動画シーケンスのカテゴリを識別する。従って、例えば、歩く、ジョギング、走るなどの、似て非なる識別カテゴリの識別率を向上させることができる。
【実施例２】
【００３８】
以下、本発明にかかる実施例2の情報処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００３９】
図8のブロック図により実施例2の行動認識装置の構成例を示す。なお、行動認識装置は半導体集積回路(LSI)を用いて実現される。
【００４０】
実施例2の行動認識装置が実施例1の行動認識装置と異なるのは、第一の特徴量算出部111の算出部1111が動画シーケンスから特徴量を抽出する際に、複数種類の特徴量を抽出する点である。以下では、特徴量としてHOG、HOF、MBHの三種類の特徴量が抽出されることを想定する。抽出された特徴量はそれぞれ、第一の特徴量として、特徴量格納部1112a、1112b、1112cに一時格納される。特徴量格納部1112a、1112b、1112cは、多様体学習部112の要求に応じて、第一の特徴量を多様体学習部112に出力する。
【００４１】
多様体学習部112において、次元削減部1121は、第一の特徴量算出部111が算出した第一の特徴量を入力し、第一の特徴量に多様体学習による次元削減を施し、次元削減した第一の特徴量を部分集合生成部1122に出力する。図9により次元削減（次元圧縮）を示す。図9(a)はHOGを示し、図9(b)は次元圧縮後のHOGを示す。図9(c)はHOFを示し、図9(d)は次元圧縮後のHOFを示す。図9(e)はMBHを示し、図9(f)は次元圧縮後のMBHを示す。
【００４２】
多様体学習部112は、第一の特徴量算出部111が抽出した第一の特徴量を真値として、別の新たな第一の特徴量が入力された場合、多様体学習を行わずに行列演算のみで次元削減結果が得られるように射影行列を算出する。つまり、図9(a)に対する図9(b)の射影行列、図9(c)に対する図9(d)の射影行列、図9(e)に対する図9(f)の射影行列が算出され、射影行列は識別部12に出力される。
【００４３】
部分集合生成部1122は、次元削減部1121から低次元空間のHOG、HOF、MBHを入力し、機械学習によるクラスタ解析やベクトル量子化、あるいは、自己組織化写像などを適用して、複数の部分集合を生成する。図10により部分集合の一例を示す。図10(a)(c)(e)は次元圧縮後のHOG、HOF、MBHを示し、図10(b)(d)(f)はクラスタ解析によりHOG、HOF、MBHが複数の部分集合に区分された状態を示す。
【００４４】
第二の特徴量算出部113において、ヒストグラムビン決定部1131は、部分集合生成部1122が生成した部分集合を入力する。そして、HOG、HOF、MBHごとに、各部分集合の代表点（重心、部分集合内の単位面積当りの点群の密度が最大点、または、部分集合内から無作為に選択した点）の座標を算出して、ヒストグラム生成部1132に出力する。図11により部分集合の代表点の一例を示す。図11(a)(c)(e)はHOG、HOF、MBHの複数の部分集合を示し、図11(b)(d)(f)は算出された部分集合の代表点を示す。
【００４５】
ヒストグラム生成部1132は、HOG、HOF、MBHごとに、ヒストグラムビン決定部1131から入力される部分集合の代表点の座標を例えば原点からの距離の昇順（または降順）に配列してヒストグラムビンとするヒストグラムを生成する。図12によりヒストグラムの一例を示す。図12(a)(c)(e)はHOG、HOF、MBHの部分集合の代表点G(C1)、G(C2)、…、G(C20)を示し、図12(b)(d)(f)は生成されるヒストグラムを示す。
【００４６】
ヒストグラムの生成手順は、実施例1で説明した手順3の後、HOG、HOF、MBHのヒストグラムを連結して一つのヒストグラムを生成し、実施例1で説明した手順4を実行する。図13により連結されたヒストグラムの一例を示す。
【００４７】
このようにして、学習用に与えられた動画シーケンスそれぞれに対応するヒストグラムが生成され、各ヒストグラムの頻度値の合計が1になるようにヒストグラムが正規化され、正規化されたヒストグラムが第二の特徴量として学習部114に出力される。
【００４８】
以降の学習部11の処理は、実施例1と同様であり、詳細説明を省略する。
【００４９】
識別部12の射影部122は、学習部11の多様体学習部112においてHOG、HOF、MBHごとに予め算出された射影行列を用いて、第一の特徴量算出部121が抽出した第一の特徴量を低次元空間に射影する。図14により射影部122による射影を説明する。図14(a)(c)(d)はHOG、HOF、MBHを示し、図14(b)(d)(f)は射影により次元が圧縮（削減）されたHOG、HOF、MBHを示す。
【００５０】
識別部12の他の処理は、実施例1と同様であり、詳細説明を省略する。
【実施例３】
【００５１】
以下、本発明にかかる実施例3の情報処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５２】
図15のブロック図により実施例3の行動認識装置の構成例を示す。なお、行動認識装置は半導体集積回路(LSI)を用いて実現される。
【００５３】
●学習部11
図15に示すように、実施例3の学習部11の多様体学習部112の構成は、図1に示す実施例1の構成と異なる。
【００５４】
多様体学習部112は、次元削減部1121、部分集合生成部1122、境界学習部1123、重み行列生成部1124、パラメータ格納部1125を有する。次元削減部1121と部分集合生成部1122の動作、機能は実施例1と同様であり、低次元空間の第一の特徴量の部分集合を示す情報が境界学習部1123と重み行列生成部1124に出力される。
【００５５】
境界学習部1123は、低次元空間の第一の特徴量の部分集合を入力して、それら部分集合の境界を学習し、部分集合ごとの識別パラメータを生成する。図16により部分集合の一例を示す。例えば図16(a)に示す部分集合c1の学習は、部分集合c1に属す第一の特徴量をポジティブデータ、他の集合に属す第一の特徴量をネガティブデータとし、例えばSVMやパーセプトロンを用いて行われる。部分集合c1以外の部分集合c2からc7についても同様に学習することができる。
【００５６】
重み行列生成部1124は、低次元空間の第一の特徴量の部分集合を入力して、第一の特徴量に対する、部分集合n (n=0, 1, …, N)に属すカテゴリm (m=0, 1, …, M)の重みwmnを行列要素とする重み行列Wを算出する。行列要素wmnは次式によって算出される。
wmn = Numnm/Numn      …(1)
ここで、Numnmは部分集合nに属す特徴量のうちカテゴリmに属す特徴量の数、
Numnは部分集合nに属する特徴量の総数。
【００５７】
パラメータ格納部1125には、境界学習部1123から部分集合ごとの識別パラメータが格納され、重み行列生成部1124から重み行列Wが格納される。パラメータ格納部1125は、これらパラメータを一時格納し、識別部32からの要求に応じて、これらパラメータを識別部32に出力する。
【００５８】
●識別部12
図15に示すように、実施例3の識別部12の構成は、図1に示す実施例1の構成と異なり、識別部12は、第一の特徴量算出部121と識別部124を有する。第一の特徴量算出部121の動作、機能は実施例1と同様である。
【００５９】
識別部324は、第一の特徴量段出部121が算出した第一の特徴量、並びに、学習部11の多様体学習部112が算出した部分集合ごとの識別パラメータおよび重み行列Wを入力する。そして、識別部12に入力されるカテゴリが未知の識別対象の動画シーケンスのカテゴリを識別する。
【００６０】
ある動画シーケンスから抽出されたL個の第一の特徴量をX (=x1, x2, …, xλ,…, xL)とする。この場合、λ番目の第一の特徴量xλが属す部分集合nλは、部分集合ごとの識別パラメータを用いて、それぞれ(n1, n2, …, nλ, …, nL)のように算出される。第一の特徴量Xとカテゴリmの類似度Smは、L個の部分集合(n1, n2, …, nλ,…, nL)のカテゴリmに対する重みの合計値Smとして次式により算出される。
Sm = ΣλLwmnλ      …(2)
【００６１】
さらに、識別結果m'は次式により算出される。
m' = argmmax Sm      …(3)
【００６２】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【図１】
2015133085.tif 000003
【図２】
2015133085.tif 000004
【図８】
2015133085.tif 000005
【図１５】
2015133085.tif 000006
【図３】
2015133085.tif 000007
【図４】
2015133085.tif 000008
【図５】
2015133085.tif 000009
【図６】
2015133085.tif 000010
【図７】
2015133085.tif 000011
【図９】
2015133085.tif 000012
【図１０】
2015133085.tif 000013
【図１１】
2015133085.tif 000014
【図１２】
2015133085.tif 000015
【図１３】
2015133085.tif 000016
【図１４】
2015133085.tif 000017
【図１６】
2015133085.tif 000018