CHLAC 特徴とグリッドコンピューティングを併用した実時間動作認識
白井達也，斎藤秀雄，吉本晴洋，鴨志田良和，白木孝義，石黒勝彦，深野亮，大武美保子，佐藤知正，田浦健次朗（東京大学），大津展之（東京大学，産業技術総合研究所）
I.

はじめに認識処理を行うグリッド計算機群には，表示用

我々は，立体高次局所自己相関(以下，CHLAC)

PC とは別ネットワークにあるクラスタ内の計算特徴を用いた実時間動作認識システムを構築した．

機群を用いる．人物の動作を実時間的に画面表示

CHLAC 特徴は，動作認識において計算コストのに反映させるため，1 秒あたり 30 フレームの画像低さと高い識別能力を両立するが，特徴数の増加認識を行い，画像フレーム毎の処理開始から終了に伴い実時間処理が困難になるという問題があっまでの時間は 100ms 以内で実現する．

た．今回，我々はグリッド計算機群を用いた並列化を行い，上記の課題を克服した．我々のシステ
ムを，格闘動作という素早い全身動作に対して適用したところ，カメラ 1 台で実時間処理と高い認識性能の両立に成功した．
II.

システムの概要

我々が構築した動作認識システムは，カメラか図 2：格闘動作の認識結果への演出の付加

らの動画像入力を実時間処理し，シーン中の人物

III.の動作を認識する．

CHLAC 特徴を用いた動作認識

IEEE1394

カメラ表示用PC(カメラPC)

システムの実装

ネットワークCHLAC 特徴[1]は，高次局所自己相関特徴[2]画像データを時間軸方向へ拡張したものである．CHLAC 特

処理結果

徴 x は以下の式で定義される:
特徴抽出・認識サーバ

x = ( x1 , x2 ,L, x N )()()

図 1：システム構成

xi = ∫ f (r ) f r + a1i L f r + a iD dr

システムは図 1 に示される構成である．まず動

ここで，A は Z 枚のフレームから構成される 3

画撮影用のカメラで撮影された画像は表示用 PC

次元のピクセル集合であり，r は A 中の 1 ピクセで前処理され，グリッド計算機群へ送信される．

ル(位置ベクトル)，a は r からの変位ベクトル，f(r)グリッド計算機群上では画像フレーム毎に並列にCHLAC 特徴抽出と認識処理を行い，認識結果をは位置 r の輝度値である．CHLAC 特徴は時空間中の近傍点の相関を抽出する特徴量であることか

表示用 PC に返す．認識結果は，格闘ゲームに見ら，人間の動作のように時空間中を連続的に変化立てて，ジャブ，ストレート，ローキック，ミドする動きの性質を捉える上で好ましい特徴となっルキックの 4 動作を行うとそれに合わせて攻撃している．また，積分特徴であることから，対象がたような演出の画像を表示する(図 2)．特徴抽出・時空間方向に平行移動してもまったく同じ特徴量Aが得られる点も CHLAC 特徴の利点である．
この CHLAC 特徴を用いて，我々は高精度の動A CHLAC Method-Based Real-time Motion
Recognition System for Grid Computers
Tatsuya Shirai, Hideo Saito, Haruhiro Yoshimoto,
Yoshikazu Kamoshida, Takayoshi Shiraki, KatsuhikoIshiguro, Ryo Fukano, Mihoko Otake, Tomomasa Satoand Kenjiro Taura (Univ. of Tokyo), Nobuyuki Otsu
(Univ. of Tokyo, AIST)
本研究は，「100 時間ワークショップ＠情報理工 COE」の支援を受けた．

作認識を実現するアルゴリズムを開発した．図 3にその流れを示す．まず，動きのある部分を検出するため，カメラから取得した画像から，隣接フレーム間の差分画像を計算する．次に，ノイズ除去と特徴抽出処理の計算コスト削減のため，差分画像に対して二値化を行う．認識プログラムは，

入力画像

学習画像

差分・二値化処理

差分・二値化処理

二値差分画像CHLAC特徴抽出

CHLAC特徴抽出

CHLAC特徴ベクトル

認識

線形判別分析

2.8GHz (dual), 2GB メモリの計算機を合計 22 台用いた(表示用 PC に 1 台，パラメタ毎に 5 台，パラメタ数 4(表 1), 1 台は表示用 PC との通信用)．
ク ラ ス タ 内 の 通 信 帯 域 幅 は 1Gbps で あ る ．
CHLAC 特徴抽出に用いるフレーム数(Z)は 25 とした．99,911 フレームの画像データについて，認識結果

18-fold cross validation を実行したところ，認識

図 3：認識アルゴリズム率は 79.9%になった．また，2,677 フレームの画

この二値差分画像から CHLAC 特徴を抽出する．

像データについて，画像フレーム毎の処理開始かそして，多変量解析手法の一種である線形判別ら終了までの時間を計測したところ，表示用 PC分析によって，各動作を識別する上で最適な判別をクラスタ計算機と別のネットワーク(東京大学特徴を計算する．学習時には，判別特徴空間に学柏キャンパス，通信帯域幅は最大 100Mbps)に設

習サンプルを射影し，動作の種類毎に中心を求め置した場合でも最悪で 64ms であり，100ms 以内る．認識時には，カメラ画像を判別特徴空間に射に完了することを確認した(図 5)．

影し，最も中心点の距離が近い動作を求める．

V.

まとめと今後の課題

また，認識率をさらに向上させるために，様々我々が構築した実時間動作認識システムは，人なパラメタ（画像の解像度，変位ベクトルの変位間の格闘動作という，全身を用いた素早い動作を幅）で CHLAC 特徴を抽出する．パラメタ毎に認対象とした，珍しい試みである．実験はクラスタ識を行い，これらの認識結果の多数決を全体の認計算機でのみ行われたが，今後は，今回達成され識結果とする．

た実時間性を保持しつつ，広域分散環境における並列化の方法

ファイヤーウォール・通信遅延・帯域幅など多様パラメタ毎の認識処理のうち、特徴抽出が主にな制約の下で動作するような，さらに高精度の認計算力を必要とする処理である。特徴抽出は隣接識アルゴリズムを開発することが求められる．

する Z フレームの二値差分画像に対して行うが、参考文献

この処理はフレーム毎に並列化できる。f 番目の画像を受け取ったプロセスは， 1 フレーム毎の特[1]T.Kobayashi and N.Otsu, “Action and SimultaneousMultiple-Person Identification Using Cubic Higher Order

徴抽出には隣接する 3 フレームの二値差分画像がLocal Auto-Correlation”, Int. Conf. on Pattern Recognition,必要になるため，f-1, f-2 番目の二値差分画像を持つプロセスと通信して特徴抽出を行う(図 4)．そしVol. 4, pp.741-744, 2004.
[2]

N.Otsu and T.Kurita, “A new scheme for practical, flexibleて，隣接する Z フレーム分の特徴ベクトルを集め

and intelligent vision systems”, Proc. IAPR Workshop onて和を計算し，認識を行う．通信にはクラスタ内

Computer Vision, pp.431-435, 1988.

では MPICH[3]を，表示用 PC とクラスタ間はフ[3] http://www-unix.mcs.anl.gov/mpi/mpichァイヤーウォールのため片側からしか接続できない場合に対応するため，ソケット通信を用いる．
f-1
f-1

f-1

f-2

解像度(WxH)
180 x 120
120 x 80120 x 80120 x 80

表 1：認識で使用したパラメタ

f

f

f 番目の画像f

f 番目の差分画像

ff-1

図 4：クラスタ内のデータの流れ

実験結果

実験には，表示用 PC，クラスタ計算機ともに，
東 京 大 学 本 郷 キ ャ ン パ ス に 設 置 し た Xeon

フレーム数の割合

fIV.

変位ベクトルの変位幅(x,y)
1,1
3,3
1,3
1,1

45%
40%
35%
30%
25%
20%
15%
10%
5%
0%

クラスタ内
クラスタ外

25-

30-

35-

40-

45-

50-

55-

経過時間(msec)

図 5：処理時間の分布60-