計測自動制御学会東北支部額165回研究集会（1996．12．13）
資料番号165−3

画像を用いた人間の形態分矩に関する一考察
Human Motion ClassiLication withVision○平壌誠良＊，大場光太郎＊，梶川伸哉＊＊，猪岡光＊

OShigeyoshiHiratsuka＊，KohtaroOhba＊，ShinyaKajika・Wa＊＊，HikaruInooka＊＊東北大学，＊＊宮城高専＊rrbhokuUniversity，＊＊MiyagiNationalCollegeofTechnology
キーワード： マン・マシン・インターフェース（Ma皿−MadlineInterhce），
人間とロボットの協調（Human−RobotCollaboration）．人間の行動認識（RecognitionofHumanMotion），
Ⅸ−L展開匹−LExp弧Sion），固有空間（EigenSp乱Ce）．
連絡先： 〒980＿77 仙台市青葉区荒巻字青葉 東北大学情報科学研究科システム情報科学専攻
平塚誠良，Tel．＝（022）217A7021，Fax．：（022）217−7019，E−mai1＝hir＆t血d亡Otltr01，iB・tOhoh・a亡・jp

1． はじめに
1．1人間とロボットの共存
近年，人間と日常生悟空間を共有L，人間の能力の介助や共同で作業を行うロボットが求められてきている．例えば，病院内での介護ロボットや，老人福祉向けのお手伝いロボットがある．

肘冊00一也血dSi仙叫8血

人間とロボットが生活空間を共有するうえで，

Fig．1人間とロボットの協調動作

人間と協調Lて動作を行う機能が必要不可欠である．こうしたロボットには，人間の行動に柔軟にような情報交換のためには，人間の視覚のように適応することが求められる．このような協調性は，画像情報を用いた手段が有効であると考えられる．

ロボットが人間の行動を理解，予臥 そLて阻害

こうしたマン・マシン・インタフェースが必要しないことにより実現される．1，2銅）なので，画像を用いた人間の手足の動きを認識す現在∴接触状態では，人間とロボットとの協調る研究軋T）や人間の行動の検出ヤ鑑識をする研究

動作に関しては，互いに力を及ぼしあうことから，叩）が盛んに行われている．

この力による情報交換を用いた意思伝達が有効であることがわかっている（Figl（乱））．占）しかし，非接触状態では力による情報交換ができないため，何かの意思伝達手段が必要となる（Figl（b））．この−1−

1．2 画像による人間の行動認識

Ⅸ−L展開に基づく闘有空間法では，画像データの次元を小さすることが可能であり，処理を高速画像から人間の行動を認識することを目的と化することができる．

した従来の方法として．トップダウン・アプローチ
や3次元復元のように人間の幾何学的なモデルを2．Ⅸ＿L展開に基づく固有空間法

2次元の画像に当てはめるモデルフィティングに2．1 固有値と固有ベクトル基づく方法10−11†1り31，また，ボトムアップ・アプローチのように画像から得られる特徴量をヒュー

Ⅸ−L展開を用いた固有空間の作成方法についリスティックに利用する方法廿1与）などがあった．て述べる．まず，学習する〟個の実画像より，次トップダウン的アプローチである幾何学的なモのマトリックスを作成する．

デルに基づく方法のメリットは，得られる情報が［ヱ1ヱ2・・・ヱ〟1

関節角パラメータなどの有用性の高いものであり，様々な応用が可能である．また，3次元の幾何学（1）

ここで，画像データは，それぞれ〃xⅣの行列で的な情報が復元できれば，それをもとにLて姿勢あり，長きがⅣ2の列ベクトルに変換されている．

ヤ行動の解析ヤ推定などが比較的容易に実現可能

このとき．行列（1）は，Ⅳ2×〟の行列となる・となる．しかL，問題点として．実画像の瞳昧性

次に，式（1）で表される行列から平均画像eをやノイズの影響から，モデルと菓画像とのフィッ差し引き，行列gを作る．

ティングに時間を要し，また，安定Lて処理を行
g＝【ヱ1−Cヱ2一亡t・・袖−C】

うことは困難であることが挙げられる．

一方，画像から得られる特徴量に基づく，ボト（2）

これより，〃2×〃2の共分散行列Qが計算される．

ムアップ的アプローチでは，実画像での実現も多￠＝ggT

く比較的ロバストであると言える．現在のところ，監視システムでの，人数のカウントの用途に対L（3）

そこで．Ⅸ−L展開により固有方程式，ては実用レベルに達しつつある．しかL，問題点Qei＝入iei

として，相集や状況に応じて，画像内で使用する特徴（例えば，エッジヤコーナー）を人間がヒューを解くと，固有値右と固有ベクトルe壬（i＝1，…，〃2）リスティックに決定していること，比較的単純でが求まる．そして，固有値の大きい方からた個と限られたシーンでないと成功しにくいことが挙げり，それに対応する固有ベクトルel，・・■，e烏を基底られる．

ベクトルとすることにより固有空間が得られる，また，実画像全体のパターンマッチングを行う

一般的に，画像データの共分散のように次元数の場合は画像のデータベースが巨大になるなどの問

大きな行列の固有ベクトルの計算は困難であるが，題点がある．

画像数が少ない場合には特異債分解やSTA法など

そこで■本報告では，モデルフィッティングによらを利用することにより計算することが可能である．

ない，Ⅸ−L展開に基づく固有空間法1叫T†1叩1をヱ8）用いた，人間の行動認識の手法について検討する・

また，式（4）よりQを固有値が右である〃2個のそして，その基礎実験とLて人間の形態分類の例固有ベクトルに分解できることがわかる．このよを取り上げる．

うに，それぞれの画像データを，固有値と固有ペ−2（4）3．人間の形態の固有空間への投クトルによって表すことができる．このとき，固影有値右は固有ベクトルEiの重みとなっている．

人間とロボットが生括空間を共有するうえで，2．2 実画像の固有空間表現人間と協調して動作を行う機能が必要不可欠である．こうしたロボットには，人間の行動に柔軟に学習用サンプル画像データを用いて，一度，固適応することが求められる．このような協調性は，有ベクトルを計貸すれば，この固有ベクトルの行ロボットが人間の行動を理解，予測，そLて阻害列，且＝【ele2・■・eた】しないことにより実現きれる．

刷

ここでは，その基礎実験とLて，基本的な人間を用いて，以下の式（6）で，次元が〃2である画の形態として立位・廃位を取り上げ，その分類を像を固有空間上の点別に投影することができる．
蛮＝厨r（zi一亡）行う．処理は，形態を学習する段階と，学習した情報を利用して実画像データから形態を分類する（6〕

段階に分けられる．まず初めに，立位と座位の形
この間有空間表現を用いることで画像（次元〃2態の学習について述べ，次にその情報を用いた形）を固有空間（次元舟）にまで小さくすることが態分類について述べる．

できる．

3．1 形態の学習

2．3 固有値と累稚寄与率
3．1．1 学習に用いた画憶データ

固有空間において，次元を小さくLようとする
形態の学習用サンプル画像データはCCDカメ

場合，どの程度の次元が必要であるかを示す尺度

ラを用いて収集する．形態の条件とLては，被験として，者にカメラの画面中央で左方向を向いて，立つ・≧範

ll k＝座るの動作を繰り返Lてもらう．（3）（7）

CCDカメラからコンピュータへ取り込まれる〃コ ∑入i＝1

画像の解像度は512（pixel）x512（pixel）である．

を用いる．ここで，丁盲は，しきい値，Ⅳ2はもとのまず初めに，莫画像からバックグラウンドを取り実画像の次元，尉は固有空間の次元であり，たはも除き，人間の領域を抽出する．次に，人間の領域ともとのⅣ2に比べてかなり小さくなる．

式（7）より，累積寄与率は画像を再構成したときに，どの程度の2乗誤差で近似的に再構成できるかを示した指標である．
また，固有値Å王は固有ベクトルefの重みとなっているため，式（7）より求めた次元まで．実画像の次元を小さくできる．このため，ある物体に対（a）Standing（b）Sitdngする国有空間は，その物体の集合を表現するのにFig．2 学習用サンプル画像データ適した空間となる．

一3一

Tablpl：立位の平均値と標準偏差〔xlO3）
lm且geDalaSi王e＝512512（pixeJ） 1ma評DaLaSize：5L2512（pixel）
ピコeleユ

0．4042 −1．2与49 0．4058

平均値

標準偏差 0．1287 0．0447 0．0363

Table2：座位の平均値と標準偏差（×103）el

二；≡二三三三二二二e2e31．2055 −0．7643 0．3647

平均値

標準偏差 0．1281 0．1319 仇0248

≡ト■l■

現M⁝⁝即

Fig．3 画像データの処理過程

日Ⅲ
出I伽

▲U00

酌弛

鵬

∧V他

州

加

を抽出した画像の解像度を32（pixel）x32〔pixel）に変換し，きらに，人間のシルエットを抽出する

Fig■4 国有借と累積寄与率（Fig（3））．この画像データより武川で表されるトレーニンダセットを作成する．今回は，立位と座位，あわせて100フレーム分のデータを用いた．

位または座位状態の画像データを固有空間に投影する．ここで用いられる立位・座位の画像データ

8．1．2 固有空間の生成は学習段階で用いた画像データと同一の被験者から収集したものである．

学習用サンプル画像データを用いて．式（1）で表される行列を作成し，式（4）より固有値と固有そのときの結果をFig〔5）に示す．ここでは，菓ベクトルを計算する．ここでは，式（5）における画像から固有空尚への投影の計算で用いられてい固有空間の次元は，た＝10とした．

る固有空間の次元はた＝10であるが，プロットの関係上，固有ベクトルの上位，3次元をプロット

Fig（4）は固有値入iと累積寄与率Wたを示していしている．

る．これより，1D次元の固有空間でもとの莫画像

Fig（5）より，立位と座位の，形態の違いによる，の90％を再構成することができることがわかる．

固有空間での分布の特徴を観察することができる．ここで，立位，座位，それぞれ3次元の固有3．2 形態の分類

ベクトルの平均値伺）と標準偏差（叫）をTablel

形態の学習段階で得られた固有ベクトル（式およぴTable2に示す．叫は，同じ形態の集合（恥次元はた＝10）を用いて，式（6）により，立（叫＝i射1郎∈（同じ形態）I）を表す．

−4−

3．3 クラスタリング

リングによる形態分類の方法について検討した．
ここでは，前節で学習Lた固有ベクトルを用い実画像（gin）を固有空間に投影したとき，人間の形態の違いにより，その投影点（gjれ）の分布に特て．一連の行動の中から立位・座位の形態分類を徴がある．そこで∴投影点のクラスタリングを行試みる．

うことよって，人間の形態の分類を行う方法につ

4．1 実験条件

いて考える．

被験者に画面の右側から歩いて入ってきてもら

形態が同じ場合，固有空間内の，ある限られた領域に投影されると考えられることから，その投い，中央の梅子のある場所で立つt座るの動作を数

影点の集合を考え，平均値と標準偏差を用いてク回．繰り返Lてもらい．その後，画面左側へ歩いラスタリングを行う方法について検討する．て出ていっでもらう（Fig（6））という動作を行ってもらう．これらの実画像を前節で学習した固有ベ

平均値と標準偏差を用いたクラスタリングの例

クトルを用いて，固有空間に投影する．また，前として，簡単なアルゴリズムを以下に示す・

節同様，計算に用る固有空間の次元はた＝10としている．

if‖鮎一里Il≦J叫

4．2 結果then

このときの結果をFig（7）に示す．固有空間内

郭Il←叫で，歩行・立位・座位・立位・歩行の状態の移り変

4． シーンを用いた実験わりを確認することができる．

前節では，立位と座位の実画像データを固有空

また，被験者が学習時と実画像の投影時で違っ間に投影し．形態の違いによる固有ベクトルの分ていてる場合でも，形態の分類行われていること布を観察した．また，分布の特徴から，クラスタがわかる．

l∝力脚e9。
，珊・】500．川00○畑el
Fig．7 一連の動作の固有空間への投影

Fig．5 立位・座位の固有空間への投影

WalkingStanding

SittingFig．6 一連の動作−5−Standing

Walking5． 由わりに引Jll角 括見聞井 弘志，榎本 暢芳，大波多 元，岡崎 彰夫：シルエットの投影パターンに基づく時系列データを用いた侵入者検札電気学会論文誌，118−

本報告では，モデルフィッティングによらない，9，1007／1014（1996）

Ⅸ−L展開に基づく固有空間法を用いた，人間の行

10）山本 正札川田 聴，近藤 拓也，越川 和忠：ロ動認識の手法について検討した．そして，その基ボットモデルに基づく人間動作の3次元動画像迫軌

電子情報通信学会論文誌，一叩−D・ⅠⅠ−1，71／83（1996）

礎実験とLて人間の形態分領を行い，考察を行っ

11）大和 拝司，大谷 淳，石井 健一郎：隠れマルコフモデルを用いた動画像からの人間の行動認軋
電子情報通信学会論文鼠JT6−D−ⅠⅠ−12，255即2563

た．

結果とLて，画像データの次元を小さくL．・処（1993）

理を高速化することができた．また，実画像を固12）0

RourkeJ，Badler Nl＝Model−BasedlmageAnal−

有空間へ投影することで，人間の形態の違いによ

y＄1＄Of H11maIIMotion Using Con弓traint Prop−
agation，IEEE Tr鋸1S．PAMI，PAMI−2−6，522／E．36

り，分布が異なることが観察できた．それにより，（1994）

13）亀田 能成，美濃 草敵地田 克夫＝シルエット画
像からの関節物体の姿勢推定軋電子情報通信学会論文誌，J相−D・1Ⅰ−1，26／35（1996）

固有空間上でのクラスタリングによる形態分廟の方法について検討Lた．

14）築山 俊乳白井 良明＝連続するTV画像から今後の方針として，1）固有空間上で形態を分類の人の動きの検出，計測自動制御学会論文集，19−する際のクラスタリングの手法について．さらに

11β09／915（19叫

時系列データを用いた行動推定法について検討す

15）安富 軋森 英軋情弘 智昭＝歩行のリズムに基づく歩行者検出の一手粗電子情報通信学会論文
畝J陶−D−ⅠⅠ−4，608／617（1995）

ること．3）固有空間と状態遷移モデルの融合に関

161村瀬 洋，シュリー Ⅸ．ナイヤー＝多量解像度と固検討を行うこと．また，2）固有空間上の投影点の有空間表現による3次元物体のイメージスポッティして検討すること，などが挙げられる．

ング．情報処理学会論文乱ヨ旧−10，2234／2243り錮511了）H正oshiMura別㍉ShreeI亡・Ⅳaya∫＝Vis11孔1Le甜皿−1ng and Recognition of 3−D Objccts fr0111
Appearance，Ⅰ山ert）ationalJollrnal of Coml｝uter
Vision，14−1，5／24（19g5）

参考文献

18）Takdliro

W乱t乱nabe，Chil−

Woo Lee，Ma点ahikoYaJ：hida：RecognitionofCom−1）鵜野 賢，他‥特集「医療偏祉とロボテイクス」，日

plicated Ge＄tllrein ReaユーTime hteFaCtive Sys−

本ロボット学会乱14一叩13／悶1（19鮎）te叫IEEEInterna．tionalWork6boponRobot2皿dHu皿anComm11nication，268／273（1996）

2）佐藤 知正，溝口 博‥人にサービスするための意
執行動の理乳計測と制札34ヰ255β60（1995）

19）Ⅸ0山甜00bba，Kat別1血ilkeud止‥R比0印ition・・Of

3）原 文散人間と協調するロボットの技術課軋計

the MuLtiSpecl11arity Obje亡t＄uSlng the Eigen−

測と制御，ユ4−4，2亜／247（1995）

Window＄，CMUTeclmi侃IReport、ScllOO）ofCotn−

4）佐藤 知正，西田 佳史，市川 純理，畑村 拝太

puterScien亡eナCMt−（1996）

恥溝口 博＝ロボットによる人間の意図の能動的理20）Pre＄＄，W．，Fl乱t）t）ery，B．P．，TellkoIskky，S・A・解機能，日本ロボッ†学会軋1ユー4，545仲52（19呵

乱nd VetterLing，W．T．：Numerical Recipesin
C，CambridgeUniversityPress，C乱mbridge（19881

5）池浦 良軋門田，蒔岡 光＝人間とロボットの協調動他日本校槻学会ロボテイクス・メカトロニケ
ス講演会講演論文集ノ娼／91（19g4）

8）石淵 耕一，岩崎 圭介，竹村 隠粗岸野 丈郎＝画像処理を用いた実時間手振り推定とヒューマンインタフェースへの応用，電子情報通信学会論文
鼠J叩−D−ⅠⅠ−7，121畠／1望29（1996）
7）久野 義徳：コンピュータビジョンによる人間の指示行動の理解，日本機械学会軒1回JSMEロボメ
カ・シンポジア講涜論文集．g伯−8，138／142（1g96）

即】軋刷止e S如，To皿Oh肌 Mae血，Ⅱirok誠nKato，SeiiiInok11Chi：CADrb且占edObject Tradking
witllDi6trit）11tedMonocula∫Camer＆forSecllrity
Mo皿itoring，柑EE，2gl／297（1994）
一6−