「インタラクション，98」 平成10年3月

形状の個体差に適応する精密なジェスチャ推定

島田伸敬 白井良明 久野義徳 三浦純
大阪大学工学部電子制御機械工学専攻〒565大阪府吹田市山田丘2−1

Tel．06−879−7333FAX．06−879−7247E−mai1：Shimada＠mech．eng．osaka−u．aC・Jp
本研究では個体間でそれぞれに異なる人体形状に適応する物体モデルを単眼視動画像に当てはめることによって，人間のジェスチャを推定する手法について提案する．人体のような関節物体を単眼視動画像で観測した場合には，奥行きがわからないためモデルの形状と姿勢の間には曖昧さが生じる・そこで，関節角度や各部の長さ，太さに関する制約知識を利用して，この曖昧性を解決する．制約知識と現在までの観測結果を統合するために，可能な形状と姿勢のバリエーションをパラメータ空間における閉領域で表現する．最初に大まかな形状と姿勢の範囲を与えた上でさまざまな時系列観測を入力すると，この閉領域がしだいに小さくなっていき，単眼視画像から物体の形状と姿勢が次第に正確に推定されていくことを，実験例を使って示す．

PreciseGest11reEstimationwithAutomaticShapeAdj11StmenttO
IndividualUser

NobutakaShimada，YbshiakiShirai，YbshinoriKunOandJunMiur
Dept・OfComputeトControlledMechanicalSystemB，OsaknUniv・

Thispaperproposesamethodtoestimateprecisehumangestureadjustinga3−Dshapemodeltoindividualuser）sbodyfromamonocularimagesequence・Duetolackofdepthinformationina

monocularimage，theshapeandposeofthearticulatedmodelcannotbeunlquelydetermined・In

ordertoresoIvethiBprOblem，Ourmethodutilizesconstraintknowledgeaboutjointangles，lengths
andwidthsofeachpartofhumanbody・Possiblevariationsoftheshapeandposearerepresentedasaclosedsetintheparameterspacetointegrateobservations丘omimagesandtheconstraint

kn0wiedge．Giveninitialrough8hapemodelandvariousobservations，thepossibleparameterset
becomessmal1gradual1yandもhegestureandtheshapeofmodelarepreciselyestimated・

1 はじめに人間がコミュニケーションをとる手段として最も基本的なものであるジェスチャを，画像を用いて機l

ユーザー1適応したモデル1のシルエット動画像械に認識させる手法【1】【2】［3】が注目されている・そJの多くは，予め形状モデルを与えておき，モデルの各関節を動かして入力された画像特徴にフィッティングするものであるが，モデルの形状が不正確な場

側モ瑚珊墜レ2

合，ジェスチャは粗い精度でしか推定できない．長さや太さ，さらには表面形状といった人体の形状に

ユーザー2のシルエット動画像は個体差があるため，単一の形状モデルでは高い推定精度が期待できない．幾つかのコマンドを伝える

図1：個体差に適応する形状モデルだけならば粗い精度でも十分であるが，仮想空間のなかで物を掴んだり動かしたりできるシステムを作るには，よく生じる．また，画像からモデルに対応づけられるような安定な特徴点を多数抽出することは難しい．
これらの手法では，もしデータが欠落したときは形状もジェスチャも推定できない．

きる必要がある．今後このような技術に対するニーズが，特にTVゲーム・アミューズメント方面で高まっていくと予想される．

そこで本研究では，単眼シルエット画像列を入力とし，一はじめに物体の関節構造と大雑把な形状モデルと姿勢を与えて，その姿勢を推定しつつ，形状モデルも徐々に修正していくことで，正確な形状を得る手法を提奏する（図1）．こうすれば，はじめは一モデルの形状とジェスチャの両方をともに推定す

るには，複数カメラを使って得られる特徴点の距離情報【4］を用いたり，時系列にわたる多くの特徴点の対応を使う方法がある［5】．しかし人体の場合，自己隠蔽によってあるカメラからは観測できない部分がー5−

奥行き

奥行きミ￣fしモ：ニーし（a）t＝2／入力画像（b）t＝4／入力画像（c）t＝8／入力画像（b）（d）t＝2／粗推定 （e）t＝4／粗推定 （f）t＝8／粗推定

図3：単眼視における奥行きの唆昧性

図2：大まかな姿勢推定結果

般的な粗いモデルのため精度はよくないが，大まかなジェスチャが推定される。また倍額できるデータが得られれば形状の推定を行ない，しだいにモデルをユーザーに適応させていくので，徐々に精度の高いジェスチャ推定が得られるようになる．
単眼画像列からは一般に奥行きがわからないため，物体の形状と姿勢の間に曖昧性を生じる．しかし，この時，物体各部の長さや太さ，各関節角度に関する制約知識がわかっていれば，推定精度をより向上できる可能性がある．そのような制約知識は，不等式で表される緩やかなものであることが多い．そこ
で本研究では，関節物体の可能な形状と姿勢をパラメータ空間中の領域で表現し，予池パラメータ領域のうち，観測値と制約をともに満たす領域を求めることで推定を行う枠組を提案する．

観測

図4：制約知識による考えられる形状と姿勢の限定

3 制約知識による奥行きの曖昧性の限定

3．1 単眼視動画像からの形状推定における不等式制約の効果

2 おおまかな姿勢の推定

関節構造が既知である関節物体を単眼視動画像で観測して，そのリンク長と関節角度を推定することを考えよう・画像からは，図3（a）に示すように線分とその端点が正射影によって観測できるとする．このとき，単眼視画像では奥行きが観測できないため，

本研究では，まず大まかな形状モデルを与えて，考えられる物体姿勢画像を次々と合成し，入力シルエットと比較することによって，掌の向きや指関節の角度を大まかに推定する【3】．本手法では線分の三次元的候きや長さが一意に決定できない（図1．突起特徴を利用した対応づけ候補の限定

3（b））・

しかし，人体のような物体を考えると，幾つかの関節角度は伴って変化し，各部の長さや太さなどには相関関係がある．これらの関係を考慮すれば，あ2．動き予測に基づく事前確率順の探索

る部分の観軌が他の部分のパラメータを制約するこ

3．確率に基づく候補の評価とによって，曖昧性を限定できる可能性がある．ここでは関節物体についての制約知識として以下の3

4．入力画像の曖昧性を扱うための複数候補保持つを考える．
1．各パラメータの最大値と最小値を用い，自己隠蔽や速い動きに対応しつつ，計算量の増加を抑え適切な推定を行なう．この大まかな姿
勢推定の結果，形状モデルの各部と入力画像特徴との対応づけが解決できる．図2に大まかな姿勢推定

2．単位時間に許される各パラメータの変化量（各の結果ノを示す．

3．各時刻における各パラメータ間の関係部の長さは不変）

−6−

形状

図6：可能パラメータ領域の区間表現と楕円表現

図5：パラメータ領域の逐次的な更新

これらの制約から，以下のような場合に形状と姿勢の範囲が限定される．図4の関節物体について，関節角度βが0≦β≦訂／2に制約されている場合を考える．図中のAやBは制約を満たさないので不可能であり，リンク長は最大でもCの場合の長さにしかならないことがわかる．またリンク長の最小値はDの場合に相当することがわかる．この例から，奥行きの曖昧さを不等式制約によって減少できることがわかる．また他の関節角との制約が与えられると，さらに曖昧さを減少できる可能性がある．

8．2 形状，姿勢．制約知識の領域表現
図7：関節物体モデル

本研究では，ある時点での形状や姿勢の可能性を，パラメータ空間における領域として考え，時系列観楕円領域で表すことを考える．この楕円領域を各時測と物体の制約知識を用いて可能なパラメータ領域を限定する．まず時刻才一1での推定パラメータ領域

刻における観測と不等式制約によって更新していく

J、 qト1から関節のダイナミクスを考慮して，fにおけことにより，人体の姿勢と形状が次第に正確になっていく．今回は楕円領域の表現として，パラメータる予測領域n を考える（図5の2）．次に，形状と3に示す帯状の領域）・同様に時刻fでの観測を満たの確率分布を考え，その平均と共分散による記述を用いた．次節では，拡張カルマンフィルタ（EKfりF】

すパラメータ領域島を考える（図5の4に示す帯状を用いた各時刻の楕円領域の更新方法について述べの領域）．これらから，時刻fでの可能性のあるパラる．

姿勢に関する制約式を満たす領域昂を考える（図5のメナー夕顔域は亮一＝議書n仇∩彗

4 EⅨ甘と分布切り取り法による観測と制（1）約の統合として逐次的に得られる．位置や関節角などの姿勢パラメータは時間とともに変化するが，長さや太さなどの形状パラメータは変化しないとすると，時系

4．1 関節物体のモデリング例として，図7に示す手状の関節物体をモデリングする．簡単のため持の数を2本としているが，5本の指にそのまま拡張できる．各関節は独立に回転列観測を得るたびに形状パラメータの範周は狭まるので，これが記憶の役割を果たし，全パラメータの可能な範囲が次第に限定されていくことになる．
0，Rourkeら【6］は各パラメータがとりうる範囲を最大値と最小値による区間で表したが，各パラメータ間の相関を考慮しないため，実際にはありえない

し，全体が3次元平行移動と剛体回転するとする．
投影はwe殖perspectiveを考える．ここで，関節物体の状態パラメータ茸を，各リンクの長さ巧，関節各関節位置の組合せも含まれてしまう（図6の矩形領角度恥関節角速度∂i（は関節の指標），掌の幅rw，域）・そこで，本研究はパラメータ領域を図6に示す

高さr九，厚みrd，並行移動成分た（w∬，Wy）T，掌の−7−指飾軸p（i，カ 関帝位置

Z㌢」三等p（i・1）「、Jz（i，1）p（i，劫i，0）

図9：分布切り取り法

手 轡… （

図8：観測できる特徴

ここで，f指のブ節に対応する中心軸直線が，画像のズ軸からの角度叫と原点までの距離鞠とし向きとweakperspectiveにおけるスケール率を表すて観軸されるとすると，式（6）を用いて四元数q【8】を用いてarctan（z普）／g穿））諾＝（モア，qで，β1。，…，β23，βi。，…，仕丁，β；3，（z普）据）一宿）柑）／l筍

rll，…，r23，ぞw，蝕pd）γ（2）（相磯））と定義する．ただし形状は時間不変とする．

まず，状態の遷移方程式と観測方程式をそれぞれ，〈

呵け1＝ A∬f＋叫…ブ≠0

勒・‥J＝0（10）（3）

封書 ＝ 九（詔書）＋叫と表現できる．掌輪郭の観測も同様である．したがって，観測方程式んは（4）と表現する．叫は予測誤差，Wfは観軸誤差であり，

九（茸f）＝（p（1，1），…，α11，…，仇1，…）ア（11）それぞれ平均0，分散打，Ⅳの確率分布に従う白色雑音と仮定する．打のβ成分はβの加速度範届から決定するが，r成分はrが時間不変なので0とすとなる．オクルージョンにより観測できない成分があるときはそれをんから除く．
最後に物体の制約知識を次のように線形不等式で〇二〇■ん表現する．

︶？君認≦ぁぉ

節位置，指の中心軸と掌の輪郭を直線近似したものが観測できるとする．指iの第ブ関節（ブ＝3のときは指先位置）の投影位置p（i，J）は（た＝1…∬）．

（16）と一般化できる．

4．2 分布切り取り法による修正EⅨF

p（古，刃 ＝（恥（i，ゴー），勒（古，刃）前節で導いた遷移，観測方程式と制約不等式から可能なパラメータの範囲を推定する．もし制約がなかった場合には，観測方程式九は非線形なのでEKF＝ エR（q）R（恥）・［勾＋piO（㌣ひ）】

＋t

（6）

勾＝畠ヰ（か，Sin（を佃）（7）を用いることによって，観測飢が得られたときの状

ア

態推定左fと推定分散クーが，宗一＝義一＋∬電（yモー呵芸t））とできる．エとRは平行投影と三次元の回転行列であり，釣0は掌に対する指の付け根の相対位置であ臣（ト∬濃1金一）（吼1A㌢＋U）（18）る．

−8−（17）︶ ︶︵ ︵1式（12）−（15）は一次式だからする．ここでは図8のように，手首位置tと指の関︶

51ln−りl≦△riブ・4

またmは時間変化するパラメータ（ちq，仇）の個数，乃は時間不変なパラメータ（ri）の個数である．
次に，観軋方程式（4）を以下のようにモデリング︵rm叫i≦ri≦rm躍，iとできる．ここで∫mはmxmの単位行列である．

1一lβi一項≦△晦

3βm叫≦βi≦♂m叫（5）21︵㍍㍍0ん00る．等速度予測を用いれば，

勒−p車1

パラメータ2

図11：奥行きの曖昧さによる推定の多義性

g鳥 ＝ diag（1＋cた〝た−〝羞，1，…，1）（24）と得られる．上式で，∬tはカルマンゲインであり，叛＝−招exp（サ（1・erf（卦（25）

義t＝A金ト1とおいた．偏微分の値は式（6），（軋（9）ここで，erf（・）は誤差関数であり，diag（α，あ，・‥）は対角成分がα，b，…である対角行列である・これを式から計算できる．

本研究では奥行きの曖昧性を減らすために，通常のEKf、によって予測の平均と分散を求め，これに制（19）を用いて，もとの訪の座標に逆変換すれば約不等式（16）を統合した分布を得る・次に得られた

翫

分布に対して，通常のEKf、による更新式（17）（18）を（26）Qた ＝ rⅣ与RTgたRⅣ与rで．（27）用いて観測結呆を統合する．

以下では，EKFによる予測分布に不等式制約をと鳥回目の切り取り彼の平均と分散が求まる．これ統合する手法を述べる．まず，制約を使わずに通常をすべての鳥について再帰的に実行すれば，分布切り取り後の平均金一＝触と分散Pt＝q∬が得のEX甘により予測の平均q。と分散Qoを得，パラメータの分布を正規分布Ⅳ（q。，Q。）で近似する・次られる．ただし，正規分布仮定のもとでは分布の裾野が無限に広がっているため，分布切り取りを繰り返すと共分散楕円が小さくなり続ける．そこで，C鳥にこの分布のもとで，∬個の式（16）を同時に満たす部分の平均と分散を求めるが，この計算は数値積分を必要とする．そこで，式（16）で表される超平面が一定値より大きい制約は可能なパラメータ領域かで一つずつ順番に分布を切り取る近似計算を行うと，ら離れており分布を切りとる効果が少ないので，分布切りとりを行わないようにする．こゐようにして以下のように解析的に計算ができる．

図9のように，平均鶴＿1，分散qた＿1の正規分布を，た番目の制約平吉茸≦ぁたで切り取ることを考え得られた制約統合後の予測分布と観測を，最後にEKFによって統合し，推定平均と推定分散を得る．
以上の手法により，対象がある制約の限界に近い姿勢をとった場合には，図10に示すように可能なパよう．線形変換
舐′＝RⅣ一書でア（霹一触＿1）＝ rⅣ告が仇＋翫＿1（19）ラメータ範囲がある方向に限定される．対象がさまを施すと，座標軸に平行な平面と平均0，分散が単位行列，制約不等式∬1≦cぉの場合に帰着できる・タ範囲が限定され，結果として形状と姿勢の両方がただしR，では直交行列，Ⅳは対角行列であり，正確に推定できる．

ざまな制約の限界に近い姿勢をとるたびにパラメー

rⅣrT＝Qた＿1

5 複数候補の生成による多義性の扱い

RⅣ与rT勒＝（1，0，…，0）ア

制約知識を利用してもなお，形状と姿勢の推定に毎一戒心＿1

多義性が生じる土とがある．図11のような場合，A，Bの両方に解の可能性がある．しかし，通常のEKf
ではどちらかの推定しか出力できない．そこで本研

eた＝を満車す．cたは，翫」1から式（16）で表される超平究では，EKf、による推定の際に複数の候補の存在を面までの距離を共分散qた＿1によって正規化したも考慮する．ある剛体部分iの観測九iと，iのすぐ根のである．このとき，切り取ったあとの茸／の分布の元の関節パラメータβiに関して平均〝たと分散gたは次のように計算される・

仇 ＝（恥、0，…，0）T

（28）
（23）

ー9−

表1：実験で用いた制約知識
姿勢に関する制約■ 形状に関する制約

岬招−♂i31≦10，−20≦β10≦0，0≦nl−ri2≦30，

巨i2−n31≦10，0≦♂20≦20，55≦ril≦70，0≦♂ij≦90，30≦ri2≦50，（a）t＝6／其値 （b）t＝10／其値 （c）t＝16／真値l♂u−♂21t≦35 25・≦ri3≦50，lroゴーrリⅠ≦5

壷＝il，2），ブ＝（1，2，3）0の単位deg，rの単位pixelが成り立つときは，βiが変化しても九iはほとんど変化しないので，図11のA，Bの2点で観測の線形（d）（a）の別視点 （e）（b）の別視点 （f）（c）の別視点化を行う・式（28）が成立する場合には，
1．EXFの予測芸子を得る．

2．投影が画面に関して表書と対称になる姿勢芸；ymを，βiだけを変化させることで生成する．

3．表わ芸；ymの位置で観諷をそれぞれ線形化する。

（g）t＝6／推定 （h）t＝10／推定 （i）t＝16／推定4．3で線形化されたそれぞれの観測式を用いて，予測分布と観測をEKFにより統合し，二つの解を得る．
5．4で得られた解についてc鳥を計算し，C鳥がしきい値より小さくなる制約式がある（制約からのはみ出しが大きい）場合は，間違いとみなして棄却する．

0）（g）の別視点、（k）（h）の別視点 （1）（i）の別視点

図12：複数の推定候補による多義性の解決

6．5で得られた推定に対し，制約による分布切り取りを行う．

適応結果を示す．図14（a）は初期推定形状，（b）（c）

図12に複数の推定候補を用いて推定の多義性が解決

は55フレームにおける推定形状をそれぞれ示した図される例を示す・第10フレーム（図12（b），（k））におである・（c）は指の長さと掌の幅が（b）と違うものをいて，奥行きの多義性のために複数の推定が生成さ観測した場合の結果であり，（b）（c）における指長されている（そのうち2つを図示）．その後，第16フ
レーム（図12（i），（l））まで進むと，一方の推定は，指推定の時間変化を図17，1引こ示す．（b）（c）とも同一の初期推定と制約知識を用いながら，さまざまな観関節の曲がる方向についての制約によって棄却され測値を得ることで，形状の個体差に適応できたことた．

を示している．

最後に実画像列に対する実験例を図19に示す．こ

6 実験結果の例では各部の関節角と指の長さについてのみ推定を行い，投影は正射影を仮定し，スケール率は固定

本手法を合成画像列と実画像列に対して適用した結果を示す・図13（a）−（f）は，二本の指をもつ手状物とした・（a）−（c）は入力シルエットとそれから抽出さ体の合成画像列である．軸，指先位置と掌の輪郭線れた指状の突起特徴である．はじめに大まかな形状モデルをあたえ，突起特徴を利用したシルよットマッがweakperspectiveで観測できるとし，各観測値にガウスノイズを加えたものを観測値として計算して，形状と姿勢を推定した結果が図13（g）−（1）ある．制約知識と初期推定を表1，？7に示す．また図15−17はチ㌣グ【3］により大まかな姿勢推定（d）−（f）を得る・

大まかな推定から得られたモデルと画像特徴との対応を元に，各指飾の対応する中心軸（g）−（i）を突起特徴から切り出し，本研究で述べた手法により得た形

推定パラメータの時間変化であり，真備を実線で，推定値を白丸で，推定の標準偏差の2倍を縦線でそ状と姿勢の推定結果が臼）−（1）で．ある．図20に，最初れぞれ表した．これらの固から，物体の姿勢が正しく推定できたことがわかる．次に形状の個体差へのに与えた大まかな形状モデルと本手法によって修正された形状モデルの比較を示す．

−10−

7 まとめ本稿では形状の個体差に適応して関節物体のジェスチャを精密に推定する手法について述べた．可能な形状と姿勢をパラメータ空間における確率分布として表現し，動画像からの観測と不等式で表現した
緩やかな制約知識を統合することにより，可能性を限定し，形状の個体差を推定できることを示した．
この手法を応用して，四つ足の動物の一般モデルから，猫や馬の動画像を入力することでそれらの詳細な形状モデルを生成する技術の開発が期待できる．
本手法を実際のシステムに応用する場合には，現（a）t＝1／真備（b）t＝8／真値 （c）t＝16／真値

状では大まかな姿勢を推定する部分に多くの時間がかかっているので，実時間性の確保が大きな課題となる．また，推定精度の観点からは，類似する観測（d）t＝32／其値（e）t＝40／真備（f）t＝55／其値

データが非常に長い時間入力された場合に不当に推定分散が小さくなることが問題として残っている．
新たな情報が得られていないにも関わらず，観測式の線形化誤差とノイズによる観測値の変化によって推定分散が小さくなる．この影響は，実際の観測値の分散が，EKFの構成時に見積もった分散よりも大きいときに顕著になる．合成画像を用いた実験では，実際に与えたノイズ分散を，EKFにおける観測誤差の分散の1／2に設定した．実験では，入力画像を十分変化させることにより，適正に形状が推定セきた．より長い画像列についても適正に推定ができるように，この線形化の誤差を補正することを今後の検討課題とする．また，各部の長さや太さだけではなく，表面の形状を推定することで，より正確な形状モデルとジェスチャの推定を行なうことを考えている．

（g）t＝1／推定（h）t＝8／推定（i）t＝16／推定0）t＝32／推定（k）t＝40／推定（1）t＝55／推定

図13：合成画像からの形状と姿勢の推定結果［3】島田伸敬，白井良明，久野義徳・ 確率に基づく探索と照合を用いた画像からの手指の三次元姿勢推定，，．電子情報通借学会論文誅vol．J79−D−ⅠINo．7，pp．1210−1217，1996・

P］Y．Ⅱel−OrandM・Wbrman・

Recognitionand

LocalizationofArticula．tedObjects
果1．InProc．

げⅣ○血ん叩On〟oti￠花げ肋几一月i♂idα几dA−づ電ic一果2

朝ねねdOりecね タイ，pp．116−123・IEEE，1994・（a）初期形状【5】J．CosteiraandT．Xanade・
AMulti−bodyFactori2；ation Methodfor Motion Analysis ．
In Cαmegy meJわ氾 侮れ 二托cゐ．蝕卿而，pp・

図14：異なる形状に対する推定結果の比較

CMローCS−TR−94−220，1994．

【6］J．0，RourkeandN・Ⅰ・Badler・

参考文献【1】J．J・KuchandT・S・Ⅱuang・

VirtualGun：

AVision BaBedⅡumanComputerInterface
UsingthelIumanⅡandModel−Based

ImageAnalysisofⅡumanMotionU8ingCon−．In MⅢ

94，pp・

196−199，1994．

＄traintPropagation．mEEThns．qfPaiienl

A†柑J．αれd〟αC鳥玩e血書e丑，PA〟ふg，肋．β，pp．
522−536，1980．

【7］片山徹．応用カルマンフィルタ∴朝倉書店，1983・【2】［8】J．Cr扇g著，三浦宏文，下山勲訳．ロボテイクス・tplicationtoHumanHandTracking．ECCV

94，pp．35−46，1994．

−11−

機構・力学・制御一．共立出版，1991．

21﹂O10虐￠一dOS

モ≡−fし010 2qime弘mePOモ￣三＝し（a）t＝2／入力特徴（b）t＝4／入力特徴（c）t＝8／入力特徴（d）t＝2／粗推定（e）t＝4／粗推定（f）t＝8／粗推定（g）t＝2／輪郭特徴（h）t＝4／輪郭特徴 （i）t＝8／輪郭特徴G）t＝2／精密化後（k）t＝4／精密化後 （1）t＝8／精密化後

50 60

図15：スケールの推定と分散

08060402︻謬p︼竿凛富岳碧≡○む一ぎ票u亘010 21ime私m。子050 60

図16：関節角♂13の推定と分散
55055430450352︻一￠×羞∽Lこ亀u≡0壬ぎ￠一20010 2qime亀m。予0 50 60

図19：実画像からの推定例

図17：指長さγ13の推定と分散（r13＝35の場合）

60 55 50
嶋 40 諮 30 25 20︻苛X皇のLこ￠P≡0王ぎ〇一0（a）初期形状
102030405060（b）形状推定結果

図20：実画像からの形状推定結果

timeFrame】

図18‥指長さr13の推定と分散（r13＝40の場合）−12−