利用者の動作と連動する仮想ファッション
中野 敦

星野 准一

筑波大学機能工学系
あらまし

本稿では，仮想的な鏡の前で CG による衣服の試着や髪型の変更を行うことができる，仮想ファッションシステムを提案する．本システムでは，テレビカメラにより利用者の映像を取り込み，人物の動作に合わせた衣服や髪型を合成してディスプレイ上に表示する．利用者の３次元動作に連動して，CGによる衣服や髪型も動くことにより，仮想的な鏡の前で試着を行っている効果を実現する．本稿では，人物の人体動力学モデルとビデオ映像から得られる輝度値を利用して，人物の３次元動作を推定する手法を述べる．また，推定した３次元動作に合わせて，CG 画像を生成することにより，実写映像との高精度な重ね合わせを行う．具体例として，人物動作に合わせた衣服と髪型を生成して，ビデオ映像への重ね合わせを行った結果を示す．

Interactive Virtual Fashion Simulator
Atsushi Nakano Jun’ichi Hoshino
University of Tsukuba, College of Engineering Systems
Abstract This paper presents an interactive virtual fashion simulator by merging CG and humans
in video sequences. Unlike the traditional systems based on the still photographs , the synthesizedvirtual cloth and hair style can be matched with the user’s movement as if they are actually wearing
them. In this paper, we describe a new method for merging virtual objects onto the human video
sequence. First, we track current 3D pose of human body by using the spatio-temporal analysis. Thenwe generate CG objects and merge it with the human body in video. We demonstrate examples ofmerging virtual cloth and virtual hairstyle with the video captured images.

1.

はじめに
我々は様々な状況に合わせて服装やヘアスタイルなどのファッションを変えることを行っている．
服装を変えることについては，様々な意味が考えられるが，例えば，自己表現の手段や，新しい自己に変身したいという願望を満たすための手段としても考えられている．このようなファッション活動を支援するために，近年のコンピュータグラ
フィクスや仮想現実の分野では，計算機によって多様なファッションを生成することが行われている[1]．
従来のシステムでは主に，CG による人物キャラクターに衣服を着せて歩かせたり，仮想的なファ図１ッションショーを生成することが行われてきた．

1

仮想ファッションシステム

2) Estimating 3D pose
4) Merging virtual clothand input images

1) input images3) Generatevirtual clothusing 3D poset

図3(a) 入力画像図2システムの概要(b) 合成結果

衣服 CG 画像の合成例

これらの研究では，主に３次元的な人物モデルと衣服の衝突計算や，衣服の動的なシミュレーション[8,9,10]などの問題を扱っている．ところが，個々の利用者が自分で衣服を着たときに，どのように見えるかについては，重点が置かれていない．
個々の利用者がファッションを変えた姿をシミ

図 4 動作推定法の構想

ュレートする方法としては，利用者の姿をビデオカメラで取り込んで，新しい衣服やヘアスタイル推定した３次元動作に合わせて，CG 画像を生成すを合成することが考えられる．従来のシステムでることにより，実写映像との高精度な重ね合わせは，静止画を対象とした合成手法の検討が行われを行う．具体例として，人物動作に合わせた衣服てきた．例えば，静止した人物の写真に衣服画像と髪型を生成して，ビデオ映像への重ね合わせをを合成したり，人物の顔写真にヘアスタイルを合行った結果を示す．

成する手法が提案されている．ところが，従来の2.

システムでは主に静止画を対象としているため，自分の動きに合わせて衣服や髪型の変化を見るこ

ヴァーチャルファッション
図 1 に仮想ファッションシステムの概念図を示とができないという問題がある．

す．本システムでは，テレビカメラにより利用者

本稿では，人物の動作に合わせた衣服やヘアスの映像を取り込み，人物の動作に合わせた衣服やタイルを合成することができる，仮想ファッショ髪型を合成してディスプレイ上に表示する．利用

ンシステムを提案する．本システムでは，利用者者の３次元動作に連動して，CG による衣服や髪型の３次元動作に連動して，CG による衣服や髪型もも動くことにより，仮想的な鏡の前で試着を行っ動くことにより，仮想的な鏡の前で試着を行ってている効果を実現する．

いる効果を実現する．

実写映像と CG 画像の動きの整合性を取ることは，本システムを構築するためには人物の３次元動マッチムーブとも呼ばれている[2]．従来手法では，作を推定する必要がある．しかし，従来の輝度値情景とカメラの相対的な運動を推定して，CG 画像を用いた動作推定手法の場合，ビデオ映像から人を合成することが行われている[5,6,7]．また，人物の３次元動作を推定するときの問題として部分物の頭部に３次元モデルを当てはめて，影を生成的なオクルージョンにより動作推定が不安定になしたり，頭部に帽子などの CG の物体を合成する手ることが挙げられる．そのため，運動情報として法が提案されている[3]．ところが，これらの手法

人物の人体幾何モデルに合わせた動力学モデルかでは，主に情景が多面体で近似できる場合や，顔ら得られる関節駆動力を，ビデオ映像上におけるのように単一の物体で表される場合に，実写画像人体領域のフレーム間輝度値２乗誤差と併用して，と CG 画像を合成することに重点が置かれている．

人物の３次元動作を推定する手法を述べる．また，そのため，人物のような複雑な被写体画像に CG 画2像を合成するときには，作業者が人手で位置合わせをすることが必要となる．
本稿では，ビデオ映像から人物の３次元動作を人体動力学モデルから得られる関節駆動力とビデオ映像上における人体領域のフレーム間輝度値２乗誤差を用いて推定し，実写映像に CG 画像を合成している．本手法では，次の手順で実写画像と CG画像の合成を行う．
１）

２）

３）
４）
５）

動作区間の始点と終点，動作の特徴となるフレームにおける３次元姿勢を指定し，スプライン曲線で補間することで動作の初期推定値とする
関節駆動力とフレーム間輝度値２乗誤差を最小にする補間曲線の制御点位置を探索することで３次元姿勢を推定する推定した３次元姿勢を利用して衣服やヘアスタイルなどの CG 画像を合成する生成した CG 画像と動画像中の人物を合成する
入力画像の各フレームで 1) 4)の処理を繰り返す

図 5 人体幾何モデルできる．ここで述べている木構造ロボットとは途中で枝分かれをする構造を持つロボットのことである．
これらの木構造ロボットの仮想人体動力学モデルを数式で表した運動方程式導出手法について述べる．

３ 仮想人体動力学モデルによる関節駆動力の取得
本章では，人物の動作を推定する際に必要となる人体動力学モデルを構築し，関節駆動力を取得する手法について述べる．本稿では人体を多リンク木機構ロボットとみなし動力学モデルを構築す
る．人体動力学モデルをリンクを用いてモデル化する場合，さまざまな拘束条件のためにリンク構造が変化し，汎用的な動力学モデルを求めることは困難である．本稿では実現象に対応する人体動力学モデルを構築するのではなく，人体内部の幾何学的拘束条件のみを考慮し，「物理的障害による身体部位への負荷」を「身体部位そのものの負荷」として仮想的な人体動力学モデルを用いることで汎用的な動力学モデルを構築する．
3.1

3.2

ニュートン・オイラー法による運動方程式の導出
3.1 節で示した仮想人体動力学モデルを導出す
る．仮想人体動力学モデルを数式で表した運動方
程式を求めるため，運動方程式導出法としてニュートン・オイラー法について述べる．
ニュートン・オイラー法は，ニュートンの式である

F = mv&

仮想人体動力学モデル(1)とオイラーの式

本稿では，図 5 のような人体幾何モデルを用いる．図 5 は人体の関節回転を円柱の中心軸周りの回転に置き換えたものである．この人体幾何モデ
ルに合わせて仮想人体動力学モデルを構築する．
人体内部の幾何学的拘束条件のみを考慮した場合，
図 5 に合わせると上半身，下半身ともに腰部をベースリンクとした木構造ロボットとみなすことが3

N = Iω + ω × (Iω )(2)を用いて力とモーメントの動的な釣り合いから運動方程式を導出する手法である．

F ： ベース座標系を基準としたときのリンクに作用する外力ベクトルm ： リンクの質量

v&NI
ω

： リンクの質量中心の速度ベクトルg (q ) は重力項， q は木構造ロボットの関節変位で： リンクに作用するモーメントベクトルある．

： リンクの質量中心まわりの慣性テンソル

3.3 関節駆動力の取得： リンクの角速度ベクトル

木構造ロボットとしてこの手法を扱うにはブラ(9)式の右辺において関節変位，角速度，角加速ンチと呼ばれる複数のシリアルリンクに分割する度以外は固定値なので関節変位，角速度，角加速必要がある．以下に s 個のブランチを持ち，それぞ度を指定することで左辺の関節駆動力を得ること

れのブランチ k が n k (k = 1, K , s ) 個のリンクを持ができる．

つロボットに対するニュートン・オイラー法の計

4．動作推定法

算手順を示す．
動作推定の手法として輝度値を利用することが1) ブランチ１，第 0 リンクの加速度，角速度，角一般的であるが，ビデオ映像上では輝度値を得る

加速度の初期値を以下のように設定する

目的の人物のある部分が障害物やその人物自身の& 10 = 0
v& 10 = −g , ω10 = 0 , ω(3)

他部分によって隠され適切な輝度値が得られない

2) ブ ラ ン チ １ に 対 し て ， c = 1 か ら n1 へ 順 にことがある．本章では適切な輝度値が得られない& 1c を求める
v1c , ω1c , ω3) ブランチ k (k = 2, K , s ) の加速度，角速度，角た関節駆動力を利用した手法について述べる．

部分でも動作推定を行う手法として，３章で述べ加速度の初期値をそれぞれ4.1( ) {v& + ω& × B~ + ω × (ω × B~ ) } (4)v& 0k = Bk TRcobcolcob
colkp

cob
col( )& = (B ) ω&ωcob
colkpk0k TR

ビデオ映像上における人体領域のフレーム間輝度値２乗誤差がより小さければ目的の人物が移動(5)Tω 0k = B kR ω cob
col

した先を適切に推定できていると考えられる．また人間は目的の動作を行うとき関節駆動力がより(6)cobcol小さくなるように動作していると考えられる．ことして求める．ここで B は親ブランチのリンkの２点を考慮し，輝度値２乗誤差に関節駆動力のク座標系から子ブランチ k のリンク座標系を値を加えたものを最小化する関節軌道を生成する．

関連づける 4×4 の同時変換行列であり， B Rk~k( ) の右上 3

は B の左上 3×3 行列，B p は Bk

部分的に輝度情報が得られない場合でも関節駆動k −1

力の値の重みを大きくすることで自然な動作を生×1 小行列を表す．また cob はブランチ k を分成することができる．

岐するブランチ番号で col はブランチ k を分4)5)

動作推定法の概要

4.2

岐するリンク番号である．
ブランチ k (2, K , s ) に対して i = 1 から n k まで& ck を求める．
v ck , ω ck , ωブランチ k (s, K ,1) に対し，c = nk から 1 まで力
f ck とモーメント n ck を求め関節駆動力 τ ck を以下のように求める．

曲線補間を用いた初期姿勢の推定

ビデオ映像から得られる画像フレームの中で人物動作の特徴となるフレームの関節変位をスプライン曲線で補間することでビデオ映像全体の各フレームにおける関節変位を取得する．本稿ではス
プライン曲線補間法として３次ベジェスプライン

関節 i が回転関節のとき(7)

関節 i が直動関節のとき(8)補間は通過点とそこでの接線が与えられた場合の以上の計算により以下の形の運動方程式を得る．

補間である．本稿でベジェスプライン曲線を用い

 zT nkτ ck =  T0 ck
z0 f c曲線によるエルミート補間を用いる．エルミートる利点として&& + h(q, q& ) + g (q )
τ = M (q )q

制御点の影響の局所性により制御点を編集し(9)た際の影響を曲線の一部分に限定できる点

上式において M (q ) は慣性行列と呼ばれる対称行列，h(q, q& ) は遠心力やコリオリ力に関連する項，

初期姿勢で指定された通過点の位置を変更せずに制御点のみを編集することで初期姿勢が4適切に推定できている場合の重みを表現でき

4.4る点

話を簡略化するために人間の身体構造を，ベースリンクとなる腰部リンクを第 0 階層リンク，第 0階層リンクから派生するリンクを第１階層リンク...第 r 階層リンクから派生するリンクを第 r + 1階層リンクというように定める．第 r 階層リンク
Link _ r におけるトルク合計値 τ r は Link _ r の f番目フレームにおけるトルク値 T f を用いてが挙げられる．以下に全フレームの初期姿勢を推定するための補間方法について述べる．
特徴となるフレームの姿勢を指定することで各リンクの関節変位を得る．その関節変位の値を曲線の通過点とする．エルミート補間において通過点のみが指定された場合，通過点における接線ベクトルを求める必要がある．関節変位の値が指定された E + 1 個の点を Q 0 , Q1 ,..., Q E とすると接線ベクトルを

τr =Q e − Q e −1
, (e = 1,2,...., E − 1)
| Q e − Q e −1 |(10)Dr =として補間曲線 {P (t ) | 0 ≤ t ≤ E} を求めることができる．求められた曲線 P(t ) を関節変位の初期姿勢とする．ここで t はフレーム番号を含む実数である．

q& f =H

H=2

q f +1 − q f&& f =q+q f − q f −1

H−H

q f − q f −1
H=

q f +1 − q f −1
2H(11)

q f +1 − 2q f + q f −1H2(12)として擬似的な瞬間の速度，加速度を求めている．
このとき各パラメータは次の通りである．

(13)

ffMax − 2 uMaxvMax∑ ∑ ∑ w(u, v)(i (u, v)−if =1fu =0 v =0

(1 − ( ∆η / σ ) 2 ) 2w(u , v ) = 0

2f −1(u, v) )if ∆η < σif ∆η > σ(15)フレーム画像から輝度値を得るとき，目的のリンクが他のリンクに隠され適切な輝度値を得られなくなることがある．その場合適切な輝度値を得ている領域を判別しなければならない．適切な輝度値の領域は画像上における人物の動作と同じ状態を表していると考えられる人体の幾何モデルの持つ奥行き座標を用いて，どのリンクの領域が最も手前にあるかを調べることで求められる．式(13)，(14)を用いると評価式は

α r τ r + β r D r →minH： フレーム間隔
f： フレーム番号
fMax ： ビデオ映像から取得したフレーム

qf

f =1と表される．このとき f 番目フレームにおける座標 (u , v) の輝度値は i f (u , v) ，w(u,v)はロバスト統計法の重み関数である．本稿では次の関数を用いている．

4.2 節で初期姿勢を推定したが関節駆動力を得るための運動方程式を用いる際に関節変位の角速度，角加速度を求めておく必要がある．本稿では f 番&& f を
目フレームにおける速度 q& f ，加速度 qq f +1 − q f∑T(14)

角速度，角加速度の取得

4.3

fMax − 2と表される．ここで f の値が 1から fMax − 2 であるのは式(11)，(12)で得られる速度，加速度がこの範囲であり，それに基づいて導出される T f もこの範囲でしか得られないからである．
Link _ r の輝度合計値 D r は

Q − Q0Q E − Q E −1
l0 = 1, lE =,| Q1 − Q 0 || Q E − Q E −1 |le =トルク値と輝度値の最小化による動作推定(16)と表される．ここでα , β は重み係数である．
式(16)を満たす関節変位を 4.2 節で示したスプライrr

ン曲線の制御点を偏集し求めることで動作推定をの枚数： f 番目フレームのリンク関節変位行う．注意点としてリンクに評価式(14)を当てはめる順番として第 r 階層リンクの誤差は第 r + 1 階層リンクに影響することを考慮に入れ昇順で最適化

5

(a) 衣服を作成したところ(b) 人体モデルに衣服をフィッティングしたところ(a) 頭部の３次元モデルに頭髪を張り付けたところ(b) 頭部の形状にフィッティングしたところ(c) 歩行動作に合わせた衣服の動的シミュ(c) 人物の移動に合わせてシミュレーションを行ったところ

レーションをしているところ

図 7 ヘアスタイルの生成

図 6 衣服シミュレーションの例

衣服 CG 画像の位置合わせを行うことに重点を置する必要がある．

い て い る た め ， 市 販 の ソ フ ト ウ ェ ア (MAYA

5. 衣服とヘアスタイルの合成手法ClothTM)を利用した．その他の動的シミュレーシ

本章では，洋服とヘアスタイルを具体例として，また，衣服と人体モデルの衝突計算も CG ソフト

ョンが可能な衣服生成法も同様に利用可能である．

CG の生成手法と,ビデオ映像への合成手法を説明の機能を利用したが，従来から提案されている手する．

法も同様に利用することができる[2]．図 6 に衣服

5.1 衣服画像の生成シミュレーションを行っているところを示す．(a)は衣服を生成したところ，(b)は人物の３次元形状

本稿では，人体の３次元モデルと姿勢パラメータにフィッティングしたところである．(c)は歩行動が得られているため，モデルと衣服画像の衝突計作に合わせて衣服シミュレーションを行っている

算を行うことで，人体モデルの形状に合わせた衣ところである．

服画像を生成する．また，フレーム間の人体の動5.2

作の変化に合わせて，衣服のダイナミックな動きをシミュレートする．衣服と人体の衝突計算を行

ヘアスタイルの生成

ヘアスタイルを生成する場合は，頭部の３次元う際に，図 5 の人体の近似モデルを利用すると，モデルに変形可能な頭髪を張り付けて，人物の移衣服の形状が不自然になる．そのため，本実験で動に合わせて動的シミュレーションを行う．髪型は，表面が滑らかな人体モデルに推定した関節角のモデルは，頭部の３次元モデルに短冊状に細いを与えて衣服 CG 画像を生成した．各パーツの寸髪を張り付けて，髪の模様をテクスチャマッピン

法は，動作を推定した人体幾何モデルと同一のもグすることで生成する．本実験では，5.1 節と同様のを利用した．にヘアスタイルの動的シミュレーションに MAYA

衣服画像の生成法としては，さまざまな手法が提ClothTM を利用した．図 7 にヘアスタイルの動的案されている[2,3,4,5,6,7]．本稿では，実写映像とシミュレーションを行った例を示す．(a)は頭部に

6

(a) 入力画像(b) 人体の追跡結果(c) コートの生成結果(d) コートの合成結果
図8

衣服 CG 画像の合成結果髪を張り付けたところである．(b)は重力を働かせ合成の段階でも利用することにした．本手法では，て髪を頭部の形状にフィッティングしたところで次のステップで人体画像と CG の合成を行う．

ある．(c)は人物の移動に合わせて頭髪の動きをシ

1) 入力画像を人体モデル上にテクスチャマッピングする

ミュレートしたところである．

2) 人体モデルに衣服画像を重ね合わせる

5.3 実写画像との合成

3) 人体モデルと衣服モデルを同時にレンダリングする

衣服画像を合成する際には，人体部位による隠れを考慮に入れることが必要となる．例えば，衣以上の処理により，推定した人体姿勢を利用して，服の前に腕がある場合は，合成後も腕が見えていCG の生成と実写画像への合成を行うことができなくてはいけないので，単純に衣服画像を上からる．

重ね合わせることができない．人体部位による隠6. 実験結果

れを判断するためには，衣服との前後関係を判断することが必要となる．本稿では，運動推定や衣本手法の有効性を確認するために，ビデオ映像

服画像の生成に人体モデルを利用しているため，から人物動作の推定を行い，CG による衣服とヘア

7スタイルの合成を行った．図 8 に歩いている人物

particle-system model for cloth drapingに衣服 CG 画像を重ね合わせたところを示す．(a)Graphics and Applications, Vol.16, 52-59, 1996

は入力画像，(b)は３次元動作を推定したところで[7] H.N.Ng, R.L. Grimsdale: Computer graphics techniques forある．(c)は人物動作に合わせて衣服 CG を生成しmodeling clothたところである．(d)は(c)の衣服画像を(a)の入力画

Vol.16, pp.28-41, 1996

像に重ね合わせたところである．人物の移動に合[8] 大谷

わせた自然な衣服 CG の合成が可能になっている姿を好みの姿に変えられるシステムを目指して -ことが確認できる．

Journal,No26,pp6-7,1996[9] 宮田7. むすび, IEEE Computer, IEEE Computer Graphics and Applications,

淳,海老原 一之,楜沢一乘, 黒川順：

仮想変身システム-自分の,ATR

雅人：ヘアスタイル・シュミレーション・

シ ス テ ム の 試 作 ； 情 報 処 理 学 会 グ ラ フ ィ ッ ク ス と CAD

本稿では，仮想的な鏡の前で衣服やヘアスタイ

74-9,pp47-52.,1995

ルの変更を行うことができる仮想ファッションシ[10] 宮田

ステムを提案した．本システムでは，従来の CGの合成 ,画像電子学会論文誌, Vol.25, No.5, 1996

作品を作ることを重視したシステムに対して，利[11] 山本正信，川田聡，近藤拓也，越川和忠: "ロボットモデルに用者が自分の新しい姿を見ることに重点を置いて基づく人物動作の３次元画像追跡", 信学論(D-II), Vol.J79-D-II,いる．また，利用者の動作に追従して，衣服やヘNo.1, pp.71-83, 1996

アスタイルも動的に動くことにより，現実感の向[12] 川崎晴久，清水上を狙っている．本稿では，ビデオ映像からの３[13] 杉原

厚吉："グラフィックスの数理"，共立出版,1995

次元的な人物動作を推定するとともに，実写映像を利用して合成実験を行い，システムの実現が可能であることを示した．
今後の課題としては，本手法の高速化により，対話的に仮想的なファッションの変更を行うことができるシステムを構築することが考えられる．
謝辞：本研究の一部は，科学研究補助金（奨励研究(A) 13780214）による．衣服 CG の作成を行って頂きました新潟大学の斎藤啓史さんに感謝致します．

文献[1] S. Gray: Virtual Fashion , IEEE Spectrum, pp.18-25, 1992
[2] M. Carignan, Y.Yang, N.Thalman, D.Thalman:

Dressing

Animated Synthetic Actors with Complex Deformable Clothes ,ACM SIGGRAPH

92, 99-104, 1992

[3] Pascal Volino, Martin Courchesne, N. M. Thalmann,''Versatile and Efficient Techniques for Simulating Cloth andOther

DeformableObjects,''ComputerGraphics

proceedings,pp.137--144, 1995
[4] 坂口 嘉之,美濃 導彦,池田 克夫:

自分に合った衣服をオーダーする: 仮想服飾オーダーメイドシステム , 電子情報通信学会誌,Vol.82, No.4, pp.404-411,1999[5] D. Baraff, A. Witkin:

Large Steps in Cloth Simulation ,SIGGRAPH98 Conference Proceedings, pp.43-54, 1998
[6] B. Eberhardt, A. Weber, W. Strasser:

A fast, flexible,

8一乘：

画像のワーピング処理を用いたヘアスタイル

年美："ロボット数式処理"，昭晃堂,2000