論 文
人物シルエットへの時空間位置合わせによる衣服画像の合成
杉田

馨† a)

関根 真弘†

西山 正志†

Clothing Image Composition using Spatio-temporal Tracking of Human Body Silhouette
Kaoru SUGITA†a) , Masahiro SEKINE† , and Masashi NISHIYAMA†

あらまし フィット感よく人物と衣服を重ね合わせるために人物シルエットに衣服画像の位置を合わせる仮想
試着システムを提案する．従来のシステムでは，デプスセンサから得られる人物の骨格中の関節位置のみで位置合わせをする手法を用いていたため，人物と衣服の肩領域のシルエットが一致せず，試着をしている印象が損なわれるという問題があった．そこで，人物の動きを判定し，人物の静止時には人物と衣服の肩領域のシルエットからその人物に合った衣服のスケールと位置を算出する手法を開発した．さらに，人物の移動時には人物の関節位置の移動量に応じて合成画像の描画を追従させる手法を開発した．実験において，シルエットを用いたシステムが骨格位置を用いたシステムよりも教示データに対して人物画像に対する衣服画像の位置合わせ精度が向上していることを確認した．
キーワード

仮想試着，画像合成，拡張現実感

1. ま え が き
近年，一般消費者向け小売業界では，新たなユー
ザ価値を創造することでショッピングスタイルの差異化を図る動きが活発になっている．差異化の要素として，拡張現実感 (AR: Augmented Reality) を活用したショッピングスタイルが求められており，中でも図 1に示すような仮想試着システムが注目を集めている．
このシステムは，図 2 のように，ユーザの購買行動において実際に衣服を試着する前に，数多くの衣服の中から自分に合うものを選ぶ行動を支援することを目的としている．このシステムにおいて重要な機能は，映し出された等身大のユーザ画像に対して実時間で衣服

図 1 仮想試着システムの利用イメージ
Fig. 1 Usage of virtual fitting system.

を合成した画像を描画すること，衣服を高い質感で描画できること，ユーザの動きに追従し描画できること

衣服画像を高品位に実時間で描画することは難しいこである．既存システム [1], [2] ではユーザの動きに追従とが知られている．

して 3 次元 CG の衣服を描画することが実現されていそこで，本論文では，高い質感を実現できる実写画

る．一般的に，ユーザの動きに合わせて自由変形する像を利用し，衣服の中でもブラウス，セーター，ジャケットなど種類が多い上半身用の衣服画像を人物画像†

株式会社東芝 研究開発センター, 川崎市
Corporate Research & Development Center, Toshiba Corporation, 1, Komukai-Toshiba-cho, Saiwai-ku, Kawasaki, 212–
8582 Japana) E-mail: kaoru.sugita@toshiba.co.jp

に対して精度よく合成する仮想試着システムを開発したことについて述べる．
以下，2. では人物画像に対する衣服画像の合成における要素技術について述べる．次に，3. では提案シス

電子情報通信学会論文誌 D Vol. J97–D No. 9 pp. 1519–1528

c （社）電子情報通信学会 2014⃝1519

電子情報通信学会論文誌 2014/9 Vol. J97–D No. 9

Visit a store
Assisting shoppingby virtual fitting
system

本論文では基準として人物の肩部分のシルエットを用いる．衣服の肩付近はショルダーラインと呼ばれ，衣Get interested

服を着装する上で重要なポイントとなることが知られ

Try on real clothingている [7]．そこで，衣服画像と，衣服を合成する対象の人物画像間のずれが試着している印象におよぼす影

SelectBuy

Fig. 2図 2 仮想試着システムによる購買行動支援
Virtual fitting system for assisting shopping.

響を調査するために，主観評価実験を実施した．
手作業で衣服画像のスケールと位置を調整して人物
画像上に衣服画像を重ね合わせた状態から，大きさの拡大・縮小や位置をずらした画像を合成し，F1 層(20〜34 歳の女性)20 人に対し試着していると感じられるかの 5 段階でのスコア付けのアンケートを行った．
テムで用いている衣服画像位置合わせ手法について述

スケールずれや位置ずれ条件の提示順序は被験者ごとべ，4. で教示データを用いた位置合わせ精度の評価実にランダムとし，条件ごとにスケールずれおよび位置

験により提案システムの有効性を確認する．最後に，ずれがない画像と，スケールずれまたは位置ずれのあ

5. でまとめを行う．

る画像を一対で提示した．スコアは，「まったく違和感

2. 衣服画像合成のアプローチ
仮想試着システムにおける重要な要素技術は，人物がない」が 5 点，
「あまり違和感がない」が 4 点，
「やや違和感がある」が 3 点，
「違和感がある」が 2 点，
「かな
り違和感がある」が 1 点である．

位置のセンシング，その人物と仮想の衣服との位置合

その結果，図 3 に示すように，衣服画像のスケール

わせ，そして人物画像上への衣服画像の描画である．

と位置の調整による重ね合わせのみでも，人物と衣服

2. 1 人物位置のセンシングのショルダーラインのスケールと位置のずれが小さい

人物位置を推定する手法として，輝度画像を用いる

場合には仮想試着において衣服を着たイメージの試着手法 [3] と，デプスセンサから得られるデプスマップ

していると感じられるスコアが高く，ずれが大きくなを用いる手法 [4] を挙げることができる．映像表示装るにしたがって低下することが判明した．

置は消費者が行き交う店頭や通路に設置されることがそこで，提案システムでは，人物の肩領域に着目し多く，背景差分法などを用いることが難しいため，人て位置合わせを行うとともに，人物の動きを元に，シ

物位置の取得には一般的にデプスセンサが用いられてルエットを用いた人物と衣服の位置合わせを行うタイいる．

ミングを判定することで追従性を保ちつつ位置ずれを

デプスセンサにはデプスマップにあわせて人物の骨低減する手法を用いる．

格中の関節位置を実時間で取得できるものがあり，人2. 3 衣服画像の描画

物の骨格位置に合わせて衣服画像を合成することがで人物と衣服を合成する際に，衣服画像をどのようなきる [5], [6]．しかし，人物の骨格だけでは肉付きなど

データ形式で描画するかを考える必要がある．衣服画

シルエットまで表現することができず，ある人物に衣像の描画手法は，衣服画像の形式により，あらかじめ服が合うように調整しても，他のユーザに合わず，人

実際の衣服を撮影した 2 次元実写画像を描画する手

物ごとに衣服画像の描画位置とスケールの調整が必要

法 [5], [8], [9], [12]，または，衣服の 3 次元 CG モデルとなるという問題がある．そこで，本論文で提案するを描画する手法 [10], [11] の 2 つのアプローチに大別

システムではデプスセンサから得られる人物のデプスすることができる．

マップのシルエットに対して衣服画像の位置合わせを

2 次元実写画像の衣服を描画する手法 [5], [8], [9], [12]行う手法を用いることで高精度に人物と衣服を合成す

では，1 枚あるいは複数の衣服画像を用いる．着衣状

ることを狙う．

態の衣服を撮影し，衣服領域を抽出することで衣服画

2. 2 人物のショルダーラインに対する衣服の位置合わせ像データを生成する．試着時には，人物の位置や向きをセンシングし，衣服を選択してスケールと位置とを衣服画像を描画する際に，人物シルエットのどの位合わせて画像合成する．長所として，実際の衣服の写

置にどのスケールで合わせるかの基準が必要となる．

真を用いるため光沢やしわ等の質感の再現が容易とい

1520

論文／人物シルエットへの時空間位置合わせによる衣服画像の合成
Fitting score

5

4

3

2

1

Image capture and sensing

Scale gap

1.6%

Clothing image angle selection andhuman behavior decision

3.2%

[3.1]

Still
4.8%

Clothing image scalecalculation

6.4%

Moving

[3.2]
0%

20%

40%

60%

80%

Silhouette based position
calculation

100%

Position gap

1cm

[3.3]

Skeleton based clothing image tracking

2cm

[3.4]
3cm

Clothing image composition

4cm

Fig. 4
0%

20%

40%

60%

80%

図 4 衣服画像位置合わせ処理フロー
The clothing image fitting process flow.

100%

図3

スケールずれと位置ずれに対する試着感のアンケー
ト結果
Fig. 3 Fitting level evaluation about scale gap andposition gap.

Depth sensor
Depth sensor
skeleton coordinatej(X’ ,Y’, Z’)

Y’
X’

x

Z’

y

Y

Cameramatrix C

う点が挙げられる．短所としては，ユーザの姿勢や体格，細かい着こなし方に合わせた自然な変形が困難でCamera coordinate
q(X, Y, Z)

あるという点が挙げられる．

Projection
matrix P

一方，衣服の 3 次元 CG モデルを描画する手法[10], [11] では，事前に裁断した衣服や CAD データな

Z

X
CameraDigital signage
display

Screen coordinate
p(x,y)

どをもとに，ポリゴンモデルやテクスチャマップを作成して衣服を表現する．試着時には，人物の姿勢，体Fig. 5

格，立ち位置をセンシングし，ポリゴンモデルを変形

図 5 座標系間の関係
The relation of coordinates.

させる．長所として，ユーザの姿勢や体格，細かい着こなし方に合わせた自由な変形が可能であるという

デプスセンサによるセンシングを行い，衣服画像の向点，衣服の形状や柄の変更の自由度が高いという点がきを選択する処理と，人物の移動量を元にした人物移挙げられる．短所として，衣服ごとに性質の異なる伸動判定処理を行う．人物の肩領域に着目した衣服の位

びやしわ等の再現が実時間では難しいという点が挙げ置合わせを行う場合に，人物の移動中はデプスマップ

られる．

のシルエットがぼやけるため，人物移動判定結果に応提案システムでは，計算コストが低く実際の衣服のじて，静止時にはデプスマップのシルエットを用いた見た目を容易に再現できる 2 次元実写画像の衣服を描

衣服画像のスケールおよび位置を算出する処理を行画する手法を採用する．

い，移動時には関節位置を用いた衣服画像の人物への3. 提案システムにおける衣服画像位置合
わせ処理の流れ提案システムにおける衣服画像位置合わせ処理フ
ローを図 4 に示す．まず，カメラによる人物の撮影と追従処理を行う．最後に，人物画像上に衣服画像を描画する．
本処理において用いるデプスセンサ座標系，カメラ
座標系，映像表示装置のスクリーン座標系間の関係を
図 5 に示す．
1521

電子情報通信学会論文誌 2014/9 Vol. J97–D No. 9

3. 1 衣服画像の選択，人物移動判定

3. 2 シルエットに基づく衣服画像のスケール算出

衣服画像の選択処理では，デプスセンサから得られ衣服画像のスケール算出処理では，図 6 に示すようる人物のスケルトンデータ中の両肩の位置を用いて，に人物画像，衣服画像のシルエットを用いてそれぞれ

人物の向いている方向を求める．このためにまず両肩の肩幅を求める．

関節のカメラ座標系での位置 qr = (Xr , Yr , Zr ),ql =(Xl , Yl , Zl ) を算出する．

人物画像については，デプスセンサから得られるデプスマップをシルエットとして用いる．まず，デプス
マップから背景領域を除外し人物領域のみのシルエッ

qr = Cjr(1)

ql = Cjl(2)

トを抽出する．抽出したシルエット内部の点について
事前キャリブレーションで求めた変換行列 C と P を用いてデプスセンサ座標系からカメラ画像上に射影す

ここで，jr ,jl は人物の両肩関節のデプスセンサ座標

る．[13] に述べられているようにデプスセンサから得系での位置，C は事前キャリブレーションで求めたデられるデプスマップにはノイズが含まれるため，ノイプスセンサ座標系からカメラ座標系への変換行列であズ除去処理を行う．まず，人物領域の境界線を安定さる．次に，人物の向いている方向 θ を決定する．

せるために，過去の複数フレームのデプスマップにつθ = tan−1

Xr − Xl
Zr − Zl

いて上記の処理を行い重ね合わせる．続いて，射影結(3)

果のグレイスケール画像に対してガウシアンフィルタを適用した後に閾値処理を行い，モルフォロジーフィ

これは，線分 qr ql を XZ 平面に投影した線分とルタ [14] を適用する．ここで得られた画像 Sh につい

X 軸とのなす角である．衣服画像は離散的な角度でて，人物のスケルトンデータの両肩位置の中心点の Y撮影するため，衣服画像ごとに対応する角度の範囲

座標における水平方向のピクセル数 wh を肩幅とする．

θd (d = 0, 1, ...) を定義しておき，連続値である人物の向き θ に対応する向きの衣服画像を選択する．

衣服画像では，マネキンに着せた衣服画像領域を事前に画像編集ソフトで抽出したシルエット Sc について，マネキンの両肩位置の中心点の Y 座標におけるθd <= θ < θd+1

(4)

続いて，人物移動判定を行うために人物の両肩の中心位置 ps = (xs , ys ) を求める．

水平方向のピクセル数 wc を肩幅とする．
最後に，人物画像と衣服画像の肩幅比 s を算出し，衣服画像のスケールとする．

s=
ps =

P(qr + ql )
2

(5)

wh
wc

(7)

3. 3 シルエットに基づく衣服画像の位置合わせ

ここで，P は事前キャリブレーションで求めたカメ

衣服画像の位置算出では，図 6 に示すように人物画

ラ座標系から表示装置のスクリーン座標系への変換行

像，衣服画像に対してそれぞれ肩領域のシルエットの列である．ps のフレーム間の移動量を過去 f フレー

輪郭線を生成する．

ムについて積算し，積算値 m がある閾値 mth 以内で人物画像については，3.2 の処理で得られたシルエッ
ト Sh について，キャニーフィルタ [15] を適用した後あれば静止していると判定する．

モルフォロジーフィルタを適用して輪郭画像 Eh を生

m(t) =f −1∑

成する．その後，人物のスケルトンデータを元に，肩領域付近の輪郭のみを切り出してガウシアンフィルタ|xs (t − i) − xs (t − i − 1)| +を適用して Th を得る．

i=0|ys (t − i) − ys (t − i − 1)|(6)

衣服画像では，衣服領域を示すシルエット Sc について 3.2 のスケール算出結果を用いて衣服画像のスケー以上の判定の結果，人物が静止している場合には，リングした後，人物画像と同様に輪郭画像 Ec を生成

次の処理として衣服画像のスケール算出処理と，位置する．その後，衣服画像に対応するマネキンのスケル合わせ処理を行う．人物が静止していない場合には，トンデータ中の両肩位置を用いて，肩領域付近の輪郭

次の処理として衣服画像の人物への追従処理を行う．

Tc を切り出す．

1522

論文／人物シルエットへの時空間位置合わせによる衣服画像の合成
Sc

Sh
wc
Calculate clothing scale byusing the user-to-clothihg
shoulder width ratiowhps(t’)
Clothing image position ps(t’) calculated
by skeleton data
Clothing image position pa (t’) calculated
by offset shift

Silhouette from clothing image Silhouette from user’s depth map
EcEhFig. 7Tc

図 7 衣服画像の相対位置による追従処理
Clothing image tracking based on oﬀset position.

心点と，スケーリング後の衣服画像に対応付けられた

Contour of user

Contour of scaled clothing image

Shift offsetv(t)pa (t’)

マネキンの両肩位置の中心点が一致するように求める．

pa (t) と ps (t) の差をオフセット v(t) として保持して

Th

おく．

Template
Targetv(t) = pa (t) − ps (t)(9)

次に，人物が移動していると判定されたフレーム t′

Template matchingof shoulder region

では，3.3 で述べた手法による衣服画像の位置算出は

図6

シルエットの安定化による衣服画像のスケールおよび位置の算出
Fig. 6 Calculation of clothing image scale and position based on stabilized silhouette.

計算時間を要するため実行しない．衣服画像の位置

pa (t′ ) は，図 7 に示すように，現在のフレーム t′ のスケルトンデータを用いて算出した衣服画像の位置

ps (t′ ) を，過去に算出したオフセット v(t) 分シフトし最後に，人物輪郭の肩領域 Th をターゲット，衣服
輪郭の肩領域 Tc をテンプレートとしてテンプレート
マッチングを行う．

pa = arg minTh∑|lh − lc |2

(8)

Tc

て求める．

pa (t′ ) = ps (t′ ) + v(t)

4. 実

(10)

験

4. 1 装置の構成

ここで，人物輪郭画像 Th の画素の輝度値を lh ，テ

仮想試着装置の構成を図 8 に示す．表示装置として，

ンプレートである衣服輪郭画像 Tc の画素の輝度値を縦長に設置した大型ディスプレイを用いる．被写体のlc ，テンプレート座標を pa とする．

撮影には，Web カメラを用い，人物を撮影するため

3. 4 衣服画像の人物への追従

撮影範囲が縦長になるようにしてディスプレイの右側

人物移動時の衣服画像の追従処理を少ない計算量でに設置する．被写体のセンシングのために，ゲーム向行うために，人物が静止しているフレームであらかじけに利用されているデプスマップとスケルトンデータ

め算出したスケールと位置に，デプスセンサ装置からの両方が得られるデプスセンサ装置をディスプレイの実時間で取得できるスケルトンデータの移動量を加算

上部に設置する．カメラ画像の解像度は 1080 × 1920

する処理を行う．

ピクセル，デプスセンサのデプスマップ解像度は 640

人物が静止していると判定されたフレームでは，3.3

× 480 ピクセルに設定した．

で述べた衣服画像の位置 pa (t) の算出を行うと同時に，事前処理として，デプスセンサから得られるデプス

スケルトンデータを用いた衣服画像の位置 ps (t) の算

マップやスケルトンデータをカメラ撮影画像上に射影出を行う．ps (t) の算出は，人物画像の両肩位置の中するためのキャリブレーションを行う．チェッカーボー
1523

電子情報通信学会論文誌 2014/9 Vol. J97–D No. 9

Depth sensor

Camera image Clothing region
extraction

Depth map andSkeleton data
A dummywearing clothing

CameraClothing data set

Digital signage
display
Skeleton datafrom depth sensor
Fig. 9Color image
図 8 実験装置の構成
The layout of the experiment devices.

ドの各格子点についてのデプスセンサ座標系における

175
8

170

Height (cm)Fig. 8図 9 合成衣服画像の生成方法
A flow of preparing clothing image sets.

2 14

165
160

3

155

11
6
16

150

1 9

15 10

5

7
12
13

4

3 次元座標とカメラ画像上での 2 次元座標から，デプスセンサ座標系上の座標をカメラ座標系へ変換する変

145
40

45

換行列 C と，カメラ座標系からスクリーン座標系へ

55

60

65

70

75

80

Weight (kg)変換する変換行列 P をキャリブレーションにより求める．

50

Fig. 10

図 10 被写体の体型の分布
Height and weight of subjects.

4. 2 合成用衣服画像の生成
衣服画像の生成方法を図 9 に示す．まず，マネキンに衣服を着せ，向きを変えながらカメラとデプスセン
サで撮影を行う．カメラで撮影した画像に対しては，にカメラおよびデプスセンサで撮影した．

4. 4 教示データの生成と位置合わせ評価尺度の定義

画像編集ツールにより背景およびマネキン部分を除去

位置合わせ精度の評価を行うために，手作業によるし，衣服領域を抽出する．デプスセンサで取得したス

教示データを作成し，衣服画像のスケール・位置合わ

ケルトンデータは，前述のキャリブレーション結果をせの正確さの尺度を定義した．

用いてカメラ座標系に変換し，画像と関連付けて保存

まず，衣服画像を合成する位置を教示する作業を 10する．衣服画像は，女性用のブラウス，セーター，ジャ名で実施した．教示作業は，被写体の 3 箇所の立ち位

ケットの 3 着をそれぞれマネキンに着せ，カメラから置，正面向きと左右 20 °，左右 40 °の向きの撮影画像

160cm の距離に配置し，カメラ方向を正面とし，左右に対し，それぞれ上述の 3 着の対応する向きの衣服画

40 °の範囲で 10 °ごとに向きを変えて撮影した．

像を縦横比は固定したまま拡大縮小および移動させ，

4. 3 被写体の撮影

衣服を着用していると見えるように重ね合わせるとい実験データの収集条件について述べる．被写体となうものである．教示者 10 名の作業結果における衣服る人物は F1 層の 16 名である．体型の分布を図 10 に

画像の外接矩形の 4 隅の点のそれぞれの平均位置を教示す．衣服を撮影した時と同じ姿勢のマネキンを衣服示位置とした．この作業では，合成する衣服を人物がを着せた状態で近くに立たせ，同じ姿勢をとるように着ているように見えるように，人物の体の幅と丈を元

被写体に指示した．そして，被写体の立ち位置を 3 箇に衣服画像のサイズを決定し，次いで位置合わせを行所（カメラから 180cm，160cm，140cm）変化させ，うよう教示者に指示した．様々な人物画像に対し，体カメラ方向を正面とし，左右 40 °の範囲で 10 °ごと

型や姿勢が一致しないマネキンに着せて撮影した衣服

1524

論文／人物シルエットへの時空間位置合わせによる衣服画像の合成

y1

Table 1

表 1 静止時の位置合わせ精度の比較
Results of position evaluation for still image.

Calculated clothing
image position

Skeleton based
methodSilhouette based
method78.3

56.1

Evaluation value
D (pixels)

Clothing image
position bymanual adjustment

x1
Fig. 11x2
図 11 衣服画像位置合わせ精度の評価尺度
Evaluation of calculated clothing image position.

画像を移動と拡大縮小のみで完全に重ねることは困難

Evaluation value D (pixels)

Skeleton based methody21であるため，ここでは主観的に可能な限り合うように教示させた．
次に，衣服位置合わせの精度を評価するために，図11 に示すようにカメラ画像上での教示データの衣服画
像の外接矩形と，位置合わせアルゴリズムによって出Silhouette based method

100
90
80
70
60
50
40
30
20
10
0
2

3

4

5

6

7

8

9 10 11 12 13 14 15 16

Subject ID

図 12

静止時の正面向きの被写体ごとの評価尺度 D の平均値
Fig. 12 Average of evaluation value D for each subject for still front image.

力された衣服画像の外接矩形のずれを評価尺度 D（単被写体 16 名について，3 箇所の立ち位置，衣服 3

位：ピクセル）として定義した．

着，正面および左右 20 °向き，左右 40 °向きについD = x1 + x2 + y1 + y2(11)

この尺度は，教示された衣服位置に対し，アルゴリズ
ムから出力された衣服のスケールが異なる場合と位置がずれている場合のいずれの場合でも増大する．

4. 5 静止時の位置合わせ精度の評価
デプスセンサのスケルトン位置のみを用いる手法（以下，骨格ベースの手法と呼ぶ）と，3. で述べたシルエットを用いる手法（以下，シルエットベースの手法と呼ぶ）との位置合わせ精度の評価実験を行った．骨格ベースの手法において，衣服のスケール s′ は，マネキンのスケル
トンの両肩の関節位置 cr = (xcr , ycr ), cl = (xcl , ycl )と，人物の関節位置 pr = (xr , yr ), pl = (xl , yl ) の水
平方向距離の比から算出する．

xr − xls =xcr − xcl′ての評価結果を表 1 に示す．位置合わせの評価尺度 Dの平均値は，骨格ベースの手法が 78.3 であるのに対し，シルエットベースの手法は 56.1 となり精度の向上が確認できた．
次に，被写体の向き 20 °ごとに位置合わせ精度を評価した結果を図 13 に示す．シルエットベースの手法
では，正面からの回転角度が大きくなっても位置ずれが骨格ベースの手法に比べて大きくならず，精度が悪化しないことが確認できた．
さらに，角度を細かくサンプリングした場合の評価を行った．ここでは，教示者 1 名に対して，カメラから 160cm の距離で 10 °単位の向き撮影した被写体に，対応する向きの衣服画像 3 着の位置合わせ作業を行わせた．評価尺度 D の平均値は，骨格ベースの手法が(12)

衣服の位置は，スケーリング後のマネキンと人物の双方のスケルトンの両肩の関節位置の中心位置 ps が一致するように算出する．

68.0 であるのに対しシルエットベースの手法は 52.4となり，表 1 に示したように 20 °単位で評価した場合と改善の傾向が変わらないことが確認できた．
次に，16 人の被写体ごとに正面向きでの評価尺度

D および位置合わせ画像の結果を調査した結果を図シルエットベースの手法では，正面向きの被写体に12 に示す．番号 7,12,13 のように骨格ベースの手法と対しては 3.2 と 3.3 で述べたシルエットを用いた位置

シルエットベースの手法でともに教示データとのずれ合わせ手法を用い，正面以外の向きでは正面で位置合が大きいケースでは，被写体の体型が衣服撮影を行っ

わせを行った後 3.4 で述べた手法で追従処理を行う．

た際のマネキンの体型と大きく異なる傾向が見られ
1525

電子情報通信学会論文誌 2014/9 Vol. J97–D No. 9Skeleton based method

Evaluation value D (pixels)

Evaluation value D (pixels)

Skeleton based method

Silhouette based method

120
100
80
60
40
20

1

0
40° left

20° left

Front

20° right

2

3

4

40° right

図 13 静止時の被写体の向きごとの評価尺度 D の平均値
Fig. 13 Average of evaluation value D for each rotation angle for still image.

た．本実験では衣服のデザインや柄の変形が生じない

した単一サイズである．そのため，番号 7,12,13 の被

5

6

7

8

9

10

11

12

Frame number

図 14 移動する被写体に対する評価尺度 D
Fig. 14 Evaluation value D for a moving subject.
表 2 移動する被写体に対する評価尺度 D の平均値
Table 2 Average of evaluation value D for a moving
subject.

ように，位置合わせ時に衣服画像の縦横比を変更していない．また，実物の衣服はマネキンに合わせて用意

Silhouette based method

90
80
70
60
50
40
30
20
10
0

Skeleton based
methodSilhouette based
method63.7

47.7

Evaluation value
D (pixels)

写体において肩幅を元にスケーリングすると衣服の丈が長くなりすぎ，衣服を着ているように合成するタスクであった教示データとのずれが大きくなったと考えられる．

していることが確認できた．

4. 7 シルエットベースの手法を用いた仮想試着シ
ステムの評価また，番号 10 の被写体は，骨格ベースの手法に比シルエットベースの手法を用いて構築した仮想試着

べシルエットベースの手法での精度が悪化しているが，システムの利用シーンを図 15(a) に，合成結果の例

これは肩部分が膨らんでいる半そで (パフ・スリーブ)を図 15(b)〜(d) に示す．合成処理に利用した PC は，を着ていたために肩幅が広く検出され衣服スケールがCPU は 4 コア 2.93 GHz，メインメモリは 12GB を大きく合成されたことが原因と考えられる．

搭載したものである．ユーザは図 15(a) に示すような

4. 6 移動時の位置合わせ精度の評価

青い服を着た女性であり，(b) では黒革ジャケットに衣服画像の追従精度の評価結果について述べる．実スカートを組み合わせたコーディネート，(c) ではオ

験装置から 160cm の距離で女性 1 名が正面を向いた

レンジのブラウス，(d) では赤いセーターを試着して状態で 2 秒間横方向に移動する様子をカメラとデプいる．ユーザの静止時に衣服の位置合わせが実行され，スセンサで撮影した．取得したカラー画像の時系列

ユーザの移動や向きの変化に合わせて毎秒 30 フレー

データについて，女性用セーターの画像を静止時の実

ムで衣服が追従する様子が観察された．また，実写の験と同様に作業者 1 名により教示した．また，取得し衣服画像を用いているため，各衣服で向きの変化に応たカラー画像とデプスセンサのデータを用いて，骨格じた光沢や陰影の変化が観察された．

ベースの手法と，シルエットベースの手法について教示データに対する位置合わせ精度を評価した．ここで3.1 で述べた人物が静止していると判定するフレーム
は 1 フレーム目とした．

5. む す び
本論文では，デプスセンサで得られる人物の肩領域のシルエットを利用する上半身用衣服画像位置合わせ

位置合わせ精度の評価尺度 D のフレームごとの結果を用いた仮想試着システムについて述べた．手作業でを図 14 に示す．表 2 に，評価尺度 D の平均値を示す．

人物画像上に衣服画像を合わせたデータを教示データ

骨格ベースの手法では評価尺度 D の平均値は 63.7 でとした場合に，シルエットベースの提案システムでは，あったのに対し，シルエットベースの手法では評価尺骨格ベースの従来システムに比べて位置合わせ精度が度 D の平均値は 47.7 であり，シルエットベースの手向上したことを確認できた．人物ごとの位置合わせ精法は骨格ベースの手法に対して位置合わせ精度が改善度に着目した場合，衣服撮影時のマネキンと人物の体

1526

論文／人物シルエットへの時空間位置合わせによる衣服画像の合成

(a)

(b)

(c)

(d)

図 15 提案する仮想試着システムの動作例
Fig. 15 Display examples of the proposed virtual fitting system.

型が異なる場合や，人物が着ている服の肩領域の形状[10]P. Guan et al., ”DRAPE: DRessing Any PErson,”[11]

J. Li et al., ”Fitting 3D garment models onto indivi-

Proceedings of ACM SIGGRAPH 2012, 2012.

により人物のシルエットとマネキンのシルエットが異なる場合に教示データからのずれが大きくなる傾向がsual human models,” Computer & Graphics 34, pp.

観測された．本システムでは，ユーザが鏡の前に立って衣服あわせをする際の挙動のうち，ユーザの立ち位

742-755, 2010.
[12]

Image Based Rendering,” Computer Graphics Fo-

置と向きに対する衣服画像の追従を実現したが，今後は，文献 [5], [8], [12] で実現されているような自由度

rum, Volume 32, Issue 2pt3, pp. 265-274, 2013.
[13]の高い姿勢や多様な体型に対し精度よく衣服のフィッ
献株式会社ネクストシステム, Virtual Fasion 3D, http://
www.next-system.com/virtualfashion.html .
[2] Vismile Inc., ”3D virtual fitting room,” http://[1]

S. Matyunin et al., ”Temporal filtering for depth
maps generated by Kinect depth camera,” Proceeding of 3DTV-CON, pp. 1–4, 2011.

ティングを実現するシステムの開発に取り組む．
文

A. Hilsmann, P. Fechteler and P. Eisert, ”Pose Space

浅野 晃，延原 肇, マセマティカルモルフォロジーの基礎と新展開，電子情報通信学会誌 92(10), pp.876–880, 2009.
[15] J. Canny, ”A Computational Approach To Edge Detection,” IEEE Trans. Pattern Analysis and MachineIntelligence, 8:679–714, 1986.
[14]

www.vismile.com.tw/en/solutions 3d dressing（平成 xx 年 xx 月 xx 日受付）

room.html .
[3]

R. Okada and B. Stenger., ”A Single Camera Motion Capture System for Human-Computer Interaction,” IEICE Trans. Inf. & Syst., Vol.E91–D, No.7,
pp.1855–1862, 2008.

[4]

J. Shotton et al., ”Real-time human pose recognitionin parts from single depth images,” Proceedings ofthe 2011 IEEE Conference on Computer Vision and
Pattern Recognition, 2011.

[5]

Z. Zhou et al., ”Image-based Clothes Animation for
Virtual Fitting,” Proceedings of SIGGRAPH ASIA
2012, 2012.

[6]
[7]
[8]

中村 薫, 齋藤 俊太, 宮城 英人, KINECT for Windows
SDK プログラミング C++編, 秀和システム, 2012.
深井晃子，ファッション辞典，文化出版局，1999.
廣瀬真輝 他,”画像の局所変形と色の補正処理を統合した画像ベース仮想試着システム,” 情報処理学会研究報告
Vol.2012–CG–149 No.11, 2012.
[9] J.C. Yoon, I.K. Lee and H. Kang, ”Image-based
Dress-up System,” Proceedings of ACM ICUIMC
2011, 2011.

杉田馨

2004 東京大学大学院情報理工学系研究科博士課程単位取得退学．同年（株）東芝
入社．現在同社研究開発センターインタラ
クティブメディアラボラトリー勤務．研究主務．博士（情報理工学）．拡張現実感，コンピュータグラフィックスの研究に従事．

関根 真弘
2002 東北大学大学院博士前期課程了．
同年（株）東芝入社．現在同社研究開発
センターインタラクティブメディアラボラ
トリー勤務．研究主務．拡張現実感，コン
ピュータグラフィックスの研究に従事．映1527

電子情報通信学会論文誌 2014/9 Vol. J97–D No. 9
像情報メディア学会会員．

西山

正志 （正員）2002 岡山大学大学院博士前期課程了．

同年（株）東芝入社．現在同社研究開発センターインタラクティブメディアラボラト
リー勤務．研究主務．学際情報学博士（東京大学）．拡張現実感，パターン認識の研究に従事．2006 本会パターン認識・メディ
ア理解研究会研究奨励賞, 2007 画像センシングシンポジウム優秀論文賞 2009 山下記念研究賞などを受賞．情報処理学会会員

1528