(57)【要約】【課題】  あらかじめ取得しておいた試着者の三次元人体形状と姿勢の辞書を用いて、動画像を画像処理することにより、試着者の姿勢をリアルタイムに推定し、推定した時系列の姿勢に合わせて衣服の動きをシミュレートすることにより、より現実に近い試着をシミュレートすることを可能とする。【解決手段】  本発明の仮想試着装置は、動画像撮影手段と、試着者の三次元体型データおよび様々な姿勢データから動画像に映る試着者の姿勢を推定する姿勢推定手段と、時系列の推定姿勢から滑らかで自然な姿勢時系列データを生成する姿勢修正手段と、衣服の動きを計算する衣服運動生成手段と、対象者が衣服を試着した状態表示する表示手段から構成され、この試着装置に現実に近い試着を行うことができる。【選択図】  図１
2006249618.tif 000002
【特許請求の範囲】
【請求項１】
試着者が写った動画像を取得するカメラと、
衣服の三次元形状と模様とを含む衣服データ、前記試着者の三次元体型データ、および、前記試着者の複数の姿勢データを記憶する記憶部と、
前記動画像および前記姿勢データを用いて前記動画像の各画像中の前記試着者の姿勢データを推定する姿勢推定部と、
推定された前記試着者の姿勢データを用いて時系列姿勢データを生成する時系列姿勢データ生成部と、
前記試着者の三次元体型データ、前記衣服データ、および、前記時系列姿勢データを用いて、前記衣服が前記試着者に着用された場合の前記衣服の動きを推定する動き推定部と、
前記衣服の動きに基づいて、衣服の画像を生成する衣服画像生成部と、
前記衣服の動き、および、前記衣服データを用いて、前記動画像中の前記試着者に前記衣服の画像を合成する合成部と、
を備える仮想試着装置。
【請求項２】
前記姿勢推定部は、
前記複数の姿勢データの中から過去に推定された前記試着者の姿勢データとの類似度が、ある基準より高い複数の姿勢データ候補を抽出する抽出部と、
前記三次元体型データを前記複数の姿勢データ候補の各々の情報を用いて変形させて、複数の候補モデルを生成する候補モデル生成部と、
前記動画像中の前記試着者の画像を用いて前記複数の候補モデルの各々の評価値を計算して、前記評価値と前記複数の候補モデルの各々の姿勢データ候補とを用いて前記試着者の現在の姿勢を推定する推定部と、
を有する請求項１に記載の仮想試着装置。
【請求項３】
前記推定部は、
前記動画像の各画像中で前記試着者が占有する領域を示すシルエットを抽出するシルエット抽出部と、
前記複数の候補モデルの各々を前記動画像の画像平面に投影して、複数の候補モデルのシルエットを計算するシルエット計算部と、
前記複数の候補モデルのシルエットの各々の内部領域と前記試着者のシルエットの内部領域との重複領域の面積、および、前記複数の候補モデルのシルエットの各々の外部領域と前記試着者のシルエットの内部領域との重複領域の面積に基づいて前記複数の候補モデルの各々の評価値を計算する評価値計算部と、
前記複数の候補モデルの中から、ある条件を満たす前記評価値を有する選択モデルを選択するモデル選択部と、
を有し、
前記推定部は、前記選択モデルの姿勢データ候補を用いて前記試着者の現在の姿勢データを推定する、
請求項２に記載の仮想試着装置。
【請求項４】
前記推定部は、
前記動画像の各画像中の前記試着者の輪郭を抽出する輪郭抽出部と、
前記複数の候補モデルの各々を前記動画像の画像平面に投影して、複数の候補モデルの輪郭を計算する輪郭計算部と、
前記複数の候補モデルの輪郭の各々の上の複数の点の各々から最も近い前記試着者の輪郭上の点までの距離に基づいて前記複数の候補モデルの中から、ある条件を満たす前記評価値を有する選択モデルを選択するモデル選択部と、
を有し、
前記推定部は、前記選択モデルの姿勢データ候補を用いて前記試着者の現在の姿勢データを推定する、
請求項２に記載の仮想試着装置。
【請求項５】
前記記憶部は、さらに、あらかじめ前記試着者の時系列の複数の姿勢データを含むプリセット時系列姿勢データを記憶し、
前記時系列姿勢データ生成部は、
前記プリセット時系列姿勢データに基づいて表現可能な運動の速度の範囲を設定する速度設定部と、
前記動画像の現在のフレームより１フレーム前の画像の前記試着者の姿勢データと前記速度の範囲とに基づいて、前記プリセット時系列姿勢データの中から、前記動画像の現在のフレームの画像の前記試着者の姿勢データの集合を抽出する集合抽出部と、
前記集合の中から、前記姿勢推定部で推定された前記試着者の姿勢データとの類似度がある基準より高い姿勢データである修正データとを抽出する修正データ抽出部と、
を備え、
前記時系列姿勢データ生成部は、前記試着者の姿勢データを前記修正データにより修正して前記時系列姿勢データを生成する、
ことを特徴とする請求項１から４のいずれか一項に記載の仮想試着装置。
【請求項６】
請求項１から５のいずれか一項に記載の仮想試着装置であって、さらに、
前記動画像の現在のフレームの画像から、前記試着者のテクスチャ情報を取得するテクスチャ取得部と、
前記試着者の三次元体型データを変えるための変更データを入力するデータ入力部と、
前記入力された変更データに基づいて前記試着者の三次元体型データを変更する体型変更部と、
変更後の前記試着者の三次元体型データおよび前記試着者のテクスチャ情報を用いて、体型を変更した後の前記試着者の画像である体型変更画像を生成する体型変更画像生成部と、
を備え、
前記記憶部は、さらに、あらかじめ取得しておいた背景画像を記憶し、
前記動き推定部は、変更後の前記試着者の三次元体型データを用いて前記衣服の動きを推定し、
前記合成部は、前記背景画像上に体型変更画像および前記衣服の画像を合成する、
請求項１から５のいずれか一項に記載の仮想試着装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを用いて取得した試着者の画像に基づいて、試着者が実際に衣服を着たときの様子に近い画像を生成する仮想試着装置に関する。動画像を用いた画像処理によって試着者の姿勢をリアルタイムに推定し、自然な動きを生成し、試着した様子を動画像によって表示することにより、試着者が実際の服を試着した状態に近い動きのある映像を試着者に提示することができる仮想試着装置に関する。
【背景技術】
【０００２】
特許文献１および２は、試着者の画像から取得した試着者の体型（身長、体重、輪郭等）を用いて衣服を変形して、試着者が実際に衣服を着たときの様子に近い画像を生成する仮想試着装置を開示している。これらの手法では、試着者の体型情報を取得して体型はある程度シミュレートしているが、試着者の動き（姿勢）を衣服に反映させることはできない。そのため、実際の試着のように衣服を着用して動いて、様々な姿勢のときの様子を再現することはできない。
【０００３】
非特許文献１は、画像上の動き情報から過去の姿勢と現在の姿勢との変化を算出し、過去の姿勢に変化を加算して現在の姿勢を推定している。この手法では変化を順次加算しているため、変化の推定誤差が蓄積する。そのため、長時間の追跡を行うと推定に失敗する。
【特許文献１】特開平９−４４５５６号公報
【特許文献２】特許第３３１４７０４号公報
【非特許文献１】星野准一、斉藤啓史、ビデオ映像とCGの合成によるヴァーチャルファッションの実現、情報処理学会誌、Vol. 42、No. 5、2001
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように、従来の手法では試着者の動き（姿勢）を衣服に反映させることができないか、あるいは、姿勢の変化を反映させようとしても長時間の姿勢推定を行うことはできなかった。
【０００５】
本発明は、従来技術が抱える上記の問題点を解決するためになされた。すなわち、長時間安定して姿勢推定を行うことができ、より現実に近い仮想試着を可能な仮想試着装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一主題は、試着者が写った動画像を取得するカメラと、衣服の三次元形状と模様とを含む衣服データ、前記試着者の三次元体型データ、および、前記試着者の複数の姿勢データを記憶する記憶部と、前記動画像および前記姿勢データを用いて前記動画像の各画像中の前記試着者の姿勢データを推定する姿勢推定部と、推定された前記試着者の姿勢データを用いて時系列姿勢データを生成する時系列姿勢データ生成部と、前記試着者の三次元体型データ、前記衣服データ、および、前記時系列姿勢データを用いて、前記衣服が前記試着者に着用された場合の前記衣服の動きを推定する動き推定部と、前記衣服の動きに基づいて、衣服の画像を生成する衣服画像生成部と、前記衣服の動き、および、前記衣服データを用いて、前記動画像中の前記試着者に前記衣服の画像を合成する合成部と、を備える仮想試着装置を提供する。
【発明の効果】
【０００７】
本発明によれば、試着者の動きを衣服に反映させる処理を長時間安定して行うことができる仮想試着装置を提供できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の一実施形態の仮想試着装置について説明する。
【０００９】
本実施形態の仮想試着装置は、カメラで撮影された動画像の各フレームの画像に写る試着を行う人（試着者）の体に試着対象の衣服の画像を合成して表示させる。試着者は実際に試着対象の衣服を着用しなくても、試着対象の衣服を試着した場合の画像を見ることができる。本実施形態の仮想試着装置は試着者の姿勢を推定して試着対象の衣服の画像を合成するので、試着者は試着対象の衣服を着用した状態で所望の姿勢の試着者の画像を見ることができる。また、試着者がカメラの前で動けば、試着者は試着対象の衣服を着用した状態で同じ動きをする試着者の画像を見ることができる。
【００１０】
本実施形態の仮想試着装置は衣服のデータを変えるだけで試着対象の衣服を変えることができる。したがって、試着者の手元に無い衣服であっても仮想的に試着することができる。また、試着者は、色や模様の異なる衣服の試着を容易に行うことができる。
【００１１】
本実施形態の仮想試着装置は衣料品店で用いると便利である。この他、アミューズメント用途でも有用である。例えば、王様、姫、貴族、あるいは、騎士の格好に扮して、仮想の三次元空間を移動する内容を含んだゲームに応用することも可能である。
【００１２】
以下、図面を参照しながら、本実施形態の仮想試着装置の構成および動作を説明する。
【００１３】
図１は本実施形態の仮想試着装置の構成を示す。本装置による仮想試着を行う前に、あらかじめ試着者を三次元スキャナ等を用いて計測し人体表面の三次元体型形状データＡを取得しておく。この三次元体型形状データＡは、人体表面を多角形の集合で近似して得られる多角形の頂点の位置を示すデータと人体の関節の位置を示すデータとを有する。また、市販のモーションキャプチャシステム等を用いた様々な姿勢の計測により、姿勢データを取得しておく。この姿勢データは人体の各関節角度の集合である。人体の各関節の回転は三次元空間軸周りの３つの回転角rx, ry, rz（オイラー角）で表現できるので、人体の関節がNb個あるとすると、姿勢aの姿勢データPaは、Pa=rx1, ry1, rz1, rx2, … , rzNbと表すことができる。姿勢辞書Ｂは様々な姿勢データを有する。
【００１４】
動画像撮影部１は、一台もしくは複数台のカメラを有する。動画像撮像部１は試着者を撮影するためのカメラである。動画像撮像部１は、試着者が写っている動画像を取得する。
【００１５】
姿勢推定部２は動画像撮影部１で取得された動画像中の現在のフレームの画像から試着者の特徴を求める。姿勢推定部２はこの試着者の特徴と姿勢辞書Ｂと三次元体型形状データＡとを用いて現在のフレームに対応する時刻の前記試着者の姿勢を推定する。
【００１６】
姿勢修正部３は推定された姿勢の時系列データを滑らかで自然な運動に修正する。姿勢修正部３は各関節の回転角（姿勢データの各要素）の時系列データを、例えば一次の多項式または複数次の多項式で近似することにより、試着者の姿勢の変化を滑らかなものに修正する。
【００１７】
衣服運動生成部４は修正後の姿勢の時系列データと衣服形状データＣとを用いて、人体の運動に合った衣服の動きを生成する。衣服形状データＣは、例えば衣服の三次元形状と表面の模様を含んだデータである。
【００１８】
表示部５は、衣服運動生成部４で人体の動きに合わせて変形された衣服形状データを画像平面に投影し、動画撮影部１で取得した動画像の上に表示する。
【００１９】
図２は姿勢推定部２の内部の構成を示す。姿勢推定部２は、動画像撮影部１から入力した一つもしくは複数の動画像の各フレームの画像について、試着者のシルエットを抽出する観測シルエット抽出部２１と、観測シルエット位置の周辺に、三次元体型形状データＡと姿勢辞書Ｂを用いて過去の推定姿勢に近い様々な姿勢を持った人体モデルを生成する候補姿勢生成部２２と、生成した候補姿勢を画像平面に投影して候補シルエットを生成する候補シルエット生成部２３と、観測シルエットと各候補シルエットの類似度を計算し、最も類似している候補シルエットの姿勢を推定姿勢として出力する最適姿勢選択部２４とを有する。
【００２０】
姿勢推定部２は、あらかじめ撮影しておいた試着者が映っていない背景画像２Ａを記憶する記憶媒体を有する。
【００２１】
観測シルエット抽出部２１は、背景画像２Ａと現在のフレームの画像との間で輝度値もしくは色の差分を計算する。観測シルエット抽出部２１は、差分値が閾値より大きい画素に画素値１を、それ以外の画素に画素値０を割り当てることにより観測シルエットを生成する。上記は、最も基本的な背景差分法であるが、他の背景差分手法を用いてもよい。
【００２２】
候補姿勢生成部２２は、姿勢辞書Ｂが有する姿勢データの中から、前のフレームの推定姿勢に類似する姿勢である候補姿勢を選択する。候補姿勢生成部２２は、姿勢aと姿勢bとの類似度を以下の手法で求める。候補姿勢生成部２２は、各関節の回転角で表された姿勢データPaと姿勢データPbとの各要素の絶対値差分の最大値、すなわち関節角の各回転角の角度の絶対値差分の最大値を求める。この最大値が姿勢aと姿勢bとの差d1である。候補姿勢生成部２２は、差d1を姿勢の類似度を評価するために用いる。
【００２３】
候補姿勢生成部２２は、姿勢辞書Ｂが有する姿勢データの各々に関して、前のフレームの推定姿勢の姿勢データとの差d1を計算する。候補姿勢生成部２２は、差d1が閾値より小さい姿勢を候補姿勢として選択する。
【００２４】
尚、候補姿勢生成部２２は、姿勢の類似度を評価するために各関節角の絶対値差分の最大値である差d1の以外に、各関節位置を画像平面に並行投影した位置の差の最大値である差d2を用いることもできる。もしくは、候補姿勢生成部２２は、差d1と差d2との両方を用いることもできる。また、候補姿勢生成部２２が初期フレームに対する処理するを行う場合には前のフレームの推定姿勢が存在しない。そこで、候補姿勢生成部２２は、姿勢辞書Ｂ中の全ての姿勢を候補姿勢とするか、あらかじめ特定の姿勢を定めておき前のフレームの姿勢の代わりに用いる。
【００２５】
候補姿勢生成部２２は、候補姿勢の各々の姿勢データに基づいて三次元体型形状データの各関節の角度を変えることにより、候補三次元モデルを生成する。
【００２６】
候補シルエット生成部２３は、候補三次元モデルを画像平面に投影して、候補シルエットを生成する。動画像撮影部１が複数のカメラを有する場合、候補シルエット生成部２３は各カメラについて抽出された観測シルエットの各々の重心位置を求め、三角測量の原理で試着者のおよその三次元位置を計算する。候補シルエット生成部２３は、計算された三次元位置に各候補三次元モデルを配置し、候補三次元モデルを画像平面に投影する。ただし、三角測量および画像平面への投影を行うには、あらかじめカメラ間の位置関係と、カメラの焦点距離等の内部カメラパラメータを求めておく必要がある。
【００２７】
カメラが一台の場合、候補シルエット生成部２３は画像上の観測シルエットの重心位置に基づいてカメラから見た試着者の方向を決定する。候補シルエット生成部２３は、観測シルエットを囲む最小の四角形の大きさと候補シルエットを囲む最小の四角形の大きさとの比に基づいて、候補三次元モデルの各々のカメラからの距離を決定する。
【００２８】
尚、観測シルエットから求められた試着者の三次元位置はカメラの台数によらず不正確であるので、候補シルエット生成部２３は推定した三次元位置の周辺の様々な位置に候補三次元モデルを配置して候補シルエットを生成する。
【００２９】
最適姿勢選択部２４は候補シルエットの各々と観測シルエットとの類似度を計算する。最適姿勢選択部２４は最も高い類似度を有する候補シルエットを選択する。最適姿勢選択部２４は選択された候補シルエットの姿勢を現在のフレームの推定姿勢として出力する。推定姿勢は姿勢修正部３に入力される。また、前述のように次のフレームで候補姿勢生成部２２が候補姿勢を生成するためにも用いられる。
【００３０】
最適姿勢選択部２４は、以下の手法により候補シルエットの各々と観測シルエットとの類似度を計算する。最適姿勢選択部２４は、候補シルエットの内部領域と観測シルエットの内部領域とが重複する領域の面積を、観測シルエットの内部領域の面積で除算した内部占有率を求める。次に、全ての候補シルエットを含む最小の外接四角形内部で、候補シルエットに含まれない領域を候補シルエットの外部領域と定義する。さらに、最適姿勢選択部２４は候補シルエットの外部領域と観測シルエットの内部領域とが重複する領域の面積を、外部領域の面積で除算した外部占有率を求める。最適姿勢選択部２４は、内部占有率と外部占有率との差を計算して、候補シルエットの類似度を求める。
【００３１】
カメラが複数台ある場合、最適姿勢選択部２４は各カメラの画像から得られる観測シルエットに対して類似度を計算する。最適姿勢選択部２４は、計算された類似度を平均して、ある候補シルエットに関する類似度を求める。この類似度は、観測シルエットと候補シルエットが似ているほど値が大きくなり、同一の場合は１に近づく。
【００３２】
全ての候補姿勢について類似度の計算を行うと計算量が多い。そこで、姿勢推定部２は、計算量を減らすために、以下に示す２層の探索木を利用した最適姿勢の探索手法を用いる。まず、最適姿勢選択部２４は姿勢候補を前のフレームの推定姿勢に類似している順に整列する。上述の差d1または差d2は類似の評価に用いられうる。最適姿勢選択部２４は、先頭から順に適当な間引き間隔で木構造の第一層目の姿勢を選択する。最適姿勢選択部２４は、残りの姿勢で第二層目を構成して、第一層目の最も類似した姿勢に連結する。
【００３３】
つぎに、最適姿勢選択部２４は、候補シルエット生成部２３を用いて、第一層目の姿勢の各々の候補シルエットを計算する。最適姿勢選択部２４は、候補シルエット各々について、推定した三次元位置周辺の様々な位置について観測シルエットとの類似度を計算し、最も高い類似度をその候補姿勢に対する類似度として求める。最適姿勢選択部２４は、第一層目の全ての姿勢に対する類似度の上位k個の姿勢を選択する。最適姿勢選択部２４は、これらk個の姿勢に連結されている第二層目の姿勢の類似度を同様に計算する。最後に、最適姿勢選択部２４は、類似度計算を行った全ての姿勢の中で最も高い類似度を有する姿勢を推定姿勢として選択する。
【００３４】
このように、候補シルエット生成部２３での候補シルエット生成を探索と連動させて、類似度を計算する姿勢についてのみ行うことで、計算量を削減することができる。また、ある候補姿勢に関して、様々な三次元位置に三次元形状モデルを配置するが、位置の変化が微小な場合、候補シルエットの生成は平均位置で一度だけ行い、残りの位置については生成したシルエットの平行移動と拡大、縮小で代用することもできる。さらに、候補シルエットを姿勢推定時ではなくあらかじめ計算しておくことも可能である。すなわち、取り得る全ての三次元位置に三次元形状データに基づく三次元モデルを配置して上記と同様に候補シルエットを計算して記憶しておく。
【００３５】
上述の姿勢推定部２は、姿勢辞書Ｂに登録された姿勢のうちの一つを推定姿勢に選ぶ。姿勢辞書Ｂに姿勢の細かい変化を反映した大量の姿勢が登録されている場合は、推定姿勢の精度は高くなる。したがって、推定姿勢に基づいて生成された映像の品質（特に、動きの滑らかさ）も高くなる。
【００３６】
これに対し、姿勢辞書Ｂに登録された姿勢が少ない場合は、姿勢の細かい変化を反映することが困難である。この場合、推定姿勢の精度が低く、また、推定姿勢が振動する可能性がある。高品質の映像が求められる場合（例えばファッションショー）、このような推定姿勢を用いて生成された映像は、鑑賞に耐えられる品質には及ばない可能性がある。
【００３７】
そこで、図３に示すように、姿勢修正部３は推定された姿勢の時系列データを滑らかで自然な運動に修正する。再生速度設定部３１は、あらかじめ取得しておいた時系列の姿勢データであるプリセット運動データ３Ａの再生スピードの上限と下限を設定する。修正候補姿勢集合選択部３２は、前フレームで選択されたプリセット運動データの姿勢と前記再生スピードの下限値および上限値とを用いて現在のフレームとして適当な複数の姿勢を修正候補姿勢として選択する。姿勢選択部３３は、前記選択された修正候補姿勢のうち姿勢推定部２から出力された推定姿勢に最も近い姿勢を持つフレームを選択し衣服運動生成部４に出力する。これにより、姿勢推定の結果に応じてプリセット運動データの再生スピードを変化させることができる。
【００３８】
図６を参照して、姿勢修正部３の修正処理を説明する。
【００３９】
（ステップＳ６０１）プリセット運動データ３Ａから初期姿勢iを取得する。
【００４０】
（ステップＳ６０２）推定姿勢eと初期姿勢iの差d1_ieを計算する。
【００４１】
（ステップＳ６０３）差d1_ieと閾値とを比較する。差d1_ieが閾値より大きい場合は、ステップＳ６０２へ戻る。差d1_ieが閾値より小さい場合は次のステップの処理を行う。
【００４２】
（ステップＳ６０４）前の時刻の推定姿勢と時間的に連続している複数の姿勢をプリセット運動データ３Ａの中から選択する。まず、プリセット運動データ３Ａの再生速度の上限と再生速度の下限とによって定まる速度範囲を用いて現在の時刻に取り得るプリセット運動データ内の時間の範囲を計算する。そして、プリセット運動データ３Ａの中から、この時間の範囲の中にある姿勢を選択する。ここで選択された姿勢は修正候補姿勢である。
【００４３】
（ステップＳ６０５）修正候補姿勢の中から、推定姿勢eと差が最小の姿勢を選択する。ここで選択された姿勢は修正姿勢である。
【００４４】
尚、本実施形態ではプリセット運動データ３Ａを用いる手法を開示したが、プリセット運動データを用いない構成も可能である。例えば、各関節角度の変化を滑らかにするために、各関節角度の時系列データにそれぞれローパスフィルタを適用する、もしくは、過去の関節角度の時系列データにそれぞれ多項式を当てはめれば、上述の推定姿勢の振動を抑制することが可能である。
【００４５】
衣服運動生成部４は、衣服の運動を決定する。衣服運動生成部４は衣服形状データＣに基づいて衣服の表面を多角形の集合で表現する。衣服運動生成部４は、三次元体型形状モデルと多角形の各頂点との衝突、および、衣服同士の衝突に留意して、多角形の各頂点の位置を計算する。衣服運動生成部４は、既存の衣服運動シミュレーション手法を用いて衣服の運動を決定する。例えば、特開２００３−２６３６３２号広報が開示する手法、H.N. Ng, and R.L. Grimsdale: Computer graphics techniques for modeling cloth, IEEE Computer Graphics and Applications, Vol.16, pp.28-41, 1996が開示する手法を用いることが可能である。
【００４６】
衣服運動生成部４は、計算された多角形の各頂点の位置と衣服形状データＣとを用いて衣服の画像を生成する。
【００４７】
表示部５は、動画像撮影部１から得られる試着者の画像上に衣服の画像を重ねて表示する。表示部５は、衣服のうち試着者の体の陰に隠れる部分を表示しない。そのために、表示部５は衣服運動生成部４で求められた衣服の表面の多角形の各頂点の三次元座標と三次元体型形状モデルの各点の三次元座標とに基づいて、画像平面上での衣服と試着者の体との前後関係を求める。そして、表示部５は前後関係に基づいて試着者の画像に衣服の画像を合成し、合成された画像を表示する。
【００４８】
以上に説明したように、本発明の一実施形態の仮想試着装置は、カメラで撮影された試着者の画像に衣服を重ね合わせて表示することができる。よって、試着者は仮想試着をあたかも通常の試着と同様な自然な動きで実行することができる。
【００４９】
また、本発明の一実施形態の仮想試着装置は、三次元体型形状データを姿勢辞書を用いて変形させて画像平面に投影したデータと試着者の画像とを順次比較することにより試着者の姿勢を推定している。よって、長時間の動作でも安定して姿勢の推定を行うことができる。
【００５０】
尚、上述の一実施形態で説明した仮想試着装置は、その一部ないしは全部の構成をコンピュータ上で動作するプログラムを用いて実現されることもできる。
【００５１】
＜変更例１＞
この変形例は試着者の体型を好みの体型に変形して表示することができる仮想試着装置に関する。図４の変更部分４００はこの変形例と上述の実施形態との異なる部分である。
【００５２】
テクスチャ取得部８は、三次元体型形状データＡを修正姿勢に変形して画像平面に投影する。テクスチャ取得部８は、画像平面に投影された三次元形状データの各多角形の内部の領域について、動画像の現在フレームの画像での濃淡値もしくは色情報をテクスチャとして取得する。
【００５３】
体型変更情報入力部６は変形後の身長、体重、各部位の長さ、各部位の太さを含む変形情報の入力を受ける。例えば、試着者が予めキーボードやテンキーを用いて変形情報を体型変更情報入力部６に入力する。
【００５４】
三次元体型変更部７は、体型変更情報入力部６に入力された変形情報を用いて三次元体型形状データを変形する。
【００５５】
衣服運動生成部４は、変形後の三次元体型形状データと衣服データとを用いて、衣服の運動と衣服の画像とを生成する。
【００５６】
表示部５は、予め取得しておいた背景画像２Ａ上に、テクスチャつきの変形後の三次元体型形状データと衣服運動生成部４から出力された衣服の画像とを合成した画像を表示する。
【００５７】
この変形例の仮想試着装置は背景画像２Ａを用いているので、試着者の体型を元の体型よりも小さく変形させた場合であっても体型の差によって生じる陰面の部分の画像をも美しく表示することが可能である。
【００５８】
＜変更例２＞
この変形例は、姿勢推定部２が試着者の姿勢と候補姿勢との類似度の計算に用いる手法を変えた仮想試着装置に関する。図５の第２の姿勢推定部９は、上述の実施形態の姿勢推定部２の構成を変えたものである。第２の姿勢推定部９は、輪郭を用いて試着者の姿勢と候補姿勢との類似度を計算する。
【００５９】
観測輪郭抽出部９１は、動画像の現在のフレームの画像に対してSobelオペレータに代表されるエッジ検出オペレータを適用してエッジを検出することにより、観測輪郭を求める。
【００６０】
候補輪郭抽出部９３は、候補姿勢生成部９２によって候補姿勢に変形された三次元体型形状データを画像平面に投影する。そして、候補輪郭抽出部９３は、画像平面上で三次元体型形状データが投影された領域とされなかった領域との境界を候補輪郭として抽出する。
【００６１】
最適姿勢選択部９４は、候補輪郭と観測輪郭とに基づいて類似度を次のように計算する。最適姿勢選択部９４は、候補輪郭上に類似度を計算するための複数の評価点を設定する。最適姿勢選択部９４は、複数の評価点の各々について最も近い観測輪郭上の点と２点間の距離とを計算する。最適姿勢選択部９４は、複数の評価点の各々について求められた距離の平均値を求める。この平均値は、この変形例で用いられる類似度である。候補姿勢と試着者の姿勢とが一致する場合、類似度の値は０である。候補姿勢と試着者の姿勢との違いが大きくなると、類似度の値も大きくなる。
【００６２】
この変形例の仮想試着装置は輪郭を用いて試着者の姿勢の推定を行っているので、画像の明度の変化に対して安定な姿勢の推定を行うことができる。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施形態に係わる仮想試着装置のブロック図
【図２】姿勢推定部のブロック図
【図３】姿勢修正部のブロック図
【図４】体型を変更して表示を行うための仮想試着装置のブロック図
【図５】第２の姿勢推定部のブロック図
【図６】姿勢修正部の処理のフローチャート
【符号の説明】
【００６４】
１・・・動画像撮影部、          ２・・・姿勢推定部、
３・・・姿勢修正部、            ４・・・衣服運動生成部、
５・・・表示部、                ６・・・体型情報入力部、
７・・・三次元体型変更部、      ８・・・テクスチャ取得部、
９・・・第２の姿勢推定部、
Ａ・・・三次元体型形状データ、  Ｂ・・・姿勢辞書、
Ｃ・・・衣服データ、
２１・・・観測シルエット抽出部、２２・・・候補姿勢生成部、
２３・・・候補シルエット生成部、２Ａ・・・背景画像、
３１・・・再生速度設定部、      ３２・・・フレーム選択部、
３３・・・修正姿勢選択部、      ３Ａ・・・プリセット運動データ、
９１・・・観測輪郭抽出部、      ９２・・・候補姿勢生成部、
９３・・・候補輪郭生成部、      ９４・・・最適姿勢選択部
【図１】
2006249618.tif 000003
【図２】
2006249618.tif 000004
【図３】
2006249618.tif 000005
【図４】
2006249618.tif 000006
【図５】
2006249618.tif 000007
【図６】
2006249618.tif 000008