(57)【要約】【課題】本発明は、複数の衣服を重ね着した場合の実際の着装状態に近い着装画像を効率的に作成できる衣服の重ね着画像処理装置及び方法を提供する。【解決手段】重ね着画像処理装置は、形状処理部１００で生成された３次元形状データに基づいて３次元マスクを生成し、３次元マスクに基づいて２次元マスクを生成するマスク作成部１０２と、３次元形状データに着せ付けるように内側の衣服形状を生成し、３次元マスクに着せ付けるように外側の衣服形状を生成する衣服処理部１０１と、内側の衣服形状に対して所定方向からみて２次元マスクより外方にはみ出た部分を切り抜いて内側の衣服に関する２次元画像を生成し、３次元マスクに着せ付けた状態の外側の衣服形状に対して所定方向からみて３次元マスクの可視部分を切り抜いて外側の衣服に関する２次元画像を生成するマスク処理部１０３と、内側及び外側の衣服に関する２次元画像を重ね合せて着装画像を生成する着装処理部１０４とを備えている。【選択図】図１
2020095543.tif 000002
【特許請求の範囲】
【請求項１】
３次元形状データに基づいて３次元マスクを生成し、当該３次元マスクに基づいて２次元マスクを生成するマスク作成部と、
前記３次元形状データに着せ付けるように内側の衣服形状を生成し、前記３次元マスクに着せ付けるように外側の衣服形状を生成する衣服処理部と、
内側の前記衣服形状に対して所定方向からみて前記２次元マスクより外方にはみ出た部分を切り抜いて内側の衣服に関する２次元画像を生成し、前記３次元マスクに着せ付けた状態の外側の前記衣服形状に対して所定方向からみて前記３次元マスクの可視部分を切り抜いて外側の衣服に関する２次元画像を生成するマスク処理部と、
内側及び外側の衣服に関する前記２次元画像を重ね合せて着装画像を生成する着装処理部とを備えている重ね着画像処理装置。
【請求項２】
前記マスク作成部は、前記３次元マスクを内側の前記衣服形状に対応して生成する請求項１に記載の重ね着画像処理装置。
【請求項３】
３次元形状データに着せ付けるように内側の衣服形状を生成し、
前記３次元形状データに基づいて３次元マスクを生成し、
前記３次元マスクに基づいて２次元マスクを生成し、
前記３次元マスクに着せ付けるように外側の衣服形状を生成し、
内側の前記衣服形状に対して所定方向からみて前記２次元マスクより外方にはみ出た部分を切り抜いて内側の衣服に関する２次元画像を生成し、
前記３次元マスクに着せ付けた状態の外側の前記衣服形状に対して所定方向からみて前記３次元マスクの可視部分を切り抜いて外側の衣服に関する２次元画像を生成し、
内側及び外側の衣服に関する前記２次元画像を重ね合せて着装画像を生成する
重ね着画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、衣服の着装状態を仮想的に表示する場合に、複数の衣服の３次元形状に基づいて重ね着した着装画像を作成する衣服の重ね着画像処理装置及び方法に関する。
【背景技術】
【０００２】
顧客は、身につける衣服等の服飾物を店舗等において購入するにあたって、購入する予定の商品を店舗に設置されている試着室等で予め試着して、その衣服のサイズ、着心地、或いは自分の容姿に似合うか否かを確認することが一般的である。しかしながら、衣服を着替えて試着することは顧客の負担が大きく、試着する衣服も店舗に展示されているものに限られるため、仮想的に衣服の着装状態を表示する試着支援装置が提案されている。
【０００３】
試着支援装置では、表示された衣服のタイプや色柄を適宜選択することで着装状態を仮想的に表示するようになっている。そして、３次元的に衣服の着装画像を作成して表示することで、実際の着装状態に近い画像を見ることができ、実際に試着することなく好みの衣服を選択することが可能となっている。
【０００４】
しかしながら、こうした試着支援装置では、複数の衣服を重ね着した着装状態を表示する場合に、衣服の３次元形状でそのまま重ね合わせると、内側の衣服の着装画像の一部が外側の衣服の着装画像よりも外側にはみ出してしまうことが生じる。例えば、内側の衣服として３次元形状の体形に対してゆったりとした衣服を着装し、外側の衣服として３次元形状の体形にフィットする衣服を着装した場合、内側の衣服の着装画像における体形から離間した部分が外側の衣服の着装画像における体形に密着した部分よりも外側にはみ出すようになってしまう。
【０００５】
こうした重ね着の画像表示の際の課題に対して、特許文献１では、人体画像及び上側の第２の衣服画像に基づいてマスク画像を作成し、人体画像及び下側の第１の衣服画像を重ね合せた合成画像をマスク画像でマスキングし、マスキングされた画像に第２の衣服画像を重ね合せて着装画像を合成する仮想試着表示装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２７２５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、人体画像及び第２の衣服画像からマスク画像を生成するようにしているため、トップスとなる第１の衣服画像及びボトムスとなる第２の衣服画像の組み合せによっては、マスク画像を生成する際にトップス及びボトムスが混在する領域では手動で修正が必要となる場合があり、処理時間が長くなって試着支援装置としては実用的とはいえない。
【０００８】
そこで、本発明は、複数の衣服を重ね着した場合の実際の着装状態に近い着装画像を効率的に作成することができる衣服の重ね着画像処理装置及び方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明に係る重ね着画像処理装置は、３次元形状データに基づいて３次元マスクを生成し、当該３次元マスクに基づいて２次元マスクを生成するマスク作成部と、前記３次元形状データに着せ付けるように内側の衣服形状を生成し、前記３次元マスクに着せ付けるように外側の衣服形状を生成する衣服処理部と、内側の前記衣服形状に対して所定方向からみて前記２次元マスクより外方にはみ出た部分を切り抜いて内側の衣服に関する２次元画像を生成し、前記３次元マスクに着せ付けた状態の外側の前記衣服形状に対して所定方向からみて前記３次元マスクの可視部分を切り抜いて外側の衣服に関する２次元画像を生成するマスク処理部と、内側及び外側の衣服に関する前記２次元画像を重ね合せて着装画像を生成する着装処理部とを備えている。さらに、前記マスク作成部は、前記３次元マスクを内側の前記衣服形状に対応して生成する。
【００１０】
本発明に係る重ね着画像処理方法は、３次元形状データに着せ付けるように内側の衣服形状を生成し、前記３次元形状データに基づいて３次元マスクを生成し、前記３次元マスクに基づいて２次元マスクを生成し、前記３次元マスクに着せ付けるように外側の衣服形状を生成し、内側の前記衣服形状に対して所定方向からみて前記２次元マスクより外方にはみ出た部分を切り抜いて内側の衣服に関する２次元画像を生成し、前記３次元マスクに着せ付けた状態の外側の前記衣服形状に対して所定方向からみて前記３次元マスクの可視部分を切り抜いて外側の衣服に関する２次元画像を生成し、内側及び外側の衣服に関する前記２次元画像を重ね合せて着装画像を生成する。
重ね着画像処理方法。
【発明の効果】
【００１１】
本発明は、上記の構成を有することで、複数の衣服を重ね着した場合の実際の着装状態に近い着装画像を効率的に作成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る重ね着画像処理装置に関する機能ブロック構成図である。
【図２】取得された３次元形状データに関する画像表示例である。
【図３】内側に着るワンピースを人体形状に着せ付けた表示例である。
【図４】外側に着るジャケットを人体形状に着せ付けた表示例である。
【図５】図３及び図４に示す３次元の衣服画像をそのまま重ね合せて表示した例である。
【図６】３次元マスクに関する表示例である。
【図７】３次元マスクから２次元マスクを生成する変換処理例である。
【図８】外側の衣服に関する２次元画像を生成する処理例である。
【図９】内側の衣服に関する２次元画像を生成する処理例である。
【図１０】着装画像を生成する処理例である。
【図１１】重ね着画像処理に関するフローである。
【図１２】重ね着画像処理に関する別のフローである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を用いて説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。
【００１４】
図１は、本発明に係る重ね着画像処理装置に関する機能ブロック構成図である。重ね着画像処理装置１は、重ね着した着装画像を表示するための処理を行う処理部１０、利用者が操作してデータ入力を行う操作表示部１１、着装画像を表示する表示部１２、及び、処理に必要なプログラム及びデータ等を記憶する記憶部１３を備えている。
【００１５】
重ね着画像処理装置１としては、ＣＰＵ、メモリ、ハードディスク、送受信部等を備えた公知のコンピュータを用いることができ、後述するような、重ね着した着装画像を表示処理するための各種機能を実現するプログラムをインストールすることで、重ね着画像処理装置として機能させることが可能となる。
【００１６】
処理部１０は、装置全体の制御処理を行うとともに、重ね着した着装画像の表示処理を行うための機能として、形状処理部１００、衣服処理部１０１、マスク作成部１０２、マスク処理部１０３及び着装処理部１０４を備えている。操作表示部１１は、操作に必要な画像を表示するとともに利用者の操作信号を処理部１０に送信する。表示部１２は、処理部１０から送信された着装画像の表示を行う。
【００１７】
記憶部１３は、装置の制御処理及び表示処理に必要なプログラム及びデータを記憶するとともに、人体の体形を類型化して表示する３次元形状データを保存する形状情報ＤＢ１３０、衣服の様々なデザインに関する３次元データ（例、型紙データ等）を示す衣服データを保存する衣服情報ＤＢ１３１、及び、衣服に使用される色柄に関する色柄データを保存する色柄情報ＤＢ１３２を備えている。
【００１８】
形状処理部１００は、操作表示部１１において利用者が選択したサイズデータに基づいて形状情報ＤＢ１３０から３次元形状データを取得する。形状情報ＤＢ１３０には、例えば、ＪＩＳ規格で定められた９ＡＲ、１１ＡＴといったサイズ区分に基づいて作成された３次元形状データが登録されており、操作表示部１１において利用者が選択したサイズ区分に基づいて３次元形状データを取得することができる。図２は、取得された３次元形状データに関する人体形状の表示例である。この例では、人体形状Ｂは、人体の正面から見た人体形状を表示しているが、３次元形状となっており、側面側、背面側、平面側及び底面側から見た人体形状を表示することができる。
【００１９】
また、利用者やマネキンといった３次元形状体を撮影した撮影画像に基づいて３次元形状体のサイズを検知する検知部を設けておき、検知部から得られたサイズ情報に基づいて形状処理部１００において３次元形状体のサイズに対応した３次元形状データを得るようにすることもできる。また、予め決められた３次元形状データのみを使用する場合には、形状処理部１００を設けなくてもよい。
【００２０】
衣服処理部１０１は、操作表示部１１において利用者が選択した衣服データに関する３次元データを衣服情報ＤＢ１３１から読み出し、形状処理部１００から得られた３次元形状データ又はマスク作成部１０２から得られた３次元マスクに対して仮想的に着せ付けるように３次元の衣服形状を生成する処理を行う。例えば、衣服データの布地の力学的特性に対応して３次元形状データに衣服を仮想的に着せ付けた場合に生じる垂れ、襞等の形状変化に対応する処理が行われる。衣服データの３次元データは、３次元形状データを作成する際に用いられたサイズ区分に合うように選択される。そして、着せ付けられた３次元の衣服形状に対して操作表示部１１において選択された色柄データに基づいて色柄情報ＤＢ１３２より色柄画像データを読み出して着色処理し、着色された衣服画像を作成する。衣服画像は、正面側だけでなく側面側及び背面側の様々な方向から表示することが可能となる。
【００２１】
重ね着の着装画像を表示する場合には、重ね着のために選択された複数の衣服により複数の衣服画像を予め作成して記憶部１３に保存しておく。また、重ね着用に追加して選択された場合にも衣服画像を作成して保存しておくようにする。図３及び図４は、上半身用の上着を重ね着する場合の２枚の上着に関する衣服画像の表示例である。図３に示す例は、内側に着るワンピース２０を人体画像に着せ付けた表示例を示しており、図４に示す例は、外側に着るジャケット３０を人体画像に着せ付けた表示例を示している。
【００２２】
重ね着する場合の衣服の内側又は外側の順序付けについては、操作表示部１１において選択された順序にしたがって順序付けを行えばよい。また、衣服の順序付けを変更する場合には、操作表示部１１において各衣服に関する衣服画像が表示されたレイヤの順序を入れ替えて順序付けを変更することができる。衣服の差し替えを行う場合にも、衣服画像が表示されたレイヤの追加及び削除により順序付けを修正することができる。
【００２３】
図５は、図３及び図４に示す３次元の衣服画像をそのまま重ね合せて表示した例である。この例では、図３に示すワンピース２０に比べて図４に示すジャケット３０が体形にフィットするデザインであるため、ゆったりした着装状態となるワンピース２０がジャケット３０に比べて外側にはみ出る部分が生じるようになり、重ね着した場合に表示されるべきではない部分が表示されるようになる。
【００２４】
そのため、こうしたはみ出る部分が表示されないように処理する必要がある。外側の衣服画像を表示した場合に外形線により囲まれた領域については、内側の衣服画像が前方にはみ出た部分を外側の衣服画像で表示する必要があるが、外側の衣服が半透明（シースルー）の場合に、内側の衣服が透けて見えるようにしなければならない。また、外側の衣服画像の外形線よりも内側の衣服画像の外形線が外方にはみ出た部分については、はみ出た部分をマスクして表示されないようにする必要がある。
【００２５】
マスク作成部１０２は、形状処理部１００で得られた３次元形状データに基づいて３次元マスクを生成するとともに３次元マスクに基づいて２次元マスクを生成する。図６は、３次元マスクの形状を示す表示例である。この例では、３次元マスクＭは、正面から見たマスク形状を表示しているが、側面側、背面側、平面側及び底面側からみたマスク形状で表示することができる３次元データとなっている。なお、利用者やマネキン等の３次元形状体を撮影した画像から３次元形状データを得る場合には、３次元形状体に３次元マスク用の衣服等を着用した状態で撮影した画像を用いて３次元マスクを作成することで、３次元形状データに基づいた３次元マスクを生成することができる。
【００２６】
３次元マスクＭは、図６に例示するように、首からウェスト及びヒップあたりまでの上半身側マスク部分Ｍ１が３次元形状データにフィットしたマスク形状となっており、ヒップから下側の下半身側マスク部分Ｍ２が末広がりでスカートのような衣服形状を内包するマスク形状となっている。そして、上半身側マスク部分Ｍ１から下半身側マスク部分Ｍ２に連続した形状となるように生成される。３次元マスクは、内側の衣服形状に対応して生成された仮想的な３次元のマスク形状となっており、図５で説明した内側の衣服形状が前方側にはみ出た部分の修正に用いられる。このように、内側及び外側の衣服画像が混在する部分において、外側の衣服形状を内側の衣服形状に対応して生成することで、より自然な重ね合せ状態で表示することができる。
【００２７】
２次元マスクは、３次元マスクの外形線に基づいて変換処理することで生成される。図７は、３次元マスクから２次元マスクを生成する変換処理例を示している。図７（ａ）に示すように、３次元マスクＭの正面側からみたマスク形状が得られた場合、図７（ｂ）に示すように、得られたマスク形状の外形線に沿って２次元マスクＮを生成する。２次元マスクは、図５で説明した内側の衣服画像が外側の衣服画像の外形線よりも外方にはみ出した部分の修正に用いられる。
【００２８】
衣服処理部１０１は、マスク作成部１０２で生成された３次元マスクに着せ付けるように外側の衣服形状を生成する。そのため、内側の衣服の上に外側の衣服を着用した状態に近い衣服形状が生成されるようになる。マスク処理部１０３は、３次元マスクに外側の衣服形状を着せ付けた状態で所定方向からみて３次元マスクの可視部分を切り抜いて外側の衣服に関する２次元画像を生成する。図８は、外側の衣服に関する２次元画像を生成する処理例である。図８（ａ）に示すように、３次元マスクＭにジャケット３０を着せ付けた衣服形状を生成し、生成された衣服形状に対して正面側からみて３次元マスクＭの可視部分を切り抜いてジャケット３０の２次元画像３１を生成する（図８（ｂ））。
【００２９】
衣服処理部１０１は、形状処理部１００から得られた３次元形状データに基づいて人体形状に着せ付けるように内側の衣服形状を生成する。マスク処理部１０３は、生成された内側の衣服形状に対して所定方向からみて２次元マスクを重ね合せて外方にはみ出た部分を切り抜いて内側の衣服に関する２次元画像を生成する。図９は、内側の衣服に関する２次元画像を生成する処理例である。人体形状にフィットしたワンピース２０の衣服形状を生成し（図９（ａ））、図９（ｂ）に示す２次元マスクＮを用いて、生成された衣服形状に対して正面側からみて外方にはみ出た部分（矢印で示す）を切り抜いてワンピース２０の２次元画像２１を生成する（図９（ｃ））。
【００３０】
こうしたマスク処理は、３次元マスク及び２次元マスクを用いて簡単に処理することができるので、高速で処理することが可能となる。
【００３１】
着装処理部１０４は、マスク処理された内側の衣服に関する２次元画像にマスク処理された外側の衣服に関する２次元画像を重ね合せて着装画像を生成する。そして、得られた重ね着した着装画像を表示部１２に表示する。この場合、３次元マスクに基づいて内側及び外側の衣服画像をマスク処理するので、外側の衣服画像を内側の衣服画像に対応させ生成することができ、外側の衣服画像から内側の衣服画像が不自然にはみ出して表示されることがなくなるため、自然な重ね着画像を表示することができる。図１０は、着装画像を生成する処理例である。図１０（ａ）に示す内側の衣服に関する２次元画像２１と図１０（ｂ）に示す外側の衣服に関する２次元画像を重ねて人体画像Ｂに重ね合せて着装画像を生成する（図１０（ｃ））。
【００３２】
図１１は、重ね着画像処理に関するフローである。まず、３次元形状データを取得して人体形状を生成する（Ｓ１００）とともに、衣服のデータを取得して３次元形状データに基づいて内側の衣服形状を作成する（Ｓ１０１）。
【００３３】
次に、３次元形状データに基づいて３次元マスクを生成し（Ｓ１０２）、３次元マスクに基づいて外側の衣服形状を生成する（Ｓ１０３）。３次元マスクは、内側の衣服形状に対応させて生成された仮想的なマスク形状となっており、外側の衣服形状を内側の衣服形状に合わせて生成することができる。そして、３次元マスクと外側の衣服形状を合成し、所定方向からみて３次元マスクの可視部分を切り抜いて外側の衣服に関するマスク処理形状を生成し、選択された色柄画像データに基づいて外側の衣服に関する２次元画像を生成する（Ｓ１０４）。
【００３４】
次に、３次元マスクの外形線に沿うように２次元マスクを生成し（Ｓ１０５）、得られた２次元マスクにより内側の衣服形状に対して所定方向からみて外方にはみ出た部分を切り抜いて内側の衣服に関するマスク処理形状を生成し、選択された色柄画像データに基づいて内側の衣服に関する２次元画像を生成する（Ｓ１０６）。そして、内側及び外側の衣服に関する２次元画像を重ね合せ人体形状と合成することで重ね着した着装画像を生成する（Ｓ１０７）。なお、人体形状の頭部に利用者を実際に撮影した画像を重ね合せて着装画像を生成することもでき、実際の重ね着に近い画像を生成することが可能となる。
【００３５】
上述した重ね着画像処理において、重ね着する衣服が３枚以上ある場合には、最も内側となる衣服以外の外側となる衣服についてそれぞれ３次元マスクを生成して３次元マスクに着せ付ける衣服形状を生成する。そして、最も内側の衣服形状に対してその外側の衣服に関する３次元マスクから得られた２次元マスクによりマスク処理して外側の衣服形状を重ね合せ、重ね合せて合成した衣服形状に対して次の外側の衣服に関する３次元マスクから得られた２次元マスクによりマスク処理を行って次の外側の衣服形状を重ね合せる−といったように順次外側の衣服形状を重ね合せていくことで、３枚以上重ね着した着装画像を作成することができる。
【００３６】
なお、上述した処理フローでは、３次元形状データに基づく内側の衣服形状の生成処理は、マスク作成処理及び外側の衣服形状の生成処理よりも前に処理するようになっているが、これらの処理の後に処理することやこれらの処理と並行して処理することも可能で特に限定されない。
【００３７】
図１２は、重ね着画像処理に関する別のフローである。この例では、内側の衣服形状及び外側の衣服形状に関する処理を並行して行うようになっている。まず、３次元形状データを取得して人体形状を生成する（Ｓ２００）。そして、３次元形状データに対応する３次元マスクを生成し（Ｓ２０１）、３次元マスクの外形線に沿うように２次元マスクを生成する（Ｓ２０２）。３次元マスクは、内側の衣服形状に対応させて生成された仮想的なマスク形状となっており、外側の衣服形状を内側の衣服形状に合わせるように生成することができる。
【００３８】
３次元マスク及び２次元マスクを生成した後、３次元マスクを用いた外側の衣服形状の作成処理及び２次元マスクを用いた内側の衣服形状の作成処理を並行して行う。
【００３９】
外側の衣服形状の作成処理では、３次元マスクに着せ付けるように外側の衣服形状を生成する（Ｓ２０３）。そして、３次元マスクと外側の衣服形状を合成し、所定方向からみて３次元マスクの可視部分を切り抜いて外側の衣服に関するマスク処理形状を生成し、選択された色柄画像データに基づいて外側の衣服に関する２次元画像を生成する（Ｓ２０４）。
【００４０】
内側の衣服形状の作成処理では、３次元形状データに基づいて内側の衣服形状を生成する（Ｓ２０５）。そして、２次元マスクにより内側の衣服形状に対して所定方向からみて外方にはみ出た部分を切り抜いて内側の衣服に関するマスク処理形状を生成し、選択された色柄画像データに基づいて内側の衣服に関する２次元画像を生成する（Ｓ２０６）。
【００４１】
生成された内側及び外側の衣服に関する２次元画像を重ね合せ人体形状と合成することで重ね着した着装画像を生成する（Ｓ２０７）。なお、人体形状の頭部に利用者を実際に撮影した画像を重ね合せて着装画像を生成することもでき、実際の重ね着に近い画像を生成することが可能となる。
【００４２】
以上説明したように、３次元マスクに基づいて内側及び外側の衣服画像をマスク処理して重ね着画像処理を行うようにしているので、高速で画像処理を行うことができる。例えば、利用者が正面方向、側面方向及び背面方向から重ね着した状態を見たい場合でもそれぞれの方向から見た２次元の衣服画像を用いて重ね着画像処理を行うことで、利用者の操作に応じて速やかに着装画像を切換処理して表示させることが可能となり、効率的な画像処理を行うことができる。また、重ね着する衣服として半透明（シースルー）の衣服を用いた場合でも２次元の衣服画像を重ね合せることで、違和感のない自然な着装画像を得ることができる。
【符号の説明】
【００４３】
１・・・重ね着画像処理装置、１０・・・処理部、１１・・・操作表示部、１２・・・表示部、１３・・・記憶部
【図１】
2020095543.tif 000003
【図２】
2020095543.tif 000004
【図３】
2020095543.tif 000005
【図４】
2020095543.tif 000006
【図５】
2020095543.tif 000007
【図６】
2020095543.tif 000008
【図７】
2020095543.tif 000009
【図８】
2020095543.tif 000010
【図９】
2020095543.tif 000011
【図１０】
2020095543.tif 000012
【図１１】
2020095543.tif 000013
【図１２】
2020095543.tif 000014