(57)【要約】【課題】本発明は、利用者の容姿にマッチした衣服等の服飾物を確実に選択することができる試着支援装置及び方法を提供することを目的とするものである。【解決手段】試着支援装置は、撮影画像データに基づいて利用者の肌の色に関する色特性データを取得する色特性処理部１００と、利用者の体型データに対応する３次元人体形状データに色特性データに基づいて着色して人体画像データを作成する人体処理部１０１と、衣服データに基づいて色特性データに対応する色柄データを取得する色柄処理部１０２と、人体画像データ及び色柄データに基づいて着装画像データを作成する着装処理部１０３と、利用者の頭部画像データ及び着装画像データを合成して試着画像データを作成する試着処理部１０４とを備えている。【選択図】図３
2015079362.tif 000002
【特許請求の範囲】
【請求項１】
利用者を撮影する撮影部と、利用者の体型を検知する検知部と、衣服の選択操作を行う操作部と、前記撮影部から得られた撮影画像データ及び前記検知部から得られた体型データに基づいて前記操作部で選択された衣服データに関する試着画像データを作成する処理部と、作成された前記試着画像データを表示する表示部とを備えている試着支援装置であって、
前記処理部は、前記撮影画像データに基づいて利用者の肌の色に関する色特性データを取得する色特性処理部と、前記体型データに基づいて３次元人体形状データを取得するとともに前記色特性データに基づいて当該３次元人体形状データを着色して人体画像データを作成する人体処理部と、前記衣服データに基づいて前記色特性データに対応する色柄データを取得する色柄処理部と、前記人体画像データ及び前記色柄データに基づいて着装画像データを作成する着装処理部と、前記撮影画像データに基づいて利用者の頭部画像データを取得するとともに当該頭部画像データ及び前記着装画像データを合成して前記試着画像データを作成する試着処理部とを備えている試着支援装置。
【請求項２】
前記検知部は、利用者の姿勢を検知するようになっており、前記試着処理部は、検知された姿勢データに基づいて前記試着画像データを作成する請求項１に記載の試着支援装置。
【請求項３】
前記色特性処理部は、前記撮影画像データの肌の部分に関する画素の色相、明度及び彩度に基づいて前記色特性データを取得する請求項１又は２に記載の試着支援装置。
【請求項４】
前記試着処理部は、前記撮影部で撮影された背景画像データを組み込んで試着画像データを作成する請求項１から３のいずれかに記載の試着支援装置。
【請求項５】
利用者の撮影画像データ及び体型データに基づいて利用者が選択した衣服データに関する試着画像データを表示する試着支援方法であって、前記撮影画像データに基づいて利用者の肌の色に関する色特性データを取得し、前記体型データに基づいて３次元人体形状データを取得するとともに前記色特性データに基づいて当該３次元人体形状データに着色して人体画像データを作成し、前記衣服データに基づいて前記色特性データに対応する色柄データを取得し、前記人体画像データ及び前記色柄データに基づいて着装画像データを作成し、前記撮影画像データに基づいて利用者の頭部画像データを取得するとともに当該頭部画像データ及び前記着装画像データを合成して前記試着画像データを作成する試着支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元人体形状に衣服等の服飾物に関する画像データを合成した３次元画像データを利用者の画像データと組み合せて着装状態を仮想的に表示する試着支援装置及び方法に関する。
【背景技術】
【０００２】
顧客は、身につける衣服等の服飾物を店舗等において購入するにあたって、購入する予定の商品を店舗に設置されている試着室等で予め試着して、その衣服のサイズ、着心地、或いは自分の容姿に似合うか否かを確認することが一般的である。
【０００３】
顧客が複数の衣服等を試着して、その中から顧客の最も好みの衣服を探すには、それぞれの衣服を試着した状態で比較する必要があるが、顧客はその比較を試着したときの記憶に頼って行わざるを得ない。試着の対象となる衣服が多いときには、最初に試着したときの記憶が薄れて、十分な比較ができずに顧客の好みの衣服を誤って選択してしまったり、再度試着する必要が生じて時間がかかる虞がある。
【０００４】
こうした試着に関する課題に対処するために、仮想的に着装状態を表示する試着支援装置が提案されている。例えば、特許文献１では、試着用として選択された衣服（試着服）に対応する衣服型紙情報及び標準人体モデルの体型に関する標準人体情報を読出し、体型情報、生地情報及び縫製情報に基づいて試着人の体型に適合した衣服を示す衣服画像を作成し、作成された衣服画像及び試着人の人物画像に基づいて合成画像（試着画像）を作成する仮想試着システムが記載されている。また、特許文献２では、予め用意されたボディ部のデータにお客の選んだ生地の衣服をまとわせた３次元データを構築するとともに、お客自身を撮影した頭部の２次元データを組み合わせて表示することで、リアル感のある試着シミュレーションを簡易に実現する点が記載されている。また、特許文献３では、試着したい服装を着用したモデル画像と試着する人物の人物画像を表示装置に同時に表示し、人物画像の顔画像を切取りモデル画像の位置に移動させて合成して試着シミュレーションを行うようにした点が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３１４７０４号公報
【特許文献２】特開２０００−３１５２６２号公報
【特許文献３】特開２００１−１３４７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実際に試着する場合には、利用者の容姿にマッチしたものを選択することが理想であり、特に、利用者の肌の色にマッチした色合いの衣服を選択することが望ましい。上述した特許文献では、人体モデルの体型に衣服画像を組み合せて利用者の画像データと合成することで、実際の試着に近い着装状態を表示するようにしているものの、利用者の容姿にマッチした衣服については、表示された画像を見て利用者の好みに応じて選択されることになる。その際に、衣服のデザインが利用者の体型にマッチしているか、といった観点から主に検討されて、利用者の肌の色にマッチする色合いの衣服であるか、といった観点からの検討を利用者が自ら行うことは困難である。そのため、利用者の容姿にマッチした衣服を色々な観点から選択することが難しかった。
【０００７】
そこで、本発明は、利用者の容姿にマッチした衣服等の服飾物を確実に選択することができる試着支援装置及び方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明に係る試着支援装置は、利用者を撮影する撮影部と、利用者の体型を検知する検知部と、衣服の選択操作を行う操作部と、前記撮影部から得られた撮影画像データ及び前記検知部から得られた体型データに基づいて前記操作部で選択された衣服データに関する試着画像データを作成する処理部と、作成された前記試着画像データを表示する表示部とを備えている試着支援装置であって、前記処理部は、前記撮影画像データに基づいて利用者の肌の色に関する色特性データを取得する色特性処理部と、前記体型データに基づいて３次元人体形状データを取得するとともに前記色特性データに基づいて当該３次元人体形状データを着色して人体画像データを作成する人体処理部と、前記衣服データに基づいて前記色特性データに対応する色柄データを取得する色柄処理部と、前記人体画像データ及び前記色柄データに基づいて着装画像データを作成する着装処理部と、前記撮影画像データに基づいて利用者の頭部画像データを取得するとともに当該頭部画像データ及び前記着装画像データを合成して前記試着画像データを作成する試着処理部とを備えている。さらに、前記検知部は、利用者の姿勢を検知するようになっており、前記試着処理部は、検知された姿勢データに基づいて前記試着画像データを作成する。さらに、前記色特性処理部は、前記撮影画像データの肌の部分に関する画素の色相、明度及び彩度に基づいて前記色特性データを取得する。さらに、前記試着処理部は、前記撮影部で撮影された背景画像データを組み込んで試着画像データを作成する。
【０００９】
本発明に係る試着支援方法は、利用者の撮影画像データ及び体型データに基づいて利用者が選択した衣服データに関する試着画像データを表示する試着支援方法であって、前記撮影画像データに基づいて利用者の肌の色に関する色特性データを取得し、前記体型データに基づいて３次元人体形状データを取得するとともに前記色特性データに基づいて当該３次元人体形状データに着色して人体画像データを作成し、前記衣服データに基づいて前記色特性データに対応する色柄データを取得し、前記人体画像データ及び前記色柄データに基づいて着装画像データを作成し、前記撮影画像データに基づいて利用者の頭部画像データを取得するとともに当該頭部画像データ及び前記着装画像データを合成して前記試着画像データを作成する。
【発明の効果】
【００１０】
本発明は、上記の構成を有することで、利用者の肌の色にマッチした色柄の衣服に関する試着画像を表示することが可能となり、利用者の容姿にマッチした衣服等の服飾物を効率よく選択することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る試着支援装置に関する概略構成図である。
【図２】試着支援装置に関する機能ブロック構成図である。
【図３】試着支援処理に関するフローである。
【図４】３次元人体形状を示す説明図である。
【図５】人体画像を示す説明図である。
【図６】操作表示装置の表示画面の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面を用いて説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。
【００１３】
図１は、本発明に係る試着支援装置に関する概略構成図である。試着支援装置は、試着画像を表示するための処理を行う情報処理装置１、試着画像を表示する表示装置２、利用者が操作してデータ入力を行う操作表示装置３、利用者を撮影する撮影装置４及び利用者の体型を検知する検知センサ５を備えている。
【００１４】
情報処理装置１としては、ＣＰＵ、メモリ、ハードディスク、送受信部等を備えた公知のコンピュータを用いることができ、試着画像を表示処理するための各種機能を実現するプログラムがインストールされている。表示装置２は、利用者の等身大の試着画像を表示可能な液晶表示パネル等の大型のディスプレイを備えており、表示装置２の前に立った利用者が鏡の前に立っているような感覚で試着画像を視認することができるようになっている。操作表示装置３は、タブレット端末等の公知の装置を用いることができ、試着画像の表示処理に必要な操作を行うための操作表示機能を備えている。また、操作表示装置３には、色柄や衣服のタイプを示すアイコンを表示するための画像データが登録されている。撮影装置４は、表示装置２の前に立った利用者を撮影する撮影カメラを用いることができ、撮影された利用者のカラー画像は情報処理装置１に送信されるようになっている。検知センサ５は、赤外線深度センサ等を用いることができ、表示装置の前に立った利用者の体型や姿勢を検知する機能を備えている。
【００１５】
図２は、試着支援装置に関する機能ブロック構成図である。処理部１０は、装置全体の制御処理を行うとともに、試着画像の表示処理を行うための機能として、色特性処理部１００、人体処理部１０１、色柄処理部１０２、着装処理部１０３及び試着処理部１０４を備えている。撮影部１１は、撮影装置４により撮影された利用者のカラー画像を処理部１０に送信する。検知部１２は、検知センサ５から得られた検知データを処理部１０に送信する。操作表示部１３は、操作に必要な画像を表示するとともに利用者の操作信号を処理部１０に送信する。また、処理部１０から送信された衣服及び色柄の選択に必要なデータを保存して表示する。表示部１４は、処理部１０から送信された試着画像の表示を行う。
【００１６】
記憶部１５は、装置の制御処理及び表示処理に必要なプログラム及びデータを記憶するとともに、撮影された利用者の撮影画像を保存する撮影情報ＤＢ１５０、人体の肌の色の解析に必要なデータを保存する色特性情報ＤＢ１５１、人体の体型を類型化して表示する３次元人体形状データを保存する体型情報ＤＢ１５２、衣服等の服飾物の様々なデザインに関する３次元データ（例、型紙データ等）を示す衣服データを保存する衣服情報ＤＢ１５３、衣服等の服飾物に使用される色柄に関する色柄データを保存する色柄情報ＤＢ１５４、及び、利用者の体型、肌の色等の属性情報やこれまでの試着状況に関する情報を保存する顧客情報ＤＢ１５５を備えている。
【００１７】
色特性処理部１００は、撮影部１１から送信された撮影画像データに基づいて利用者の肌の色に関する色特性データを取得する。色特性データとしては、例えば、肌の色について色相、明度及び彩度といったデータを取得するとよい。これらのデータに基づいて利用者の肌の色をウォーム系又はクール系に分類することができる（参考文献；門田真乍子、肌色の測定によるパーソナルカラーの設計方法−その２：洋服の選定方法−、日本色彩学会誌、1995年5月、日本色彩学会）。こうしたウォーム系又はクール系の分類方法では、色相、明度及び彩度を、細密色票体系クロスコスモス６０００（財団法人日本色彩研究所）を用いて解析している。ウォーム系の肌の色は、色相が黄色の方向に寄った、黄みの強いオークル系の色で、クール系の肌の色は、色相が紫みの赤で、青みがかったピンク色にみえる。色特性処理部１００では、こうしたウォーム系又はクール系といった肌の色の解析データを色特性データとして取得する。
【００１８】
人体処理部１０１は、検知部１２から送信された利用者の体型データに基づいて体型情報ＤＢ１５２から３次元人体形状データを取得し、色特性処理部１００から得られた色特性データに基づいて３次元人体形状データを着色して人体画像データを作成する。利用者の体型データについては、例えば、赤外線を照射して物体の奥行きを検知することができる深度センサを検知センサに用いることで、利用者の骨格を検知することができる。そして、利用者の骨格に対応する３次元人体形状データを体型情報ＤＢ１５２から読み出す。体型情報ＤＢ１５２には、例えば、ＪＩＳ規格で定められた９ＡＲ、１１ＡＴといったサイズ区分に基づいて作成された３次元人体形状データが登録されており、利用者の骨格の特徴的な部位のサイズ（例；肩幅、身長）からサイズ区分を決定して利用者の体型に近い３次元人体形状データを取得する。取得した３次元人体形状データに色特性データに基づいて着色処理を行って人体画像データを作成する。
【００１９】
色柄処理部１０２は、操作表示部１３において利用者が選択した衣服データに基づいて色特性処理部１００から得られた色特性データに対応する色柄データを色柄情報ＤＢ１５４から取得する。例えば、色特性データとして、肌の色がウォーム系又はクール系に設定されている場合には、肌の色に対応する色柄データは、以下の色合いのものが選択される。
＜女性の場合＞
ウォーム系；アイボリー、キャメル、赤、茶、カーキ
クール系  ；グレー、チャコールグレー、黒、白、紺、ワインレッド
＜男性の場合＞
ウォーム系；キャメル、こげ茶、オリーブグリーン
クール系  ；グレー、チャコールグレー、紺
そして、色柄処理部１０２により取得された色柄データは、操作表示部１３に送信されて表示される。利用者は、操作表示部１３に表示された色柄データから好みの色柄を選択する。この場合、操作表示部１３には、予め利用者の肌の色に合った色合いの色柄が選択されて表示されているため、利用者は、自分の肌の色に合った色柄の中から選択することができるようになる。操作表示部１３に表示される色柄データについては、肌の色に合うものから優先的に表示すれば、利用者が色柄データを選択する際の利便性を向上させることができる。
【００２０】
着装処理部１０３は、操作表示部１３において利用者が選択した衣服データに関する３次元データを衣服情報ＤＢ１５３から読み出し、人体処理部１０１から得られた人体画像データに衣服データの３次元データに基づいて仮想的に着せ付けるように画像処理する。例えば、衣服データの布地の力学的特性に応じて垂れ、襞等の形状変化の処理も行われる。衣服データの３次元データは、人体画像データを作成する際に用いられた利用者のサイズ区分に合うように選択される。そして、着せ付けられた３次元データに対して操作表示部１３において選択された色柄データに基づいて着色処理し、着色された人体画像データに着色された衣服データを重ね合わせて着装画像データを作成する。着装画像データは、利用者のサイズ区分に合わせた人体画像データ及び衣服データを重ね合せるので、衣服データから人体画像データがはみ出すことのない着装画像データを得ることができる。また、着装画像データは、３次元画像データとして作成されているので、利用者の前方だけでなく前後左右の様々な方向から見た着装画像データを得ることが可能となる。
【００２１】
試着処理部１０４は、撮影部１１から得られた撮影画像データに基づいて利用者の頭部画像データを取得し、頭部画像データと着装処理部１０３から得られた着装画像データとを合成して試着画像データを作成する。利用者の頭部画像データを取得する場合、検知部１２により検知された利用者の位置及び姿勢に関するデータに基づいて、利用者の首から上の部分の画像領域を画定して頭部画像データを撮影画像データから切り出して取得する。そして、取得した頭部画像データに位置合せして着装画像データを合成することで試着画像データを作成する。この場合、着装画像データに頭部画像データを位置合せして試着画像データを合成することもできる。
【００２２】
試着画像は、利用者の位置及び姿勢に対応して表示部１４に表示処理される。そのため、利用者が位置を移動したり回動した場合には、検知部１２により移動状態や回動状態がリアルタイムで検知されて試着画像データに反映されるようになっている。利用者の姿勢については、例えば、検知部１２からの利用者の検知信号に基づいて骨格データを作成し、骨格データの形状変化に基づいて利用者の姿勢を認識することができる。そして、撮影画像データからリアルタイムで頭部画像データを抽出し、利用者に合わせた動く頭部画像データに着装画像データを追従させるように合成して試着画像データを作成することで、利用者が違和感なく試着画像を視認することができる。このように試着画像を表示することで、利用者の着用している衣服を削除して頭部画像のみを利用者の体型や肌の色に合わせた着装画像と合成するので、試着画像を実際に近い状態で表示することが可能となる。
【００２３】
また、予め背景画像を静止画像として撮影しておき、背景画像を試着画像と組み合せることで、鏡を見ているような現実感覚で試着状態を確認することができる。利用者の頭部画像の一部に背景画像が含まれている場合には、背景画像に合うように頭部画像を位置合せして着装画像を頭部画像に位置合せして試着画像を作成することで、試着状態の現実感を高めることが可能となる。
【００２４】
試着画像は３次元画像で表示されるため、利用者が横向き又は後ろ向きで試着を確認したい場合にも、利用者の位置及び姿勢に対応して試着画像が変化して鏡を見ているように視認可能となっている。また、後ろ向きといった視認しにくい姿勢の場合には、後ろ向きの状態で操作表示部１３において静止画で保存する操作を行うことで、操作した後で静止画を見て試着状態を確認することもできる。
【００２５】
こうして、利用者は、実際の着用状態に近い画像データを視認しながら、自分の肌の色やスタイルに合った衣服等の服飾物とその色合いを確認することができ、利用者の容姿にマッチした衣服等の服飾物を効率よく選択することができる。そして、利用者の体型データ、選択された衣服データ及び色柄データは、顧客情報ＤＢ１５５に保存されて、以後利用者が試着支援装置を使用する際に、履歴情報として活用される。
【００２６】
図３は、試着支援処理に関するフローである。まず、利用者が図１に示す試着支援装置の表示装置２の前に立ち、所定位置に足を置いて表示装置２に向かって直立する。この状態で利用者を撮影装置４により撮影するとともに検知センサ５により利用者の体型が検知される。背景画像を試着画像に組み込む場合には、利用者を撮影する前に撮影装置４により背景画像を静止画で撮影しておく。
【００２７】
そして、利用者の撮影画像データから肌の色の抽出処理が行われ（Ｓ１００）、抽出された肌の色のデータを解析して色特性データを取得する（Ｓ１０１）。肌の色は、利用者の地色が表出される耳の下や頬の位置の色を抽出するとよい。抽出位置については、利用者の顔の撮影画像に基づいて目、鼻、口等の部位を画像認識して特定することができる。
【００２８】
検知センサ５からの検知信号に基づいて肩幅及び身長といった体型データを算出し（Ｓ１０２）、算出された体型データに基づいて利用者の体型に近いサイズ区分の３次元人体形状データを取得する（Ｓ１０３）。図４は、取得された３次元人体形状データを示す説明図である。サイズ区分に対応した標準的な体型の３次元人体形状データが表示されている。そして、取得された３次元人体形状データに色特性データに対応した着色処理を行い、図５に示すように、人体画像データを作成する（Ｓ１０４）。作成された人体画像データは、利用者の体型及び肌の色に近い画像となっており、利用者が試着をする際に自分の容姿に合ったものか確認することができる。
【００２９】
次に、操作表示装置３に衣服デザインに関するアイコン表示が行われ（Ｓ１０５）、利用者が表示されたアイコンを選択して衣服デザインの選択処理が行われる（Ｓ１０６）。そして、選択処理された衣服デザインについて色特性データに基づいて利用者の肌の色に合う色柄データが抽出されて操作表示装置３にアイコン表示される（Ｓ１０７）。図６は、操作表示装置３の表示画面の一例を示している。表示画面には、後述する試着画像の表示領域３０、衣服デザインのアイコンを表示する表示領域３１及び色柄のアイコンを表示する表示領域３２が設定されており、表示領域３２には、利用者の肌の色に合う色柄が優先的に表示される。そして、表示領域３２をスクロール操作して色柄を表示させて利用者が好みの色柄を選択操作する。
【００３０】
操作表示装置３にアイコン表示された色柄について利用者が選択することで色柄の選択処理が行われる（Ｓ１０８）。そして、選択された色柄及び衣服デザインに基づいて人体画像データに衣服デザインの３次元データが着せ付けられて色柄により着色処理が行われ、着装画像データが作成される（Ｓ１０９）。そして、撮影装置４により撮影された撮影画像データから利用者の頭部画像データが抽出処理されて（Ｓ１１０）、利用者の頭部画像データに着装画像データを位置合せして合成し、試着画像データを作成する（Ｓ１１１）。背景画像データを組み込む場合には、背景画像データに頭部画像データを位置合せした後頭部画像データに着装画像データを位置合せして合成することで試着画像データを作成する。
【００３１】
試着画像は、検知センサ５により検知された利用者の位置及び姿勢に基づいて表示装置２に表示される（Ｓ１１２）。利用者の位置及び姿勢はリアルタイムで検知されて、利用者の位置及び姿勢に合わせて試着画像が表示されるため、利用者は鏡を見るように試着状態を視認することができる。利用者の撮影画像データからリアルタイムで頭部画像データを抽出して頭部画像データの動きに合わせて着装画像データを位置合せして試着画像データを合成することで、違和感のない試着状態を表示することが可能となる。また、横向き及び後ろ向きの試着画像を保存しておき、後で表示させて確認することもできるため、選択された衣服デザインと色柄が自分の容姿に合ったものかじっくりと検討することが可能となる。
【００３２】
利用者が試着状態を確認した後、別の色柄を選択したかチェックし（Ｓ１１３）、選択操作が行われた場合には、色柄が変更されたものとして、ステップＳ１０８に戻り、色柄の選択処理が行われる。そして、選択された色柄に基づいて着装画像データが作成される。別の色柄が選択されていない場合には、別の衣服デザインが選択されたかチェックし（Ｓ１１４）、別の衣服デザインが選択された場合には、衣服デザインが変更されたものとして、ステップＳ１０６に戻り、衣服デザインの選択処理が行われる。そして、別の衣服デザインに基づく色柄の選択処理及び着装画像データの作成処理が行われる。色柄及び衣服デザインが選択されていない場合には、終了操作が行われたかチェックし（Ｓ１１５）、終了操作が行われた場合には終了処理が行われる。
【００３３】
以上説明した例では、衣服データとして衣服等の服飾物を使用した例について説明したが、アニメーションやドラマ等のキャラクターの装身具を衣服データとして保存しておき、こうした装身具を仮想的に着装した画像を表示する仮装支援装置としても使用することができる。
【符号の説明】
【００３４】
１・・・情報処理装置、２・・・表示装置、３・・・操作表示装置、４・・・撮影装置、５・・・検知センサ
【図２】
2015079362.tif 000003
【図３】
2015079362.tif 000004
【図１】
2015079362.tif 000005
【図４】
2015079362.tif 000006
【図５】
2015079362.tif 000007
【図６】
2015079362.tif 000008