(57)【要約】【課題】人物が装着物を装着した場合のシミュレーションの信頼性を向上させる。【解決手段】服装シミュレーション装置１０は、人物および装着物を撮影して画像データを生成するＣＣＤ撮像素子２２と、前記人物および前記装着物の属性データを取得する基本情報取得部１２２と、前記取得した属性データを参照して、前記生成した画像データの妥当性を判断する判断部１２４と、前記判断に基づいて前記画像データを補正する補正部と、前記補正した画像データを用いて、前記人物が前記装着物を装着した画像を生成する生成部と、を備える。【選択図】図１
2009302609.tif 000002
【特許請求の範囲】
【請求項１】
人物および装着物を撮影して画像データを生成する撮影部と、
前記人物および前記装着物の属性データを取得する取得部と、
前記取得した属性データを参照して、前記生成した画像データの妥当性を判断する判断部と、
前記判断に基づいて前記画像データを補正する補正部と、
前記補正した画像データを用いて、前記人物が前記装着物を装着した画像を生成する生成部と、を備えることを特徴とするシミュレーション装置。
【請求項２】
請求項１に記載のシミュレーション装置において、
前記補正部は、前記判断部が前記生成した画像データを妥当でないと判断した場合、前記撮影部が生成した前記画像データを補正し、前記判断部が前記生成した画像データを妥当であると判断した場合、前記撮影部が生成した前記画像データを補正しないことを特徴とするシミュレーション装置。
【請求項３】
請求項１乃至２のいずれかに記載のシミュレーション装置において、
前記補正部は、前記人物および前記装着物の形状および色彩の少なくとも１つを補正することを特徴とするシミュレーション装置。
【請求項４】
請求項１乃至３のいずれか１項に記載のシミュレーション装置において、
前記取得部は、通信により外部のデータベースから前記属性データを取得することを特徴とするシミュレーション装置。
【請求項５】
請求項４に記載のシミュレーション装置において、
前記データベースは、規格化された前記人物の体型に関するデータ、および前記装着物の製造者が提供するデータの少なくとも１つを含むことを特徴とするシミュレーション装置。
【請求項６】
請求項１乃至５のいずれか１項に記載のシミュレーション装置を備えるデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シミュレーション装置およびデジタルカメラに関する。
【背景技術】
【０００２】
衣服の形状と身体形状の情報をフィッティングさせることにより、仮想的な試着やコーディネートシミュレーションが行われている。例えば、インターネットにおけるセカンドライフのような仮想的な世界では、アバターと呼ばれる人間に衣服を着せる場合に用いられている。このような仮想的な試着やコーディネートシミュレーションを現実の世界で行うべく、下記特許文献１に示すような装置が提案されている。この装置では、自分の身体形状および自分の手持ちの衣服の形状を、デジタルカメラで撮影して画像処理を行い、カメラのメモリに保持する。従って、自分のデジタルカメラで画像の取得から、シミュレーション、データの保存および管理までを一元的にできるため、柔軟性があって使いやすいという特徴を有した。
【０００３】
【特許文献１】特開２００３−８５４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の装置では、画像処理により取得した身体の形状や衣服の形状の信頼性を検証できないという問題があった。このため、身体の形状や衣服の形状が誤って取得された場合、誤ったシミュレーション結果が出力されるという問題があった。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］
本適用例にかかるシミュレーション装置は、人物および装着物を撮影して画像データを生成する撮影部と、前記人物および前記装着物の属性データを取得する取得部と、前記取得した属性データを参照して、前記生成した画像データの妥当性を判断する判断部と、前記判断に基づいて前記画像データを補正する補正部と、前記補正した画像データを用いて、前記人物が前記装着物を装着した画像を生成する生成部と、を備えることを特徴とする。
【０００７】
このような構成によれば、人物および装着物の属性データを取得し、取得した属性データを参照して、人物および装着物を撮影することで生成した画像データの妥当性を判断すると共に、この判断に基づいて画像データを補正し、補正した画像データを用いて人物が装着物を装着した画像を生成する。従って、撮影された画像データは、妥当性の判定結果に基づいて補正されるため、画像データの信頼性が向上すると共に、補正された画像データを用いて、人物が装着物を装着した画像を生成するため、人物が装着物を装着した場合のシミュレーション結果の信頼性を向上させることができる。
【０００８】
［適用例２］
上記適用例にかかるシミュレーション装置において、前記補正部は、前記判断部が前記生成した画像データを妥当でないと判断した場合、前記撮影部が生成した前記画像データを補正し、前記判断部が前記生成した画像データを妥当であると判断した場合、前記撮影部が生成した前記画像データを補正しないことが好ましい。
【０００９】
このような構成によれば、判断部が判断する画像データの妥当性に応じて、画像データを補正できる。
【００１０】
［適用例３］
上記適用例にかかるシミュレーション装置において、前記補正部は、前記人物および前記装着物の形状および色彩の少なくとも１つを補正することが好ましい。
【００１１】
このような構成によれば、人物および装着物の形状および色彩を補正できる。
【００１２】
［適用例４］
上記適用例にかかるシミュレーション装置において、前記取得部は、通信により外部のデータベースから前記属性データを取得しても良い。
【００１３】
［適用例５］
上記適用例にかかるシミュレーション装置において、前記データベースは、規格化された前記人物の体型に関するデータ、および前記装着物の製造者が提供するデータの少なくとも１つを含んでも良い。
【００１４】
［適用例６］
上述したシミュレーション装置をデジタルカメラに適用することによって、撮影した画像データを出力することなく、人物が装着物を装着した画像の表示をデジタルカメラで実現できる。
【発明を実施するための最良の形態】
【００１５】
以下、シミュレーション装置の一形態として、服装シミュレーション装置について図面を参照して説明する。
【００１６】
（実施形態）
図１は、服装シミュレーション装置１０の内部構成を示すブロック図である。この服装シミュレーション装置１０は、単体で服装の試着シミュレーションを行う装置であり、内部機構として、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮像素子２２、バッファメモリ２４、標準人体モデルデータ記憶部３０、データ処理部１００、及び、画像メモリ４０を備えている。また、この服装シミュレーション装置１０は、図２（ａ）および（ｂ）に示すように、デジタルカメラ１５に組み込まれ、データ入力部３２、スイッチ３４、バーコードリーダ３６、表示部４５および無線アンテナ１２１を更に備え、所望の対象物を撮影して画像データを生成できる。
【００１７】
ＣＣＤ撮像素子２２は、撮影部として撮影レンズ２０を介して入射する被写体像を光電変換して画像データを生成するものであり、ＣＣＤ撮像素子２２で生成された画像データはバッファメモリ２４に出力されて一時的に保持される。本実施形態では、被写体として、服装シミュレーション装置１０が対象とする人物および衣服を想定する。
データ処理部１００は、図示を略したＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のハードウェアと所定のソフトウェアが協働することによって実現される処理部である。このデータ処理部１００は、３次元人体モデル生成部１０２、顔画像合成部１０４、顔画像抽出部１０６、衣服成分抽出部１０８、３次元化処理部１１０、カラー調整部１１２、サイズ特定部１１４、記録処理部１１６、合成処理部１１８、Ｗｅｂアクセス部１２０、基本情報取得部１２２および判断部１２４を備える。
【００１８】
衣服成分抽出部１０８は、服装シミュレーション装置１０が衣服を撮影した場合、バッファメモリ２４に格納されている画像データを入力し、その画像データから衣服に関する画像成分を抽出して衣服画像データを生成する。また、衣服成分抽出部１０８は、抽出した画像成分から衣服の製造番号等の情報をバーコードリーダ３６や撮影レンズ２０で取り込む。３次元化処理部１１０は、衣服成分抽出部１０８で生成された衣服画像データを３次元化する。カラー調整部１１２は、衣服画像データに対してカラー調整を行う。サイズ特定部１１４は、カラー調整された衣服画像データにおける衣服のサイズを特定して衣服に関する衣服属性データを生成する。記録処理部１１６は、衣服画像データと衣服属性データとを対応づけて画像メモリ４０に記録する。
【００１９】
また、３次元人体モデル生成部１０２は、予め人物の標準データが記憶された標準人体モデルデータ記憶部３０のデータや、撮影された対象人物の画像データに基づき、当該人物に適合した人体モデルデータを生成する。本実施形態では、３次元人体モデル生成部１０２は、図示を略したジャイロセンサを備え、人物の撮影角度を変えて撮影した複数の画像とジャイロセンサの情報とから３次元データを生成する。このように撮影された画像データから３次元データを生成する方法は、例えば、特開２００３−８５４１１号公報に開示された方法を採用できる。顔画像抽出部１０６は、バッファメモリ２４に格納されている画像データから対象人物の顔画像成分を抽出する。顔画像合成部１０４は、人体モデルデータの顔部分に対して顔画像を合成して画像メモリ４０に出力する。
【００２０】
また、Ｗｅｂアクセス部１２０は、通信部として無線アンテナ１２１を介して無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）により外部のネットワーク１５０と接続する。基本情報取得部１２２は、衣服の製造者（メーカ）等のサーバにアクセスして、所望の衣服に関するサイズ等の属性データを取得する取得部である。判断部１２４は、３次元化処理部１１０で３次元処理されたデータと、Ｗｅｂ情報として取得した衣服の情報とを比較して、衣服画像データの妥当性を判断する。合成処理部１１８は、画像データの補正部およびシミュレーション画像の生成部として機能する。即ち、合成処理部１１８は、判断部１２４で判断された結果に従い衣服画像データを補正した後、画像メモリ４０に格納された人体モデルデータを読み込んで、衣服を身に着けた人体モデルデータの画像を合成して生成し、表示部４５に表示する。尚、出力方法は表示に限定されるものではなく、画像データとしてメディア等に書き込んで出力しても良い。
【００２１】
図３は、服装シミュレーション装置１０による、服装の試着シミュレーションの処理を説明する図である。最初に、対象人物のパーソナルデータ２５０の取得方法について説明する。ここで、パーソナルデータ２５０とは、対象人物の身長、体重、胸囲、ウエスト、首周り、レングス、パンツ丈、嗜好等を示すデータである。このようなパーソナルデータ２５０を取得すべく、服装シミュレーション装置１０で該当する人物が撮影され（ステップＳ２００）、データ処理部１００で画像処理され（ステップＳ２０２）、顔画像や身体形状が抽出される。また、対象人物が自身のサイズを入力することで（ステップＳ２０４）、日本工業規格（ＪＩＳ）のデータベースを参照することで標準人体モデルデータを得る（ステップＳ２０６）。自身のサイズからＪＩＳのデータベースを参照する方法は、例えば、特開２００２−１８３７５８号公報に開示された方法を採用できる。このようにして得られる顔画像や身体形状と、標準人体モデルデータとを照合すると共に、必要に応じて撮影により得られた身体形状を修正して調整することで（ステップＳ２０８）、パーソナルデータ２５０が得られる。
【００２２】
次に、衣服の商品情報データ２５５の取得方法について説明する。最初に、商品情報を取得する衣服が撮影され（ステップＳ２２０）、画像データはデータ処理部１００で画像処理される（ステップＳ２２２）。即ち、画像データから形状が抽出され、色彩が抽出されてホワイトバランスが補正される。また、衣服のタグやレシート等に記載された製品番号がバーコードリーダ３６等から入力され（ステップＳ２２４）、衣服のメーカのサーバにアクセスして製品番号を照合することで、縫製時のＣＡＤ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ）データや製品の３次元画像および色情報等を取得する（ステップＳ２２６）。ここで、画像処理された画像データと、メーカから取得した製品のデータとを比較して画像データの妥当性を検証し、必要に応じて画像データを補正することで、衣服のデータの精度を保障する（ステップＳ２２８）。この結果、衣服の商品情報データ２５５は適切に取得される。
上述のようにして取得されたパーソナルデータ２５０と衣服の商品情報データ２５５から、服の形状と身体のフィッティングのシミュレーションを行う。このようなシミュレーションは、例えば、特開２００２−２９６５８６号公報に開示された方法を採用できる。このような処理を行ったシミュレーション結果画面２６０は、表示部４５に表示される。
【００２３】
ここで、画像処理された画像データと、メーカから取得した製品のデータとに基づく衣服の形状と色彩の補正について、図４および図５を参照して詳述する。最初に、衣服の形状の補正について、図４を参照して説明する。この図４では、服装シミュレーション装置１０が有するデジタルカメラ１５で撮影した衣服の形状とメーカから取得した衣服の形状を、Ａ〜Ｄの４つの場合に分けて説明する。
即ち、両者の形状は略同じ場合（Ａ）、デジタルカメラ１５で求めた形状を適用する。また、両者が異なる場合であっても、寸法が同じ量だけ異なる場合（Ｂ）、デジタルカメラ１５の距離の計測誤差により実際のサイズが異なっているものの、形状は問題ないと推測し、相似変換したデジタルカメラ１５で求めた形状を採用する。この場合、衣服の着用により、衣服が伸びたと推定できる。また、両者において何れの形状も類似性が無い場合（Ｃ）、両者は全く別の衣服か、撮影ミスの可能性が推定できる。この場合、メーカから取得した情報や衣服のタグなど確認し、これらが正しければ、デジタルカメラ１５の処理に問題があると推定し、メーカ情報を採用する。更に、衣服が部分的に異なる場合（Ｄ）、メーカから取得した情報と同じ服であると推測できるが、腕まくりをしたまま撮影したとか、長袖を半袖に改造した可能性も考えられる。従って、この場合は、改造した形状を優先し、デジタルカメラ１５で求めた形状を採用する。
【００２４】
次に、図５を参照して、画像処理された画像データと、メーカから取得した製品のデータとに基づく色彩の情報の補正方法について説明する。尚、本実施形態では、色空間としてｘｙ色度表を採用するが、これに限定されるものでは無い。最初に、画像から得た衣服の色情報をｘｙ色度表上にマッピングする。続いて、デジタルカメラ１５のホワイトバランスのポイントもマッピングする。この場合、デジタルカメラ１５の結果Ｑとメーカから取得した情報の色Ｐは異なるが、デジタルカメラ１５のホワイトバランス点ＱＢが、メーカから取得した情報の色の基準点Ｄ６５からズレており、そのズレ量を平行移動すると、デジタルカメラ１５の結果は、メーカから取得した情報の色Ｐと略一致する。従って、ホワイトバランスを考慮して、メーカから取得した色の近辺であれば、デジタルカメラ１５で正しく色が撮影できていると判断し、デジタルカメラ１５の色を採用する。即ち、メーカとの色のわずかな違いは、経年変化とみなす。尚、この違いは、他の服と組み合わせたりするときに微妙に影響する場合もある。メーカが売った時の色では、経年変化による色あせは考慮できないため、自分のお気に入りの服の色でうまく合わない場合が生じてしまう。本実施形態のように、メーカが売った時の色情報と照合することで、経年変化であるか、否かを正しく判定できる。
【００２５】
尚、メーカが売った時の色と、デジタルカメラ１５で撮影した色の差は、ホワイト点を比較して計算することで得られる色差ΔＥにより評価する。尚、色空間によって、種々の色差があるが、本実施形態では色差式ＣＩＥ２０００を採用する。ここで、プリンタの色合わせは、ΔＥが１〜２程度以下になるように調整される。従って、ΔＥが１２というように大きい場合は、経年変化による色あせ以上の原因が考えられ、例えば、撮影上の間違えやホワイトバランスの調整失敗などが考えられる。しかしながら、経年変化による色あせがあった場合でも、ΔＥが２０以下の場合は、人間の目には略同じ色目と認識できる範疇であると考えられる。従って、この場合は、デジタルカメラ１５の色を採用する。他方で、ΔＥが２０を超える場合は、本来の色とは異なる色としてデジタルカメラ１５で撮影している可能性が高い。このような場合は、撮影は失敗したと判断し、メーカが提供するオリジナルの情報を基本的な色として採用する。
【００２６】
以上述べた服装シミュレーション装置１０において、衣服情報を取得して試着シミュレーションを行うまでの処理の流れを、図６に基づき説明する。尚、対象人物のパーソナルデータ２５０は、図３で述べた処理により取得されたものとする。
最初に、服装シミュレーション装置１０は、通信等によりメーカが提供する衣服の形状情報を取得する（ステップＳ２７０）。続いて、服装シミュレーション装置１０は、デジタルカメラ１５が撮影した衣服の形状情報を取得する（ステップＳ２７２）。次に、服装シミュレーション装置１０は、２つの形状情報を比較する（ステップＳ２７４）。比較した結果、２つの形状情報が同じである場合（ステップＳ２７６でＹｅｓ）、デジタルカメラ１５で取得した形状を採用し（ステップＳ２９０）、試着シミュレーションを行い（ステップＳ２８６）、一連の処理を終了する。
他方で、ステップＳ２７６で比較した結果、２つの形状情報が異なる場合（ステップＳ２７６でＮｏ）、２つの形状は相似形であるか、否かを判定する（ステップＳ２７８）。判定の結果、２つの形状が相似形である場合（ステップＳ２７８でＹｅｓ）、相似変換を行い（ステップＳ２８８）、デジタルカメラ１５で取得した形状を採用して（ステップＳ２９０）試着シミュレーションを行い（ステップＳ２８６）、一連の処理を終了する。
【００２７】
他方で、ステップＳ２７８で比較した結果、２つの形状が相似形でない場合（ステップＳ２７８でＮｏ）、メーカから取得した情報を再度確認して（ステップＳ２８０）、２つは同じ服か否かを判定する（ステップＳ２８２）。ここで、２つが同じ服であると判定された場合（ステップＳ２８２でＹｅｓ）、デジタルカメラ１５で取得した形状を採用して（ステップＳ２９０）試着シミュレーションを行い（ステップＳ２８６）、一連の処理を終了する。
他方で、２つが異なる服であると判定された場合（ステップＳ２８２でＮｏ）、メーカ情報を採用して（ステップＳ２８４）試着シミュレーションを行い（ステップＳ２８６）、一連の処理を終了する。
【００２８】
以上述べた処理により、メーカから提供された衣服の形状情報や色情報を参照して、デジタルカメラ１５から得られた情報を必要に応じて相似変換を行って検証し、デジタルカメラ１５から得られた情報が正確ではないと判定される場合を除いて、デジタルカメラ１５から得られた情報を採用することで、より確度の高い情報を用いた試着シミュレーションを行うことができる。
【００２９】
以上述べた実施形態によれば、以下のような効果を奏する。
（１）服装シミュレーション装置１０はデジタルカメラ１５に組み込まれているため、撮影からシミュレーション画像の表示までの処理をデジタルカメラ１５内で完結できることから、外部への情報の漏洩を防止できる。
（２）衣服のメーカからの情報やＪＩＳのデータを照合するため、デジタルカメラ１５が撮影した画像から取得した形状情報の確からしさを高い精度で検証できる。
【００３０】
以上、本発明を図示した実施形態に基づいて説明したが、本発明は、本実施形態に限定されるものではなく、以下に述べるような変形例も想定できる。
（１）シミュレーション対象の装着物は衣服に限定されるものではなく、アクセサリ、靴、バック等の商品に対しても適用できる。
（２）デジタルカメラ１５とパーソナルコンピュータとで処理を分担しても良い。例えば、個人体型や手持ちの服などの個人データは、デジタルカメラ１５に保持し、３次元化処理やネットワークからの情報取得は、パーソナルコンピュータで行っても良い。この場合、デジタルカメラ１５は画像取得や情報保管に限定し、パーソナルコンピュータは、種々の情報処理を担当する。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係る服装シミュレーション装置の構成を示すブロック図。
【図２】服装シミュレーション装置の外観図。
【図３】服装シミュレーション装置による服装の試着シミュレーションの処理を説明する図。
【図４】撮影した衣服の形状とメーカから取得した衣服の形状との照合を説明する図。
【図５】画像処理されたデータとメーカから取得したデータとに基づく色彩の情報の補正を説明する図。
【図６】服装シミュレーション装置において衣服情報を取得して試着シミュレーションを行うまでの処理の流れを説明するフローチャート。
【符号の説明】
【００３２】
１０…服装シミュレーション装置、１５…デジタルカメラ、２０…撮影レンズ、２２…ＣＣＤ撮像素子、２４…バッファメモリ、３０…標準人体モデルデータ記憶部、３２…データ入力部、３４…スイッチ、３６…バーコードリーダ、４０…画像メモリ、４５…表示部、１００…データ処理部、１０２…３次元人体モデル生成部、１０４…顔画像合成部、１０６…顔画像抽出部、１０８…衣服成分抽出部、１１０…３次元化処理部、１１２…カラー調整部、１１４…サイズ特定部、１１６…記録処理部、１１８…合成処理部、１２０…Ｗｅｂアクセス部、１２１…無線アンテナ、１２２…基本情報取得部、１２４…判断部、１５０…外部のネットワーク、２５０…パーソナルデータ、２５５…商品情報データ、２６０…シミュレーション結果画面。
【図１】
2009302609.tif 000003
【図２】
2009302609.tif 000004
【図４】
2009302609.tif 000005
【図５】
2009302609.tif 000006
【図６】
2009302609.tif 000007
【図３】
2009302609.tif 000008