(57)【要約】【課題】携帯端末等の小型機であっても、ヘアスタイルやファッションのシミュレーションをレスポンスよく、しかも自然な画像で行うことができるシミュレーション装置、シミュレーション方法、及びコンピュータプログラムを提供する。【解決手段】ユーザ自身の顔を撮像し、撮像された顔の画像データから三次元データを生成して記憶する。ヘアスタイル又は被服を示す二次元モデル画像データを、三次元的位置情報とともに記憶しておき、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている三次元データを回転及び／又は拡縮する。回転及び／又は拡縮された三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを合成して合成二次元画像データを生成する。【選択図】図５
2020204790.tif 000002
【特許請求の範囲】
【請求項１】
仮想的にヘアスタイル又は被服をシミュレーションするシミュレーション装置であって、
ユーザ自身の顔を撮像する撮像部と、
撮像された顔の画像データから三次元データを生成して記憶する三次元データ生成部と、
ヘアスタイル又は被服を示す二次元モデル画像データを、三次元的位置情報とともに記憶するモデル画像データ記憶部と、
記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている三次元データを回転及び／又は拡縮する三次元データ回転・拡縮部と、
回転及び／又は拡縮された三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを合成して合成二次元画像データを生成する合成画像データ生成部と
を備えることを特徴とするシミュレーション装置。
【請求項２】
少なくとも、撮像された二次元画像データに基づいて表面の凹凸の度合いを検出する深度センサを備え、
前記三次元データ生成部は、前記深度センサで検出された凹凸の度合いに基づいて三次元データを生成することを特徴とする請求項１に記載のシミュレーション装置。
【請求項３】
撮像された二次元画像データに基づいて、顔部分を検出する顔センサを備え、
前記三次元データ生成部は、前記顔センサで検出された顔部分の三次元データを生成して記憶し、
前記三次元データ回転・拡縮部は、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている顔部分の三次元データを回転及び／又は拡縮し、
前記合成画像データ生成部は、回転及び／又は拡縮された顔部分の三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを、顔部分の輪郭に合わせて変形させて合成して合成二次元画像データを生成することを特徴とする請求項２に記載のシミュレーション装置。
【請求項４】
仮想的にヘアスタイル又は被服をシミュレーションするシミュレーション装置で実行することが可能なシミュレーション方法であって、
前記シミュレーション装置は、
ユーザ自身の顔を撮像する工程と、
撮像された顔の画像データから三次元データを生成して記憶する工程と、
ヘアスタイル又は被服を示す二次元モデル画像データを、三次元的位置情報とともに記憶する工程と、
記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている三次元データを回転及び／又は拡縮する工程と、
回転及び／又は拡縮された三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを合成して合成二次元画像データを生成する工程と
を含むことを特徴とするシミュレーション方法。
【請求項５】
前記シミュレーション装置は、
少なくとも、撮像された二次元画像データに基づいて表面の凹凸の度合いを検出する深度センサを備え、
前記深度センサで検出された凹凸の度合いに基づいて三次元データを生成することを特徴とする請求項４に記載のシミュレーション方法。
【請求項６】
前記シミュレーション装置は、
撮像された二次元画像データに基づいて、顔部分を検出する顔センサを備え、
前記顔センサで検出された顔部分の三次元データを生成して記憶し、
記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている顔部分の三次元データを回転及び／又は拡縮し、
回転及び／又は拡縮された顔部分の三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを、顔部分の輪郭に合わせて変形させて合成して合成二次元画像データを生成することを特徴とする請求項５に記載のシミュレーション方法。
【請求項７】
仮想的にヘアスタイル又は被服をシミュレーションするシミュレーション装置で実行することが可能なコンピュータプログラムであって、
前記シミュレーション装置を、
ユーザ自身の顔を撮像する撮像手段、
撮像された顔の画像データから三次元データを生成して記憶する三次元データ生成手段、
ヘアスタイル又は被服を示す二次元モデル画像データを、三次元的位置情報とともに記憶するモデル画像データ記憶手段、
記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている三次元データを回転及び／又は拡縮する三次元データ回転・拡縮手段、
回転及び／又は拡縮された三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを合成して合成二次元画像データを生成する合成画像データ生成手段
として機能させることを特徴とするコンピュータプログラム。
【請求項８】
前記シミュレーション装置は、
少なくとも、撮像された二次元画像データに基づいて表面の凹凸の度合いを検出する深度センサを備え、
前記三次元データ生成手段を、前記深度センサで検出された凹凸の度合いに基づいて三次元データを生成する手段として機能させることを特徴とする請求項７に記載のコンピュータプログラム。
【請求項９】
前記シミュレーション装置は、
撮像された二次元画像データに基づいて、顔部分を検出する顔センサを備え、
前記三次元データ生成手段を、前記顔センサで検出された顔部分の三次元データを生成して記憶する手段として機能させ、
前記三次元データ回転・拡縮手段を、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている顔部分の三次元データを回転及び／又は拡縮する手段として機能させ、
前記合成画像データ生成手段を、回転及び／又は拡縮された顔部分の三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを、顔部分の輪郭に合わせて変形させて合成して合成二次元画像データを生成する手段として機能させることを特徴とする請求項８に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの顔の三次元モデルを取得し、二次元画像であるヘアスタイルにマッチする顔の二次元画像に変換し、変換された顔の二次元画像とヘアスタイルの二次元画像との合成画像を生成するシミュレーション装置、シミュレーション方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ユーザが自分に似合うヘアスタイルやファッションを選択する場合、実際に店舗へ足を運ぶ必要がある。その手間をＩＴ技術で軽減させようとする試みが行われている。例えば、特許文献１では、試着者の体型パラメータに基づく三次元モデルを生成し、衣服画像（二次元モデル）を拡大・縮小・位置合わせすることで衣服のシミュレーションをした合成画像を生成する仮想試着システムが開示されている。
【０００３】
また、特許文献２では、商品購入者の全身のサイズデータ及び頭、手、足等の身体各部のサイズデータに基づく全身、身体の一部を三次元的に画像入力し、商品サイズデータは二次元データで入力する身体関連商品の購入システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１２２４１１号公報
【特許文献２】特開２００１−１０１２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１では、三次元モデルに合わせて二次元モデルを拡大・縮小・位置合わせをしている。したがって、合成された画像にはどうしても不自然さが残り、ユーザが本当に自分に似合うのかどうか、合成画像だけで判断することが困難であるという問題点があった。特にヘアスタイルの場合、顔のふくらみ等を無視して合成されるので、一層判断を困難ならしめている。
【０００６】
また、特許文献２でも、商品購入者の身体各部のサイズデータ（三次元データ）に対して、商品の二次元データをサイズ合わせすることが開示されている。しかし、単にサイズを合わせるだけで、実際のマッチング方法については何ら開示されていない。また、商品の映像を自分自身の映像とともにあらゆる角度から確認できるようにする、という記載も見受けられるが、サイズ合わせをする場合にどのような演算処理をするかは開示されておらず、特に身体各部のサイズデータが三次元データであるのに対して、商品サイズデータが二次元データである場合には、不自然な映像を回転等することになる。
【０００７】
身体を示すデータも商品を示すデータも、ともに三次元データであれば自然な映像をあらゆる角度から確認できる可能性は残される。しかし、演算処理負荷は膨大となり、例えば携帯端末等で簡易に確認するようなシステムには不向きであるという問題点もあった。
【０００８】
本発明は上記事情に鑑みてなされたものであり、携帯端末等の小型機であっても、ヘアスタイルやファッションのシミュレーションをレスポンスよく、しかも自然な画像で行うことができるシミュレーション装置、シミュレーション方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために第１発明に係るシミュレーション装置は、仮想的にヘアスタイル又は被服をシミュレーションするシミュレーション装置であって、ユーザ自身の顔を撮像する撮像部と、撮像された顔の画像データから三次元データを生成して記憶する三次元データ生成部と、ヘアスタイル又は被服を示す二次元モデル画像データを、三次元的位置情報とともに記憶するモデル画像データ記憶部と、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている三次元データを回転及び／又は拡縮する三次元データ回転・拡縮部と、回転及び／又は拡縮された三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを合成して合成二次元画像データを生成する合成画像データ生成部とを備えることを特徴とする。
【００１０】
また、第２発明に係るシミュレーション装置は、第１発明において、少なくとも、撮像された二次元画像データに基づいて表面の凹凸の度合いを検出する深度センサを備え、前記三次元データ生成部は、前記深度センサで検出された凹凸の度合いに基づいて三次元データを生成することが好ましい。
【００１１】
また、第３発明に係るシミュレーション装置は、第２発明において、撮像された二次元画像データに基づいて、顔部分を検出する顔センサを備え、前記三次元データ生成部は、前記顔センサで検出された顔部分の三次元データを生成して記憶し、前記三次元データ回転・拡縮部は、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている顔部分の三次元データを回転及び／又は拡縮し、前記合成画像データ生成部は、回転及び／又は拡縮された顔部分の三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを、顔部分の輪郭に合わせて変形させて合成して合成二次元画像データを生成することが好ましい。
【００１２】
次に、上記目的を達成するために第４発明に係るシミュレーション方法は、仮想的にヘアスタイル又は被服をシミュレーションするシミュレーション装置で実行することが可能なシミュレーション方法であって、前記シミュレーション装置は、ユーザ自身の顔を撮像する工程と、撮像された顔の画像データから三次元データを生成して記憶する工程と、ヘアスタイル又は被服を示す二次元モデル画像データを、三次元的位置情報とともに記憶する工程と、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている三次元データを回転及び／又は拡縮する工程と、回転及び／又は拡縮された三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを合成して合成二次元画像データを生成する工程とを含むことを特徴とする。
【００１３】
また、第５発明に係るシミュレーション方法は、第４発明において、前記シミュレーション装置は、少なくとも、撮像された二次元画像データに基づいて表面の凹凸の度合いを検出する深度センサを備え、前記深度センサで検出された凹凸の度合いに基づいて三次元データを生成することが好ましい。
【００１４】
また、第６発明に係るシミュレーション方法は、第５発明において、前記シミュレーション装置は、撮像された二次元画像データに基づいて、顔部分を検出する顔センサを備え、前記顔センサで検出された顔部分の三次元データを生成して記憶し、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている顔部分の三次元データを回転及び／又は拡縮し、回転及び／又は拡縮された顔部分の三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを、顔部分の輪郭に合わせて変形させて合成して合成二次元画像データを生成することが好ましい。
【００１５】
次に、上記目的を達成するために第７発明に係るコンピュータプログラムは、仮想的にヘアスタイル又は被服をシミュレーションするシミュレーション装置で実行することが可能なコンピュータプログラムであって、前記シミュレーション装置を、ユーザ自身の顔を撮像する撮像手段、撮像された顔の画像データから三次元データを生成して記憶する三次元データ生成手段、ヘアスタイル又は被服を示す二次元モデル画像データを、三次元的位置情報とともに記憶するモデル画像データ記憶手段、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている三次元データを回転及び／又は拡縮する三次元データ回転・拡縮手段、回転及び／又は拡縮された三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを合成して合成二次元画像データを生成する合成画像データ生成手段として機能させることを特徴とする。
【００１６】
また、第８発明に係るコンピュータプログラムは、第７発明において、前記シミュレーション装置は、少なくとも、撮像された二次元画像データに基づいて表面の凹凸の度合いを検出する深度センサを備え、前記三次元データ生成手段を、前記深度センサで検出された凹凸の度合いに基づいて三次元データを生成する手段として機能させることが好ましい。
【００１７】
また、第９発明に係るコンピュータプログラムは、第８発明において、前記シミュレーション装置は、撮像された二次元画像データに基づいて、顔部分を検出する顔センサを備え、前記三次元データ生成手段を、前記顔センサで検出された顔部分の三次元データを生成して記憶する手段として機能させ、前記三次元データ回転・拡縮手段を、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている顔部分の三次元データを回転及び／又は拡縮する手段として機能させ、前記合成画像データ生成手段を、回転及び／又は拡縮された顔部分の三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを、顔部分の輪郭に合わせて変形させて合成して合成二次元画像データを生成する手段として機能させることが好ましい。
【００１８】
第１発明、第４発明及び第７発明では、ユーザ自身の顔を撮像し、撮像された顔の画像データから三次元データを生成して記憶する。ヘアスタイル又は被服を示す二次元モデル画像データを、三次元的位置情報とともに記憶しておき、記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている三次元データを回転及び／又は拡縮する。回転及び／又は拡縮された三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを合成して合成二次元画像データを生成する。これにより、用意されている二次元モデル画像データの三次元的位置情報に合わせて、顔の三次元データを変形させ、変形された三次元データを二次元的に投影した二次元画像データと二次元モデル画像データとを合成して合成二次元画像を生成するので、二次元モデル画像データを記憶した時点における人の向き、顔の角度等に応じた二次元投影データと合成することができ、自然な画像データとしてシミュレーションを行うことができる。また、二次元データ同士の合成処理であることから演算処理負荷も低減することができ、シミュレーションの表示レスポンスを向上させることも可能となる。
【００１９】
第２発明、第５発明及び第８発明では、少なくとも、撮像された二次元画像データに基づいて表面の凹凸の度合いを検出する深度センサを備え、深度センサで検出された凹凸の度合いに基づいて三次元データを生成するので、顔の三次元データを容易に生成することができ、ヘアスタイル又は被服のシミュレーションに使用することが可能となる。
【００２０】
第３発明、第６発明及び第９発明では、撮像された二次元画像データに基づいて、顔部分を検出する顔センサを備え、顔センサで検出された顔部分の三次元データを生成して記憶しておく。記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、記憶されている顔部分の三次元データを回転及び／又は拡縮し、回転及び／又は拡縮された顔部分の三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを、顔部分の輪郭に合わせて変形させて合成して合成二次元画像データを生成する。これにより、顔の三次元データを容易に生成することができ、ヘアスタイル又は被服のシミュレーションに使用することが可能となる。
【発明の効果】
【００２１】
本発明によれば、用意されている二次元モデル画像データの三次元的位置情報に合わせて、顔の三次元データを変形させ、変形された三次元データを二次元的に投影した二次元画像データと二次元モデル画像データとを合成して二次元合成画像を生成するので、二次元モデル画像データを記憶した時点における人の向き、顔の角度等に応じた二次元投影データと合成することができ、自然な画像データとしてシミュレーションを行うことができる。また、二次元データ同士の合成処理であることから演算処理負荷も低減することができ、シミュレーションの表示レスポンスを向上させることも可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に係るシミュレーション装置の構成を模式的に示すブロック図である。
【図２】本発明の実施の形態に係るシミュレーション装置の三次元撮像装置の構成を示す模式図である。
【図３】本発明の実施の形態に係るシミュレーション装置の使用方法の説明図である。
【図４】本発明の実施の形態に係るシミュレーション装置に記憶される三次元データの例示図である。
【図５】本発明の実施の形態に係るシミュレーション装置の機能ブロック図である。
【図６】本発明の実施の形態に係るシミュレーション装置のモデル画像データ記憶部に記憶されている二次元モデル画像データの例示図である。
【図７】本発明の実施の形態に係るシミュレーション装置の三次元データ回転の例示図である。
【図８】本発明の実施の形態に係るシミュレーション装置のシミュレーション結果としての合成二次元画像データの例示図である。
【図９】本発明の実施の形態に係るシミュレーション装置の端末装置のＣＰＵの処理手順を示すフローチャートである。
【図１０】本発明の実施の形態に係るシミュレーション装置の、被服の二次元モデル画像データとの合成二次元画像データの例示図である。
【発明を実施するための形態】
【００２３】
図１は、本発明の実施の形態に係るシミュレーション装置の構成を模式的に示すブロック図である。図１に示すように、本実施の形態に係るシミュレーション装置１は、それぞれのユーザが所持しながら使用する端末装置１１に、外付けの三次元撮像装置１２が装着された、携帯型の端末機器である。
【００２４】
端末装置１１は、タブレットやスマートフォン等の移動可能で、しかも携帯可能な端末機器であることが好ましい。ユーザが移動しながら自分のお気に入りのヘアスタイルや被服を目視で確認することができるからである。
【００２５】
端末装置１１は、少なくともＣＰＵ（中央演算装置）１１１、メモリ１１２、記憶装置１１３、通信インタフェース１１４、入出力／ビデオインタフェース１１６、タッチディスプレイ１１７、撮像装置（撮像部）１１５及び上述したハードウェアを接続する内部バス１１８で構成されている。
【００２６】
ＣＰＵ１１１は、内部バス１１８を介して端末装置１１の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置１１３に記憶されたコンピュータプログラム１０１に従って、種々のソフトウェア的機能を実行する。メモリ１１２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１０１の実行時にロードモジュールが展開され、コンピュータプログラム１０１の実行時に発生する一時的なデータ等を記憶する。
【００２７】
記憶装置１１３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置１１３に記憶されたコンピュータプログラム１０１は、通信インタフェース１１４を介して接続されている外部コンピュータからダウンロードされ、実行時には記憶装置１１３からメモリ１１２へ展開して実行される。もちろん、プログラム及びデータ等の情報を記録したＳＤカード等の可搬型記録媒体からのリーダ／ライタを備えている場合には、可搬型記録媒体からコンピュータプログラム１０１を読み出しても良い。
【００２８】
記憶装置１１３は、シミュレーションに用いるヘアスタイル又は被服の二次元モデル画像データを記憶するモデル画像データ記憶部１１９、及び撮像された画像データから抽出された三次元データを記憶する三次元データ記憶部１２０を備える。モデル画像データ記憶部１１９は、シミュレーションするヘアスタイル又は被服の二次元モデル画像データ及び二次元モデル画像データごとの三次元的位置情報を記憶する。三次元的位置情報とは、ヘアスタイル又は被服の二次元モデル画像データ取得時の、顔のサイズや向き（角度）等に関する情報全般を意味する。抽出された三次元データを、モデルとするヘアスタイル又は被服の二次元画像データに合わせて変形するために必要な情報となる。
【００２９】
三次元データ記憶部１２０は、撮像装置１１５で撮像された画像データ（二次元）から抽出された三次元データを記憶する。記憶されている三次元データは、回転及び／又は拡縮等を自在に行うことができる基礎データとなる。
【００３０】
通信インタフェース１１４は内部バス１１８に接続されており、インターネット、無線ＬＡＮ、ＷＡＮ等の外部のネットワーク網に接続されることにより、外部コンピュータ等とデータ送受信を行うことが可能となっている。
【００３１】
入出力／ビデオインタフェース１１６は、液晶ディスプレイで構成されたタッチディスプレイ１１７と接続され、ヘアスタイル又は被服の画像データとユーザの顔の画像データとの合成画像を選択することが可能に表示する。もちろん、携帯可能な端末装置であれば、本構成に限定されるものではない。
【００３２】
撮像装置１１５は、端末装置１１に内蔵されているＣＣＤカメラ等であり、ユーザ自身の顔を撮像する。撮像された顔の画像データを三次元データに変換し、ヘアスタイル又は被服の二次元モデル画像データに合わせて変換して二次元合成画像を生成することにより、ヘアスタイル又は被服ごとに自分が所望のヘアスタイルにした状態又は所望の被服を着用した状態をシミュレーションすることができる。
【００３３】
図２は、本発明の実施の形態に係るシミュレーション装置１の三次元撮像装置１２の構成を示す模式図である。図２に示すように、環状の着脱式のライト１２１の略中央部分に、並列に位置する深度センサ１２３とを備えている。一対の深度センサ１２３により、二次元画像データの各位置における凹凸方向の高さ情報を検出することができる。
【００３４】
一対の深度センサ１２３の間には、深度センサ１２３で検出するレーザ光を発するレーザ発光部１２２と、色を検出する色センサ１２４とを備えている。レーザ発光部１２２からの反射光を一対の深度センサ１２３で受光することにより、二次元画像データの各位置における凹凸方向の高さ情報を検出する。同様に、レーザ発光部１２２からの反射光を色センサ１２４で受光することにより、二次元画像データの各位置における色を検出する。つまり、色センサ１２４は、例えば一定の色範囲に制限される人の顔部分を検出する顔センサとして機能させることができる。したがって、深度センサ１２３だけでも三次元データを抽出することはできるものの、色センサ（顔センサ）１２４も備えておくことで、人の顔を検出する場合に検出精度が高くなる。
【００３５】
なお、撮像装置自体は、端末装置１１に備えている撮像装置１１５を使用し、撮像された画像データに対して、三次元撮像装置１２により凹凸の度合いを凹凸方向の高さ情報として検出する。したがって、撮像装置１１５で撮像された画像を三次元撮像装置１２へ転送する、及び抽出された三次元データを端末装置１１へ転送する物理的な通信インタフェース１２５、又はＷｉ−ｆｉ、ブルートゥース（登録商標）等の無線によるデータ転送機能を有している。
【００３６】
図３は、本発明の実施の形態に係るシミュレーション装置１の使用方法の説明図である。図３に示すように、ユーザは、シミュレーション装置１の端末装置１１を保持し、上下方向及び左右方向の複数の角度から自分の顔を撮像する。撮像された二次元の画像データに基づいて、三次元撮像装置１２において三次元データに変換され、記憶装置１１３の三次元データ記憶部１２０に記憶される。
【００３７】
図４は、本発明の実施の形態に係るシミュレーション装置１に記憶される三次元データの例示図である。図４（ａ）及び図４（ｂ）に例示するように、任意の角度で撮像された顔画像が、三次元データとして記憶されている。同一人に対して複数撮像することにより、任意の回転角度及び仰角における三次元データを生成することが可能となる。したがって、任意の回転角度及び仰角で撮像されたヘアスタイルに合わせて、対応する顔の三次元データを生成することができる。
【００３８】
図５は、本発明の実施の形態に係るシミュレーション装置１の機能ブロック図である。図５において、本実施の形態に係るシミュレーション装置１の画像撮像部（撮像手段）５０１は、ユーザ自身の顔を撮像して二次元画像データを取得する。取得した二次元画像データは、記憶装置１１３に記憶されるとともに三次元撮像装置１２へ転送される。
【００３９】
三次元データ生成部５０２は、撮像された顔の二次元画像データから三次元データを生成して、端末装置１１へ転送して記憶装置１１３に記憶する。撮像された二次元画像データからの三次元データの生成は、以下の手順で行う。
【００４０】
三次元撮像装置１２は、少なくとも、撮像された二次元画像データに基づいて表面の凹凸の度合いを検出する一対の深度センサ１２３を備えている。具体的には、レーザ発光部１２２から二次元画像データにレーザ光を発する。反射されたレーザ光を、一対の深度センサ１２３で受光する。
【００４１】
受光した反射光の周波数変動・位相差等により、二次元画像データの表面からの距離を画素ごとに算出する。これにより、画素ごとの表面の凹凸を特定することができ、凹凸の度合いに基づいて、画素の座標位置（ｘ、ｙ）にｘｙ平面からの高さ（深さ）ｚを加えた三次元の座標データ（ｘ、ｙ、ｚ）として、三次元データを生成することができる。
【００４２】
なお、図２に示すように、レーザ発光部１２２からの反射光を色センサ１２４で受光しても良い。色センサ１２４は、一定範囲の波長の光のみ検出することができる。したがって、人の顔の色として、一定範囲の色に相当する波長の光を検出することにより、人の顔が二次元画像データのどの部分に存在するかを特定することができる。つまり、色センサ１２４は、例えば一定の色範囲に含まれる人の顔部分を検出する顔センサとして機能させることができる。
【００４３】
上述した深度センサ１２３と色センサ１２４とを併用することで、撮像された二次元の画像データから人の顔部分の三次元データをより高い精度で生成することができる。
【００４４】
三次元データ回転・拡縮部５０３は、モデル画像データ記憶部１１９に記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから選択された一の二次元モデル画像データの三次元的位置情報に合わせて、三次元データ記憶部１２０に記憶されている三次元データを回転及び／又は拡縮する。図６は、本発明の実施の形態に係るシミュレーション装置１のモデル画像データ記憶部１１９に記憶されている二次元モデル画像データの例示図である。
【００４５】
図６の例は、ヘアスタイルのシミュレーションを行うためのヘアスタイルの二次元モデル画像データの一例である。このように、ヘアスタイルをシミュレーションしたいモデルの方々は、自分の好みの顔の回転角度及び仰角で撮像されており、ヘアスタイルもそれに応じて様々な角度で撮像された二次元画像データとなっている。
【００４６】
二次元モデル画像データとして記憶される時点で、顔の回転角度、具体的には鉛直方向を中心軸とした回転角度と、水平方向を中心軸とした仰角と、顔のサイズとを、三次元的情報として同時に記憶しておく。三次元データを二次元モデル画像データに合わせて変形するためである。
【００４７】
そこで、シミュレーション対象としてユーザに選択された二次元モデル画像データの三次元的情報に合わせて、三次元データ記憶部１２０に記憶されている三次元データを回転及び／又は拡縮する。図７は、本発明の実施の形態に係るシミュレーション装置１の三次元データ回転の例示図である。
【００４８】
図７（ａ）に示すように、三次元データが生成されているので、任意の顔のサイズ、回転角度及び仰角に回転及び／又は拡縮することができる。そのうち、回転及び／又は拡縮された顔の三次元データ７１が、シミュレーション対象としてユーザに選択された二次元モデル画像データの三次元的情報に合致する場合、図７（ｂ）に示すような二次元合成画像が生成され、自然なシミュレーション画像を得ることができる。
【００４９】
合成画像データ生成部５０４は、回転及び／又は拡縮された三次元データを二次元的に投影した二次元画像データに、選択された一のヘアスタイル又は被服の二次元モデル画像データを合成して合成二次元画像データを生成する。具体的には、図７（ｂ）に示すように、変形された顔の三次元データ７１を二次元的に投影した画像データ７３を、シミュレーション対象としてユーザに選択された二次元モデル画像データ７２を顔部分の輪郭に合わせて変形させてから合成して、合成二次元画像データを生成する。
【００５０】
図８は、本発明の実施の形態に係るシミュレーション装置１のシミュレーション結果としての合成二次元画像データの例示図である。図８に示すように、ユーザを撮像した画像データ（二次元）から抽出した三次元データ８１に基づいて、二次元モデル画像データごとに顔のサイズ、回転角度、仰角に基づいて回転及び／又は拡縮し、二次元的に投影して二次元の画像データ同士を合成して合成二次元画像データを生成する。図８の例では、合成二次元画像データ８２乃至８９が生成され、いずれもヘアスタイルが自然な形でシミュレーションされた合成二次元画像データが表示されていることがわかる。
【００５１】
図９は、本発明の実施の形態に係るシミュレーション装置１の端末装置１１のＣＰＵ１１１の処理手順を示すフローチャートである。図９の処理手順は、三次元撮像装置１２を別個に設けている場合の処理手順であるが、一体型であっても同様の処理フローとなることは言うまでもない。
【００５２】
図９において、端末装置１１のＣＰＵ１１１は、ヘアスタイルをシミュレーションするユーザ自身の顔を撮像する（ステップＳ９０１）。一方向だけからではなく、複数方向から撮像することが好ましい。生成された三次元データにより、回転及び／又は拡縮しやすくなるからである。ＣＰＵ１１１は、撮像した顔の二次元画像データを記憶装置１１３に記憶し、三次元撮像装置１２へ転送する（ステップＳ９０２）。
【００５３】
三次元撮像装置１２は、撮像された顔の二次元画像データから顔部分の三次元データを生成し、端末装置１１へ転送する。端末装置１１のＣＰＵ１１１は、顔部分の三次元データを受信し（ステップＳ９０３）、生成した顔部分の三次元データを記憶装置１１３の三次元データ記憶部１２０に記憶する（ステップＳ９０４）。
【００５４】
ＣＰＵ１１１は、モデル画像データ記憶部１１９に記憶してあるヘアスタイル又は被服を示す二次元モデル画像データから、一の二次元モデル画像データの選択を受け付ける（ステップＳ９０５）。ＣＰＵ１１１は、選択を受け付けた一の二次元モデル画像データの三次元的位置情報を読み出し（ステップＳ９０６）、読み出した三次元的位置情報に合わせて、三次元データ記憶部１２０に記憶されている三次元データを回転及び／又は拡縮する（ステップＳ９０７）。
【００５５】
ＣＰＵ１１１は、回転及び／又は拡縮された三次元データを二次元的に投影して二次元画像データを生成し（ステップＳ９０８）、生成された二次元画像データを、選択を受け付けた一のヘアスタイル又は被服の二次元モデル画像データと合成して合成二次元画像データを生成する（ステップＳ９０９）。
【００５６】
以上のように本実施の形態によれば、用意されている二次元モデル画像データの三次元的位置情報に合わせて、顔の三次元データを変形させ、変形された三次元データを二次元的に投影した二次元画像データと二次元モデル画像データとを合成して二次元の合成画像を生成するので、二次元モデル画像データの記憶時の人の向き、顔の角度等に応じた二次元投影データと合成することができ、自然な画像データとしてシミュレーションを行うことができる。また、二次元画像データ同士の合成処理であることから演算処理負荷も低減することができ、携帯型端末装置のように演算処理能力が小さい端末装置であっても、シミュレーションの表示レスポンスを劣化させることなくユーザに表示させることも可能となる。
【００５７】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば、端末装置１１と三次元撮像装置１２とを一体化させても良い。
【００５８】
また、上記実施例では、ユーザの顔を撮像して、ヘアスタイルについてのシミュレーションを行う例について説明しているが、着物、洋服等を着用した状態をシミュレーションする被服シミュレーション装置として機能させることも可能である。
【００５９】
この場合、モデル画像データ記憶部１１９には、二次元モデル画像データとして和服、洋服等を着用した状態の二次元画像データを記憶しておく。回転角度及び仰角は、顔部分について求め、同時に記憶させておく。
【００６０】
ユーザにより選択を受け付けた一のヘアスタイル又は被服の二次元モデル画像データの三次元的位置情報を読み出し、読み出した三次元的位置情報に合わせて、記憶されている顔部分の三次元データを回転及び／又は拡縮する。回転及び／又は拡縮された顔部分の三次元データを二次元的に投影して二次元画像データを生成し、生成された顔部分の二次元画像データを、選択を受け付けた一のヘアスタイル又は被服の二次元モデル画像データと合成して、被服を着用した状態の合成二次元画像データを生成する。
【００６１】
図１０は、本発明の実施の形態に係るシミュレーション装置１の、被服の二次元モデル画像データとの合成二次元画像データの例示図である。図１０（ａ）は和服、図１０（ｂ）はウェディングドレス、図１０（ｃ）はカジュアルファッションを着用した場合の合成二次元画像データである。顔部分のサイズ、回転角度及び仰角が一致しているので、合成画像が自然であることがわかる。
【００６２】
なお、上述した実施例では、深度センサ１２３及び／又は顔センサ（色センサ）１２４を用いる場合について説明しているが、撮像された画像に対する画像処理により三次元データを生成しても良い。この場合、例えば同一の被写体を角度を変えて複数撮像することにより生じる視差に基づいて、各画像の画素単位での距離計算を行う。これにより、二次元データを三次元データに変換することができる。したがって、スマートフォンのような携帯型の端末装置単体で合成二次元画像データを生成することができるようになることは言うまでもない。
【符号の説明】
【００６３】
１  シミュレーション装置
１１  端末装置
１２  三次元撮像装置
１０１  コンピュータプログラム
１１１  ＣＰＵ
１１２  メモリ
１１３  記憶装置
１１５  撮像装置
１２３  深度センサ
１２４  色センサ
【図１】
2020204790.tif 000003
【図２】
2020204790.tif 000004
【図３】
2020204790.tif 000005
【図４】
2020204790.tif 000006
【図５】
2020204790.tif 000007
【図６】
2020204790.tif 000008
【図７】
2020204790.tif 000009
【図８】
2020204790.tif 000010
【図９】
2020204790.tif 000011
【図１０】
2020204790.tif 000012