(57)【要約】【課題】オブジェクトデータに陰影を与えることで、立体感、奥行感のより本物らしい自然な合成映像を生成し表示する。【解決手段】本発明に係る画像表示システム１は、主に、カメラ３、センサ５、制御装置７、表示装置９を備える。そして、画像表示システム１の制御装置７が、時々刻々カメラ３から取得される試着者１０のフレーム画像３０（不図示）にオブジェクトデータ２０を合成した試着画像９０を生成し、表示装置９に表示させていく。このとき、制御装置７は、センサ５から取得される試着者１０等の位置情報に基づいて、合成するオブジェクトデータ２０の表示位置、表示サイズ、表示角度を適切に設定する。特に、本発明は、光源情報に基づいてオブジェクトデータ２０等に陰影を付与することを特徴とする。【選択図】図１
2016085648.tif 000002
【特許請求の範囲】
【請求項１】
物体を有する画像を取得する画像取得手段と、
前記物体の位置情報を取得する位置情報取得手段と、
オブジェクトデータを格納する記憶手段と、
前記位置情報に基づいて前記物体に配置した前記オブジェクトデータに、与えられた光源情報に基づく陰影を付与する陰影付与手段と、
陰影が付与された前記オブジェクトデータを含む前記画像を表示する表示手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記画像取得手段により取得された画像から物体を認識する物体認識手段を更に備え、
前記位置情報取得手段は、認識された前記物体から位置情報を取得することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記光源情報は、光源の種類、光源の位置、光源の数を含むことを特徴とする請求項１又は請求項２に記載の画像表示装置。
【請求項４】
前記陰影付与手段は、前記オブジェクトデータの材質特性に応じて、前記オブジェクトに陰影を付与することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像表示装置。
【請求項５】
前記陰影付与手段は、前記オブジェクトデータの色又は濃度を変更することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像表示装置。
【請求項６】
前記陰影付与手段は、前記オブジェクトデータを配置した際に、前記オブジェクトデータにより前記画像上の物体に生ずる陰影を更に付与することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像表示装置。
【請求項７】
前記陰影付与手段は、前記画像上の物体の位置、物体の形状、又は物体の材質特性に応じて陰影を付与することを特徴とする請求項６に記載の画像表示装置。
【請求項８】
物体を有する画像を取得する撮像装置と、
前記物体の位置情報を取得するセンサと、
オブジェクトデータを格納し、前記位置情報に基づいて前記物体に配置した前記オブジェクトデータに、与えられた光源情報に基づく陰影を付与する制御装置と、
陰影が付与された前記オブジェクトデータを含む前記画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項９】
コンピュータを、
物体を有する画像を取得する画像取得手段、
前記物体の位置情報を取得する位置情報取得手段、
オブジェクトデータを格納する記憶手段、
前記位置情報に基づいて前記物体に配置した前記オブジェクトデータに、与えられた光源情報に基づく陰影を付与する陰影付与手段、
陰影が付与された前記オブジェクトデータを含む前記画像を表示する表示手段、として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータグラフィックスのオブジェクトを動画像へ合成する技術に関する。特に、衣類等の試着や家具の配置を仮想的に実現する技術に関する。
【０００２】
近年、アパレル等の産業分野では、カメラで取り込んだ人物画像に、衣類等の商品をコンピュータグラフィックスによって合成し試着させる仮想試着システムが導入されつつある。
例えば、特許文献１では、ディスプレイ正面のリアルタイムカメラで撮影された映像に、コンピュータグラフィックスによる仮想のオブジェクトを描画、合成する仕組みが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−５０９７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、仮想のオブジェクトを合成する従来のシステムでは、オブジェクトに陰影が表現されていないため、オブジェクトに立体感、奥行感がなく、オブジェクトを合成した映像にリアリティが欠けていた。
【０００５】
本発明は、上述した課題を解決するためになされたものであり、その目的は、オブジェクトデータに陰影を与えることで、立体感、奥行感のあるより本物らしい自然な合成映像を表示する画像表示システム等を提供することにある。
【課題を解決するための手段】
【０００６】
前述した目的を達成するための第１の発明は、物体を有する画像を取得する画像取得手段と、前記物体の位置情報を取得する位置情報取得手段と、オブジェクトデータを格納する記憶手段と、前記位置情報に基づいて前記物体に配置した前記オブジェクトデータに、与えられた光源情報に基づく陰影を付与する陰影付与手段と、陰影が付与された前記オブジェクトデータを含む前記画像を表示する表示手段と、を備えることを特徴とする画像表示装置である。
第１の発明によって、オブジェクトデータを物体の位置情報に基づいて画像上の適切な位置に配置するとともに、光源情報に基づいてオブジェクトデータに陰影を与える。これにより、オブジェクトデータに立体感、奥行感が生まれ、より本物らしい自然な合成映像をユーザに提示する画像表示装置が提供される。
【０００７】
前記画像取得手段により取得された画像から物体を認識する物体認識手段を更に備え、前記位置情報取得手段は、認識された前記物体から位置情報を取得する
ことが望ましい。これにより、画像上の物体を自動で認識することができるようになる。
【０００８】
前記光源情報は、光源の種類、光源の位置、光源の数を含むことが望ましい。これにより、様々な照明条件に応じてオブジェクトデータに陰影を付与することができ、多彩な陰影表現を実現できる。
【０００９】
前記陰影付与手段は、前記オブジェクトデータの色又は濃度を変更することが望ましい。これにより、オブジェクトデータの色調等を自在に変化させることができる。
【００１０】
前記陰影付与手段は、前記オブジェクトデータの材質特性に応じて、前記オブジェクトに陰影を付与することが望ましい。これにより、オブジェクトデータの表面の材質特性（拡散反射率、鏡面反射率など）を考慮してオブジェクトデータに陰影を付与することができる。
【００１１】
前記陰影付与手段は、前記オブジェクトデータを配置した際に、前記オブジェクトデータにより前記画像上の物体に生ずる陰影を更に付与することが望ましい。
これにより、オブジェクトデータが現実空間に配置されたとした場合に現実の物体に落とす影を付与することができ、仮想のオブジェクトがより現実空間に存在するかのような感覚を与えることができる。
【００１２】
前記陰影付与手段は、前記画像上の物体の位置、物体の形状、又は物体の材質特性に応じて陰影を付与することが望ましい。オブジェクトデータが現実空間に配置されたとした場合に現実の物体に落とす影を、当該物体の特性を考慮して付与することができる。
【００１３】
前述した目的を達成するための第２の発明は、物体を有する画像を取得する撮像装置と、前記物体の位置情報を取得するセンサと、オブジェクトデータを格納し、前記位置情報に基づいて前記物体に配置した前記オブジェクトデータに、与えられた光源情報に基づく陰影を付与する制御装置と、陰影が付与された前記オブジェクトデータを含む前記画像を表示する表示装置と、を備えることを特徴とする画像表示システムである。
第２の発明によって、オブジェクトデータを物体の位置情報に基づいて画像上の適切な位置に配置するとともに、光源情報に基づいてオブジェクトデータに陰影を与える。これにより、オブジェクトデータに立体感、奥行感が生まれ、より本物らしい自然な合成映像をユーザに提示する画像表示システムが提供される。
【００１４】
前述した目的を達成するための第３の発明は、コンピュータを、物体を有する画像を取得する画像取得手段、前記物体の位置情報を取得する位置情報取得手段、
オブジェクトデータを格納する記憶手段、前記位置情報に基づいて前記物体に配置した前記オブジェクトデータに、与えられた光源情報に基づく陰影を付与する陰影付与手段、陰影が付与された前記オブジェクトデータを含む前記画像を表示する表示手段、として機能させることを特徴とするプログラムである。
第３の発明により、コンピュータを第１の発明の画像表示装置として機能させることが可能となる。
【発明の効果】
【００１５】
本発明によれば、オブジェクトデータに陰影を与えることで、立体感、奥行感のあるより本物らしい自然な合成映像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る画像表示システム１の全体構成を示す図
【図２】制御装置７のハードウェア構成を示す図
【図３】記憶部に記憶されているオブジェクトデータ２０の例を示す図
【図４】画像表示システム１の動作を説明するフローチャート
【図５】試着画像９０を生成する処理を説明するフローチャート
【図６】カメラ３から取得したフレーム画像３０の例を示す図
【図７】センサ５から取得したデプスマップ５０の例を示す図
【図８】フレーム画像３０上に帽子画像２０１を合成配置した例を示す図
【図９】（ａ）光源７０により帽子画像２０１に陰影を付与する例を示す図（ｂ）光源７０により帽子画像２０１に陰影を付与する別例を示す図
【図１０】帽子画像２０１が床６１に影を落とす例を示す図
【図１１】試着画像９０の例を示す図
【発明を実施するための形態】
【００１７】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
【００１８】
＜画像表示システム１＞
まず、図１を参照して本発明に係る画像表示システム１全体の構成及び処理の概要について説明する。
図１に示すように、画像表示システム１は、主に、カメラ３、センサ５、制御装置７、表示装置９を備える。そして、画像表示システム１の制御装置７が、時々刻々カメラ３から取得される試着者１０のフレーム画像３０（不図示）にオブジェクトデータ２０を合成した試着画像９０を生成し、表示装置９に表示させていく。このとき、制御装置７は、センサ５から取得される試着者１０等の位置情報に基づいて、合成するオブジェクトデータ２０の表示位置、表示サイズ、表示角度を適切に設定する。特に、後述するように、本実施形態では、光源情報に基づいてオブジェクトデータ２０等に陰影を付与する。
【００１９】
尚、画像表示システム１が設置される場所は特に限定されない。例えば、画像表示システム１は、店舗内に設置されてもよいし、屋外に設置されてもよい。また、自宅内に設置されてもよい。
【００２０】
（カメラ３）
カメラ３（撮像装置）は、リアルタイムに動画像を撮影するデバイスであり、表示装置９の前方を撮影する。例えば、カメラ３は、図１に示すように、表示装置９の前方に立つ試着者１０を撮像する。但し、撮像対象は、図１のように人物である必要はなく、人物以外の動物（例えば、猫、犬などのペット）であってもよく、また、椅子、机などの家具等であってもよい。
カメラ３により撮像された動画像は、制御装置７を介して画像処理が施され、表示装置９の表示画面に表示される。
【００２１】
尚、図１の例では、カメラ３は、表示装置９の上端部に設置されているが、設置位置はこの例に限定されない。例えば、表示装置９の上部中央や横、あるいは天井や床等としてもよい。
【００２２】
（センサ５）
センサ５は、対象物の位置情報を取得可能なデバイスである。センサ５としては、ステレオカメラ等のように位置情報を解析的に計算するものではなく、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）カメラ等のように、複雑な解析を介することなく位置情報を容易に取得できるデバイスが望ましい。これにより、簡便な構成で、且つ、リアルタイム性に優れたシステムが構築できる。本実施形態では、センサ５は、カメラ３が撮像する動画像に対応したデプスマップ５０を出力可能なデバイスとする。デプスマップ（深度マップ）とは、距離情報を画素値とする２次元画像のことをいう。このデプスマップから対象物の３次元の座標を取得することができる。
【００２３】
（制御装置７）
制御装置７は、カメラ３から取得されるフレーム画像３０、及びセンサ５から取得されるデプスマップ５０に基づいて、オブジェクトデータ２０をフレーム画像３０上に適切な表示サイズ、表示角度で配置する。そして、与えられた光源情報に基づいてオブジェクトデータ２０に陰影を付与し試着画像９０を生成する。この試着画像９０を生成する処理については後述する。
そして、制御装置７は、生成した試着画像９０を表示装置９に送り、表示装置９の表示画面に試着画像９０を表示させる。
【００２４】
図２は、制御装置７のハードウェア構成の例を示す図である。
制御装置７は、図２に示すように制御部１１、記憶部１２、入力部１３、表示部１４、メディア入出力部１５、通信Ｉ／Ｆ１６、周辺機器Ｉ／Ｆ１７等を備え、これらの各部はバス１８を介して接続される。
カメラ３、センサ５、及び表示装置９と制御装置７との接続は周辺機器Ｉ／Ｆ１７を介して行なわれる。
尚、図２のブロック図は一般的なコンピュータの例であり、用途、目的に応じて様々な構成を採ることができる。
【００２５】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークメモリ領域を備える。
【００２６】
記憶部１２は、例えばＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述の各処理に相当する各アプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００２７】
入力部１３は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
表示部１４は、制御部１１の指示により出力される試着画像９０やその他表示データを表示装置９に表示させるための表示制御回路を有する。
【００２８】
メディア入出力部１５は、例えば、ＤＶＤドライブ等のメディア入出力装置であり、データの入出力を行う。
通信Ｉ／Ｆ（インタフェース）１６は、通信制御装置、通信ポート等を有し、ＬＡＮやインターネット等のネットワークとの通信を媒介する通信インタフェースである。制御装置７は、通信Ｉ／Ｆ１６を介してネットワーク上の映像データベース等と通信接続する。
【００２９】
周辺機器Ｉ／Ｆ１７は、制御装置７に周辺機器を接続するためのポートである。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３０】
（表示装置９）
表示装置９は、液晶ディスプレイ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬパネル（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  ｐａｎｅｌ）、又は無機ＥＬパネル（Ｉｎｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  ｐａｎｅｌ）等から成る表示画面を備え、制御装置７が生成した試着画像９０やその他表示データを表示する。
また、表示装置９は、表示画面に重ねてタッチパネルを併設してもよい。これにより、試着者１０等は、タッチパネルによるタッチ操作により、表示画面に表示されたオブジェクトデータ２０から自身が試着を希望する衣類等を選択することもできる。
【００３１】
以上、画像表示システム１を構成する各装置等について説明をした。
尚、図１に示した例では、画像表示システム１を構成する複数の装置（カメラ３、センサ５、制御装置７、及び表示装置９）が別体に構成されているが、上記複数の装置のいずれかの組み合わせ又は全部が一体化されていてもよい。例えば、制御装置７と表示装置９は一体に構成されていてもよいし、全ての装置が１つの筐体に含まれるように構成されていてもよい。
【００３２】
次に、制御装置７の記憶部１２に記憶されている各種情報について説明する。
【００３３】
（オブジェクトデータ）
図３は、記憶部１２に記憶されているオブジェクトデータの例を示す図である。
オブジェクトデータとは、動画像に合成する衣類等の画像データのことを指す。
例えば、図３に示すように、オブジェクトデータは、帽子画像２０１、スカート画像２０２、鞄画像２０３、・・・などの種々のオブジェクトデータ２０を含む。
オブジェクトデータ２０は、３Ｄ画像であってもよいし、２Ｄ画像であってもよい。また、オブジェクトデータ２０の作成手段は何れでもよく、例えば、モデルベース、実写ベースなど種々の手段を用いて作成されたものである。
【００３４】
また、各々のオブジェクトデータ２０とともに衣類の材質特性（例えば、拡散反射率、鏡面反射率など）を保持しておく。これにより、制御装置７の制御部１１は、オブジェクトデータ２０の材質特性に応じたレンダリング等を行うことができる。
【００３５】
（物体情報）
また、記憶部１２には、オブジェクトデータ２０を配置する物体の情報が記憶されている。ここで、物体とは、人体の部位（頭部や腕など）、若しくはその他所定の部位（上着、スカート、眼鏡、椅子など）等のことをいう。これらの部位（物体）は、オブジェクトデータ２０と紐づいて記憶されている。例えば、頭部は、頭部に配置する帽子画像２０１（図３参照）などと紐づいて記憶されている。これにより、制御装置７の制御部１１は、衣類をどの部位（物体）に配置すべきかを認識することができる。尚、衣類を配置する部位（物体）は、上記のように記憶部１２に必ずしも保持されている必要はなく、試着者１０等によって、配置部位を自由に決めてもよい。
【００３６】
（光源情報）
また、記憶部１２には、オブジェクトデータ２０等に陰影を付与するための光源情報が保持されている。
光源情報は、点光源、面光源、平行光源、環境光などの光源の種類、配置する光源の位置、配置する光源の数などの情報を含む。オブジェクトデータ２０等に陰影を付与するための光源情報は、コンテンツ制作者、試着者１０等により予め決められ記憶部１２に保持されているが、画像表示システム１の動作中の任意のタイミングで、試着者１０等の操作によって、光源情報を別の光源情報に変更してもよい。
また、画像表示システム１が、店舗内などの所定の照明条件下に設置されるような場合には、例えば、店舗に実際に配置されている照明（光源）の種類、位置、数などをオブジェクトデータ２０等に陰影を付与するための光源情報としてもよい。これにより、店舗内の実際の照明条件と同様の照明条件の下でオブジェクトデータ２０に陰影を付与することもできる。
本実施形態では、上記した種々の光源を設定することができる。これにより、様々な照明条件に応じてオブジェクトデータ２０に陰影を付与することができ、多彩な陰影表現を実現することが可能となる。
【００３７】
＜画像表示システム１の動作＞
次に、図４〜図１１を参照しながら画像表示システム１の動作を説明する。
図４は画像表示システム１の基本動作を説明するフローチャートである。
【００３８】
ステップＳ１０１において、試着者１０が仮想試着する衣類が指定される。例えば、記憶部１２に記憶されているオブジェクトデータ２０を表示装置９に表示し、種々の操作（タッチパネルによりタッチ操作、リモコン操作など）により試着者１０等が衣類を選択することで、試着する衣類が指定される。また例えば、タブレット等の別途のデバイスを用いて、試着する衣類を指定してもよい。ステップＳ１０１において指定された衣類の情報は、制御装置７に送信される。
本実施形態の例では、図３に示す帽子（帽子画像２０１）が指定されたものとする。
【００３９】
ステップ１０２において、制御装置７は、試着画像９０を生成する（試着画像生成処理）。
ここで、図５のフローチャートを参照して、試着画像生成処理について説明する。制御装置７は試着画像生成処理の各ステップを実行するためのプログラムを制御部１１のＲＯＭまたは記憶部１２等に保持している。制御装置７の制御部１１（ＣＰＵ）は、このプログラムに従って試着画像生成処理を実行する。
以降に説明する試着画像生成処理は、カメラ３が撮像する動画像中の１フレームの画像（フレーム画像３０）に対して試着画像９０を生成する処理である。
【００４０】
（画像及びデプスマップを取得）
まず、ステップＳ２０１において、制御部１１は、カメラ３からフレーム画像３０、及びセンサ５からデプスマップ５０を取得し、記憶部１２に記憶する。
図６はカメラ３から取得したフレーム画像３０の例である。
図６のフレーム画像３０は、表示装置９の前に立つ試着者１０を撮像した画像を示している。尚、画像中の試着者１０の衣類の陰影は、現実空間の照明条件により生ずる陰影を示している点に注意する（仮想的に付与した陰影ではない）。
【００４１】
図７はセンサ５から取得したデプスマップ５０の一例を示す図である（尚、図７はデプスマップ５０の一部（顔領域付近）のみを表示している）。デプスマップ５０は、被写体の距離情報（奥行情報）を画素値として保持し（図７（ａ）参照）、当該画素値をグレースケール等で表示した画像データ（図７（ｂ）参照）である。図７の例では、画素値が大きいほどセンサ５の撮影位置（視点）との被写体との距離が遠いことを示し、画素値が小さいほどセンサ５の撮像位置（視点）と被写体との距離が近いことを示す。このデプスマップ５０の水平、垂直の画像座標と、デプスマップ５０が保持する距離情報（奥行情報）から、被写体の３次元位置を取得することができる。
【００４２】
尚、制御部１１が、フレーム画像３０上の物体の位置情報をデプスマップ５０から取得できるように、予めフレーム画像３０とデプスマップ５０との画素間の対応が適切に取れているものとする。このとき、フレーム画像３０とデプスマップ５０の画素数は必ずしも一致していなくてよい。画素数が一致していない場合には、種々の公知手段（例えば、リサンプリングして画素数を一致させるなど）を用いることによって、画素数の違いを吸収しフレーム画像３０とデプスマップ５０とで対応が取れるようにする。
また、カメラ３とセンサ５の視野範囲が異なる場合には、少なくとも視野範囲が重なるエリア内でフレーム画像３０とデプスマップ５０の画素間の対応が取れていればよく、フレーム画像３０とデプスマップ５０の全ての画素間で対応が取れている必要はない。
【００４３】
（物体を認識）
次に、ステップＳ２０２において、制御部１１は、フレーム画像３０又はデプスマップ５０、若しくは双方を解析し、所定の部位（物体）を認識する。認識する部位（物体）は、記憶部１２に保持されている、当該衣類に紐づいた部位（物体）であってもよいし、試着者１０等が自由に定めた部位（物体）であってもよい。
【００４４】
制御部１１は、所定の部位（物体）を認識すると（ステップＳ２０２；Ｙｅｓ）、ステップＳ２０３へ移行する。一方、所定の部位（物体）を認識できない場合には（ステップＳ２０２；Ｎｏ）、ステップＳ２０１に戻り、再度、フレーム画像３０及びデプスマップ５０の取得から処理を始める。
【００４５】
以降、本実施形態の例では、帽子の配置対象となる「頭部」を認識対象の所定の部位（物体）とし、制御部１１が、フレーム画像３０から試着者１０の頭部６０（図６参照）を認識したものとして説明する。
【００４６】
尚、制御部１１は、部位（物体）を認識する際、前フレームで取得された物体の位置情報を利用してもよい。例えば、前フレームで取得した部位（物体）の位置から所定範囲内に部位（物体）の認識範囲を絞ることで、画像上のノイズや認識の失敗に影響されにくい位置推定も可能である。
【００４７】
（物体の位置情報を取得）
ステップＳ２０３において、制御部１１は、認識した部位（物体）の位置情報を、デプスマップ５０から取得する。本実施形態の例では、制御部１１は、ステップＳ２０２において認識した頭部６０（図６参照）の３次元位置が取得される。
尚、制御部１１は、前フレームで取得した部位（物体）の位置情報から現フレームの部位（物体）の位置を絞り、部位（物体）の位置を推定してもよい。
【００４８】
（オブジェクトデータを配置）
制御部１１は、ステップＳ２０３において取得した部位（物体）の位置情報（３次元位置）に基づいてオブジェクトデータ２０を配置する。
このとき、制御部１１は、フレーム画像３０上に合成配置するオブジェクトデータ２０の表示サイズを適切に設定する。例えば、制御部１１は、デプスマップ５０から取得された部位（物体）までの距離情報に応じてオブジェクトデータ２０の表示サイズを拡大又は縮小して表示する。つまり、部位（物体）の距離が近いほどオブジェクトデータ２０の表示サイズを大きくし、部位（物体）の距離が遠いほどオブジェクトデータ２０の表示サイズを小さくする。
【００４９】
また、制御部１１は、オブジェクトデータ２０の表示角度（フレーム画像３０上に配置するオブジェクトデータ２０の向き）を適切に設定する。例えば、制御部１１は、フレーム画像３０又はデプスマップ５０から推定した部位（物体）の向き、当該部位近くの他の部位の向き等に応じてオブジェクトデータ２０の表示角度を設定することができる。
例えば、本例のように帽子画像２０１（２０）の表示角度は、試着者１０の頭部や頭部近くの顔の向き等に応じて設定される。
【００５０】
図８は、フレーム画像３０に帽子画像２０１（２０）を合成配置した様子を示す図である。帽子画像２０１が適切な表示位置、表示サイズ、表示角度でフレーム画像３０に合成配置される。
【００５１】
（光源を設定）
ステップＳ２０５において、制御部１１は、オブジェクトデータ２０に陰影を付与するための光源７０を設定する。具体的には、制御部１１は、記憶部１２に記憶されている光源情報（光源の種類、光源の数、光源の位置など）に基づいて、オブジェクトデータ２０に対する光源７０の設定を行う。
【００５２】
尚、光源７０を、制御部１１が実環境から推定してもよい。例えば、制御部１１は、カメラ３のフレーム画像３０又は光源推定用に設置した別途のカメラで周囲の環境を撮影し、その画像をそのまま環境マッピングの光源データとしてオブジェクトデータ２０に設定する光源７０として利用してもよい。また、前記撮影した画像内の影により、店舗内に実際に設置されている照明の情報（光源の種類、光源の数、光源の位置など）を推定し、オブジェクトデータ２０に設定する光源７０として利用してもよい。これにより、光源情報を予め設定しない場合であっても、オブジェクトデータ２０に陰影を付与することができる。
【００５３】
（陰影を付与）
そして、制御部１１は、ステップＳ２０５において設定した光源７０に基づいて、オブジェクトデータ２０に陰影を付与する（ステップＳ２０６）。
【００５４】
図９は、例えば、１つの光源７０（点光源）により帽子画像２０１（２０）に陰影を付与する例を示す図である。図９（ａ）は帽子画像２０１の真上に光源７０を設定した場合に帽子画像２０１に付与される陰影を表す。また、図９（ｂ）は帽子画像２０１の斜め上に光源７０を設定した場合に付与される陰影を表す。このように、光源７０の条件によって、帽子画像２０１に様々な陰影表現を与えることができる。
尚、光源７０は図９の例に依らず、面光源、平行光源などであってもよいし、光源７０の数は２以上であってもよい。
【００５５】
また、制御部１１は、記憶部１２に保持されているオブジェクトデータ２０の材質特性（例えば、拡散反射率、鏡面反射率など）に応じて、オブジェクトデータ２０に陰影を付与してもよい。
【００５６】
さらに、制御部１１は、オブジェクトデータ２０がフレーム画像３０上の物体に落とす影を合成描画してもよい。ここで、物体とは、例えば、フレーム画像３０上の試着者１０の所定の部位や床等のことを言う。制御部１１は、物体の情報（物体の位置、物体の形状、物体の材質特性など）を推定して、物体の形状、性質等に応じた適切な影を描画する。物体の情報のうち、物体の位置、及び物体の形状は、デプスマップ５０から推定される。また、物体の材質特性（拡散反射率、鏡面反射率など）は、フレーム画像３０から取得した物体の色情報から推定される。
【００５７】
図１０は、１つの光源７０（点光源）を配置した際に、帽子画像２０１（２０）が床６１（物体）に落とす影の例を示す図である。図１０は、平面形状の床に影を描画する単純な例であるが、複雑な物体に影を描画することもできる。
尚、光源７０は図１０の例に依らず、面光源、平行光源などであってもよいし、光源７０の数は２以上であってもよい。
【００５８】
以上の処理によって、陰影を付与したオブジェクトデータ２０をフレーム画像３０に合成した試着画像９０（合成画像）が生成される。
【００５９】
尚、制御部１１は、試着画像９０におけるオブジェクトデータ２０の色や濃度を任意に設定変更できるものとする。
【００６０】
（試着画像を表示）
図４のフローチャートの説明に戻る。ステップ１０３において、制御部１１は、生成した試着画像９０を、表示装置９の表示画面に表示する。
図１１は、表示画面に表示される試着画像９０の例を示す図である。図１１に示すように、陰影が付与された帽子画像２０１がフレーム画像３０に合成される。ここで、陰影８０は、光源７０により帽子画像２０１に付与される陰影であり、陰影８１は、帽子画像２０１が物体（図１１の場合には顔の部位）に落とす影である。陰影８０によって、仮想の帽子画像２０１に立体感、奥行感が与えられ、より本物らしい自然な合成映像を作りだすことができる。また、陰影８１によって、帽子画像２０１が現実空間に配置されたとした場合に現実の物体（図１１の場合には顔の部位）に落とす影を演出することができ、仮想の帽子画像２０１が現実空間に存在するかのような感覚を試着者１０に与えることができる。
【００６１】
ステップＳ１０４において、制御装置７の制御部１１が、終了操作等を受付けた場合（ステップＳ１０４；Ｙｅｓ）、画像表示システム１の動作を終了する。
それ以外の場合（ステップＳ１０４；Ｎｏ）、試着画像９０の生成（ステップＳ１０２）、及び生成した試着画像９０の表示（ステップＳ１０３）を継続して実行する。
【００６２】
尚、現フレームで表示する試着画像９０は、前フレームで表示した試着画像９０と同じであってもよい。例えば、制御部１１は、試着者１０が静止していると判断した場合（前フレームの画像と現フレームの画像とにほとんど差がないような場合）、前フレームで表示した試着画像９０をそのまま現フレームの試着画像９０として表示装置９に表示してもよい。これにより、必要のない試着画像９０の生成処理をスキップし、リアルタイム性を向上させることができる。
【００６３】
以上、画像表示システム１の動作について説明した。本実施形態によれば、オブジェクトデータ２０に陰影を付与することにより、フレーム画像３０にオブジェクトデータ２０を合成する際に、オブジェクトデータ２０を現実空間に位置させた場合に生じる陰影を、試着画像９０（合成画像）において表現することができる。このようにして陰影を付与することで、オブジェクトデータ２０に立体感、奥行感が生まれ、試着画像９０においてオブジェクトデータ２０が違和感なく溶け込み、より本物らしい自然な合成映像を試着者１０に提示することが可能となる。また、照明と３次元空間内の表面を保持しているため、撮影した画像に対して、陰影を付与することも可能である。
【００６４】
添付図面を参照しながら、本発明の好適な実施形態について説明したが、本発明はかかる例に限定されない。例えば、別途併設したプリンタ等を用いて、試着画像９０を紙媒体等に出力するような手段を加えてもよい。その他、当業者であれば、本願で開示した技術 的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６５】
１  ・・・・・・画像表示システム
３  ・・・・・・カメラ
５  ・・・・・・センサ
７  ・・・・・・制御装置
９  ・・・・・・表示装置
１０  ・・・・・試着者
１１  ・・・・・制御部
１２  ・・・・・記憶部
１３  ・・・・・入力部
１４  ・・・・・表示部
１５  ・・・・・メディア入出力部
１６  ・・・・・通信Ｉ／Ｆ
１７  ・・・・・周辺機器Ｉ／Ｆ
１８  ・・・・・バス
２０  ・・・・・オブジェクトデータ
３０  ・・・・・フレーム画像
５０  ・・・・・デプスマップ
６０  ・・・・・頭部（物体）
６１  ・・・・・床（物体）
７０  ・・・・・光源
８０、８１・・・陰影
９０  ・・・・・試着画像（合成画像）
【図１】
2016085648.tif 000003
【図２】
2016085648.tif 000004
【図３】
2016085648.tif 000005
【図４】
2016085648.tif 000006
【図５】
2016085648.tif 000007
【図６】
2016085648.tif 000008
【図８】
2016085648.tif 000009
【図９】
2016085648.tif 000010
【図１０】
2016085648.tif 000011
【図１１】
2016085648.tif 000012
【図７】
2016085648.tif 000013