(57)【要約】【課題】対象物体の陰影を正確に予測できる画像生成システム及び画像生成プログラムを提供する。【解決手段】実施形態に係る画像生成システムは、対象空間内に対象物体を仮想的に配置した画像を生成する画像生成システムである。前記画像生成システムは、前記対象物体の三次元形状及び外観を表す対象物体データを記憶する記憶手段と、前記対象空間の三次元モデルを生成し、前記対象空間の照明領域を示す照明モデルを生成し、前記対象物体、前記対象物体の配置位置及び視点の位置が選択されることにより、前記対象物体データ及び前記照明モデルに基づいて、前記対象物体に出現する陰影を表す陰影画像データを生成し、前記陰影画像データ及び前記三次元モデルの合成画像を生成する演算手段と、前記合成画像を提示する提示手段と、を備える。【選択図】図１
2015099545.tif 000002
【特許請求の範囲】
【請求項１】
対象空間内に対象物体を仮想的に配置した画像を生成する画像生成システムであって、
前記対象物体の三次元形状及び外観を表す対象物体データを記憶する記憶手段と、
前記対象空間の三次元モデルを生成し、前記対象空間の照明領域を示す照明モデルを生成し、前記対象物体、前記対象物体の配置位置及び視点の位置が選択されることにより、前記対象物体データ及び前記照明モデルに基づいて、前記対象物体に出現する陰影を表す陰影画像データを生成し、前記陰影画像データ及び前記三次元モデルの合成画像を生成する演算手段と、
前記合成画像を提示する提示手段と、
を備えた画像生成システム。
【請求項２】
前記対象空間の画像データを取得する撮影手段をさらに備え、
前記記憶手段は、前記対象空間の形状を表すワイヤフレームデータを記憶し、
前記演算手段は、前記ワイヤフレームデータ及び前記画像データに基づいて前記三次元モデルを生成し、前記三次元モデルから前記照明領域を分離する請求項１記載の画像生成システム。
【請求項３】
前記演算手段は、前記三次元モデルの内面における輝度が基準値以上の領域を抽出することによって、前記三次元モデルから前記照明領域を分離する請求項２記載の画像生成システム。
【請求項４】
前記対象空間の寸法を前記対象空間モデル生成部に入力する入力手段をさらに備えた請求項２または３に記載の画像生成システム。
【請求項５】
前記撮影手段及び前記提示手段は、携帯用情報端末に搭載されている請求項２〜４のいずれか１つに記載の画像生成システム。
【請求項６】
前記対象空間の色情報及び奥行情報を取得する立体撮影手段をさらに備え、
前記演算手段は、前記色情報及び前記奥行情報に基づいて前記三次元モデルを生成する請求項１記載の画像生成システム。
【請求項７】
前記演算手段は、前記撮影手段の撮影方向と前記対象空間の撮影対称面の法線とのなす角度に基づいて、前記照明モデルを生成する請求項２記載の画像生成システム。
【請求項８】
前記演算手段は、前記照明モデルに含まれる照明領域の一部のみを考慮して前記陰影画像データを生成する請求項１または２に記載の画像生成システム。
【請求項９】
前記演算手段は、前記三次元モデルにおける窓に相当する領域及び陽だまりに相当する領域が指定されたときに、前記窓から入射する平行光の方向を推定し、前記平行光を考慮して前記陰影画像データを生成する請求項１〜８のいずれか１つに記載の画像生成システム。
【請求項１０】
対象空間内に対象物体を仮想的に配置した画像を生成する画像生成システムであって、
前記対象物体の三次元形状及び外観を表す対象物体データを記憶する記憶手段と、
前記対象空間の三次元モデルを生成し、前記対象空間の照明領域を示す照明モデルを生成し、前記対象物体、前記対象物体の配置位置及び視点の位置が選択されることにより、前記対象物体データ及び前記照明モデルに基づいて、前記対象物体に出現する陰影を表す陰影画像データを生成し、前記陰影画像データ及び前記三次元モデルの合成画像を生成する演算手段と、
を備えた画像生成システム。
【請求項１１】
前記記憶手段は、前記対象空間の形状を表すワイヤフレームデータを記憶し、
前記演算手段は、前記ワイヤフレームデータ及び前記対象空間の画像データに基づいて前記三次元モデルを生成し、前記三次元モデルの内面における輝度が基準値以上の領域を抽出して前記照明領域を生成する請求項１０記載の画像生成システム。
【請求項１２】
対象空間内に対象物体を仮想的に配置した画像を生成する画像生成プログラムであって、
演算手段に、
前記対象空間の三次元モデルを生成すると共に、前記対象空間の照明領域を示す照明モデルを生成する対象空間モデル生成手順と、
前記対象物体、前記対象物体の配置位置及び視点の位置が選択されることにより、前記対象物体の三次元形状及び外観を表す対象物体データ並びに前記照明モデルに基づいて、前記対象物体に出現する陰影を表す陰影画像データを生成するレンダリング手順と、
前記陰影画像データ及び前記三次元モデルの合成画像を生成する画像合成手順と、
を実行させる画像生成プログラム。
【請求項１３】
前記対象空間モデル生成手順において、
前記演算手段に、
前記対象空間の画像データを取得する手順と、
前記対象空間の形状を表すワイヤフレームデータ及び前記画像データに基づいて前記三次元モデルを生成する手順と、
前記三次元モデルから前記照明領域を分離する手順と、
を実行させる請求項１２記載の画像生成プログラム。
【請求項１４】
前記照明領域を分離する手順において、
前記演算手段に、
前記三次元モデルの内面における輝度が基準値以上の領域を抽出する手順を実行させる請求項１３記載の画像生成プログラム。
【請求項１５】
対象空間内に対象物体を仮想的に配置した画像を生成する画像生成システムであって、
前記対象空間の三次元モデルを生成し、前記対象空間の照明領域を示す照明モデルを生成し、前記対象物体の三次元形状及び外観を表す対象物体データを取得し、前記対象物体、前記対象物体の配置位置及び視点の位置が選択されることにより、前記対象物体データ及び前記照明モデルに基づいて、前記対象物体に出現する陰影を表す陰影画像データを生成し、前記陰影画像データ及び前記三次元モデルの合成画像を生成する演算手段と、
前記合成画像を提示する提示手段と、
を備えた画像生成システム。
【請求項１６】
前記対象空間の画像データを取得する撮影手段をさらに備え、
前記演算手段は、前記対象空間の形状を表すワイヤフレームデータを取得し、前記ワイヤフレームデータ及び前記画像データに基づいて前記三次元モデルを生成し、前記三次元モデルから前記照明領域を分離する請求項１５記載の画像生成システム。
【請求項１７】
前記撮影手段及び前記提示手段は、携帯用情報端末に搭載されている請求項１６記載の画像生成システム。
【請求項１８】
前記対象空間の寸法を入力する入力手段をさらに備えた請求項１６または１７に記載の画像生成システム。
【請求項１９】
前記対象空間の色情報及び奥行情報を取得する立体撮影手段をさらに備え、
前記演算手段は、前記色情報及び前記奥行情報に基づいて前記三次元モデルを生成する請求項１５記載の画像生成システム。
【請求項２０】
対象空間内に対象物体を仮想的に配置した画像を生成する画像生成プログラムであって、
演算手段に、
前記対象空間の形状を表すワイヤフレームデータを取得する手順と、
前記ワイヤフレームデータに対応した前記対象空間の画像データを取得する手順と、
前記ワイヤフレームデータ及び前記画像データに基づいて前記対象空間の三次元モデル、及び前記対象空間の照明領域を示す照明モデルを生成する手順と、
前記対象物体の三次元形状及び外観を表す対象物体データを取得する手順と、
前記対象物体、前記対象物体の配置位置及び視点の位置が選択されることにより、前記対象物体データ及び前記照明モデルに基づいて、前記対象物体に出現する陰影を表す陰影画像データを生成する手順と、
前記陰影画像データ及び前記三次元モデルの合成画像を生成する手順と、
前記合成画像を提示する手順と、
を実行させる画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像生成システム及び画像生成プログラムに関する。
【背景技術】
【０００２】
近年、現実の空間に仮想的な物体を配置した画像を生成する拡張現実（ＡＲ：augmented reality）表示技術が開発されている。この技術を用いれば、例えば、ある部屋にある家具を設置しようとする場合に、実際に家具を持ち込むことなく、家具が設置された状態の部屋の景観を予測することができる。これにより、その家具が部屋のインテリアに及ぼす影響を事前に精度良く評価することができる。
【０００３】
しかしながら、単に部屋の写真を背景とし、家具のＣＧ（computer graphics：コンピュータグラフィックス）画像を前景として画像を合成しただけでは、家具の陰影が実際とは異なり、正確に景観を予測できない場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７５５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
実施形態の目的は、対象空間内に対象物体を仮想的に配置した画像を生成する画像生成システム及び画像生成プログラムであって、対象物体の陰影を正確に予測できる画像生成システム及び画像生成プログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態に係る画像生成システムは、対象空間内に対象物体を仮想的に配置した画像を生成する画像生成システムである。前記画像生成システムは、前記対象物体の三次元形状及び外観を表す対象物体データを記憶する記憶手段と、前記対象空間の三次元モデルを生成し、前記対象空間の照明領域を示す照明モデルを生成し、前記対象物体、前記対象物体の配置位置及び視点の位置が選択されることにより、前記対象物体データ及び前記照明モデルに基づいて、前記対象物体に出現する陰影を表す陰影画像データを生成し、前記陰影画像データ及び前記三次元モデルの合成画像を生成する演算手段と、前記合成画像を提示する提示手段と、を備える。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像生成システムを例示するブロック図である。
【図２】第１の実施形態に係る画像生成システムを例示する図である。
【図３】第１の実施形態に係る画像生成方法を例示するフローチャート図である。
【図４】（ａ）〜（ｃ）は、ワイヤフレームの例を示す図である。
【図５】第１の実施形態における対象空間の撮影方法を例示する図である。
【図６】（ａ）は三次元モデルを例示する斜視図であり、（ｂ）は六面図である。
【図７】（ａ）は照明モデルを例示する斜視図であり、（ｂ）は六面図である。
【図８】三次元モデルと対象物体データを合成させた画像を例示する画像図である。
【図９】陰影画像データと対象物体データを合成させた画像を例示する画像図である。
【図１０】第２の実施形態に係る画像生成システムを例示するブロック図である。
【図１１】第３の実施形態における対象空間の撮影方法を例示する図である。
【図１２】第５の実施形態における対象空間を例示する図である。
【図１３】第５の実施形態における対象空間を例示する図である。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
以下、図面を参照しつつ、本発明の実施形態について説明する。
先ず、第１の実施形態について説明する。
図１は、本実施形態に係る画像生成システムを例示するブロック図である。
図２は、本実施形態に係る画像生成システムを例示する図である。
【０００９】
本実施形態は、対象空間内に対象物体を仮想的に配置した画像を生成する画像生成システム及び画像生成プログラムである。
図１に示すように、本実施形態に係る画像生成システム１においては、ユーザー側処理領域Ａ、ユーザー側又はサプライヤー側処理領域Ｂ、サプライヤー側処理領域Ｃが設けられている。
【００１０】
本実施形態においては、一例として、ユーザーがサプライヤーから家具Ｆを購入し、部屋Ｒに設置することを検討している場合を想定する。この場合、部屋Ｒが対象空間となり、家具Ｆが対象物体となる。また、ユーザーは家具の購入を検討している一般消費者であり、サプライヤーは家具の販売業者である。そして、画像生成システム１は、例えば、部屋Ｒに、これから購入する予定の家具Ｆを仮想的に配置した画像を生成するシステムである。なお、対象空間は部屋には限定されず、例えば、博物館及びコンサートホール等の大規模施設であってもよく、競技場等の照明設備が設けられた屋外空間であってもよい。また、対象物体は家具には限定されず、例えば、家電製品及び美術品等の対象空間内に固定的又は準固定的に設置される家具以外の物体であってもよい。
【００１１】
図１に示すユーザー側処理領域Ａは、ユーザー側のシステムによって実行される処理及び記憶されるデータを示す。ユーザー側システムは、撮影手段、演算手段、記憶手段、入力手段、提示手段及び通信手段が設けられたシステムであり、例えば、これらの手段が一体的に統合された携帯用情報端末である。携帯用情報端末は、例えば、スマートフォン、タブレット型パーソナルコンピュータ、ノート型パーソナルコンピュータ、エンターテイメント機器、家電機器等である。なお、ユーザー側システムには、携帯用情報端末に接続される外部機器が含まれていてもよい。
【００１２】
図２に示すように、本実施形態においては、ユーザー側のシステムをタブレット型パーソナルコンピュータ（以下、単に「タブレット」という）１０によって構成する場合を例に挙げて説明する。タブレット１０においては、撮影手段としてのカメラ１１、演算手段としてのＣＰＵ（central processing unit：中央演算処理装置）１２、記憶手段としてのメモリ１３、入力手段としてのタッチパネル１４及び機械式ボタン１５、提示手段としてのディスプレイ１６、並びに、通信手段としての無線ＬＡＮ１７が設けられている。
【００１３】
タッチパネル１４、機械式ボタン１５及びディスプレイ１６はタブレット１０の前面に配置されており、カメラ１１はタブレット１０の背面に配置されており、ＣＰＵ１２、メモリ１３及び無線ＬＡＮ１７はタブレット１０の内部に収納されている。例えば、タッチパネル１４及びディスプレイ１６は、入力手段としてソフトウェアキーボードを実現する。
【００１４】
なお、撮影手段はタブレット１０に内蔵されたカメラ１１には限定されず、単体のデジタルカメラであってもよく、対象空間に固定されたカメラであってもよい。入力手段はタッチパネル１４及び機械式ボタン１５には限定されず、外付けのハードウェアキーボードでもよく、マウス等のポインティングデバイスでもよい。また、カメラ１１によってバーコードを認識し、これによって必要事項を入力してもよい。更に、加速度センサ等のセンサを用いて必要事項を入力してもよい。提示手段は、有線通信又は無線通信を介して接続された外部の印刷装置又は表示装置であってもよい。また、提示手段はタブレット１０のディスプレイ１６には限定されず、他のパーソナルコンピュータのディスプレイ又は単体のテレビ受像器であってもよく、サプライヤーの店舗に設置されたサイネージディスプレイであってもよい。
【００１５】
サプライヤー側処理領域Ｃは、サプライヤー側のシステムによって実行される処理及び記憶されるデータを示す。サプライヤー側のシステムとは、例えば、サプライヤーが保有しているコンピュータ設備２０である。
【００１６】
図２に示すように、コンピュータ設備２０においては、例えば、通信手段としてのルータ２１、演算手段としてのＣＰＵ２２、及び、記憶手段としてのＨＤＤ（hard disk drive：ハードディスクドライブ）２３が設けられている。サプライヤーは、複数組のコンピュータ設備２０を保有していてもよく、これらのコンピュータ設備２０は異なる場所に設置されていてもよく、インターネット等によって相互に接続されていてもよい。
【００１７】
ＨＤＤ２３内にはワイヤフレーム記憶部３１及び対象物体データ記憶部３２が実現されており、ワイヤフレーム記憶部３１にはワイヤフレームデータＤ１が記憶されており、対象物体データ記憶部３２には対象物体データＤ２が記憶されている。ワイヤフレームデータＤ１は、対象空間の形状のひな形となるワイヤフレームを表すデータである。対象物体データＤ２は、対象物体の三次元形状及び外観を表すＣＧデータである。
【００１８】
なお、ワイヤフレーム記憶部３１は、ユーザー側システムの一部であるメモリ１３内に実現されていてもよい。例えば、ワイヤフレームの形状が立方体及び直方体等の単純な形状であり、その種類も少なく、ユーザーがパラメータを入力することにより部屋Ｒの形状に合わせていく場合は、ユーザーがサプライヤー側システムから予めワイヤフレームデータＤ１をダウンロードしておくことにより、自分のタブレット１０内にワイヤフレーム記憶部３１を構築してもよい。これにより、ユーザーはワイヤフレームをより高い自由度で設定することができる。一方、例えば、サプライヤーが多種類のワイヤフレームを準備していて、ワイヤフレームデータＤ１のデータサイズが大きく、ユーザーにとっての選択の自由度が高い場合などは、ワイヤフレーム記憶部３１はサプライヤー側システムの一部であるＨＤＤ２３内に構築することが好ましい。
【００１９】
タブレット１０はコンピュータ設備２０に対して、ネットワーク３０を介して接続可能である。ネットワーク３０は、インターネットであってもよく、移動体通信システムであってもよく、無線ＬＡＮであってもよく、有線ＬＡＮであってもよい。例えば、ユーザーが自宅からサプライヤーのコンピュータ設備２０に接続する場合には、インターネット又は移動体通信システムを用いることができ、ユーザーがサプライヤーの店舗に出向いてコンピュータ設備２０に接続する場合には、店舗内に設置された無線ＬＡＮ又は有線ＬＡＮを用いることができる。
【００２０】
ユーザー側又はサプライヤー側処理領域Ｂは、ユーザー側のシステムによって実行及び記憶されてもよく、サプライヤー側のシステムによって実行及び記憶されてもよい処理及びデータを示す。すなわち、ユーザー側又はサプライヤー側処理領域Ｂに属する処理及びデータは、全てがユーザー側のシステムで実行及び記憶されてもよく、全てがサプライヤー側のシステムで実行及び記憶されてもよく、一部がユーザー側のシステムで実行及び記憶され、残部がサプライヤー側のシステムで実行及び記憶されてもよい。
【００２１】
次に、本実施形態に係る画像生成システムの動作、すなわち、本実施形態に係る画像生成方法について説明する。
図３は、本実施形態に係る画像生成方法を例示するフローチャート図である。
【００２２】
図３に示すように、本実施形態に係る画像生成方法は、概略的に、対象空間の三次元モデル及び照明モデルを生成するプロセス（ステップＳ１〜Ｓ５）と、対象物体の陰影画像を生成して対象空間及び対象物体の合成画像を生成するプロセス（ステップＳ６〜Ｓ１１）に大別される。以下、主に図１〜図３を参照して、本実施形態に係る画像生成方法を詳細に説明する。
【００２３】
図３のステップＳ１に示すように、ユーザーがタブレット１０を操作することにより、ネットワーク３０を介して、コンピュータ設備２０のＨＤＤ２３内に実現されたワイヤフレーム記憶部３１からワイヤフレームデータＤ１を読み出す。ワイヤフレームは、対象空間の形状を近似する比較的単純な立体図形である。ワイヤフレーム記憶部３１には、複数種類のワイヤフレームデータが記憶されている。
【００２４】
図４（ａ）〜（ｃ）は、ワイヤフレームの例を示す図である。
図４（ａ）は、直方体のワイヤフレーム５１ａを示し、（ｂ）はＬ字形の部屋を模したワイヤフレーム５１ｂを示し、（ｃ）は梁がある部屋を模したワイヤフレーム５１ｃを示す。
本実施形態においては、例えば、直方体のワイヤフレーム５１ａを選択して読み出す。
【００２５】
なお、ワイヤフレームの形状は、図４（ａ）〜（ｃ）に示す形状には限定されず、想定される対象空間の形状に応じて、適宜設定することができる。また、ワイヤフレームの形状は直方体を組み合わせた形状には限定されず、三角形ポリゴン及び曲面を構成要素とする任意の形状とすることができる。また、対象空間の撮影後に、ワイヤフレームを修正できるようになっていてもよい。
【００２６】
次に、図３のステップＳ２に示すように、ユーザーがタブレット１０のカメラ１１により、対象空間である部屋Ｒを撮影する。
図５は、本実施形態における対象空間の撮影方法を例示する図である。
図５に示すように、部屋Ｒを撮影する際には、画角及び撮影方向等の撮影条件を設定することにより、ディスプレイ１６上で、部屋Ｒの画像５２をワイヤフレーム５１ａに対応させる。
【００２７】
具体的には、カメラ１１によって形成された画像５２をディスプレイ１６に表示させ、画像５２における部屋Ｒの辺５２ｅをワイヤフレーム５１ａの辺５１ｅに一致させる。辺５２ｅとは、例えば、天井と壁との境界線、壁と壁との境界線、壁と床との境界線であり、辺５１ｅとは、ワイヤフレーム５１ａのワイヤ部分である。このとき、タブレット１０のタッチパネル１４を操作することにより、ワイヤフレーム５１ａを拡大縮小及び回転させたり、各辺５１ｅの位置を変更できるようになっていてもよい。又は、ＣＰＵ１２が画像５２に含まれる輪郭線を抽出することにより辺５２ｅを検出し、辺５２ｅに一致するように辺５１ｅの位置を調整してもよい。画像５２がワイヤフレーム５１ａに一致したら、画像５２をメモリ１３に記憶することにより、部屋Ｒを撮影する。
【００２８】
撮影の際には、同じ視点から同じ方向に向けて同じ画角で、露出を相互に異ならせて複数回の撮影を行い、得られた複数枚の画像を合成して、広ダイナミックレンジ撮影を行うことが好ましい。また、輝度値が一定以上の領域を検出した場合には、その領域が一定の輝度値以下になるまでカメラの露出パラメータを基準値から下げて撮影し、撮影された画像の輝度値に実際の露出パラメータと基準値との比の値を乗算して、各領域の明るさを算出する。これにより、後の工程で照明モデルＤ５を生成する際に、照明領域の輝度を正確に見積もることができる。
【００２９】
そして、１つの対象空間について、方向を異ならせて複数回撮影する。例えば、部屋Ｒについて、東西南北上下の６方向に向けて撮影する。部屋Ｒの１つの面を１回の撮影でカバーできない場合には、１つの面について複数回の撮影を行う。これにより、ワイヤフレームの全ての内面に撮影画像５２を対応させる。このようにして、対象空間画像データＤ３を取得する。なお、広角レンズ又は魚眼レンズを用いることにより、１回の撮影でより広い領域をカバーして、撮影回数を低減することができる。また、複数のカメラで相互に異なる方向を同時に撮影したり、全方位カメラで撮影することにより、１回の撮影でより広い領域をカバーすることができる。
【００３０】
次に、図３のステップＳ３に示すように、対象空間に関する情報を入力する。例えば、タッチパネル１４を用いて、又は、タッチパネル１４及び機械式ボタン１５を併用して、部屋Ｒについて、図４（ａ）に示すワイヤフレーム５１ａの幅ｗ、奥行きｄ及び高さｈを入力する。なお、ワイヤフレームとしてワイヤフレーム５１ｂ又は５１ｃを選択した場合には、それぞれ図４（ｂ）及び（ｃ）に示す寸法パラメータを入力する。また、このとき、対象空間の付帯情報を併せて入力してもよい。付帯情報には、例えば、部屋Ｒの住所等の位置情報、部屋Ｒの名称、撮影日時、撮影時の天候、カーテンの開閉状態、照明のオン／オフ状態等がある。
【００３１】
なお、タブレット１０に加速度センサ及び磁気コンパス等が搭載されている場合には、これらのセンサ情報に基づいてカメラ１１が向いている方向を推定し、この結果を撮影画像に対応付けて記録してもよい。また、タブレット１０にＧＰＳ（Global Positioning System：全地球測位システム）機能が搭載されている場合には、ＧＰＳ情報に基づいて部屋Ｒの位置情報を入力してもよい。
【００３２】
また、上述のステップＳ２（撮影工程）とステップＳ３（入力工程）は、順序を入れ替えてもよい。例えば、ステップＳ１に示すようにワイヤフレームを読み出した後に、ステップＳ３に示すように対象空間の情報を入力する。その後、ステップＳ２に示すようにユーザーがタブレット１０のカメラ１１により、対象空間である部屋Ｒを撮影する。このようにすると、ワイヤーフレームがより正確になり、ユーザーが部屋Ｒの撮影をする際に、画像を合わせる作業が容易になる。一方、ワイヤフレームと部屋Ｒの間取りや寸法の比率がほぼ等しい場合は、部屋Ｒの撮像画像がほぼワイヤフレームに一致するため、対象空間の実寸を正確に入力する手間がかからない。
【００３３】
次に、図３のステップＳ４に示すように、対象空間三次元モデル生成部３３が、ワイヤフレームデータＤ１、対象空間画像データＤ３、及び、ステップＳ３において入力した対象空間の情報に基づいて、撮影画像をワイヤフレーム５１ａに対応付けることにより、対象空間の三次元モデルＤ４を生成する。具体的には、ワイヤフレーム５１ａの各面に、撮影画像の対応する領域をはり付ける。三次元モデルＤ４は、例えば、三角形メッシュの集合であるポリゴンモデル及び広ダイナミックレンジフォーマットのテクスチャ画像から構成される。
【００３４】
なお、２枚以上の撮影画像がワイヤフレームの内面上で重なり合う場合には、それらの平均輝度値をテクスチャとしてもよいし、撮影日時が新しい撮影画像を優先してもよいし、撮影画像が対応付けられるワイヤフレームの内面の法線方向と撮影方向とがなす角度がより小さい撮影画像を優先してもよい。
【００３５】
次に、図３のステップＳ５に示すように、照明分離部３４が三次元モデルＤ４を用いて、対象空間内に存在する照明領域を分離する。これにより、照明領域の位置、サイズ及び輝度を示す照明モデルＤ５を生成する。対象空間三次元モデル生成部３３及び照明分離部３４により、対象空間モデル生成部が構成されている。
【００３６】
図６（ａ）は三次元モデルを例示する斜視図であり、（ｂ）は六面図である。
図７（ａ）は照明モデルを例示する斜視図であり、（ｂ）は六面図である。
図６（ａ）及び（ｂ）に示すように、照明分離部３４は、三次元モデルＤ４によって表現される部屋Ｒの内面のうち、基準となる撮影条件で撮影した場合に、輝度が所定の閾値以上となる領域を抽出する。例えば、照明分離部３４は、部屋Ｒにおける窓に相当する領域５４及び照明器具に相当する領域５５を抽出する。
【００３７】
これにより、図７（ａ）及び（ｂ）に示すように、照明領域５４及び５５が設定され、これらの位置、サイズ及び輝度を示す照明モデルＤ５が生成される。照明モデルＤ５は、三角形メッシュの集合であるポリゴンモデル及び広ダイナミックレンジフォーマットのテクスチャ画像から構成される。
【００３８】
このようにして、対象空間の三次元モデルＤ４及び照明モデルＤ５（以下、総称して「対象空間モデル」ともいう）が生成される。
なお、家具Ｆを設置する可能性がある部屋Ｒが複数存在する場合には、それぞれの部屋Ｒについて、三次元モデルＤ４及び照明モデルＤ５（対象空間モデル）を作成し、名前を付けて保存してもよい。例えば、「リビング」、「ダイニング」、「書斎」等の部屋名称と対象空間モデルとを対応付け、後から部屋名称を用いて対象空間モデルを引き出せるようにする。また、同一の対象空間であっても、相互に異なる複数の環境条件毎に対象空間モデルを生成してもよい。例えば、撮影の時間帯、撮影時の天候、カーテンの開閉状態、照明のオン／オフ状態等によって、複数の環境条件を設定してもよい。
【００３９】
一方、図３のステップＳ６に示すように、ユーザーがタブレット１０を操作することにより、ネットワーク３０を介してサプライヤーのコンピュータ設備２０にアクセスし、対象物体データ記憶部３２に記憶されている対象物体データＤ２から、家具Ｆに対応したデータを選択する。例えば、ユーザーがサプライヤーのウェブページにアクセスして、掲載されている電子カタログから、対象物体として家具Ｆを選択する。又は、ユーザーがタブレット１０を持参してサプライヤーの店舗を訪れ、店頭に置かれたカタログ若しくは家具Ｆの商品タグ等に記載された商品番号若しくはバーコードを読み取り、家具Ｆを選択する。又は、ユーザーが店頭において家具Ｆを撮影し、画像認識により家具Ｆを特定する。これにより、対象物体として家具Ｆが選択され、家具Ｆに対応した対象物体データＤ２が選択される。
【００４０】
図８は、三次元モデルと対象物体データを合成させた画像を例示する画像図である。
図３のステップＳ７及び図８に示すように、ユーザーがタブレット１０のディスプレイ１６に部屋Ｒの三次元モデルＤ４及び家具Ｆの対象物体データＤ２を表示させた状態で、タッチパネル１４を操作して、家具Ｆの配置位置を選択する。例えば、部屋Ｒが複数ある場合には、任意の部屋Ｒを選択し、選択した部屋Ｒ内において、家具Ｆを配置する位置及び角度を選択する。
【００４１】
また、図３のステップＳ８に示すように、ユーザーが図８に示す画像を見ながら例えばタブレット１０のタッチパネル１４を操作して、部屋Ｒにおける視点の位置を選択する。撮影時に同一の対象空間に対して複数の環境条件を設定した場合には、任意の環境条件を選択する。このようにして、ステップＳ７及びＳ８に示す処理により、部屋Ｒ内における家具Ｆの位置及び角度、並びに視点の位置を決定する。
【００４２】
次に、図３のステップＳ９に示すように、レンダリング部３５が対象物体に対してレンダリング処理を施す。具体的には、対象物体データＤ２及び照明モデルＤ５を用いて、照明領域５４及び５５から出射した光が家具Ｆの各部に到達した後、どのように吸収及び反射され、視点に到達するかを計算し、視点から見た家具Ｆの陰影をシミュレートする。このようにして、家具Ｆの陰影画像データＤ６を取得する。陰影画像データＤ６は、対象物体を対象空間内の任意の位置に配置して対象空間内の任意の視点から見たと仮定した場合に対象物体に出現する陰影を表すデータである。また、家具Ｆが部屋Ｒの画像に及ぼす影響、例えば、家具Ｆが部屋Ｒの床に投影する影Ｓ（図９参照）の位置をシミュレートし、三次元モデルＤ４に反映させる。このとき、照明領域５４及び５５は面光源として扱ってもよく、複数の点光源で近似してもよい。
【００４３】
次に、図３のステップＳ１０に示すように、画像合成部３６が、対象空間の三次元空間モデルＤ４及び対象物体の陰影画像データＤ６に基づいて、画像を合成する。
図９は、陰影画像データと対象物体データを合成させた画像を例示する画像図である。  図９に示すように、画像合成部３６は、三次元モデルＤ４が表す部屋Ｒの画像を背景とし、陰影画像データＤ６が表す家具Ｆの画像を前景とした画像を合成する。このとき、三次元モデルＤ４には影Ｓの情報が反映されている。これにより、合成画像データＤ７が生成される。
【００４４】
次に、図３のステップＳ１１に示すように、画像合成データＤ７に基づいて合成画像を提示する。例えば、タブレット１０のディスプレイ１６が合成画像を表示する。なお、ディスプレイ１６に合成画像を表示する代わりに、有線通信又は無線通信によって信号を送信し、外部の印刷装置によって画像を印刷するか、外部の表示装置によって画像を表示してもよい。
【００４５】
このようにして、対象空間に対象物体を仮想的に配置した場合の合成画像が生成され、表示される。ユーザーは、この合成画像を視認することにより、家具Ｆが配置された部屋Ｒの景観を確認する。
【００４６】
以下、サプライヤー側システムとユーザー側システムとの役割分担例について説明する。
先ず、ユーザー側又はサプライヤー側処理領域Ｂに属する処理をユーザー側システムで実行する場合について説明する。
この場合、対象空間三次元モデル生成部３３、照明分離部３４、レンダリング部３５及び画像合成部３６は、タブレット１０のＣＰＵ１２によって実現される。また、三次元モデルＤ４、照明モデルＤ５、陰影画像データＤ６及び合成画像データＤ７は、タブレット１０のメモリ１３に記憶される。
【００４７】
サプライヤー側システムにおいては、コンピュータ設備２０のＣＰＵ２２にワイヤフレーム記憶部３１及び対象物体データ記憶部３２を実現し、ワイヤフレーム記憶部３１にワイヤフレームデータＤ１を記憶させ、対象物体データ記憶部３２に対象物体データＤ２を記憶させておく。また、ユーザー側システムがネットワーク３０を介して、これらのデータをダウンロードできるようにしておく。
【００４８】
そして、サプライヤーは、ユーザー側システムに対して、ユーザー側システムの演算手段に下記手順＜１＞〜＜８＞を実行させるプログラムを、例えばアプリケーションソフトウェアとして提供する。ユーザー側システムはこのプログラムを実行することにより、下記手順＜１＞〜＜８＞を実行する。下記手順＜１＞〜＜８＞の詳細な内容は、上述のとおりである。
【００４９】
＜１＞ユーザーが、ネットワーク３０を介してワイヤフレームデータＤ１を取得できるようなインターフェースを提供する。
＜２＞ワイヤフレームに対応させて対象空間を撮影できるようなインターフェースを提供し、対象空間画像データＤ３を取得する。
＜３＞ワイヤフレームデータＤ１及び対象空間画像データＤ３に基づいて対象空間の三次元モデルＤ４を生成する。
＜４＞三次元モデルＤ４から照明領域を抽出することにより、対象空間の照明モデルＤ５を生成する。
＜５＞対象物体データＤ２を取得できるようなインターフェースを提供する。
＜６＞ユーザーが、対象物体、対象物体の配置位置及び角度、並びに視点の位置を選択できるようなインターフェースを提供し、対象物体データＤ２及び照明モデルＤ５に基づいて、陰影画像データＤ６を生成する。
＜７＞陰影画像データＤ６を前景とし三次元モデルＤ４を背景とした合成画像データＤ７を生成する。
＜８＞合成画像データＤ７に基づいて、提示手段に合成画像を提示させる。
【００５０】
次に、ユーザー側又はサプライヤー側処理領域Ｂに属する処理をサプライヤー側システムで実行する場合について説明する。
この場合、三次元モデル生成部３３、照明分離部３４、レンダリング部３５及び画像合成部３６は、コンピュータ設備２０のＣＰＵ２２によって実現され、三次元モデルＤ４、照明モデルＤ５、陰影画像データＤ６及び合成画像データＤ７は、コンピュータ設備２０のＨＤＤ２３に記憶される。
【００５１】
これにより、サプライヤー側システムは、ワイヤフレームデータＤ１及び対象物体データＤ２を記憶すると共に、上記手順＜３＞〜＜７＞を実行する。そして、サプライヤーは、ユーザー側システムに対して、ユーザー側システムの演算手段に上記手順＜１＞、＜２＞、＜８＞を実行させるプログラムを、例えばアプリケーションソフトウェアとして提供する。ユーザーは、上述のアプリケーションソフトウェアをダウンロードする。
【００５２】
これにより、ユーザーは、ユーザー側システムを用いて上記手順＜１＞及び＜２＞を実行し、生成した対象空間画像データＤ３をネットワーク３０を介してサプライヤー側システムに送信する。ユーザー側システムから対象空間画像データＤ３の提供を受けたサプライヤー側システムは、上記手順＜３＞〜＜７＞を実行し、生成した合成画像データＤ７をユーザー側システムに送信する。そして、ユーザー側システムは、合成画像データＤ７の提供を受けて上記手順＜８＞を実行し、合成画像を表示する。
【００５３】
次に、本実施形態の効果について説明する。
本実施形態によれば、実際に家具Ｆを部屋Ｒに搬入することなく、家具Ｆが設置された部屋Ｒの景観をシミュレートすることができる。これにより、ユーザーは、家具Ｆが部屋Ｒのインテリアに及ぼす影響を事前に確認することができ、家具Ｆを購入するか否かの判断に役立てることができる。
【００５４】
そして、本実施形態によれば、部屋Ｒの三次元モデルに加えて照明モデルを生成し、この照明モデルを用いて、家具Ｆの陰影画像を作成している。これにより、家具Ｆの配置位置に応じて家具Ｆの陰影をシミュレートできるため、家具Ｆの見え方をより現実に近づけることができる。また、複数の環境条件を設定した場合には、家具Ｆの配置位置及び視点位置を同一に保持したまま、環境条件のみを変化させて、部屋Ｒにおける家具Ｆの見え方の変化を確認することができる。
【００５５】
これに対して、仮に、家具Ｆに対して、常に無限遠から光が照射されているものと仮定して陰影画像を作成すると、家具Ｆの配置位置、視点位置又は環境条件が変化しても、家具Ｆに対する光の当たり方は変化しないため、合成画像は実際の景観とは大きく異なってしまう。
【００５６】
このように、本実施形態によれば、ユーザーは、予め自宅の部屋等の対象空間を撮影し、対象空間モデル（三次元モデルＤ４及び照明モデルＤ５）を作成しておき、家具ショップで気になる家具を見つけたときに、店頭でスマートフォンやタブレット等を用いて、自宅の部屋の画像に家具の画像を合成し、自宅の雰囲気にマッチするかどうかを判断することができる。対象空間モデル（三次元モデルＤ４及び照明モデルＤ５）は対象物体から独立して作成されるため、一度作成しておけば、対象空間に大きな変化がない限り、永続的に使用することができる。
【００５７】
また、インターネットの通信販売ショップのウェブサイト上で気になる家具を見つけたときに、通販サイトに自宅の部屋の対象空間モデルをアップロードして、自宅の部屋の画像に家具の画像を合成し、自宅の雰囲気にマッチするかどうかを判断することができる。
【００５８】
一方、サプライヤーは、自社のウェブサイト等を介してユーザーが上述のアプリケーションソフトウェアをダウンロードして自分で対象空間モデルを作成できるようにしておくか、又は、ユーザーが対象空間画像データＤ３をサプライヤー側システムに送信し、サプライヤー側システムを利用することにより対象空間モデルを作成できるようにしておけば、ユーザーによる対象物体の購入を促進することができる。
【００５９】
すなわち、自宅の対象空間モデルを作成したユーザーがサプライヤーの店舗又は通信販売サイトを訪れたときに、ユーザーが興味を持った家具について対象物体データＤ２を読み出し、上述の合成画面を作成すれば、ユーザーは自宅にその家具が置かれたときの景観を確認し、購入を決断することが容易になる。このとき、対象空間モデルをサプライヤー側のシステムに記憶しておけば、ユーザー側システムにかける負担が少ない。これに加えて、サプライヤーが店舗を保有する場合は、提示手段も店舗に設置しておけば、ユーザーが携帯用情報端末を持参していない場合でも、ユーザーが保有する対象空間モデルを読み出し、上述のサービスを提供することができる。
【００６０】
なお、本実施形態は様々な変形が可能である。
例えば、本実施形態においては、撮影画像を表す対象空間画像データＤ３から三次元モデルＤ４を生成し、三次元モデルＤ４から照明領域を抽出して照明モデルＤ５を生成する例を示したが、対象空間画像データＤ３から照明領域を抽出し、これを三次元モデルＤ４に対応付けることにより、照明モデルＤ５を生成してもよい。
【００６１】
また、三次元モデルＤ４から照明モデルＤ５を生成する際に、照明領域を抽出する際の輝度の閾値をゼロとして、対象空間の全ての面を照明領域として扱うこともできる。これにより、例えば、壁面の照り返しが対象物体の陰影に及ぼす影響も考慮することができる。これに対して、閾値を一定の正の値とすれば、照明領域を絞り込むことができ、レンダリング（ステップＳ９）の計算量を抑えることができる。通常の条件では、壁面の照り返しが対象物体の陰影に及ぼす影響は小さく、窓及び照明器具から対象物体に直接照射される光によって陰影がほぼ決定されてしまうため、閾値を一定の値とすることにより、計算量を抑えつつ、有効な近似を得ることができる。
【００６２】
更に、本実施形態においては、三次元モデルＤ４をある視点から描画した画像を背景画像とする例を示したが、これには限定されない。例えば、タブレット１０の背面カメラ１１によって撮影した部屋Ｒの画像をそのまま背景画像とし、この画像と三次元モデルＤ４に基づいて、ＣＰＵ１２が三次元モデルＤ４内におけるカメラ１１の位置及び撮影方向を推定することによって、視点位置を特定してもよい。これにより、ユーザーは実際に部屋Ｒ内を歩き回り、視点を次々に変えながら、家具Ｆの陰影を確認することができる。また、部屋Ｒの模様替えの際に、家具Ｆの見え方を確認しながら、模様替えの作業を進めることができる。更に、部屋Ｒ内に質感が異なる２つ以上の家具が既に設置されている場合は、視点位置によってこれらの家具の見え方が異なるが、この視点位置による質感の違いを背景画像に反映させつつ、家具Ｆの陰影を確認することができる。これらの効果により、ユーザーが合成画像から受ける現実感が向上する。
【００６３】
（第２の実施形態）
次に、第２の実施形態について説明する。
図１０は、本実施形態に係る画像生成システムを例示するブロック図である。
図１０に示すように、本実施形態に係る画像生成システム２は、前述の第１の実施形態に係る画像生成システム１（図１参照）と比較して、撮影手段１１（図１参照）の代わりに、立体撮影手段４１が設けられている点と、ワイヤフレーム記憶部３１が設けられておらず、ワイヤフレームデータＤ１が記憶されていない点が異なっている。
【００６４】
立体撮影手段４１は、被写体の色情報に加えて奥行情報を取得できる手段であり、例えばＲＧＢ−Ｄカメラである。ＲＧＢ−Ｄカメラとは、例えば赤外線を利用した深度センサが付いたカメラである。本実施形態においては、立体撮影手段４１によって対象空間を撮影することにより、色情報及び奥行情報を含む対象空間の点群データＤ１１を取得し、この対象空間点群データＤ１１に基づいて三次元モデルＤ４を生成する。
【００６５】
これにより、ワイヤフレームデータＤ１（図１参照）を用いることなく、一次データから直接的に三次元モデルＤ４を作成することができるため、正確な三次元モデルＤ４を生成することができる。また、対象空間の寸法パラメータ、例えば、図４（ａ）に示す幅ｗ、奥行きｄ、高さｈ等の入力が不要となる。
【００６６】
本実施形態における上記以外の構成、動作及び効果は、前述の第１の実施形態と同様である。なお、立体画像手段４１は、２台以上の通常カメラが設けられた装置であってもよい。この場合は、ステレオマッチング方式により、対象空間の奥行情報を取得する。
【００６７】
（第３の実施形態）
次に、第３の実施形態について説明する。
図１１は、本実施形態における対象空間の撮影方法を例示する図である。
図１１に示すように、本実施形態においては、図３のステップＳ２に示す対象空間の撮影工程において、カメラ１１の撮影方向５６と部屋Ｒの壁面５７の法線５８とのなす角度θを見積もる。そして、ステップＳ３に示す対象空間の情報入力工程において、角度θを入力する。これにより、ステップＳ５に示す照明モデルの生成工程において、観察方向によって異なる配光分布を持つ照明について、より実際に近い配光のシミュレーションを行い、照明モデルを生成することができる。
本実施形態における上記以外の構成、動作及び効果は、前述の第１の実施形態と同様である。
【００６８】
（第４の実施形態）
次に、第４の実施形態について説明する。
本実施形態においては、図３のステップＳ９に示すレンダリング工程において、照明モデルＤ５に含まれる照明領域のうち、一部の照明領域のみを考慮してレンダリングを行う。例えば、対象空間が広い空間である場合、例えば、大型建築物の長い廊下、広いフロア等である場合に、対象物体の近傍の照明領域のみを考慮して、レンダリングを行う。これにより、レンダリング処理に要する計算量を低減することができる。
【００６９】
また、ステップＳ１０に示す画像の合成工程において、三次元モデルＤ４のうち一部のデータのみを読み出して、画像を合成してもよい。例えば、対象空間が広い空間である場合に、視点位置及び対象物体の近傍の領域については高い解像度の背景画像を作成し、視点位置及び対象物体から遠い領域については低い解像度の背景画像を作成してもよい。これにより、画像の合成及び提示における計算量を低減することができる。
本実施形態における上記以外の構成、動作及び効果は、前述の第１の実施形態と同様である。
【００７０】
（第５の実施形態）
次に、第５の実施形態について説明する。
図１２及び図１３は、本実施形態における対象空間を例示する図である。
図１２に示すように、部屋Ｒの窓６１に太陽光線６２が差し込む場合、太陽光線６２は平行光であるため、撮影する位置によっては、窓６１よりも、床面６３に形成される陽だまり６４の方が明るく見える場合がある。この場合、図３のステップＳ５に示す照明モデルＤ５を生成する工程において、窓６１は照明領域として抽出されず、陽だまり６４が照明領域として抽出されてしまうことがある。これにより、正確な陰影をシミュレートすることが困難になる。
【００７１】
そこで、本実施形態においては、図３のステップＳ３に示す対象空間の情報を入力する工程において、照明の属性を入力する。例えば、部屋Ｒの撮影画像において、窓６１に相当する領域及び陽だまり６４に相当する領域を指定すると共に、窓６１から平行光が入射していることを入力する。これにより、ステップＳ５に示す照明モデルＤ５を生成する工程において、照明分離部３４は、窓６１から陽だまり６４に向かう太陽光線６２の方向を計算すると共に、床面６３の反射率及び陽だまり６４の輝度に基づいて、太陽光線６２の光度を推定することができる。なお、これらの推定は、ステップＳ４に示す三次元モデルの生成工程において行ってもよい。この結果、ステップＳ９に示すレンダリング工程において、太陽光線６２を考慮して正確な陰影画像データＤ６を生成することができる。
【００７２】
また、太陽光線６２の方向及び陽だまり６４の位置は、日時によって変化する。例えば、図１２に示すように、ある日時においては陽だまり６４は床面６３に形成されるが、図１３に示すように、他の日時においては陽だまり６４は壁面６５に形成される。しかしながら、太陽光線６２の方向は、対象空間の位置、方向及び日時に基づいて正確に予想できるため、実際の撮影画像に基づいた照明モデル、撮影した日時、部屋Ｒの位置及び方向に基づいて、任意の日時における照明モデルを推定することができる。この場合、三次元モデルＤ４においては、元々陽だまり６４が位置していた領域の輝度値を近接する領域の輝度値に置き換える。すなわち、元の陽だまり６４を近接領域の画像で塗りつぶす。一方、陽だまり６４が位置すると予想される領域に、新たに陽だまり６４を模した画像を作成する。
【００７３】
本実施形態によれば、直接入射する太陽光線を適切に扱い、より実際に近い合成画像を作成することができる。本実施形態における上記以外の構成、動作及び効果は、前述の第１の実施形態と同様である。
【００７４】
以上説明した実施形態によれば、対象物体の陰影を正確に予測できる画像生成システム及び画像生成プログラムを実現することができる。
【００７５】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明及びその等価物の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
【符号の説明】
【００７６】
１、２：画像生成システム、１０：タブレット、１１：カメラ、１２：ＣＰＵ、１３：メモリ、１４：タッチパネル、１５：機械式ボタン、１６：ディスプレイ、１７：無線ＬＡＮ、２０：コンピュータ設備、２１：ルータ、２２：ＣＰＵ、２３：ＨＤＤ、３０：ネットワーク、３１：ワイヤフレーム記憶部、３２：対象物体データ記憶部、３３：対象空間三次元モデル生成部、３４：照明分離部、３５：レンダリング部、３６：画像合成部、４１：立体撮影手段、５１ａ〜５１ｃ：ワイヤフレーム、５１ｅ：辺、５２：画像、５２ｅ：辺、５４、５５：照明領域、５６：撮影方向、５７：壁面、５８：法線、６１：窓、６２：太陽光線、６３：床面、６４：陽だまり、６５：壁面、Ａ：ユーザー側処理領域、Ｂ：ユーザー側又はサプライヤー側処理領域、Ｃ：サプライヤー側処理領域、Ｄ１：ワイヤフレームデータ、Ｄ２：対象物体データ、Ｄ３：対象空間画像データ、Ｄ４：三次元モデル、Ｄ５：照明モデル、Ｄ６：陰影画像データ、Ｄ７：合成画像データ、Ｄ１１：対象空間点群データ、Ｆ：家具、Ｒ：部屋、Ｓ：影、θ：角度
【図１】
2015099545.tif 000003
【図２】
2015099545.tif 000004
【図３】
2015099545.tif 000005
【図４】
2015099545.tif 000006
【図５】
2015099545.tif 000007
【図６】
2015099545.tif 000008
【図７】
2015099545.tif 000009
【図８】
2015099545.tif 000010
【図９】
2015099545.tif 000011
【図１０】
2015099545.tif 000012
【図１１】
2015099545.tif 000013
【図１２】
2015099545.tif 000014
【図１３】
2015099545.tif 000015