(57)【特許請求の範囲】
【請求項１】
装飾対象のオブジェクトを有する複数の見本画像と、前記オブジェクトの色及び柄を構成する複数の素材画像とを蓄積記憶する記憶手段と、
任意の画像を入力する入力手段と、
入力された画像に対するオブジェクト配置領域の設定及びオブジェクト配置領域に適用する素材画像と前記素材画像の設定とを受け付ける設定手段と、
前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を前記記憶手段から抽出する抽出手段と、
抽出された見本画像内のオブジェクト領域に対し前記設定手段により設定した素材画像を適用した素材合成画像を生成する素材合成画像生成手段と、
生成した素材合成画像から前記オブジェクト領域を抜き出し、前記入力された画像内に設定されたオブジェクト配置領域に合成する合成手段と、
を備えることを特徴とする装飾シミュレーション装置。
【請求項２】
前記記憶手段に記憶されている複数の見本画像を用いた学習処理を行うことにより、前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を識別するための識別器を生成する識別器生成手段を更に備え、
前記抽出手段は、前記識別器を用いて前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を抽出することを特徴とする請求項１に記載の装飾シミュレーション装置。
【請求項３】
前記記憶手段に記憶される各見本画像には、オブジェクト領域に対応するマスク画像、サイズ情報、及びパース情報を含むオブジェクト情報が予め紐づけて記憶され、
前記設定手段は、前記オブジェクト配置領域のサイズ情報、及びパース情報を含むオブジェクト情報の設定を受け付け、
前記抽出手段は、前記オブジェクト情報に基づいて前記入力された画像に類似する見本画像を抽出することを特徴とする請求項１または請求項２に記載の装飾シミュレーション装置。
【請求項４】
前記素材合成画像生成手段は、前記見本画像内のオブジェクト領域に対応する矩形領域の座標値を前記素材画像に対応する正規化された素材座標系の座標値に変換し、前記素材座標系を縦軸及び横軸の少なくとも一方の軸に沿って周期関数により変換するための曲線変換処理を行うことにより前記素材座標系に展開されている素材画像の各画素の画素値を前記矩形領域上の対応する画素に設定することを特徴とする請求項１から請求項３のいずれかに記載の装飾シミュレーション装置。
【請求項５】
前記素材合成画像生成手段により生成された素材合成画像から抜き出したオブジェクト領域を前記設定手段により設定されたオブジェクト配置領域のサイズ情報及びパース情報に応じて変形する変形手段を更に備えることを特徴とする請求項１から請求項４のいずれかに記載の装飾シミュレーション装置。
【請求項６】
前記合成手段は、前記入力された画像に基づいてポアソンブレンディングにより前記素材合成画像を変換し、前記入力された画像に合成することを特徴とする請求項１から請求項５のいずれかに記載の装飾シミュレーション装置。
【請求項７】
装飾対象のオブジェクトを有する複数の見本画像と、前記オブジェクトの色及び柄を構成する複数の素材画像とを蓄積記憶する記憶部を有するコンピュータの制御部が、
任意の画像を入力するステップと、
入力された画像に対するオブジェクト配置領域の設定及びオブジェクト配置領域に適用する素材画像と前記素材画像の設定とを受け付けるステップと、
前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を前記記憶部から抽出するステップと、
抽出された見本画像内のオブジェクト領域に対し前記設定した素材画像を適用した素材合成画像を生成するステップと、
生成した素材合成画像から前記オブジェクト領域を抜き出し、前記入力された画像内の設定されたオブジェクト配置領域に合成するステップと、
を含むことを特徴とする装飾シミュレーション方法。
【請求項８】
コンピュータを、
装飾対象のオブジェクトを有する複数の見本画像と、前記オブジェクトの色及び柄を構成する複数の素材とを蓄積記憶する記憶手段と、
任意の画像を入力する入力手段と、
入力された画像に対するオブジェクト配置領域の設定及びオブジェクト配置領域に適用する素材画像の設定と前記素材画像の設定とを受け付ける設定手段と、
前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を前記記憶手段から抽出する抽出手段と、
抽出された見本画像内のオブジェクト領域に対し前記設定手段により設定した素材画像を適用した素材合成画像を生成する素材合成画像生成手段と、
生成した素材合成画像から前記オブジェクト領域を抜き出し、前記入力された画像内に設定されたオブジェクト配置領域に合成する合成手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装飾シミュレーション装置、装飾シミュレーション方法、及びプログラムに係り、詳細には、部屋等の画像にカーテン等の装飾品の画像を合成する技術に関する。
【背景技術】
【０００２】
消費者がカーテンやブラインド等の窓装飾品を購入する際、デザインやカラーに加え、部屋の内装との親和性が重要な判断ポイントとなる。そこでユーザは店舗の実物やカタログやパンフレット、Ｗｅｂサイトの画像等を見て自分の部屋に置き換えて想像することで購入を検討する。しかし、実際にそのカーテンを購入して部屋に取り付けてみると、購入前に抱いたイメージと異なっていて不満を抱く結果となることがある。
【０００３】
このような不満感を回避するために、合成画像による購入前の事前確認の仕組みが提案されている。例えば、特許文献１にはカーテンの柄を替えるシミュレーションを２次元画像を用いて行う仕組みが開示されている。特許文献１では、２次元の背景画像内の曲面を有する対象物に柄を持つ画像を合成する際に、柄が曲面に応じて自然な状態となるように変形して画像合成する技術について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許３６７９３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、前提として無地のカーテンが掛けられた室内画像を背景画像として使用し、背景画像内の無地のカーテンに別の色や柄を適用して表示するものである。そのため、カーテンが装着されていない画像や柄物のカーテンが装着されている画像には特許文献１の手法を適用できなかった。また特に、カーテンのシミュレーションを行う場合には、合成先の画像における窓の位置や大きさ、部屋の照明環境等により、実際のカーテンの色や形の見え方が大きく変化する。そのため、単に部屋の写真とカーテンの写真とを合成するだけでは、実際に室内にカーテンを装着した場合と比較してイメージが異なることもある。
【０００６】
本発明は、このような課題に鑑みてなされたもので、撮影された画像内の空間に所望の装飾（色や柄）を有するオブジェクトを配置したかのような合成画像を生成することが可能な装飾シミュレーション装置、装飾シミュレーション方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前述した課題を解決するための第１の発明は、装飾対象のオブジェクトを有する複数の見本画像と、前記オブジェクトの色及び柄を構成する複数の素材画像とを蓄積記憶する記憶手段と、任意の画像を入力する入力手段と、入力された画像に対するオブジェクト配置領域の設定及びオブジェクト配置領域に適用する素材画像と前記素材画像の設定とを受け付ける設定手段と、前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を前記記憶手段から抽出する抽出手段と、抽出された見本画像内のオブジェクト領域に対し前記設定手段により設定した素材画像を適用した素材合成画像を生成する素材合成画像生成手段と、生成した素材合成画像から前記オブジェクト領域を抜き出し、前記入力された画像内に設定されたオブジェクト配置領域に合成する合成手段と、を備えることを特徴とする装飾シミュレーション装置である。
【０００８】
第１の発明によれば、任意の入力画像にオブジェクト配置領域を設定し、適用する色や柄等の素材画像を設定すると、入力された画像に類似する見本画像が抽出され、見本画像内のオブジェクト領域に素材画像を合成した素材合成画像が生成される。更に、生成された素材合成画像のオブジェクト領域を抜き出し入力画像内のオブジェクト配置領域に配置した合成画像が生成される。これにより、入力画像に無地のオブジェクトが配置されていない場合や、既に柄があるオブジェクトが配置されている場合であっても、類似する見本画像を利用して所望の色や柄を適用したオブジェクトを生成し、入力画像に配置して撮影したかのような高品質な合成画像を得ることができる。オブジェクト配置位置や空間の照明環境等の特徴を見本画像と同等にでき、画像合成した際の親和性が高い高品質な合成画像を生成できる。
【０００９】
第１の発明において、前記記憶手段に記憶されている複数の見本画像を用いた学習処理を行うことにより、前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を識別するための識別器を生成する識別器生成手段を更に備え、前記抽出手段は、前記識別器を用いて前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を抽出することが望ましい。識別器を用いることにより、より多くの見本画像の中から入力画像に類似する画像を精度よく抽出することが可能となり、違和感の少ない高品質な合成画像を生成できる。
【００１０】
また第１の発明において、前記記憶手段に記憶される各見本画像には、オブジェクト領域に対応するマスク画像、サイズ情報、及びパース情報を含むオブジェクト情報が予め紐づけて記憶され、前記設定手段は、前記オブジェクト配置領域のサイズ情報、及びパース情報を含むオブジェクト情報の設定を受け付け、前記抽出手段は、前記オブジェクト情報に基づいて前記入力された画像に類似する見本画像を抽出することが望ましい。これにより、オブジェクト領域の位置やパース等が類似する見本画像を抽出しやすくなる。
【００１１】
第１の発明において、前記素材合成画像生成手段は、前記見本画像内のオブジェクト領域に対応する矩形領域の座標値を前記素材画像に対応する正規化された素材座標系の座標値に変換し、前記素材座標系を縦軸及び横軸の少なくとも一方の軸に沿って周期関数により変換するための曲線変換処理を行うことにより前記素材座標系に展開されている素材画像の各画素の画素値を前記矩形領域上の対応する画素に設定することが望ましい。これにより、オブジェクトの曲面の歪みに応じて素材画像が変形されて、見本画像内のオブジェクトに対応するマスク領域に合成される。よって、例えばカーテンのヒダに合わせて素材の柄が歪められた素材合成画像を得ることができる。
【００１２】
第１の発明において、前記素材合成画像生成手段により生成された素材合成画像から抜き出したオブジェクト領域を前記設定手段により設定された前記オブジェクト配置領域のサイズ情報及びパース情報に応じて変形する変形手段を更に備えることが望ましい。これにより、入力する画像は必ずしも正面方向から撮影されたものとする必要がなくなり、入力画像の制限が緩和され、使用しやすい装飾シミュレーション装置を実現できる。
【００１３】
第１の発明において、前記合成手段は、前記入力された画像に基づいてポアソンブレンディングにより前記素材合成画像を変換し、前記入力された画像に合成することが望ましい。これにより、合成するオブジェクトを入力画像の色味に合わせ境界部をなじませることが可能となり、自然な合成画像を得ることができる。
【００１４】
第２の発明は、装飾対象のオブジェクトを有する複数の見本画像と、前記オブジェクトの色及び柄を構成する複数の素材画像とを蓄積記憶する記憶部を有するコンピュータの制御部が、任意の画像を入力するステップと、入力された画像に対するオブジェクト配置領域の設定及びオブジェクト配置領域に適用する素材画像と前記素材画像の設定とを受け付けるステップと、前記入力された画像に類似する見本画像を前記記憶部から抽出するステップと、抽出された見本画像内のオブジェクト領域に対し前記設定した素材画像を適用した素材合成画像を生成するステップと、生成した素材合成画像から前記オブジェクト領域を抜き出し、前記入力された画像内の設定されたオブジェクト配置領域に合成するステップと、を含むことを特徴とする装飾シミュレーション方法である。
【００１５】
第２の発明は、装飾対象のオブジェクトを有する複数の見本画像と、前記オブジェクトの色及び柄を構成する複数の素材画像とを蓄積記憶する記憶部を有するコンピュータの制御部が、任意の画像を入力するステップと、入力された画像に対するオブジェクト配置領域の設定及びオブジェクト配置領域に適用する素材画像と前記素材画像の設定とを受け付けるステップと、前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を前記記憶部から抽出するステップと、抽出された見本画像内のオブジェクト領域に対し前記設定した素材画像を適用した素材合成画像を生成するステップと、生成した素材合成画像から前記オブジェクト領域を抜き出し、前記入力された画像内の設定されたオブジェクト配置領域に合成するステップと、を含むことを特徴とする装飾シミュレーション方法である。
【００１６】
第３の発明は、コンピュータを、装飾対象のオブジェクトを有する複数の見本画像と、前記オブジェクトの色及び柄を構成する複数の素材とを蓄積記憶する記憶手段と、任意の画像を入力する入力手段と、入力された画像に対するオブジェクト配置領域の設定及びオブジェクト配置領域に適用する素材画像の設定と前記素材画像の設定とを受け付ける設定手段と、前記入力された画像と比較して、前記入力された画像と所定のオブジェクトの幾何形状又は画像の色味が最も類似する単一の見本画像を前記記憶手段から抽出する抽出手段と、抽出された見本画像内のオブジェクト領域に対し前記設定手段により設定した素材画像を適用した素材合成画像を生成する素材合成画像生成手段と、生成した素材合成画像から前記オブジェクト領域を抜き出し、前記入力された画像内に設定されたオブジェクト配置領域に合成する合成手段、として機能させるためのプログラムである。
【００１７】
第３の発明によれば、コンピュータを第１の発明の装飾シミュレーション装置として機能させることが可能となる。
【発明の効果】
【００１８】
本発明により、撮影された画像内の空間に所望の装飾（色や柄）を有するオブジェクトを配置したかのような合成画像を生成することが可能な装飾シミュレーション装置、装飾シミュレーション方法、及びプログラムを提供できる。
【図面の簡単な説明】
【００１９】
【図１】装飾シミュレーション装置１のハードウェア構成を示すブロック図
【図２】記憶部１２に記憶される見本画像データ３１の例
【図３】記憶部１２に記憶される素材データ３２の例
【図４】装飾シミュレーション装置１の機能構成を示すブロック図
【図５】装飾シミュレーション装置１の制御部１１が実行する処理の流れを示すフローチャート
【図６】（ａ）入力画像４１の例、（ｂ）入力画像４１に設定されたオブジェクト配置領域４１ｐを示すマスク画像４１ｍ、（ｃ）オブジェクト配置領域４１ｐのサイズ情報、（ｄ）オブジェクト配置領域４１ｐのパース情報
【図７】入力画像４１に類似する見本画像の抽出例を示す図
【図８】ステップＳ１０４の素材合成画像生成処理について説明する図
【図９】ステップＳ１０５の変形処理について説明する図
【図１０】ステップＳ１０６の合成処理について説明する図
【図１１】合成処理におけるポワソンブレンディング（なじませ合成）について説明する図
【発明を実施するための形態】
【００２０】
以下、図面に基づいて本発明の実施形態を詳細に説明する。図１は、装飾シミュレーション装置１のハードウェア構成を示すブロック図である。なお、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２１】
図１に示すように、装飾シミュレーション装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２２】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、装飾シミュレーション装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２３】
記憶部１２は、ＨＤＤ（Hard Disk Drive）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００２４】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００２５】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていてもよい。
【００２６】
周辺機器Ｉ／Ｆ（Interface）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４やＲＳ−２３２Ｃ等によって構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２７】
装飾シミュレーション装置１は、１台のコンピュータで構成されてもよいし、複数のコンピュータがネットワークを介して構成されてもよい。例えば、装飾シミュレーション装置１が、サーバとクライアント端末で構成される場合、クライアント端末においてデータの入力を受け付けて、サーバが各種の処理を行い、クライアント端末が処理結果を表示するようにしてもよい。以下の説明では、簡素な構成例として、装飾シミュレーション装置１が１台のコンピュータで構成された例を説明する。
【００２８】
次に、装飾シミュレーション装置１のデータ構成について説明する。
図２は、装飾シミュレーション装置１の記憶部１２に記憶される見本画像データ３１の例を示す図である。装飾シミュレーション装置１の記憶部１２には、見本画像データ３１として、複数の見本画像３１ｇ及び各見本画像３１ｇのオブジェクト情報３１ｍ、３１ｐ、３１ｓが記憶される。見本画像３１ｇは、装飾対象のオブジェクトを有する２次元画像である。オブジェクトは、例えば、カーテンやブラインド等の窓装飾品を例として説明するが、本発明は家具や壁、ドア等のように面状の部分を有する物品についても装飾対象のオブジェクトに含むものとする。オブジェクト情報は、見本画像３１におけるオブジェクト領域に対応するマスク画像３１ｍ、オブジェクトのサイズ情報３１ｓ、オブジェクトに外接する矩形領域（４点の座標）を示すパース情報３１ｐである。見本画像３１ｇ及びオブジェクト情報３１ｍ、３１ｓ、３１ｐは、家具やインテリアのカタログデータから取得してもよいし、ユーザが入力部１５等を介して登録してもよい。
【００２９】
例えば図２には、「見本画像１」に関する情報として、装飾対象のオブジェクトとして無地のカーテンが配置された室内が撮影された見本画像３１ｇと、オブジェクト領域を他の領域と分けた二値のマスク画像３１ｍと、オブジェクトのサイズ情報３１ｓとして「幅：８００ｍｍ、高さ：１９００ｍｍ」と、パース情報３１ｐとして「Ｐ１：（３８３，５１）、Ｐ２：（３７９，５０９）、Ｐ３：（５３０，５２８）、Ｐ４：（５３７，４１）」とが格納された例が示されている。同様に、「見本画像２」、「見本画像３」、「見本画像４」についても、それぞれ装飾対象のオブジェクト（カーテン）が配置された室内が撮影された見本画像３１ｇ、オブジェクトのマスク画像３１ｍ、オブジェクトのサイズ情報３１ｓ、パース情報３１ｐが保持される。なお、本実施形態では見本画像３１ｇの例として撮影された写真等を示しているが、本発明は撮影されたものに限定されず、コンピューグラフィックス等により作成された画像を見本画像３１ｇとしてもよい。
【００３０】
図３は、装飾シミュレーション装置１の記憶部１２に記憶される素材データ３２の例を示す図である。装飾シミュレーション装置１の記憶部１２には、素材データ３２として、複数の素材画像３２ｇ及び素材画像３２ｇのサイズ情報３２ｓが記憶される。素材画像３２ｇは、１単位分の色や柄（テクスチャ）を表すパッチ画像である。サイズ情報３２ｓは、素材画像３２ｇの高さ及び幅のサイズを示す数値である。素材画像３２ｇ及びサイズ情報３２ｓは、家具やインテリアのカタログデータから取得してもよいし、ユーザが入力部１５等を介して登録してもよい。
【００３１】
例えば図３には、「素材１」に関する情報として、植物柄のパッチ画像（素材画像３２ｇ）とサイズ情報３２ｓ「幅：１２０ｍｍ、高さ：７０ｍｍ」が保持された例が示されている。同様に、「素材２」、「素材３」、「素材４」についても、それぞれ色や柄を示す素材画像３２ｇと素材画像３２ｇのサイズ情報３２ｓが格納される。
【００３２】
次に、図４を参照して本発明に係る装飾シミュレーション装置１の機能構成について説明する。
【００３３】
図４に示すように、装飾シミュレーション装置１の制御部１１は、画像入力部２１、設定部２２、見本画像抽出部２３、識別器２４、素材合成画像生成部２５、変形部２６、画像合成部２７、及び合成画像出力部２８を有する。
【００３４】
画像入力部２１は、装飾オブジェクトを配置しようとする任意の画像の入力を受け付ける。以下の説明では画像入力部２１に入力された画像を入力画像４１と呼ぶ。装飾オブジェクトとは、色や柄等の装飾を施す対象とする物品である。例えば、カーテンを例に説明する。入力画像４１は室内を撮影した写真等、２次元の画像とする。
【００３５】
設定部２２は、入力画像４１に対するオブジェクト配置領域４１ｐの設定及びオブジェクト配置領域４１ｐに適用する素材画像３２の設定（指定）と指定した素材画像に対する設定とを受け付ける。
【００３６】
見本画像抽出部２３は、入力画像４１に類似する見本画像３１ｇを記憶部１２に記憶されている見本画像データ３１の中から抽出する。見本画像３１ｇの抽出処理については後述する。なお、見本画像抽出部２３は、識別器２４を用いて入力画像４１に類似する見本画像３１ｇを識別し抽出してもよい。識別器２４は、制御部１１により行われる学習処理によって生成される。学習処理では、制御部１１は記憶部１２に記憶されている複数の見本画像データ３１を用いた学習データとして取り込み、見本画像データ３１の特徴を学習し、識別器２４を生成する。識別器２４については後述する。
【００３７】
素材合成画像生成部２５は、見本画像抽出部２３により抽出された抽出見本画像３５ｇ内の空間に配置されているオブジェクト（オブジェクト領域）に対し、設定部２２により設定した素材画像３２ｇ（指定素材３６）を適用した素材合成画像３７を生成する。指定素材３６の素材画像３６ｇは記憶部１２に記憶される素材データ３２から取得される。素材合成画像３７の生成処理については後述する。
【００３８】
変形部２６は、素材合成画像生成部２５により生成された素材合成画像３７から抜き出したオブジェクト（装飾オブジェクト３７ａ）を入力画像４１ｇに設定されたオブジェクト配置領域のサイズ及びパースに応じて変形し、変形後素材合成画像３８を得る。変形処理については後述する。
【００３９】
画像合成部２７は、素材合成画像生成部２５により生成した素材合成画像３７から抜き出したオブジェクト（装飾オブジェクト３７ａ）、または変形部２６により変形された素材合成画像３８から抜き出したオブジェクト（変形後装飾オブジェクト３８ａ）を、入力画像４１内のオブジェクト配置領域４１ｐに配置した合成画像５を生成する。画像合成処理については後述する。
【００４０】
合成画像出力部２８は、画像合成部２７により生成された合成画像５を出力する。出力は、表示部１６への表示、記憶部１２への記憶の他、通信制御部１４を介したネットワーク等への送信等を含む。
【００４１】
次に、図５を参照して、装飾シミュレーション装置１の制御部１１が実行する装飾シミュレーション処理の流れを説明する。
【００４２】
まず、制御部１１はシミュレーションを行う画像の入力を受け付ける（ステップＳ１０１）。入力画像４１は室内が撮影された２次元の画像とする。次に、制御部１１は、オブジェクトの装飾に関する設定情報の入力を受け付ける（ステップＳ１０２）。具体的には、制御部１１は、ステップＳ１０１で入力された入力画像４１に対するオブジェクト配置領域４１ｐの設定及びオブジェクト配置領域４１ｐに適用する素材画像３２ｇの設定（指定）、指定した素材画像３２ｇに対するサイズ情報３２ｓ等の設定を受け付ける。ユーザは、入力部１５を介して入力画像４１に対して４点（矩形領域）を指定する等の入力操作を行うことにより、オブジェクト配置領域４１ｐを設定する。またユーザは、オブジェクト配置領域４１ｐに適用する素材画像３２ｇを記憶部１２に記憶されている素材データ３２の中から選択する。このとき制御部１１は記憶部１２に記憶されている素材データ３２の複数の素材画像３２ｇを表示部１６に選択可能に一覧表示することが望ましい。
【００４３】
次に、制御部１１はステップＳ１０１で入力された入力画像４１に類似する見本画像３１ｇを記憶部１２から抽出する（ステップＳ１０３）。ステップＳ１０３において、制御部１１は識別器２４を用いて入力画像４１と類似する見本画像データ３１を識別し抽出してもよい。識別器２４は、制御部１１により行われる学習処理によって生成される。学習処理では、制御部１１は記憶部１２に記憶されている複数の見本画像データ３１（見本画像３１ｇ、マスク画像３１ｍ、サイズ情報３１ｓ、パース情報３１ｐ）を学習データとして取り込み、見本画像データ３１の特徴を学習し、室内画像を識別する識別器２４を生成する。
【００４４】
識別器２４は、例えばExemplar-SVMを用いることが好適である。Exemplar-SVMとは、多数の１対多の弱識別器で全体の識別器を作成する手法である。そしてExemplar-SVMでは、見本画像データ３１の見本画像３１ｇに付随するオブジェクト情報（マスク画像３１ｍ、サイズ情報３１ｓ、パース情報３１ｐ）を再利用可能である点で他の手法と比較して好適である。制御部１１は記憶部１２に予め登録されている見本画像データ３１をExemplar-SVMを用いて学習し、ステップＳ１０１で入力された入力画像４１が室内画像であるかどうかを判定する識別器２４を生成する。見本画像データ３１をポジティブデータとし、室内空間でない任意の画像群をネガティブデータとする。このとき使用する特徴ベクトルは、Ｇｉｓｔ特徴、サイズ情報、パース情報（解像度正規化済み）の連結ベクトルとする。Exemplar-SVMについては、"Ensemble of Exemplar-SVMs for Object Detection and Beyond（ICCV2011）"、（http://www.cs.cmu.edu/~tmalisie/projects/iccv11/）に記載されている。
【００４５】
図７に示すように、制御部１１は入力画像４１を識別器２４に入力する。識別器２４は、入力画像４１に類似する見本画像３５ｇを記憶部１２に記憶されている見本画像データ３１から抽出する。ステップＳ１０３の見本画像抽出処理では、入力画像４１とオブジェクトの幾何形状や画像の色味（照明環境等）が類似する見本画像３５ｇを抽出することが望ましい。見本画像抽出処理の結果、入力画像４１の窓の位置や照明環境（照明器具の位置、画像の色味等）が類似する見本画像（抽出見本画像３５ｇ）が抽出されることとなる。
【００４６】
次に、制御部１１は素材合成画像３７を生成する（ステップＳ１０４）。素材合成画像３７とは、ステップＳ１０２で指定された素材画像３６ｇをステップＳ１０３で抽出された見本画像３５ｇのオブジェクト領域に合成した画像である。オブジェクト領域は各見本画像３１ｇに予め設定（記憶）されているマスク画像３１ｍにより指定される領域である。図８の例では、白、黒の二値で表されるマスク画像３５ｍにおける白値の領域をオブジェクト領域とする。
【００４７】
図８に示すように、制御部１１は、抽出見本画像データ３５として見本画像３５ｇ、見本画像３５ｇのオブジェクト領域に対応するマスク画像３５ｍ、オブジェクト領域のサイズ情報３５ｓ、オブジェクト領域のパース情報３５ｐを記憶部１２から取得する。また制御部１１は、ステップＳ１０２の設定処理で指定された指定素材３６（素材画像３６ｇ、サイズ情報３６ｓ）を記憶部１２の素材データ３２から取得する。制御部１１は、見本画像３５ｇのオブジェクト領域のサイズやパースに合うように指定素材３６の素材画像３６ｇを合成する。その結果、見本画像３５ｇのオブジェクト領域のサイズ情報３５ｓ及びパース情報３５ｓに応じて素材画像３６ｇの画像全体が変形された素材合成画像３７を得る。
【００４８】
ステップＳ１０４の素材合成画像生成処理では、例えば特許３６７９３４７号に記載される手法を用いることが望ましい。特許３６７９３４７号には、抽出見本画像３５ｇ内のオブジェクト領域に外接する矩形領域の座標値を、素材画像３６ｇに対応する正規化された素材座標系の座標値に変換し、素材座標系の座標値を、縦軸及び横軸の少なくとも一方の軸に沿って周期関数により変換し（曲線変換処理）、素材座標系に展開されている素材画像の各画素の画素値を、曲線変換処理により矩形領域上の対応する画素に設定することが記載されている。この手法により指定素材３６ｇを見本画像３５ｇに合成すると、素材画像３６ｇの少なくとも一方の軸（例えば、カーテンの画像であれば横軸）に沿って素材画像が周期関数に基づく変換によって曲線状に歪みのある画像に変換されて見本画像３５ｇのオブジェクト領域（矩形領域）内に設定される。よって、例えばオブジェクト（カーテン）のヒダに合わせて素材の柄が歪められた装飾オブジェクト３７ａを得ることができる。更に、素材合成画像生成処理では、見本画像３５ｇのオブジェクト領域の陰影情報等を保持したまま、素材画像３６ｇが合成されることが望ましい。これにより、見本画像３５ｇのオブジェクト（カーテン）は画像空間における奥行（パース）に基づく変形のみならず、オブジェクト自体の曲線状の歪みを表現できる。また、見本画像３５ｇ内の陰影が素材合成画像３７にも反映されることとなる。
【００４９】
次に、制御部１１はステップＳ１０４で生成した素材合成画像３７の装飾オブジェクト３７ａを入力画像４１のオブジェクト配置領域（マスク画像４１ｍにより指定される領域）に合うように変形する変形処理を行う（ステップＳ１０５）。入力画像４１のオブジェクト配置領域は、ステップＳ１０２の処理により設定され、入力画像４１に関連付けてマスク画像４１ｍ、サイズ情報４１ｓ、パース情報４１ｐとして保持されている。
【００５０】
ステップＳ１０５の変形処理は、素材合成画像３７の装飾オブジェクト３７ａに対応する矩形領域３７ｐのリサイズ及びパース変換が含まれる。図９に示すように、まず制御部１１は素材合成画像３７の装飾オブジェクト３７ａのパース情報及びサイズ情報を抽出見本画像データ３５（図８参照）から取得し、入力画像４１のオブジェクト配置領域４１ｐのパース情報４１ｐ及びサイズ情報４１ｓに変換するための射影変換行列を算出する。そして、求めた射影変換行列を素材合成画像３７に乗算する。これにより、素材合成画像３７（装飾オブジェクト３７ａ）のサイズ及びパースが、入力画像４１のオブジェクト配置領域４１ｐのサイズ及びパースに合うように変形される。以下、ステップＳ１０５の変形処理により得られた画像を変形後素材合成画像３８と呼ぶ。また、変形後素材合成画像３８内の装飾オブジェクトに対応する領域を変形後装飾オブジェクト３８ａと呼ぶ。
【００５１】
制御部１１は、ステップＳ１０５の変形処理によりリサイズ・パース変換された装飾オブジェクト３８ａを入力画像４１に合成する（ステップＳ１０６）。ステップＳ１０６の合成処理では、制御部１１は、変形後素材合成画像３８からマスク領域（マスク画像３８ｍの白値の領域）を抜き出し、入力画像４１に合成する。この合成に際し、例えばポアソンブレンディング（又は、「Poisson Image Editing」とも言う。）により画像を変換して貼り付ける、いわゆる「なじませ合成」を行ってもよい。なお、ステップＳ１０６における合成処理の手法は、ポアソンブレンディングに限るものではなく、他の公知の技術を用いてもよい。
【００５２】
図１１は、ポワソンブレンディングによる画像合成処理を説明する図である。ポアソンブレンディングでは、色味は貼り付け先の画像（入力画像４１ｇ）のものに依存させ、画像の勾配は貼り付け元の画像（変形後装飾オブジェクト３８ａ）のものを用いて合成する手法である。ポアソンブレンディングでは、貼り付け元の画像データを微分値の集まりとして扱い、なるべく微分値を保存して、貼り付けの境界の値を合わせ、自然な画像合成を行う。これを実現するものが連立微分方程式（ポアソン方程式）であり、ガウスザイデル法によって解くことが可能である。
【００５３】
図１１では、ポアソンブレンディングによる処理のイメージを示している。図１１（ａ）は、ポアソンブレンディングによる処理を行う前、図１１（ｂ）は、ポアソンブレンディングによる処理を行った後のイメージを示している。
【００５４】
図１１（ａ）では、貼り付け元の画像データ８１をそのまま貼り付け先の画像データ８３に配置している。従って、貼り付け範囲８５の両端、すなわち貼り付けの境界８７において、両者の画像データの値に大きな差異がある。このような差異があると、実際の画像においては、貼り付け元の画像データ８１が浮いた感じになり、違和感が生じる。
【００５５】
一方、図１１（ｂ）では、ポアソンブレンディングによって、色味を貼り付け先の画像データ８３に依存させる形で貼り付け元の画像データ８１を変換している。従って、貼り付けの境界８７において、変換後の貼り付け元の画像データ８９と貼り付け先の画像データ８３との値に大きな差異がない。これによって、実際の画像ではあまり違和感が生じない。
【００５６】
このように、敢えて装飾オブジェクト（カーテン等）３７ａ（３８ａ）の画像の色合いを変換し、入力画像４１ｇの色合いに近づけることによって、ユーザは、取り付けようとするカーテン単体の色や柄のみならず、部屋の壁紙、床、他の家具等の色調も総合的に考慮して、部屋に取り付けるカーテンの色や柄を選択することができる。
【００５７】
ステップＳ１０６の合成処理により合成画像５を得ると、制御部１１は、合成画像５を出力（記憶部１２への記憶、表示部１６への表示等）し（ステップＳ１０７）、一連の装飾シミュレーションに関する処理を終了する。
【００５８】
なお、ステップＳ１０７における出力の結果、ユーザが合成画像５を確認し、合成の結果が不満である場合や、別の色や柄を試したい場合等は、ステップＳ１０２へ戻り素材データ３２の再指定やオブジェクト配置領域４１ｐの再設定等を行ってステップＳ１０３以降の処理を繰り返してもよい。
【００５９】
以上説明したように、本発明に係る装飾シミュレーション装置１によれば、ユーザが所望の入力画像４１ｇを入力し、入力画像４１ｇに対しオブジェクト配置領域４１ｐを設定し、適用する色や柄等の素材画像３６ｇを設定すると、装飾シミュレーション装置１の制御部１１は、入力画像４１ｇに類似する見本画像３５ｇを記憶部１２から抽出し、見本画像３５ｇ内のオブジェクト領域に指定素材画像３６ｇを合成した素材合成画像３７を生成する。更に、制御部１１は生成した素材合成画像３７の装飾オブジェクト３７ａ（変形後装飾オブジェクト３８ａ）を入力画像４１ｇ内のオブジェクト配置領域４１ｐに合成した合成画像５を生成する。これにより、入力画像４１ｇに無地のオブジェクトが配置されていない場合や、既に柄があるオブジェクトが配置されている場合であっても、入力画像４１に類似する見本画像を用いて装飾オブジェクト３７ａ（変形後装飾オブジェクト３８ａ）を生成して入力画像４１に合成するため、オブジェクトの配置（サイズやパース）や空間の照明環境等の特徴を見本画像と同等にでき、合成した際の親和性が高い高品質な装飾シミュレーション画像（合成画像５）を生成できる。
【００６０】
以上、添付図面を参照して、本発明に係る装飾シミュレーション装置等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６１】
１……………………装飾シミュレーション装置
１１…………………制御部
１２…………………記憶部
１３…………………メディア入出力部
１４…………………通信制御部
１５…………………入力部
１６…………………表示部
１７…………………周辺機器Ｉ／Ｆ部
１８…………………バス
２１…………………画像入力部
２２…………………素材、オブジェクト配置領域設定部
２３…………………見本画像抽出部
２４…………………識別器
２５…………………素材合成画像生成部
２６…………………変形部
２７…………………画像合成部
２８…………………合成画像出力部
３１…………………見本画像データ
３１ｇ………………見本画像
３１ｍ………………マスク画像
３１ｓ………………サイズ情報
３１ｐ………………パース情報
３２…………………素材データ
３２ｇ………………素材画像
３２ｓ………………サイズ情報
３５…………………抽出見本画像データ
３５ｇ………………抽出見本画像
３５ｍ………………マスク画像
３５ｓ………………サイズ情報
３５ｐ………………パース情報
３６…………………指定素材
３６ｇ………………素材画像
３６ｓ………………サイズ情報
３７…………………素材合成画像
３７ａ………………装飾オブジェクト
３７ｍ………………マスク画像
３７ｐ………………パース（矩形領域）
３７ｑ………………変形後のパース（矩形領域）
３８…………………変形後素材合成画像
３８ａ………………変形後装飾オブジェクト
３８ｍ………………変形後マスク画像
４１…………………入力画像
４１ｍ………………マスク画像
４１ｐ………………オブジェクト配置領域（矩形領域）
５……………………合成画像
８１…………………貼り付け元の画像データ
８３…………………貼り付け先の画像データ
８５…………………貼り付け範囲
８７…………………貼り付けの境界
８９…………………変形後の貼り付け元の画像データ
【図１】
0006696256.tif 000002
【図２】
0006696256.tif 000003
【図３】
0006696256.tif 000004
【図４】
0006696256.tif 000005
【図５】
0006696256.tif 000006
【図６】
0006696256.tif 000007
【図７】
0006696256.tif 000008
【図８】
0006696256.tif 000009
【図９】
0006696256.tif 000010
【図１０】
0006696256.tif 000011
【図１１】
0006696256.tif 000012