(57)【要約】【課題】２Ｄ画像を用いてコストを抑えつつ、家具やインテリアの買い替え時であっても、オブジェクトのデザインやカラーと、既に持っている家具やインテリアを含めた背景との親和性を確認することができ、ユーザの意思決定を手助けできるような高品質な合成画像を得る。【解決手段】オブジェクト配置装置１は、複数のオブジェクトを記憶しておき、元画像から対象物の画像データを抽出し（Ｓ１０１）、特定のオブジェクトの選択を受け付け（Ｓ１０２）、オブジェクトの配置位置を決定し（Ｓ１０５）、オブジェクトの二値画像を反転し、反転画像と対象物の二値画像との論理積を求め、修復部を算出し（Ｓ１０６）、元画像の修復部に属する画素データを、元画像の近傍の画素データで補完し、修復画像を生成し（Ｓ１０７）、修復画像にオブジェクトの画像データを合成する（Ｓ１０８）。【選択図】図３
2016071682.tif 000002
【特許請求の範囲】
【請求項１】
複数のオブジェクトを記憶する記憶手段と、
対象物を含む元画像から前記対象物の画像を抽出する抽出手段と、
前記記憶手段により記憶される複数のオブジェクトから特定のオブジェクトの選択を受け付ける受付手段と、
前記受付手段により受け付けられるオブジェクトを前記元画像における前記対象物の位置に配置し、前記対象物の画像の範囲内で前記オブジェクトの画像が重ならない部分を修復部として算出する算出手段と、
前記元画像の前記修復部に位置する画素データを、前記元画像の近傍の画素データで補完し、修復画像を生成する生成手段と、
前記修復画像に対して、前記オブジェクトの画像を合成する合成手段と、
を具備することを特徴とするオブジェクト配置装置。
【請求項２】
前記受付手段により受け付けられるオブジェクトを前記対象物の大きさに応じてリサイズするリサイズ手段、を更に具備し、
前記算出手段は、前記リサイズ手段によってリサイズされるオブジェクトを前記元画像における前記対象物の位置に配置し、前記修復部を算出することを特徴とする請求項１に記載のオブジェクト配置装置。
【請求項３】
前記リサイズ手段は、前記オブジェクトの外接矩形及び前記対象物の外接矩形に基づいて、前記オブジェクトをリサイズすることを特徴とする請求項２に記載のオブジェクト配置装置。
【請求項４】
前記算出手段は、前記オブジェクトのマスク画像の反転画像と、前記対象物のマスク画像との論理積を求めて、前記修復部を算出することを特徴とする請求項１乃至請求項３のいずれか１項に記載のオブジェクト配置装置。
【請求項５】
前記生成手段は、前記元画像の前記修復部に属する特定の着目画素に対して、前記着目画素の周辺画素群をテンプレートとし、テンプレートマッチングにより最も近いパッチを求めることによって、前記着目画素の画素データを補完することを特徴とする請求項１乃至請求項４のいずれか１項に記載のオブジェクト配置装置。
【請求項６】
前記合成手段は、前記元画像の画像に基づいてポアソンブレンディングにより前記オブジェクトの画像を変換し、前記修復画像に合成することを特徴とする請求項１乃至請求項５のいずれか１項に記載のオブジェクト配置装置。
【請求項７】
複数のオブジェクトを記憶する記憶部を備えるコンピュータの制御部が、
対象物を含む元画像から前記対象物の画像を抽出する抽出ステップと、
前記記憶部により記憶される複数のオブジェクトから特定のオブジェクトの選択を受け付ける受付ステップと、
前記受付ステップにより受け付けられるオブジェクトを前記元画像における前記対象物の位置に配置し、前記対象物の画像の範囲内で前記オブジェクトの画像が重ならない部分を修復部として算出する算出ステップと、
前記元画像の前記修復部に位置する画素データを、前記元画像の近傍の画素データで補完し、修復画像を生成する生成ステップと、
前記修復画像に対して、前記オブジェクトの画像を合成する合成ステップと、
を実行することを特徴とするオブジェクト配置方法。
【請求項８】
コンピュータを、
複数のオブジェクトを記憶する記憶手段と、
対象物を含む元画像から前記対象物の画像を抽出する抽出手段と、
前記記憶手段により記憶される複数のオブジェクトから特定のオブジェクトの選択を受け付ける受付手段と、
前記受付手段により受け付けられるオブジェクトを前記元画像における前記対象物の位置に配置し、前記対象物の画像の範囲内で前記オブジェクトの画像が重ならない部分を修復部として算出する算出手段と、
前記元画像の前記修復部に位置する画素データを、前記元画像の近傍の画素データで補完し、修復画像を生成する生成手段と、
前記修復画像に対して、前記オブジェクトの画像を合成する合成手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、部屋等の背景画像に家具やインテリア等の画像を合成する技術に係り、特に、背景画像に含まれる家具やインテリア等の画像と置き換えて合成する技術に関する。
【背景技術】
【０００２】
消費者が、家具やインテリア（以下、オブジェクトともいう。）を購入する、または買い替える際、配置想定の場所に収まるかどうか（部屋の空間サイズとオブジェクトのサイズの確認）、使い心地はどうか（椅子の座り心地、ソファのフカフカ具合等）、ブランド、価格に加え、そのオブジェクトのデザインやカラーと、既に持っている他の家具やインテリアとの親和性はどうかということが重要な判断ポイントとなる。
【０００３】
デザインやカラーと、既に持っているものとの親和性について、ユーザは、ショールームの実物やカタログ、パンフレット、Webサイトの画像を見て、自分の家や部屋に置き換えて想像し、これを購入し、配置したらどうなるかを頭の中でイメージし、検討する。しかし、実際に購入して配置してみると、購入前に抱いたイメージと異なっていたり、既に持っているものとの親和性が悪く、がっかりしたりすることも多々ある。
【０００４】
このような問題を解決するため、オブジェクト配置シミュレーションシステムがある。オブジェクト配置シミュレーションシステムには、３Ｄ（３次元）シミュレーションと２Ｄ（２次元）シミュレーションとがある。
【０００５】
３Ｄシミュレーションでは、ＣＧ（Computer Graphics）をベースとしているため、３次元情報やライティングなどの情報が活用できるので、自然な合成画像を作成することができる。
【０００６】
例えば、特許文献１には、既存のＣＡＤ（Computer Aided Design）モデルと３Ｄ  ＣＡＤソフトを用いて、利用者が所有するインテリアの画像と、店舗にあるインテリア（オブジェクト）の画像とを合成した画像を作成する発明が開示されている。
【０００７】
また、特許文献２には、カメラの撮影画像から認識した奥行き情報を利用して、現実空間中の物体による隠れを考慮して、仮想空間画像（オブジェクト）と現実空間画像とを重畳し、仮想空間画像のうち隠れを考慮せずに表示するべきものをさらに重畳して画像を生成する画像生成装置の発明が開示されている。
【０００８】
一方、２Ｄシミュレーションでは、ＣＧのようなコンテンツを制作する必要がなく、撮影するだけなので、コンテンツ制作・更新にコストかからない。また、実写画像なので、コンテンツのクオリティも高い。
【０００９】
例えば、特許文献３には、撮影した画像から平行線が収束する消失点を求めて撮像位置の推定を行い、３次元空間情報を疑似的に算出することで、３Ｄシミュレーションのように自然な合成画像を作成することを可能にする画像合成装置の発明が開示されている。
【００１０】
また、特許文献４には、撮影角度及び視線角度に基づいて、配置オブジェクトの画像の水平領域及び垂直領域を変形させて、会場オブジェクトの画像に合成することで、違和感なく自然に見える合成画像を作成する発明が開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００５−２０２７９７
【特許文献２】特許第４４０１７２８号
【特許文献３】特許第３６９３７３５号
【特許文献４】特許第４９８４２５７号
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかし、特許文献１や特許文献２の発明では、画像のクオリティを出すには３ＤのＣＧコンテンツを高精細に作成しなければならないため、既存の流用できるコンテンツがない場合や、新たに大量のコンテンツを追加しようとした場合に、コンテンツの制作コストが膨大となってしまうという問題がある。
【００１３】
また、特許文献３や特許文献４の発明では、もともと背景に何もオブジェクトが存在しない空のシーンを想定しているが、背景にオブジェクトがある場合には、考慮されていないという問題がある。そして、ユーザが配置想定の場所を撮影する場合や、新居に引っ越して撮影する場合には、空のシーンを撮影することができるが、家具やインテリアを買い替える際は、買い替え前のものが配置してある場合がほとんどであり、買い替え時に空のシーンを撮影することは非常に難しい。
【００１４】
また、特許文献３や特許文献４の発明では、背景とオブジェクトの撮影環境が同一、もしくは、ある基準に沿っている場合を想定している。このため、異なる撮影環境や撮像装置で撮影された背景とオブジェクトとが合成される場合に、オブジェクトがうまく背景になじまずに浮いて見えるような、不自然な画像が作成されてしまうという問題がある。
【００１５】
本発明は、かかる課題を解決するためになされたものであり、２Ｄ画像を用いてコストを抑えつつ、家具やインテリアの買い替え時であっても、オブジェクトのデザインやカラーと、既に持っている家具やインテリアを含めた背景との親和性を確認することができ、ユーザの意思決定を手助けできるような高品質な合成画像を得ることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【００１６】
前述した課題を解決するために第１の発明は、複数のオブジェクトを記憶する記憶手段と、対象物を含む元画像から前記対象物の画像を抽出する抽出手段と、前記記憶手段により記憶される複数のオブジェクトから特定のオブジェクトの選択を受け付ける受付手段と、前記受付手段により受け付けられるオブジェクトを前記元画像における前記対象物の位置に配置し、前記対象物の画像の範囲内で前記オブジェクトの画像が重ならない部分を修復部として算出する算出手段と、前記元画像の前記修復部に位置する画素データを、前記元画像の近傍の画素データで補完し、修復画像を生成する生成手段と、前記修復画像に対して、前記オブジェクトの画像を合成する合成手段と、を具備することを特徴とするオブジェクト配置装置である。第１の発明により、オブジェクトの画像を、元画像に含まれる対象物の画像と違和感なく置換して、オブジェクトの画像を元画像に合成することができる。従って、一般消費者が、買い替え対象の家具やインテリアなどが設置された自分の部屋を撮影し、新たな家具やインテリアを配置した高品質な合成画像を得ることができる。
【００１７】
第１の発明は、前記受付手段により受け付けられるオブジェクトを前記対象物の大きさに応じてリサイズするリサイズ手段、を更に具備し、前記算出手段は、前記リサイズ手段によってリサイズされるオブジェクトを前記元画像における前記対象物の位置に配置し、前記修復部を算出することが望ましい。これによって、一般消費者は、新たな家具やインテリアを配置した場合の空間の広さを正確に確認することができる。
【００１８】
第１の発明における前記リサイズ手段は、前記オブジェクトの外接矩形及び前記対象物の外接矩形に基づいて、前記オブジェクトをリサイズすることが望ましい。これによって、必ずしも対象物の正面方向から撮影する必要はなく、好きな方向から撮影できるので便利である。
【００１９】
第１の発明における前記算出手段は、前記オブジェクトのマスク画像の反転画像と、前記対象物のマスク画像との論理積を求めて、前記修復部を算出することが望ましい。これによって、画像合成に伴って修復すべき領域を容易に算出することができる。
【００２０】
第１の発明における前記生成手段は、前記元画像の前記修復部に属する特定の着目画素に対して、前記着目画素の周辺画素群をテンプレートとし、テンプレートマッチングにより最も近いパッチを求めることによって、前記着目画素の画素データを補完することが望ましい。これによって、高速な処理を実現することができる。
【００２１】
第１の発明における前記合成手段は、前記元画像の画像に基づいてポアソンブレンディングにより前記オブジェクトの画像を変換し、前記修復画像に合成することが望ましい。オブジェクト（家具やインテリア）を元画像の色味に合わせることで、自然な合成画像を得ることができる。
【００２２】
第２の発明は、複数のオブジェクトを記憶する記憶部を備えるコンピュータの制御部が、対象物を含む元画像から前記対象物の画像を抽出する抽出ステップと、前記記憶部により記憶される複数のオブジェクトから特定のオブジェクトの選択を受け付ける受付ステップと、前記受付ステップにより受け付けられるオブジェクトを前記元画像における前記対象物の位置に配置し、前記対象物の画像の範囲内で前記オブジェクトの画像が重ならない部分を修復部として算出する算出ステップと、前記元画像の前記修復部に位置する画素データを、前記元画像の近傍の画素データで補完し、修復画像を生成する生成ステップと、前記修復画像に対して、前記オブジェクトの画像を合成する合成ステップと、を実行することを特徴とするオブジェクト配置方法である。第２の発明により、第１の発明と同様の効果を得ることができる。
【００２３】
第３の発明は、コンピュータを、複数のオブジェクトを記憶する記憶手段と、対象物を含む元画像から前記対象物の画像を抽出する抽出手段と、前記記憶手段により記憶される複数のオブジェクトから特定のオブジェクトの選択を受け付ける受付手段と、前記受付手段により受け付けられるオブジェクトを前記元画像における前記対象物の位置に配置し、前記対象物の画像の範囲内で前記オブジェクトの画像が重ならない部分を修復部として算出する算出手段と、前記元画像の前記修復部に位置する画素データを、前記元画像の近傍の画素データで補完し、修復画像を生成する生成手段と、前記修復画像に対して、前記オブジェクトの画像を合成する合成手段として機能させるためのプログラムである。第３の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明のオブジェクト配置装置を得ることができ、第２の発明のオブジェクト配置方法を実行することができる。
【発明の効果】
【００２４】
本発明により、２Ｄ画像を用いてコストを抑えつつ、家具やインテリアの買い替え時であっても、オブジェクトのデザインやカラーと、既に持っている家具やインテリアを含めた背景との親和性を確認することができ、ユーザの意思決定を手助けできるような高品質な合成画像を得ることができる。
【図面の簡単な説明】
【００２５】
【図１】オブジェクト配置装置のハードウェア構成を示すブロック図
【図２】オブジェクト配置装置の記憶部に記憶される内容の例を示す図
【図３】オブジェクト配置装置によるオブジェクト配置処理の流れを示すフローチャート
【図４】オブジェクト配置装置へ入力される情報の例を示す図
【図５】オブジェクト配置装置の二値化処理の例を示す図
【図６】オブジェクト配置装置の矩形算出処理の例を示す図
【図７】オブジェクト配置装置のリサイズ処理の例を示す図
【図８】オブジェクト配置装置のレイアウト処理の例を示す図
【図９】オブジェクト配置装置の修復部算出処理の例を示す図
【図１０】オブジェクト配置装置の画像修復処理の例を示す図
【図１１】オブジェクト配置装置の画像合成処理の例を示す図
【図１２】オブジェクト配置装置の画像合成処理を説明する図
【発明を実施するための形態】
【００２６】
以下図面に基づいて、本発明の実施形態を詳細に説明する。図１は、オブジェクト配置装置１のハードウェア構成を示すブロック図である。尚、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２７】
図１に示すように、オブジェクト配置装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２８】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、オブジェクト配置装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２９】
記憶部１２は、ＨＤＤ（Hard Disk Drive）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００３０】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３１】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。
【００３２】
周辺機器Ｉ／Ｆ（Interface）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４やＲＳ−２３２Ｃ等によって構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３３】
オブジェクト配置装置１は、１台のコンピュータで構成されても良いし、複数のコンピュータがネットワークを介して構成されても良い。例えば、オブジェクト配置装置１が、サーバとクライアント端末で構成される場合、クライアント端末においてデータの入力を受け付けて、サーバが各種の算出処理を行い、クライアント端末が算出結果を表示するようにしても良い。以下では、混乱を避けるために、オブジェクト配置装置１は、１台のコンピュータで構成されているものとして説明する。
【００３４】
図２は、オブジェクト配置装置１の記憶部１２に記憶される内容の例を示す図である。オブジェクト配置装置１の記憶部１２には、複数のオブジェクトに関する情報が記憶される。オブジェクトとは、例えば、椅子などの家具やインテリアである。オブジェクトに関する情報は、例えば、オブジェクトの画像、マスク画像、サイズ情報である。オブジェクトに関する情報は、家具やインテリアのカタログデータから取得しても良いし、ユーザが入力部１５等を介して登録しても良い。
【００３５】
例えば、図２には、「オブジェクト１」に関する情報として、オブジェクトの画像２１（オブジェクトを含む画像２３）、マスク画像２５、「幅：５５０ｍｍ、高さ：１０００ｍｍ」が図示されている。
【００３６】
オブジェクトの画像２１は、例えば、オブジェクトを正面から撮影した２次元画像である。マスク画像２５は、例えば、オブジェクトを含む画像２３のうち、オブジェクトの画像２１に属する画素を「白」、それ以外の画素を「黒」とした二値画像である。尚、図２に示すマスク画像２５では、オブジェクトの画像２１に属さない画素の領域が、「黒」ではなく「網掛け」で図示されている。以下、他の図面においても、「黒」ではなく「網掛け」で図示するものとする。また、マスク画像２５は、オブジェクトの画像２１に属する画素を「黒」、それ以外の画素を「白」としても良い。
【００３７】
サイズ情報は、オブジェクトの画像２１に係るオブジェクトの実際の大きさを示している。すなわち、図２に示す「オブジェクト１」の例では、椅子（オブジェクト）の実寸の幅が「５５０ｍｍ」、実寸の高さが「１０００ｍｍ」であることを意味している。
【００３８】
図３は、オブジェクト配置装置１によるオブジェクト配置処理の流れを示すフローチャートである。図３に示すように、オブジェクト配置装置１の制御部１１は、ユーザから元画像の入力を受け付けて、元画像から対象物の画像データを抽出する（ステップＳ１０１）。
【００３９】
元画像は、例えば、ユーザがオブジェクトの配置を想定している部屋の２次元画像であり、ユーザが予め撮影したものである。本発明の実施の形態では、ユーザがオブジェクト（家具やインテリア）を買い替える際のオブジェクト配置シミュレーションを想定しており、元画像には買い替え対象のオブジェクトが含まれているものとする。従って、本発明の実施の形態では、対象物とは、元画像に含まれる買い替え対象のオブジェクトを意味する。
【００４０】
図４は、オブジェクト配置装置１へ入力される情報の例を示す図である。図４（ａ）には、ユーザによって入力される元画像３１の例が示されている。元画像３１には、対象物３３として、買い替え対象の椅子が含まれている。
【００４１】
例えば、オブジェクト配置装置１の入力部１５及び表示部１６はタッチパネルディスプレイとする。図４（ｂ）に示すように、ユーザは、自らの指又はタッチペンによって、対象物３３の輪郭を大まかになぞっていき、対象物３３全体を囲う輪郭線３５を描く。オブジェクト配置装置１の制御部１１は、輪郭線３５の入力を受け付けると、後述する図５に示す処理によって、対象物３３の領域を「白」、それ以外の領域を「黒」とする二値画像を作成する。この二値画像は、元画像３１に含まれる対象物３３のマスク画像である。制御部１１は、対象物３３のマスク画像を生成する際、輪郭線３５内（閉領域）のオクルージョン（手前にある物体が背後にある物体を隠している領域）、影、映りこみなどのあいまいな領域については全て「白」で塗りつぶす。「白」で塗りつぶされた領域は、後述する処理において修復処理が施されるか、又はオブジェクトの画像が合成される領域であるから、あいまいな領域を「白」で塗りつぶしても問題はない。
【００４２】
制御部１１は、輪郭線３５の入力を受け付ける際、対象物３３に関するサイズ情報の入力も受け付ける。対象物３３に関するサイズ情報は、例えば、元画像３１の撮影方向から見た対象物３３の実寸の幅及び高さである。図４（ｃ）には、対象物３３に関するサイズ情報として、「幅：８００ｍｍ、高さ：７００ｍｍ」が図示されている。
【００４３】
図５は、オブジェクト配置装置１の二値化処理の例を示す図である。制御部１１は、ユーザによって入力される輪郭線３５を「白」、それ以外を「黒」とする二値画像４１を生成する。
【００４４】
次に、制御部１１は、図５（ａ）に示す二値画像４１に対して、エッジ抽出処理及びラベリング処理を実施する。制御部１１は、ラベリング処理において、背景領域が「黒」、前景領域が「白」、不確定領域（輪郭線３５）が「灰色」の３色のラベル画像を生成する。このラベル画像が、後述する処理におけるトライマップ画像４３となる。図５（ｂ）には、輪郭線（灰色）３７を含むトライマップ画像４３が図示されている。
【００４５】
次に、制御部１１は、不確定領域を「黒」か「白」のいずれかに決定する。例えば、最小コスト切断問題（Graph Cut）として定式化する方法が挙げられる。この方法によれば、制御部１１は、灰色の領域内の画素を基点として、隣接する複数の前景領域及び背景領域の画素との類似度を用いた最少コスト切断問題として定式化し、最もコストが小さくなる切断軌跡を求め、切断軌跡に基づいて不確定領域を「黒」か「白」のいずれかに決定する。尚、本発明は、この手法に限られるものではなく、他の公知の技術を用いても良い。図５（ｃ）には、元画像３１に含まれる対象物３３のマスク画像４５が図示されている。
【００４６】
図３の説明に戻る。次に、制御部１１は、ユーザから特定のオブジェクトの選択を受け付けて、オブジェクトが選択されたか否かを確認する（ステップＳ１０２）。例えば、制御部１１は、記憶部１２から複数のオブジェクトを読み出して、表示部１６に表示する。これに対して、ユーザは、表示部１６に表示されているオブジェクトのいずれかを選択する。
【００４７】
選択されていない場合（ステップＳ１０２のＮｏ）、制御部１１は、引き続きユーザからのオブジェクトの選択を受け付ける。選択された場合（ステップＳ１０２のＹｅｓ）、制御部１１は、対象物とオブジェクトの外接矩形を算出する（ステップＳ１０３）。
【００４８】
図６は、オブジェクト配置装置１の矩形算出処理の例を示す図である。図６（ａ）は、対象物３３のマスク画像４５から外接矩形５１を算出する処理を示している。図６（ｂ）は、オブジェクトのマスク画像２５から外接矩形５３を算出する処理を示している。
【００４９】
制御部１１は、マスク画像４５やマスク画像２５に対して、上下左右の４方向から走査し、最初に「白」の画素がある位置を求めることによって、外接矩形５１や外接矩形５３を算出する。すなわち、外接矩形５１や外接矩形５３は、（１）左から走査していき、最初に「白」の画素がある位置を通る上下方向の直線を左辺、（２）右から走査していき、最初に「白」の画素がある位置を通る上下方向の直線を右辺、（３）上から走査していき、最初に「白」の画素がある位置を通る左右方向の直線を上辺、（４）下から走査していき、最初に「白」の画素がある位置を通る左右方向の直線を下辺、とする矩形である。
【００５０】
図３の説明に戻る。次に、制御部１１は、ステップＳ１０３において算出された外接矩形を基にして、対象物の大きさに応じてオブジェクトをリサイズする（ステップＳ１０４）。
【００５１】
図７は、オブジェクト配置装置１のリサイズ処理の例を示す図である。制御部１１は、図７（ａ）に示すオブジェクトのマスク画像２５及び外接矩形５３に対して、図７（ｂ）に示すリサイズされた外接矩形５５と、図７（ｃ）に示すリサイズされたオブジェクト画像２１ａ及びリサイズされたマスク画像２５ａを生成する。
【００５２】
最初に、制御部１１は、オブジェクトのリサイズに用いるリサイズレートを決定する。元画像に含まれる対象物の実寸幅（mm）をW_bg_ex、元画像に含まれる対象物の画素幅（pixel）をW_bg_px、オブジェクトの実寸幅（mm）をW_ob_ex、
オブジェクトの画像の画素幅（pixel）をW_ob_pxとすると、幅のリサイズレートW_Rは、W_R=(W_bg_ex×W_bg_px)／(W_ob_ex×W_ob_px)によって求められる。高さのリサイズレートH_Rについても、同様に求められる。
【００５３】
次に、制御部１１は、リサイズレートに基づいて、外接矩形５３をリサイズし、リサイズされた外接矩形５５を算出する。また、制御部１１は、リサイズレートに基づいて、オブジェクトの画像２１及びマスク画像２５をリサイズし、リサイズされたオブジェクト画像２１ａ及びリサイズされたマスク画像２５ａを生成する。
【００５４】
対象物の大きさに応じてリサイズされたオブジェクト画像２１ａを元画像に合成することによって、一般消費者は、新たな家具やインテリアを配置した場合の部屋の広さを正確に確認することができる。
【００５５】
また、外接矩形に基づいてオブジェクトをリサイズすることにより、元画像における対象物の向き、また、オブジェクトの画像２１及びマスク画像２５におけるオブジェクトの向きに関係なくリサイズ処理を行うことができる。従って、必ずしも対象物の正面方向から撮影した元画像を用意する必要はなく、また、オブジェクトの画像２１及びマスク画像２５もオブジェクトの正面方向からの画像でなくてもよい。さらに、元画像における対象物の向きと、オブジェクトの画像２１及びマスク画像２５におけるオブジェクトの向きとは一致している必要もない。
【００５６】
尚、オブジェクト配置装置１は、ステップＳ１０４の処理に代えて、オブジェクトごとに、大きさの異なる画像及び外接矩形のデータを数多く記憶部１２に記憶させておき、制御部１１が記憶部１２を検索し、元画像に含まれる対象物の外接矩形の大きさに最も近いデータを取得し、リサイズされた外接矩形５５、リサイズされたオブジェクト画像２１ａ及びリサイズされたマスク画像２５ａとしても良い。
【００５７】
図３の説明に戻る。次に、制御部１１は、ステップＳ１０４においてリサイズされたオブジェクトの配置位置を決定する（ステップＳ１０５）。
【００５８】
図８は、オブジェクト配置装置１のレイアウト処理の例を示す図である。制御部１１は、オブジェクトを元画像における対象物の位置に配置するため、位置合わせを行う。左右方向の位置合わせは、例えば、（１）左に合わせる、（２）中央に合わせる、（３）右に合わせる、の３通りである。どの位置合わせを行うかについては、予め設定情報として記憶部１２に記憶させておいても良いし、ユーザから選択を受け付けるようにしても良い。
【００５９】
制御部１１は、図８（ａ）に示すリサイズされたマスク画像２５ａの外接矩形５５に対して位置合わせを行う。（１）左に合わせる場合、図８（ｂ）に示すように、制御部１１は、オブジェクトのリサイズされた外接矩形５５の左辺と、対象物の外接矩形５１の左辺とが重なる位置にオブジェクトを配置する。（２）中央に合わせる場合、図８（ｃ）に示すように、制御部１１は、オブジェクトのリサイズされた外接矩形５５の上下方向に伸びる二等分線と、対象物の外接矩形５１の上下方向に伸びる二等分線とが重なる位置にオブジェクトを配置する。（３）右に合わせる場合、図８（ｄ）に示すように、制御部１１は、オブジェクトのリサイズされた外接矩形５５の右辺と、対象物の外接矩形５１の右辺とが重なる位置にオブジェクトを配置する。
【００６０】
尚、図８に示す例では、上下方向の位置合わせは、いずれも下に合わせるものとしたが、これに限定されるものではない。左右方向の位置合わせと同様、上下方向の位置合わせも、（１）上に合わせる、（２）中央に合わせる、（３）下に合わせる、の３通りの方法が可能である。その場合、制御部１１による処理内容も、左右方向の位置合わせと同様である。
【００６１】
図３の説明に戻る。次に、制御部１１は、オブジェクトの二値画像を反転し、反転画像と対象物の二値画像との論理積を求め、修復部を算出する（ステップＳ１０６）。すなわち、制御部１１は、対象物の画像の範囲内でオブジェクトの画像が重ならない部分を修復部として算出する。本実施の形態では、修復部は、元画像（家具が配置されている部屋）において、対象物（買い替え対象の家具）を除外し、オブジェクト（購入を希望する家具）を配置した場合に空白となる領域を意味する。
【００６２】
図９は、オブジェクト配置装置１の修復部算出処理の例を示す図である。制御部１１は、図９（ａ）に示すオブジェクトのマスク画像２５ａ（二値画像）を反転し、図９（ｂ）に示すマスク画像２５ａの反転画像６１とする。次に、制御部１１は、図９（ｃ）に示すように、ステップＳ１０５において決定されたオブジェクトの配置位置に基づいて、オブジェクトの外接矩形５５を、対象物のマスク画像４５に配置する。そして、制御部１１は、図９（ｄ）に示すように、反転画像６１と対象物のマスク画像４５（二値画像）との論理積画像６３を生成し、「白」の部分を修復部６５とする。このように、論理演算で処理を行うことによって、修復部６５を容易に算出することができる。
【００６３】
図３の説明に戻る。次に、制御部１１は、元画像の修復部に属する画素データを、元画像の近傍の画素データで補完し、修復画像を生成する（ステップＳ１０７）。例えば、制御部１１は、元画像の修復部に位置する特定の着目画素に対して、着目画素の周辺画素群をテンプレートとし、テンプレートマッチングにより最も近いパッチを求めることによって、前記着目画素の画素データを補完する。尚、画像修復処理の手法は、テンプレートマッチングに限るものではなく、他の公知の技術を用いても良い。
【００６４】
図１０は、オブジェクト配置装置１の画像修復処理の例を示す図である。図１０（ａ）に示すように、制御部１１は、修復部６５に属する画素の中から着目画素６７を順次選択し、着目画素の周辺画素群からなるテンプレート６９を決定する。テンプレート６９は、例えば、図１０（ｂ）に示すように、着目画素６７を中心として、上下左右方向にそれぞれ２画素ずつ含む５×５のグリッドである。ここで、テンプレート６９に含まれる各画素の画素値は、修復部６５に属する画素を除き、元画像の画素値である。また、パッチに含まれる各画素の画素値は、元画像の画素値である。尚、修復部６５に属する画素の画素値は、補完されるまではＮＵＬＬ（値なし）であるため、テンプレートの中に、まだ補完されていない修復部の画素が含まれている場合、差の２乗の和の計算対象から外す。一方、補完されている修復部の画素については、差の２乗の和の計算対象としても良い。
【００６５】
次に、制御部１１は、テンプレート６９を用いて、元画像に対するテンプレートマッチングを実施する。図１０（ｃ）に示すように、制御部１１は、最も近いパッチ７０を求め、そのパッチ７０に基づいて着目画素６７の画素値を決定する。制御部１１は、この処理を修復部６５に属する全ての画素に対して実行し、図１０（ｄ）に示す修復画像７１を生成する。これによって、高速な処理を実現することができる。尚、修復画像７１には修復部６５に属さなかった対象物（残りの画像）３３が残存するが、後述する合成処理によって、この領域にはオブジェクトの画像データが重畳されるため、問題はない。
【００６６】
テンプレート６９とパッチ７０との類似度の判定基準は、例えば、次式に示す画素値の差の二乗の合計ＳＳＳＤを用いる。ここで、ｇ（ｘ，ｙ）：元画像、ｆ（ｘ，ｙ）：テンプレート６９、ｇ（ｄｘ，ｄｙ）：パッチ７０、ｉ：ｘ方向カウンタ、ｊ：ｙ方向カウンタである。
【００６７】
【数１】
2016071682.tif 000003
【００６８】
図３の説明に戻る。次に、制御部１１は、修復画像にオブジェクトの画像データを合成（なじませ合成）する（ステップＳ１０８）。
【００６９】
図１１は、オブジェクト配置装置１の画像合成処理の例を示す図である。制御部１１は、図１１（ａ）に示す修復画像７１の外接矩形５５内に、図１１（ｂ）に示すリサイズされたオブジェクトの画像２１ａを合成し、図１１（ｃ）に示す合成画像７３を生成する。
【００７０】
例えば、制御部１１は、元画像の画像データに基づいてポアソンブレンディング（又は、「Poisson Image Editing」とも言う。）によりオブジェクトの画像データを変換し、修復画像に合成する。尚、画像合成処理の手法は、ポアソンブレンディングに限るものではなく、他の公知の技術を用いても良い。
【００７１】
図１２は、オブジェクト配置装置１の画像合成処理を説明する図である。ポアソンブレンディングでは、色味は貼り付け先の画像（修復画像）のものに依存させ、画像の勾配は貼り付け元の画像（オブジェクトの画像）のものを用いて合成する手法である。ポアソンブレンディングでは、貼り付け元の画像データを微分値の集まりとして扱い、なるべく微分値を保存して、貼り付けの境界の値を合わせ、自然な画像合成を行う。これを実現するものが連立微分方程式（ポアソン方程式）であり、ガウスザイデル法によって解くことが可能である。
【００７２】
図１２では、ポアソンブレンディングによる処理のイメージを示している。図１２（ａ）は、ポアソンブレンディングによる処理を行う前、図１２（ｂ）は、ポアソンブレンディングによる処理を行った後のイメージを示している。
【００７３】
図１２（ａ）では、貼り付け元の画像データ８１をそのまま貼り付け先の画像データ８３に配置している。従って、貼り付け範囲８５の両端、すなわち貼り付けの境界８７において、両者の画像データの値に大きな差異がある。このような差異があると、実際の画像においては、貼り付け元の画像データ８１が浮いた感じになり、違和感が生じる。
【００７４】
一方、図１２（ｂ）では、ポアソンブレンディングによって、色味を貼り付け先の画像データ８３に依存させる形で貼り付け元の画像データ８１を変換している。従って、貼り付けの境界８７において、変換後の貼り付け元の画像データ８９と貼り付け先の画像データ８３との値に大きな差異がない。これによって、実際の画像ではあまり違和感が生じない。
【００７５】
このように、敢えて、オブジェクト（買い替えを希望する家具）の画像の色合いを変換し、元画像の色合いに近づけることによって、ユーザは、買い替えを希望する家具単体ではなく、部屋の壁紙、床、他の家具などの色も総合的に考慮して、買い替えを希望する家具の色を選択することができる。
【００７６】
以上、オブジェクト配置装置１は、図３に示すフローチャートに従って、オブジェクト配置処理を実行する。本発明の実施の形態におけるオブジェクト配置装置１によって、２Ｄ画像を用いてコストを抑えつつ、家具やインテリアの買い替え時であっても、オブジェクトのデザインやカラーと、既に持っている家具やインテリアを含めた背景との親和性を確認することができ、ユーザの意思決定を手助けできるような高品質な合成画像を得ることができる。
【００７７】
以上、添付図面を参照しながら、本発明に係るオブジェクト配置装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７８】
１………オブジェクト配置装置
２１………オブジェクトの画像
２１ａ………リサイズされたオブジェクトの画像
２３………オブジェクトを含む画像
２５………マスク画像
２５ａ………リサイズされたマスク画像
３１………元画像
３３………対象物
３５………輪郭線
３７………輪郭線（灰色）
４１………二値画像
４３………トライマップ画像
４５………マスク画像
５１………外接矩形
５３………外接矩形
５５………リサイズされた外接矩形
６１………マスク画像２５ａの反転画像
６３………反転画像６１とマスク画像４５の論理積画像
６５………修復部
６７………着目画素
６９………テンプレート
７０………パッチ
７１………修復画像
７３………合成画像
【図１】
2016071682.tif 000004
【図２】
2016071682.tif 000005
【図３】
2016071682.tif 000006
【図４】
2016071682.tif 000007
【図５】
2016071682.tif 000008
【図６】
2016071682.tif 000009
【図７】
2016071682.tif 000010
【図８】
2016071682.tif 000011
【図９】
2016071682.tif 000012
【図１０】
2016071682.tif 000013
【図１１】
2016071682.tif 000014
【図１２】
2016071682.tif 000015