(57)【要約】【課題】  原画像に対してテクスチャ画像を合成する場合に、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成できるようにする。【解決手段】  原画像の一部にテクスチャ画像を合成する画像合成装置において、原画像及びテクスチャ画像を入力する画像入力装置１０と、前記原画像の中でテクスチャ画像を合成する合成領域を指定したり、該合成領域の座標値をテクスチャ画像上の座標値に射影的正規化変換するためのパラメータを指定したりする指示入力装置１２と、該合成領域を表すマスクデータを生成したり、指定されたパラメータに基づき前記合成領域内の座標に対し射影的正規化変換を行い相対座標値を計算したり、該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算するしたり、該テクスチャ座標値により前記合成領域内にテクスチャ画像を合成したりする画像合成装置１４と、を備えている。【選択図】  図１
2005293616.tif 000002
【特許請求の範囲】
【請求項１】
原画像の一部にテクスチャ画像を合成する画像合成装置において、
原画像を入力する手段と、
該原画像に合成するテクスチャ画像を入力する手段と、
同原画像の中でテクスチャ画像を合成する合成領域を指定する手段と、
該合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定する手段と、
該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、
該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算する手段と、
該テクスチャ座標値を基に前記合成領域内にテクスチャ画像を合成する合成手段と、を備えていることを特徴とする画像合成装置。
【請求項２】
請求項１において、
前記原画像の各画素の輝度情報のみからなる原画像輝度データを生成する手段と、合成されたテクスチャ画像の輝度を原画像輝度データ及び明暗の差を制御するためのパラメータに基づき変更する輝度変更手段とが兼備されていることを特徴とする画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像の中の所望の領域に、他のテクスチャ画像を合成して合成画像を作成する際に適用して好適な画像合成装置に関する。
【背景技術】
【０００２】
建物の外装材や内装材、キッチン・収納の扉などの商品のカタログでは、実際の施工例は一部の商品についてのみ掲載し、他の商品については色・素材の見本のみを掲載することが多く、顧客は実際の施工例と見本を眺め、所望の見本を施工例に適用した場合の外観を想像し、商品を選択しなければならなかった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように、前記カタログでは、各商品について実際の施工例があるわけではないため、顧客が商品を選択するためにイメージを掴むことが難しいという問題がある。すべての商品に対して実際に施工例を作成してカタログを作成すれば前記問題は解決するが、そのためにはコストが高すぎて非現実的である。
【０００４】
他の解決方法として、実際の施工例の画像に他の商品見本画像を合成するという方法もあるが、違和感の無い合成画像を得るためには、熟練したオペレータが経験と勘を使って試行錯誤しながら合成する必要があり、この作業を多くの商品見本に対して行うには困難が伴う上に、コストが高くなってしまう。
【０００５】
本発明は、前記従来の問題点を解決するべくなされたもので、任意の商品の施工例等の原画像に対して商品見本画像等のテクスチャ画像を合成する場合に、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる画像合成装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明は、原画像の一部にテクスチャ画像を合成する画像合成装置において、原画像を入力する手段と、該原画像に合成するテクスチャ画像を入力する手段と、同原画像の中でテクスチャ画像を合成する合成領域を指定する手段と、該合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定する手段と、該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算する手段と、該テクスチャ座標値を基に前記合成領域内にテクスチャ画像を合成する合成手段と、を備えた構成とすることにより、前記課題を解決したものである。
【０００７】
本発明においては、原画像上で指定した合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定し、該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算し、該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算し、該テクスチャ座標値を基に前記合成領域内にテクスチャ画像を合成するようにしたので、これら３つの座標系の対応関係を利用することにより、任意の大きさのテクスチャ画像を前記合成領域に合成し、違和感のない合成画像を作成することが可能となる。
【発明の効果】
【０００８】
本発明によれば、任意の商品の施工例等の原画像に対して商品見本画像等のテクスチャ画像を合成する場合に、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００１０】
図１は、本発明に係る一実施形態の画像合成システム（画像合成装置）の概略構成を示すブロック図である。本実施形態の画像合成システムは、画像入力装置１０、指示入力装置１２、画像合成装置１４、表示装置１６及び画像出力装置１８を備えている。
【００１１】
上記画像入力装置１０は、原画像やこれに合成するテクスチャ画像等を入力するイメージスキャナやこれら画像データが格納され、読み出すことができるハードディスク等の記憶装置で構成されている。又、前記指示入力装置１２は、キーボードやマウス等からなり、原画像の中でテクスチャ画像を合成する合成領域を指定したり、合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定することができるようになっている。
【００１２】
又、前記画像合成装置１４はコンピュータで構成され、該装置１４には、指定されたパラメータに基づき合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、該相対座標値よりテクスチャ画像上のテクスチャ座標値を計算する手段と、該テクスチャ座標値を基に合成領域内にテクスチャ画像を合成する手段とが、ソフトウェアにより実現されている。又、前記表示装置１６はＣＲＴや液晶等のディスプレイからなり、原画像、テクスチャ画像、合成画像等を表示し、又、前記出力装置１８はプリンタ等からなり、合成画像等を出力することができるようになっている。
【００１３】
本実施形態について更に詳述すると、前記画像合成装置１４には、同じくソフトウェアにより、原画像の各画素の輝度情報のみからなる原画像輝度データを生成する手段と、合成されたテクスチャ画像の輝度をこの原画像輝度データ及び明暗の差を制御するためのパラメータに基づき変更する輝度変更手段等が実現されている。又、同様に、前記合成領域には、遮景領域を考慮して作成されたマスクデータが適用されると共に、前記座標変換に使用するパラメータには、実際の３次元空間では長方形となる前記原画像上の四角形の領域を規定するための４頂点座標が含まれ、前記相対座標値を計算する手段が、前記マスクデータを考慮して前記パラメータに基づいて座標変換を行うことができるようになっている。
【００１４】
又、同様に、前記座標変換に使用するパラメータには、実際の３次元空間上では長方形となる前記原画像上の合成領域を表わす四角形の該３次元空間での実際の大きさ（Ｓx、Ｓy）が含まれ、前記合成手段が、前記長方形の実際の大きさ（Ｓx、Ｓy）と前記テクスチャ画像の実際の大きさ（Ｓtrx、Ｓtry）との相対比に応じた回数、該テクスチャ画像を繰り返して前記合成領域に合成することができるようになっている。更に、前記テクスチャ画像が複数用意されており、前記テクスチャ座標値を計算する手段は、他の新しいテクスチャ画像が選択されたときに、すでに得られている相対座標値に基づいてそのテクスチャ座標値を計算することができるようになっている。
【００１５】
次に、本実施形態の作用を、図２に示したフローチャートを用いて説明する。
【００１６】
まず、画像入力装置で原画像（図３）とテクスチャ画像（図４）を入力する（ステップ１、２）。なお、この図３において、後方の物体（立方体）の前の面に付した２点鎖線は、手前の立方体により生じている陰影が識別し難いため、その境界を示したものである。
【００１７】
次に、テクスチャ画像を合成する領域を表すマスクデータを作成する（ステップ３）。このマスクデータは、原画像中で、テクスチャを合成する有効領域を表すもので、異なるテクスチャを合成する領域ごと、またはパース（Perspect：遠近感）のかかり方が違う、即ち原画像について実際の三次元空間を考えた時に同一平面とならない領域ごとに異なる識別番号を設定して作成する。
【００１８】
このマスクデータの一例としては、原画像と縦横の大きさが同じ座標値の配列データを用意し、テクスチャの合成を行わない画素に対しては０の値を設定し、テクスチャの合成を行う画素には前述の識別番号を設定する。ここでは、このマスクデータ作成手順の一例として、原画像を元にして図５、図６のように合成領域のみを任意の色（ここでは白）に加工した画像を用意し、この２枚の画像から図７のようなマスクデータを作成した。ここでは、便宜上合成が行われない領域を白色とし、行われる有効領域毎に違う色（黒とグレー）で示した。又、本実施形態では、前記図３の原画像において、手前にある立方体により視野が遮られる遮景領域が存在する後方の立方体の場合には、図７に黒で有効領域を示したように、この遮光領域を除いた範囲のマスクデータを作成する。
【００１９】
次に、テクスチャ画像を合成する原画像上の合成領域の座標値を、テクスチャ画像上の座標値に射影的正規化変換するためのパラメータを指定（入力）する（ステップ４）。この操作は、実際の三次元空間上で同一平面上にある長方形の各頂点Ｐ1〜Ｐ4の原画像上での合成領域の座標値と、その実際の三次元実空間上での長方形のｘ方向、ｙ方向の大きさＳx、Ｓyを、指示入力装置１２により指定することにより行う。この場合、長方形の実際の大きさが既知又は推定できる場合はその値を指定すればよいが、長方形の大きさが既知でなく、又、原画像中の大きさが既知のもの等から推定することもできない場合には、指定した頂点Ｐ1〜Ｐ4で囲まれた領域に、テクスチャ画像が縦方向にいくつ、横方向にいくつ並ぶといった相対値を使用してもなんら問題なく、その場合には、後述するテクスチャ画像の実際の大きさＳtrx、Ｓtryの指定時にはそれぞれ１を指定すればよい。
【００２０】
ここで、この指定する４頂点の座標（パラメータ）について補足すると、これらの座標値は合成を行う合成領域自体や、前記図７に示したようなマスク領域（マスクデータで規定される有効領域）に対して指定できることは言うまでもないが、マスク領域と直接は関係なく、実際の三次元空間上で同一平面となる原画像上の領域であれば、即ちパースのかかり方が同一であればマスク領域外で指定しても問題なく、更には、原画像の領域外で指定してもなんら問題はない。
【００２１】
パラメータ指定の具体例として、図５に示した合成領域に対応するマスク領域に対して座標値を指定する場合の例を図８に示す。この図では、実際の３次元空間では長方形である原画像上の四角形の頂点にＰ1〜Ｐ4の座標（ｘ1，ｙ1)〜(ｘ4，ｙ4）を指定し、この四角形の実際の三次元空間上でのｘ、ｙそれぞれの方向の大きさＳx、Ｓyを指定している。Ｐ2に関しては、手前の物体によって隠れており、この付近（遮景領域）は前記図７に示したマスクデータでは有効領域外であるが、パラメータ指定は前述した通りマスク領域と直接は関係ないので、実際の三次元空間上で長方形になるであろう領域上の点であれば問題なく利用できる。なお、合成の対象となる全てのマスク領域に対して前記パラメータを指定する必要があるが、実際の三次元空間上で同一平面となる、即ち原画像上ではパースのかかり方が同じ領域であれば同一のパラメータを適用できる。
【００２２】
次いで、以下に詳述する各種演算処理を前記画像合成装置１４で行う。まず、前記パラメータに基づいて合成領域内の座標に対して射影的正規化変換（この座標変換については、例えば「計算機幾何と地理情報処理」  bit別冊  共立出版（1986）に詳説されている）を行う。具体的には、以下に示す（１）、（２）式で規定されるｃ、ｄを含む（３）、（４）式により、後述するテクスチャ合成を行う領域に含まれる全ての画素に対して射影的正規化変換を行い、相対座標値α、βを計算する（ステップ５）。なお、ここでは、相対座標値は、ｘ、ｙ方向の実際の大きさＳx、Ｓyからなる長方形座標に正規化された値で与えられる。
【００２３】
【数１】
2005293616.tif 000003
【００２４】
このステップ５の相対座標値の計算では、前記頂点座標（ｘ1、ｙ1）〜（ｘ4、ｙ4）及び実際の大きさＳx、Ｓyのパラメータを用いて上記（１）〜（４）式により座標変換する際、前記マスクデータ（マスク領域）を考慮して処理を行う。これにより、遮景領域がある場合には、その範囲について座標変換の計算処理を行う必要がなくなるため、計算量の削減を図ることが可能となり、処理の迅速化を図ることが可能となる。
【００２５】
次に、指示入力装置１２により、既に入力されているものの中から合成するテクスチャ画像を選択（指定）し（ステップ６）、そのテクスチャ画像を合成する合成領域（１領域でも複数領域でもかまわない）を指定する（ステップ７）。この時、合成されるテクスチャ画像が縮小されて合成される場合は、あらかじめテクスチャ画像にローパスフィルタ処理等を行い、モアレの発生を抑える必要がある。
【００２６】
次に、合成するテクスチャ画像の実際の大きさを指定する（前述したように、長方形の大きさをテクスチャ画像がいくつ並ぶという相対値で指定した場合は１を指定する）。そして、合成を行う合成領域内の座標値に対して前記射影的正規化変換を行って算出した相対座標値（α，β）を、テクスチャ画像の実際の大きさおよびテクスチャ画像の画素単位での大きさより、実際に合成を行うテクスチャ画像上での座標値（ｘt，ｙt）に、以下の式により変換するテクスチャ座標変換を行う（ステップ８）。その際、ｘt、ｙtが０未満（後述する図１１に示すような相対座標系でα、βが負の場合）またはＳtpx、Ｓtpy以上となる時は、Ｓtpx、Ｓtpyで割った余りを計算し、余りの画素数でテクスチャ画像上の座標値を設定する。
【００２７】
【数２】
2005293616.tif 000004
【００２８】
次に、上記ステップ８で変換した座標のテクスチャ画像を構成する各画素の画素値を、合成を行う画素（マスク領域内の合成領域の対応する画素）の画素値と置換する事により、選択した前記合成領域にテクスチャ画像の合成を行う（ステップ９）。その際、実際の３次元空間では長方形となる前記原画像上の合成領域を表わす四角形の該３次元空間上での実際の大きさ（Ｓx、Ｓy）と前記テクスチャ画像の実際の大きさ（Ｓtrx、Ｓtry）とにより求められる相対比として与えられる回数、該テクスチャ画像を繰り返して前記合成領域に合成する。この繰り返し合成の詳細については、便宜上後述する。
【００２９】
次に、合成されたテクスチャ画像の輝度を原画像の輝度データに基づいて変更する（ステップ１０）。具体的には、上記ステップ９の合成処理によりテクスチャ画像が合成された領域の各画素に対して、下記（７）式により輝度の変更を行う。これにより、原画像の合成領域内の明暗の差を大きくまたは小さくしたり、原画像と合成されたテクスチャ画像の平均輝度の差を大きくしたり小さくしたり調整し、より自然な合成画像が得られるようにできる。ここで各パラメータを変更することにより、原画像の合成領域上の材質と反射率等の極端に違うテクスチャ画像を合成したい場合でも、違和感のない自然な合成画像を得ることができる。他に合成するテクスチャ画像がある場合には、上述したステップ６〜１０の処理を繰り返す（ステップ１１）。
【００３０】
図９には、実際に前記図３の原画像に図７のマスクデータを設定し、その２つの領域に図４のテクスチャ画像を合成することにより作成した合成画像を示した。この図９では、階調差が明確でないために分り難いが、前記図３と同様に２点鎖線で境界を示した陰影が、この合成画像に反映されている。
【００３１】
【数３】
2005293616.tif 000005
【００３２】
次に、便宜上ここで、前述したようにテクスチャ画像上での座標値を計算するに当り、いったん相対座標値α、βを計算しておき、その後ｘt、ｙtを計算した理由を図を用いて詳細に説明する。
【００３３】
いま、図１０に示した合成領域の実際の大きさが、例えばｍ単位で幅５、高さ３であったとすると、α、βに変換された後の座標は図１１のようになる（ここまでの計算はテクスチャの画素単位での大きさ、実際の大きさに無関係に計算できる）。ここで、この領域に図１２に模式的に示すテクスチャ画像（画素単位での大きさ：１００×１００、実際の大きさ：１×１）に対してテクスチャ画像上での座標値への変換を行った結果を、該テクスチャ画像を繰り返して合成した結果として図１４に示す。また、図１３に模式的に示すテクスチャ画像（画素単位での大きさ：１５０×１５０、実際の大きさ：２×２）に対してテクスチャ画像上での座標値への変換を行った結果を、同じく繰り返して合成した結果として図１５に示す。
【００３４】
この例からも明らかなように、Ｐ1〜Ｐ4の領域の実際の大きさ、テクスチャ画像の画素単位での大きさと実際の大きさを指定することにより、実際に即した大きさで合成することが可能である。また、いったんα、βを計算しておくことにより、このα、βはテクスチャ画像の大きさと無関係に計算できるので、画素単位で実際の大きさの異なるテクスチャ画像を合成する場合でも、α、βの値は再利用できるため、計算量を減らすことが可能である。
【００３５】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００３６】
例えば、前記実施形態では座標変換として射影的正規化変換を採用したが、これに限定されず、原画像上の合成領域を実際の３次元空間で長方形（正方形を含む）に正規化する座標変換であれば制限されない。又、画像合成装置の具体的構成は前記図１に示したものに限定されない。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る一実施形態の画像合成装置の概略構成を示すブロック図
【図２】同実施形態の作用を示すフローチャート
【図３】原画像の一例を示す説明図
【図４】テクスチャ画像の一例を示す説明図
【図５】マスクデータの作成手順を示す説明図
【図６】マスクデータの作成手順を示す他の説明図
【図７】作成されたマスクデータの一例を示す説明図
【図８】パラメータの指定の仕方を示す説明図
【図９】合成画像の一例を示す説明図
【図１０】パラメータ設定された合成領域の一例を示す線図
【図１１】上記合成領域を相対座標に変換した状態を示す線図
【図１２】テクスチャ画像の一例を模式的に示す線図
【図１３】テクスチャ画像の他の一例を模式的に示す線図
【図１４】図１２のテクスチャ画像を合成した画像を示す線図
【図１５】図１３のテクスチャ画像を合成した画像を示す線図
【符号の説明】
【００３８】
１０…画像入力装置
１２…指示入力装置
１４…画像合成装置
１６…表示装置
１８…画像出力装置
【図１】
2005293616.tif 000006
【図２】
2005293616.tif 000007
【図３】
2005293616.tif 000008
【図４】
2005293616.tif 000009
【図５】
2005293616.tif 000010
【図６】
2005293616.tif 000011
【図７】
2005293616.tif 000012
【図８】
2005293616.tif 000013
【図９】
2005293616.tif 000014
【図１０】
2005293616.tif 000015
【図１１】
2005293616.tif 000016
【図１２】
2005293616.tif 000017
【図１３】
2005293616.tif 000018
【図１４】
2005293616.tif 000019
【図１５】
2005293616.tif 000020