(57)【特許請求の範囲】
【請求項１】
単色の背景にて撮影された物体の画像をデジタル化してなるデジタル原画像と、該デジタル原画像の背景部分と置き換えられるべき任意のデジタル背景画像とを合成する方法であって、
デジタル原画像を所定のしきい値によって背景領域と物体領域に分離する第１ステップと、
前記背景領域と物体領域の間に、両領域に跨る境界部分を設定し、デジタル原画像を背景部分、物体部分及び境界部分の３つの領域に分割する第２ステップと、
前記背景部分についてはデジタル背景画像と置き換え、物体部分については原画像を維持し、境界部分については、物体部分の原画像からデジタル背景画像まで画素値を滑らかに変化させる接続画像を生成し、これら３つの画像を合成する第３ステップ
とを有し、
第３ステップでは、デジタル原画像の境界部分を構成する各画素について、該画素の画素値が、該画素から最も近い物体部分の画素の画素値と、デジタル原画像の背景部分の画素値との混合値であるとしたときの混合率を算出した後、接続画像を構成すべき各画素については、該画素から最も近い物体部分の画素値と、デジタル背景画像の中で該画素から最も近い部分の画素値とを、同一画素位置の混合率で混合して、該画素の画素値を算出する画像合成方法。
【請求項２】
第２ステップでは、デジタル原画像を背景領域の第１画素値と物体領域の第２画素値に２値化した後、該２値画像に平滑化処理を施し、背景領域と物体領域の間の鈍化された領域を境界部分とし、残りの領域を背景部分及び物体部分とする請求項１に記載の画像合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子カタログの作成等に於いて、単色の背景にて撮影された物体の画像を対象として、該画像の背景部分を新しい背景画と置き換えるための画像合成方法に関するものである。
【０００２】
【従来の技術】
近年、多数の商品のカタログを電子化して、商品の検索を高効率化し、更には商品の発注をオンライン化せんとする試みが為されている(特開平7-56784〔G06F12/00〕、特開平4-247567〔G06F15/21〕)。
この様な電子カタログの作成に於いては、先ず、商品を単色の背景にてカメラで撮影し、これによって得られたカラー画像をイメージスキャナー等によって取り込み、デジタル化する。デジタル化された原画像は、マイクロコンピュータによる画像処理回路に送られる。
【０００３】
デジタル原画像は、例えば図１０(ａ)の如く単色の背景部分Ｕと、商品の画像である物体部分Ｖから構成され、画像処理回路による画像合成処理によって、単色の背景部分Ｖが、図１０(ｂ)の如く新しい任意の背景画像Ｕ″と置き換えられる。
従って、新しく合成すべき背景画像Ｕ″を商品の種類に応じて自然の風景画像や人工的な模様画像に変更することにより、商品に対して種々の審美的効果を与えることが出来る。
【０００４】
画像合成に際しては、先ず、図１０(ａ)のデジタル原画像を対象として、明らかに背景部分と推定される画素を選出し、その後、選出画素と隣接し、且つ画素値に大きな差のない次の画素、即ち所定のしきい値を上回らない隣接画素を順次選び出していく。ここで、画素値としては、例えばＲＧＢの３原色信号(“０”〜“２５５”)にＹＩＱ変換を施して得られる輝度データを採用することが出来る。
この結果、デジタル画像は、前記しきい値に基づいて、図１１(ａ)の如く物体領域と背景領域に分離される。
そこで、図１１(ｂ)の如く背景領域の画素値を、新しい背景画像の画素値に置き換えることにより、合成画像を得るのである。
尚、図１１(ａ)(ｂ)は、画素位置の１次元方向の変化による画素値の変化を模式的に表わしたものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、デジタル原画像は、イメージスキャナー等によるデジタル化の際の量子化誤差によって、図１１(ａ)に示す様に背景領域と物体領域の境界が鈍化し、背景領域から物体領域に跨る数画素の領域内で画素値が連続的に変化することになる。
この結果、図１１(ｂ)の如く背景領域を新しい背景画像で置き換えた場合、合成画像の画素値の変化は、新しい背景画像と物体画像の間で不連続となり、物体画像の内、量子化誤差によって鈍化されたリング状の領域Ｒには、元の背景色との混合色が残って、図１０(ｂ)の如く物体の周囲が混合色で縁取られた不自然な合成画像となる問題があった。
【０００６】
前記縁取りの問題は、しきい値を高く設定することによって、ある程度は軽減可能である。ところが、物体領域の画素値は場所によって大きく異なり、しきい値は、物体領域の画素の内、最も背景領域に近い画素の画素値よりも更に低く設定する必要があるので、事実上、しきい値を十分に高く設定することが出来ず、前記縁取りの問題を解消することは困難である。
本発明の目的は、デジタル原画像の背景部分を任意のデジタル背景画像と置き換える画像合成処理に於いて、物体の画像と背景の画像の間に不自然な境界領域が生成されることのない画像合成方法を提供することである。
【０００７】
【課題を解決するための手段】
本発明に係る画像合成方法は、デジタル原画像を所定のしきい値によって背景領域と物体領域に分離する第１ステップと、前記背景領域と物体領域の間に境界部分を設定し、デジタル原画像を背景部分、物体部分及び境界部分の３つの領域に分割する第２ステップと、前記背景部分についてはデジタル背景画像と置き換え、物体部分については原画像を維持し、境界部分については、物体部分の原画像からデジタル背景画像まで画素値を滑らかに変化させる接続画像を生成し、これら３つの画像を合成する第３ステップとを有している。
具体的には、第３ステップにて、デジタル原画像の境界部分を構成する各画素について、該画素の画素値が、該画素から最も近い物体部分の画素の画素値と、デジタル原画像の背景部分の画素値との混合値であるとしたときの混合率を算出した後、接続画像を構成すべき各画素については、該画素から最も近い物体部分の画素値と、デジタル背景画像の中で該画素に最も近い部分の画素値とを、同一画素位置の混合率で混合して、該画素の画素値を算出する。
【０００８】
上記画像合成方法に於いては、第１ステップにて設定されるべきしきい値は、デジタル原画像の背景部分の画素値と物体部分の画素値の間の任意値であればよく、従来の様に微妙な値の設定は不要である。第２ステップにて設定される境界部分は、前記しきい値の大小に拘わらず、デジタル原画像に於いて量子化誤差により生じていた物体画像と背景画像の間の鈍化部分を包含する幅領域に設定される。第３ステップでは、前記鈍化部分に替えて、物体部分の原画像からデジタル背景画像まで画素値を滑らかに変化させる接続画像が新たに生成される。従って、背景部分のデジタル背景画像と、物体部分の原画像と、境界部分の接続画像とを１画面に合成することによって、物体部分から背景部分まで画素値が滑らかに変化する合成画像が得られる。
又、上記画像合成方法に於いては、接続画像を構成すべき各画素について適切な画素値が設定される。
即ち、デジタル原画像の境界部分に於いては、画素値が連続的に変化していることから、各画素の画素値は、該画素から最も近い物体部分の画素値と背景部分の画素値とを、その画素位置に応じた比率で混合した値であると考えることが出来るので、該混合率を算出した後、画像合成の際にも、同一の画素位置については、同一の混合率で物体部分の画素値とデジタル背景画像の画素値を混合することによって、接続画像を構成する各画素の画素値を妥当な値として算出することが出来るのである。
【０００９】
又、具体的には、第２ステップにて、デジタル原画像を、背景領域の第１画素値(例えば“２５５”)と物体領域の第２画素値(例えば“０”)に２値化した後、該２値画像に平滑化処理を施し、背景領域と物体領域の間の鈍化された領域を境界部分とし、残りの領域を背景部分及び物体部分とする。該具体的方法によれば、背景部分と物体部分の間に、平滑化処理の単位領域の広さに応じた幅(数画素程度)の境界部分が形成されることになる。
【００１２】
【発明の効果】
本発明に係る画像合成方法によれば、物体部分の原画像と背景部分のデジタル背景画像とが、境界部分の接続画像によって、滑らかな画素値の変化で接続されるので、物体の画像と背景の画像の間に不自然な境界領域が生成されることはなく、自然な合成画像が得られる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態につき、図面に沿って具体的に説明する。
図１は本発明の画像合成の手順を表わし、図２(ａ)〜(ｄ)は、該手順によってデジタル原画像から合成画像が作成される過程を図示したものである。
【００１４】
図２(ａ)の如く単色の背景部分Ｕと商品の画像である物体部分Ｖから構成されるフルカラーのデジタル原画像を対象として、該背景部分に新しい任意の背景画像Ｕ′を重ね合わせる場合、以下の画像合成処理が実行される。
尚、デジタル原画像及び、合成すべき新しい背景画像のデジタル背景画像は、各画素がＲＧＢの３原色信号(“０”〜“２５５”)によって構成され、後述のしきい値による画像分離等に用いられる「画素値」としては、例えば３原色信号にＹＩＱ変換を施して得られる輝度データＹが採用される。
【００１５】
先ず、図１のステップＳ１にて、デジタル原画像を背景領域と物体領域に分離する際の基準となるしきい値を設定する。ここで、しきい値は図３に示す如く、デジタル原画像の背景部分の画素値と物体部分の画素値との間の任意値として設定すればよい。
そして、図１のステップＳ２では、前記しきい値よりも低い画素値の画素を背景部分、前記しきい値よりも高い画素値の画素を物体部分として、デジタル原画像を背景部分と物体部分に分離する。
【００１６】
しきい値による画像分離の具体的手続きは、先ず、明らかに背景部分と推定される画素を選出し、その後、選出した画素と隣接し、且つ画素値に大きな差のない次の画素、即ち所定のしきい値を上回らない隣接画素を順次選び出していく。この結果、デジタル原画像から背景部分が分離されることになり、残りの領域が物体部分となる(図３参照)。
尚、物体画像の中央部に中空領域が存在し、該中空領域も新しい背景画像に置き換えんとする場合は、該中空領域についても背景部分として選出し、分離する必要がある。
【００１７】
次に、図１のステップＳ３にて、前記分離された背景部分を“２５５”、物体部分を“０”として、デジタル原画像を２値化する。この結果、図２(ｂ)の如き２値画像が得られる。
続いてステップＳ４にて、前記２値画像に対し、例えば半径４画素のGaussianフィルターによる平滑化処理を施して、背景部分と物体部分の境界を鈍化し、図４に示す如く背景部分と物体部分の間に、両者の混じり合った境界部分を形成する。
ここで、境界部分は、図４に破線で示すデジタル原画像の物体と背景の間の鈍化部分を完全に包含する幅領域(数画素程度)に設定されることになる。
【００１８】
そして、デジタル原画像の全領域を、図２(ｃ)に示す如く前記境界部分Ｗ３、その両側の背景部分Ｗ１及び物体部分Ｗ２の３つ領域に３分割し、図１のステップＳ５では、背景部分Ｗ１の画素値を“２５５”、物体部分Ｗ２の画素値を“０”、境界部分Ｗ３の画素値をその中間値、例えば“１２８”に設定して、デジタル原画像を３値化する。
【００１９】
その後、３値化された３つの画像領域(背景部分Ｗ１、物体部分Ｗ２及び境界部分Ｗ３)を対象として、夫々下記の処理を実行する。
背景部分Ｗ１については、図１のステップＳ６にて、図２(ａ)に示す元のデジタル原画像(３原色信号)を新しいデジタル背景画像(３原色信号)と置き換える。物体部分Ｗ２については、図１のステップＳ９にて、図２(ａ)に示す元のデジタル原画像(３原色信号)をそのまま維持する。
境界部分Ｗ３については、ステップＳ７及びＳ８にて、図９に示す様に物体部分の画像から新しい背景の画像まで、画素値、即ち３原色信号(Ｒ、Ｇ、Ｂ)を滑らかに変化させるための接続画像を生成する。
【００２０】
ここで、前記ステップＳ７及びＳ８による接続画像の生成方法について、具体的に説明する。尚、ステップＳ７及びＳ８の処理は、３原色信号(Ｒ、Ｇ、Ｂ)の夫々について実行される。
図７の如くデジタル原画像は、物体部分から背景部分へ至る境界部分の画素値が連続的に変化しているので、境界部分のある１点Ｐの画素値は、該画素から最も近い物体部分の画素値と背景部分の画素値とを、その画素位置に応じた比率で混合した値であると考えることが出来る。
【００２１】
即ち、物体部分の画素値をＯ、背景部分の画素値をＢ、前記１点の画素値をＰで表わしたとき、混合比率Ｘは下記数１で表わされる。
【数１】
Ｘ＝(Ｐ−Ｂ)／(Ｏ−Ｂ)
【００２２】
同様に、図８に示す如く物体画像と新しい背景画像とを滑らかに繋ぐ接続画像に於いても、接続画像の画素値を連続的に変化させるには、ある１点Ｐ′の画素値は、該画素から最も近い物体部分の画素値と、該画素から最も近い新しい背景部分の画素値とを、その画素位置に応じた比率で混合した値に設定すればよい。
【００２３】
即ち、新しい背景部分の画素値をＮ、前記１点の画素値をＰ′で表わしたとき、混合比率Ｘ′は下記数２で表わされる。
【数２】
Ｘ′＝(Ｐ′−Ｎ)／(Ｏ−Ｎ)
【００２４】
上記数１の混合比率Ｘと上記数２の混合比率Ｘ′は同一値に設定するのが妥当であるので、これらの関係から下記数３が得られる。
【数３】
Ｐ′＝｛Ｎ(Ｏ−Ｐ)＋Ｏ(Ｐ−Ｂ)｝／(Ｏ−Ｂ)
【００２５】
従って、上記数３によって境界画像の全ての画素について新しい画素値を算出することが出来る。
但し、物体部分の画素値Ｏは、画素値算出の対象とする画素から最も近い物体部分の画素値であるが、該画素値は、対象画素の位置によって異なるので、全ての対象画素について別個に算出する必要がある。
【００２６】
そこで、図５の如く境界部分Ｗ３を所定の微小領域(例えば数画素程度)に分割し、各微小領域の３値画像(画素値“１２８”)の画素分布に対し、最小二乗法を適用して、該画素分布を直線Ｌで近似した後、該直線Ｌに対して垂線Ｍを引く。そして、該垂線Ｍが物体部分Ｗ２との境界線を交差する点を求め、該交差点におけるデジタル原画像の画素値を、前記物体部分の真の画素値Ｏと推定するのである(図１のステップＳ７)。
これによって、図６(ａ)の如く物体部分Ｗ２と境界部分Ｗ３の境界線が水平の場合は、垂直の垂線Ｍが引かれて、Ｐ点から最も近いＯ点が求められる。図６(ｂ)の如く境界線が垂直の場合は、水平の垂線Ｍが引かれて、Ｐ点から最も近いＯ点が求められる。又、図６(ｃ)の如く境界線が傾斜している場合は、傾斜した垂線Ｍが引かれて、Ｐ点から最も近いＯ点が求められることになる。
【００２７】
この様にして、物体部分の真の画素値Ｏを推定した後、前記数３によって境界画像の各画素値Ｐ′を算出するのである(図１のステップＳ８)。この演算処理を境界部分の全ての画素を対象として実行することにより、境界画像が生成されることになる。
最後にステップＳ１０にて、ステップＳ６により求めた背景部分の画像と、ステップＳ７及びＳ８により求めた境界画像と、ステップＳ９により求めた物体部分の画像とを、３原色信号Ｒ、Ｇ、Ｂの夫々について合成し、最終的に、図２(ｄ)の如く新しいデジタル背景画像Ｕ′と物体部分の原画像Ｕ′からなるフルカラーのデジタル合成画像を得る。
【００２８】
該合成画像に於いては、図９の如く物体部分の原画像と背景部分のデジタル背景画像とが接続画像によって滑らかに接続され、該接続画像は、物体画像と新しい背景画像とが適切な比率で混合されたものであるから、両画像の境界が視覚的に違和感のない境界線として認識される。
又、図１に示す手続きによれば、簡易な演算処理によって画像合成を行なうことが出来るので、迅速な合成処理が可能であり、ハードウエア化も容易である。
【００２９】
上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。又、本発明の各部構成は上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明に係る画像合成方法の具体的手順を表わすフローチャートである。
【図２】該手順によって画像が合成される過程(ａ)〜(ｄ)を表わす図である。
【図３】２値化による画像分離の説明図である。
【図４】平滑化処理及び３値化による画像分割の説明図である。
【図５】最小二乗法による真の画素値の推定方法の原理を説明する図である。
【図６】該推定方法によって真の画素値が推定される様子を３種類の画像パターン(ａ)(ｂ)(ｃ)について示す図である。
【図７】デジタル原画像における境界部分の画素値の混合比率を説明する図である。
【図８】合成画像における境界部分の画素値の混合比率を説明する図である。
【図９】合成画像における画素値の分布を示す図である。
【図１０】デジタル原画像(ａ)と、従来の合成画像(ｂ)を示す図である。
【図１１】デジタル画像における画素値の分布(ａ)と、従来の合成画像における画素値の分布(ｂ)を示す図である。
【符号の説明】
Ｕ    デジタル原画像の背景部分
Ｖ    デジタル原画像の物体部分
Ｗ１  ３値化画像の背景部分
Ｗ２  ３値化画像の物体部分
Ｗ３  ３値化画像の境界部分
Ｕ′  合成画像の背景部分
Ｖ′  合成画像の物体部分
【図１】
0003706413.tif 000002
【図２】
0003706413.tif 000003
【図３】
0003706413.tif 000004
【図４】
0003706413.tif 000005
【図５】
0003706413.tif 000006
【図６】
0003706413.tif 000007
【図７】
0003706413.tif 000008
【図８】
0003706413.tif 000009
【図９】
0003706413.tif 000010
【図１０】
0003706413.tif 000011
【図１１】
0003706413.tif 000012