(57)【要約】【課題】反射部分を含む画像に対しても自然なクロマキー合成を実現する画像合成技術を提供する。【解決手段】背景候補座標特定部２２により、背景色に基づいて原画像から背景領域の候補となる画素の座標を背景候補座標として特定される。また、距離算出部２４は、背景色に基づいて決定される所定の画素値と、原画像における背景候補座標の各々の画素値との距離を算出する。背景画像生成部２６は、背景画像における背景候補座標の各々の画素に対して、画像処理パラメータ記憶部２５から背景候補座標おける距離に対応する画像処理パラメータを取得し、この画像処理パラメータを用いて画像処理を施し合成用背景画像を生成する。画像合成部２７は、原画像における背景候補座標の画素値から背景色を除いた前景画像と合成用背景画像とを合成する画像合成部とを合成する。【選択図】図２
2011059950.tif 000002
【特許請求の範囲】
【請求項１】
背景領域と被写体とを含む原画像および当該原画像と合成する背景画像を取得する画像取得部と、
前記背景領域の色である背景色を取得する背景色取得部と、
前記背景色に基づいて前記原画像から前記背景領域の候補となる画素の座標を背景候補座標として特定する背景候補座標特定部と、
前記背景色に基づいて決定される所定の画素値と、前記原画像における前記背景候補座標の各々の画素値との距離を算出する距離算出部と、
前記距離に対応する画像処理パラメータを記憶する画像処理パラメータ記憶部と、
前記背景画像における前記背景候補座標の各々の画素に対して、前記画像処理パラメータ記憶部から当該背景候補座標おける前記距離に対応する前記画像処理パラメータを取得し、当該画像処理パラメータを用いて画像処理を施し合成用背景画像を生成する背景画像生成部と、
前記原画像における前記背景候補座標の画素値から前記背景色を除いた前景画像と前記合成用背景画像とを合成する画像合成部と、を備えたことを特徴とする画像合成装置。
【請求項２】
前記画像処理は、画像の鮮明度を低下させる処理であり、前記距離が大きいほど鮮明度が低下するように前記画像処理パラメータが設定されていることを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記所定の画素値は、前記背景色と前記原画像における前記背景候補座標の各々の画素値との距離に応じて決定され、
前記画像合成部は、前記原画像における前記背景候補座標の画素値から前記所定の画素値を減じた画像を前記前景画像として用いることを特徴とする請求項１又は２記載の画像合成装置。
【請求項４】
前記背景画像生成部は、前記背景候補画素から構成される背景候補領域の境界位置に基づいて画像処理パラメータを調整することを特徴とする請求項１から３のいずれか一項に記載の画像合成装置。
【請求項５】
背景領域と被写体とを含む原画像および当該原画像と合成する背景画像を取得するステップと、
前記背景領域の色である背景色を取得するステップと、
前記背景色に基づいて前記原画像から前記背景領域の候補となる画素の座標を背景候補座標として特定するステップと、
前記背景色に基づいて決定される所定の画素値と、前記原画像における前記背景候補座標の各々の画素値との距離を算出するステップと、
前記背景画像における前記背景候補座標の各々の画素に対して、当該背景候補座標おける前記距離に対応する画像処理パラメータを決定するとともに、当該画像処理パラメータを用いて画像処理を施し合成用背景画像を生成するステップと、
前記原画像における前記背景候補座標の画素値から前記背景色を除いた前景画像と前記合成用背景画像とを合成するステップと、を備えたことを特徴とする画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成技術、特に、クロマキー技術を利用した画像合成技術に関する。
【背景技術】
【０００２】
従来、クロマキー技術を用いた画像合成に関する様々な検討が行われている。特に、被写体に透過領域や反射（写り込み）領域がある場合に、自然に合成するための技術の検討が行われている。このような技術として、例えば、前景画像に含まれる前景被写体を、背景画像の一部にはめ込んだ合成画像を生成するクロマキー装置において、上記前景画像の映像信号より生成された特定色を抽出するためのクロマキー信号と、上記前景被写体を抽出したとき、この前景被写体に残る上記特定色をキャンセルするカラーキャンセルキー信号と、上記前景画像の背景部分に相当する上記特定色に関連したマット信号と、上記前景被写体をはめ込むべき背景画像用映像信号と、この背景画像用映像信号より生成した写り込み用の補正信号とが画像合成部に供給され、この画像合成部において、上記背景画像に上記前景被写体がはめ込まれた合成画像が得られると共に、この前景被写体に上記背景画像の一部が写り込まれた状態で合成処理が行われるものがある（特許文献１参照）。
【０００３】
この特許文献１の技術では、カラーキャンセルキー信号を用いることにより被写体中の反射や透過部分の背景がキャンセルされるが、補正信号を前景画像に加えることにより写り込みを表現している。
【０００４】
また、特許文献１の技術では、前景被写体のエッジ信号に、上記背景画像用映像信号の低域成分を重畳したものを、上記合成映像信号に合成することで、上記背景画像にはめ込まれる上記前景被写体のエッジ付近の色変化を緩慢にしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−９５００７（段落番号００１０−００１２，００５６−００５９）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では前景画像と背景画像の他に写り込みを実現するための補正信号を必要としている。背景画像の色は無限に存在するため、それらの背景画像に対応可能な補正信号を予め準備することは不可能である。また、合成する際にエッジ部分の背景をぼかすことによって違和感を低減している。しかし、そのためにはエッジを検出しなければならず、演算量が増加し好ましくない。
【０００７】
本発明の目的は、反射部分を含む画像に対しても自然なクロマキー合成を実現する画像合成技術を提供することである。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明の画像合成装置は、背景領域と被写体とを含む原画像および当該原画像と合成する背景画像を取得する画像取得部と、前記背景領域の色である背景色を取得する背景色取得部と、前記背景色に基づいて前記原画像から前記背景領域の候補となる画素の座標を背景候補座標として特定する背景候補座標特定部と、前記背景色に基づいて決定される所定の画素値と、前記原画像における前記背景候補座標の各々の画素値との距離を算出する距離算出部と、前記距離に対応する画像処理パラメータを記憶する画像処理パラメータ記憶部と、前記背景画像における前記背景候補座標の各々の画素に対して、前記画像処理パラメータ記憶部から当該背景候補座標おける前記距離に対応する前記画像処理パラメータを取得し、当該画像処理パラメータを用いて画像処理を施し合成用背景画像を生成する背景画像生成部と、前記原画像における前記背景候補座標の画素値から前記背景色を除いた前景画像と前記合成用背景画像とを合成する画像合成部と、を備えている。
【０００９】
この構成では、背景色と近似する画素値を持つ画素の座標が背景候補座標として特定され、背景画像中の背景候補座標の画素に対して画像処理が施される。その際、背景色に基づいて決定される所定の画素値と、原画像における背景候補座標の各々の画素値との距離が算出され、その距離に応じて決定される画像処理パラメータが用いられる。すなわち、この構成では、背景画像の画素毎に背景色との近似の度合（距離）が求められ、その背景画像の画素に対してその距離に応じた強度の画像処理が施される。このように画像処理された背景画像を合成することにより、被写体中の透過領域や反射領域における違和感を低減することができる。特に、画像処理として画像の鮮明度を低下させる処理を用い、距離が大きいほど鮮明度が低下するように画像処理パラメータを設定すると好適である。これにより、透過領域のように背景が比較的明瞭に見える領域には鮮明な背景画像が合成され、反射領域のように背景が不明瞭に写り込んでいる領域には不鮮明な背景画像が合成されることとなり、違和感を低減することができる。
【００１０】
本発明の画像合成装置の好適な実施形態の一つでは、前記所定の画素値は、前記背景色と前記原画像における前記背景候補座標の各々の画素値との距離に応じて決定され、前記画像合成部は、前記原画像における前記背景候補座標の画素値から前記所定の画素値を減じた画像を前記前景画像として用いる。この構成では、所定の画素値は背景色と原画像における背景候補座標の各々の画素値との距離に応じて決定されている。これにより、前景画像を生成する処理と距離算出部における処理とを共通化することができ、演算量を低減することができる。
【００１１】
一般的に、反射領域への背景領域の写り込みは、それらの境界付近の背景領域の画素値の影響が大きくなっている。そのため、背景画像に画像処理を施す際に、影響の大小に基づいて画像処理パラメータを調整することが好ましい。そのため、本発明の画像合成装置の好適な実施形態の一つでは、前記背景画像生成部は、前記背景候補画素から構成される背景候補領域の境界位置に基づいて画像処理パラメータを調整する。これにより、反射領域における写り込みの違和感を低減することができる。
【００１２】
また、本発明の画像合成装置の技術的特徴は同様の画像合成方法にも適用することができる。例えば、背景領域と被写体とを含む原画像および当該原画像と合成する背景画像を取得するステップと、前記背景領域の色である背景色を取得するステップと、前記背景色に基づいて前記原画像から前記背景領域の候補となる画素の座標を背景候補座標として特定するステップと、前記背景色に基づいて決定される所定の画素値と、前記原画像における前記背景候補座標の各々の画素値との距離を算出するステップと、前記背景画像における前記背景候補座標の各々の画素に対して、当該背景候補座標おける前記距離に対応する画像処理パラメータを決定するとともに、当該画像処理パラメータを用いて画像処理を施し合成用背景画像を生成するステップと、前記原画像における前記背景候補座標の画素値から前記背景色を除いた前景画像と前記合成用背景画像とを合成するステップと、を備えた画像合成方法に適用することができる。当然ながら、このような画像合成方法にも、上述した画像合成装置の付加的特徴を適用することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の画像合成装置を用いた受付装置の斜視図である。
【図２】受付装置の受付ユニットの機能ブロック図である。
【図３】原画像の例である。
【図４】背景候補座標の特定の処理の流れを表すフローチャートである。
【図５】背景候補画素変換画像の生成の処理の流れを表すフローチャートである。
【図６】背景候補画素の画素値を所定の画素値に変換する処理を模式的に表した図である。
【図７】距離の算出の処理の流れを表すフローチャートである。
【図８】ぼかし処理のための空間フィルタの例である。
【図９】距離と画像処理パラメータの関係を表すグラフである。
【図１０】合成用背景画像の生成の処理の流れを表すフローチャートである。
【図１１】距離と合成割合の関係を表す図である。
【図１２】合成画像の生成の処理の流れを表すフローチャートである。
【図１３】全体の処理の流れを表すフローチャートである。
【図１４】空間フィルタのフィルタ係数を変更する処理を模式的に表した図である。
【発明を実施するための形態】
【００１４】
以下に図面を用いて本発明の画像合成装置を説明する。なお、本実施例の形態では、画像合成装置は画像プリントの受付装置Ａの一部として構成されている。
【００１５】
図１は、受付装置Ａの斜視図である。図に示すように、本発明の受付装置Ａは、顧客から画像プリントを行うための画像データと画像プリントの注文内容（プリント数，プリントサイズ，プリント用紙の種類等）とをオーダ情報として取得する機能および画像プリントの料金を徴収する機能を有している。そのため、受付装置Ａは、上部の受付ユニットＡＵ（本発明の画像合成装置の例）および下部の料金受領ユニットＡＤから構成されている。
【００１６】
料金受領ユニットＡＤは、縦長姿勢のケース１０の上部位置に備えられ、硬貨を受領する硬貨投入孔１１Ａを備えた硬貨受領器１１、紙幣を受領する紙幣挿入孔１２Ａを備えた紙幣受領器１２、およびケース１０の下部位置に備えられ、釣銭を排出する釣銭排出口１３Ａを供えた釣銭排出器１３を備えている。
【００１７】
一方、受付ユニットＡＵは、フラッシュメモリ等の半導体メモリからなる各種半導体記憶媒体から画像データを取得するための半導体ドライブ２、ＣＤ−Ｒ等のディスク型記憶媒体から画像データを取得するディスクドライブ３、受付証をプリントし排出する受付証プリント装置４、カメラ付き携帯電話等の機器に接続し画像データを取得するコネクタ５、および各種の表示を行うと共に顧客からの入力を可能にするタッチパネル６を表示面に形成したディスプレイ７を備えている。
【００１８】
図２は、受付ユニットＡＵの本体１の内部に構成されている機能部の機能ブロック図である。図から明らかなように、受付ユニットＡＵは、顧客からの画像プリントの注文受付処理や画像合成時の各種入出力を行う受付部１５と、画像プリントを顧客に引き渡す際に必要となる各種情報をプリントした受付証Ｒを作成する受付証作成部１６と、受付ユニットＡＵを実質的に画像合成装置として機能させる画像合成モジュール２０と、を備えている。また、受付ユニットＡＵは画像データ等を記憶するための半導体メモリで構成されるメモリ１７を備えている。なお、受付部１５は受付処理において、背景領域と被写体とを撮影した画像（以下、原画像と称する）とこの原画像と合成する背景画像とを取得し、メモリ１７上に展開する。したがって、本実施例の形態における受付部１５は本発明における画像取得部として機能する。
【００１９】
画像合成モジュール２０は、背景領域の色である背景色を取得する背景色取得部２１、背景色に基づいて原画像中から背景色に近い画素値を持つ画素の座標を背景候補座標として特定する背景候補座標特定部２２、原画像中の背景候補座標の画素値を所定の画素値に変換し背景候補画素変換画像を生成する背景候補画素変換部２３、原画像中の背景候補座標の画素値と背景候補画素変換画像中の背景候補座標の画素値との距離を算出する距離算出部２４、各種パラメータを記憶する画像処理パラメータ記憶部２５、背景画像中の背景候補座標の画素に対して、距離算出部２４により算出されたその背景候補座標おける距離に対応する画像処理パラメータをパラメータ記憶部２５から取得し、取得した画像処理パラメータを用いて画像処理を施し合成用背景画像を生成する背景画像生成部２６、および、原画像中の背景候補座標の画素値から背景色を除いた前景画像と合成用背景画像とを合成する画像合成部２７から構成されている。
【００２０】
受付部１５は、上述したように受付処理において少なくとも原画像とその原画像に合成する背景画像とを取得する。図３は、原画像３０の例である。図から明らかなように、原画像３０は、少なくとも背景領域３１と被写体３２とを含んでいる。この原画像３０は、通常のクロマキー処理に用いられる画像と同様に、単一色の背景幕の前に被写体を位置させて撮影したものである。そのため、背景領域３１を構成する画素の画素値は理想的には単一色、現実的には近似色となっている。なお、本実施例の形態における原画像は、緑の背景幕を背景として撮影されたものとする。
【００２１】
背景色取得部２１は、背景色を取得する。一般的には、原画像はスタジオ等で撮影されるため背景色は既知である。この場合には、図示しない不揮発性メモリに背景色を記憶しておき、背景色取得部２１はそこから背景色を取得する構成とすることができる。一方、背景色が未知の場合には、顧客に対して背景領域中の一点もしくは位置領域を指定してもらい、背景色取得部２１は、その点の画素値やその領域の画素値の平均値を背景色として取得する構成とすることもできる。当然ながら他の方法を用いて背景色を取得しても構わない。
【００２２】
背景候補座標特定部２２は、原画像中の画素のうち背景色に近い画素値を持つ画素（以下、背景候補画素と称する）の座標を背景候補座標として特定する。すなわち、背景候補座標特定部２２は、原画像の画素のうち背景色の影響を受けている画素の座標を特定する機能を有している。
【００２３】
理想的な背景領域は単一の画素値を有しているため、背景色取得部２１により取得された画素値を持つ画素のみを背景候補画素とすれば足りるが、上述したように実際には背景領域は単一色ではなく、近似色により構成されている。そのため、背景候補画素として背景色に近い色を持つ画素を特定する必要がある。また、被写体の素材によっても背景色の影響を受けるものがある。例えば、ペットボトル等の透明（又は半透明）なプラスチック製品やレース生地等は背景が透過するため、被写体でありながら、背景色の影響を受けている。また、金属等の鏡面反射が強い物体や白っぽい素材には背景が写り込むため、このような被写体も背景色の影響を受けた画素値を有している。図３の例では、ペットボトルの部分が背景色を透過した透過領域３３となっている。また、ズボンの下部が背景色が写り込んだ反射領域３４となっている。違和感のない合成を実現するためには、このような透過領域３３や反射領域３４も背景候補画素として特定しておく必要がある。
【００２４】
そのため、本実施例の形態における背景候補座標特定部２２は、図４に示す処理により背景候補画素を特定している。まず、背景色取得部２１により取得された背景色を均等色空間に変換する（＃０１）。本実施例の形態では、原画像，背景画像等はＲＧＢ空間で表現されており、均等色空間としてはＨＳＶ空間を用いるものとする。なお、ＲＧＢ空間からＨＳＶ空間への変換は公知の手法を用いることができる。また、実際の演算では取り扱いが容易なように、円筒座標系であるＨＳＶ座標を直交座標系であるｘｙｚ座標に変換している。したがって、以下では特に断らない限りＨＳＶ空間での座標とは、円筒座標系での座標を（Ｈ，Ｓ，Ｖ）とした場合に直交座標系の座標（ｘ，ｙ，ｚ）＝（Ｓ×ｃｏｓ（Ｈ），Ｓ×ｓｉｎ（Ｈ），Ｖ）で表されたものとする。そのため、ここで求められたＨＳＶ空間での背景色をμ＝（ｘb，ｙb，ｚb）と表す。
【００２５】
次に、メモリ１７上に展開されている原画像から一の画素値を取得する（＃０２）。背景候補座標の特定処理では、原画像の全ての画素をチェックする必要があるため、原画像からの画素値の取得はラスタスキャン順（メモリ１７のアドレス順）が望ましい。また、ここで選択された画素値も背景色と同様にＨＳＶ空間に変換する（＃０３）。ここで求められたＨＳＶ空間での画素値をｆｇ＝（ｘf，ｙf，ｚf）と表す。なお、ここで求めたＨＳＶ空間での画素値ｆｇを用いて、原画像をＨＳＶ空間で表現したＨＳＶ原画像を生成し、メモリ１７に記憶しておく。
【００２６】
本実施例の形態では、背景領域の画素値および背景色の影響を受けた画素の画素値は背景色を中心とした多次元（３次元）正規分布に従うと仮定している。すなわち、背景候補画素の画素値がＨＳＶ空間の各直交軸（ｘ，ｙ，ｚ）に対してそれぞれ正規分布Ｎ（ｘb、σx），Ｎ（ｙb、σy），Ｎ（ｚb、σz）にしたがって分布すると仮定し、背景候補画素のＨＳＶ空間での画素値をαと表すと、背景候補画素のＨＳＶ空間での確率密度関数ｆ（α）は次式となる。
【数１】
2011059950.tif 000003
ここで、Σは分散ベクトル[σx，σy，σz]Tの分散共分散行列である。
【００２７】
この式（１）のαにステップ＃０３で得られたｆｇを代入した値に基づいて、ｆｇが背景候補画素である確率ｐを求める（＃０４）。次に、この確率ｐと所定閾値ＴＨを比較し（＃０５）、確率ｐが閾値ＴＨ以上であれば（＃０５のＹｅｓ分岐）、ステップ＃０２において選択された画素は背景候補画素であると判定され、この画素の座標が背景候補座標としてメモリ１７にリスト形式で記憶される（＃０６）。
【００２８】
その後、未処理画素の有無を判定し（＃０７）、未処理画素が存在する場合には（＃０７のＹｅｓ分岐）、処理を＃０２に移行して上述の処理を原画像の全画素に対して行う。
【００２９】
なお、背景候補画素を特定した時点で、背景候補画素とそれ以外の画素とを識別可能に顧客に提示し、分散値σx，σy，σzを調整可能にする構成としても構わない。これにより、画像毎に異なる透過領域や反射領域での画素値の分布に対応することができる。
【００３０】
また、本実施例の形態のように背景領域を緑とした場合には、背景領域と被写体の肌色との境界において背景候補画素の特定がうまくゆかない場合がある。この場合には、黄色の分布を表す正規分布Ｎyを定義し、この正規分布Ｎyを用いて上述と同様の処理を行うことで背景と肌色領域との境界における問題を解決することができる。
【００３１】
なお、本実施例の形態では、均等色空間としてＨＳＶ空間を用いたがＨＶＣやＬａｂ空間等の他の均等色空間を用いても構わない。また、均等色空間において背景候補画素を特定したが、ＲＧＢ空間や他の色空間で行っても構わない。
【００３２】
背景候補画素変換部２３は、原画像中の背景候補画素の画素値を所定の画素値に変換することにより背景候補画素変換画像を生成する。本実施例の形態では、図５のフローチャートの処理により背景候補画素変換画像が生成される。なお、背景候補画素変換画像は原画像の画素値を置換するのではなく、原画像（ＨＳＶ原画像）を保持した状態で新たに生成される。
【００３３】
まず、メモリ１７に記憶されている背景候補座標から一の背景候補座標が選択され（＃１１）、ＨＳＶ原画像におけるその背景候補座標の画素値ｆｇ＝（ｘf，ｙf，ｚf）を取得する（＃１２）。
【００３４】
次に、以下の演算により背景候補画素ｆｇをｆｇ’（本発明における所定の画素値）に変換する（＃１３）。
【数２】
2011059950.tif 000004
【００３５】
この演算は、背景候補画素ｆｇを平面ｚ＝ｚb上に写像し、その平面上で背景色が原点に移動するように変換を行っている。この変換により求められたｆｇ’は背景色の影響が除去され、被写体本来の色を表現したものとなっている。図６は、この変換を模式的に表した図である。なお、図中の楕円は上述の確率密度関数の等高線を表している。図から明らかなように、背景色μと同じ画素値（少なくとも、色相および彩度が同じ）を持つ背景候補画素は式（２）の演算により、μ’＝Ｏ（原点）に変換される。また、背景色μと異なる画素値を持つ背景候補画素の画素値ｆｇは、式（２）の演算によりｆｇ’に変換される。この演算は、図から明らかなように、ｆｇ’はｆｇを（μ’−μ）だけシフトさせた値となっている。なお、このとき、この背景候補画が背景色である確率、すなわち、背景候補画素値ｆｇを確率密度関数ｆに代入して得られる値が大きいほど、ｆｇ’が原点に近づくように調整しても構わない。
【００３６】
一の背景候補座標に対する上述の処理が完了すると、未処理の背景候補画素の有無が判定され（＃１４）、未処理の背景候補画素が存在する場合には（＃１４のＹｅｓ分岐）、処理を＃１１に移行して上述の処理を繰り返す。これにより、メモリ１７上に背景候補画素変換画像が生成される。なお、上述の説明では、変換された背景候補画素の画素値ｆｇ’のｚ成分をｚbとしたが、他の成分と同様に背景色との差分値（ｚf−ｚb）としても構わない。
【００３７】
距離算出部２４は、原画像中の背景候補座標の画素値と背景候補画素置換画像中の背景候補座標の画素値との距離を求める。具体的には、図７のフローチャートの処理により距離が算出される。
【００３８】
まず、メモリ１７から一の背景候補座標を選択する（＃２１）。次に、ＨＳＶ原画像および背景候補画素変換画像から、選択された背景候補座標の画素値を取得し（＃２２，２３）、これらの画素値間の距離を求める（＃２４）。本実施例の形態では、画素値は均等色空間で表現されているため、ここではＨＳＶ空間におけるユークリッド距離（２−ノルムの平方根）を用いる。当然ながら、１−ノルム（各成分の偏差絶対値和）や他の距離を用いても構わない。ここで求められた距離は、背景候補座標と関連付けてメモリ１７に記憶される。
【００３９】
一の背景候補座標に対する距離計算が完了すると、未処理の背景候補座標の有無が判定され（＃２５）、未処理の背景候補座標が存在する場合には（＃２５のＹｅｓ分岐）、処理を＃２１に移行し、上述の処理を繰り返す。
【００４０】
背景画像生成部２６は、背景画像における背景候補座標の画素に対して、前記パラメータ記憶部２５から背景候補座標における距離に対応する画像処理パラメータを取得し、この画像処理パラメータを用いて画像処理を施し合成用背景画像を生成する。
【００４１】
本発明における画像処理は、原画像と背景画像とを合成した際に、透過領域や反射領域に生じる違和感を低減するために、背景画像における背景候補画素に対して行われるものである。したがって、本発明における画像処理は、コントラストの低下やぼかし等の画像の鮮明度合を低下させる処理が望ましい。本実施例の形態では、空間フィルタを用いたぼかし処理を行うものとするが、他の画像処理を適用しても構わない。
【００４２】
図８は、ぼかし処理を実現する空間フィルタの例である。この例では、いずれも３×３の大きさであり、中央以外のフィルタ係数は１となっている。一方、中央のフィルタ係数は（ａ）から（ｃ）に行くに連れて、次第に小さくなっている。これらは、（ａ）から順にぼかし効果が大きなフィルタとなっている。このように、空間フィルタではフィルタ係数を変更することにより、容易にフィルタ効果の強弱を変更することができる。本実施例の形態では、フィルタ効果の強弱はフィルタ中央のフィルタ係数を変更することにより行うが、中央のフィルタ係数以外のフィルタ係数の変更や、フィルタの大きさを変更する等により行っても構わない。
【００４３】
本実施例の形態のパラメータ記憶部２５には、画素値間の距離（距離算出部２４により求められる距離と同等）に対応する空間フィルタの中央値が画像処理パラメータとして記憶されている。図９は、画素値間の距離と画像処理パラメータとの関係をグラフ化したものである。横軸が距離、縦軸が画像処理パラメータである。この例では、パラメータ記憶部２５には、図８のフィルタの中央のフィルタ係数が画素値間の距離と関連付けて記憶されている場合を示している。図から明らかなように、距離がＬ1からＬ2までは画像処理パラメータは４であり、距離がＬ2からＬ3までは画像処理パラメータは２であり、距離がＬ3以上の場合には画像処理パラメータは１であり、距離がＬ1未満の場合には０となっている。上述したように、フィルタの中央のフィルタ係数が小さくなるほどぼかし効果が大きくなる。したがって、このグラフは画素値間の距離が大きくなるほど、画像処理の効果が大きくなるように設定することを示している。これにより、背景色からの距離が大きい、すなわち、背景色の影響が小さい画素ほど画像処理の効果が大きくなる。すなわち、背景領域や透過率の高い被写体中の透過領域では距離が小さくなるため、背景画像中のそれらの領域に対応する領域に対する画像処理は行われない、もしくは、弱い画像処理が施される。一方、透過率の低い被写体中の透過領域や反射率の低い被写体中の反射領域では距離が大きくなるため、背景画像中のそれらの領域に対応する領域に対しては強い画像処理が施される。したがって、このように処理された合成用背景画像を合成しても、透過領域や反射領域における違和感を低減することができる。なお、画像処理パラメータが０の場合には、画像処理を施さないことを意味している。したがって、背景色に極めて近い画素値を持つ画素に対する画像処理は行われない。
【００４４】
以下に、図１０のフローチャートを用いて背景画像生成部２６の処理の流れを説明する。まず、メモリ１７から一の背景候補座標とその背景候補座標に関連付けられている距離を取得する（＃３１，３２）。次に、取得した距離に対応する画像処理パラメータをパラメータ記憶部２６から取得する（＃３３）。そして、取得した画像処理パラメータを空間フィルタの中央のフィルタ係数に設定し、空間フィルタの中央と背景画像の背景候補座標とが一致するように空間フィルタを位置させ、背景画像と空間フィルタのフィルタ係数とを畳み込むことにより、画像処理された背景画像の画素値が得られる（＃３４）。なお、図８の空間フィルタは正規化されていないため、実際の演算では畳み込み演算により得られた値をフィルタ係数の和で除する必要がある。
【００４５】
一の背景候補座標に対する処理が完了すると、未処理の背景候補座標の有無が判定され（＃３５）、未処理の背景候補座標が存在する場合には（＃３５のＹｅｓ分岐）、処理を＃３１に移行し、上述の処理を繰り返す。これにより画像処理が施された合成用背景画像が生成される。
【００４６】
画像合成部２７は、原画像における背景候補座標の画素値から背景色を除いた前景画像と合成用背景画像とを合成し、合成画像を生成する。本実施例の形態では、背景候補画素変換画像の画素値は背景色が除かれた状態となっているため、前景画像として背景候補画素変換画像を用いる。
【００４７】
本実施例の形態では、画像合成は前景画像と背景画像のいずれかの画素を用いるハードクロマキーではなく、前景画像と背景画像との画素を所定の割合で合成するソフトクロマキーを用いる。そのため、本実施例の形態では、パラメータ記憶部２５に画素値間の距離（距離算出部２４により算出された距離に相当）に対応する合成割合が記憶されている。図１１は、パラメータ記憶部２５に記憶されている合成割合の例である。図は、横軸を画素値間の距離、縦軸を合成割合としている。なお、合成割合とは前景画像の画素値に対して背景画像の画素値を合成する割合であり、前景画像の画素値をｆｇ，背景画像の画素値をｂｇ，合成割合をαとすると、合成画像の画素値ｃは、
ｃ＝（１−α）×ｆｇ＋α×ｂｇ    ・・・（３）
により求められる。図から明らかなように、距離が小さい、すなわち背景候補画素の画素値が背景色に近い場合には、合成割合が１に近くなるように設定されている。一方、距離が大きい、すなわち背景候補画素の画素値が背景色から離れるにしたがって、合成割合が０に近くなるように設定されている。これにより、背景領域または透過率が高い被写体中の透過領域に対応する合成画像の画素値は、合成用背景画像の画素値が大きく寄与することとなる。一方、透過率が低い被写体中の透過領域や反射率が低い被写体中の反射領域に対応する合成画像の画素値は、適度に合成用背景画像の画素値が寄与した値となり、違和感を低減することができる。
【００４８】
以下に図１２のフローチャートを用いて画像合成処理の流れを説明する。まず、メモリ１７上の前景画像から一の画素値ｆｇが選択され（＃４１）、この画素値ｆｇの座標が背景候補座標であるか否かが判定される（＃４２）。画素値ｆｇの座標が背景候補画像でない場合には（＃４２のＮｏ分岐）、合成用背景画像の合成は行われず、前景画像の画素値が合成画像の画素値ｃとして用いられるため、画素値ｃを画素値ｆｇに設定する（＃４８）。一方、画素値ｆｇの座標が背景候補座標である場合には（＃４２のＹｅｓ分岐）、前景画像の画素値と合成用背景画像の画素値とを合成するために以下の処理が行われる。
【００４９】
まず、メモリ１７から画素値ｆｇの座標に関連付けられている距離を取得し（＃４３）、その距離に対応する合成割合αをパラメータ記憶部２５から取得する（＃４４）。そして、合成用背景画像から画素値ｆｇの座標と同座標の画素値ｂｇを取得する（＃４５）。これらの値に基づき、合成画像の画素値ｃは式（３）により求められる（＃４６）。
【００５０】
一の画素値に対する処理が完了すると、未処理の画素の有無が判定され（＃４７）、未処理画素が存在する場合には（＃４７のＹｅｓ分岐）、処理を＃４１に移行し、上述の処理が繰り返される。この処理により、メモリ１７上に合成画像が生成される。
【００５１】
上述のようにして生成された合成画像は、受付部１５により受け付けられたオーダ情報とともにプリント装置（図示せず）に送られ、画像プリントが作成される。
【００５２】
次に、図１３のフローチャートを用いて本発明における画像合成の処理の全体の流れを説明する。まず、原画像および背景画像が記録された画像記録媒体（ＣＤ−Ｒ，フラッシュメモリ等）を持参した顧客は、受付装置Ａのタッチパネル６を操作することにより、受付装置Ａを受付可能な状態に移行させる。
【００５３】
受付装置Ａが受付可能状態になったところで、顧客は半導体ドライブ２，ディスクドライブ３およびコネクタ５のいずれかに画像記録媒体をセットすると、受付装置Ａは画像記録媒体に記録されている画像データもしくはそのサムネイル画像データを読み出し、ディスプレイ７に一覧表示する。これに対して顧客がタッチパネル６を操作することにより原画像および背景画像を指定すると受付部１５は指定された原画像および背景画像を画像記録媒体から取得し、メモリ１７に展開する（＃５１）。
【００５４】
受付部１５により原画像および背景画像が取得されると背景色取得部２１は、原画像の所定座標に位置する画素の画素値を背景色として取得する（＃５２）。本実施例の形態では、所定座標として原画像の左上の座標を用いるが、背景領域に属している可能性が高い座標であれば他の座標を用いても構わない。また、複数の点を取得し、それらの画素値の平均値を背景色としても構わない。このようにして取得された背景色は、メモリ１７に記憶される。
【００５５】
背景色取得部２１により背景色が取得されると、背景候補座標特定部２２により背景候補画素の座標が特定される（＃５３）。背景候補座標特定部２２により背景候補座標の特定が完了すると、その旨が背景候補画素変換部２３に通知され、原画像における背景候補座標の画素値が変換され、背景候補画素変換画像が生成される（＃５４）。背景候補画素変換画像の生成が完了すると、その旨が距離算出部２４に通知される。
【００５６】
通知を受けた距離算出部２４は、原画像における背景候補座標の画素値と背景候補画素変換画像における背景候補座標の画素値との距離を算出し、各背景候補座標と関連付けてメモリ１７に記憶させる（＃５５）。全ての背景候補座標に対する距離の計算が完了すると、その旨が背景画像生成部２６に通知される。
【００５７】
通知を受けた背景画像生成部２６は、各背景候補座標に関連付けられている距離に対応する画像処理パラメータをパラメータ記憶部２５から取得し、背景画像の背景候補座標の画素に対して画像処理を施すことにより合成用背景画像を生成する（＃５６）。合成用背景画像の生成が完了すると、その旨が画像合成部２７に通知される。合成用背景画像の生成が完了すると、その旨が画像合成部２７に通知される。
【００５８】
通知を受けた画像合成部２７は、前景画像の画素の座標が背景候補座標であるか否かを判定し、背景候補座標である場合にはその座標に関連付けられている距離に対応する合成割合を取得し、その合成割合に応じて前景画像の画素値と合成用背景画像の画素値とを合成することにより合成画像を生成する（＃５７）。
【００５９】
例えば、図３の例において、透過領域３３および反射領域３４がいずれも背景候補画素となっており、原画像中の透過領域３３の画素値が背景色に近く、原画像中の反射領域３４の画素値が背景色から離れていると仮定する。このとき、合成用背景画像の生成処理では、透過領域３３に対応する画素に対する画像処理パラメータは大きい値が設定されるため、合成用背景画像における透過領域３３は弱い画像処理が施されたものとなる。一方、反射領域３４に対応する画素に対する画像処理パラメータは小さい値が設定されるため、合成用背景画像における反射領域３４は強い画像処理が施されたものとなる。したがって、合成用背景画像における透過領域３３は鮮明さを保持しているが、反射領域３４は鮮明さが低下した状態となる。また、合成画像の生成においては、透過領域３３に対応する画素の合成割合は大きく、反射領域３４に対応する画素の合成割合は小さくなる。したがって、合成画像における透過領域３３は鮮明な背景画像が高い割合で合成され、反射領域は不鮮明な背景画像が低い割合で合成される。これにより、被写体中に透過や反射する部分が存在しても、違和感の少ない画像合成を行うことができる。
【００６０】
以上の合成処理および全ての受付処理が完了すると、受付証作成部１６および受付証プリント装置４により受付証Ｒがプリントアウトされる（＃５８）。この受付証は、顧客が画像プリントを受け取る際の種々の情報が記録されたものであり、顧客はこの受付証Ｒにより画像プリントを受け取ることができる。
【００６１】
また、上記の処理により作成された合成画像は、受付装置Ａからプリント装置（図示せず）に送信され（＃５９）、プリント装置により画像プリントが作成される。
【００６２】
〔別実施形態〕
（１）上述の実施例の形態では、空間フィルタの中央以外のフィルタ係数は同じ値（＝１）としたが、画像の特性に応じてフィルタ係数を異なるように構成しても構わない。例えば、図１４（ａ）に示すように、下方が背景領域３１と接している反射領域３４があるとすると、反射領域３４の下方（背景領域３１との境界付近）の画素値は、背景領域３１の上方（反射領域３４との境界付近）の画素値の影響を受けている。このとき、注目画素ｃｐにより大きな影響を与える画素位置に対応するフィルタ係数を大きく設定することが望ましい。例えば、図１４（ｂ）のようなフィルタ係数を設定すると、反射領域３４に接する背景領域３１の画素値の影響を大きくすることができる。これにより、より自然な写り込みを表現することができる。
【００６３】
（２）上述の実施例の形態では、所定の画素値を、背景色と原画像における背景候補座標の各々の画素値との距離に応じて決定したが、所定の画素値を単一の画素値としても構わない。例えば、背景色とすることができる。この場合でも、上述した実施例の形態と同様の距離関係を得ることができるため、合成用背景画像の生成および合成画像の生成も上述の実施例の形態と同様の作用効果を得ることができる。ただし、この場合には、画像合成部２７は、前景画像として上述の実施例の形態における背景候補画素変換画像を生成する必要がある。
【産業上の利用可能性】
【００６４】
本発明は、クロマキー技術を用いた画像合成技術に利用することができる。
【符号の説明】
【００６５】
Ａ：受付装置
ＡＵ：受付ユニット
１：本体
２：半導体ドライブ
３：ディスクドライブ
４：受付証プリント装置
５：コネクタ
６：タッチパネル
７：ディスプレイ
１５：受付部（画像取得部）
１６：受付証作成部
１７：メモリ
２０：画像合成モジュール
２１：背景色取得部
２２：背景候補座標特定部
２３：背景候補画素変換部
２４：距離算出部
２５：パラメータ記憶部
２６：背景画像生成部
２７：画像合成部
【図１】
2011059950.tif 000005
【図２】
2011059950.tif 000006
【図３】
2011059950.tif 000007
【図４】
2011059950.tif 000008
【図５】
2011059950.tif 000009
【図６】
2011059950.tif 000010
【図７】
2011059950.tif 000011
【図８】
2011059950.tif 000012
【図９】
2011059950.tif 000013
【図１０】
2011059950.tif 000014
【図１１】
2011059950.tif 000015
【図１２】
2011059950.tif 000016
【図１３】
2011059950.tif 000017
【図１４】
2011059950.tif 000018