(57)【要約】【課題】個別にパラメータの調整を行うことなしに精度のよい画像合成が可能なプログラム、写真印刷装置及び情報記憶媒体を提供することにある。【解決手段】本プログラムは、被写体画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、所与の背景画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、被写体画像の各画素値と抜き取り色の各画素値に基づき、各画素のクロマキー合成パラメータを求める手段と、前記クロマキー合成パラメータに基づき被写体画像の色相成分と所与の背景画像の色相成分を各画素毎に線形合成して、合成画像の色相成分を演算する手段と、前記クロマキー合成パラメータに基づき被写体画像の輝度成分と所与の背景画像の輝度成分を各画素毎に非線形合成して、合成画像の輝度成分を演算する手段と、演算された合成画像の色相成分、輝度成分をＲＧＢ成分に変換する手段を含む。【選択図】        図６
2006031562.tif 000002
【特許請求の範囲】
【請求項１】
抜き取り色を背景として撮影された被写体の画像と所与の背景画像をクロマキー合成するためのプログラムであって、
被写体画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、
所与の背景画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、
被写体画像の各画素値と抜き取り色の各画素値に基づき、各画素のクロマキー合成パラメータを求めるクロマキー合成パラメータ演算手段と、
前記クロマキー合成パラメータに基づき被写体画像の色相成分と所与の背景画像の色相成分を各画素毎に線形合成して、合成画像の色相成分を演算する色相成分合成手段と、
前記クロマキー合成パラメータに基づき被写体画像の輝度成分と所与の背景画像の輝度成分を各画素毎に非線形合成して、合成画像の輝度成分を演算する輝度成分合成手段と、
演算された合成画像の色相成分、輝度成分をＲＧＢ成分に変換する手段と、
を含むことを特徴とするプログラム。
【請求項２】
請求項１において、
前記クロマキー合成パラメータ演算手段は、
被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求めることを特徴とするプログラム。
【請求項３】
請求項１乃至２のいずれかにおいて、
輝度成分合成手段は、
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算することを特徴とするプログラム。
【請求項４】
請求項１乃至３のいずれかにおいて、
輝度成分合成手段は、
前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算することを特徴とするプログラム。
【請求項５】
請求項１乃至４のいずれかにおいて、
輝度成分合成手段は
被写体画像の輝度成分、所与の背景画像の輝度成分、抜き取り色の輝度成分及び各画素の輝度成分の対数値が線形であると仮定して合成画像の輝度成分を非線形合成演算することを特徴とするプログラム。
【請求項６】
請求項１乃至５のいずれかにおいて、
所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属しないと判断した画素については、当該クロマキー合成パラメータが前景画像であることを表す第１の値とし、背景領域に属すると判断した画素については、当該クロマキー合成パラメータが背景画像であることを表す第２の値又は第１の値と第２の値の間に位置するいずれかの値にすることを特徴とするプログラム。
【請求項７】
請求項６において、
前記クロマキー合成パラメータ演算手段は、
色相平面において、抜き取り色に基づき設定した背景中心となる色相値及びその周囲の所定のエリアに属する色相値を有する画素については、クロマキー合成パラメータを第２の値とし、
背景領域には属するが前記所定のエリア外に位置する色相値を有する画素については、前記画素の色相平面における位置と前記所定のエリアの外延と前記所定の２直線のいずれかとの距離関係に基づきクロマキー合成パラメータを求めることを特徴とするプログラム。
【請求項８】
請求項６乃至７のいずれかにおいて、
前記クロマキー合成パラメータ演算手段は、
前記所定の２直線の少なくとも一方を色相平面における原点を通らない直線として定義することを特徴とするプログラム。
【請求項９】
コンピュータにより読みとり可能な情報記憶媒体であって、請求項１乃至８のいずれかに記載のプログラムを記憶することを特徴とする情報記憶媒体。
【請求項１０】
撮影された被写体の画像を取り込み、編集してプリントする写真印刷装置であって、
撮像手段を用いて、抜き取り色を背景として被写体の画像を撮影して、被写体画像を取り込む被写体画像取り込み手段と、
取り込まれた被写体画像と所与の背景画像をクロマキー合成して合成画像を生成するクロマキー合成手段と、
合成画像に基づきプリント画像を生成する手段とを含み、
前記クロマキー合成手段は、
被写体画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、
所与の背景画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、
被写体画像の各画素値と抜き取り色の各画素値に基づき、各画素のクロマキー合成パラメータを求めるクロマキー合成パラメータ演算手段と、
前記クロマキー合成パラメータに基づき被写体画像の色相成分と所与の背景画像の色相成分を各画素毎に線形合成して、合成画像の色相成分を演算する色相成分合成手段と、
前記クロマキー合成パラメータに基づき被写体画像の輝度成分と所与の背景画像の輝度成分を各画素毎に非線形合成して、合成画像の輝度成分を演算する輝度成分合成手段と、
演算された合成画像の色相成分、輝度成分をＲＧＢ成分に変換する手段と、
を含むことを特徴とする写真印刷装置。
【請求項１１】
請求項１０において、
前記クロマキー合成パラメータ演算手段は、
被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求めることを特徴とする写真印刷装置。
【請求項１２】
請求項１０乃至１１のいずれかにおいて、
輝度成分合成手段は、
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算することを特徴とする写真印刷装置。
【請求項１３】
請求項１０乃至１２のいずれかにおいて、
輝度成分合成手段は、
前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算することを特徴とする写真印刷装置。
【請求項１４】
請求項１０乃至１２のいずれかにおいて、
輝度成分合成手段は
被写体画像の輝度成分、所与の背景画像の輝度成分、抜き取り色の輝度成分及び各画素の輝度成分の対数値が線形であると仮定して合成画像の輝度成分を非線形合成演算することを特徴とする写真印刷装置。
【請求項１５】
請求項１０乃至１４のいずれかにおいて、
所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属しないと判断した画素については、当該クロマキー合成パラメータが前景画像であることを表す第１の値とし、背景領域に属すると判断した画素については、当該クロマキー合成パラメータが背景画像であることを表す第２の値又は第１の値と第２の値の間に位置するいずれかの値にすることを特徴とする写真印刷装置。
【請求項１６】
請求項１５において、
前記クロマキー合成パラメータ演算手段は、
色相平面において、抜き取り色に基づき設定した背景中心となる色相値及びその周囲の所定のエリアに属する色相値を有する画素については、クロマキー合成パラメータを第２の値とし、
背景領域には属するが前記所定のエリア外に位置する色相値を有する画素については、前記画素の色相平面における位置と前記所定のエリアの外延と前記所定の２直線のいずれかとの距離関係に基づきクロマキー合成パラメータを求めることを特徴とする写真印刷装置。
【請求項１７】
請求項１５乃至１６のいずれかにおいて、
前記クロマキー合成パラメータ演算手段は、
前記所定の２直線の少なくとも一方を色相平面における原点を通らない直線として定義することを特徴とする写真印刷装置。
【請求項１８】
撮影された被写体の画像を取り込み、編集してプリントする写真印刷装置の写真印刷方法であって、
撮像手段を用いて、抜き取り色を背景として被写体の画像を撮影して、被写体画像を取り込む被写体画像取り込みステップと、
取り込まれた被写体画像と所与の背景画像をクロマキー合成して合成画像を生成するクロマキー合成ステップと、
合成画像に基づきプリント画像を生成するステップとを含み、
前記クロマキー合成ステップは、
被写体画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換するステップと、
所与の背景画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換するステップと、
被写体画像の各画素値と抜き取り色の各画素値に基づき、各画素のクロマキー合成パラメータを求めるクロマキー合成パラメータ演算ステップと、
前記クロマキー合成パラメータに基づき被写体画像の色相成分と所与の背景画像の色相成分を各画素毎に線形合成して、合成画像の色相成分を演算する色相成分合成ステップと、
前記クロマキー合成パラメータに基づき被写体画像の輝度成分と所与の背景画像の輝度成分を各画素毎に非線形合成して、合成画像の輝度成分を演算する輝度成分合成ステップと、
演算された合成画像の色相成分、輝度成分をＲＧＢ成分に変換するステップと、
を含むことを特徴とする写真印刷方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体、写真印刷装置及び写真印刷方法に関する。
【背景技術】
【０００２】
従来より、ＣＣＤカメラ等の撮影部で撮影されたユーザー被写体の画像を編集してプリントする写真シール製造機（写真印刷装置の一例）が知られている。
【０００３】
写真シール製造機では、撮影ブースの被写体の背景面を特定色にして、クロマキー処理やマスク処理等の特定色領域抜き出し処理で、特定色領域を抜き、抜けた部分を他の画像と合成することが行われている。
【特許文献１】特開平８−６５７０５号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
図２３はクロマキー合成について説明するための図である。
【０００５】
クロマキー合成とは対象画像（被写体画像）８４０から前景８５０と背景（抜き取り色）８６０を分離し、前景８５０を新しい背景（所与の背景）８７０と合成するための技術である。
【０００６】
画素値をＸベクトル＝（Ｒ，Ｇ，Ｂ）、前景をＦＧベクトル、背景をＢＧベクトルとすると、
【数３９】
2006031562.tif 000003
が成り立つと仮定している。
ｋ＝０の時は背景、ｋ＝１の特は前景、０＜ｋ＜１の時は半透明部分などを意味する。
（３９）より新しい背景ＢＧ’ベクトルと合成した画素値をＸ’ベクトルとすると、
【数４０】
2006031562.tif 000004
であり、（３９）と（４０）から、
【０００７】
【数４１】
2006031562.tif 000005
となり、ｋが求まれば新しい画素値を計算することができる。
単色背景で撮影したときはＢＧベクトル＝Constと考えられるが（３９）にはＦＧベクトルが未知数として含まれているため、（３９）をといてｋを求めることができない。そこでＦＧの領域をパラメータで設定しｋを計算する方法を工夫するのが従来の方法であった。
【０００８】
図２４は従来の方式で生成された画像である。
【０００９】
図２５は図２４の毛先の部分８１０であり、被写体の毛先が背景色（抜き取り色）とまじりあって中間色になっている様子８１２を示した図である。このように従来は単色背景で撮影すると、輪郭や毛先などで前景色と背景色が混じりあい前景と背景の中間色になる場合があった。特に暗い背景と合成するときに髪の毛先などに背景色がまじりあい、精度のよい画像がえられなかった。
【００１０】
また図２６は図２４のスカート部分８２０であり、被写体の一部に背景色（抜き取り色）が映り込んでいる様子８２２を表している。このように、被写体が背景等に近い場合には被写体に背景色が映り込む現象が見られる。
【００１１】
クロマキー合成ではこのような中間色領域を自然に合成することが精度向上につながる。
【００１２】
上記文献にはその精度向上の手法の一例として、ＲＧＢ色空間をＢＧベクトルを中心とする三角錐の集合で分割し、背景領域、前景領域、その中間領域を設定する手法が記載されている。
【００１３】
しかし上記引用文献の方法は１２８面体を用いた計算法であるので、その頂点である66点に、3,4種類のパラメータを設定する必要があり、パラメータ調整には非常に手間がかかるという問題点があった。
【００１４】
またパーソナルコンピュータで画像合成ツールを使ってクロマキー合成を行う場合には個別の画像状態に合わせて人手によってパラメータを調整して精度のよい画像を合成することも可能である。しかし写真印刷装置等に適用する場合には、撮影状況（背景や照明の明るさや色むら等の個別具体的な状況）を考慮してパラメータを調節して画像の調整を行うことは困難である。
【００１５】
本発明は、以上のような課題を解決するためになされたものであり、その目的とするところは、個別にパラメータの調整を行うことなしに精度のよい画像合成が可能なプログラム、情報記憶媒体、写真印刷装置及び写真印刷方法を提供することにある。
【課題を解決するための手段】
【００１６】
（１）本発明は、
抜き取り色を背景として撮影された被写体の画像と所与の背景画像をクロマキー合成するためのプログラムであって、
被写体画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、
所与の背景画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、
被写体画像の各画素値と抜き取り色の各画素値に基づき、各画素のクロマキー合成パラメータを求めるクロマキー合成パラメータ演算手段と、
前記クロマキー合成パラメータに基づき被写体画像の色相成分と所与の背景画像の色相成分を各画素毎に線形合成して、合成画像の色相成分を演算する色相成分合成手段と、
前記クロマキー合成パラメータに基づき被写体画像の輝度成分と所与の背景画像の輝度成分を各画素毎に非線形合成して、合成画像の輝度成分を演算する輝度成分合成手段と、
演算された合成画像の色相成分、輝度成分をＲＧＢ成分に変換する手段と、
を含むことを特徴とする。
【００１７】
クロマキー合成とは画像の中からある特定色（抜き取り色）をもつ領域を抜き出し、そこに他の画像（所与の背景画像）を埋め込む手法である。
【００１８】
輝度成分、色相成分とは例えばＹＩＱ色空間のＹ成分、ＩＱ平面でもよいし、ＹＵＶ色空間のＹ成分、ＵＶ平面でもよい。またＹＣｒＣｂ色空間のＹ成分、ＣｒＣｂ平面でもよい。Ｒ，Ｇ，Ｂ成分に対しＹ＝ａＲ＋ｂＧ＋ｃＢ（ａ，ｂ，ｃは所定の定数）で定義されるＹ、及び当該Ｙ軸に垂直な平面（ＲＧＢ色空間から線形変換によって得られるもの）であればよい。
【００１９】
被写体画像又は抜き取り色の画素値とは、被写体画像又は抜き取り色のＲＧＢ値またはそのいずれかの成分でも良いし、ＲＧＢ値を変換して得られる画素値又はそのいずれかの成分（例えばＹＩＱ値又はそのいずれかの成分）でもよい。
【００２０】
線形合成とは、例えば線形関数（ｆ（ｘ＋ｙ）＝ｆ（ｘ）＋ｆ（ｙ）が成り立つ場合ｆを線形関数という）を用いて、被写体画像の色相成分と背景画像の色相成分を合成する場合をいう。
【００２１】
非線形合成とは、例えば非線形関数（ｆ（ｘ＋ｙ）＝ｆ（ｘ）＋ｆ（ｙ）が成り立たない関数）を用いて、被写体画像の色相成分と背景画像の色相成分を合成する場合をいう。
【００２２】
ここにおいて明るい画像は線形性を仮定して合成しても精度のよいクロマキー合成を行うことができるが、暗い画像（輝度が低い）では、暗い領域の変換がうまく行かず画像の精度が低下するという問題点があったので、これを解決するためにパラメータを追加して調整する等の方法がとられていた。
【００２３】
しかし本発明のように輝度について非線形性を仮定して合成を行うことにより暗い背景や前景と合成するときに髪の毛先等の微細な部分などに背景色がまじりあうという弊害を防止し被写体や背景が暗い場合でも精度良く合成することができる。
【００２４】
なお背景との境に近いエリア（被写体画像の境界付近）では、撮影時に被写体画像（前景画像）に背景色の映り込みがおこりやすい。例えばグリーンバックで撮影を行う場合には、被写体画像（前景画像）の背景との境界付近に背景色のグリーンが映り込む現象が現れる。この場合新たな背景（所与の背景）と合成した場合には新たな背景（所与の背景）の色を映り込ませることが自然である。しかし輝度については前景と背景の境界付近では、前景画像は旧背景の輝度の影響をあまり受けない方がきれいな画像となる。
【００２５】
本発明によれば色相については線形合成を行っているため、新たな画像の色の映り込みを正確に実現できるとともに、輝度については非線形合成により前景と背景の境界付近では、前景画像は旧背景の輝度の影響をあまり受けないように制御することができる。
【００２６】
一般に写真印刷装置の撮影状況は照明の状態や設置されている場所等によってばらつきが生じるが、本実施の形態によればこれらの明るさの変動につよいシステムを提供することができる。
【００２７】
（２）本発明のプログラムは、
前記クロマキー合成パラメータ演算手段は、
被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求めることを特徴とする。
【００２８】
人間の目は色相については敏感であるが、本発明によれば色相成分に基づき各画素のクロマキー合成パラメータを求めるので色について精度のよい合成を行うことができる。ＲＧＢの３成分に基づきもとめる場合に比べ少ないパラメータと簡単なアルゴリズムで比較的精度のよい合成を行うことができる。
【００２９】
（３）本発明のプログラムは、
輝度成分合成手段は、
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算することを特徴とする。
【００３０】
前記クロマキー合成パラメータが前景画像であることを表す第１の値とは例えば１である。
【００３１】
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行うとは、例えば前記近傍付近で前記クロマキー合成パラメータを第１の値に近づけるような補正を行う場合である。
【００３２】
このようにすると色相平面における背景中心からの距離が遠い部分（被写体画像と背景の境界付近）においてクロマキー合成パラメータの変化率が緩やかになるのと同じ効果を有する。
【００３３】
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近にある場合には、当該画素は背景との境に近い前景画像である可能性が高い。
【００３４】
ここにおいて背景との境に近いエリア（被写体画像の境界付近）では、撮影時に被写体画像（前景画像）に背景色の映り込みがおこりやすい。例えばグリーンバックで撮影を行う場合には、被写体画像（前景画像）の背景との境界付近に背景色のグリーンが映り込む現象が現れる。この場合新たな背景（所与の背景）と合成した場合には新たな背景（所与の背景）の色を映り込ませることが自然である。しかし輝度については前景と背景の境界付近では、前景画像は旧背景の輝度の影響をあまり受けない方がきれいな画像となる。従って背景色の映り込みをきれいに表現することができる。
【００３５】
本発明のようにクロマキー合成パラメータを補正することで、輝度については非線形合成により前景と背景の境界付近では、前景画像は旧背景の輝度の影響をあまり受けないように制御することができる。
【００３６】
（４）本発明のプログラムは、
輝度成分合成手段は、
前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算することを特徴とする。
【００３７】
前記クロマキー合成パラメータが背景画像であることを表す第２の値とは例えば０である。
【００３８】
前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行うとは、例えば前記近傍付近で前記クロマキー合成パラメータを第２の値に近づけるような補正を行う場合である。
【００３９】
このようにすると色相平面における背景中心からの距離が近い部分（背景部分）においてクロマキー合成パラメータの変化率が緩やかになるのと同じ効果を有する。
【００４０】
このようにすることによって、クロマキー合成の際に背景の色相成分の変動を受けないように制御することができる。従って背景となるカーテン等に色むらや色ずれがある場合でも、これらの違いを吸収してきれいな画像が生成可能な背景の色むらや色ずれにつよいシステムを提供することができる。
【００４１】
（５）本発明のプログラムは、
輝度成分合成手段は
被写体画像の輝度成分、所与の背景画像の輝度成分、抜き取り色の輝度成分及び各画素の輝度成分の対数値が線形であると仮定して合成画像の輝度成分を非線形合成演算することを特徴とする。
【００４２】
例えば輝度の対数をとると、Ｑ−LogＹ平面の色の分布はほぼ直線上になる。本発明ではこの点に着目してことに着目して輝度成分の合成を行うことにより暗い領域についても精度のよい画像を合成することができる。
【００４３】
（６）本発明のプログラムは、
所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属しないと判断した画素については、当該クロマキー合成パラメータが前景画像であることを表す第１の値とし、背景領域に属すると判断した画素については、当該クロマキー合成パラメータが背景画像であることを表す第２の値又は第１の値と第２の値の間に位置するいずれかの値にすることを特徴とする。
【００４４】
前記クロマキー合成パラメータが前景画像であることを表す第１の値とは例えば１である。
【００４５】
前記クロマキー合成パラメータが背景画像であることを表す第２の値とは例えば０である。
【００４６】
第１の値と第２の値の間に位置するいずれかの値とは例えば０から１の間のいずれかの値であり、ソフトクロマキーのキー値と同義である。
【００４７】
色相成分とは例えばＹＩＱ色空間のＩＱ平面でもよいし、ＹＵＶ色空間のＵＶ平面でもよい。またＹＣｒＣｂ色空間のＣｒＣｂ平面でもよい。Ｒ，Ｇ，Ｂ成分に対しＹ＝ａＲ＋ｂＧ＋ｃＢ（ａ，ｂ，ｃは所定の定数）で定義されるＹ軸に垂直な平面（ＲＧＢ色空間から線形変換によって得られるもの）であればよい。
【００４８】
（７）本発明のプログラムは、
前記クロマキー合成パラメータ演算手段は、
色相平面において、抜き取り色に基づき設定した背景中心となる色相値及びその周囲の所定のエリアに属する色相値を有する画素については、クロマキー合成パラメータを第２の値とし、
背景領域には属するが前記所定のエリア外に位置する色相値を有する画素については、前記画素の色相平面における位置と前記所定のエリアの外延と前記所定の２直線のいずれかとの距離関係に基づきクロマキー合成パラメータを求めることを特徴とする。
【００４９】
前記クロマキー合成パラメータは、例えば色相平面において、背景中心と前記画素の色相平面における位置を結ぶ直線が前記所定のエリアの外延（を特定する外周）と交わる第１の点、また前記直線が前記所定の２直線のいずれかと交わる第２の点を求め、前記画素の色相平面に置ける位置と第１の点の距離及び前記画素の色相平面に置ける位置と第２の点の距離に基づき求めるようにしてもよい。
【００５０】
（８）本発明のプログラムは、
前記クロマキー合成パラメータ演算手段は、
前記所定の２直線の少なくとも一方を色相平面における原点を通らない直線として定義することを特徴とする。
【００５１】
色相平面の原点付近はグレーに近いため、背景領域として計算すると不自然な合成になる場合がある。本発明によれば原点領域を背景領域に含めないようにできるので、自然な合成を実現することができる。
【００５２】
（９）本発明は、コンピュータにより読みとり可能な情報記憶媒体であって、上記のいずれかに記載のプログラムを記憶することを特徴とする情報記憶媒体である。
【００５３】
（１０）本発明は、
撮影された被写体の画像を取り込み、編集してプリントする写真印刷装置であって、
撮像手段を用いて、抜き取り色を背景として被写体の画像を撮影して、被写体画像を取り込む被写体画像取り込み手段と、
取り込まれた被写体画像と所与の背景画像をクロマキー合成して合成画像を生成するクロマキー合成手段と、
合成画像に基づきプリント画像を生成する手段とを含み、
前記クロマキー合成手段は、
被写体画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、
所与の背景画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、
被写体画像の各画素値と抜き取り色の各画素値に基づき、各画素のクロマキー合成パラメータを求めるクロマキー合成パラメータ演算手段と、
前記クロマキー合成パラメータに基づき被写体画像の色相成分と所与の背景画像の色相成分を各画素毎に線形合成して、合成画像の色相成分を演算する色相成分合成手段と、
前記クロマキー合成パラメータに基づき被写体画像の輝度成分と所与の背景画像の輝度成分を各画素毎に非線形合成して、合成画像の輝度成分を演算する輝度成分合成手段と、
演算された合成画像の色相成分、輝度成分をＲＧＢ成分に変換する手段と、
を含むことを特徴とする。
【００５４】
なお取り込んで編集された画像を写真シールとして使用できるようにシールプリントする写真印刷装置も含む。
【００５５】
（１１）本発明の写真印刷装置は、
前記クロマキー合成パラメータ演算手段が、
被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求めることを特徴とする。
【００５６】
（１２）本発明の写真印刷装置は、
輝度成分合成手段が、
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算することを特徴とする。
【００５７】
（１３）本発明の写真印刷装置は、
輝度成分合成手段が、
前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算することを特徴とする。
【００５８】
（１４）本発明の写真印刷装置は、
輝度成分合成手段は
被写体画像の輝度成分、所与の背景画像の輝度成分、抜き取り色の輝度成分及び各画素の輝度成分の対数値が線形であると仮定して合成画像の輝度成分を非線形合成演算することを特徴とする。
【００５９】
（１５）本発明の写真印刷装置は、
所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属しないと判断した画素については、当該クロマキー合成パラメータが前景画像であることを表す第１の値とし、背景領域に属すると判断した画素については、当該クロマキー合成パラメータが背景画像であることを表す第２の値又は第１の値と第２の値の間に位置するいずれかの値にすることを特徴とする。
【００６０】
（１６）本発明の写真印刷装置は、
前記クロマキー合成パラメータ演算手段は、
色相平面において、抜き取り色に基づき設定した背景中心となる色相値及びその周囲の所定のエリアに属する色相値を有する画素については、クロマキー合成パラメータを第２の値とし、
背景領域には属するが前記所定のエリア外に位置する色相値を有する画素については、前記画素の色相平面における位置と前記所定のエリアの外延と前記所定の２直線のいずれかとの距離関係に基づきクロマキー合成パラメータを求めることを特徴とする。
【００６１】
（１７）本発明の写真印刷装置は、
前記クロマキー合成パラメータ演算手段は、
前記所定の２直線の少なくとも一方を色相平面における原点を通らない直線として定義することを特徴とする。
【００６２】
（１８）本発明は、
撮影された被写体の画像を取り込み、編集してプリントする写真印刷装置の写真印刷方法であって、
撮像手段を用いて、抜き取り色を背景として被写体の画像を撮影して、被写体画像を取り込む被写体画像取り込みステップと、
取り込まれた被写体画像と所与の背景画像をクロマキー合成して合成画像を生成するクロマキー合成ステップと、
合成画像に基づきプリント画像を生成するステップとを含み、
前記クロマキー合成ステップは、
被写体画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換するステップと、
所与の背景画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換するステップと、
被写体画像の各画素値と抜き取り色の各画素値に基づき、各画素のクロマキー合成パラメータを求めるクロマキー合成パラメータ演算ステップと、
前記クロマキー合成パラメータに基づき被写体画像の色相成分と所与の背景画像の色相成分を各画素毎に線形合成して、合成画像の色相成分を演算する色相成分合成ステップと、
前記クロマキー合成パラメータに基づき被写体画像の輝度成分と所与の背景画像の輝度成分を各画素毎に非線形合成して、合成画像の輝度成分を演算する輝度成分合成ステップと、
演算された合成画像の色相成分、輝度成分をＲＧＢ成分に変換するステップと、
を含むことを特徴とする。
【発明を実施するための最良の形態】
【００６３】
以下、本発明の好適な実施の形態について図面を用いて説明する。
【００６４】
１．写真印刷装置
図１、図２、図３に本実施形態の写真印刷装置（狭義には写真自販装置、写真シール印刷装置）の外観図の一例を示す。なお図１は本実施形態の写真印刷装置の右側面図であり、図２は本実施形態の写真印刷装置の正面図であり、図３は本実施形態の写真印刷装置の背面図である。
【００６５】
まずユーザー（図１のＰ１）は、筐体の正面側（図２）において被写体（例えば自己）の撮影を行う。次にユーザー（図１のＰ２）は、筐体の背面側（図３）において撮影した画像の編集操作を行う。
【００６６】
図２の正面図に示すように、本実施形態の写真印刷装置１は、被写体撮影用のカメラ１０、１２（撮像デバイス）を含む。これらのカメラ１０、１２は、例えばＣＣＤカメラ、Ｃ−ＭＯＳカメラ、又はビデオカメラなどにより実現できる。なお、カメラを、複数ではなく１つだけ設ける構成としてもよい。
【００６７】
カメラ１０は、被写体を正面方向から撮影するもので、第１の撮像手段として機能する。またカメラ１２は、オリジナルスタンプ作成用の小物（第２の被写体）を上方から撮影するもので、第２の撮像手段として機能する。
【００６８】
写真印刷装置１はディスプレイ２０を含む。このディスプレイ２０は、ユーザーの視点の高さで、ユーザーに対してその表示画面がほぼ正対するように、筺体５０に取り付けられている。カメラ１０（被写体撮影用カメラ）で撮影された映像はディスプレイ２０に表示され、ユーザーはこのディスプレイ２０に表示された映像を見て自身のポーズが適当か否かを確認するようにしてもよい。
【００６９】
写真印刷装置１はディスプレイ２２を含む。カメラ１２（小物撮影用カメラ）で撮影された映像はディスプレイ２２に表示され、ユーザーはこのディスプレイ２２に表示された映像を見て、小物の配置やアングルが適当か否かを確認するようにしてもよい。
【００７０】
本実施の形態では、オリジナルスタンプ作成用の小物（第２の被写体）は、スタンプ用小物撮影ボックス１６の中の載置台１８に載置され、載置台１８の上方に設定されたカメラ１２（小物撮影用カメラ）で撮影される。
【００７１】
また図１に示すように写真印刷装置の筺体５０には、基台５２、背面板５４が設けられている。基台５２は、撮影時に被写体（ユーザー）がその上に立つための台である。この基台５２には、被写体（ユーザー）が立ち位置を決めるための目印を付けておくことが望ましい。この場合の目印は、例えば足の裏の形をした目印であってもよいし、被写体（ユーザー）がカメラ１０に近づきすぎないようにするための線であってもよい。
【００７２】
背面板５４（背面部材）は撮影時に外部からの光を遮断するためのものである。この背面板５４には、後述するように、付加表示物（背景又は文字等）の合成にクロマキー合成を行う場合には、ブルーバックとしての機能を持たせることもできる。
【００７３】
なお背面板５４として、カーテンなどを用いてもよい。
【００７４】
図３に示すように、本実施形態の写真印刷装置１は、編集用ディスプレイ２２，２４を含む。編集用ディスプレイ２２，２４は、液晶ディスプレイやタッチパネル方式のディスプレイを用いてよい。
【００７５】
写真印刷装置１は操作部３０、３２を含む。この操作部３０、３２は撮影された画像の編集操作や編集メニューの選択操作を行うためのものである。
この操作部３０の機能は例えばポインティングデバイス等により実現できる。
【００７６】
写真印刷装置１は、図１に示すように写真の受け取り口４０を含む。この受け取り口４０には、撮影して編集された画像が印刷されたシール等が出力される。
【００７７】
図４は、本実施形態の写真印刷装置のブロック図の一例である。なお、写真印刷装置は、図４の構成要素（各部）を全て含む必要はなく、その一部を省略した構成としてもよい。
【００７８】
撮影部は、被写体を撮影するためのもので、例えばＣＣＤカメラ、Ｃ−ＭＯＳカメラ、又はビデオカメラなどにより実現でき、被写体画像取り込み手段として機能する。例えば２つの撮像デバイスを用意して、第１の撮像デバイスを用いて第１の被写体の画像を撮影して第１の被写体の画像を取り込み、第２の撮像デバイスを用いて第２の被写体の画像を撮影して第２の被写体の画像を取り込むようにしてもよい。
【００７９】
またオリジナルスタンプ作成用の小物（第２の被写体）を撮影するためのスタンプ用小物撮影ボックスを設け、スタンプ用小物撮影ボックスの中の載置台に載置されたスタンプ用小物が撮影可能な位置（例えば載置台の上方）に、第２の撮像デバイスを配置するようにしてもよい。
【００８０】
操作部１６０（ポインティングデバイス、レバー、ボタン等）は、ユーザが編集用コンテンツ選択メニューの選択操作や編集操作を行うためのものである。
【００８１】
記憶部１７０（ＲＡＭ）は、処理部１００や通信部１９６などのワーク領域となるものである。情報記憶媒体１８０（ＣＤ、ＤＶＤ、ＨＤＤ、ＲＯＭなどのコンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものである。この情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００８２】
ディスプレイ１９０は画像を表示するものであり、例えば図２の撮影用のディスプレイ２０や図３の編集用ディスプレイ２２，２４等である。編集用ディスプレイとしては、例えば液晶タブレットやタッチパネル等が用いられ、タッチペン（ポインティングデバイスの一例）等の先端をディスプレイ表面に接触させ、文字や図形を描くことにより手書き画像を入力できるようになっている。また予め用意された星マークやハートマーク等のスタンプ画像を選択して、タッチペンの先端をディスプレイ表面に接触させることによりスタンプ画像を入力出来るようになっている。
【００８３】
音出力部１９２は音声、ゲーム音などの音を出力するものである。
【００８４】
携帯型情報記憶装置１９４は、ユーザの個人データや編集用のセーブデータなどが記憶されるものである。
【００８５】
印刷部１９５は、撮影された画像を印刷媒体（シール紙、印画紙、プラスチック板又は記録層）に画像を印刷する処理を行う。この場合の印刷方式としては昇華型、熱転写型、インクジェット方式、レーザプリント方式などの種々の方式がある。また印刷用のプリンタとしては、インクジェット式プリンタ、レーザープリンタ、昇華型プリンタ、熱転写型プリンタ、溶融型プリンタ、サーマルプリンタ、印画紙プリンタ、インスタントフィルムプリンタ等をもちいるようにしてもよい。
【００８６】
通信部１９６は、インターネットなどのネットワークを介して通信を行うための各種の制御を行うものである。この通信部１９６を用いることで、生成された画像データをネットワークを介して送信することができる。
【００８７】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などの各種の処理を行う。この場合、処理部１００は、記憶部１７０内の主記憶部１７２をワーク領域として使用して、各種の処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）又はＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラム（ゲームプログラム）により実現できる。
【００８８】
処理部１００は、編集処理部１１０、画像生成部１２０、音生成部１３０を含む。
【００８９】
画像生成部１２０は、編集処理部１１０で行われる種々の編集処理の結果に基づいて画像を生成し、ディスプレイ１９０に出力する。
【００９０】
ここで画像生成部１２０は、クロマキー合成部１２２、αチャネル付き被写体画像生成部１２４を含む。
【００９１】
クロマキー合成部１２２は、被写体画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、所与の背景画像の各画素のＲＧＢ成分を輝度成分と色相成分に変換する手段と、被写体画像の各画素値と抜き取り色の各画素値に基づき、各画素のクロマキー合成パラメータを求めるクロマキー合成パラメータ演算手段と、前記クロマキー合成パラメータに基づき被写体画像の色相成分と所与の背景画像の色相成分を各画素毎に線形合成して、合成画像の色相成分を演算する色相成分合成手段と、前記クロマキー合成パラメータに基づき被写体画像の輝度成分と所与の背景画像の輝度成分を各画素毎に非線形合成して、合成画像の輝度成分を演算する輝度成分合成手段と、演算された合成画像の色相成分、輝度成分をＲＧＢ成分に変換する手段として機能する。
【００９２】
クロマキー合成部１２２は、被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求めるクロマキー合成パラメータ演算手段と、各画素毎に、前記クロマキー合成パラメータに基づき被写体画像と所与の背景画像の合成を行い合成画像を演算する手段として機能し、前記クロマキー合成パラメータ演算手段は、所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属しないと判断した画素については、当該クロマキー合成パラメータが前景画像であることを表す第１の値とし、背景領域に属すると判断した画素については、当該クロマキー合成パラメータが背景画像であることを表す第２の値又は第１の値と第２の値の間に位置するいずれかの値にする処理を行う。
【００９３】
ここで被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求める処理を行うようにしてもよい。
【００９４】
また前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算する処理を行うようにしてもよい。
【００９５】
また前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算するようにしてもよい。
【００９６】
また被写体画像の輝度成分、所与の背景画像の輝度成分、抜き取り色の輝度成分及び各画素の輝度成分の対数値が線形であると仮定して合成画像の輝度成分を非線形合成演算するようにしてもよい。
【００９７】
また所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属しないと判断した画素については、当該クロマキー合成パラメータが前景画像であることを表す第１の値とし、背景領域に属すると判断した画素については、当該クロマキー合成パラメータが背景画像であることを表す第２の値又は第１の値と第２の値の間に位置するいずれかの値にするようにしてもよい。
【００９８】
また色相平面において、抜き取り色に基づき設定した背景中心となる色相値及びその周囲の所定のエリアに属する色相値を有する画素については、クロマキー合成パラメータを第２の値とし、背景領域には属するが前記所定のエリア外に位置する色相値を有する画素については、前記画素の色相平面における位置と前記所定のエリアの外延と前記所定の２直線のいずれかとの距離関係に基づきクロマキー合成パラメータを求めるようにしてもよい。
【００９９】
また前記所定の２直線の少なくとも一方を色相平面における原点を通らない直線として定義するようにしてもよい。
【０１００】
αチャネル付き被写体画像生成部１２４は、被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求め、当該クロマキー合成パラメータに基づき被写体画像の各画素に対応したα値を演算するα値演算手段と、被写体画像に映り込んだ抜き取り色を除去する抜き取り色除去手段として機能し、前記α値演算手段は、当該クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータに対するα値の変化率が小さくなるような関数関係を有するように、被写体画像の各画素のα値を決定することを特徴とする。
【０１０１】
また前記α値演算手段は、当該クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータに対するα値の変化率が小さくなるような関数関係を有するように、被写体画像の各画素のα値を決定するようにしてもよい。
【０１０２】
前記抜き取り色除去手段は、所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属すると判断した画素については、色相平面における各画素の色相位置と、抜き取り色に基づき設定した背景中心を結ぶ直線が前記所定の２直線のうち各画素の色相位置との距離が近いほうの直線と交わる点又は、各画素の色相位置から前記２直線のうち各画素の色相位置との距離が近いほうの直線におろした垂線が当該直線と交わる点のいずれかの点によって特定される色相値に基づき抜き取り色を除去した被写体画像の色相値を求めるようにしてもよい。
【０１０３】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【０１０４】
写真印刷装置は通信部１９６を含む。この通信部１９６は、インターネットなどのネットワークを介してデータを送信又は受信する処理を行う。より具体的には、通信部１９６は、カメラの撮影画像により生成されたデータを、ネットワークを介して外部のサーバなどに送信する。このようにすればユーザ（被写体）は、自身が被写体となっている画像のデータを、自分の家のパーソナルコンピュータにサーバからダウンロードすることが可能になる。そしてダウンロードした画像データに基づいて、自分の家のプリンタを用いて、紙やシールに画像を印刷して出力することが可能になる。またユーザーが撮影した画像をサーバに保存しておき、写真印刷装置にダウンロードして印刷して出力することも可能である。
【０１０５】
この通信部１９６の機能は、例えば通信用のデバイス（ＩＣ）などのハードウェアや、通信用のプログラムなどにより実現できる。なお印刷部１９５、通信部１９６のいずれか一方を設けない構成としてもよい。
【０１０６】
なお本実施形態の写真印刷装置は、被写体を全身撮影するものには限定されず、被写体の上半身だけを撮影するものであってもよい。
【０１０７】
また本実施形態の写真印刷装置で撮影される被写体は人間には限定されない。例えばオークションなどに出品する商品の写真を撮影する装置にも本実施形態は適用できる。この場合には、通信部１９６を用いて行うインターネットを介したデータの送信と、オークションの出品とを連動させれば、出品者に便宜な写真印刷装置を提供できる。
【０１０８】
また本実施形態の写真印刷装置を、プレーヤの写真画像をゲームに使用するようなタイプのゲーム装置に利用することも可能である。即ち本実施形態の写真印刷装置を、ゲーム装置の画像取り込み装置として機能させることも可能である。
【０１０９】
２．第１の実施の形態の特徴
本実施の形態では、抜き取り色（単色背景）を背景として撮影された被写体の画像と所与の背景画像を合成する際に、被写体画像の各画素のＲＧＢ成分を輝度成分（Ｙ）と色相成分（ＩＱ）に変換し、所与の背景画像の各画素のＲＧＢ成分を輝度成分（Ｙ）と色相成分（ＩＱ）に変換し、被写体画像の各画素値と抜き取り色の各画素値に基づき、各画素のクロマキー合成パラメータを求め、前記クロマキー合成パラメータに基づき被写体画像の色相成分と所与の背景画像の色相成分を各画素毎に線形合成し合成画像の色相成分を演算し、前記クロマキー合成パラメータに基づき被写体画像の輝度成分と所与の背景画像の輝度成分を各画素毎に非線形合成して合成画像の輝度成分を演算し、演算された合成画像の色相成分、輝度成分をＲＧＢ成分に変換する。
【０１１０】
被写体画像の各画素及び所与の背景画像のＲＧＢ成分の輝度成分（Ｙ）と色相成分（ＩＱ）への変換については、後述する「５．２．ＲＢＧ値から輝度成分、色相成分への変換」に記載されている手法により行うことができる。
【０１１１】
ここにおいてクロマキー合成パラメータは、被写体画像と抜き取り色のＲＧＢ値またはそのいずれかの成分又はＲＧＢ値を変換して得られる画素値又はそのいずれかの成分（例えばＹＩＱ値又はそのいずれかの成分）等により求めるようにしてもよい。
【０１１２】
また前記クロマキー合成パラメータｋに基づく被写体画像の色相成分と所与の背景画像の色相成分の線形合成については、「５．３  色相成分の変換」に記載されている手法により行うことができる。
【０１１３】
ここで線形合成とは、例えば線形関数（ｆ（ｘ＋ｙ）＝ｆ（ｘ）＋ｆ（ｙ）が成り立つ場合ｆを線形関数という）を用いて、被写体画像の色相成分と背景画像の色相成分を合成する場合をいう。
【０１１４】
また前記クロマキー合成パラメータｋに基づく被写体画像の輝度成分と所与の背景画像の輝度成分の非線形合成については、「５．４  輝度成分の変換」に記載されている手法により行うことができる。
【０１１５】
ここで非線形合成とは、例えば非線形関数（ｆ（ｘ＋ｙ）＝ｆ（ｘ）＋ｆ（ｙ）が成り立たない関数）を用いて、被写体画像の色相成分と背景画像の色相成分を合成する場合をいう。
【０１１６】
合成画像の色相成分、輝度成分をＲＧＢ成分変換については、後述する「５．５  ＹＩＱ成分からＲＧＢ成分への変換」に記載されている手法により行うことができる。
【０１１７】
本実施の形態によれば、色相成分は線形合成を行い、輝度成分については非線形合成を行う。画素値（例えばＲＧＢ値）に線形性を仮定して合成を行うと、背景等が暗い場合に合成がうまくいかない状況が生じていた。かかる状況に対して例えば従来は、パラメータを追加して撮影状況に応じて個別に補正する方法等により対応されていた。
【０１１８】
これに対し本実施の形態では、輝度成分について非線形合成を行うことにより、個別にパラメータの調整等を行うことなしに背景が暗い場合でも精度良く合成することができる。すなわち背景色の明るさによらず常に精度良く合成することができる。
【０１１９】
一般に写真印刷装置の撮影状況は照明の状態や設置されている場所によってばらつきが生じるが、本実施の形態によればこれらのばらつきによらず精度良く画像合成を行うことができる。
【０１２０】
また写真印刷装置に適用する場合には、個別にパラメータの調整を行うのは困難であるが、本実施の形態によれば、パラメータの個別調整が不要であるという顕著な効果を有する。
【０１２１】
また被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求めるようにしてもよい。
【０１２２】
ここにおいてクロマキー合成パラメータｋは、「６．クロマキー合成パラメータｋの計算方法」に記載されている手法により求めることができる。
【０１２３】
また前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算するようにしてもよい。
【０１２４】
前記クロマキー合成パラメータが前景画像であることを表す第１の値とは例えば１である。
【０１２５】
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータとは、例えば図２１の７１０に示すような変化率を有するように補正を行ったパラメータのことである。
【０１２６】
また前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行うとは、例えば前記近傍付近で前記クロマキー合成パラメータを第１の値に近づけるような補正を行う場合である。
【０１２７】
このようにすると色相平面における背景中心からの距離が所定の所定の範囲外（遠い）部分においてクロマキー合成パラメータの変化率が緩やかになるのと同じ効果を有する。
【０１２８】
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近にある場合には、撮影時に被写体画像（前景画像）に背景色の映り込みがおこりやすい。例えばグリーンバックで撮影を行う場合には、被写体画像（前景画像）の背景との境界付近に背景色のグリーンが映り込む現象が現れる。この場合新たな背景（所与の背景）と合成した場合には新たな背景（所与の背景）の色を映り込ませることが自然である。しかし輝度については前景と背景の境界付近では、前景画像は旧背景の輝度の影響をあまり受けない方がきれいな画像となる。
【０１２９】
本発明のようにクロマキー合成パラメータを補正することで、輝度については非線形合成により前景と背景の境界付近では、前景画像は旧背景の輝度の影響をあまり受けないように制御することができる。
【０１３０】
また前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行った当該クロマキー合成パラメータを用いて合成画像の輝度成分を非線形合成演算するようにしてもよい。
【０１３１】
前記クロマキー合成パラメータが背景画像であることを表す第２の値とは例えば０である。
【０１３２】
前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータの変化率がより小さくなるように補正を行うとは、例えば前記近傍付近で前記クロマキー合成パラメータを第２の値に近づけるような補正を行う場合である。
【０１３３】
このようにすると色相平面における背景中心からの距離が所定の範囲内（近い）部分においてクロマキー合成パラメータの変化率が緩やかになるのと同じ効果を有する。
【０１３４】
このようにすることによって、背景画像の明るさのばらつきを吸収することができる。
【０１３５】
また被写体画像の輝度成分、所与の背景画像の輝度成分、抜き取り色の輝度成分及び各画素の輝度成分の対数値が線形であると仮定して合成画像の輝度成分を非線形合成演算するようにしてもよい。輝度成分の対数値が線形であると仮定した非線形合成演算については、「５．４  輝度成分の変換」に記載されている手法により行うことができる。
【０１３６】
所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属しないと判断した画素については、当該クロマキー合成パラメータが前景画像であることを表す第１の値とし、背景領域に属すると判断した画素については、当該クロマキー合成パラメータが背景画像であることを表す第２の値又は第１の値と第２の値の間に位置するいずれかの値にするようにしてもよい。
【０１３７】
色相成分とは例えばＹＩＱ色空間のＩＱ平面でもよいし、ＹＵＶ色空間のＵＶ平面でもよい。またＹＣｒＣｂ色空間のＣｒＣｂ平面でもよい。Ｒ，Ｇ，Ｂ成分に対しＹ＝ａＲ＋ｂＧ＋ｃＢ（ａ，ｂ，ｃは所定の定数）で定義されるＹ軸に垂直な平面（ＲＧＢ色空間から線形変換によって得られるもの）であればよい。
【０１３８】
所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否かの判断は、例えば図７等で説明した手法により行うことができる。
【０１３９】
前記クロマキー合成パラメータは、例えば色相平面において、背景中心と前記画素の色相平面における位置を結ぶ直線が前記所定のエリアの外延（を特定する外周）と交わる第１の点、また前記直線が前記所定の２直線のいずれかと交わる第２の点を求め、前記画素の色相平面に置ける位置と第１の点の距離及び前記画素の色相平面に置ける位置と第２の点の距離比に基づき求めるようにしてもよい。
【０１４０】
また色相平面において、抜き取り色に基づき設定した背景中心となる色相値及びその周囲の所定のエリアに属する色相値を有する画素については、クロマキー合成パラメータを第２の値とし、背景領域には属するが前記所定のエリア外に位置する色相値を有する画素については、前記画素の色相平面における位置と前記所定のエリアの外延と前記所定の２直線のいずれかとの距離関係に基づきクロマキー合成パラメータを求めるようにしてもよい。
【０１４１】
例えば図８に示すように、例えば色相平面において、背景中心と前記画素の色相平面における位置を結ぶ直線が前記所定のエリアの外延（を特定する外周）と交わる第１の点２５０、また前記直線が前記所定の２直線のいずれかと交わる第２の点２６０を求め、前記画素の色相平面に置ける位置２７０と第１の点２５０の距離及び前記画素の色相平面に置ける位置２７０と第２の点２６０の距離に基づきクロマキー合成パラメータｋを求めるようにしてもよい。
【０１４２】
また前記クロマキー合成パラメータ演算手段は、前記所定の２直線の少なくとも一方を色相平面における原点を通らない直線として定義するようにしてもよい。かかる定義は例えば図１１や（１９）式によって行うようにしてもよい。
【０１４３】
３．第２の実施の形態の特徴
本実施の形態では、抜き取り色（単色背景）を背景として撮影された被写体の画像と所与の背景画像をクロマキー合成する際に、被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求め、各画素毎に、前記クロマキー合成パラメータに基づき被写体画像と所与の背景画像の合成を行う。クロマキー合成パラメータを演算する際に所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属しないと判断した画素については、当該クロマキー合成パラメータが前景画像であることを表す第１の値とし、背景領域に属すると判断した画素については、当該クロマキー合成パラメータが背景画像であることを表す第２の値又は第１の値と第２の値の間に位置するいずれかの値にすることを特徴とする。
【０１４４】
色相成分とは例えばＹＩＱ色空間のＩＱ平面でもよいし、ＹＵＶ色空間のＵＶ平面でもよい。またＹＣｒＣｂ色空間のＣｒＣｂ平面でもよい。Ｒ，Ｇ，Ｂ成分に対しＹ＝ａＲ＋ｂＧ＋ｃＢ（ａ，ｂ，ｃは所定の定数）で定義されるＹ軸に垂直な平面（ＲＧＢ色空間から線形変換によって得られるもの）であればよい。
【０１４５】
所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否かの判断は、例えば図７等で説明した手法により行うことができる。
【０１４６】
背景領域属する画素のクロマキー合成パラメータの値は、例えば色相平面に置ける背景中心と画素を結ぶ直線が２直線のいずれかと交わる点を求め、これらの距離比に応じて決定するようにしても良い。
【０１４７】
本実施の形態によれば、色相成分（色相平面）においてクロマキー合成パラメータを求めるため、ＲＧＢの３成分に基づきクロマキー合成パラメータを求める場合に比べ簡単なアルゴリズム及び少ない演算付加でクロマキー合成を行うことができる。
【０１４８】
また背景中心となる色相値及びその周囲の所定のエリアに属する色相値を有する画素については、クロマキー合成パラメータを第２の値とし、背景領域であって所定のエリア外に属する色相値を有する画素については、前記画素の色相平面における位置と前記所定のエリアの外延と前記２直線のいずれかとの距離関係に基づきクロマキー合成パラメータを求めるようにしてもよい。例えば図８にしめすように、色相平面において、背景中心と前記画素の位置を結ぶ直線が前記所定のエリアの外延（を特定する外周）と交わる第１の点、また前記直線が前記２直線のいずれかと交わる第２の点を求め、前記画素の色相平面に置ける位置と第１の点の距離及び前記画素の色相平面に置ける位置と第２の点の距離に基づき求めるようにしてもよい。
【０１４９】
このようにすることで色相中心から２直線のいずれかの距離に基づきクロマキー合成パラメータを求め背景中心の回りについてクロマキー合成パラメータを０にする構成に比べ、クロマキー合成パラメータが不連続とならずなめらかな変換を行うことができる。
【０１５０】
また色相平面を原点を通らない２つの直線により前景領域と背景領域をわけて、被写体画像の各画素の色相値がいずれの領域に属するか判断するようにしてもよい。色相平面を原点を通らない２つの直線は例えば式（１９）を用いて定義することができる。
【０１５１】
色相平面の原点付近はグレーに近いため、背景領域として計算すると不自然な合成になる場合がある。本発明によれば原点領域を背景領域に含めないようにできるので、自然な合成を実現することができる。
【０１５２】
４．第３の実施の形態の特徴
本実施の形態では抜き取り色を背景として撮影された被写体の画像からα値付き被写体画像を生成する際に、被写体画像の各画素の色相成分と抜き取り色の色相成分に基づき、各画素のクロマキー合成パラメータを求め、当該クロマキー合成パラメータに基づき被写体画像の各画素に対応したα値を演算し、被写体画像に映り込んだ抜き取り色を除去する。ここで前記α値を演算する際に当該クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータに対するα値の変化率が小さくなるような関数関係を有するように、被写体画像の各画素のα値を決定することを特徴とする。
【０１５３】
前記クロマキー合成パラメータが前景画像であることを表す第１の値とは例えば１である。
【０１５４】
ここで前記α値を演算する際に当該クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータに対するα値の変化率が小さくなるような関数関係を有するような被写体画像の各画素のα値の決定は、例えば図２１に示すような関数関係を有する変換を行うことにより実現できる。
【０１５５】
また図２７において横軸をｋ（０〜２５５を０〜１と見る）、縦軸をαとした関数関係を有する変換を行うことにより実現できる。ここで変換は予め用意された関数式により行う場合でもよいし、図２８に示すように関数関係を有するような変換テーブルを用意しておいて変換テーブルを用いてクロマキー合成パラメータに対応したα値を演算するようにしてもよい。
【０１５６】
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近では当該クロマキー合成パラメータに対するα値の変化率がより小さくなるように補正を行うとは、例えば前記近傍付近で前記α値を第１の値に近づけるような補正を行う場合である。
【０１５７】
本発明により生成されるα値付き被写体画像は、各画素のα値に基づき所与の背景（新たな背景）と半透明合成（例えばαブレンディング処理）を行うことに用いられたりする。かかる場合に色相平面における背景中心からの距離が遠い部分（被写体画像と背景の境界付近）においてクロマキー合成パラメータの変化率が緩やかになるのと同じ効果を有する。
【０１５８】
前記クロマキー合成パラメータが前景画像であることを表す第１の値の近傍付近にある場合には、背景色が映り込んでいる可能性が高い。
【０１５９】
本発明のようにα値を設定することで、後に半透明合成等を行う場合に前景と背景の境界付近では、前景画像が新背景の影響をあまり受けないように制御することができる。
【０１６０】
またα値を演算する際に当該クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータに対するα値の変化率が小さくなるような関数関係を有するように、被写体画像の各画素のα値を決定することを特徴とする。
【０１６１】
前記クロマキー合成パラメータが背景画像であることを表す第２の値とは例えば０である。
【０１６２】
ここで前記α値を演算する際に当該クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータに対するα値の変化率が小さくなるような関数関係を有するような被写体画像の各画素のα値の決定は、例えば図２７において横軸をｋ（０〜２５５を０〜１と見る）、縦軸をαとした関数関係を有する変換を行うことにより実現できる。ここで変換は予め用意された関数式により行う場合でもよいし、図２８に示すように関数関係を有するような変換テーブルを用意しておいて変換テーブルを用いてクロマキー合成パラメータに対応したα値を演算するようにしてもよい。
【０１６３】
前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近では当該クロマキー合成パラメータに対するα値の変化率がより小さくなるように補正を行うとは、例えば前記α値を第２の値に近づけるような補正を行う場合である。
【０１６４】
本発明により生成されるα値付き被写体画像は、各画素のα値に基づき所与の背景（新たな背景）と半透明合成（例えばαブレンディング処理）を行うことに用いられたりする。かかる場合に色相平面における背景中心からの距離が近い部分（背景部分）においてクロマキー合成パラメータの変化率が緩やかになるのと同じ効果を有する。
【０１６５】
前記クロマキー合成パラメータが背景画像であることを表す第２の値の近傍付近にある場合には、当該画素は背景画像である可能性が高い。
【０１６６】
本発明のようにα値を設定することで、後に半透明合成等を行う場合に背景の色相成分の変動を受けないように制御することができる。従って背景となるカーテン等に色むらや色ずれがある場合でも、これらの違いを吸収してきれいな画像が生成可能な背景の色むらや色ずれにつよいシステムを提供することができる。
【０１６７】
また被写体画像から抜き取り色の除去を行う際に、所定の２直線により色相平面における背景領域を定義し、被写体画像の各画素の色相値が背景領域に属するか否か判断し、背景領域に属すると判断した画素については、色相平面における各画素の色相位置と、抜き取り色に基づき設定した背景中心を結ぶ直線が前記所定の２直線のうち各画素の色相位置との距離が近いほうの直線と交わる点又は、各画素の色相位置から前記２直線のうち各画素の色相位置との距離が近いほうの直線におろした垂線が当該直線と交わる点のいずれかの点によって特定される色相値に基づき抜き取り色を除去した被写体画像の色相値を求めることを特徴とする。
【０１６８】
クロマキー合成では所与の画素の画素値（色等）から背景色の混合がない状態の画素値（色等）を推定し、その画素値（色等）を新背景（所与の画像）の画素値（色等）から合成後の画素値（色等）を計算する。本発明のようにα値付き被写体画像においては背景色の混合がない状態の画素値（色等）を求めることが重要である。
【０１６９】
例えば図１６に示すように色相平面において線形性を仮定するならば色相平面における各画素の色相位置と、抜き取り色に基づき設定した背景中心を結ぶ直線が前記所定の２直線のうち各画素の色相位置との距離が近いほうの直線と交わる点によって特定される色相値に基づき抜き取り色を除去した被写体画像の画素値を求めるのが好ましい。しかし各画素の色相位置によっては前記交点までの距離が大きくなりすぎて色相平面の上限値をこえてしまう場合がある。本発明によれば、このような場合各画素の色相位置から前記２直線のうち各画素の色相位置との距離が近いほうの直線におろした垂線が当該直線と交わる点によって特定される色相値に基づき抜き取り色を除去した被写体画像の画素値を近似することができる。
【０１７０】
従って各画素の色相位置によらず抜き取り色を除去した被写体画像の画素値を求めることができる。
【０１７１】
５．非線形クロマキー合成
５．１  線形クロマキー合成の問題点
前景の色ベクトルをＦＧベクトル、背景の色ベクトルをとＢＧベクトル、輪郭、毛先などの中間領域ＭＤベクトルは
【数１】
2006031562.tif 000006
が成り立つことを前提とし、新背景をＢＧ’ベクトルとすると、変換後の背景ＭＤ’ベクトルは、
【数２】
2006031562.tif 000007
とし、ｋを求める方法を工夫するのが従来の方法であった。
（１）の関係式は光学的には妥当といえるが、コンピューターやテレビ信号で扱うデータは、
【数３】
2006031562.tif 000008
のようにガンマ補正がかかっており物理的な色情報に対して線形ではない。またカメラにおいてはCCDで光を信号化し、画像データを生成するまでに非線形を有しているために、（１）の関係式がなりたたない。
【０１７２】
それでも画像が明るい領域では（１）が成り立っており、明るい背景画像と合成するときは実用に耐えうるものであった。
【０１７３】
しかし、暗い背景との合成や、被写体の動きが激しいときなどは（１）、（２）の式の計算では不自然さが目立つ結果となる。
【０１７４】
第１の実施の形態では色相成分と輝度成分を分けて計算する。その際に、色相成分は線形合成を行い、輝度成分については非線形計算を行うことで自然な合成を実現する。
【０１７５】
５．２  ＲＢＧ値から輝度成分、色相成分への変換
コンピュータではカラー画像データを一画素あたりR,G,Bの3値データで扱う。本実施の形態では、撮像手段が撮影した被写体画像をＲＧＢの３値データで受け取り、このRGBデータを以下の変換式でYIQ色空間に変換する。
【０１７６】
【数４】
2006031562.tif 000009
【０１７７】
５．３  色相成分の変換
図１０は色相成分の変換について説明するための図である。
【０１７８】
被写体画像のＲＢＧ値を（４）式を用いてＹＩＱ色空間に変換する。そしてＩＱ平面において新背景合成後の色相データの変換を行う。ＩＱ成分に関しては（１）,（２）式の線形性を仮定する。
【０１７９】
パラメータｋについては、ｋの計算方法ついては「７．クロマキー合成パラメータｋの計算方法」に従って求めてもよいし、他の方法により求めてもよい。
【０１８０】
Ｘベクトルは変換対象画素の色相値３１０であり、ＢＣベクトルは色相平面に置ける背景中心（旧背景（抜き取り色））３２０であり、ＢＣ”は新背景（所与の背景画像）の色相値であり、ベクトルＸ’は変換後（合成画像）の色相（IQ）値である。ＦＧベクトルは前景の色相値である。本実施の形態では、色相平面においてＸベクトルの色相値３１０、背景中心３２０を結ぶ直線３３０が前景領域と背景領域の境界を特定する直線Ｌと交差する点３５０をＦＧベクトルと仮定する。
【０１８１】
図１０より以下の式が成り立つ。
【０１８２】
【数３３】
2006031562.tif 000010
（３３）−１、（３３）−２より
【０１８３】
【数１３】
2006031562.tif 000011
（１３）式より、参照点（画素）のIQ値ベクトルＸ、旧背景（抜き取り色）ＢＣベクトル、パラメータｋ、新背景（所与の背景画像）ＢＣ”ベクトルが与えられば変換後（合成画像）のIQ値ベクトルＸ’が計算できる。
【０１８４】
５．４  輝度成分の変換
輝度成分に関しては非線形変換を行う。
【０１８５】
【数１４】
2006031562.tif 000012
【０１８６】
まず上記（１４）式よりβを計算する。γは任意に決めるパラメータである。
【０１８７】
次にＹがＹtherより大きいときは次式により補正をかける。
【０１８８】
【数１５】
2006031562.tif 000013
【０１８９】
これはＹが大きいときはIQが小さくなるため、意図しない領域がBG領域と判断されるからである。
明るい領域の適用を抑えるために補正を行う。
【０１９０】
次にβよりYを計算する。
【０１９１】
被写体によって生じた背景への影を残す場合、変換前の輝度をＹX、旧背景の輝度をＹBC,新背景の輝度をＹBC",とすると変換後の輝度ＹX'は次式で計算する。
【０１９２】
【数１６】
2006031562.tif 000014
の式で計算する。
【０１９３】
被写体によって生じた背景への影を消す場合には、変換前の輝度をＹX,新背景の輝度をＹBC"とすると変換後の輝度ＹX'は次式で計算する。
【０１９４】
【数１７】
2006031562.tif 000015
【０１９５】
５．５  ＹＩＱ成分からＲＧＢ成分への変換
（１３）,（１６）, （１７）より変換後のYIQを計算しして次式でYIQからRGBに変換し、新画素値とする。
【０１９６】
【数１８】
2006031562.tif 000016
【０１９７】
５．６  非線形クロマキー合成の処理の流れ
図６は本実施の形態の輝度成分について非線形合成を行うクロマキー合成処理の流れの一例について説明するためのフローチャート図である。
【０１９８】
まずＡ１ベクトル、Ａ２ベクトル、ＢＣベクトル、ｒの定義に基づき背景領域を定義する（ステップＳ２１０）。
【０１９９】
画像データの終わりが来るまで各画素について以下の処理を行う（ステップＳ２２０）。
【０２００】
まず参照画素のＲＧＢ値を取得する（ステップＳ２３０）。
【０２０１】
ＲＧＢ値をＹＩＱに変換する（ステップＳ２４０）。
【０２０２】
ベクトルＸ＝（Ｉ，Ｑ）とする（ステップＳ２５０）。ここでベクトルＸは参照画像のＩ，Ｑ成分である。
【０２０３】
ベクトルＸが背景領域に属するか否か判断する（ステップＳ２６０）。例えばベクトルＸが式（７）−１〜（７）−４のいずれを満たすかを調べることにより背景領域に属するか否か判断することができる。この場合（７）−４を満たす場合には背景領域に属し、それ以外の場合には前景領域に属すると判断することができる。
【０２０４】
前景領域に属すると判断した場合には画素値の置き換えはせずにステップＳ２２０に戻る（ステップＳ２７０）。
【０２０５】
また背景領域に属すると判断した場合にはベクトルＸが直線Ｌ１とＬ２のどちらに近いか判断する（ステップＳ２８０）。
【０２０６】
Ｌ１に近い場合にはＡベクトルをＡ１ベクトルとし（ステップＳ２９０）、Ｌ２に近い場合にはＡベクトルをＡ２ベクトルとする（ステップＳ３００）。
【０２０７】
そしてＩＱ値ベクトルＸ、旧背景ＢＣベクトル、パラメータｋ、新背景ＢＣベクトルより変換後のＩＱ値を計算する（ステップＳ３１０）。例えば（１３）式により変換後のＩＱ値を計算することができる。
【０２０８】
次にまた変換前の輝度ＹX、新背景の輝度ＹBC"、パラメータｋから非線形変換を行い、変換後の輝度Ｙｘ’を計算する（ステップＳ３２０）。例えば式（１４）（１５）から変換パラメータβを求め、式（１６）又は式（１７）により変換後の輝度Ｙｘ’を計算するようにしてもよい。
【０２０９】
そしてステップＳ３１０及びＳ３２０で求めたＹＩＱ値をＲＧＢ値に変換する（ステップＳ３３０）。ＹＩＱ値からＲＧＢ値への変換は例えば式（１８）の座標変換により行うことができる。
【０２１０】
５．７  非線形合成の一例
図１３は、毛先画像の写真であり、図１４は毛先画像の写真のＱＹ分布を示している。図１４に示すように画像の輝度が低い領域では、髪の毛と背景の交じり合う部分が直線上に分布していない。これはCCDによる光の信号変換後、γ補正や各種画像処理の結果によって生ずる信号変換の非線形性による結果である。
クロマキーアルゴリズムでは新背景に変換するときに、背景と前景の中間領域がどのような過程でそうなったかを仮定して新背景に変換するが、従来の方法では線形性を仮定していたため、暗い領域の変換がうまくいかず、そのためにパラメータを追加して調整する方法等が取られていたため、パラメータの数が増え、自動的に調整することは困難であった。
【０２１１】
図１５は、輝度Ｙの対数とＱの分布を示した図である。同図のように輝度Yの対数をとると色の分布はほぼ直線上に乗る。本実施の形態ではこれに着目し、中間領域の生成過程を線形ではなく、対数軸上で線形と仮定して新背景に変換する。
【０２１２】
そして変換後の輝度をＹnew、旧背景をＹBC'新背景をＹBC"として以下の式で新しいYを計算する。
【０２１３】
【数２３】
2006031562.tif 000017
【０２１４】
この式を整理すると次式になる。
【０２１５】
【数２４】
2006031562.tif 000018
【０２１６】
（２４）式でβ=1とすると以下の式となる。
【０２１７】
【数２５】
2006031562.tif 000019
【０２１８】
つまりβ=1の背景領域ではＹｘ＝ＹBCのとき新背景の輝度に変換され、それ以外はＹX／ＹBCの比を保って変換され、輝度情報の比が保存される。つまり影が保たれることを意味する。
（２４）式のＹBCをＹXとすると次式になる。
【０２１９】
【数２６】
2006031562.tif 000020
【０２２０】
β=1のときは次式となり新背景に変換される。
【０２２１】
【数２７】
2006031562.tif 000021
【０２２２】
この場合輝度情報はすべて新背景に変換されるので影が消されることを意味する。
【０２２３】
６．クロマキー合成パラメータｋの計算方法
クロマキー合成に使用する、クロマキー合成パラメータｋの計算方法を以下に示す。
【０２２４】
図５は、被写体と背景領域の関係について説明するための図である。
【０２２５】
被写体が前景領域２２０となり、単一色で撮影された部分が背景領域２１０となる。
【０２２６】
通常クロマキー合成は緑や青などの単一色の背景で被写体を撮影し、背景色の情報を元にして、撮影画像の背景を別の画像におきかえる。
よって別の画像に置き換える背景色領域を定義する必要がある。ここでは明るさ（輝度成分）であるY軸に直交するIQ平面で色範囲を決定する
IQ平面は色相をあらわしている。このIQ平面で原点をとおる2直線により前景領域FGと背景領域BGを分ける。
【０２２７】
図７は２直線と前景領域FGと背景領域BGの関係について説明するための図である。
原点を通る直線Lは、直線に直交するベクトルＡベクトルを用いて、
【０２２８】
【数５】
2006031562.tif 000022
と、あらわすことができる。
よって直線Ｌ１に直交するベクトルをＡ１ベクトル、直線Ｌ２に直交するベクトルをＡ２ベクトルとすると2直線は
【０２２９】
【数６】
2006031562.tif 000023
と、あらわすことができ、2直線に囲まれる領域は、以下の４つパターンで表すことができる。
【０２３０】
【数７】
2006031562.tif 000024
【０２３１】
よってベクトルＡ１ベクトル、Ａ２ベクトルと領域(１)〜(４)を定義すれば、背景領域BGと前景領域FGを定義できる。
【０２３２】
図８はパラメータｋの計算方法について説明するための図である。
背景領域を定義したら背景中心ＢＣベクトルを定義する。ＢＣベクトルには単一背景色のIQ値を指定する。
いまIQ平面におけるベクトルＸが与えられたとき、ベクトルＸのｋを計算する。
ベクトルＸとＢＣベクトルを通る直線と、直線Ｌとの交点をＦＧベクトルとする。
ベクトルＸとＢＣベクトルを通る直線上のＢＣベクトルから距離ｒの点をＢＣ’ベクトルとする。
【０２３３】
背景色のIQ値は一定であることが好ましいが、撮影時には物理的要因のため必ずばらつきが出る。本実施の形態ではそのばらつきを考慮してＢＣベクトルから半径ｒの円内はｋ＝０とし、その他のｋは次式により計算する。
【０２３４】
【数８】
2006031562.tif 000025
【０２３５】
具体的には、直線Ｌに直交するベクトルをＡベクトルとすると、直線Ｌは以下の式となる。
【０２３６】
【数９】
2006031562.tif 000026
ＢＣベクトルは、
【数１０】
2006031562.tif 000027
とあらわせる。従ってベクトルＸとＢＣ’ベクトルを通る直線は
【０２３７】
【数１１】
2006031562.tif 000028
とあらわせる。
【０２３８】
（９）（１１）より次式でｋを計算することができる。
【０２３９】
【数１２】
2006031562.tif 000029
【０２４０】
ベクトルＸがＢＣベクトルに近いときはｋ＜０となる場合があるが、そのときはｋ＝０とする。
【０２４１】
図９は本実施の形態でクロマキー合成パラメータｋを求める処理の一例について説明するためのフローチャート図である。
【０２４２】
まずＢＣベクトル、Ａ１ベクトル、Ａ２ベクトル、ＢＣベクトル、ｒの定義に基づき背景領域を設定する（ステップＳ１０）。
【０２４３】
画像データの終わりが来るまで各画素について以下の処理を行う（ステップＳ２０）。
【０２４４】
まず参照画素のＲＧＢ値を取得する（ステップＳ３０）。
【０２４５】
ＲＧＢ値をＹＩＱに変換する（ステップＳ４０）。
【０２４６】
ベクトルＸ＝（Ｉ，Ｑ）とする（ステップＳ５０）。ここでベクトルＸは参照画像のＩ，Ｑ成分である。
【０２４７】
ベクトルＸが背景領域に属するか否か判断する（ステップＳ６０）。例えばベクトルＸが式（７）−１〜（７）−４のいずれを満たすかを調べることにより背景領域に属するか否か判断することができる。この場合（７）−４を満たす場合には背景領域に属し、それ以外の場合には前景領域に属すると判断することができる。
【０２４８】
前景領域に属すると判断した場合にはｋ＝１をセットしてステップＳ２０に戻る（ステップＳ７０）。
【０２４９】
また背景領域に属すると判断した場合にはベクトルＸが直線Ｌ１とＬ２のどちらに近いか判断する（ステップＳ８０）。
【０２５０】
Ｌ１に近い場合にはＡベクトルをＡ１ベクトルとし（ステップＳ９０）、Ｌ２に近い場合にはＡベクトルをＡ２ベクトルとし（ステップＳ１００）、Ａベクトル、ｒ、ＢＣベクトルからｋを計算する（ステップＳ１１０）。例えば式（１２）から計算することができる。
【０２５１】
そしてｋ＜０の場合はｋ＝０としてステップＳ２０に戻る（ステップＳ１２０、Ｓ１３０）。
【０２５２】
上記例ではRGB色空間からYIQ色空間に変換し、IQ平面で計算を行う場合を例にとり説明したがこれに限られない。Y軸に垂直な平面（RGB色空間から線形変換によって得られるもの）ならばすべて同じ計算になる。
【０２５３】
例えばYUV色空間のUV平面においても同じ計算になる。またYCrCb色空間のCrCb平面においても同じ計算になる。
【０２５４】
またいずれの場合にも（９）式を次式に拡張することによって、前景領域と背景領域を区別する直線を、原点を通る直線以外にも拡張することができる。
【０２５５】
【数１９】
2006031562.tif 000030
【０２５６】
そのさい以下の式によりクロマキー合成パラメータｋを計算することができる。
【０２５７】
【数２０】
2006031562.tif 000031
【０２５８】
【数２１】
2006031562.tif 000032
【０２５９】
このように拡張した場合図１１のように原点を通らない領域を定義することができる。
【０２６０】
色相平面の原点付近はグレーに近いため、背景領域として計算すると不自然な合成になる場合がある。そのときには図1１のように定義することで原点領域を背景領域に含めないようにできる。
【０２６１】
また図１２のように新たに直線Ｌ３，Ｌ４を追加することで色抜き領域MGを定義することができる。
色抜き領域とは次式の色相の変換と輝度の変換を行い、α値は１とし、新たな背景と合成を行わない領域である。
【０２６２】
【数２２】
2006031562.tif 000033
【０２６３】
【数３４】
2006031562.tif 000034
【０２６４】
この場合、BG領域では、（２２）式の計算にはＡ３ベクトル、Ａ４ベクトルを使用し、kの計算にはＡ１ベクトル、Ａ２ベクトルを用いる。
この方法によりクロマキーの課題である、背景領域と前景領域の混じりあう領域（BG）の合成と前景領域に背景色が写りこんだ領域（MG）の合成の二つを達成することができる。
【０２６５】
７．αチャネル付きレイヤーの生成方法
αチャンネル付レイヤーとは、各画素のRGB値にα値を追加した画像である。
このレイヤーFGを背景BGと合成するときは次式によって合成画像が計算される。
【０２６６】
【数３５】
2006031562.tif 000035
【０２６７】
（３５）の式はαに関して線形の合成となっている。αチャンネル付レイヤーの形式でデータを保持すると、色調整などの画像処理がしやすくなる。よって実用としてはαチャンネル付レイヤーを高精度に作成する必要がある。
【０２６８】
図１６は背景色を除去した前景画像の作成について説明するための図である。
【０２６９】
クロマキー合成ではベクトルＸから背景色の混合がない状態のＦＧベクトルを推定し、そのＦＧベクトルと新背景ＢＣ”ベクトルから合成後のベクトルＸ’を計算する。ベクトルＸ’の計算は（２４）によってなされるから重要なのはＦＧベクトルである。
【０２７０】
IQ平面におけるＦＧベクトルの計算は次式で行う。
【０２７１】
【数３６】
2006031562.tif 000036
【０２７２】
これは、ベクトルＸから直線Lへの射影を表している。本来は図１６のようにベクトルＸとＢＣベクトルを結ぶ直線とLとの交点をＦＧベクトルとすべきであるが、それではＦＧベクトルが非常に大きくなり、IQの上限値を超えることがしばしば起こる。
【０２７３】
例えば図１６においてベクトルＸ２が４１０の位置にあるとすると、ベクトルＸとＢＣベクトルを結ぶ直線とLとの交点は４２０となりIQの上限値を超えてしまう。従ってかかる場合には、ベクトルＸ２の点４１０から直線Ｌにおろした垂線４４０が直線Ｌと交わる点４３０をベクトルＦＧとする。すなわち近似として、ベクトルＸのLへの射影を採用する。ただしパラメータｋに関しては４２０にＦＧベクトルがあるものとして計算する。
【０２７４】
ＦＧベクトルのYの計算は以下のようにして行う。
【０２７５】
ＦＧベクトルの輝度成分をＹFG、ベクトルＸの輝度成分をＹｘ、ＢＣベクトルの輝度をＹBCとすると、線形性を仮定するならば以下の式となる。
【０２７６】
【数３７】
2006031562.tif 000037
【０２７７】
カメラなどの入力装置が持つ非線形性より、ＹXが小さい領域ではこの式がなりたたなくなる。
【０２７８】
よって、ＹBCに関しては以下の近似式を適用する。まず次式によりβを計算する。
【０２７９】
【数３８】
2006031562.tif 000038
【０２８０】
ここでγはユーザが定義するパラメータであり、写真印刷装置ではγ＝２を採用している。
【０２８１】
γ＜２のときは、Ｙが補正境界値Ｙthreより大きいときに次式で補正をかける。
【０２８２】
【数２８】
2006031562.tif 000039
【０２８３】
これはＹが大きいときはIQが小さくなるため、意図しない領域がBG領域と判断される。明るい領域の適用を抑えるために補正を行う。
【０２８４】
次にβよりYを計算する。
【０２８５】
【数２９】
2006031562.tif 000040
高速性を求めるならば、
【数３０】
2006031562.tif 000041
としてもそれなりの結果は得られる。
最後に画像のα値は次式により計算する。
【０２８６】
【数３１】
2006031562.tif 000042
【０２８７】
図１７は本実施の形態のαチャネル付きレーヤーを生成について非線形合成を行うクロマキー合成処理の一例について説明するためのフローチャート図である。
【０２８８】
まずＡ１ベクトル、Ａ２ベクトル、ＢＣベクトル、ｒ、補正境界値Ｙthreの定義に基づき背景領域を設定する（ステップＳ４１０）。
【０２８９】
画像データの終わりが来るまで各画素について以下の処理を行う（ステップＳ４２０）。
【０２９０】
まず参照画素のＲＧＢ値を取得する（ステップＳ４３０）。
【０２９１】
ＲＧＢ値をＹＩＱに変換する（ステップＳ４４０）。
【０２９２】
ベクトルＸ＝（Ｉ，Ｑ）とする（ステップＳ４５０）。ここでベクトルＸは参照画像のＩ，Ｑ成分である。
【０２９３】
ベクトルＸが背景領域に属するか否か判断する（ステップＳ４６０）。例えばベクトルＸが式（７）−１〜（７）−４のいずれを満たすかを調べることにより背景領域に属するか否か判断することができる。この場合（７）−４を満たす場合には背景領域に属し、それ以外の場合には前景領域に属すると判断することができる。
【０２９４】
前景領域に属すると判断した場合には、ＦＧベクトル＝ベクトルＸ、α＝αmaxをセットしてステップＳ５３０にいく（ステップＳ４７０）。
【０２９５】
また背景領域に属すると判断した場合にはベクトルＸが直線Ｌ１とＬ２のどちらに近いか判断する（ステップＳ４８０）。
【０２９６】
Ｌ１に近い場合にはＡベクトルをＡ１ベクトルとし（ステップＳ４９０）、Ｌ２に近い場合にはＡベクトルをＡ２ベクトルとする（ステップＳ５００）。
【０２９７】
そしてＡベクトル、ベクトルＸからＦＧベクトルを計算する（ステップＳ５１０）。例えば（３６）式を用いて計算することができる。
【０２９８】
そしてＹ、ＹBC、ｋから、ＹFG、αを計算する（ステップＳ５２０）。例えば（３８）（２７）〜（３１）式を用いて計算することができる。
【０２９９】
そしてステップＳ５１０及びＳ５２０で求めたＹＩＱ値をＲＧＢ値に変換する（ステップＳ５３０）。ＹＩＱ値からＲＧＢ値への変換は例えば式（１８）の座標変換により行うことができる。
【０３００】
このαチャンネル付レイヤーを作成する上で、色相平面において直線で領域を定義する点、α値の計算法に非線形計算をつかっている点がポイントとなる。
【０３０１】
原点（I=Q=0）を通る１又は２の直線又は原点以外を通る１又は２の直線で前景領域と背景領域を分け、背景領域にある色要素をすべて、直線上のどこかの点に移すことがポイントとなる。人間の眼は色相の差には敏感であるが、彩度の差には鈍感であるからである。
【０３０２】
ここでいう色相とは原点を通る直線の傾きを表し、彩度は原点からの距離に相当する。
【０３０３】
直線上のどこかの点に移す手法としては、例えば図１６で説明したように直線への射影を取るようにしても良いが、他の方法で直線上のどこかに移されるようにしてもよい。
【０３０４】
クロマキー合成の課題としては（１）毛先などの背景と前景の交じり合ったところや（２）洋服などへの背景色の移りこみをいかに自然に合成するかが重要である。（２）に関しては背景画像との合成でなく、単一色への色の置き換えが必要となる。
【０３０５】
図１８の写真はグーリーンバックで撮影したときの影響で被写体に背景色の緑色が映り込んでいる様子６１０を表している。
【０３０６】
図１９の写真では緑色がオレンジ（オレンジの映り込み６２０）に変換されている様子を表している。このように背景の映り込みが新背景の色に変化しているのでより自然な画像となっている。
【０３０７】
多くのクロマキーソフトではこの写りこみ除去のために、合成する領域と背景色を除去する領域に分けて処理を行っている。ここで背景色除去の領域では単に背景色を除去するだけで、図１９の例のように新たにオレンジを合成する処理をおこなっていない。
【０３０８】
本実施の形態では例えば以下の式でαを設定することができ、新たな背景色の映り込みを実現することができる。
【０３０９】
【数３２】
2006031562.tif 000043
【０３１０】
図２０はＩＱ平面上のｋに対してαが比例関係にある場合のｋとαの関係にすいて示した図である。
【０３１１】
これに対し図２１はIQ平面上のｋに対してαに非線形性を持たせた場合のｋとαの関係について示した図である。
【０３１２】
例えば（３２）式のように非線形を持たせることにより、色相平面における距離（例えばクロマキー合成パラメータｋ）が所定範囲内（ｋに近い部分）７１０ではαの変化率を小さくすることができる。
【０３１３】
これは図２２に示すように直線付近に色抜きの領域を追加したのと同様の効果を生じさせることを意味する。
【０３１４】
しかも通常の色抜き領域で処理を行う場合と異なり、若干背景画像とも合成を行うために、あたかも新背景色が移りこんだかのような効果をもたらすことができ、通常の色抜き処理よりもよりリアルな合成が可能となる。
【０３１５】
また、色相平面における距離が所定範囲外（色相平面における距離が大きいとき、又はαが０に近い部分）６２０ではαの減少率を小さくすることができる。
このようにすることにより背景の明るさのばらつきの影響を受けない画像を生成することができる。
【０３１６】
ここで背景画像との合成度が大きいと背景が透けてしまうが、図２１のような曲線とすることによって、透けない程度のバランスを保つことが可能となる。
【０３１７】
γを大きくすると色抜きに相当する領域を広くすることを意味する。
このようにαの計算に（３２）式のような非線形式を用いることによって、これまでは別々であった、合成領域の処理と色抜き領域の処理が同じ処理で扱えるようになった。
【０３１８】
またγが2以上のときは原点付近が色抜き領域となることで、式（２８）の補正が不必要となる。従って簡単な処理でαチャンネル付レイヤーを作成することができる。
【０３１９】
なおα値は上記記載のクロマキー合成パラメータｋを用いて（３２）式のように変換して求める構成でもよいし、例えば式（３８）〜（４０）に示すようにいずれかの従来技術により求めたｋ値（α値）や線形性を仮定して得られたを補正して求めるようにしてもよい。
【０３２０】
以下所与の手法により得られたα値を補正して本実施の形態のα’値を求める手法について説明する。
【０３２１】
図２７は所与の手法により得られたα値と補正後のα値（本実施のα値）の関係について説明するための図である。
【０３２２】
ここにおいて所与の手法により得られたα値とは例えば数式（３９）に示すように線形性を仮定したｋに基づき得られたα値でもよいし、本実施の形態のｋの計算方法（例えば数式（１２）によって得られた）に基づき得られたα値でもよい。
【０３２３】
６８０はα’＝ｆ（α）となる補正関数である。α値は０〜２５５の値をとるものとする。α値が第１のエリア（α値が０に近いエリア）６５０ではｆの変化率を小さくし（例えば当該エリアのｆの傾きが１より小さくなるようにする）、α値が第３のエリア（α値が２５６に近いエリア）６７０ではｆの変化率を小さくする（例えば当該エリアのｆの傾きが１より小さくなるようにする）。そして第１のエリアと第３のエリアの間の第２のエリアではα値がα’に線形変換されるようにしてもよい（例えばｆが直線で傾きが１程度にする）。
【０３２４】
このようにすると、第１のエリア６５０付近では多少αが変化してもα’に影響をあたえないようにすることができる。従って、背景色の明るさの変動に強い前景画像を抜き出すことができる。
【０３２５】
また第３のエリア６５０付近でも多少αが変化してもα’に影響をあたえないようにして、背景の映り込み等が自然に除去できる。
【０３２６】
例えば次式に示すような所定の変換式を用いて所与の手法により得られたα値を補正して本実施の形態のα’値に変換するようにしても良い。
【０３２７】
【数４２】
2006031562.tif 000044
【０３２８】
また例えば図２８に示すようなαからα’への変換テーブルを用意しておいて当該テーブルを用いてαからα’への補正を行うよにしてもよい。
【０３２９】
なお、本発明は、上記実施の形態で説明したものに限らず、種々の変形実施が可能である。
【０３３０】
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。
【０３３１】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【図面の簡単な説明】
【０３３２】
【図１】本実施形態の写真印刷装置の右側面図である。
【図２】本実施形態の写真印刷装置の正面図である。
【図３】本実施形態の写真印刷装置の背面図である。
【図４】本実施形態の写真印刷装置のブロック図の一例である。
【図５】被写体と背景領域の関係について説明するための図である。
【図６】実施の形態の輝度成分について非線形合成を行うクロマキー合成処理の流れの一例について説明するためのフローチャート図である。
【図７】色相平面における背景領域と前景領域について説明するための図である。
【図８】パラメータｋの計算方法について説明するための図である。
【図９】本実施の形態でクロマキー合成パラメータｋを求める処理の一例について説明するためのフローチャート図である。
【図１０】色相成分の変換について説明するための図である。
【図１１】原点を通らない直線による背景領域の定義について説明するための図である。
【図１２】色抜き領域の定義手法について説明するための図である。
【図１３】毛先画像の写真である。
【図１４】毛先画像の写真のＱＹ分布を示している。
【図１５】毛先画像の写真の輝度Ｙの対数とＱの分布を示した図である。
【図１６】背景色を除去した前景画像の作成について説明するための図である。
【図１７】実施の形態のαチャネル付きレーヤーを生成について非線形合成を行うクロマキー合成処理の一例について説明するためのフローチャート図である。
【図１８】グーリーンバックで撮影したときの影響で被写体に背景色の緑色が映り込んでいる様子を表している。
【図１９】緑色がオレンジ（オレンジの映り込み）に変換されている様子を表している。
【図２０】IQ平面上のｋに対してαが比例関係にある場合のｋとαの関係について示した図である。
【図２１】IQ平面上のｋに対してαに非線形性を持たせた場合のｋとαの関係について示した図である。
【図２２】直線付近に色抜きの領域を追加した場合の図である。
【図２３】クロマキー合成について説明するための図である。
【図２４】従来の方式で生成された画像である。
【図２５】毛先の部分を示している。
【図２６】スカート部分を示している。
【図２７】所与の手法により得られたα値と補正後のα値（本実施のα値）の関係について説明するための図である。
【図２８】αからα’への変換テーブルをもちいた補正について説明するための図である。
【符号の説明】
【０３３３】
１  写真印刷装置
１０、１２  カメラ
２０  ディスプレイ
２２，２４  編集用ディスプレイ
４０  写真の受け取り口
１００  処理部
１１０  編集処理部
１２０  画像生成部
１２２  クロマキー合成部
１２４  αチャネル付き被写体画像生成部
１３０  音生成部
１４０  撮影部
１６０  操作部
１７０  記憶部
１７４  描画バッファ
１８０  情報記憶媒体
１９０  ディスプレイ
１９２  音出力部、
１９４  携帯型情報記憶装置
１９５  印刷部
１９６  通信部
【図１】
2006031562.tif 000045
【図２】
2006031562.tif 000046
【図３】
2006031562.tif 000047
【図４】
2006031562.tif 000048
【図５】
2006031562.tif 000049
【図６】
2006031562.tif 000050
【図７】
2006031562.tif 000051
【図８】
2006031562.tif 000052
【図９】
2006031562.tif 000053
【図１０】
2006031562.tif 000054
【図１１】
2006031562.tif 000055
【図１２】
2006031562.tif 000056
【図１６】
2006031562.tif 000057
【図１７】
2006031562.tif 000058
【図１８】
2006031562.tif 000059
【図１９】
2006031562.tif 000060
【図２０】
2006031562.tif 000061
【図２１】
2006031562.tif 000062
【図２２】
2006031562.tif 000063
【図２３】
2006031562.tif 000064
【図２４】
2006031562.tif 000065
【図２５】
2006031562.tif 000066
【図２６】
2006031562.tif 000067
【図２７】
2006031562.tif 000068
【図２８】
2006031562.tif 000069
【図１３】
2006031562.tif 000070
【図１４】
2006031562.tif 000071
【図１５】
2006031562.tif 000072