(57)【要約】【課題】違和感のない合成画像を生成する。【解決手段】ＷＢ変換係数計算部１１が、背景画像ＩＢに基づいて、背景画像ＩＢのＷＢ変換係数を計算する。ＷＢ変換係数計算部１５が、前景画像ＩＦのＷＢ変換係数を計算する。ＷＢ変換部１６が、前景画像ＩＦをＷＢ変換する。逆ＷＢ変換係数計算部１２が、ＷＢ変換係数計算部１１より供給された背景画像のＷＢ変換係数に基づいて、逆ＷＢ変換係数を計算する。逆ＷＢ変換部１６が、逆ＷＢ変換係数に基づいて、前景画像Ｉ’Ｆを逆ＷＢ変換する。合成部１４が、逆ＷＢ変換された前景画像Ｉ’’Ｆと、背景画像ＩＢを、合成し、生成した合成画像を出力する。【選択図】      図１０
2004348362.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算手段と、
前記第１の係数計算手段により計算された、前記第１の画像のホワイトバランス変換処理係数に基づいて、前記第１の画像をホワイトバランス変換するホワイトバランス変換手段と、
第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算手段と、
前記第２の係数計算手段により計算された、前記第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算手段と、
前記ホワイトバランス変換手段によりホワイトバランス変換された前記第１の画像を、前記逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換手段と、
前記逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された前記第１の画像と、前記第２の画像を合成する画像合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の画像は、前景画像であり、前記第２の画像は、背景画像である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップと、
前記第１の係数計算ステップの処理で計算された、前記第１の画像のホワイトバランス変換処理係数に基づいて、前記第１の画像をホワイトバランス変換するホワイトバランス変換ステップと、
第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップと、
前記第２の係数計算ステップの処理で計算された、前記第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップと、
前記ホワイトバランス変換ステップの処理でホワイトバランス変換された前記第１の画像を、前記逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップと、
前記逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された前記第１の画像と、前記第２の画像を合成する画像合成ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップと、
前記第１の係数計算ステップの処理で計算された、前記第１の画像のホワイトバランス変換処理係数に基づいて、前記第１の画像をホワイトバランス変換するホワイトバランス変換ステップと、
第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップと、
前記第２の係数計算ステップの処理で計算された、前記第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップと、
前記ホワイトバランス変換ステップの処理でホワイトバランス変換された前記第１の画像を、前記逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップと、
前記逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された前記第１の画像と、前記第２の画像を合成する画像合成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項５】
第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップと、
前記第１の係数計算ステップの処理で計算された、前記第１の画像のホワイトバランス変換処理係数に基づいて、前記第１の画像をホワイトバランス変換するホワイトバランス変換ステップと、
第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップと、
前記第２の係数計算ステップの処理で計算された、前記第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップと、
前記ホワイトバランス変換ステップの処理でホワイトバランス変換された前記第１の画像を、前記逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップと、
前記逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された前記第１の画像と、前記第２の画像を合成する画像合成ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像を合成する際、背景画像と合成画像のホワイトバランスの調整をとることにより違和感のない合成画像を生成できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）と実写画像を合成したり、実写画像同士を合成する技術は、映画やテレビジョン番組などの放送業界、広告、出版業界などで一般的な技術となりつつある。
【０００３】
また、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術のように、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）のような人工的な画像と、実世界の画像とを合成して表示する技術の進歩により、それらを応用したゲームやシミュレーション装置が、民生用に開発されている。
【０００４】
例えば、画像を合成する方法としては、図１で示されるように、背景画像ＩＢに前景画像ＩＦを合成する場合、マスク画像ＩＭ（背景画像の画素値がそのまま用いられる位置の画素は、画素値が０にされており、それ以外の位置の画素は０以外の値となっている画像）により前景画像となる部分以外の領域の色情報を除去して、背景画像ＩＢの上に前景画像ＩＦを重ね合わせることで、合成画像ＩＯが生成される。
【０００５】
このように、複数の画像やＣＧを違和感なく合成するためには、それぞれの画像のホワイトバランスの整合性の取れた画像に変換して合成する必要がある。従来、複数の画像のホワイトバランスの整合を取るには、それぞれの画像毎に独立してホワイトバランスの整合をとった後に、それらを合成するか、ホワイトバランスに必要な係数を保存しておき、その係数を使って全ての画像のホワイトバランスを取る（例えば、特許文献１参照）か、或いは、ホワイトバランスの係数を固定して、同じカメラで撮像する、といった方法が知られている。
【０００６】
一方、撮影を行う際には、オートホワイトバランスを使わず、マニュアルホワイトバランスで色温度の違いによる撮影効果を狙う場合がある。例えば、夕焼けのシーンなど、オートホワイトバランス変換すると赤味が軽減してしまうため、マニュアルホワイトバランスによって赤味を強調するといった方法である。また、室内でろうそくの明かりを使って撮影する場合などでも、画像に、その雰囲気を残すために、オートホワイトバランスを使わないことがある。
【０００７】
【特許文献１】
特開平１０−１５０５８５号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上述のようにホワイトバランスをマニュアル設定したシーンに対し、オートホワイトバランス変換された別の画像やＣＧを合成する場合、ホワイトバランスの違いにより、合成画像が不自然に見えてしまうことがあった。また、ホワイトバランスの係数を保存して全ての画像のホワイトバランスを取る方法の場合、ＣＧとの合成や、撮影したカメラが異なる時には、マニュアルホワイトバランスの情報が共用できず、違和感のある不自然な合成画像が生成されてしまうという課題があった。
【０００９】
さらに、現実空間が撮影された画像と合成される別の画像とで、異なるカメラによる異なるホワイトバランスの係数によってホワイトバランス変換がなされる場合、それらの画像を合成すると、異なるホワイトバランスにより調整された画像同士が合成されることにより、生成された合成画像の色合いに違和感が発生する恐れがあった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、現実空間が撮像された画像の逆ホワイトバランス変換に必要な係数を求め、ホワイトバランスが取れている合成画像に対し、撮影画像の逆ホワイトバランス変換を適用することで、合成画像と現実空間が撮像された画像とのホワイトバランスの係数のずれを調整することにより、違和感のない合成画像を生成できるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算手段と、第１の係数計算手段により計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換手段と、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算手段と、第２の係数計算手段により計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算手段と、ホワイトバランス変換手段によりホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換手段と、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成手段とを備えることを特徴とする。
【００１２】
前記第１の画像は、前景画像とするようにすることができ、第２の画像は、背景画像とするようにすることができる。
【００１３】
本発明の画像処理方法は、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップと、第１の係数計算ステップの処理で計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換ステップと、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップと、第２の係数計算ステップの処理で計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップと、ホワイトバランス変換ステップの処理でホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップと、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成ステップとを含むことを特徴とする。
【００１４】
本発明の記録媒体のプログラムは、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップと、第１の係数計算ステップの処理で計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換ステップと、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップと、第２の係数計算ステップの処理で計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップと、ホワイトバランス変換ステップの処理でホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップと、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成ステップとを含むことを特徴とする。
【００１５】
本発明のプログラムは、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップと、第１の係数計算ステップの処理で計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換ステップと、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップと、第２の係数計算ステップの処理で計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップと、ホワイトバランス変換ステップの処理でホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップと、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成ステップとをコンピュータに実行させることを特徴とする。
【００１６】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の画像のホワイトバランス変換処理係数が計算され、計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像がホワイトバランス変換され、第２の画像のホワイトバランス変換処理係数が計算され、計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数が計算され、ホワイトバランス変換された第１の画像が、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換され、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像が合成される。
【００１７】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００１８】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２０】
即ち、本発明の画像処理装置は、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算手段（例えば、図２のホワイトバランス変換係数計算部１５）と、第１の係数計算手段により計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換手段（例えば、図２のホワイトバランス変換部１６）と、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算手段（例えば、図２のホワイトバランス変換係数計算部１１）と、第２の係数計算手段により計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算手段（例えば、図２の逆ホワイトバランス変換係数計算部１２）と、ホワイトバランス変換手段によりホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換手段（例えば、図２の逆ホワイトバランス変換部１３）と、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成手段（例えば、図２の合成部１４）とを備えることを特徴とする。
【００２１】
前記第１の画像は、前景画像とするようにすることができ、第２の画像は、背景画像とするようにすることができる。
【００２２】
本発明の画像処理方法は、第１の画像のホワイトバランス変換処理係数を計算する第１の係数計算ステップ（例えば、図３のフローチャートのステップＳ２の処理）と、第１の係数計算ステップの処理で計算された、第１の画像のホワイトバランス変換処理係数に基づいて、第１の画像をホワイトバランス変換するホワイトバランス変換ステップ（例えば、図３のフローチャートのステップＳ３の処理）と、第２の画像のホワイトバランス変換処理係数を計算する第２の係数計算ステップ（例えば、図３のフローチャートのステップＳ１の処理）と、第２の係数計算ステップの処理で計算された、第２の画像のホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理係数を計算する第３の係数計算ステップ（例えば、図３のフローチャートのステップＳ４の処理）と、ホワイトバランス変換ステップの処理でホワイトバランス変換された第１の画像を、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換する逆ホワイトバランス変換ステップ（例えば、図３のフローチャートのステップＳ５の処理）と、逆ホワイトバランス変換処理係数に基づいて、逆ホワイトバランス変換処理された第１の画像と、第２の画像を合成する画像合成ステップ（例えば、図３のフローチャートのステップＳ６の処理）とを含むことを特徴とする。
【００２３】
図２は、本発明に係る前景画像と背景画像を合成し、合成画像を生成する画像処理装置１の一実施の形態の構成を示すブロック図である。
【００２４】
図２のＷＢ（ホワイトバランス）変換係数計算部１１は、入力される背景画像ＩＢの各画素のＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）成分から、ホワイトバランスを調整するための変換に必要なＷＢ変換係数を求めて逆ＷＢ変換係数計算部１２に出力する。
【００２５】
逆ＷＢ変換係数計算部１２は、ＷＢ変換係数計算部１１より供給されてくるＷＢ変換係数に基づいて、逆ＷＢ変換処理に必要な逆ＷＢ変換係数を計算し、逆ＷＢ変換部１３に供給する。
【００２６】
ＷＢ変換係数計算部１５は、入力される前景画像ＩＦの各画素のＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）成分から、ホワイトバランスを調整するための変換に必要なＷＢ変換係数を求めてＷＢ変換部１６に出力する。
【００２７】
ＷＢ変換部１６は、ＷＢ変換係数計算部１５より供給されるＷＢ変換係数を用いて、入力される前景画像ＩＦをＷＢ変換し、ＷＢ変換した前景画像Ｉ’Ｆを逆ＷＢ変換部１３に出力する。
【００２８】
逆ＷＢ変換部１３は、逆ＷＢ変換係数計算部１２より供給された、背景画像に基づいて演算されている逆ＷＢ変換係数に基づいて、ＷＢ変換部１６より供給されるＷＢ変換された前景画像Ｉ’Ｆに、逆ＷＢ変換を施し合成部１４に出力する。
【００２９】
合成部１４は、前景画像に対応したマスク画像ＩＭを用いて、入力される背景画像と、自らの画像情報に基づいてＷＢ変換処理された後、逆ＷＢ変換処理された画像とを合成し、合成画像ＩＯを生成して出力する。マスク画像ＩＭは、合成画像のうち、背景画像の画素値を採用したい位置の画素の画素値を０として、それ以外の位置の画素の画素値を０以外の画素値とした画像であり、合成部１４は、このマスク画像ＩＭの情報に基づいて、前景画像と背景画像を合成する。
【００３０】
次に、図３のフローチャートを参照して、図２の画像合成装置による画像合成処理について説明する。
【００３１】
ステップＳ１において、ＷＢ変換係数計算部１１は、入力される背景画像ＩＢの各画素のＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）成分から、ホワイトバランスを調整するための変換に必要なＷＢ変換係数を求めて逆ＷＢ変換係数計算部１２に出力する。尚、詳細な処理については、図４のフローチャートを参照して、後述する。
【００３２】
ステップＳ２において、ＷＢ変換係数計算部１５は、入力される前景画像ＩＦの各画素のＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）成分から、ホワイトバランスを調整するための変換に必要なＷＢ変換係数を求めてＷＢ変換部１６に出力する。尚、詳細な処理については、図５のフローチャートを参照して、後述する。
【００３３】
ステップＳ３において、ＷＢ変換部１６は、ＷＢ変換係数計算部１５より供給されるＷＢ変換係数を用いて、入力される前景画像をＷＢ変換し逆ＷＢ変換部１３に出力する。尚、詳細な処理については、図６のフローチャートを参照して、後述する。
【００３４】
ステップＳ４において、逆ＷＢ変換係数計算部１２は、ＷＢ変換係数計算部１１より供給されてくるＷＢ変換係数に基づいて、逆ＷＢ変換処理に必要な逆ＷＢ変換係数を計算し、逆ＷＢ変換部１３に供給する。尚、詳細な処理については、図７のフローチャートを参照して、後述する。
【００３５】
ステップＳ５において、逆ＷＢ変換部１３は、逆ＷＢ変換係数計算部１２より供給された、背景画像ＩＢに基づいて演算されている逆ＷＢ変換係数に基づいて、ＷＢ変換部１６より供給されるＷＢ変換された前景画像に、逆ＷＢ変換を施し合成部１４に出力する。尚、詳細な処理については、図８のフローチャートを参照して、後述する。
【００３６】
ステップＳ６において、合成部１４は、前景画像に対応したマスク画像ＩＭを用いて、入力される背景画像と、自らの画像に基づいてＷＢ変換処理された後、逆ＷＢ変換処理された画像とを合成し、合成画像ＩＯを生成して出力する。尚、詳細な処理については、図９のフローチャートを参照して、後述する。
【００３７】
次に、図４のフローチャートを参照して、図３のフローチャートのステップＳ１の処理に対応する、背景画像のＷＢ変換係数計算処理について説明する。
【００３８】
ステップＳ２１において、ＷＢ変換係数計算部１１は、図示せぬカウンタＳＢＲ，ＳＢＧ，ＳＢＢを０に初期化する。尚、このカウンタＳＢＲ，ＳＢＧ，ＳＢＢは、それぞれ背景画像ＩＢのＷＢ変換係数のＲＧＢ成分の積算値を示すものである。
【００３９】
ステップＳ２２において、ＷＢ変換係数計算部１１は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力される背景画像ＩＢの垂直方向の画素数をカウントするものである。
【００４０】
ステップＳ２３において、ＷＢ変換係数計算部１１は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力される背景画像ＩＢの水平方向の画素数をカウントするものである。
【００４１】
ステップＳ２４において、ＷＢ変換係数計算部１１は、カウンタＳＢＲ，ＳＢＧ，ＳＢＢのそれぞれに、入力された背景画像ＩＢの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩＢＲ（ｘ，ｙ），ＩＢＧ（ｘ，ｙ），ＩＢＢ（ｘ，ｙ）を加算する。
【００４２】
ステップＳ２５において、ＷＢ変換係数計算部１１は、カウンタｘを１インクリメントする。
【００４３】
ステップＳ２６において、ＷＢ変換係数計算部１１は、カウンタｘが入力された背景画像ＩＢの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ２４に戻る。すなわち、カウンタｘが入力された背景画像ＩＢの水平方向の画素数を超えたと判定されるまで、ステップＳ２４乃至Ｓ２６の処理が繰り返される。
【００４４】
ステップＳ２６において、カウンタｘが入力された背景画像ＩＢの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ２７に進む。
【００４５】
ステップＳ２７において、ＷＢ変換係数計算部１１は、カウンタｙを１インクリメントする。
【００４６】
ステップＳ２８において、ＷＢ変換係数計算部１１は、カウンタｙが入力された背景画像ＩＢの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ２３に戻る。すなわち、カウンタｙが入力された背景画像ＩＢの垂直方向の画素数を超えたと判定されるまで、ステップＳ２３乃至Ｓ２８の処理が繰り返される。
【００４７】
ステップＳ２８において、カウンタｙが入力された背景画像ＩＢの垂直方向の画素数を超えたと判定された場合、その処理は、ステップＳ２９に進む。
【００４８】
ステップＳ２９において、ＷＢ変換係数計算部１１は、背景画像のＷＢ変換係数としてカウンタＳＢＲ，ＳＢＧ，ＳＢＢの値を読み出して、逆ＷＢ変換係数計算部１３に供給する。
【００４９】
すなわち、ホワイトバランスの調整は、ＲＧＢ成分毎の画像内の総和からなるＷＢ変換係数に基づいてなされるものであるので、ＷＢ変換係数計算部１１は、図４のフローチャートのステップＳ２３乃至Ｓ２８の処理を繰り返すことにより、背景画像ＩＢ内のＲＧＢ成分毎の総和を求め、これを背景画像のＷＢ変換係数として出力する。
【００５０】
より詳細には、背景画像ＩＢの画素値をＩＢ＝（ＩＢＲ，ＩＢＧ，ＩＢＢ）Ｔ、前景画像ＩＦの画素値をＩＦ＝（ＩＦＲ，ＩＦＧ，ＩＦＢ）Ｔ、合成画像ＩＯの画素値をＩＯ＝（ＩＯＲ，ＩＯＧ，ＩＯＢ）Ｔ、背景画像ＩＢにホワイトバランスを掛けた背景画像をＩ’Ｂ、その画素値をＩ’Ｂ＝（Ｉ’ＢＲ，Ｉ’ＢＧ，Ｉ’ＢＢ）Ｔとそれぞれ表すものとすると、背景画像ＩＢと、ホワイトバランスが掛けられた背景画像ＩＢとの関係は、以下の式（１）で表される。
【００５１】
【数１】
2004348362.tif 000003
2004348362.tif 000004
【００５２】
ここで、ＳＢＲ，ＳＢＧ，ＳＢＢは、以下の式（２）で示されるように上述した図４のフローチャートを参照して説明した処理により求められる背景画像ＩＢのＷＢ変換係数である。また、ＫＢは、背景画像ＩＢのＷＢ変換係数の正規化定数であり、背景画像ＩＢとホワイトバランスが掛けられた背景画像Ｉ’Ｂの輝度値の和を等しくするためのものである。
【００５３】
【数２】
2004348362.tif 000005
2004348362.tif 000006
【００５４】
尚、背景画像ＩＢの輝度ＬＢは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）  １７０Ｍの定義により、ＲＧＢの値から次の式（３）で求められる。
【００５５】
Ｌ＝０．２９９×ＩＢＲ＋０．５８７×ＩＢＧ＋０．１４４×ＩＢＢ・・・（３）
【００５６】
ここで、背景画像ＩＢの輝度値ＬＢと、ホワイトバランスが掛けられた背景画像の輝度値Ｌ’Ｂは、その総和が等しい。従って、以下の式（４）の関係が成立することになる。
【００５７】
【数３】
2004348362.tif 000007
2004348362.tif 000008
【００５８】
結果として、式（１）乃至（４）を展開することにより、背景画像ＩＢのＷＢ変換係数の正規化定数ＫＢは、以下の式（５）で示されることになる。
【００５９】
【数４】
2004348362.tif 000009
2004348362.tif 000010
【００６０】
次に、図５のフローチャートを参照して、図３のフローチャートのステップＳ２の処理に対応する、前景画像のＷＢ変換係数計算処理について説明する。
【００６１】
ステップＳ４１において、ＷＢ変換係数計算部１５は、図示せぬカウンタＳＦＲ，ＳＦＧ，ＳＦＢを０に初期化する。尚、このカウンタＳＦＲ，ＳＦＧ，ＳＦＢは、それぞれ前景画像ＩＦのＷＢ変換係数のＲＧＢ成分の積算値を示すものである。
【００６２】
ステップＳ４２において、ＷＢ変換係数計算部１５は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力される前景画像ＩＦの垂直方向の画素数をカウントするものである。
【００６３】
ステップＳ４３において、ＷＢ変換係数計算部１５は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力される前景画像ＩＦの水平方向の画素数をカウントするものである。
【００６４】
ステップＳ４４において、ＷＢ変換係数計算部１５は、カウンタＳＦＲ，ＳＦＧ，ＳＦＢのそれぞれに、入力された前景画像ＩＦの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩＦＲ（ｘ，ｙ），ＩＦＧ（ｘ，ｙ），ＩＦＢ（ｘ，ｙ）を加算する。
【００６５】
ステップＳ４５において、ＷＢ変換係数計算部１５は、カウンタｘを１インクリメントする。
【００６６】
ステップＳ４６において、ＷＢ変換係数計算部１５は、カウンタｘが入力された前景画像ＩＦの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ４４に戻る。すなわち、カウンタｘが入力された前景画像ＩＦの水平方向の画素数を超えたと判定されるまで、ステップＳ４４乃至Ｓ４６の処理が繰り返される。
【００６７】
ステップＳ４６において、カウンタｘが入力された前景画像ＩＦの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ４７に進む。
【００６８】
ステップＳ４７において、ＷＢ変換係数計算部１５は、カウンタｙを１インクリメントする。
【００６９】
ステップＳ４８において、ＷＢ変換係数計算部１５は、カウンタｙが入力された前景画像ＩＦの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ４３に戻る。すなわち、カウンタｙが入力された前景画像ＩＦの垂直方向の画素数を超えたと判定されるまで、ステップＳ４３乃至Ｓ４８の処理が繰り返される。
【００７０】
ステップＳ４８において、カウンタｙが入力された前景画像ＩＦの垂直方向の画素数を超えたと判定された場合、その処理は、ステップＳ４９に進む。
【００７１】
ステップＳ４９において、ＷＢ変換係数計算部１５は、前景画像ＩＦのＷＢ変換係数としてカウンタＳＦＲ，ＳＦＧ，ＳＦＢの値を読み出して、ＷＢ変換部１６に出力する。
【００７２】
すなわち、図４のフローチャートを参照して説明した背景画像のＷＢ変換係数を求めた処理と同様に、ホワイトバランスの調整は、ＲＧＢ成分毎の画像内の総和からなるＷＢ変換係数に基づいてなされるものであるので、ＷＢ変換係数計算部１５は、図５のフローチャートのステップＳ４３乃至Ｓ４８の処理を繰り返すことにより、背景画像ＩＦ内のＲＧＢ成分毎の総和を求め、これを前景画像のＷＢ変換係数として出力する。
【００７３】
より詳細には、ホワイトバランスが掛けられた前景画像Ｉ’Ｆの画素値をＩ’Ｆ＝（Ｉ’ＦＲ，Ｉ’ＦＧ，Ｉ’ＦＢ）Ｔと表すものとすると、背景画像ＩＦと、ホワイトバランスが掛けられた背景画像Ｉ’Ｆとの関係は、以下の式（６）で表される。
【００７４】
【数５】
2004348362.tif 000011
2004348362.tif 000012
【００７５】
ここで、ＳＦＲ，ＳＦＧ，ＳＦＢは、以下の式（７）で示されるように上述した図５のフローチャートを参照して説明した処理により求められる前景画像ＩＦのＷＢ変換係数である。また、ＫＦは、前景画像ＩＦのＷＢ変換係数の正規化定数であり、前景画像ＩＦとホワイトバランスが掛けられた前景画像Ｉ’Ｆの輝度値の和を等しくするためのものである。
【００７６】
【数６】
2004348362.tif 000013
2004348362.tif 000014
【００７７】
尚、前景画像ＩＦの輝度値ＬＦは、ＳＭＰＴＥ  １７０Ｍの定義により、ＲＧＢの値から次の式（８）で求められる。
【００７８】
Ｌ＝０．２９９×ＩＦＲ＋０．５８７×ＩＦＧ＋０．１４４×ＩＦＢ・・・（８）
【００７９】
ここで、前景画像ＩＦの輝度値ＬＦと、ホワイトバランスが掛けられた前景画像の輝度値Ｌ’Ｆは、その総和が等しい。
【００８０】
結果として、式（６）乃至（８）を展開することにより、前景画像ＩＦのＷＢ変換係数の正規化定数ＫＦは、以下の式（９）で示されることになる。
【００８１】
【数７】
2004348362.tif 000015
2004348362.tif 000016
【００８２】
次に、図６のフローチャートを参照して、図３のフローチャートのステップＳ３の処理に対応する、前景画像のＷＢ変換処理について説明する。
【００８３】
ステップＳ６１において、ＷＢ変換部１６は、図示せぬカウンタＳＦＲ，ＳＦＧ，ＳＦＢを読み出すことで、前景画像のＷＢ変換係数を読み出す。
【００８４】
ステップＳ６２において、ＷＢ変換部１６は、前景画像の正規化定数ＫＦを計算する。より詳細には、カウンタＳＦＲ，ＳＦＧ，ＳＦＢから読み出した前景画像のＷＢ変換係数に基づいて、上述した式（５）を計算することにより、前景画像の正規化定数ＫＦを計算する。
【００８５】
ステップＳ６３において、ＷＢ変換部１６は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力される前景画像ＩＦの垂直方向の画素数をカウントするものである。
【００８６】
ステップＳ６４において、ＷＢ変換部１６は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力される前景画像ＩＦの水平方向の画素数をカウントするものである。
【００８７】
ステップＳ６５において、ＷＢ変換部１６は、読み出したカウンタＳＦＲ，ＳＦＧ，ＳＦＢの値、ステップＳ６２の処理で演算された正規化定数ＫＦ、および、それぞれに、入力された前景画像ＩＦの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩＦＲ（ｘ，ｙ），ＩＦＧ（ｘ，ｙ），ＩＦＢ（ｘ，ｙ）を用いて、上述した式（６）を演算することにより、各画素の画素値のＲＧＢ成分にＷＢ変換を掛けて、逆ＷＢ変換部１３に出力する。
【００８８】
ステップＳ６６において、ＷＢ変換部１６は、カウンタｘを１インクリメントする。
【００８９】
ステップＳ６７において、ＷＢ変換部１６は、カウンタｘが入力された前景画像ＩＦの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ６５に戻る。すなわち、カウンタｘが入力された前景画像ＩＦの水平方向の画素数を超えたと判定されるまで、ステップＳ６５乃至Ｓ６７の処理が繰り返される。
【００９０】
ステップＳ６７において、カウンタｘが入力された前景画像ＩＦの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ６８に進む。
【００９１】
ステップＳ６８において、ＷＢ変換部１６は、カウンタｙを１インクリメントする。
【００９２】
ステップＳ６９において、ＷＢ変換部１６は、カウンタｙが入力された前景画像ＩＦの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ６４に戻る。すなわち、カウンタｙが入力された前景画像ＩＦの垂直方向の画素数を超えたと判定されるまで、ステップＳ６４乃至Ｓ６９の処理が繰り返される。
【００９３】
ステップＳ６９において、カウンタｙが入力された前景画像ＩＦの垂直方向の画素数を超えたと判定された場合、その処理は、終了する。
【００９４】
すなわち、ＷＢ変換部１６は、図６のフローチャートのステップＳ６４乃至Ｓ６９の処理を繰り返すことにより、前景画像ＩＦのＲＧＢ成分毎の各画素にＷＢ変換を施し、前景画像ＩＦにＷＢ変換を掛けた画素を逆ＷＢ変換部１３に出力する。
【００９５】
次に、図７のフローチャートを参照して、図３のフローチャートのステップＳ４の処理に対応する、背景画像の逆ＷＢ変換係数計算処理について説明する。
【００９６】
ステップＳ８１において、逆ＷＢ変換係数計算部１２は、図示せぬカウンタＳＢＲ，ＳＢＧ，ＳＢＢを読み出す。
【００９７】
ステップＳ８２において、逆ＷＢ変換係数計算部１２は、図示せぬカウンタＳ’ＦＲ，Ｓ’ＦＧ，Ｓ’ＦＢを０に初期化する。尚、このカウンタＳ’ＦＲ，Ｓ’ＦＧ，Ｓ’ＦＢは、それぞれ背景画像ＩＢのＷＢ変換係数を用いた、ホワイトバランスが掛けられた前景画像Ｉ’Ｆを逆ＷＢ変換するための逆ＷＢ変換係数のＲＧＢ成分にの積算値を示すものである。
【００９８】
ステップＳ８３において、逆ＷＢ変換係数計算部１２は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力されるＷＢが掛けられた前景画像Ｉ’Ｆの垂直方向の画素数をカウントするものである。
【００９９】
ステップＳ８４において、逆ＷＢ変換係数計算部１２は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力されるＷＢが掛けられた前景画像Ｉ’Ｆの水平方向の画素数をカウントするものである。
【０１００】
ステップＳ８５において、逆ＷＢ変換係数計算部１２は、カウンタＳ’ＦＲ，Ｓ’ＦＧ，Ｓ’ＦＢのそれぞれに、入力されたＷＢ変換が掛けられた前景画像Ｉ’Ｆの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩ’ＦＲ（ｘ，ｙ），Ｉ’ＦＧ（ｘ，ｙ），Ｉ’ＦＢ（ｘ，ｙ）を加算する。
【０１０１】
ステップＳ８６において、逆ＷＢ変換係数計算部１２は、カウンタｘを１インクリメントする。
【０１０２】
ステップＳ８７において、逆ＷＢ変換係数計算部１２は、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’Ｆの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ８５に戻る。すなわち、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’Ｆの水平方向の画素数を超えたと判定されるまで、ステップＳ８５乃至Ｓ８７の処理が繰り返される。
【０１０３】
ステップＳ８７において、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’Ｆの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ８８に進む。
【０１０４】
ステップＳ８８において、逆ＷＢ変換係数計算部１２は、カウンタｙを１インクリメントする。
【０１０５】
ステップＳ８９において、逆ＷＢ変換係数計算部１２は、カウンタｙが入力されたＷＢが掛けられている前景画像Ｉ’Ｆの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ８４に戻る。すなわち、カウンタｙが入力されたＷＢが掛けられている前景画像Ｉ’Ｆの垂直方向の画素数を超えたと判定されるまで、ステップＳ８４乃至Ｓ８９の処理が繰り返される。
【０１０６】
ステップＳ８９において、カウンタｙが入力されたＷＢが掛けられた前景画像Ｉ’Ｆの垂直方向の画素数を超えたと判定された場合、その処理は、ステップＳ９０に進む。
【０１０７】
ステップＳ９０において、逆ＷＢ変換係数計算部１２は、背景画像ＩＢのＷＢ変換係数を用いた、前景画像ＩＦの逆ＷＢ変換正規化係数Ｋ’Ｆを演算し、逆ＷＢ変換部１３に出力する。
【０１０８】
すなわち、背景画像の逆ＷＢ変換は、以下に示す式（１０）で示される関係となる。
【０１０９】
【数８】
2004348362.tif 000017
2004348362.tif 000018
【０１１０】
上述の式（１０）で示される逆ＷＢ変換に用いられる逆ＷＢ変換係数を用いて、ＷＢ変換された前景画像ＩＦを逆ＷＢ変換するためには、以下の式（１１）で示される演算がなされることになる。
【０１１１】
【数９】
2004348362.tif 000019
2004348362.tif 000020
【０１１２】
ここで、Ｉ’’ＦＲ，Ｉ’’ＦＧ，Ｉ’’ＦＢは、背景画像ＩＢのＷＢ変換係数を用いて、ＷＢ変換された前景画像Ｉ’Ｆが、逆ＷＢ変換された画素値のＲＧＢ成分を示している。また、逆ＷＢ変換の正規化係数Ｋ’Ｆは、以下に示される式（１２）で示されるように、背景画像ＩＢのＷＢ変換係数を用いて、ＷＢ変換された前景画像Ｉ’Ｆの輝度値Ｌ’’Ｆと、ＷＢ変換が掛けられた前景画像の輝度値Ｌ’Ｆが、同一となる関係から、以下の式（１３）のように導き出される。
【０１１３】
【数１０】
2004348362.tif 000021
2004348362.tif 000022
【０１１４】
【数１１】
2004348362.tif 000023
2004348362.tif 000024
【０１１５】
結果として、逆ＷＢ変換係数計算部１２は、上述した式（１３）を演算することにより、逆ＷＢ変換正規化係数Ｋ’Ｆを求めて、逆ＷＢ変換部１３に出力する。
【０１１６】
次に、図８のフローチャートを参照して、逆ＷＢ変換部１３による、ＷＢ変換された前景画像の、背景画像のＷＢ変換係数を用いた、逆ＷＢ変換処理について説明する。
【０１１７】
ステップＳ１０１において、逆ＷＢ変換部１３は、図示せぬカウンタＳＢＲ，ＳＢＧ，ＳＢＢと、逆ＷＢ正規化変換定数Ｋ’Ｆを読み出す。
【０１１８】
ステップＳ１０２において、逆ＷＢ変換部１３は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力されるＷＢが掛けられた前景画像Ｉ’Ｆの垂直方向の画素数をカウントするものである。
【０１１９】
ステップＳ１０３において、逆ＷＢ変換部１３は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力されるＷＢが掛けられた前景画像Ｉ’Ｆの水平方向の画素数をカウントするものである。
【０１２０】
ステップＳ１０４において、逆ＷＢ変換部１３は、読み出したカウンタＳＢＲ，ＳＢＧ，ＳＢＢと、逆ＷＢ変換正規化定数Ｋ’Ｆを用いて、入力されたＷＢ変換が掛けられている前景画像Ｉ’Ｆの（ｘ，ｙ）の座標上の画素のＲＧＢ成分であるＩ’ＦＲ（ｘ，ｙ），Ｉ’ＦＧ（ｘ，ｙ），Ｉ’ＦＢ（ｘ，ｙ）に逆ＷＢ変換を掛け、これらの処理が施された画像Ｉ’’ＦＲ（ｘ，ｙ），Ｉ’’ＦＧ（ｘ，ｙ），Ｉ’’ＦＢ（ｘ，ｙ）を合成部１４に出力する。より詳細には、逆ＷＢ変換部１３は、上述した式（１１）の演算を実行することにより、ＷＢが掛けられた前景画像Ｉ’Ｆに逆ＷＢ変換をかける。
【０１２１】
ステップＳ１０５において、逆ＷＢ変換部１３は、カウンタｘを１インクリメントする。
【０１２２】
ステップＳ１０６において、逆ＷＢ変換部１３は、カウンタｘが入力されたＷＢが掛けられている前景画像Ｉ’Ｆの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ１０４に戻る。すなわち、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’Ｆの水平方向の画素数を超えたと判定されるまで、ステップＳ１０４乃至Ｓ１０６の処理が繰り返される。
【０１２３】
ステップＳ１０６において、カウンタｘが入力されたＷＢが掛けられた前景画像Ｉ’Ｆの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ１０７に進む。
【０１２４】
ステップＳ１０７において、逆ＷＢ変換部１３は、カウンタｙを１インクリメントする。
【０１２５】
ステップＳ１０８において、逆ＷＢ変換部１３は、カウンタｙが入力されたＷＢが掛けられている前景画像Ｉ’Ｆの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ１０３に戻る。すなわち、カウンタｙが入力されたＷＢが掛けられた前景画像Ｉ’Ｆの垂直方向の画素数を超えたと判定されるまで、ステップＳ１０３乃至Ｓ１０８の処理が繰り返される。
【０１２６】
ステップＳ１０８において、カウンタｙが入力されたＷＢが掛けられた前景画像Ｉ’Ｆの垂直方向の画素数を超えたと判定された場合、その処理は、終了する。
【０１２７】
すなわち、逆ＷＢ変換部１３は、ステップＳ１０３乃至Ｓ１０８の処理を繰り返すことにより、ＷＢ変換部１６より供給されたＷＢ変換された前景画像Ｉ’Ｆに、上述した式（１１）で示される演算をすることで、逆ＷＢ変換を掛けて、合成しようとする前景画像ＩＦを背景画像ＩＢのＷＢ変換係数に適合するように逆ＷＢ変換する。
【０１２８】
次に、図９のフローチャートを参照して、合成部１４による合成処理について説明する。
【０１２９】
ステップＳ１２１において、合成部１４は、図示せぬカウンタｙを０に初期化する。尚、このカウンタｙは、入力される背景画像ＩＢの垂直方向の画素数をカウントするものである。
【０１３０】
ステップＳ１２２において、合成部１４は、図示せぬカウンタｘを０に初期化する。尚、このカウンタｘは、入力される背景画像ＩＢの水平方向の画素数をカウントするものである。
【０１３１】
ステップＳ１２３において、合成部１４は、今の座標（ｘ，ｙ）に対応するマスク画像ＩＭの画素ＩＭ（ｘ，ｙ）が、０以外の値となっているか否かを判定する。すなわち、マスク画像ＩＭは、背景画像をそのまま残す領域に０が設定され、それ以外の画素に０以外の値（例えば、１）が設定されることにより、合成する前景画像をマスキングするもの（前景画像と背景画像を区別するもの）である。従って、マスク画像ＩＭの画素ＩＭ（ｘ，ｙ）が、０であるということは、その位置の画素の画素値は、背景画像がそのまま用いられ、０以外の値であると言うことは、その位置の画素の画素値は、逆ＷＢ変換されている前景画像の画素値が用いられることになる。
【０１３２】
ステップＳ１２３において、今の座標（ｘ，ｙ）に対応するマスク画像ＩＭの画素ＩＭ（ｘ，ｙ）が、０以外の値となっていると判定された場合、ステップＳ１２４において、合成部１４は、合成画像ＩＯの画素値ＩＯ（ｘ，ｙ）が、ＷＢが掛けられた後、背景画像のＷＢ変換係数に基づいて逆ＷＢ変換された前景画像Ｉ’’Ｆ（ｘ，ｙ）の画素値であるとものとみなし、ＲＧＢの各成分の画素値ＩＯＲ（ｘ，ｙ），ＩＯＧ（ｘ，ｙ），ＩＯＢ（ｘ，ｙ）を、Ｉ’’ＦＲ（ｘ，ｙ），Ｉ’’ＦＧ（ｘ，ｙ），Ｉ’’ＦＢ（ｘ，ｙ）に設定し、その処理は、ステップＳ１２６に進む。
【０１３３】
一方、ステップＳ１２３において、今の座標（ｘ，ｙ）に対応するマスク画像ＩＭの画素ＩＭ（ｘ，ｙ）が、０以外の値となっていない、すなわち、０であると判定された場合、ステップＳ１２５において、合成部１４は、合成画像ＩＯの画素値ＩＯ（ｘ，ｙ）が、背景画像ＩＢ（ｘ，ｙ）の画素値であるとものとみなし、ＲＧＢの各成分の画素値ＩＯＲ（ｘ，ｙ），ＩＯＧ（ｘ，ｙ），ＩＯＢ（ｘ，ｙ）を、ＩＢＲ（ｘ，ｙ），ＩＢＧ（ｘ，ｙ），ＩＢＢ（ｘ，ｙ）に設定し、その処理は、ステップＳ１２６に進む。
【０１３４】
ステップＳ１２６において、合成部１４は、カウンタｘを１インクリメントする。
【０１３５】
ステップＳ１２７において、合成部１４は、カウンタｘが入力された背景画像ＩＢの水平方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ１２３に戻る。すなわち、カウンタｘが入力された背景画像ＩＢの水平方向の画素数を超えたと判定されるまで、ステップＳ１２３乃至Ｓ１２７の処理が繰り返される。
【０１３６】
ステップＳ１２７において、カウンタｘが入力された背景画像ＩＢの水平方向の画素数を超えたと判定された場合、その処理は、ステップＳ１２８に進む。
【０１３７】
ステップＳ１２８において、合成部１４は、カウンタｙを１インクリメントする。
【０１３８】
ステップＳ１２９において、合成部１４は、カウンタｙが入力された背景画像ＩＢの垂直方向の画素数を超えているか否かを判定し、超えていないと判定した場合、その処理は、ステップＳ１２２に戻る。すなわち、カウンタｙが入力された背景画像ＩＢの垂直方向の画素数を超えたと判定されるまで、ステップＳ１２２乃至Ｓ１２９の処理が繰り返される。
【０１３９】
ステップＳ１２９において、カウンタｙが入力された背景画像ＩＢの垂直方向の画素数を超えたと判定された場合、その処理は、終了する。同時に、図３のフローチャートの処理が終了する。
【０１４０】
すなわち、合成部１４は、マスク画像ＩＭ上の画素値、より詳細には、前景画像であるか、背景画像であるかを識別する値に基づいて、前景画像ＩＦの画素値であるか、または、背景画像ＩＢの画素値であるかを識別し、識別された画素値を、合成画像ＩＯの各画素値に置き換えることにより、背景画像と、ＷＢ調整された後、背景画像のＷＢ変換係数に基づいて逆ＷＢ変換された前景画像を合成する。
【０１４１】
以上の処理をまとめると、図１０で示されるようになる。
【０１４２】
すなわち、図３のステップＳ１の処理、すなわち、図４のフローチャートを参照して説明した処理により、ＷＢ変換係数計算部１１が、背景画像ＩＢに基づいて、背景画像ＩＢのＷＢ変換係数を計算し、逆ＷＢ変換係数計算部１２に出力する。
【０１４３】
図３のステップＳ２の処理、すなわち、図５のフローチャートを参照して説明した処理により、ＷＢ変換係数計算部１５が、前景画像ＩＦに基づいて、前景画像ＩＦのＷＢ変換係数を計算し、ＷＢ変換部１６に出力する。
【０１４４】
図３のステップＳ３の処理、すなわち、図６のフローチャートを参照して説明した処理により、ＷＢ変換部１６が、前景画像ＩＦをＷＢ変換し、ＷＢ変換した前景画像Ｉ’Ｆを逆ＷＢ変換部１３に出力する。
【０１４５】
図３のステップＳ４の処理、すなわち、図７のフローチャートを参照して説明した処理により、逆ＷＢ変換係数計算部１２が、ＷＢ変換係数計算部１１より供給された背景画像のＷＢ変換係数に基づいて、逆ＷＢ変換係数を計算し、逆ＷＢ変換部１３に出力する。
【０１４６】
図３のステップＳ５の処理、すなわち、図８のフローチャートを参照して説明した処理により、逆ＷＢ変換部１６が、逆ＷＢ変換係数計算部１３より供給された背景画像ＩＢの変換係数に基づいて計算されている逆ＷＢ変換係数に基づいて、ＷＢ変換部１６より供給されたＷＢ変換された前景画像Ｉ’Ｆを逆ＷＢ変換し、逆ＷＢ変換した前景画像Ｉ’’Ｆを合成部１４に出力する。
【０１４７】
図３のステップＳ６の処理、すなわち、図９のフローチャートを参照して説明した処理により、合成部１４が、逆ＷＢ変換部１３より供給された、背景画像のＷＢ変換係数から計算された逆ＷＢ変換係数に基づいて、逆ＷＢ変換されている前景画像Ｉ’’Ｆと、背景画像ＩＢを、マスク画像ＩＭの情報に基づいて合成し、生成した合成画像を出力する。
【０１４８】
このような処理により、合成される前景画像は、背景画像のＷＢ変換係数から計算された逆ＷＢ変換係数に基づいて、逆ＷＢ変換された後に背景画像と合成されるため、前景画像が背景画像とよく馴染んだ色合いとなり、違和感のない自然な合成画像を生成することが可能となる。
【０１４９】
尚、以上においては、前景画像が、背景画像のＷＢ変換係数から計算された逆ＷＢ変換係数に基づいて、逆ＷＢ変換された後に背景画像と合成される場合について説明してきたが、前景画像と背景画像の関係が逆となるように処理しても、上述の処理と同様であることは言うまでもないが、この場合、前景画像の色合いに基づいて、背景画像のＷＢが調整されることになる。結果として、上述したように、背景画像が前景画像とよく馴染んだ色合いとなり、違和感のない自然な色合いの合成画像を生成することが可能となる。
【０１５０】
さらに、以上においては、前景画像と背景画像の２枚の画像を合成する場合について説明してきたが、２枚以上の画像を合成する場合に適用してもよく、この場合、いずれかＷＢの基準となる画像を決めて、その基準となる画像のＷＢ変換係数に基づいて、逆ＷＢ変換係数を求めて、その他の画像を、その逆ＷＢ変換係数を用いて逆ＷＢ変換した後、合成することで、上述と同様の効果が得られる。
【０１５１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１５２】
図１１は、画像処理装置１をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのＣＰＵ１０１は、パーソナルコンピュータの動作の全体を制御する。また、ＣＰＵ１０１は、バス１０４および入出力インタフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２に格納されているプログラムを実行する。あるいはまた、ＣＰＵ１０１は、ドライブ１１０に接続された磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、または半導体メモリ１１４から読み出され、記憶部１０８にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３にロードして実行し、出力部１０７が実行結果を出力する。さらに、ＣＰＵ１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１５３】
プログラムが記録されている記録媒体は、図１１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フレキシブルディスクを含む）、光ディスク１１２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）を含む）、光磁気ディスク１１３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）を含む）、もしくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１５４】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１５５】
【発明の効果】
本発明によれば、違和感のない自然な色合いの画像として複数の画像を合成することが可能となる。
【図面の簡単な説明】
【図１】従来の画像合成を説明する図である。
【図２】本発明を適用した画像合成装置の一実施の形態の構成を示す図である。
【図３】図２の画像合成装置による画像合成処理を説明するフローチャートである。
【図４】図３のステップＳ１の処理である、背景画像のＷＢ変換係数計算処理を説明するフローチャートである。
【図５】図３のステップＳ２の処理である、前景画像のＷＢ変換係数計算処理を説明するフローチャートである。
【図６】図３のステップＳ３の処理である、前景画像のＷＢ変換処理を説明するフローチャートである。
【図７】図３のステップＳ４の処理である、逆ＷＢ変換係数計算処理を説明するフローチャートである。
【図８】図３のステップＳ５の処理である、前景画像の逆ＷＢ変換処理を説明するフローチャートである。
【図９】図３のステップＳ６の処理である、合成処理を説明するフローチャートである。
【図１０】図３のフローチャートの処理を説明する図である。
【図１１】記録媒体を説明する図である。
【符号の説明】
１  画像処理装置１１  ＷＢ変換係数計算部，  １２  逆変換係数計算部，  １３  逆ＷＢ変換部，  １４  合成部，  １５  ＷＢ変換係数計算部，  １６  ＷＢ変換部
【図１】
2004348362.tif 000025
【図２】
2004348362.tif 000026
【図３】
2004348362.tif 000027
【図４】
2004348362.tif 000028
【図５】
2004348362.tif 000029
【図６】
2004348362.tif 000030
【図７】
2004348362.tif 000031
【図８】
2004348362.tif 000032
【図９】
2004348362.tif 000033
【図１０】
2004348362.tif 000034
【図１１】
2004348362.tif 000035