(57)【特許請求の範囲】
【請求項１】
市松模様を背景として撮影された第１画像の各画素について、その周辺の周辺画素列によって決定される色パターンと、前記市松模様に基づく色パターンとを比較し、前記各画素が前景部分に相当する前景画素であるか、又は、背景部分に相当する背景画素であるかを判断する判断手段と、
前記前景画素及び前記背景画素からなるマスク画像を生成し、前記マスク画像の反転画像及び前記第１画像に基づく画像と、前記第１画像とは異なる第２画像及び前記マスク画像に基づく画像とを合成処理することで、合成画像を生成する生成手段と、
を有し、
前記判断手段は、前記第１画像の各画素について、前記周辺画素列に含まれる内周画素列によって決定される内周色パターンと、前記市松模様に基づく色パターンとを比較すると共に、前記周辺画素列に含まれる外周画素列によって決定される外周色パターンと、前記市松模様に基づく色パターンとを比較する、
画像合成装置。
【請求項２】
コンピュータに、
市松模様を背景として撮影された第１画像の各画素について、その周辺の周辺画素列によって決定される色パターンと、前記市松模様に基づく色パターンとを比較し、前記各画素が前景部分に相当する前景画素であるか、又は、背景部分に相当する背景画素であるかを判断する判断機能と、
前記前景画素及び前記背景画素からなるマスク画像を生成し、前記マスク画像の反転画像及び前記第１画像に基づく画像と、前記第１画像とは異なる第２画像及び前記マスク画像に基づく画像とを合成処理することで、合成画像を生成する生成機能と、
を実現させ、
前記判断機能は、前記第１画像の各画素について、前記周辺画素列に含まれる内周画素列によって決定される内周色パターンと、前記市松模様に基づく色パターンとを比較すると共に、前記周辺画素列に含まれる外周画素列によって決定される外周色パターンと、前記市松模様に基づく色パターンとを比較する機能を含む、
画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置に係り、特に、第１画像と第２画像とを合成する画像合成装置に関する。
【背景技術】
【０００２】
第１画像と第２画像とをクロマキー合成する画像合成装置がある。第１に、当該装置は、第１画像から背景部分の色を抽出してマスク画像を生成し、第１画像とマスク画像の反転画像とのＡＮＤ処理（論理積）により、第１画像から対象物部分が抽出された対象物部分画像を生成する。第２に、当該装置は、第２画像とマスク画像とのＡＮＤ処理により、第２画像から背景部分が抽出された背景部分画像を生成する。第３に、当該装置は、対象物部分画像と背景部分画像とのＯＲ処理（論理和）により、合成画像を生成する。
【０００３】
概ね単一色を背景として撮影された第１画像を第２画像上に自動的に合成する自動クロマキー合成を行う技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−７２６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
クロマキー合成では、第１画像の背景部分の色（クロマ）をキーとして、第１画像から、背景部分とは異なる対象物部分を抽出する処理を行っている。このため、第１画像の対象物部分の色が、第１画像の背景部分の色（青色又は緑色等）に似た色である場合に、第１画像中の対象物部分と背景部分との区別ができず、対象物部分を背景部分と認識してしまう。この場合、適切な合成画像が生成されない。
【０００６】
本発明は、上述した事情を考慮してなされたもので、第１画像の対象物部分の色に因らず適切な合成画像を生成できる画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る画像合成装置は、上述した課題を解決するために、市松模様を背景として撮影された第１画像の各画素について、その周辺の周辺画素列によって決定される色パターンと、前記市松模様に基づく色パターンとを比較し、前記各画素が前景部分に相当する前景画素であるか、又は、背景部分に相当する背景画素であるかを判断する判断手段と、前記前景画素及び前記背景画素からなるマスク画像を生成し、前記マスク画像の反転画像及び前記第１画像に基づく画像と、前記第１画像とは異なる第２画像及び前記マスク画像に基づく画像とを合成処理することで、合成画像を生成する生成手段と、を有する。
【発明の効果】
【０００８】
本発明に係る画像合成装置によれば、第１画像の対象物部分の色に因らず適切な合成画像を生成できる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像合成装置の一構成例を示すブロック図。
【図２】実施形態に係る画像合成装置の動作の一例をフローチャートとして示す図。
【図３】（Ａ）は、第１画像を生成するための撮影風景を示す図、（Ｂ）は、第１画像の一例を示す図、（Ｃ）は、（Ｂ）の第１画像の拡大図、（Ｄ）は、第２画像の一例を示す図。
【図４】（Ａ）は、図３（Ｃ）の領域の一例を示す拡大図、（Ｂ），（Ｃ）は、各画素の周辺画素列の設定方法を示す図。
【図５】（Ａ）は、注目画素が他の色を示す画素値をもつ場合を示す図、（Ｂ）〜（Ｌ）は、注目画素が緑色又は黄色を示す画素値である場合を示す図。
【図６】（Ａ）〜（Ｇ）は、注目画素が緑色又は黄色を示す画素値である場合を示す図。
【図７】周辺画素列の色パターンによって、注目画素を幾つかの区分に分類するための表を示す図。
【図８】（Ａ）は、マスク画像の反転画像の一例を示す図、（Ｂ）は、対象物部分画像の一例を示す図、（Ｃ）は、マスク画像の一例を示す図、（Ｄ）は、背景部分画像の一例を示す図、（Ｅ）は、合成画像の一例を示す図。
【発明を実施するための形態】
【００１０】
本発明に係る実施の形態について、添付図面を参照して説明する。
【００１１】
１．構成
図１は、実施形態に係る画像合成装置の一構成例を示すブロック図である。
【００１２】
図１は、実施形態に係る画像合成装置１を示す。画像合成装置１は、制御部１１、記憶部１２、入力部１３、及び表示部１４を有する。画像合成装置１は、コンピュータをベースとして構成されており、ＬＡＮ（Local Area Network）などのネットワークを介して外部装置と相互通信可能である。
【００１３】
制御部１１は、共通信号伝送路としてのバスを介して、画像合成装置１を構成する各ハードウェア構成要素に相互接続される。制御部１１は、専用のハードウェアで構成されてもよいし、内蔵のプロセッサによるソフトウェア処理で各種機能を実現するように構成してもよい。
【００１４】
なお、上記説明におけるプロセッサとは、専用又は汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む。また、専用のハードウェアとは、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、プログラマブル論理デバイス、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）などの回路を含む。上記プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）などが挙げられる。
【００１５】
ここでは一例として、プロセッサによるソフトウェア処理によって制御部１１が各種機能を実現する場合について説明する。制御部１１は、記憶部１２に記憶されたプログラム、又は、制御部１１のプロセッサ内に直接組み込まれたプログラムを読み出し実行することで、各機能を実現する。
【００１６】
なお、制御部１１は、単一のプロセッサによって構成されてもよいし、複数の独立したプロセッサの組み合わせによって構成されてもよい。後者の場合、複数のプロセッサにそれぞれ対応する複数の記憶部１２が設けられると共に、各プロセッサにより実行されるプログラムが当該プロセッサに対応する記憶回路に記憶される構成でもよい。別の例としては、１個の記憶部１２が複数のプロセッサの各機能に対応するプログラムを一括的に記憶する構成でもよい。
【００１７】
記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、ハードディスク、光ディスクなどによって構成される。記憶部１２は、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）などの可搬型メディアを脱着自在な回路して構成されてもよい。記憶部１２は、制御部１１において実行される各種プログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる）、プログラムの実行に必要な文字情報、及び画像データを記憶する。また、記憶部１２には、ＯＳを制御するための各種コマンドや、入力部１３からの入力を支援するＧＵＩ（Graphical User Interface）のプログラムを記憶してもよい。
【００１８】
入力部１３は、例えば、キーボード、テンキー、及びマウスなどを含む。入力部１３は、操作者であるユーザにより入力された入力情報を制御部１１に出力する。
【００１９】
表示部１４は、液晶ディスプレイパネル、プラズマディスプレイパネル、及び有機ＥＬ（Electro Luminescence）パネル等の表示装置である。表示部１４は、制御部１１の制御に従って文字や画像等を表示する。
【００２０】
図１に示すように、制御部１１は、判断部４１及び生成部４２を備える。判断部４１及び生成部４２の夫々の機能は、記憶部１２に格納されているプログラムを制御部１１のプロセッサが実行することによって実現される。
【００２１】
判断部４１は、市松模様を背景として撮影された第１画像の各画素について、その周辺の周辺画素列によって決定される色パターンと、市松模様に基づく色パターンとを比較し、各画素が前景部分に相当する前景画素であるか、又は、背景部分に相当する背景画素であるかを判断する。市松模様とは、格子模様の一種で、２色の正方形（又は長方形）を交互に配した模様のことである。ここでは、第１色が緑色であり、第２色が黄色である市松模様の場合について例示する。なお、第１画像は、周期的な模様を背景として撮影されたものであればよく、周期的な模様の一例としての市松模様を背景として撮影されたものに限定されるものではない。周期的な模様とは、例えば、２色のひし形を交互に配した模様や、２色の三角形を交互に配した模様である。また、周期的な模様とは、３色以上の形状を交互に配した模様であってもよい。
【００２２】
生成部４２は、判断部４１によって判断された前景画素及び背景画素からなるマスク画像（図８（Ｃ）に図示）を生成する。また、生成部４２は、マスク画像の反転画像及び第１画像に基づく画像（図８（Ｂ）に示す対象物部分画像）と、第１画像とは異なる第２画像及びマスク画像に基づく画像（図８（Ｄ）に示す背景部分画像）とを合成処理することで、合成画像（図８（Ｅ）に示す合成画像）を生成する。
【００２３】
なお、判断部４１及び生成部４２の具体的な動作については後述する。
【００２４】
２．動作
図１及び図２を用いて判断部４１及び生成部４２の具体的な動作について説明する。
【００２５】
図２は、実施形態に係る画像合成装置１の動作の一例をフローチャートとして示す図である。
【００２６】
判断部４１は、市松模様を背景として撮影された第１画像を記憶部１２から読み出す（ステップＳＴ１）。判断部４１は、第１画像を撮影するカメラから送られ、記憶部１２に記憶された第１画像を読み出す。
【００２７】
図３（Ａ）は、第１画像を生成するための撮影風景を示す図である。図３（Ｂ）は、第１画像の一例を示す図である。図３（Ｃ）は、図３（Ｂ）に示す第１画像の拡大画像を示す図である。図３（Ｄ）は、第２画像の一例を示す図である。
【００２８】
図３（Ａ）は、カメラにより、市松模様が付されたカーテンやスクリーンを背景として人物等の対象物が撮影される撮影風景を示す。この撮影により、図３（Ｂ）に示す第１画像が生成される。第１画像は、カメラから画像合成装置１に送られ、記憶部１２に記憶される。第１画像は、独立した静止画像であってもよく、動画像を構成する各コマの画像であってもよい。
【００２９】
図３（Ｂ），（Ｃ）に示すように、第１画像は、市松模様を構成する緑色及び黄色を示す色の情報（画素値）をもつ画素と、対象物を構成する緑色を示す画素値をもつ画素と、対象物を構成する緑色でも黄色でもない色を示す画素値をもつ画素とを含む。緑色を示す画素値とは、緑色を示す１個の画素値であってもよいし、緑色を示す複数の画素値（例えば、濃い緑を示す画素値や薄い緑を示す画素値）であってもよい。
【００３０】
図２の説明に戻って、判断部４１は、ステップＳＴ１によって読み出された第１画像から注目画素を抽出する（ステップＳＴ２）。判断部４１は、ステップＳＴ２によって抽出された注目画素が、緑色又は黄色を示す画素値をもつか否かを判断する（ステップＳＴ３）。
【００３１】
ステップＳＴ３の判断にてＹＥＳ、すなわち、注目画素が、緑色又は黄色を示す画素値をもつと判断される場合、ステップＳＴ２によって抽出された注目画素は、前景部分に相当する前景画素の可能性もあり、背景部分に相当する背景画素の可能性もある。そこで、ステップＳＴ３の判断にてＹＥＳ、すなわち、注目画素が、緑色又は黄色を示す画素値をもつと判断される場合、判断部４１は、ステップＳＴ２によって抽出された注目画素の周辺画素列によって決定される色パターンと、市松模様に基づく色パターンとを比較して、注目画素が前景画素であるか否かを判断する（ステップＳＴ４）。
【００３２】
ステップＳＴ４の判断にてＹＥＳ、すなわち、注目画素が前景画素であると判断される場合と、ステップＳＴ３の判断にてＮＯ、すなわち、注目画素が緑色及び黄色以外のその他の色を示す画素値をもつと判断される場合、注目画素に黒色を示す画素値を付与する（ステップＳＴ５）。ステップＳＴ４の判断にてＮＯ、すなわち、注目画素が背景画素であると判断される場合、注目画素に白色を示す画素値を付与する（ステップＳＴ６）。ステップＳＴ５，ＳＴ６によって付与された黒色及び白色を示す画素値は、マスク画像の元となる。
【００３３】
ここで、図４〜図７を用いて、ステップＳＴ３〜ＳＴ６を具体的に説明する。
【００３４】
図４（Ａ）は、図３（Ｃ）の領域Ｒの一例を示す拡大図である。
【００３５】
図４（Ａ）に示す拡大図は、画素値をもつ複数画素を示す。右上の複数の画素（図中のその他の色の領域）は、第１画像の対象物部分を示し、緑色でも黄色でもない他の色を示す画素値をもつ。左側の複数の画素（図中の緑色及び黄色の市松模様の領域）は、第１画像の背景部分を示し、緑色又は黄色を示す画素値をもつ。右下の複数の画素（図中の緑色一色の領域）は、第１画像の対象物部分を示し、緑色を示す画素値をもつ。
【００３６】
また、図４（Ａ）中の太線は、背景部分と前景部分との理想的なエッジである。判断部４１は、各画素が前景画素であるか、又は、背景画素であるかを判断し、前景画素と背景画素との境界が、太線で示す理想的なエッジに近づくようにするものとする。そのために、まず、判断部４１は、注目画素に、周辺画素列を設定する。
【００３７】
図４（Ｂ），（Ｃ）は、各画素の周辺画素列の設定方法を示す図である。
【００３８】
図４（Ｃ）に示すように、注目画素から距離ｓ（図４（Ｂ）に図示）の範囲内に、周辺画素列が設定される。そして、周辺画素列によって決定される色パターンと、市松模様に基づく色パターンとが比較される。又は、図４（Ｃ）に示すように、注目画素から距離ｓの範囲内の周辺画素列と、その内側であって注目画素から距離ｔ（図４（Ｂ）に図示）の範囲内の内周画素列と、が設定される。周辺画素列から内周画素列を除いた残りが外周画素列となる。そして、内周画素列によって決定される色パターンと、市松模様に基づく色パターンとが比較されると共に、外周画素列によって決定される色パターンと、市松模様に基づく色パターンとが比較される。以下、注目画素から距離ｓの範囲内の周辺画素列と、注目画素から距離ｔの範囲内の内周画素列と、が設定される場合について説明する。
【００３９】
ここで、距離ｓ，ｔは、任意に設定される。図４（Ａ）に示す場合、左右及び上下方向）にそれぞれ２個の画素で市松模様の一要素が表現されている。内周画素列及び外周画素列にそれぞれ市松模様の両方の色を含めるために、内周画素列及び外周画素列の画素数がともに３個以上となる距離ｓ，ｔが設定されることが好適である。このように、市松模様の一要素が何個の画素で表現されているかによって距離ｓ，ｔが変更される。第１画像を撮影するカメラのズームインやズームアウトに従って距離ｓ，ｔが変更されてもよい。
【００４０】
また、市松模様は、第１画像の撮影の際に背景のカーテン等に付与されるものであるが、カーテンの設置状況、例えば、カーテンのしわ等により、第１画像上の模様に歪みが生じることがある。また、市松模様が、第１画像の撮影の際に床面のカーテン等に付与された場合、遠近法により、第１画像上の模様に歪みが生じることがある。よって、左右及び上下方向にそれぞれ２個の画素で市松模様の一要素が表現されている場合、内周画素列及び外周画素列の画素数がともに４個以上となるように距離ｓ、ｔが設定されてもよい。市松模様の一方の色が、隣り合う３個の画素で続けて現れる可能性があるからである。
【００４１】
図４（Ｃ）は、注目画素から距離ｓの範囲内であって、上下及び左右方向の４方向でそれぞれ６個の周辺画素を含む周辺画素列と、注目画素から距離ｔの範囲内であって、上下及び左右方向の４方向でそれぞれ３個の内周画素を含む内周画素列とを示す。以下、周辺画素列が上下及び左右方向の４方向であり、それぞれ６個の周辺画素を含む場合で、内周画素列が上下及び左右方向の４方向であり、それぞれ３個の内周画素を含む場合を例にとって説明する。なお、周辺画素列や内周画素列は、斜め方向で設定されてもよい。
【００４２】
続いて、注目画素の、前景画素又は背景画素の判断について説明する。
【００４３】
図５（Ａ）は、注目画素が他の色を示す画素値をもつ場合を示す図である。
【００４４】
図５（Ａ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ０である場合を考える。画素Ｐ０は、その他の色を示す画素値をもつ画素であるので、周辺画素列や内周画素列を使用するまでもなく、前景画素であると判断される。
【００４５】
図５（Ｂ）〜（Ｌ）及び図６（Ａ）〜（Ｇ）は、注目画素が緑色又は黄色を示す画素値である場合を示す図である。
【００４６】
また、図７は、周辺画素列の色パターンによって、注目画素を幾つかの区分に分類するための表を示す図である。注目画素が緑色又は黄色を示す画素値である場合は、先ず、その注目画素がどの区分に分類されるかを判断し、その後、その分類に基づいて、注目画素が背景画素であるのか、或いは、前景画素であるのかを判断する。
【００４７】
図５（Ｂ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１である場合を考える。画素Ｐ１は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１の周辺画素列の画素値から画素Ｐ１が前景画素であるか背景画素であるかが判断される。注目画素の周囲の２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１（又は分類Ａ）に該当すれば、周囲に市松模様を示す画素が多いとみなせる。この場合、その注目画素は、市松模様に相当する画素、つまり、背景画素であると判断される。画素Ｐ１の場合、４方向の全ての周辺画素列の色パターンが図７に示す分類Ａ１に相当する。したがって、画素Ｐ１は背景画素であると判断される。
【００４８】
以下、注目画素Ｐ２〜Ｐ１０，Ｐ１７に関しては、背景画素と判断され、注目画素Ｐ１１〜Ｐ１６，Ｐ１８に関しては前景画素と判断されることを、順次具体的に説明していく。
【００４９】
図５（Ｃ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ２である場合を考える。画素Ｐ２は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ２の周辺画素列の画素値から画素Ｐ２が前景画素であるか背景画素であるかが判断される。画素Ｐ２の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ２は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００５０】
また、図５（Ｃ）に示すように、画素Ｐ２が、その右側において、その他の色を示す前景画素に比較的近いことも推測できる。
【００５１】
図５（Ｄ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ３である場合を考える。画素Ｐ３は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ３の周辺画素列の画素値から画素Ｐ３が前景画素であるか背景画素であるかが判断される。画素Ｐ３の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ３は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００５２】
また、図５（Ｄ）に示すように、画素Ｐ３が、その右側において、その他の色を示す前景画素に比較的近い画素であることも推測できる。
【００５３】
図５（Ｅ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ４である場合を考える。画素Ｐ４は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ４の周辺画素列の画素値から画素Ｐ４が前景画素であるか背景画素であるかが判断される。画素Ｐ４の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ４は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００５４】
また、図５（Ｅ）に示すように、画素Ｐ４が、その右側において、その他の色を示す前景画素に比較的近い画素であることも推測できる。
【００５５】
図５（Ｆ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ５である場合を考える。画素Ｐ５は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ５の周辺画素列の画素値から画素Ｐ５が前景画素であるか背景画素であるかが判断される。画素Ｐ５の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ５は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００５６】
また、図５（Ｆ）に示すように、画素Ｐ５が、その右側において、その他の色を示す前景画素に比較的近い画素であることも推測できる。
【００５７】
図５（Ｇ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ６である場合を考える。画素Ｐ６は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ６の周辺画素列の画素値から画素Ｐ６が前景画素であるか背景画素であるかが判断される。画素Ｐ６の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ６は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００５８】
また、図５（Ｇ）に示すように、画素Ｐ６が、その右側において、その他の色を示す前景画素との境界の画素であることも推測できる。
【００５９】
図５（Ｈ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ７である場合を考える。画素Ｐ７は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ７の周辺画素列の画素値から画素Ｐ７が前景画素であるか背景画素であるかが判断される。画素Ｐ７の２方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ７は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００６０】
また、図５（Ｈ）に示すように、画素Ｐ７が、その右側及び上側において、その他の色を示す前景画素との境界の画素であることも推測できる。
【００６１】
図５（Ｉ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ８である場合を考える。画素Ｐ８は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ８の周辺画素列の画素値から画素Ｐ８が前景画素であるか背景画素であるかが判断される。画素Ｐ８の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ８は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００６２】
また、図５（Ｉ）に示すように、画素Ｐ８が、その右側において、緑色又は黄色を示す前景画素に比較的近い画素であることも推測できる。
【００６３】
図５（Ｊ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ９である場合を考える。画素Ｐ９は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ９の周辺画素列の画素値から画素Ｐ９が前景画素であるか背景画素であるかが判断される。画素Ｐ９の２方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ９は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００６４】
また、図５（Ｊ）に示すように、画素Ｐ９が、その右側において、緑色又は黄色を示す前景画素に比較的近い画素であることも推測できる。
【００６５】
図５（Ｋ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１０である場合を考える。画素Ｐ１０は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１０の周辺画素列の画素値から画素Ｐ１０が前景画素であるか背景画素であるかが判断される。画素Ｐ１０の２方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ１０は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００６６】
また、図５（Ｋ）に示すように、画素Ｐ１０が、その右側において、緑色又は黄色を示す前景画素との境界の画素であることも推測できる。
【００６７】
図５（Ｌ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１１である場合を考える。画素Ｐ１１は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１１の周辺画素列の画素値から画素Ｐ１１が前景画素であるか背景画素であるかが判断される。注目画素の周囲の２方向以上の周辺画素列の色パターンが図７に示す分類Ｅ５（又は分類Ｅ）に該当すれば、周囲に人物等の対象物を示す画素が多いとみなせる。この場合、その注目画素は、対象物に相当する画素、つまり、前景画素であると判断される。
【００６８】
また、図５（Ｌ）に示すように、画素Ｐ１１が、その左側において、背景画素との境界の画素であることも推測できる。
【００６９】
図６（Ａ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１２である場合を考える。画素Ｐ１２は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１２の周辺画素列の画素値から画素Ｐ１２が前景画素であるか背景画素であるかが判断される。画素Ｐ１２の４方向全て、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ｅ５に相当する。この場合、画素Ｐ１２は、対象物に相当する画素、つまり、前景画素であると判断される。
【００７０】
また、図６（Ａ）に示すように、画素Ｐ１２が、その上側において、その他の色を示す前景画素に比較的近い画素であることも推測できる。
【００７１】
図６（Ｂ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１３である場合を考える。画素Ｐ１３は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１３の周辺画素列の画素値から画素Ｐ１３が前景画素であるか背景画素であるかが判断される。画素Ｐ１３の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ｅ５に相当する。この場合、画素Ｐ１３は、対象物に相当する画素、つまり、前景画素であると判断される。
【００７２】
また、図６（Ｂ）に示すように、画素Ｐ１３が、その上側において、その他の色を示す前景画素に比較的近い画素であることも推測できる。
【００７３】
図６（Ｃ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１４である場合を考える。画素Ｐ１４は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１４の周辺画素列の画素値から画素Ｐ１４が前景画素であるか背景画素であるかが判断される。画素Ｐ１４の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ｅ５に相当する。この場合、画素Ｐ１４は、対象物に相当する画素、つまり、前景画素であると判断される。
【００７４】
また、図６（Ｃ）に示すように、画素Ｐ１４が、その上側において、その他の色を示す前景画素に比較的近い画素であることも推測できる。
【００７５】
図６（Ｄ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１５である場合を考える。画素Ｐ１５は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１５の周辺画素列の画素値から画素Ｐ１５が前景画素であるか背景画素であるかが判断される。画素Ｐ１５の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ｅ５に相当する。この場合、画素Ｐ１５は、対象物に相当する画素、つまり、前景画素であると判断される。
【００７６】
また、図６（Ｄ）に示すように、画素Ｐ１５が、その上側において、その他の色を示す前景画素に比較的近い画素であることも推測できる。
【００７７】
図６（Ｅ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１６である場合を考える。画素Ｐ１６は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１６の周辺画素列の画素値から画素Ｐ１６が前景画素であるか背景画素であるかが判断される。画素Ｐ１６の３方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ｅ５に相当する。この場合、画素Ｐ１６は、対象物に相当する画素、つまり、前景画素であると判断される。
【００７８】
また、図６（Ｅ）に示すように、画素Ｐ１６が、その上側において、その他の色を示す前景画素との境界の画素であることも推測できる。
【００７９】
図６（Ｆ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１７である場合を考える。画素Ｐ１７は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１７の周辺画素列の画素値から画素Ｐ１７が前景画素であるか背景画素であるかが判断される。画素Ｐ１７の２方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ａ１に相当する。この場合、画素Ｐ１７は、市松模様に相当する画素、つまり、背景画素であると判断される。
【００８０】
また、図６（Ｆ）に示すように、画素Ｐ１７が、その右側において、緑色又は黄色を示す前景画素との境界の画素であることも推測できる。
【００８１】
図６（Ｇ）に示すように、注目画素が図４（Ａ）に示す画素Ｐ１８である場合を考える。画素Ｐ１８は、緑色又は黄色を示す画素値をもつ画素であるので、画素Ｐ１８の周辺画素列の画素値から画素Ｐ１８が前景画素であるか背景画素であるかが判断される。画素Ｐ１８の２方向、つまり、２方向以上の周辺画素列の色パターンが図７に示す分類Ｅ５に相当する。この場合、画素Ｐ１７は、対象物に相当する画素、つまり、前景画素であると判断される。
【００８２】
また、図６（Ｇ）に示すように、画素Ｐ１８が、その左側において、背景画素との境界の画素であることも推測できる。画素Ｐ１８が、その上側において、その他の色の前景画素との境界の画素であることも推測できる。
【００８３】
図２の説明に戻って、判断部４１は、ステップＳＴ１によって読み出された第１画像の全ての画素について、背景画素又は前景画素であるかを判断したか否かを判断する（ステップＳＴ７）。ステップＳＴ７についてＹＥＳ，すなわち、第１画像の全ての画素について、背景画素又は前景画素であるかを判断したと判断される場合、生成部４２は、ステップＳＴ５，ＳＴ６によって黒色及び白色を示す画素値がそれぞれ付与されたマスク画像を生成する（ステップＳＴ８）。生成部４２は、ステップＳＴ１によって読み出された第１画像と、ステップＳＴ８によって生成されたマスク画像の反転画像とのＡＮＤ処理（論理積）により、第１画像から対象物部分が抽出された対象物部分画像を生成する（ステップＳＴ９）。図８（Ｂ）は、図３（Ｂ）に示す第１画像と、図８（Ａ）に示す反転画像に基づく対象物部分画像を示す。
【００８４】
生成部４２は、記憶部１２から図３（Ｄ）に示す第２画像を読み出し、第２画像と、ステップＳＴ８によって生成されたマスク画像とのＡＮＤ処理により、第２画像から背景部分が抽出された背景部分画像を生成する（ステップＳＴ１０）。図３（Ｄ）に示す第２画像は、主として風景が撮影されることにより取得された画像である。第２画像は、第１画像と同様に、独立した静止画像であってもよく、動画像を構成する各コマの画像であってもよい。図８（Ｄ）は、図３（Ｄ）に示す第２画像と、図８（Ｃ）に示すマスク画像とのＡＮＤ処理により、背景部分画像を示す。
【００８５】
生成部４２は、ステップＳＴ９によって生成された対象物部分画像と、ステップＳＴ１０によって生成された背景部分画像とのＯＲ処理（論理和）により、合成画像を生成する（ステップＳＴ１１）。図８（Ｅ）は、図８（Ｂ）に示す対象物部分画像と、図８（Ｄ）に示す背景部部分画像に基づく合成画像を示す。
【００８６】
上記ステップＳＴ１〜ＳＴ１１の動作を、静止画像に相当する１個の第１画像に適用することで、静止画像を前景とし、静止画像を背景とした１個の合成画像を生成できる。又は、上記ステップＳＴ１〜ＳＴ１１の動作を、動画像の複数コマに相当する複数の第１画像に適用することで、動画像を前景とし、動画像又は静止画像を背景とした複数の合成画像（動画像）を生成できる。
【００８７】
３．効果
以上説明した実施形態によれば、第１画像の対象物部分の色に因らず適切な合成画像を生成できる。
【００８８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【符号の説明】
【００８９】
１…画像合成装置
１１…制御部
１２…記憶部
４１…判断部
４２…生成部
【図１】
0006694760.tif 000002
【図２】
0006694760.tif 000003
【図３】
0006694760.tif 000004
【図４】
0006694760.tif 000005
【図５】
0006694760.tif 000006
【図６】
0006694760.tif 000007
【図７】
0006694760.tif 000008
【図８】
0006694760.tif 000009