(57)【要約】【課題】映像を撮影する際の撮影機材や撮影環境に制約されることなく、映像とＣＧ画像とを合成することができる映像合成装置及び映像合成プログラムを提供する。【解決手段】映像合成装置１は、カメラで撮影した映像中に含まれる特定の色配置パターンを検出することで得た位置情報（位置座標）に基づいて、当該映像とＣＧ画像とを合成するものであって、色配置パターンから位置情報を検出する位置情報検出手段３と、ＣＧ画像を作画するＣＧ作画手段５と、ＣＧ素材データを蓄積するＣＧ素材データ蓄積手段７と、映像とＣＧ画像とを合成する合成手段９と、を備える構成とした。【選択図】図１
2008278103.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影した映像中に含まれる特定の色配置を検出することで得た位置情報に基づいて、当該映像とＣＧ画像とを合成する映像合成装置であって、
前記映像を構成する静止画像における画素の配置が予め設定した判別基準を満たすか否かに基づいて、当該映像中に含まれる特定の色配置の位置を判別し、当該判別基準を満たした色配置の位置を、位置情報として検出する位置情報検出手段と、
予め蓄積しておいた前記ＣＧ画像を作画するための素材となるＣＧ素材データにより、前記位置情報検出手段で検出された位置情報で位置が判別した特定の色配置を覆い隠す大きさのＣＧ画像を作画するＣＧ作画手段と、
このＣＧ作画手段で作画されたＣＧ画像と前記映像とを、前記位置情報検出手段で検出された位置情報に基づいて合成する合成手段と、
を備えることを特徴とする映像合成装置。
【請求項２】
前記位置情報検出手段は、前記判別基準を満たした画素の集合を、前記静止画像中の点群とみなし、この点群の重心の位置座標を、前記位置情報として検出することを特徴とする請求項１に記載の映像合成装置。
【請求項３】
カメラで撮影した映像中に含まれる特定の色配置を検出することで得た位置情報に基づいて、当該映像とＣＧ画像とを合成するために、コンピュータを、
前記映像を構成する静止画像における画素の配置が予め設定した判別基準を満たすか否かに基づいて、当該映像中に含まれる特定の色配置の位置を判別し、当該判別基準を満たした色配置の位置を、位置情報として検出する位置情報検出手段、
予め蓄積しておいた前記ＣＧ画像を作画するための素材となるＣＧ素材データにより、前記位置情報検出手段で検出された位置情報で位置が判別した特定の色配置を覆い隠す大きさのＣＧ画像を作画するＣＧ作画手段、
このＣＧ作画手段で作画されたＣＧ画像と前記映像とを、前記位置情報検出手段で検出された位置情報に基づいて合成する合成手段、
として機能させることを特徴とする映像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した映像とＣＧ画像とを合成する映像合成装置及び映像合成プログラムに関する。
【背景技術】
【０００２】
近年、カメラで撮影した映像（以下、実写映像ともいう）と同じ空間にあたかも実在するようなＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ：以下、ＣＧ画像という）を作画して、当該映像と当該ＣＧ画像とを合成することが広く行われている。
この映像とＣＧ画像との合成に関する技術では、カメラで撮影している撮影空間におけるカメラ位置・撮影方向・画角の情報（以下、これらをまとめて、カメラパラメータという）をリアルタイムで取得することを前提としている。
【０００３】
例えば、カメラの雲台やズーム機構等の機械駆動部分にセンサを設置し、撮影している映像の変化を定量的に取り出すことで、カメラパラメータをリアルタイムで取得したり、格子模様などの、ある特定のパターンを、撮影空間内に配置し、このパターンがカメラによって撮影された際の当該パターンの形状を解析することで、カメラパラメータをリアルタイムで取得したりすることが行われている（例えば、特許文献１，２，３参照）。
そして、取得されたカメラパラメータを元に、ＣＧ画像の作画が行われ、映像と合成されている。
【特許文献１】特表平７−５００４７０号公報
【特許文献２】特表２００１−５０９９８４号公報
【非特許文献１】特開平１０−１５１５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のカメラの雲台やズーム機構等の機械駆動部分にセンサを設置する手法では、設備導入費が比較的高価で、メンテナンス等のランニングコストも高く、センサを設置してあるカメラで映像を撮影しなければならないという制限があり、映像を撮影する際の撮影機材が制約されてしまうという問題がある。
【０００５】
また、従来の格子模様のパターンを用いる手法は、撮影される人物以外をすべてＣＧ画像で作画するような大きな設備が整っている場合に採用されている。このため、設備投資が高額となり、特定のスタジオで映像を撮影しなければならず、映像を撮影する際の撮影環境が制約されてしまうという問題がある。
【０００６】
そこで、本発明では、前記した問題を解決し、映像を撮影する際の撮影機材や撮影環境に制約されることなく、映像とＣＧ画像とを合成することができる映像合成装置及び映像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、請求項１に記載の映像合成装置は、カメラで撮影した映像中に含まれる特定の色配置を検出することで得た位置情報に基づいて、当該映像とＣＧ画像とを合成する映像合成装置であって、位置情報検出手段と、ＣＧ作画手段と、合成手段と、を備える構成とした。
【０００８】
かかる構成によれば、映像合成装置は、位置情報検出手段によって、映像中に含まれる特定の色配置の位置を、当該映像を構成する静止画像における画素の配置が予め設定した判別基準を満たすか否かに基づいて判別し、当該判別基準を満たした色配置の位置を、位置情報として検出する。続いて、映像合成装置は、ＣＧ作画手段によって、予め蓄積しておいたＣＧ画像を作画するための素材となるＣＧ素材データにより、位置情報検出手段で検出された位置情報で位置が判別した特定の色配置を覆い隠す大きさのＣＧ画像を作画する。そして、映像合成装置は、合成手段によって、ＣＧ作画手段で作画されたＣＧ画像と映像とを、位置情報検出手段で検出された位置情報に基づいて合成する。
【０００９】
請求項２に記載の映像合成装置は、請求項１に記載の映像合成装置において、前記位置情報検出手段が、前記判別基準を満たした画素の集合を、前記静止画像中の点群とみなし、この点群の重心の位置座標を、前記位置情報として検出することを特徴とする。
【００１０】
かかる構成によれば、映像合成装置は、位置情報検出手段によって、判別基準を満たした画素の集合を、静止画像中の点群とみなし、この点群の重心の位置座標を、位置情報として検出する。
【００１１】
請求項３に記載の映像合成プログラムは、カメラで撮影した映像中に含まれる特定の色配置を検出することで得た位置情報に基づいて、当該映像とＣＧ画像とを合成するために、コンピュータを、位置情報検出手段と、ＣＧ作画手段と、合成手段と、を備える構成とした。
【００１２】
かかる構成によれば、映像合成プログラムは、位置情報検出手段によって、映像中に含まれる特定の色配置の位置を、当該映像を構成する静止画像における画素の配置が予め設定した判別基準を満たすか否かに基づいて判別し、当該判別基準を満たした色配置の位置を、位置情報として検出し、ＣＧ作画手段によって、予め蓄積しておいたＣＧ画像を作画するための素材となるＣＧ素材データにより、位置情報検出手段で検出された位置情報で位置が判別した特定の色配置を覆い隠す大きさのＣＧ画像を作画し、合成手段によって、ＣＧ作画手段で作画されたＣＧ画像と映像とを、位置情報検出手段で検出された位置情報に基づいて合成する。
【発明の効果】
【００１３】
請求項１、３に記載の発明によれば、入力される映像について、当該映像中に含まれる特定の色配置を設けておいて、この色配置の位置から、ＣＧ画像を合成する位置となる位置情報を検出することで、特定の色配置が入力される映像中に含まれるようにしておけば、従来のように、カメラパラメータを取得するセンサを設置してあるカメラや、撮影される人物以外をすべてＣＧ画像で作画するような大きな設備が整っているスタジオで撮影する必要がなくなる。このため、映像を撮影する際の撮影機材や撮影環境に制約されることなく、映像とＣＧ画像とを合成することができる。
【００１４】
請求項２に記載の発明によれば、判別基準を満たした画素の集合を、静止画像中の点群とみなし、この点群の重心の位置座標を、位置情報として検出することで、色配置の位置を厳密に求めることがなく、色配置の近傍の位置座標を求めることとなる。このため、例えば、カメラで映像を撮影している際に用いる照明の照度が変化した場合、すなわち、撮影環境が変化することで、画素の色相や輝度が変化してしまった場合でも、判別条件を満たす画素が最低限１つでもあれば（ここが重心となる）、位置情報を取得することができることとなる。すなわち、点群の重心を取ることで、色の判別条件を広く取ることができるため、撮影環境の自由度を広くすることができる（撮影環境に制約されることが少なくなる）。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（映像合成装置の構成）
図１は、映像合成装置のブロック図である。この図１に示すように、映像合成装置１は、カメラ（図示せず）で撮影された映像を入力として、この映像中に含まれる特定の色配置を検出することで、当該カメラのカメラパラメータを取得し、このカメラパラメータに基づいて、映像とＣＧ画像とを合成するもので、位置情報検出手段３と、ＣＧ作画手段５と、ＣＧ素材データ蓄積手段７と、合成手段９とを備えている。
【００１６】
位置情報検出手段３は、入力された映像中に含まれる特定の色配置（色配置パターン）の位置を、当該映像を構成する静止画像における画素（ピクセル）の配置が予め設定した判別基準を満たすか否かに基づいて判別し、当該判別基準を満たした色配置の位置を、位置情報として検出するものである。
【００１７】
色配置パターンは、入力された映像と作画するＣＧ画像とを合成する際の基準となる位置を、位置情報として検出するのに用いるもので、同一面積の赤色の正方形１個と、緑色の正方形１個と、青色の正方形１個とを、カギ括弧を成すよう配置したものである。つまり、この色配置パターンには、赤色の画素が占める領域である赤色域と、緑色の画素が占める領域である緑色域と、青色の画素が占める領域である緑色域とから構成されている。
【００１８】
なお、映像を構成する静止画像は、赤（Ｒｅｄ：以下単にＲとも記載）・緑（Ｇｒｅｅｎ、以下単にＧとも記載）・青（Ｂｌｕｅ、以下単にＢとも記載）の３原色の各色成分を持つ画素の列として入力されており、これら３原色の組合せによって、１つの画素の色が表されている。つまり、静止画像（以下、単に画像ともいう）は、位置座標（Ｘ，Ｙ）における画素（ピクセル）のＲＧＢデータが格納された配列ｐｉｘｅｌ［Ｘ］［Ｙ］と表記することができる。この配列ｐｉｘｅｌ［Ｘ］［Ｙ］は、後記する映像画像合成装置１の動作の説明において、この位置情報検出手段３によって、位置情報を検出する際に、実際に処理される対象となるものである。
【００１９】
そして、映像を撮影する際の撮影環境によって、画素の色は変化することになるが、３原色の成分の組合せには、ある傾向がみられるため、映像合成装置１では、適当な条件式で表される判断条件（判別基準）を設定し、この条件式を満たすか満たさないかによって、ある画素が、求める色域（色配置パターンの赤色域、緑色域、青色域）であるかどうかを判別することができる。
【００２０】
なお、この３原色の成分の組合せにおける、ある傾向とは、例えば、赤（Ｒｅｄ）・緑（Ｇｒｅｅｎ）・青（Ｂｌｕｅ）の３原色の各色が０〜２５５の画素値をとる場合、Ｒ＝０、Ｇ＝０、Ｂ＝２５５であれば、この３原色の成分の組合せは理想的な青色域となる。しかし、実際の撮影環境によってＲＧＢの画素値の値は変動しているので、理想的な青色域を維持することが困難である。そこで、「Ｂの画素値が他よりもある程度大きく、ＲとＧとの画素値はほぼ同じ」という傾向は、撮影環境が変化しても保持されるので、このような傾向を指す。なお、この傾向を数式で表すと、例えば、Ｂ−Ｒ＞５０、｜Ｒ−Ｇ｜＜１０となる。
【００２１】
ここで、図２に、色配置パターンの例を示す。なお、この図２において、色配置パターンＩは、縦縞が青色の画素の占める青色域を示しており、横縞が赤色の画素の占める赤色域を示しており、格子縞が緑色の画素の占める緑色域を示している。そして、この色配置パターン（左上青、右赤、左下緑）を、時計回りに９０度回転させたもの（左緑、右上青、右下赤）、１８０度回転させたもの（左赤、右上緑、右下青）、２７０度回転させたもの（左上赤、左下青、右緑）、の４つの色配置パターンを、この実施形態では用いることとしている。
【００２２】
そして、これら４つの色配置パターンを、図３に示すように、板状のパネルＰの四隅に描いておく。なお、この図３は、スタジオのセットをカメラで撮影した映像の例を示したものである。すなわち、４つの色配置パターンを描いておいた板状のパネルＰは、当該スタジオのセットの一部であり、同じくセットの一部である載置台Ｓに設置されている。また、色配置パターン（左上青、右赤、左下緑：Ｉ１（Ｉ））を、時計回りに９０度回転させたもの（左緑、右上青、右下赤：Ｉ２（Ｉ））、１８０度回転させたもの（左赤、右上緑、右下青：Ｉ３（Ｉ））、２７０度回転させたもの（左上赤、左下青、右緑：Ｉ４（Ｉ））としている。
【００２３】
なお、この実施形態では、４つの色配置パターンを用いて、後記するようにＣＧ画像を合成する位置（領域）を特定しているが、これに限定されず、４未満又は５以上の色配置パターンを用いて位置情報を検出し、ＣＧ画像を合成する位置を特定してもよい。図１に戻る。
【００２４】
そして、位置情報検出手段３は、この図３に示した４つの色配置パターンから位置情報を検出するために、まず、静止画像に含まれている１つの画素が、青色域の色であるかどうかを判別し、青色域の色でないと判別した場合、次の画素が青色域の色であるどうかを判別する。そして、位置情報検出手段３は、１つの画素が、青色域の色であると判別した場合、次の４つの判別（判別Ａ、判別Ｂ、判別Ｃ、判別Ｄ）をそれぞれ行っている。
【００２５】
この実施の形態では、ＲＧＢのそれぞれの画素値の範囲が０〜２５５の場合、青色域：Ｂ−Ｒ＞５０  ｜Ｒ−Ｇ｜＜１０と設定しており、また、赤色域：Ｒ−Ｂ＞８０  ｜Ｇ−Ｂ｜＜１０、緑色域：Ｇ−Ｒ＞３０  ｜Ｒ−Ｂ｜＜２０と設定している。
【００２６】
判別Ａでは、１回目の判別（判別Ａ−１）として、この青色域の画素の右に１ピクセル（１画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の下に１ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００２７】
続いて、判別Ａでは、２回目の判別（判別Ａ−２）として、この青色域の画素の右に２ピクセル（２画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の下に２ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００２８】
そして、判別Ａでは、このような判別を繰り返し、ｎ回目の判別（判別Ａ−ｎ）として、この青色域の画素の右にｎピクセル（ｎ画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の下にｎピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００２９】
そして、位置情報検出手段３は、１回目の判別からｎ回目の判別までのうち、少なくとも１回でも条件を満たした場合は、判別Ａの条件を満たしたとする。
【００３０】
判別Ｂでは、１回目の判別（判別Ｂ−１）として、この青色域の画素の下に１ピクセル（１画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の左に１ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００３１】
続いて、判別Ｂでは、２回目の判別（判別Ｂ−２）として、この青色域の画素の下に２ピクセル（２画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の左に２ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００３２】
そして、判別Ｂでは、このような判別を繰り返し、ｎ回目の判別（判別Ｂ−ｎ）として、この青色域の画素の下にｎピクセル（ｎ画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の左にｎピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００３３】
そして、位置情報検出手段３は、１回目の判別からｎ回目の判別までのうち、少なくとも１回でも条件を満たした場合は、判別Ｂの条件を満たしたとする。
【００３４】
判別Ｃでは、１回目の判別（判別Ｃ−１）として、この青色域の画素の左に１ピクセル（１画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の上に１ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００３５】
続いて、判別Ｃでは、２回目の判別（判別Ｃ−２）として、この青色域の画素の左に２ピクセル（２画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の上に２ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００３６】
そして、判別Ｃでは、このような判別を繰り返し、ｎ回目の判別（判別Ｃ−ｎ）として、この青色域の画素の左にｎピクセル（ｎ画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の上にｎピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００３７】
そして、位置情報検出手段３は、１回目の判別からｎ回目の判別までのうち、少なくとも１回でも条件を満たした場合は、判別Ｃの条件を満たしたとする。
【００３８】
判別Ｄでは、１回目の判別（判別Ｄ−１）として、この青色域の画素の上に１ピクセル（１画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の右に１ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００３９】
続いて、判別Ｄでは、２回目の判別（判別Ｄ−２）として、この青色域の画素の上に２ピクセル（２画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の右に２ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００４０】
そして、判別Ｄでは、このような判別を繰り返し、ｎ回目の判別（判別Ｄ−ｎ）として、この青色域の画素の上にｎピクセル（ｎ画素分）移動した位置にある画素が赤色域であり、且つ、この青色域の画素の右にｎピクセル移動した位置にある画素が緑色域であるかどうかを行っている。
【００４１】
そして、位置情報検出手段３は、１回目の判別からｎ回目の判別までのうち、少なくとも１回でも条件を満たした場合は、判別Ｄの条件を満たしたとする。
【００４２】
なお、判別Ａ、判別Ｂ、判別Ｃ及び判別Ｄにおけるｎは、静止画像を構成する画素の総数に従って設定したものである。
また、これら４つの判別の意味について述べると、板状のパネルＰの四隅に描いた色配置パターンの中で、判別Ａは左上に描いた色配置パターンの位置を判別するのに行うものであり、判別Ｂは右上に描いた色配置パターンの位置を判別するのに行うものであり、判別Ｃは右下に描いた色配置パターンの位置を判別するのに行うものであり、判別Ｄは左下に描いた色配置パターンの位置を判別するのに行うものである。
【００４３】
この実施の形態では、４つの色配置パターンについて、３原色の正方形の領域を、カギ括弧を成すように配置しており、頂角の部分に青色域の領域を配置しているが、青色域の領域に限定されず、赤色域の領域でも、緑色域の領域でもよい。
【００４４】
そして、位置情報検出手段３では、判別Ａ〜判別Ｄによって判別される画素が、板状のパネルＰの四隅に描かれている色配置パターンにおいて、頂角の部分に配置されている青色域に集まることになる。そして、位置情報検出手段３では、判別Ａ〜判別Ｄにおいて、複数回条件を満たした場合、すなわち、条件を満たした画素が複数個ある場合、これらの画素の集まりである点群について、当該点群の重心となる位置座標を四隅に描かれている色配置パターンごとに求め、位置Ａ、Ｂ、Ｃ、Ｄ（Ａ点、Ｂ点、Ｃ点、Ｄ点）とすることで、これらの位置座標を、位置情報として検出している。
【００４５】
つまり、位置情報検出手段３で用いている判別基準は、静止画像に含まれる画素が特定色（特定の色域に属すか否か、この実施の形態では青色域）である否かを判別し、特定色の画素と判別した場合に、当該特定色の画素から左又は右（横方向）に位置する画素の色と、上又は下（縦方向）に位置する画素の色とがそれぞれ特定の色域（赤色域、緑色域）に属すか否かということである。
【００４６】
ＣＧ作画手段５は、ＣＧ素材データ蓄積手段７に蓄積されているＣＧ素材データにより、位置情報検出手段３で検出された位置情報（位置座標；Ａ点、Ｂ点、Ｃ点、Ｄ点の座標）で位置が判別した特定の色配置（色配置パターン）を覆い隠す大きさのＣＧ画像を作画（描画）して、合成手段９に出力するものである。なお、位置情報検出手段３で検出された位置情報も合成手段９に出力される。
【００４７】
この実施形態では、位置情報検出手段３によって検出された色配置パターンが４つであるので、この４つの位置（４点の位置座標）で囲まれる領域を覆い隠すＣＧ画像がＣＧ作画手段５によって作画されることになる。ただし、色配置パターンが１つ又は２つの場合、囲まれる領域が特定できないことになるが、合成時に、これら色配置パターンが隠れるような大きさのＣＧ画像を作画すればよい。
【００４８】
ＣＧ素材データ蓄積手段７は、ＣＧ画像を作画する際に用いるＣＧ素材データを予め蓄積しておくもので、一般的なハードディスク等によって構成されている。
【００４９】
合成手段９は、ＣＧ作画手段５で作画されたＣＧ画像と、入力された映像とを、位置情報（Ａ点、Ｂ点、Ｃ点及びＤ点の位置座標）に基づいて合成するものである。以下、この合成手段９で合成されたものを、合成画像又は合成映像という。
【００５０】
ここで、図４から図６までを参照して、ＣＧ作画手段５によって、実際に作画したＣＧ画像の例を示しながら、合成手段９によって、ＣＧ作画手段５で作画したＣＧ画像と、カメラで撮影した映像とを合成する流れを説明する。
【００５１】
このＣＧ作画手段５は、まず、ＣＧ素材データ蓄積手段７からＣＧ素材データを読み出してＣＧ画像Ｇを作画する（図４参照）。続いて、ＣＧ作画手段５は、作画したＣＧ画像Ｇを合成する領域として、Ａ点、Ｂ点、Ｃ点及びＤ点の位置座標を頂点とする四角形を想定する。
【００５２】
そして、ＣＧ作画手段５は、この四角形の相似形状を保ったまま、当該四角形を拡大し、この拡大した四角形（四角形領域）の内部に収まるように、作画したＣＧ画像を変形処理する。ここで、四角形を拡大するのは、作画したＣＧ画像と映像とを合成する際に、色配置パターンの描かれている板状のパネルＰが完全に隠れるようにするためである。なお、ＣＧ作画手段５は、この変形処理した際に、四角形領域の外部を黒色の映像とする（図５参照）。なお、この図５において、変形処理したＣＧ画像を、変形処理ＣＧ画像ＧＢとしている。
【００５３】
そして、合成手段９は、入力された映像を構成する静止画像に図５に示したＣＧ画像をスーパー合成する、つまり、Ａ点、Ｂ点、Ｃ点及びＤ点の位置座標を頂点とする四角形、すなわち、特定の色配置パターンが描かれている板状のパネルＰの位置に当該ＣＧ画像をはめ込むように合成する（図６参照）。
【００５４】
この図６に示したように、合成映像（合成画像）は、入力された映像が背景映像Ｈとなり、載置台Ｓに設置された板状のパネルＰ（４つの色配置パターンＩ）を覆い隠すように、変形処理ＣＧ画像ＧＢが合成されている。すなわち、この合成映像では、変形処理ＣＧ画像ＧＢの黒色の映像が、背景映像Ｈに置き換わったものとも言える。
【００５５】
なお、入力された映像は、短時間に更新される静止画像で構成されていると言えるので映像合成装置１は、位置情報検出手段３によって、静止画像一枚一枚について、位置情報（Ａ点、Ｂ点、Ｃ点及びＤ点の位置座標）を順次取得し、合成手段９によって、ＣＧ作画手段５で作画したＣＧ画像を合成していくことで、リアルタイムにはめ込み処理を行うことができる。
【００５６】
この映像合成装置１によれば、入力される映像について、当該映像中に含まれる特定の色配置を設けておいて、この色配置の位置から、位置情報検出手段３によって、ＣＧ画像を合成する位置となる位置情報を検出することで、特定の色配置が入力される映像中に含まれるようにしておけば、従来のように、カメラパラメータを取得するセンサを設置してあるカメラや、撮影される人物以外をすべてＣＧ画像で作画するような大きな設備が整っているスタジオで撮影する必要がなくなる。このため、映像を撮影する際の撮影機材や撮影環境に制約されることなく、合成手段９によって、映像とＣＧ画像とを合成することができる。
【００５７】
また、この映像合成装置１によれば、判別基準を満たした画素の集合を、静止画像中の点群とみなし、この点群の重心の位置座標を、位置情報として検出することで、色配置の位置を厳密に求めることがなく、色配置の近傍の位置座標を求めることとなる。このため、例えば、カメラで映像を撮影している際に用いる照明の照度が変化した場合、すなわち、撮影環境が変化した場合に、画素の色相や輝度が変化してしまった場合でも、判別条件を満たす画素が最低限１つでもあれば（ここが重心となる）、位置情報を取得することができることとなる。すなわち、点群の重心を取ることで、色の判別条件を広く取ることができるため、撮影環境の自由度を広くすることができる（撮影環境に制約されることが少なくなる）。
【００５８】
（映像合成装置の動作）
次に、図７に示すフローチャートを参照して、映像合成装置１の動作について説明する（適宜、図１参照）。
まず、映像合成装置１は、位置情報検出手段３に、映像を構成する画像（ピクセルのＲＧＢデータが格納された配列ｐｉｘｅｌ［Ｘ］［Ｙ］）を入力する（ステップＳ１）。続いて、映像合成装置１は、位置情報検出手段３によって、ｐｉｘｅｌ［Ｘ］［Ｙ］のＲＧＢデータの解析を開始する（ステップＳ２）。なお、この解析は、初期値ｐｉｘｅｌ［０］［０］から実行される。
【００５９】
そして、映像合成装置１は、ｐｉｘｅｌ［Ｘ］［Ｙ］からある方向・範囲にあるピクセルの集合Ａ１、Ａ２、・・・Ａｎを設定する（判別Ａ〜判別Ｄの設定に相当する）（ステップＳ３）。また、映像合成装置１は、ＲＧＢの値がある特定のパターンを持つような条件Ｐ１、Ｐ２、・・・Ｐｎを設定する（色配置パターンの設定に相当する）（ステップＳ４）。そして、映像合成装置１は、ピクセル群（ピクセルの集合）Ａ１、Ａ２、・・・Ａｎと条件Ｐ１、Ｐ２、・・・Ｐｎを用いて、判断条件（判別基準）Ｐを設定する（ステップＳ５）。
【００６０】
そして、映像合成装置１は、位置情報検出手段３によって、判断条件“Ｐ”を満たすか否かを判定し（ステップＳ６）、満たすと判定した場合（ステップＳ６でＹｅｓ）、ｐｉｘｅｌ［Ｘ］［Ｙ］を、条件を満たしたピクセルとして処理する（ステップＳ７）。また、映像合成装置１は、ステップＳ６にて判断条件“Ｐ”を満たすと判定しなかった場合（ステップＳ６でＮｏ）、ステップＳ８に移行する。
【００６１】
そして、映像合成装置１は、位置情報検出手段３によって、すべてのピクセルの解析が終了したか否かを判定し（ステップＳ８）、すべてのピクセルの解析が終了したと判定しなかった場合（ステップＳ８でＮｏ）、ステップＳ２に戻り、次のピクセルの解析をする（ステップＳ９）。
【００６２】
映像合成装置１は、位置情報検出手段３によって、すべてのピクセルの解析が終了したと判定した場合（ステップＳ８でＹｅｓ）、条件を満たしたピクセルの点群の重心Ｇ＝（ＧＸ，ＧＹ）を求める（ステップＳ１０）。つまり、映像合成装置１は、青色域の画素の集合における重心を計算する。
【００６３】
そして、映像合成装置１は、位置情報検出手段３からＣＧ作画手段５に求めた重心座標を出力する（ステップＳ１１）。そして、映像合成装置１は、ＣＧ作画手段５によって、ＣＧ素材データ蓄積手段７からＣＧ素材データを読み出して、ＣＧ画像を作画し（ステップＳ１２）、合成手段９によって、映像とＣＧ画像を合成して出力する（ステップＳ１３）。
【００６４】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、映像合成装置１として説明したが、各構成の処理を実行可能に記述した映像合成プログラムとしても構成することができる。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施形態に係る映像合成装置のブロック図である。
【図２】色配置パターンの例を示した図である。
【図３】４つの色配置パターンを、板状のパネルの四隅に描いておいた、スタジオのセットをカメラで撮影した映像の例を示した図である。
【図４】ＣＧ画像を作画した例を示した図である。
【図５】ＣＧ画像を変形処理した例を示した図である。
【図６】映像とＣＧ画像とを合成した例を示した図である。
【図７】図１に示した映像合成装置の動作を示したフローチャートである。
【符号の説明】
【００６６】
１      映像合成装置
３      位置情報検出手段
５      ＣＧ作画手段
７      ＣＧ素材データ蓄積手段
９      合成手段
Ｐ      板状のパネル
Ｓ      載置台
Ｇ      ＣＧ画像
ＧＢ     変形処理ＣＧ画像
Ｈ      背景映像（入力された映像）
【図１】
2008278103.tif 000003
【図２】
2008278103.tif 000004
【図３】
2008278103.tif 000005
【図４】
2008278103.tif 000006
【図５】
2008278103.tif 000007
【図６】
2008278103.tif 000008
【図７】
2008278103.tif 000009