(57)【要約】【課題】カメラにより撮影したカメラ映像と、コンピュータグラフィックス（ＣＧ）処理により生成したＣＧ映像とを合成するに際して、カメラ情報を得るための検出用マーカとして、安定的に検出・消去が可能なマーカを備えた映像合成装置および映像合成プログラムを提供する。【解決手段】映像合成装置１は、検出用マーカとして、実空間に複数個ＬＥＤ光源の組を配置し、カメラ映像のフィールド画像に同期して、オン（点灯）とオフ（消灯）とを交互に繰り返して点灯または消灯させることを特徴とするものであって、マーカ点灯制御手段４と、オブジェクト位置検出手段５と、カメラ情報抽出手段６と、ＣＧ映像生成手段７と、カメラ映像記憶手段８と、オブジェクト消去手段９と、実写・ＣＧ映像合成手段１０と、テンプレート記憶手段１１と、ＣＧデータ記憶手段１２と、を備える構成とした。【選択図】図１
2008276299.tif 000002
【特許請求の範囲】
【請求項１】
被写体近傍の実空間に複数個配置された光源の組から成るマーカ手段を、前記被写体と共にカメラにより撮影したカメラ映像と、コンピュータグラフィックス処理により生成したＣＧ映像とを、前記カメラで撮影したときのカメラの姿勢および画角に関するカメラ情報に基づいて、合成する映像合成装置であって、
前記マーカ手段が前記カメラ映像のフレーム画像の同期信号に同期して、点灯と消灯とを交互に繰り返すように制御するマーカ点灯制御手段と、
前記カメラ映像のフレーム画像から、前記同期信号に同期して点灯と消灯とを交互に繰り返す前記マーカ手段を示す前記オブジェクトに対応して形成されたテンプレートを介して、前記オブジェクトの位置を示す位置情報を検出するオブジェクト位置検出手段と、
前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報に基づいて、前記消灯時に撮影された奇数または偶数フレーム画像の近傍領域から、点灯時にオブジェクトとして撮影された偶数または奇数フレーム画像のマーカ手段の領域を補間することにより、前記オブジェクトを消去するオブジェクト消去手段と、
前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報から前記カメラ情報を抽出するカメラ情報抽出手段と、
前記カメラ情報抽出手段によって抽出されたカメラ情報と予め記憶しておいたＣＧ映像データとを用いて、前記ＣＧ映像を生成するＣＧ映像生成手段と、
前記オブジェクト消去手段によりオブジェクトが消去された前記カメラ映像のフレーム画像と、前記ＣＧ映像生成手段によって生成されたＣＧ映像とを合成する実写・ＣＧ映像合成手段と、を備えることを特徴とする映像合成装置。
【請求項２】
被写体近傍の実空間に複数個配置された光源の組から成るマーカ手段を、前記被写体と共にカメラにより撮影してインタレース方式で示すカメラ映像と、コンピュータグラフィックス処理により生成したＣＧ映像とを、前記カメラで撮影したときのカメラの姿勢および画角に関するカメラ情報に基づいて、合成する映像合成装置であって、
前記マーカ手段が前記カメラ映像のフィールド画像の同期信号に同期して、点灯と消灯とを交互に繰り返すように制御するマーカ点灯制御手段と、
前記カメラ映像のフィールド画像から、前記同期信号に同期して点灯と消灯とを交互に繰り返す前記マーカ手段を示す前記オブジェクトに対応して形成されたテンプレートを介して、前記オブジェクトの位置を示す位置情報を検出するオブジェクト位置検出手段と、
前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報に基づいて、前記消灯時に撮影された奇数または偶数フィールド画像の近傍領域から、点灯時にオブジェクトとして撮影された偶数または奇数フィールド画像のマーカ手段の領域を補間することにより、前記オブジェクトを消去するオブジェクト消去手段と
前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報から前記カメラ情報を抽出するカメラ情報抽出手段と、
前記カメラ情報抽出手段によって抽出されたカメラ情報と予め記憶しておいたＣＧ映像データとを用いて、前記ＣＧ映像を生成するＣＧ映像生成手段と、
前記オブジェクト消去手段によりオブジェクトが消去された前記カメラ映像のフィールド画像と、前記ＣＧ映像生成手段によって生成されたＣＧ映像とを合成する実写・ＣＧ映像合成手段と、を備えることを特徴とする映像合成装置。
【請求項３】
前記カメラで撮影されるカメラ映像におけるマーカ手段は、ＬＥＤであり、点灯時にはその点灯が撮影でき、かつ、消灯時に撮影されないように遮蔽する遮蔽物に覆われた状態で配置されることを特徴とする請求項１または請求項２に記載の映像合成装置。
【請求項４】
被写体近傍の実空間に複数個配置された光源の組から成るマーカ手段を、前記被写体と共にカメラにより撮影したカメラ映像と、コンピュータグラフィックス処理により生成したＣＧ映像とを、前記カメラで撮影したときのカメラの姿勢および画角に関するカメラ情報に基づいて、合成するために、コンピュータを、
前記マーカ手段が前記カメラ映像のフレーム画像の同期信号に同期して、点灯と消灯とを交互に繰り返すように制御するマーカ点灯制御手段、
前記カメラ映像のフレーム画像から、前記同期信号に同期して点灯と消灯とを交互に繰り返す前記マーカ手段を示す前記オブジェクトに対応して形成されたテンプレートを介して、前記オブジェクトの位置を示す位置情報を検出するオブジェクト位置検出手段、
前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報に基づいて、前記消灯時に撮影された奇数または偶数フレーム画像の近傍領域から、点灯時にオブジェクトとして撮影された偶数または奇数フレーム画像のマーカ手段の領域を補間することにより、前記オブジェクトを消去する前記オブジェクト消去手段、
前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報から前記カメラ情報を抽出するカメラ情報抽出手段、
前記カメラ情報抽出手段によって抽出されたカメラ情報と予め記憶しておいたＣＧ映像データとを用いて、前記ＣＧ映像を生成するＣＧ映像生成手段、
前記オブジェクト消去手段によりオブジェクトが消去された前記カメラ映像のフレーム画像と、前記ＣＧ映像生成手段によって生成されたＣＧ映像とを合成する実写・ＣＧ映像合成手段、として機能させることを特徴とする映像合成プログラム。
【請求項５】
被写体近傍の実空間に複数個配置された光源の組から成るマーカ手段を、前記被写体と共にカメラにより撮影してインタレース方式で示すカメラ映像と、コンピュータグラフィックス処理により生成したＣＧ映像とを、前記カメラで撮影したときのカメラの姿勢および画角に関するカメラ情報に基づいて、合成するために、コンピュータを、
前記マーカ手段が前記カメラ映像のフィールド画像の同期信号に同期して、点灯と消灯とを交互に繰り返すように制御するマーカ点灯制御手段、
前記カメラ映像のフィールド画像から、前記同期信号に同期して点灯と消灯とを交互に繰り返す前記マーカ手段を示す前記オブジェクトに対応して形成されたテンプレートを介して、前記オブジェクトの位置を示す位置情報を検出するオブジェクト位置検出手段、
前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報に基づいて、前記消灯時に撮影された奇数または偶数フィールド画像の近傍領域から、点灯時にオブジェクトとして撮影された偶数または奇数フィールド画像のマーカ手段の領域を補間することにより、前記オブジェクトを消去するブジェクト消去手段、
前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報から前記カメラ情報を抽出するカメラ情報抽出手段、
前記カメラ情報抽出手段によって抽出されたカメラ情報と予め記憶しておいたＣＧ映像データとを用いて、前記ＣＧ映像を生成するＣＧ映像生成手段、
前記オブジェクト消去手段によりオブジェクトが消去された前記カメラ映像のフィールド画像と、前記ＣＧ映像生成手段によって生成されたＣＧ映像とを合成する実写・ＣＧ映像合成手段、として機能させることを特徴とする映像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより撮影したカメラ映像（実写映像）と、コンピュータグラフィックス（ＣＧ）処理により生成したＣＧ映像とを合成する映像合成装置および映像合成プログラムに関する。
【背景技術】
【０００２】
実写映像とＣＧ映像とを違和感なく合成するためには、両者のカメラ情報（カメラの位置や方向、ズーム量など、以下、カメラパラメータとも云う）を合わせる必要がある。このため、実写映像からカメラ情報を求め、そのカメラ情報を使ってＣＧ映像を生成、実写映像と合成することがよく行われる。このとき、実写映像から検出したマーカのスクリーン座標情報から、カメラパラメータを得ることが重要となる。例えば、予め形状のわかった物体の実写映像からカメラ情報を得る画像処理手法が考案されているが、この手法を用いるためには、実空間内にこの物体を置いておく必要があり、当該物体を撮影しつづけなければならないので、撮影が非常に制限される。また、マーカとして不自然でない物体を使うと、他の部分との識別が困難になり、そのパターンの安定的な検出が困難になる。
【０００３】
例えば、特許文献１において、実写映像とＣＧ映像とを合成するための装置として、複合現実感表示装置が開示されている。複合現実感表示装置は、実写映像に合成する仮想物体の画像として、複数のマーカが配設された物体教示指標を、実空間内の当該箇所に配置して、そのシーンをカメラにより撮影して物体教示指標から読み取った情報に基づいて、ＣＧ映像を合成するものである。
【０００４】
また、複合現実感表示装置は、物体教示指標によって、複数の点滅するＬＥＤ光源を物体教示指標上に備えていて、点滅する光源が発する点滅パターンによって、実写映像に合成する仮想物体の識別情報および３次元位置・姿勢情報を送出する。この識別情報は、物体固有の色、形状またはバーコードなどのビジュアルコード、あるいは識別情報その他のデータ等であって、符号化した光の点滅パターンなどで構成される。複合現実感表示装置は、実写映像から抽出された物体教示指標の光の点滅パターンを復号化して得られた実物体についての３次元モデルを取得し、物体教示指標の空間的位置および姿勢を計算し、３次元モデルを実写映像に重畳する。
【０００５】
このようにして、特許文献１に開示される複合現実感表示装置においては、現実空間に実物体を配置することなく、実空間内に配置された物体教示指標上に載置されたＬＥＤ光源などが発する光の点滅パターンをカメラ撮影により認識し、符号パターンを復号化することで、仮想物体の特徴、すなわち、ＣＧ画像モデルを選択できる。
【特許文献１】特開２００３−２５６８７６号公報（段落０１０４〜段落０１２１、図１、図６〜図９）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示される複合現実感表示装置においては、物体教示指標が発する光の点滅パターン（マーカ）は、カメラにより撮影するとき、必ずしもカメラ映像の映像信号（フレーム画像／フィールド画像）に同期していないため、一様に表示されず、カメラにより撮影したカメラ映像に基づいて、複合現実感表示装置の物体教示指標が送信する符号パターンを安定的に精度よく判定し、仮想物体を選択することは困難であった。
【０００７】
そこで、本発明では、このような問題点に鑑み創案されたものであり、カメラにより撮影したカメラ映像と、コンピュータグラフィックス処理により生成したＣＧ映像とを合成するに際して、ＣＧ映像を安定的に且つ正確に実写映像上に重畳でき、または、違和感のない自然に見える合成画像を生成することができる映像合成装置および映像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は前記目的を達成するためになされたものであり、請求項１に記載の映像合成装置は、被写体近傍の実空間に複数個配置された光源の組から成るマーカ手段を、前記被写体と共にカメラにより撮影したカメラ映像と、コンピュータグラフィックス処理により生成したＣＧ映像とを、前記カメラで撮影したときのカメラの姿勢および画角に関するカメラ情報に基づいて、合成する映像合成装置であって、マーカ点灯制御手段と、オブジェクト位置検出手段と、オブジェクト消去手段と、カメラ情報抽出手段と、ＣＧ映像生成手段と、実写・ＣＧ映像合成手段と、を備える構成とした。
【０００９】
かかる構成によれば、映像合成装置は、マーカ点灯制御手段によって、実空間に複数個配置された光源の組から成るマーカ手段をフレーム画像の同期信号に同期して点灯および消灯させ、点灯時にマーカ手段をオブジェクトとして撮影する。そして、映像合成装置は、オブジェクト位置検出手段によって、前記カメラ映像のフレーム画像から、前記同期信号に同期して点灯と消灯とを交互に繰り返す前記マーカ手段を示す前記オブジェクトに対応して形成されたテンプレートを介して、前記オブジェクトの位置を示す位置情報を検出する。さらに、映像合成装置は、オブジェクト消去手段により、前記点灯時にオブジェクトとして撮影された偶数または奇数フレーム画像のマーカ手段の領域を、検出されたオブジェクトの位置情報に基づいて、前記消灯時に撮影された奇数または偶数フレーム画像の近傍領域から補間することにより、オブジェクトを消去する。そして、映像合成装置は、カメラ情報抽出手段によって、前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報からカメラ情報を抽出し、ＣＧ映像生成手段によって、前記カメラ情報抽出手段によって抽出されたカメラ情報と予め記憶しておいたＣＧ映像データとを用いて、ＣＧ映像を生成する。そして、映像合成装置は、実写・ＣＧ映像合成手段によって、オブジェクトが消去された前記カメラ映像のフレーム画像と、前記ＣＧ映像生成手段によって生成されたＣＧ映像とを合成する。
【００１０】
請求項２に記載の映像合成装置は、被写体近傍の実空間に複数個配置された光源の組から成るマーカ手段を、前記被写体と共にカメラにより撮影してインタレース方式で示すカメラ映像と、コンピュータグラフィックス処理により生成したＣＧ映像とを、前記カメラで撮影したときのカメラの姿勢および画角に関するカメラ情報に基づいて、合成する映像合成装置であって、マーカ点灯制御手段と、オブジェクト位置検出手段と、オブジェクト消去手段と、カメラ情報抽出手段と、ＣＧ映像生成手段と、実写・ＣＧ映像合成手段と、を備える構成とした。
【００１１】
かかる構成によれば、映像合成装置は、マーカ点灯制御手段によって、実空間に複数個配置された光源の組から成るマーカ手段をフィールド画像の同期信号に同期して点灯および消灯させ、点灯時にマーカ手段をオブジェクトとして撮影する。そして、映像合成装置は、オブジェクト位置検出手段によって、前記カメラ映像のフィールド画像から、前記同期信号に同期して点灯と消灯とを交互に繰り返す前記マーカ手段を示す前記オブジェクトに対応して形成されたテンプレートを介して、前記オブジェクトの位置を示す位置情報を検出する。さらに、映像合成装置は、オブジェクト消去手段により、前記点灯時にオブジェクトとして撮影された偶数または奇数フィールド画像のマーカ手段の領域を、検出されたオブジェクトの位置情報に基づいて、前記消灯時に撮影された奇数または偶数フィールド画像の近傍領域から補間することにより、オブジェクトを消去する。そして、映像合成装置は、カメラ情報抽出手段によって、前記オブジェクト位置検出手段によって検出されたオブジェクトの位置情報からカメラ情報を抽出し、ＣＧ映像生成手段によって、前記カメラ情報抽出手段によって抽出されたカメラ情報と予め記憶しておいたＣＧ映像データとを用いて、ＣＧ映像を生成する。そして、映像合成装置は、実写・ＣＧ映像合成手段によって、オブジェクトが消去された前記カメラ映像のフィールド画像と、前記ＣＧ映像生成手段によって生成されたＣＧ映像とを合成する。
【００１２】
請求項３に記載の映像合成装置は、請求項１または請求項２に記載の映像合成装置において、前記カメラで撮影されるカメラ映像におけるマーカ手段は、ＬＥＤであり、点灯時にはその点灯が撮影でき、かつ、消灯時に撮影されないように遮蔽する遮蔽物に覆われた状態で配置される構成とした。
かかる構成によれば、映像合成装置では、ＬＥＤの消灯時に撮影されるカメラ映像が、マーカ手段であるＬＥＤは全く見えない状態となる。
【００１３】
請求項４に記載の映像合成プログラムは、被写体近傍の実空間に複数個配置された光源の組から成るマーカ手段を、前記被写体と共にカメラにより撮影したカメラ映像と、コンピュータグラフィックス処理により生成したＣＧ映像とを、前記カメラで撮影したときのカメラの姿勢および画角に関するカメラ情報に基づいて、合成するために、コンピュータを、マーカ点灯制御手段、オブジェクト位置検出手段、オブジェクト消去手段、カメラ情報抽出手段、ＣＧ映像生成手段、実写・ＣＧ映像合成手段、として機能させる構成とした。
【００１４】
かかる構成によれば、映像合成プログラムは、マーカ点灯制御手段によりマーカ手段をカメラ映像のフレーム画像の同期信号に同期させ、点灯と消灯とを交互に繰り返して、点灯時にオブジェクトとして撮影し、オブジェクト位置検出手段によって、テンプレートを介してカメラ映像のフレーム画像から、前記オブジェクトの位置を示す位置情報を検出する。さらに、映像合成プログラムは、オブジェクト消去手段によりオブジェクトの位置情報に基づいて、消灯時に撮影された奇数または偶数フレーム画像の近傍領域から、点灯時にオブジェクトとして撮影された偶数または奇数フレーム画像のマーカ手段の領域を補間することにより、前記オブジェクトを消去している。さらに、映像合成プログラムは、カメラ情報抽出手段によって、検出されたオブジェクトの位置情報からカメラ情報を抽出し、予め記憶しておいたＣＧ映像データを用いて、ＣＧ映像を生成する。さらに、映像合成プログラムは、実写・ＣＧ映像合成手段によって、オブジェクトが消去された前記カメラ映像のフレーム画像と、前記ＣＧ映像生成手段により生成されたＣＧ映像とを合成する。
【００１５】
請求項５に記載の映像合成プログラムは、被写体近傍の実空間に複数個配置された光源の組から成るマーカ手段を、前記被写体と共にカメラにより撮影してインタレース方式で示すカメラ映像と、コンピュータグラフィックス処理により生成したＣＧ映像とを、前記カメラで撮影したときのカメラの姿勢および画角に関するカメラ情報に基づいて、合成するために、コンピュータを、マーカ点灯制御手段、オブジェクト位置検出手段、オブジェクト消去手段、カメラ情報抽出手段、ＣＧ映像生成手段、実写・ＣＧ映像合成手段、として機能させることとした。
【００１６】
かかる構成によれば、映像合成プログラムは、マーカ点灯制御手段によりマーカ手段をカメラ映像のフィールド画像の同期信号に同期させ、点灯と消灯とを交互に繰り返して、点灯時にオブジェクトとして撮影し、オブジェクト位置検出手段によって、テンプレートを介してカメラ映像のフィールド画像から、前記オブジェクトの位置を示す位置情報を検出する。さらに、映像合成プログラムは、オブジェクト消去手段により、点灯時にオブジェクトとして撮影された偶数または奇数フィールド画像のマーカ手段の領域を、オブジェクト位置検出手段によって検出されたオブジェクトの位置情報に基づいて、消灯時に撮影された奇数または偶数フィールド画像の近傍領域から補間することにより、前記オブジェクトを消去する。そして、映像合成プログラムは、カメラ情報抽出手段によって、検出されたオブジェクトの位置情報からカメラ情報を抽出し、予め記憶しておいたＣＧ映像データを用いて、ＣＧ映像を生成する。さらに、映像合成プログラムは、実写・ＣＧ映像合成手段によって、オブジェクトが消去された前記カメラ映像のフィールド画像と、前記ＣＧ映像生成手段により生成されたＣＧ映像とを合成する。
【発明の効果】
【００１７】
請求項１または請求項４に記載の発明によれば、カメラ映像と、ＣＧ映像とを合成する際に、カメラ映像のフレーム画像の同期信号に同期して光源を点滅させるマーカ手段を用いたカメラ情報を得ることで、実写映像とＣＧ映像とを合成し、より安定的に確実に自然なＣＧ合成画像を生成することができる。
【００１８】
請求項２または請求項５に記載の発明によれば、カメラ映像と、ＣＧ映像とを合成する際に、カメラ映像のフィールド画像の同期信号に同期して光源を点滅させるマーカ手段を用いたカメラ情報を得ることで、実写映像とＣＧ映像とを合成し、より安定的に確実に自然なＣＧ合成画像を生成することができる。
【００１９】
請求項３に記載の発明によれば、映像合成装置は、マーカ手段を、消灯時、撮影されないようにする遮蔽物で覆ったことによって、消灯時に撮影されたフィールド画像あるいはフレーム画像を用いて点灯時に撮影されたフィールド画像あるいはフレーム画像のオブジェクトを消去でき、自然に見える合成画像を得ることができる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明を実施するための最良の形態について、適宜、図面を参照して説明する。ここでは、カメラにより撮影したカメラ映像（実写映像）と、コンピュータグラフィックス処理により生成したＣＧ映像とを、カメラで撮影したときのカメラの姿勢および画角に関するカメラ情報に基づいて、カメラ映像はインタレース方式に従って、実写映像とＣＧ映像とを合成する場合を例として説明する。
【００２１】
［映像合成装置の構成］
まず、図１ないし図３を参照して、本発明の実施形態に係る映像合成装置の構成について説明する。
図１は、本発明の実施形態に係る映像合成装置の全体構成を示すブロック図である。図２は、本発明の実施形態に係る映像合成装置の映像合成について模式的に示した図である。図３は、本発明の実施形態に係る映像合成装置のマーカ（ＬＥＤ光源）の点滅する様子と画像を示した図である。
【００２２】
図１に示すように、映像合成装置１は、マーカ点灯制御手段４と、オブジェクト位置検出手段５と、カメラ情報抽出手段６と、ＣＧ映像生成手段７と、カメラ映像記憶手段８と、オブジェクト消去手段９と、実写・ＣＧ映像合成手段１０と、テンプレート記憶手段１１と、ＣＧデータ記憶手段１２とを備えている。この映像合成装置１は、外部に配置された同期信号発生手段２からカメラ３およびマーカ点灯制御手段４に同期信号が入力され、カメラ３によりマーカ手段としてのＬＥＤ光源４ａを撮影して、その撮影した映像にＣＧ映像を合成する。つまり、映像合成装置１は、カメラ３により撮影したカメラ映像から、このカメラ映像に同期して点滅するＬＥＤ光源４ａを基準としてカメラ情報を抽出して、このカメラ情報を使ってコンピュータグラフィックス処理によってＣＧ映像を生成し、カメラ映像とＣＧ映像とを合成するものである。
【００２３】
同期信号発生手段２は、映像合成装置１において、カメラ３が撮影するカメラ映像（奇数または偶数フィールド画像）で使用される同期信号およびカメラ映像に写し込まれるＬＥＤ光源（マーカ手段４ａ）を点滅させるマーカ点灯制御手段４で使用される同期信号を発生し、カメラ３およびマーカ点灯制御手段４に供給している。
【００２４】
カメラ３は、同期信号発生手段２から入力される同期信号に同期して、ＬＥＤ光源（マーカ）を含む実空間の被写体を撮影し、撮影したカメラ映像（フィールド画像）を出力するものである。また、カメラ映像は、オブジェクト位置検出手段５に出力されるとともに、カメラ映像記憶手段８に記憶される。
【００２５】
マーカ点滅制御手段４は、同期信号発生手段２から入力される同期信号に同期させて、実空間の被写体の近くに配置されたＬＥＤ光源（マーカ手段）４ａのオン（点灯）とオフ（消灯）を交互に繰り返し、点滅させるものである。インタレース方式による撮影に従って、カメラ映像のフィールド画像の番号とＬＥＤ光源４ａの点滅サイクルとの対応では、ＬＥＤ光源は、偶数フィールド画像ａ（図２参照）では点灯し、奇数フィールド画像ｂ（図２を参照）では消灯する。
なお、ＬＥＤ光源４ａは、ここでは、点灯時に光が透過されて撮影でき、消灯時に遮蔽される遮蔽物（薄い紙状の物、または半透明のシートなど）Ｈ（図５参照）で覆われた状態で配置されている。
【００２６】
これによって、映像合成装置１にカメラ３から映像を入力する際は、マーカ点灯制御手段４がオフ（消灯）させているときＬＥＤ光源４ａが、遮蔽物Ｈ（図５参照）により完全に隠され、また、マーカ点灯制御手段４がオン（点灯）させているときのみ、遮蔽物Ｈを透して、ＬＥＤ光源４ａを検出することができるものである。
【００２７】
オブジェクト位置検出手段５は、カメラ３が撮影したカメラ映像を入力し、撮影されたカメラ映像の偶数フィールド画像ａおよび奇数フィールド画像ｂから、ＬＥＤ光源４ａを用いて構成されるイメージに相当するオブジェクトの位置座標（位置情報）を検出するものである。このオブジェクト位置検出手段５は、ここでは後記するテンプレートを使用してオブジェクトの位置座標を検出している。検出されたＬＥＤ光源４ａの位置座標は、カメラ情報抽出手段６およびオブジェクト消去手段９へ出力される。
【００２８】
また、図３に示すように、オブジェクト位置検出手段５は、点灯時のＬＥＤ光源部分の空間的な特徴だけでなく、フィールド画像の同期信号に同期してＬＥＤ光源が交互にオン（点灯）３１１，３３１とオフ（消灯）３２１，３４１を繰り返すという、時間的な特徴も利用することにより、安定してＬＥＤ光源を検出する。すなわち、ＬＥＤ光源部分を撮影した２つのフィールド画像（３１２と３２２、または３３２と３４２）から構成されるフレーム画像３１３，３３３は、ＬＥＤ光源の点灯された領域が縞模様となる。
【００２９】
オブジェクト位置検出手段５は、この縞模様の領域を、予めテンプレート記憶手段１１に記憶しておいたＬＥＤ光源４ａの縞模様パターン（図７参照）をテンプレートとしてテンプレートマッチングすることにより、フレーム画像の中からＬＥＤ光源の画像（オブジェクト）を探すことができ、安定して精度よくマーカとしてのＬＥＤ光源４ａの位置座標を検出できる。
【００３０】
カメラ情報抽出手段６は、オブジェクト位置検出手段５によって検出されたＬＥＤ光源４ａのスクリーン座標情報から、カメラ情報（カメラの位置や方向、ズーム量など）を算出するものである。このカメラ情報抽出手段６は、カメラ３に設けた各検出手段（図示せず）から送られてきたカメラ３の撮影時のパン、チルト、ズーム等の情報を、検出されたスクリーン座標情報に対応させて算出している。カメラ情報抽出手段６は、このカメラ情報をＣＧ映像生成手段７に出力する。
【００３１】
ＣＧ映像生成手段７は、カメラ情報抽出手段６によって抽出されたカメラ情報とＣＧデータ記憶手段１２に予め記憶しておいた、例えば、茶器、置物などのＣＧ映像データとを用いて、マーカ検出画像ｄ（図２参照）上に、コンピュータグラフィックス処理によって、このカメラ情報に合ったＣＧ映像（傾き、方向等の状態が反映したＣＧ映像）を生成するものである。このＣＧ映像は、カメラ３によって撮影されたカメラ映像と合成するため、実写・ＣＧ映像合成手段１０に出力される。
【００３２】
カメラ映像記憶手段８は、カメラ３によって撮影されたカメラ映像の映像信号を、時系列にしたがって記憶するものであり、フレームメモリ、ハードディスク等の一般的な記憶手段によって構成される。ここで記憶されたカメラ映像の映像信号（フィールド画像）は、オブジェクト消去手段９によって、順次読み出される。
【００３３】
オブジェクト消去手段９は、図４に示すように、偶数フィールド画像ａ（点灯）のオブジェクトを消去するため、偶数フィールド画像ａ（点灯）のＬＥＤ光源４ａ領域を、近傍の奇数フィールド画像ｂ（消灯）から補間により求めてフィールド画像Ｂとし書き換え、このフィールド画像Ｂと、奇数フィールド画像ｂとを用いることによって、ＬＥＤ光源４ａが消灯した状態の画像Ｂｂを得るものである。
【００３４】
これにより、偶数フィールド画像ａを書き換えた偶数フィールド画像Ｂは、消灯時の偶数フィールド画像となる。そして、オブジェクト消去手段９は、消去時の偶数フィールド画像Ｂと、ＬＥＤ光源４ａが消灯している奇数フィールド画像ｂとを合わせたオブジェクトを消去された画像と等価なフレーム画像を、実写・ＣＧ映像合成手段１０に出力する。
【００３５】
実写・ＣＧ映像合成手段１０は、オブジェクト消去手段９によってマーカを消去されたマーカ消去画像ｃと、ＣＧ映像生成手段７によって生成されたＣＧ映像（図示しない）とを合成して、合成映像を得る。
【００３６】
テンプレート記憶手段１１は、カメラ映像（フレーム画像）からマーカを検出するときに用いられるＬＥＤ光源４ａの縞模様のテンプレートパターンを記憶するものであり、ハードディスク等の一般的な記憶手段によって構成される。ここで記憶されたテンプレートパターンは、オブジェクト位置検出手段５によって、テンプレートマッチングされるときに読み出される。
【００３７】
ＣＧデータ記憶手段１２は、ＣＧ映像生成手段７がカメラ情報抽出手段６により抽出されたカメラ情報に基づいてＣＧ映像を生成するときに使用される、茶器、置物などのＣＧ映像データを記憶するものであり、ハードディスク等の一般的な記憶手段によって構成される。ここで、記憶されたＣＧ映像データは、ＣＧ映像生成手段７によって読み出される。
【００３８】
これによって、映像合成装置１は、カメラ３により撮影したカメラ映像と、このカメラ映像（フィールド画像）に同期して点滅するＬＥＤ光源４ａをマーカ手段に用いることによって、このマーカ位置を検出してカメラ映像からカメラ情報を抽出して、このカメラ情報を使ってコンピュータグラフィックス処理により生成したＣＧ映像と、カメラ映像とを安定的に合成することがでる。そのため、映像合成装置１は、マーカ手段４ａを消灯時に見えないように遮蔽物で覆うことによって、自然な合成映像を合成すことができる。
【００３９】
［映像合成装置の動作］
次に、図６を参照（適宜図１ないし図３を参照）して、映像合成装置１の動作について説明する。
図６は、本発明の実施形態に係る映像合成装置１の動作を示すフローチャートである。
【００４０】
まず、映像合成装置１は、同期信号発生手段２が出力する同期信号に同期して、カメラ３により撮影したカメラ映像を、オブジェクト位置検出手段５およびカメラ映像記憶手段８に入力する（ステップＳ１）。カメラ映像は、少なくとも時間的に連続した２つのフィールド画像（偶数フィールド画像／奇数フィールド画像）ａ、ｂから構成されるものであり、偶数フィールド画像ａは、ＬＥＤ光源４ａが点灯していて、一方、奇数フィールド画像ｂはＬＥＤ光源４ａが消灯している。
【００４１】
次に、映像合成装置１は、オブジェクト位置検出手段５によって、時間的に連続した２つのフィールド画像ａ、ｂを入力し、フレーム画像上で縞模様に見える、ＬＥＤ光源４ａを検出する（ステップＳ２）。
これは、マーカ点灯制御手段４が、同期信号発生手段２が出力する同期信号に同期して、ＬＥＤ光源４ａのオン（点灯）とオフ（消灯）を交互に繰り返していることに基づくものであり、これによって、ＬＥＤ光源４ａはフレーム画像３１３、３３３上で縞模様になり、安定して検出できる。
【００４２】
映像合成装置１は、カメラ情報抽出手段６によって、オブジェクト位置検出手段５によって検出されたＬＥＤ光源４ａ画像（オブジェクト）の位置情報（マーカ位置）に基づいて、カメラ３から送られてくるカメラ情報（カメラの位置や方向、ズーム量など）を抽出する（ステップＳ３）。
【００４３】
映像合成装置１は、オブジェクト消去手段９によって、カメラ映像記憶手段８から、時間的に連続した２つのフィールド画像ａ、ｂを読み出し、且つオブジェクト位置検出手段５によって検出されたＬＥＤ光源４ａ画像の位置情報を入力して、偶数フィールド画像ａ（点灯）からマーカ画像を消去する（ステップＳ４）。すなわち、偶数フィールド画像ａ（点灯）のマーカを消去するため、偶数フィールド画像ａ（点灯）のＬＥＤ光源４ａ領域を近傍の奇数フィールド画像ｂ（消灯）から補間により求め、書き換えることによって、ＬＥＤ光源４ａが消灯した状態のマーカ消去画像ｃ（図２参照）を得る。
【００４４】
そして、映像合成装置１は、ＣＧ映像生成手段７によって、カメラ情報抽出手段６によって得られたカメラ情報とＣＧデータ記憶手段１２に予め記憶しておいたＣＧ映像データとを用いて、このカメラ情報に合ったＣＧ映像をコンピュータグラフィックス処理によって生成する（ステップＳ５）。
【００４５】
映像合成装置１は、実写・ＣＧ映像合成手段１０によって、オブジェクト消去手段９によってマーカ画像を消去されたマーカ消去画像ｃと、ＣＧ映像生成手段７によって生成されたＣＧ画像とを入力し合成する（ステップＳ６）。
【００４６】
以上によって、映像合成装置１は、カメラ３により撮影したカメラ映像の同期信号に同期して、ＬＥＤ光源４ａを点滅させることによって、実写映像とＣＧ映像とを合成するに際してマーカとなるＬＥＤ光源４ａ画像（マーカ）を安定に、信頼性良く検出することができる。
【００４７】
以上説明したように、映像合成装置１は、実写映像からカメラ情報を求め、そのカメラ情報を使ってＣＧ映像を生成し、実写映像と合成する際に、実写映像からカメラ情報を得るために用いる予め形状のわかった物体として、カメラ映像に同期して点滅するＬＥＤ光源４ａをマーカ手段として実空間内に配設することとした。
【００４８】
これによって、映像合成装置１では、点灯時におけるＬＥＤ光源の空間的パターン（偶数フィールド画像）だけでなく、消灯時のＬＥＤ光源４ａの空間的パターン（奇数フィールド画像）も利用できて、両者によってＬＥＤ光源のフレーム画像を見た場合、ＬＥＤ光源のマーカは、縞模様３１３，３３３（図３を参照）のパターンにより検出することができる。ＬＥＤ光源４ａは、合成時に自然さを損なわず、マーカとして識別し易い点滅パターンを提供する。
【００４９】
したがって、映像合成装置１は、ＣＧ映像を合成するに際して、安定して且つ信頼性よく点滅パターンを検出することができ、且つ違和感のない自然なＣＧ合成映像を生成することができる。
なお、図５は、実際の実験で得られたマーカの検出処理、オブジェクト消去処理を行い、３次元コンピュータグラフィックス処理で合成した結果の例示である。
【００５０】
なお、ここでは、インタレース方式のフィールド画像で映像を合成する構成として説明したが、奇数フレーム画像および偶数フレーム画像を前記したように各手段を用いて映像を合成するように構成してもよい。また、ここでは、映像合成装置１として説明したが、ＣＰＵ、ＲＡＭ等を備えた一般的なコンピュータによって映像合成装置１は実現され、コンピュータを前記した各手段として機能させる映像合成プログラムにより作動させることができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施形態に係る映像合成装置の全体構成を示すブロック図である。
【図２】本発明の実施形態に係る映像合成装置の映像合成について模式的に示した図である。
【図３】本発明の実施形態に係る映像合成装置のマーカの点滅する様子と画像を示した図である。
【図４】本発明の実施形態に係る映像合成装置のオブジェクト消去手段によるフィールド画像を補完する状態を示す模式図である。
【図５】本発明の実施形態に係る映像合成装置のＣＧ合成例を示した模式図である。
【図６】本発明の実施形態に係る映像合成装置の処理の流れを示すフローチャートである。
【図７】本発明の実施形態に係る映像合成装置のマーカ（ＬＥＤ光源）のテンプレートパターンを示した図である。
【符号の説明】
【００５２】
１      映像合成装置
２      同期信号発生手段
３      カメラ
４      マーカ点灯制御手段
４ａ    マーカ手段
５      オブジェクト位置検出手段
６      カメラ情報抽出手段
７      ＣＧ映像生成手段
８      カメラ映像記憶手段
９      オブジェクト消去手段
１０    実写・ＣＧ映像合成手段
１１    テンプレート記憶手段
１２    ＣＧデータ記憶手段
ａ      偶数フィールド画像
ｂ      奇数フィールド画像
ｃ      マーカ消去画像
ｄ      マーカ検出画像
ｅ      実写・ＣＧ合成映像
【図１】
2008276299.tif 000003
【図２】
2008276299.tif 000004
【図３】
2008276299.tif 000005
【図４】
2008276299.tif 000006
【図５】
2008276299.tif 000007
【図６】
2008276299.tif 000008
【図７】
2008276299.tif 000009