(57)【要約】【課題】  センサおよび特殊メガネを装着する必要が無く、ＣＧ画像に対して人物が自然な振る舞いをしている合成映像を出力することができる映像合成装置、映像合成プログラムおよび映像合成システムを提供する。【解決手段】  映像合成装置１は、三次元ＣＧデータに従って立体模型造形装置２によって造形された立体模型と人物とを撮影カメラ４によって撮影した映像内で、当該立体模型が映し出されている映像部分に、当該三次元ＣＧデータに従って描画したＣＧ画像を重ね合わせて出力するものであって、三次元ＣＧデータ蓄積手段３と、三次元ＣＧデータ出力制御手段５と、レンダリング手段７と、立体模型映像部分検出手段９と、リプレイス手段１１と、を備えた。【選択図】      図１
2005250748.tif 000002
【特許請求の範囲】
【請求項１】
三次元ＣＧデータに従って立体模型造形手段によって造形された立体模型と、この立体模型を使用して解説を行う人物とを撮影手段によって撮影した映像内で、当該立体模型が映し出されている映像部分に、当該三次元ＣＧデータに従って描画したＣＧ画像を置き換えて出力する映像合成装置であって、
前記三次元ＣＧデータを蓄積している三次元ＣＧデータ蓄積手段と、
この三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータを前記立体模型造形手段に出力させる三次元ＣＧデータ出力手段と、
前記撮影手段の位置、方向およびズーム量を含む撮影情報と、前記立体模型が配置されている位置を示す配置情報と、前記三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータとに基づいて、前記ＣＧ画像を描画するレンダリング手段と、
前記映像内の前記立体模型の映し出されている映像部分を検出する立体模型映像部分検出手段と、
この立体模型映像部分検出手段によって検出された映像部分に前記レンダリング手段によって描画されたＣＧ画像を置き換えて出力するリプレイス手段と、
を備えることを特徴とする映像合成装置。
【請求項２】
前記立体模型造形手段は、ラピッドプロトタイピング技術における薄膜積層法の原理を用いることを特徴とする請求項１に記載の映像合成装置。
【請求項３】
三次元ＣＧデータに従って立体模型造形手段によって造形された立体模型と、この立体模型を使用して解説を行う人物とを撮影手段によって撮影した映像内で、当該立体模型が映し出されている映像部分に、当該三次元ＣＧデータに従って描画したＣＧ画像を置き換えて出力するために、コンピュータを、
前記三次元ＣＧデータを蓄積している三次元ＣＧデータ蓄積手段から前記立体模型造形手段に前記三次元ＣＧデータを出力させる三次元ＣＧデータ出力手段、
前記撮影手段の位置、方向およびズーム量を含む撮影情報と、前記立体模型が配置されている位置を示す配置情報と、前記三次元ＣＧデータとに基づいて、前記ＣＧ画像を描画するレンダリング手段、
前記映像内の前記立体模型の映し出されている映像部分を検出する立体模型映像部分検出手段、
この立体模型映像部分検出手段によって検出された映像部分に前記レンダリング手段によって描画されたＣＧ画像を置き換えて出力するリプレイス手段、
として機能させることを特徴とする映像合成プログラム。
【請求項４】
立体模型とこの立体模型を使用して解説を行う人物とを撮影手段によって撮影した映像内で、当該立体模型が映し出されている映像部分に、当該三次元ＣＧデータに従って描画したＣＧ画像を置き換えて出力する映像合成システムであって、
前記三次元ＣＧデータを蓄積している三次元ＣＧデータ蓄積手段と、
この三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータを出力させる三次元ＣＧデータ出力手段と、
この三次元ＣＧデータ出力手段によって出力された三次元ＣＧデータに従って前記立体模型を造形する立体模型造形手段と、
前記撮影手段の位置、方向およびズーム量を含む撮影情報を取得する撮影情報取得手段と、
この撮影情報取得手段によって取得された撮影情報と、前記立体模型が配置されている位置を示す配置情報と、前記三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータとに基づいて、前記ＣＧ画像を描画するレンダリング手段と、
前記映像内の前記立体模型の映し出されている映像部分を検出する立体模型映像部分検出手段と、
この立体模型映像部分検出手段によって検出された映像部分に前記レンダリング手段によって描画されたＣＧ画像を置き換えて出力するリプレイス手段と、
を備えることを特徴とする映像合成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した映像に三次元ＣＧを合成する映像合成装置、映像合成プログラムおよび映像合成システムに関する。
【背景技術】
【０００２】
従来、撮影カメラで撮影した実写映像内に、コンピュータによって描画した三次元画像である三次元ＣＧを配置する技術として、バーチャルスタジオ技術、ミックスドリアリティ技術が挙げられる（例えば、特許文献１，２参照）。
【０００３】
バーチャルスタジオ技術は、スタジオセットをコンピュータによってＣＧ画像として描画して（仮想的に組み立てて）、この描画したＣＧ画像（バーチャル模型）の中に人物（出演者、例えば、アナウンサ）等の実写映像をはめ込む（配置する、合成する）ことにより、実際には、スタジオセットが存在していないにも拘わらず、恰も本物のスタジオセットの中に人物（出演者）等がいるかのような映像を作り出すことができる技術である。
【０００４】
ミックスドリアリティ技術は、ＣＧ画像等の仮想世界と実際に撮影した映像等の現実世界とをリアルタイムに継ぎ目無く融合させる技術であり、このミックスドリアリティ技術の一態様として、人物（使用者）の位置および目線方向を取得可能なセンサと、実写映像にＣＧ画像を合成した合成映像を当該人物（使用者）に提示可能な特殊メガネと、ＣＧ画像を実際の空間上に配置する位置を示す配置データを記憶したコンピュータとを用いたものがある。
【０００５】
このミックスドリアリティ技術の一態様では、人物（使用者）がセンサおよび特殊メガネを装着して、任意の動作をすると、センサがこの任意の動作に応じて変化するセンサデータをコンピュータに出力する。続いて、コンピュータが、入力されたセンサデータと配置データとに基づいて、時々の人物（使用者）の位置および目線方向から見えるＣＧ画像をその都度生成し、この生成したＣＧ画像を特殊メガネによって、リアルタイムに実写映像上に配置することで、人物（使用者）に提示するものである。
【０００６】
これによって、人物（使用者）は、実際の空間における特定の箇所に、恰もＣＧ画像が存在しているように感じることができる。
【特許文献１】特開平１１−２６１８８８号公報（段落０００９〜００１２、図１）
【特許文献２】特開２００３−３０３３５６号公報（段落００１２〜００２２、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のバーチャルスタジオ技術では、たとえ、スタジオセットをＣＧ画像（バーチャル模型）として生成しても、人物（出演者）は、このＣＧ画像が実写映像にはめ込まれた合成映像を、テレビモニタによって確認するため、ＣＧ画像の存在や配置位置を正確に把握することができず、当該ＣＧ画像に対して自然な振る舞いを行うことができない、例えば、ＣＧ画像の存在する位置を注目する際の目線、つまり、複数の人物（出演者）が恰もＣＧ画像の中の特定の１箇所を注目している（目線の共有）という演出や、指し棒等を用いた場合は差し位置等が不自然になるという問題がある。
【０００８】
また、従来のミックスドリアリティ技術では、実際の空間に配置されたＣＧ画像に対して自然な振る舞いを行うことができるが、人物（使用者）は、センサおよび特殊メガネを装着しなければならず、この従来のミックスドリアリティ技術を番組制作等に用いる場合、これらセンサおよび特殊メガネを装着した顔面を確認できない人物を出演させることになってしまうので、番組の演出上困難であるという問題がある。
【０００９】
さらに、人物（出演者）が解説する模型を実際に製作して番組中で使用する場合、当該模型は、現物を適当なサイズにスケールダウンした状態で製作する必要があることから、例えば、報道番組において、航空機事故を取り扱う場合に、航空機の精巧な模型が必要になる場合があり、こういった場合に、精巧な模型ほど作成するのに時間を要すという問題がある。
【００１０】
そこで、本発明では、前記した問題を解決し、センサおよび特殊メガネを装着する必要が無く、緊急な報道番組であっても精巧な模型を作成することなく対処することができ、、ＣＧ画像に対して人物（出演者）が自然な振る舞いをしている合成映像を出力することができる映像合成装置、映像合成プログラムおよび映像合成システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため、請求項１記載の映像合成装置は、三次元ＣＧデータに従って立体模型造形手段によって造形された立体模型と人物とを撮影手段によって撮影した映像内で、当該立体模型が映し出されている映像部分に、当該三次元ＣＧデータに従って描画した三次元ＣＧを重ね合わせて出力する映像合成装置であって、三次元ＣＧデータ蓄積手段と、三次元ＣＧデータ出力手段と、レンダリング手段と、立体模型映像部分検出手段と、リプレイス手段と、を備える構成とした。
【００１２】
かかる構成によれば、映像合成装置は、三次元ＣＧデータ出力手段によって、三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータを立体模型造形手段に出力させる。三次元ＣＧデータは、三次元のコンピュータグラフィックスを描画するための形状を示す座標群、描画される三次元ＣＧの質感を示す質感情報、描画されるＣＧ画像の明暗および色彩を示す光彩情報等を含んでいるものである。
【００１３】
また、映像合成装置は、レンダリング手段によって、撮影手段が設置されている位置（例えば、座標ｘｙｚ）と、撮影手段が撮影している方向と、撮影手段が立体模型を撮影する際のズーム量（ズーム率）とを含む撮影情報と、立体模型が配置されている位置を示す配置情報と、三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータとに基づいて、立体模型を三次元ＣＧに置き換えて配置した場合に撮影手段で撮影されるであろうＣＧ画像（二次元ＣＧ画像）を時々刻々（その都度）描画（生成）する。つまり、立体模型造形手段で造形された模型の撮影手段方向から眺めた二次元ＣＧ画像が、撮影している撮影手段の位置、方向およびズーム量を含む撮影情報の変化に伴って、逐次生成されることになる。
【００１４】
そして、映像合成装置は、立体模型映像部分検出手段によって、撮影手段で撮影されている実写の映像内の立体模型が映し出されている映像部分を検出し、リプレイス手段によって、検出された映像部分にレンダリング手段で描画されたＣＧ画像を置き換えて出力する。すなわち、レンダリング手段で描かれた、撮影手段の位置、方向およびズーム量を含む撮影情報の変化に伴って形状（見え方）が変わるＣＧ画像（二次元ＣＧ画像）が、リプレイス手段によって、立体模型映像部分検出手段で検出された映像部分に置き換えられることになる。
【００１５】
請求項２記載の映像合成装置は、請求項１に記載の映像合成装置において、前記立体模型造形手段は、ラピッドプロトタイピング技術における薄膜積層法の原理を用いることを特徴とする。
【００１６】
かかる構成によれば、映像合成装置は、三次元ＣＧデータを出力する出力先の立体模型造形手段にラピッドプロトタイピング技術における薄膜積層法の原理が用いられるので、三次元ＣＧデータを具現化した実際の形状を表す立体模型がダンボール等によって造形されることとなる。
【００１７】
請求項３記載の映像合成プログラムは、三次元ＣＧデータに従って立体模型造形手段によって造形された立体模型と人物とを撮影手段によって撮影した映像内で、当該立体模型が映し出されている映像部分に、当該三次元ＣＧデータに従って描画した三次元ＣＧを重ね合わせて出力するために、コンピュータを、三次元ＣＧデータ出力手段、レンダリング手段、立体模型映像部分検出手段、リプレイス手段、として機能させる構成とした。
【００１８】
かかる構成によれば、映像合成プログラムは、三次元ＣＧデータ出力手段によって、三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータを立体模型造形手段に出力させる。また、映像合成プログラムは、レンダリング手段によって、撮影手段の位置、方向およびズーム量を含む撮影情報と、立体模型が配置されている位置を示す配置情報と、三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータとに基づいて、立体模型を三次元ＣＧに置き換えて配置した場合に撮影手段で撮影されるであろうＣＧ画像（二次元ＣＧ画像）を時々刻々（その都度）描画（生成）する。そして、映像合成プログラムは、立体模型映像部分検出手段によって、撮影手段で撮影されている実写の映像内の立体模型が映し出されている映像部分を検出し、リプレイス手段によって、検出された映像部分にレンダリング手段で描画されたＣＧ画像（二次元ＣＧ画像）を置き換えて出力する。
【００１９】
請求項４記載の映像合成システムは、立体模型とこの立体模型を使用して解説を行う人物とを撮影手段によって撮影した映像内で、当該立体模型が映し出されている映像部分に、当該三次元ＣＧデータに従って描画したＣＧ画像を置き換えて出力する映像合成システムであって、三次元ＣＧデータ蓄積手段と、三次元ＣＧデータ出力手段と、立体模型造形手段と、撮影情報取得手段と、レンダリング手段と、立体模型映像部分検出手段と、リプレイス手段と、を備える構成とした。
【００２０】
かかる構成によれば、映像合成システムは、三次元ＣＧデータ出力手段によって、三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータを立体模型造形手段に出力させる。また、映像合成システムは、立体模型造形手段によって、立体模型を造形し、撮影情報取得手段によって、撮影手段が設置されている位置と方向（例えば、座標ｘｙｚと方向）と撮影手段が立体模型を撮影する際のズーム量（ズーム率）とを含む撮影情報を取得する。そして、映像合成システムは、レンダリング手段によって、撮影情報取得手段で取得された撮影情報と、立体模型が配置されている位置を示す配置情報と、三次元ＣＧデータ蓄積手段に蓄積されている三次元ＣＧデータとに基づいて、立体模型を三次元ＣＧに置き換えて配置した場合に撮影手段で撮影されるであろうＣＧ画像（二次元ＣＧ画像）を時々刻々（その都度）描画（生成）する。そして、映像合成システムは、立体模型映像部分検出手段によって、撮影手段で撮影されている実写の映像内の立体模型が映し出されている映像部分を検出し、リプレイス手段によって、検出された映像部分にレンダリング手段で描画されたＣＧ画像を置き換えて出力する。
【発明の効果】
【００２１】
請求項１、３、４に記載の発明によれば、人物は、センサおよび特殊メガネを装着する必要が無く、実際に造形された立体模型を見ながら動作することできる。また、立体模型が三次元ＣＧに置き換えられるので、三次元ＣＧ（ＣＧ画像）に対して自然な振る舞いをして得られる合成映像を出力することができる。
【００２２】
請求項２に記載の発明によれば、三次元ＣＧデータを事前に準備しておけば、容易に立体模型を得ることができ、例えば、リアルタイムの生放送番組に素早く対応することができる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（映像合成装置の構成）
図１は、映像合成システムのブロック図である。この図１に示すように、映像合成システムＡは、映像合成装置１と、立体模型造形装置２（立体模型造形手段）と、撮影カメラ４（撮影手段）と、センサ６（撮影情報取得手段）とから構成されている。映像合成装置１の説明に先立って他の構成を説明する。
【００２４】
立体模型造形装置２は、入力されたデータ（三次元ＣＧデータ）に基づいて、ラピッドタイミング技術の薄膜積層法（ＬＯＭ法）の原理を利用して、薄紙等のシート状の素材（ダンボール紙や紙片等の材料）に輪郭線を引き、この素材の輪郭線をレーザまたはナイフ等によってカットしながら、このカットした素材を順次積み重ねて行くことで、立体模型を造形するものである。なお、この立体模型造形装置２で使用される素材（材料）は、映像合成装置１の立体模型映像部分検出手段（後記する）で検出可能なように単一色とする。
【００２５】
ラピッドタイミング技術の薄膜積層法（ＬＯＭ法）は、入力されたデータの内、ＸＹ平面に関するデータに基づいて薄膜状の素材を切り出して、この切り出した素材を、入力されたデータの内、高さ方向に関するデータに基づいて積層して、特定形状の素材の「塊」（マスタモデル）を作り出すものであり、金型等の製作に応用されるものである。
【００２６】
この立体模型造形装置２は、具体的には、砂型鋳造および精密鋳造へ応用されている市販のＲＰシステム（Ｒａｐｉｔ  Ｐｒｏｔｏｔｙｐｉｎｇ  Ｓｙｓｔｅｍ−高速造形装置）を用いることでもよく、また、このＲＰシステムで用いる薄膜の紙片だけを取り扱う代わりに、立体模型を高速に造形するためにダンボール紙等の材料を取り扱うことが可能なように改良したものとしてもよい。
【００２７】
但し、立体模型造形装置２として、市販のＲＰシステムをそのまま用いた場合、このＲＰシステムは一般的に立体模型等を造形するのに時間がかかり、緊急番組等で使用される立体模型の作成には対応できないことが想定される。それゆえ、市販のＲＰシステムは緊急番組以外の番組に適用することを前提とする。
【００２８】
この立体模型造形装置２によって、高速に造形するためにダンボール等の材料を用いて造形される立体模型は、入力されたデータ（三次元ＣＧデータ）に従ってダンボール紙等の材料の不要な部分を切り落として（削り取って）、この不要な部分を切り落としたダンボール紙等の材料を幾重にも積み重ねたものである。
【００２９】
すなわち、この映像合成システムＡでは、三次元ＣＧデータを出力する出力先の立体模型造形装置２にラピッドプロトタイピング技術における薄膜積層法の原理が用いられるので、三次元ＣＧデータを事前に準備しておけば、三次元ＣＧの形状に近似した立体模型がダンボール等によって高速に造形されることとなり、例えば、リアルタイムの生放送番組に素早く対応することができる。
【００３０】
撮影カメラ４は、立体模型造形装置２によって造形された立体模型と、この立体模型を見ながら動作（演技、解説）を行う人物とを撮影するもので、当該立体模型と当該人物とを撮影した実写撮影信号を映像合成装置１に出力するものである。なお、この撮影カメラ４は、一般的な放送局等で採用されているものである。
【００３１】
センサ６は、撮影カメラ４が設置されている位置（例えば、座標ｘｙｚ）と、撮影カメラ４が撮影している方向と、撮影カメラ４が立体模型を撮影する際のズーム量（ズーム率）とを含む撮影情報を検出（取得）するものである。この実施の形態では、センサ６は、位置、方向およびズーム量（ズーム率）をそれぞれ検出する以下に述べるものから構成されている。
【００３２】
撮影カメラ４が設置されている位置を検出するセンサ６は、当該撮影カメラ４に設置されて、磁気、赤外線、超音波の少なくとも一つを含む信号を発信する発信機（図示せず）と、この発信機から発信された信号に基づいて、位置を検出する位置検出器（図示せず）とから構成されているものである。
【００３３】
撮影カメラ４が撮影している方向を検出するセンサ６は、方向を検出するジャイロコンパス等である。
【００３４】
撮影カメラ４のズーム量（ズーム率）を検出するセンサ６は、当該撮影カメラ４の外部インターフェース（図示せず）に取り付けられて、この外部インターフェース（図示せず）から出力されるズーム量（ズーム率）を検出する検出装置である。
【００３５】
次に、映像合成装置１の構成について説明する。
映像合成装置１は、撮影カメラ４で撮影された実写映像信号に、描画した三次元ＣＧを合成し、この合成したものを合成映像信号として出力するもので、三次元ＣＧデータ蓄積手段３と、三次元ＣＧデータ出力制御手段５（三次元ＣＧデータ出力手段）と、レンダリング手段７と、立体模型映像部分検出手段９と、リプレイス手段１１とを備えている。
【００３６】
三次元ＣＧデータ蓄積手段３は、三次元ＣＧを描画するためのデータである三次元ＣＧデータを蓄積するもので、一般的なハードディスク等の記録媒体によって構成されている。この三次元ＣＧデータ蓄積手段３は、三次元ＣＧデータ出力手段５から出力された制御信号に従って、蓄積している三次元ＣＧデータを、当該映像合成装置１の外部にある立体模型造形装置２に出力すると共に、レンダリング手段７にも出力するものである。
【００３７】
三次元ＣＧデータは、三次元のコンピュータグラフィックスを描画するための形状を示す座標群、描画される三次元ＣＧの質感を示す質感情報、描画される三次元ＣＧの明暗および色彩を示す光彩情報等を含んでいるものである。例えば、描画される三次元ＣＧが１／１００スケールの高層ビル等の複数の建築物であった場合、座標群は、建築物の形状、例えば、四角柱を少なくとも示す８個（四角柱の頂点の数）の座標となり、質感情報は、建築物の表面材質、例えば、ガラスおよびコンクリートを示すものとなり、光彩情報は、建築物の色彩、例えば、水色を示すものとなる。
【００３８】
三次元ＣＧデータ出力制御手段５は、当該映像合成装置１の操作者が入力手段（図示せず）を操作して、入力した操作信号に基づいて、三次元ＣＧデータ蓄積手段３から立体模型造形装置２およびレンダリング手段７に三次元ＣＧデータを出力させる制御信号を、三次元ＣＧデータ蓄積手段３に出力するものである。
【００３９】
レンダリング手段７は、センサ６で検出された撮影カメラ４の時々刻々に変化する位置、方向およびズーム量（ズーム率）を含む撮影情報と、立体模型が配置されている位置を示す配置情報と、三次元ＣＧデータ蓄積手段３に蓄積されている三次元ＣＧデータとに基づいて、その都度、撮影カメラ４から眺めたＣＧ画像（二次元ＣＧ画像）を描画（生成）するものである。このレンダリング手段７によるＣＧ画像の描画は、一般的なＣＧ描画手法によって生成されたものである。なお、この配置情報は、予め図示を省略した記憶手段に記憶されているものである。
【００４０】
立体模型映像部分検出手段９は、撮影カメラ４で撮影された実写映像信号の各フレームについて、立体模型が映し出されている映像部分の外縁部を、色彩（事前に立体模型は単一色で形成されている）の違いから検出し、この映像部分の外縁部に係る情報を立体模型映像部分検出信号として、リプレイス手段１１に出力するものである。立体模型映像部分検出信号は、ＣＧ画像を実際の空間上（実写映像中）に配置する位置を示す配置データとなる。つまり、立体模型映像部分検出手段９は、実写映像信号に対して画像処理を施して、検出対象である立体模型の映像部分を検出している。
【００４１】
リプレイス手段１１は、撮影カメラ４で撮影された実写映像信号にレンダリング手段７で描画（生成）されたＣＧ画像を、立体模型映像部分検出手段９で出力された立体模型映像部分検出信号に基づいて、置き換えて、合成映像信号として出力するものである。
【００４２】
このリプレイス手段１１から出力された合成映像信号は、表示装置（図示せず）に表示させることも可能であるし、放送波送信装置（図示せず）に入力して放送波として送出することも可能である。
【００４３】
なお、この立体模型映像部分検出手段９およびリプレイス手段１１は、従来のクロマキー装置（図示せず）の各処理手段に該当している。
【００４４】
この映像合成装置１によれば、三次元ＣＧデータ出力制御手段５によって、三次元ＣＧデータ蓄積手段３に蓄積されている三次元ＣＧデータが立体模型造形装置２に出力される。なお、このときに、三次元ＣＧデータが入力されたに立体模型造形装置２は、立体模型を造形する。そして、撮影カメラ４で、造形された立体模型と、人物等を撮影すると、センサ６がセンシングした撮影カメラ４の位置、方向およびズーム量（ズーム率）を含む撮影情報が入力される。すると、レンダリング手段７によって、センサ６から入力された撮影情報と、予め記憶されている立体模型が配置されている位置を示す配置情報と、三次元ＣＧデータ蓄積手段３から入力された三次元ＣＧデータとに基づいて、ＣＧ画像（二次元ＣＧ画像）が描画される。そして、立体模型映像部分検出手段９によって、撮影カメラ４で撮影されている実写映像信号中の立体模型が映し出されている映像部分が、立体模型映像部分検出信号として検出され、リプレイス手段１１によって、検出された映像部分にレンダリング手段７で描画されたＣＧ画像（二次元ＣＧ画像）が置き換えられた合成映像信号として出力される。このため、番組に出演する出演者等の人物は、従来のミックスドリアリティ技術で装着されていたセンサおよび特殊メガネを装着する必要が無く、実際に造形された立体模型を見ながら動作することできる。また、立体模型がＣＧ画像に置き換えられるので、ＣＧ画像に対して人物が自然な振る舞いをしている合成映像信号（合成映像）を出力することができる。
【００４５】
つまり、この映像合成装置１によれば、実在する立体模型を見ながら、且つ、当該立体模型を指し示したりしながら、人物が動作することができ、リプレイス手段１１で、当該立体模型が、レンダリング手段７で描画されたＣＧ画像に置き換え得られるので、ＣＧ画像に対して当該人物が自然な振る舞いをした合成映像信号（合成映像）を得ることができる。
【００４６】
（映像合成装置の動作）
次に、図２に示すフローチャートを参照して、映像合成装置１の動作について説明する（適宜、図１参照）。この動作の説明では、撮影カメラ４で撮影を開始する前に、三次元ＣＧデータ蓄積手段３から三次元ＣＧデータを立体模型造形装置２に出力させておき、この立体模型造形装置２によって立体模型を造形しておくことを前提としている。
【００４７】
まず、映像合成装置１の立体模型映像部分検出手段９およびリプレイス手段１１に、立体模型と人物とが撮影カメラ４で撮影された実写映像信号を入力する（Ｓ１）。
【００４８】
また、映像合成装置１は、センサ６から出力された撮影カメラ４の位置、方向およびズーム量（ズーム率）を含む撮影情報を受信（取得）する（Ｓ２）。
【００４９】
すると、映像合成装置１は、レンダリング手段７によって、撮影情報と配置情報と三次元ＣＧデータとに基づいて、ＣＧ画像をレンダリング（描画）する（Ｓ３）。
【００５０】
また、映像合成装置１は、立体模型映像部分検出手段９によって、撮影カメラ４から入力された実写映像信号から立体模型が映し出されている映像部分を立体模型映像部分検出信号として、リプレイス手段１１に出力する（Ｓ４）。
【００５１】
すると、映像合成装置１は、リプレイス手段１１によって、立体模型が映し出されている映像部分に、レンダリング手段７で描画したＣＧ画像を置き換えて、合成映像信号（合成映像）として出力する（Ｓ５）。
【００５２】
（合成映像の例について）
次に、図３を参照して、映像合成装置１で合成して出力した合成映像の例について説明する。図３は、映像合成装置１で合成して出力した合成映像の例を示したものである。
この図３に示すように、人物は、高層ビル等の建築物のＣＧ画像を見ながら（実際には、立体模型を見ながら）、このＣＧ画像を指さす動作をしている。
【００５３】
これによれば、番組等に出演する出演者等の人物は、センサや特殊メガネを装着することなく、簡易に作成された立体模型を見ながら、当該立体模型の特定部分を指し示して動作することができるため、ＣＧ画像に対して自然な振る舞い（自然な動作、目線）をすることができる。
【００５４】
また、図４を参照して、映像合成装置１で合成して出力した合成映像の見え方の例について説明する（適宜、図１参照）。
図４（ａ−１）〜（ｃ−２）は、番組等に出演する出演者等の人物が立体模型の周囲に立った状態で、当該立体模型を指さしながら、見る方向（撮影カメラ４で撮影する方向）を変化させた場合を示している。
【００５５】
図４（ａ−１、ａ−２）において、図４（ａ−１）は、人物の向かって左方向に「ビル」の立体模型ｒが位置していることを示している。例えば、当該人物が立体模型ｒを見ている方向から撮影カメラ４で立体模型ｒを撮影した場合、撮影カメラ４で立体模型ｒが撮影された際の当該撮影カメラ４の位置、方向およびズーム量を含む撮影情報と、立体模型が配置された位置を示す配置情報と、立体模型ｒを造形する際に使用した三次元ＣＧデータとに基づいてＣＧ画像が生成される。そして、このＣＧ画像が実写映像信号に合成される。図４（ａ−２）は、その結果を、つまり、合成された合成映像（合成映像信号）が映し出されていることを示している。
【００５６】
また、図４（ｂ−１、ｂ−２）において、図４（ｂ−１）は、人物の正面に「ビル」の立体模型ｒが位置していることを示している。例えば、当該人物が立体模型ｒを見ている方向から撮影カメラ４で立体模型ｒを撮影した場合、当該人物の方向から撮影カメラ４で立体模型ｒが撮影された際の当該撮影カメラ４の位置、方向およびズーム量を含む撮影情報と、立体模型が配置された位置を示す配置情報と、立体模型ｒを造形する際に使用した三次元ＣＧデータとに基づいてＣＧ画像が生成される。そして、このＣＧ画像が実写映像信号に合成される。図４（ｂ−２）は、その結果を、つまり、合成された合成映像（合成映像信号）が映し出されていることを示している。
【００５７】
さらに、図４（ｃ−１、ｃ−２）において、図４（ｃ−１）は、人物の向かって右方向に「ビル」の立体模型ｒが位置していることを示している。例えば、当該人物が立体模型ｒを見ている方向から撮影カメラ４で立体模型ｒを撮影した場合、撮影カメラ４で立体模型ｒが撮影された際の当該撮影カメラ４の位置、方向およびズーム量を含む撮影情報と、立体模型が配置された位置を示す配置情報と、立体模型ｒを造形する際に使用した三次元ＣＧデータとに基づいてＣＧ画像が生成される。そして、このＣＧ画像が実写映像信号に合成される。図４（ｃ−２）は、その結果を、つまり、合成された合成映像（合成映像信号）が映し出されていることを示している。
【００５８】
また、図４（ｄ）は、立体模型ｒと人物との位置関係を示しており、（ａ）が図４（ａ−１）に示した人物の位置を示しており、（ｂ）が図４（ｂ−１）に示した人物の位置を示しており、（ｃ）が図４（ｃ−１）に示した人物の位置を示している。すなわち、時々刻々と、撮影カメラ４の位置、方向およびズーム量が変化したときに、生成されるＣＧ画像が追従して変化することを示している。
【００５９】
つまり、映像合成装置１では、センサ６から入力される撮影カメラ４の位置、方向およびズーム量を含む撮影情報にあわせて、レンダリング手段７によって、描画させるＣＧ画像を逐次変化させることになり、リプレイス手段１１で合成させる合成映像信号も逐次変化させることができる。
【００６０】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、映像合成装置１として説明したが、この映像合成装置１の各構成の処理を汎用的な（特殊なアセンブラ言語であってもよい）コンピュータ言語で記述した映像合成プログラムとみなすことは可能である。この場合、映像合成装置１と同様の効果を得ることができる。
【図面の簡単な説明】
【００６１】
【図１】本発明に係る映像合成装置のブロック図である。
【図２】図１に示した映像合成装置の動作を説明したフローチャートである。
【図３】図１に示した映像合成装置から出力した合成映像の例を説明した図である。
【図４】（ａ−１）は立体模型の右側に人物が位置する場合を示し、（ａ−２）はその場合の合成映像の例を示した図である。  （ｂ−１）は立体模型の正面に人物が位置する場合を示し、（ｂ−２）はその場合の合成映像の例を示した図である。  （ｃ−１）は立体模型の左側に人物が位置する場合を示し、（ｃ−２）はその場合の合成映像の例を示した図である。  （ｄ）は立体模型と人物の位置関係を示した図である。
【符号の説明】
【００６２】
１        映像合成装置
２        立体模型造形装置（立体模型造形手段）
３        三次元ＣＧデータ蓄積手段
４        撮影カメラ（撮影手段）
５        三次元ＣＧデータ出力制御手段（三次元ＣＧデータ出力手段）
６        センサ（撮影情報取得手段）
７        レンダリング手段
９        立体模型映像部分検出手段
１１      リプレイス手段
Ａ        映像合成システム
ｒ        立体模型
【図１】
2005250748.tif 000003
【図２】
2005250748.tif 000004
【図３】
2005250748.tif 000005
【図４】
2005250748.tif 000006