(57)【要約】【課題】テレビジョンカメラの実写映像における不要被写体をコンピュータグラフィックスにより精度よく隠蔽して合成映像を生成する映像合成装置及びプログラムを提供する。【解決手段】本発明の映像合成装置１は、テレビジョンカメラ（実カメラ）１０から得られる位置姿勢検出データの誤差を補正した補正位置姿勢データを生成する位置姿勢誤差補正部１７と、補正位置姿勢データを基にＣＧ映像を生成する仮想カメラ（ＣＧ映像生成部）１１と、補正位置姿勢データ及び実写される不要被写体に係る位置検出データを基に当該不要被写体が無いとしたときの背景を示す補完ＣＧをＣＧ映像から抽出する補完ＣＧ抽出部１４と、映像合成部１６により補完ＣＧを遅延調整した実写映像上にシームレスにはめ込み実写映像における不要被写体を隠蔽した合成映像を生成するために、当該補完ＣＧを画素単位で幾何学変換する補完ＣＧ抽出・幾何学変換部１８と、を備える。【選択図】図１
2020096267.tif 000002
【特許請求の範囲】
【請求項１】
テレビジョンカメラの実写映像における不要な被写体をコンピュータグラフィックス（ＣＧ）により隠蔽して合成映像を生成する映像合成装置であって、
前記テレビジョンカメラに設置されるモーションセンサから得られる位置姿勢検出データと、前記実写映像とを用いた補正モデルに基づく所定の誤差推定法により、前記位置姿勢検出データの誤差を推定し補正した補正位置姿勢データを生成する位置姿勢誤差補正手段と、
前記補正位置姿勢データを基に、前記テレビジョンカメラで撮影する実空間と仮想モデルによる仮想空間との空間条件を一致させたＣＧ映像を生成するＣＧ映像生成手段と、
前記補正位置姿勢データと、実写される不要被写体に係る位置検出データとを基に当該不要被写体の実写映像上の座標位置を判定し、該座標位置を基に実写映像上の不要被写体の領域に対応する当該不要被写体が無いとしたときの背景を示す補完ＣＧをＣＧ映像から抽出し、抽出した当該補完ＣＧが前記実写映像上の不要被写体の領域の周辺画像に対し連続性誤差が最小となるよう、所定の変換法により当該補完ＣＧを画素単位で幾何学変換する補完ＣＧ抽出・幾何学変換手段と、
前記補完ＣＧを用いて前記実写映像における不要被写体を隠蔽した合成映像を生成するために、前記実写映像を遅延調整する遅延手段と、
を備えることを特徴とする映像合成装置。
【請求項２】
前記遅延手段を介して入力される実写映像に対して前記実写映像上の不要被写体が映っている領域を切り抜き、前記補完ＣＧをはめ込むことで合成して、前記実写映像における不要被写体を隠蔽した合成映像を生成する映像合成手段を更に備えることを特徴とする、請求項１に記載の映像合成装置。
【請求項３】
前記位置姿勢誤差補正手段は、前記所定の誤差推定法として、機械学習、若しくはニューラルネットワークで構成された放送番組の制作上の予定されたカメラ軌跡に基づいた補正モデルを作成し、当該補正モデルを基に、前記位置姿勢検出データの誤差を推定し補正した補正位置姿勢データを生成することを特徴とする、請求項１又は２に記載の映像合成装置。
【請求項４】
前記補完ＣＧ抽出・幾何学変換手段は、前記所定の変換法として、相似変換、ユークリッド変換、スケーリング変換、並進移動変換、及び回転変換のうち１以上の幾何学変換を用いて、前記実写映像上の不要被写体の隠蔽領域の境界線上で、前記実写映像に対し最もシームレスに接続されるよう画素単位で連続性誤差を最小化する変換処理を行うことを特徴とする、請求項１から３のいずれか一項に記載の映像合成装置。
【請求項５】
コンピューターを、請求項１から４のいずれか一項に記載の映像合成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ番組の現場（制作スタジオや中継現場）において利用されるテレビジョンカメラの実写映像における不要な被写体をコンピュータグラフィックスにより隠蔽して合成映像を生成する映像合成装置及びプログラムに関する。
【背景技術】
【０００２】
従来、テレビ番組の現場（制作スタジオや中継現場）において利用されるテレビジョンカメラ（以下、「実カメラ」と称する。）は、カメラマンが操作することによりレンズの前に広がる実空間及び被写体をファインダで捉え、実写として撮影するものである。また、人物や動物などの動く被写体を撮影する場合、カメラマンは実カメラのファインダによる被写体の追尾に加え、時にはファインダから目を離し、直接、被写体を目で確認しながら被写体の動きを観察して予測し、実カメラを被写体に対して適切な画角に合わせることが行われる。
【０００３】
一方、エンターテインメントや教育などの番組制作の際に、実カメラの実写映像にコンピュータグラフィックス（以下、「ＣＧ」と称する。）による特殊効果を付与して合成映像を生成することもある。
【０００４】
例えば、実カメラで撮影する実空間と、仮想モデルによる仮想空間との空間条件を一致させ、実カメラによる実写映像とＣＧ映像内のＣＧキャラクターとを映像合成して合成映像を生成し、同一画面に表示して鑑賞を可能にするバーチャルスタジオと呼ばれているシステムがある。このようなＣＧ映像を生成し出力する仮想空間のカメラ（以下、「仮想カメラ」と称する。）は、実カメラの位置や姿勢（向き）を検出して示す位置姿勢検出データの変化に対応させ（用途によっては、アイリス値・焦点距離・フォーカス位置からなるレンズパラメータの変化にも対応させる。）、実空間と仮想空間との空間的な位置関係の整合性を取っている。つまり、仮想カメラの動作を、カメラマンが動かす実カメラの動作に同期させている。
【０００５】
例えば、バーチャルスタジオを利用して、テレビの生放送でＣＧキャラクターと人間の出演者が共演するテレビ番組を制作することができる。このようなテレビ番組では、出演者とＣＧキャラクターの自然な掛け合いを行うためには黒子となるスタッフ、若しくはインターフェース機器がＣＧキャラクターの存在する場所に存在していることが要請される。
【０００６】
しかしながら、スタッフ、若しくはインターフェース機器がＣＧキャラクターより大きい場合、そのＣＧキャラクターからはみ出した部分が合成映像内に映り込んでしまい映像効果を大きく損なうことになる。
【０００７】
そこで、このようなスタッフ、若しくはインターフェース機器等の当該合成映像内で不要な被写体（以下、「不要被写体」と称する。）を隠蔽するＣＧ技術が必要になる。不要被写体の隠蔽とは、現実空間においてそこに存在するにも関わらず視聴者に見えてほしくないものを隠すことである。これはスタッフ、若しくはインターフェース機器等の本来映像上に映るのが好ましくない存在が映像に映らざるを得ない場合に効果的であり、そのような黒子となるものを消し去ることで映像品質を向上させることができる。
【０００８】
このようなスタッフ、若しくはインターフェース機器等の当該合成映像上の不要被写体を隠蔽するためには、合成映像上で不要被写体の領域を当該不要被写体が存在しない場合に映る背景で埋める必要がある。これを実現するには２つの情報が必要となる。１つ目は埋めるべき背景の映像であり、２つ目は被写体を撮影している実カメラの位置姿勢検出データである。
【０００９】
図５は、従来技術における映像合成装置１００の概略構成を示すブロック図である。
【００１０】
図５に示すように、映像合成装置１００は、テレビ番組の現場において利用される実カメラ１０の実写映像における不要被写体をＣＧにより隠蔽して合成映像を生成する装置であり、仮想カメラ１１、ＣＧ補完領域判定部１２、補完ＣＧ抽出部１４、遅延部１５、及び映像合成部１６を備える。
【００１１】
仮想カメラ１１は、実カメラ１０に入力されるものと共通のフレーム同期信号によって放送番組の制作上の同期が確保されたＣＧ映像を出力するＣＧ映像生成部として構成され、実カメラ１０の位置姿勢検出データ（レンズパラメータを加えることもできる。）を基に、実カメラ１０で撮影する実空間と、仮想モデルによる仮想空間との空間条件を一致させたＣＧ映像を生成して出力する。
【００１２】
実カメラ１０の位置姿勢検出データは、実カメラ１０に設けられているモーションセンサ１０ａから出力され、仮想カメラ１１に入力される。また、レンズパラメータを実カメラ１０から仮想カメラ１１に入力するよう構成できるが、レンズパラメータは固定値とすることもできることから図５では図示を省略している。
【００１３】
より具体的には、仮想カメラ１１は、仮想モデル構成部１１１、仮想モデルデータベース（ＤＢ）１１２、及びＣＧレンダリング部１１３を備える。
【００１４】
まず、仮想モデルデータベース（ＤＢ）１１２には、実カメラ１０での撮影が予定された３次元の実空間と対応する３次元の仮想空間のモデル（以下、「仮想モデル」と称する。）のデータが不要被写体の無い状態で格納されている。
【００１５】
仮想モデル構成部１１１は、ＣＧレンダリング部１１３と連動して動作する機能部であり、仮想モデルＤＢ１１２から仮想モデルのデータを読み出し、ＣＧレンダリング部１１３からの指示に応じた仮想空間となる仮想モデルを構成し、ＣＧレンダリング部１１３に出力する。
【００１６】
ＣＧレンダリング部１１３は、仮想モデル構成部１１１に対して、実カメラ１０の位置姿勢検出データ（レンズパラメータを加えることもできる。）を基に対応する仮想空間となる３次元の仮想モデルを構成するよう指示し、当該構成した仮想モデルからレンダリングすることにより、実カメラ１０で撮影する実空間と、仮想モデルによる仮想空間との空間条件をほぼ一致させた２次元のＣＧ映像を生成し、補完ＣＧ抽出部１４に出力する。
【００１７】
ＣＧ補完領域判定部１２は、実カメラ１０に設けられているモーションセンサ１０ａから得られる位置姿勢検出データと、実写される不要被写体に設けられている位置センサ１３から得られる位置検出データとを基に、当該不要被写体の実写映像上の座標位置を判定し、その座標位置を中心に予め定めたボリュームゾーン（本例では予め想定される不要被写体より大きめの領域）を示す補完領域データを補完ＣＧ抽出部１４に出力する。
【００１８】
一方、実カメラ１０から、モーションセンサ１０ａによる位置姿勢検出データに対応して、実空間を撮影した実写映像が補完ＣＧ抽出部１４及び遅延部１５に入力される。
【００１９】
そこで、補完ＣＧ抽出部１４は、ＣＧ補完領域判定部１２から得られる補完領域データを基に、実写映像上の不要被写体の領域に対応する背景（不要被写体が無いとしたときの背景）を示す補完ＣＧをＣＧ映像から抽出して映像合成部１６に出力する。
【００２０】
遅延部１５は、実カメラ１０から入力される実写映像を、仮想カメラ１１、ＣＧ補完領域判定部１２、及び補完ＣＧ抽出部１４の処理に要する時間分、遅延させて映像合成部１６に出力する。
【００２１】
映像合成部１６は、遅延部１５を介して入力される実写映像に対して実写映像上の不要被写体が映っている領域を切り抜き、補完ＣＧ抽出部１４から入力される不要被写体の領域に対応する背景（不要被写体が無いとしたときの背景）を示す補完ＣＧをはめ込むことで合成して、実写映像における不要被写体を隠蔽した合成映像を生成し外部出力する。
【００２２】
尚、映像合成部１６は、実写映像に存在しないＣＧキャラクターをＣＧ映像上に設けるときも、実写映像に対して当該ＣＧキャラクターをはめ込む領域を切り抜き、当該ＣＧキャラクターをはめ込むことで合成する。
【００２３】
図６（ａ）乃至（ｆ）は、従来技術における映像合成装置１００において、典型的な実写映像における不要被写体ＵｎＳｕｂを、対応するＣＧ映像から抽出した背景ＢＧの補完ＣＧで隠蔽する際の処理動作を示す図である。
【００２４】
まず、図６（ａ）に示すように、実カメラ１０は、撮影が予定された３次元の実空間を実写して２次元の実写映像を出力する。このとき、図６（ｂ）に示すように、この実写映像のフレームＦｒ内には、背景ＢＧ上で人物等の必要被写体Ｓｕｂとは別に、上述したスタッフ、若しくはインターフェース機器等の不要被写体ＵｎＳｕｂが写り込んでいる。
【００２５】
一方、図６（ｃ），（ｄ）に示すように、まずは、実カメラ１０により撮影が予定され、背景ＢＧ上で必要被写体Ｓｕｂ及び不要被写体ＵｎＳｕｂの無い状態を想定した３次元の実空間に対応する仮想空間が３次元の仮想モデルとして仮想モデルＤＢ１１２に格納されている。そして、この仮想空間について実カメラ１０の位置姿勢検出データを基に対応する位置関係となる３次元の仮想モデルを構成してから２次元のＣＧ映像をレンダリングして得ることで、仮想カメラ１１で撮影したと想定したＣＧ映像を生成して出力する。
【００２６】
ここで、実写映像のフレームＦｒとＣＧ映像のフレームＦｖは同期しており、図６（ｅ）に示すように、このＣＧ映像のフレームＦｖ内には、背景ＢＧ上で必要被写体Ｓｕｂ及び不要被写体ＵｎＳｕｂは写り込んでいない。
【００２７】
そして、上述した補完ＣＧ抽出部１４により、実カメラ１０による実写映像のフレームＦｒと仮想カメラ１１によるＣＧ映像のフレームＦｖとの比較で、不要被写体ＵｎＳｕｂの領域に対応する背景ＢＧを示す補完ＣＧをＣＧ映像から抽出する。尚、上述したＣＧ補完領域判定部１２により、必要被写体Ｓｕｂと不要被写体ＵｎＳｕｂとを識別できる。
【００２８】
最終的に、上述した映像合成部１６により、遅延部１５を介して入力される実写映像のフレームＦｒに対してそのフレームＦｒ上の不要被写体ＵｎＳｕｂが映っている領域を切り抜き、不要被写体ＵｎＳｕｂの領域に対応する背景ＢＧを示す補完ＣＧをはめ込むことで合成する。
【００２９】
これにより、図６（ｆ）に示すように、実写映像のフレームＦｒにおける不要被写体ＵｎＳｕｂのみを隠蔽した合成映像のフレームＣＦｒを生成することができる。
【００３０】
このように、従来技術における映像合成装置１００では、実カメラ１０の位置姿勢をモーションセンサ１０ａで検出させて、その検出された位置姿勢検出データを基に３次元の仮想モデルを構成してから２次元のＣＧ映像をレンダリングして得ることで、不要被写体の領域に対応する補完ＣＧとして、実写映像における不要被写体を隠蔽するのに必要な背景映像を、実写映像と合致した画角のＣＧ映像から得ることができる。
【００３１】
そして、映像合成部１６は、実写映像上の不要被写体が映っている領域を切り抜き、補完ＣＧ抽出部１４から入力される不要被写体の領域に対応する補完ＣＧをはめ込むことで合成して、実写映像における不要被写体を隠蔽した合成映像を生成することができる。
【００３２】
尚、実カメラ１０の位置姿勢を検出するモーションセンサ１０ａの例として、実カメラ１０の筐体に複数のマーカーを貼り付けておき、これらマーカーを観測して計測するモーションキャプチャ方式、実カメラ１０自体にジャイロセンサや加速度センサを設けておき、これらセンサの出力値で計測する方式（例えば、非特許文献１参照）等がある。また、実写される不要被写体に設けられる位置センサ１３についても、これらの方式を利用できる。
【００３３】
ところで、一対の画像内における特定のオブジェクトの位置姿勢合わせを行う処理として、Visual SLAMと称される多数の特徴点に基づいた位置姿勢合わせを行う画像処理技術が知られている（例えば、非特許文献２参照）。
【００３４】
また、上述した図５に示す従来技術における映像合成装置１００とは異なり、実カメラの位置姿勢検出データを用いるのではなく、仮想カメラの動きデータを基に実カメラを駆動する装置も知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００３５】
【特許文献１】特許第４２３１２１６号明細書
【非特許文献】
【００３６】
【非特許文献１】加藤 大一郎, 武藤 一利, 三ッ峰 秀樹, “ハイブリッドセンサーを用いたハンディカメラによるバーチャルスタジオの開発と実用化”，映像情報メディア学会誌, vol.72, no.1, 2018, p.J13-J22.
【非特許文献２】Raul Mur-Artal, J. M. M. Montiel, and Juan D. Tardos, “ORB-SLAM: A Versatile and Accurate Monocular SLAM System”，IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147-1163, 2015.
【発明の概要】
【発明が解決しようとする課題】
【００３７】
上述した図５及び図６で例示したように、テレビ番組の現場（制作スタジオや中継現場）において利用される実カメラ１０の実写映像における不要被写体ＵｎＳｕｂを、仮想カメラ１１によるＣＧ映像を基に得られる補完ＣＧを用いて隠蔽して合成映像を生成する技術が知られている。
【００３８】
この場合、実カメラ１０で撮影する実空間と、仮想カメラ１１によるＣＧ映像の仮想空間の空間条件とを一致させるには、実カメラ１０の位置姿勢を検出して示す位置姿勢検出データの精度が重要になる。
【００３９】
しかしながら、実カメラ１０の位置姿勢検出データが誤差を含んでいる場合、仮想カメラ１１から得られるＣＧ映像と実写映像とが合致せず、特に不要被写体ＵｎＳｕｂの隠蔽領域の境界線上（補完ＣＧの周縁）で違和感を生じさせるほど目立つ差異が生じることがある。
【００４０】
図７（ａ）乃至（ｃ）は、従来技術における映像合成装置１００において、実カメラ１０の位置姿勢検出データが誤差を含んでいる場合に、典型的な実写映像における不要被写体ＵｎＳｕｂを、対応するＣＧ映像から抽出した背景ＢＧの補完ＣＧで隠蔽する際の処理動作を示す図である。
【００４１】
まず、図７（ａ）に示すように、実カメラ１０による実写映像のフレームＦｒ内には、背景ＢＧ上で不要被写体ＵｎＳｕｂが写り込んでいる。
【００４２】
一方、図７（ｂ）に示すように、実カメラ１０の位置姿勢検出データが誤差を含んでいるときに、その実カメラ１０の位置姿勢検出データを基に対応する位置関係となる３次元の仮想モデルを構成すると仮想空間にズレが生じ、この位置姿勢にズレが生じた仮想モデルから２次元のＣＧ映像をレンダリングして背景ＢＧの補完ＣＧを抽出することになる。
【００４３】
この結果、図７（ｃ）に示すように、上述した映像合成部１６により、実写映像のフレームＦｒ上の不要被写体ＵｎＳｕｂが映っている領域を切り抜いて補完ＣＧをはめ込むことで合成すると、その補完部分にズレが生じた合成映像のフレームＣＦｒが生成されてしまう。
【００４４】
上述したように実カメラ１０の位置姿勢を検出するモーションセンサ１０ａの例として種々の方式のものがあるが、いずれの方式であっても実カメラ１０の位置姿勢検出データに誤差が含まれていることがあり、このような誤差が含まれていると、不要被写体ＵｎＳｕｂの隠蔽領域を画素単位でシームレスに合成した合成映像を得ることが困難になる。
【００４５】
そこで、上述したVisual SLAM等の位置姿勢合わせ処理手法を用いて、不要被写体ＵｎＳｕｂの特徴点を手がかりに画素単位に近い精度で位置姿勢合わせ処理を加えることも考えられる。しかしながら、このような位置姿勢合わせ処理は、特徴点を用いて計算しているので、放送で使用される画像サイズやフレームレートを考慮した場合に計算コストがかかってしまう問題、及び、特徴点近傍ではぴったり合致させることはできるとしても隠蔽領域の境界線上では画素単位の誤差が生じてしまう問題が生じる。特に、Visual SLAMによる位置姿勢合わせ処理では、特徴点が隠蔽領域の境界線上から遠く離れたものとなることもあり、この場合はその隠蔽領域の境界線上の誤差が顕著になる。
【００４６】
また、特許文献１のように、実カメラの位置姿勢検出データを用いるのではなく、仮想カメラの動きデータを基に実カメラを駆動するやり方も考えられるが、カメラマンが動かす実カメラ１０の動作に同期させてＣＧによる特殊効果を付与したい放送番組には向いていない。
【００４７】
本発明の目的は、上述の問題に鑑みて、テレビジョンカメラの実写映像における不要な被写体をコンピュータグラフィックスにより精度よく隠蔽して合成映像を生成する映像合成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００４８】
本発明の映像合成装置は、テレビジョンカメラの実写映像における不要な被写体をコンピュータグラフィックス（ＣＧ）により隠蔽して合成映像を生成する映像合成装置であって、前記テレビジョンカメラに設置されるモーションセンサから得られる位置姿勢検出データと、前記実写映像とを用いた補正モデルに基づく所定の誤差推定法により、前記位置姿勢検出データの誤差を推定し補正した補正位置姿勢データを生成する位置姿勢誤差補正手段と、前記補正位置姿勢データを基に、前記テレビジョンカメラで撮影する実空間と仮想モデルによる仮想空間との空間条件を一致させたＣＧ映像を生成するＣＧ映像生成手段と、前記補正位置姿勢データと、実写される不要被写体に係る位置検出データとを基に当該不要被写体の実写映像上の座標位置を判定し、該座標位置を基に実写映像上の不要被写体の領域に対応する当該不要被写体が無いとしたときの背景を示す補完ＣＧをＣＧ映像から抽出し、抽出した当該補完ＣＧが前記実写映像上の不要被写体の領域の周辺画像に対し連続性誤差が最小となるよう、所定の変換法により当該補完ＣＧを画素単位で幾何学変換する補完ＣＧ抽出・幾何学変換手段と、前記補完ＣＧを用いて前記実写映像における不要被写体を隠蔽した合成映像を生成するために、前記実写映像を遅延調整する遅延手段と、を備えることを特徴とする。
【００４９】
また、本発明の映像合成装置において、前記遅延手段を介して入力される実写映像に対して前記実写映像上の不要被写体が映っている領域を切り抜き、前記補完ＣＧをはめ込むことで合成して、前記実写映像における不要被写体を隠蔽した合成映像を生成する映像合成手段を更に備えることを特徴とする。
【００５０】
また、本発明の映像合成装置において、前記位置姿勢誤差補正手段は、前記所定の誤差推定法として、機械学習、若しくはニューラルネットワークで構成された放送番組の制作上の予定されたカメラ軌跡に基づいた補正モデルを作成し、当該補正モデルを基に、前記位置姿勢検出データの誤差を推定し補正した補正位置姿勢データを生成することを特徴とする。
【００５１】
また、本発明の映像合成装置において、前記補完ＣＧ抽出・幾何学変換手段は、前記所定の変換法として、相似変換、ユークリッド変換、スケーリング変換、並進移動変換、及び回転変換のうち１以上の幾何学変換を用いて、前記実写映像上の不要被写体の隠蔽領域の境界線上で、前記実写映像に対し最もシームレスに接続されるよう画素単位で連続性誤差を最小化する変換処理を行うことを特徴とする。
【００５２】
更に、本発明のプログラムは、コンピューターを、本発明の映像合成装置として機能させるためのプログラムとして構成する。
【発明の効果】
【００５３】
本発明によれば、テレビジョンカメラの実写映像における不要な被写体をコンピュータグラフィックス（ＣＧ）により精度よく隠蔽して合成映像を生成することができる。
【００５４】
特に、本発明によれば、計算コストを省略してテレビジョンカメラの位置姿勢に基づいた仮想カメラの対象とする仮想空間の誤差を画素単位で補正することが可能になり、リアルタイムの放送番組における実写映像に対してもＣＧ効果を精度良く適用できるようになる。
【図面の簡単な説明】
【００５５】
【図１】本発明による一実施形態の映像合成装置の概略構成を示すブロック図である。
【図２】本発明による一実施形態の映像合成装置の動作を示すフローチャートである。
【図３】本発明による一実施形態の映像合成装置の動作に係るオイラー角で支援した位置姿勢検出データの説明図である。
【図４】（ａ）乃至（ｃ）は、本発明による一実施形態の映像合成装置において、実カメラの位置姿勢検出データが誤差を含んでいる場合でも補正して、実写映像における不要被写体を、対応するＣＧ映像から抽出した背景の補完ＣＧで隠蔽する際の処理動作を示す図である。
【図５】従来技術における映像合成装置の概略構成を示すブロック図である。
【図６】（ａ）乃至（ｆ）は、従来技術における映像合成装置において、典型的な実写映像における不要被写体を、対応するＣＧ映像から抽出した背景の補完ＣＧで隠蔽する際の処理動作を示す図である。
【図７】（ａ）乃至（ｃ）は、従来技術における映像合成装置において、実カメラの位置姿勢検出データが誤差を含んでいる場合に、典型的な実写映像における不要被写体を、対応するＣＧ映像から抽出した背景の補完ＣＧで隠蔽する際の処理動作を示す図である。
【発明を実施するための形態】
【００５６】
以下、図面を参照しながら、本発明による一実施形態の映像合成装置１を詳細に説明する。
【００５７】
（装置構成）
図１は、本発明による一実施形態の映像合成装置１の概略構成を示すブロック図である。図１に示すように、映像合成装置１は、テレビ番組の現場において利用される実カメラ１０の実写映像における不要被写体をＣＧにより隠蔽して合成映像を生成する装置であり、仮想カメラ１１、ＣＧ補完領域判定部１２、遅延部１５、映像合成部１６、位置姿勢誤差補正部１７、及び補完ＣＧ抽出・幾何学変換部１８を備える。尚、図１において、図５と同様な構成要素には同一の参照番号を付している。
【００５８】
図１に示す本実施形態に係る映像合成装置１は、図５に示す従来技術の映像合成装置１００と比較して、仮想カメラ１１、ＣＧ補完領域判定部１２、遅延部１５、及び映像合成部１６を備える点で同様であるが、補完ＣＧ抽出部１４に代えて補完ＣＧ抽出・幾何学変換部１８を備え、且つ位置姿勢誤差補正部１７を更に備える点で相違する。また、ＣＧ補完領域判定部１２が、後述するように位置姿勢誤差補正部１７から得られるプレ補正後の補正位置姿勢データと、実写される不要被写体に設けられている位置センサ１３から得られる位置検出データとを基に、当該不要被写体の実写映像上の座標位置を判定するように構成している点で相違している。
【００５９】
つまり、本実施形態に係る映像合成装置１では、図５に示す従来技術の映像合成装置１００と比較して、以下に説明するように、実カメラ１０の位置姿勢検出データの誤差を補正するプレ補正と、仮想カメラ１１から得られるＣＧ映像上の補完ＣＧについて幾何学変換して補正するポスト補正とが設けられている点で相違している。
【００６０】
仮想カメラ１１は、実カメラ１０に入力されるものと共通のフレーム同期信号によって放送番組の制作上の同期が確保されたＣＧ映像を出力するＣＧ映像生成部として構成され、仮想モデル構成部１１１、仮想モデルデータベース（ＤＢ）１１２、及びＣＧレンダリング部１１３を備える。
【００６１】
まず、仮想モデルＤＢ１１２には、実カメラ１０での撮影が予定された３次元の実空間と対応する３次元の仮想モデルのデータが不要被写体の無い状態で格納されている。
【００６２】
そして、仮想モデル構成部１１１は、実カメラ１０に入力されるものと共通のフレーム同期信号によって同期が確保されると、位置姿勢誤差補正部１７を介して実カメラ１０に設置されるモーションセンサ１０ａから位置姿勢検出データを取得し、その位置姿勢検出データ（レンズパラメータを加えることもできる。）を基に仮想モデルＤＢ１１２から仮想モデルのデータを読み出して仮想空間を示す仮想モデルを構成する。
【００６３】
位置姿勢誤差補正部１７は、モーションセンサ１０ａから取得した位置姿勢検出データと、実写映像とを用いた補正モデルに基づく所定の誤差推定法（詳細な例は後述する。）により、位置姿勢検出データの誤差を推定し補正した補正位置姿勢データを生成する。そして、位置姿勢誤差補正部１７は、その補正位置姿勢データをＣＧレンダリング部１１３に出力し、ＣＧレンダリング部１１３に対して位置姿勢検出データの誤差を補正したＣＧ映像を生成させる。このようにして、実カメラ１０の位置姿勢の誤差に関するプレ補正が実行される。
【００６４】
そして、仮想カメラ１１は、当該プレ補正後の補正位置姿勢データを基に、実カメラ１０で撮影する実空間と、仮想モデルによる仮想空間との空間条件を一致させたＣＧ映像を生成して出力する。尚、レンズパラメータを実カメラ１０から仮想カメラ１１に入力するよう構成できるが、レンズパラメータは固定値とすることもできることから図１では図示を省略している。
【００６５】
より具体的には、仮想モデル構成部１１１は、ＣＧレンダリング部１１３と連動して動作する機能部であり、ＣＧレンダリング部１１３からの指示に応じた仮想空間となる仮想モデルを構成し、ＣＧレンダリング部１１３に出力する。
【００６６】
ＣＧレンダリング部１１３は、仮想モデル構成部１１１に対して、当該プレ補正後の補正位置姿勢データ（レンズパラメータを加えることもできる。）を基に対応する仮想空間内の仮想カメラの位置姿勢（レンズパラメータを加えることもできる）を再構成するよう指示し、当該再構成した位置姿勢の仮想カメラ１１として当該仮想モデルからレンダリングすることにより、実カメラ１０で撮影する実空間と、仮想モデルによる仮想空間との空間条件を高精度に一致させた２次元のＣＧ映像を生成し、補完ＣＧ抽出・幾何学変換部１８に出力する。
【００６７】
ＣＧ補完領域判定部１２は、位置姿勢誤差補正部１７から得られる当該プレ補正後の補正位置姿勢データと、実写される不要被写体に設けられている位置センサ１３から得られる位置検出データとを基に、当該不要被写体の実写映像上の座標位置を判定し、その座標位置を中心に予め定めたボリュームゾーン（本例では予め想定される不要被写体より大きめの領域）を示す補完領域データを補完ＣＧ抽出・幾何学変換部１８に出力する。
【００６８】
一方、実カメラ１０から、モーションセンサ１０ａによる位置姿勢検出データに対応して、実空間を撮影した実写映像が補完ＣＧ抽出・幾何学変換部１８及び遅延部１５に入力される。
【００６９】
そこで、補完ＣＧ抽出・幾何学変換部１８は、ＣＧ補完領域判定部１２から得られる補完領域データを基に、実写映像上の不要被写体の領域に対応する背景（不要被写体が無いとしたときの背景）を示す補完ＣＧをＣＧ映像から抽出する。
【００７０】
そして、補完ＣＧ抽出・幾何学変換部１８は、抽出した当該補完ＣＧが実写映像上の不要被写体の領域の周辺画像に対し連続性誤差が最小となるよう、後述する所定の変換法により当該補完ＣＧを画素単位で幾何学変換し、当該連続性誤差を最小化した幾何学変換後の補完ＣＧを生成して映像合成部１６に出力する。このようにして、実カメラ１０の位置姿勢の誤差に起因する、補完ＣＧの誤差に関するポスト補正が実行される。
【００７１】
遅延部１５は、実カメラ１０から入力される実写映像を、仮想カメラ１１、ＣＧ補完領域判定部１２、位置姿勢誤差補正部１７及び補完ＣＧ抽出・幾何学変換部１８の処理に要する時間分、遅延させて映像合成部１６に出力する。
【００７２】
映像合成部１６は、遅延部１５を介して入力される実写映像に対して実写映像上の不要被写体が映っている領域を切り抜き、補完ＣＧ抽出・幾何学変換部１８から入力される不要被写体の領域に対応する背景（不要被写体が無いとしたときの背景）を示す補完ＣＧをはめ込むことで合成して、実写映像における不要被写体を隠蔽した合成映像を生成し外部出力する。
【００７３】
尚、映像合成部１６は、実写映像に存在しないＣＧキャラクターをＣＧ映像上に設けるときも、実写映像に対して当該ＣＧキャラクターをはめ込む領域を切り抜き、当該ＣＧキャラクターをはめ込むことで合成する。
【００７４】
本実施形態の映像合成装置１の全ての構成要素は、コンピュータ（ワークステーション等）で構成することができるが、映像合成部１６については別の専用映像機器を使用してもよい。
【００７５】
（装置動作）
より具体的に、図２を参照して本実施形態の映像合成装置１の動作を説明する。図２は、本発明による一実施形態の映像合成装置１の動作を示すフローチャートである。
【００７６】
まず、映像合成装置１は、仮想モデル構成部１１１により、実カメラ１０に入力されるものと共通のフレーム同期信号によって同期が確保されると、位置姿勢誤差補正部１７を介して実カメラ１０に設置されるモーションセンサ１０ａから位置姿勢検出データを取得する（ステップＳ１）。
【００７７】
続いて、映像合成装置１は、プレ補正として、位置姿勢誤差補正部１７により、位置姿勢検出データと実写映像とを用いた補正モデルに基づく所定の誤差推定法により、位置姿勢検出データの誤差を推定し補正した補正位置姿勢データを生成する（ステップＳ２）。
【００７８】
続いて、映像合成装置１は、ＣＧレンダリング部１１３により、仮想モデル構成部１１１に対して、当該プレ補正後の補正位置姿勢データ（レンズパラメータを加えることもできる。）を基に対応する仮想カメラ１１の位置姿勢（レンズパラメータを加えることもできる）を再構成するよう指示し、当該再構成した位置姿勢の仮想カメラ１１として当該仮想モデルからレンダリングすることにより、仮想カメラ１１の出力として２次元のＣＧ映像を生成する（ステップＳ３）。
【００７９】
続いて、映像合成装置１は、補完ＣＧ抽出・幾何学変換部１８により、ＣＧ補完領域判定部１２から得られる補完領域データを基に、実写映像上の不要被写体の領域に対応する背景（不要被写体が無いとしたときの背景）を示す補完ＣＧをＣＧ映像から抽出する（ステップＳ４）。
【００８０】
このとき、映像合成装置１は、この補完ＣＧの抽出に伴って、ポスト補正として、補完ＣＧ抽出・幾何学変換部１８により、抽出した当該補完ＣＧが実写映像上の不要被写体の領域の周辺画像に対し連続性誤差が最小となるよう所定の変換法により当該補完ＣＧを画素単位で幾何学変換し、当該連続性誤差を最小化した幾何学変換後の補完ＣＧを生成する（ステップＳ５）。
【００８１】
続いて、映像合成装置１は、遅延部１５により実カメラ１０から入力される実写映像を、仮想カメラ１１、ＣＧ補完領域判定部１２、位置姿勢誤差補正部１７及び補完ＣＧ抽出・幾何学変換部１８の処理に要する時間分、遅延調整し、映像合成部１６により、遅延部１５を介して入力される実写映像に対して実写映像上の不要被写体が映っている領域を切り抜き、ポスト補正後の補完ＣＧをはめ込むことで実写映像における不要被写体を隠蔽した合成映像を生成する（ステップＳ６）。
【００８２】
このように、本実施形態の映像合成装置１は、主たる全体動作としては、図６に示す処理動作と同様となり、実カメラ１０の位置姿勢をモーションセンサ１０ａで検出させて、その検出された位置姿勢検出データを基に３次元の仮想カメラの位置姿勢を再構成してから２次元のＣＧ映像をレンダリングして得る。これにより、不要被写体の領域に対応する補完ＣＧとして、実写映像における不要被写体を隠蔽するのに必要な背景映像を、実写映像と合致した画角のＣＧ映像から得ることができ、実写映像における不要被写体を隠蔽した合成映像を生成することができる。
【００８３】
ただし、本実施形態の映像合成装置１では、上記のプレ補正及びポスト補正を行っているため、実カメラ１０の位置姿勢検出データに誤差がある場合でも、実写映像上の不要被写体を低処理負担で精度良く隠蔽した合成映像を生成することができる。このため、リアルタイム及び高品質が求められるエンターテインメントや教育などの番組制作の際に有効となる。
【００８４】
以下、より具体的に、プレ補正に係る位置姿勢誤差補正部１７における位置姿勢検出データの誤差推定法と、ポスト補正に係る補完ＣＧ抽出・幾何学変換部１８における補完ＣＧに関する変換法について、順に説明する。
【００８５】
（プレ補正：位置姿勢データの誤差推定法）
上述したように、プレ補正として、位置姿勢誤差補正部１７は、モーションセンサ１０ａから取得した位置姿勢検出データと、実写映像とを用いた補正モデルに基づく所定の誤差推定法により、位置姿勢検出データの誤差を推定し補正した補正位置姿勢データを生成し、補正位置姿勢データを基に、ＣＧレンダリング部１１３に対して位置姿勢検出データの誤差を補正したＣＧ映像を生成させる。
【００８６】
ここで、モーションセンサ１０ａから取得される位置姿勢検出データには、再現性がある誤差が含まれることがある。例えば、この再現性がある誤差は、モーションセンサ１０ａの例としてモーションキャプチャ方式を用いたときに、実カメラ１０の筐体に貼り付けたマーカーや、これらマーカーを観測して計測する計測器として構成されるモーションセンサ１０ａが、実カメラ１０に対して特定の位置姿勢で配置され、その計測精度が落ちることが原因で生じうる。
【００８７】
このような再現性のある誤差は、実カメラ１０で撮影する実空間上の位置姿勢に固有である。このため、実カメラ１０で撮影した実写映像から、実カメラ１０の実際の位置姿勢を推定した補正モデルを生成することができ、実カメラ１０が特定の位置姿勢をとっている場合に、当該再現性のある誤差を持つ位置姿勢検出データに対して補正値を加えることで真値に近い補正位置姿勢データに変換することが可能になる。
【００８８】
ただし、実カメラ１０の放送番組の制作上の移動範囲内の実空間において、実カメラ１０の取りうる全ての位置と全ての姿勢を対象にして補正モデルを作成することは計算量が非常に多くなるため実現性に乏しい。しかしながら、放送番組の制作に係る性質上、カメラマンは事前のリハーサルを行い特定のカメラ軌跡に従って実カメラ１０を動かしていく。このため、リハーサルと本番でカメラ軌跡が完全に同一ではなくとも、撮影対象が大きく変更されない限りは近似的なカメラ軌道上を動くようになる。
【００８９】
そのため、実際には実カメラ１０の取りうる全ての位置と全ての姿勢を対象にせずとも、放送番組の制作上の予定されたカメラ軌跡に基づいた補正モデルを作成すれば十分である。
【００９０】
そこで、位置姿勢誤差補正部１７は、補正位置姿勢データの生成に係る補正モデルの作成について、まず実カメラ１０による実写映像と同期した位置姿勢検出データ（ｐｍ，Ｒｍ）をモーションセンサ１０ａから得る。ここで、ｐは３次元空間の位置データ（３変数）であり、Ｒはクォータニオン（４変数）、若しくはオイラー角（３変数）で表された姿勢データであり、添え字のｍは、実カメラ１０に設置されるモーションセンサ１０ａから取得した検出値である旨を示している。
【００９１】
また、位置姿勢誤差補正部１７は、上述した所定の変換法として、サポートベクターマシン（ＳＶＭ）回帰による機械学習、若しくはニューラルネットワークで構成された、実写映像から推定される実カメラ１０の位置姿勢基準データ（ｐｒ，Ｒｒ）を推定計算上で真値とする放送番組の制作上の予定されたカメラ軌跡に基づいた補正モデルを生成する。ここで、添え字のｒは、実カメラ１０の真値である旨を示している。この位置姿勢検出データ（ｐｍ，Ｒｍ）及び位置姿勢基準データ（ｐｒ，Ｒｒ）は予め取得していたデータであり、補正モデルの生成もオフラインで処理される。
【００９２】
そして、位置姿勢誤差補正部１７は、この補正モデルを基に、位置姿勢検出データ（ｐｍ，Ｒｍ）の誤差を推定し補正した補正位置姿勢データを生成する。
【００９３】
位置姿勢検出データ（ｐｍ，Ｒｍ）と位置姿勢基準データ（ｐｒ，Ｒｒ）との誤差（Δｐ，ΔＲ）は、（Δｐ，ΔＲ）＝（ｐｒ−ｐｍ，  ＲｒＲｍ−１）と定義する。
【００９４】
これらデータに係る各変数に対して、サポートベクターマシン（ＳＶＭ）回帰による機械学習、若しくはニューラルネットワークを用いてデータの非線形モデル化を行うことで補正モデルを構成する。目的変数を誤差（Δｐ，ΔＲ）とし、説明変数を位置姿勢検出データ（ｐｍ，Ｒｍ）とすることで、位置姿勢検出データに固有の再現性のある誤差について補正モデルを作成できる。
【００９５】
例えば、ＳＶＭ回帰を用いて、互いに直行するｘｙｚ軸の３次元座標に対しオイラー角（θ  φ  ψ）で補正モデルを設定することができる。オイラー角（θ  φ  ψ）は、図３に示すような互いに直行するｘｙｚ軸の３次元座標において、ｚ軸に対して角度φを為すｚ’軸となるよう回転軸Ｎで回転させる３次元座標とした互いに直行するｘ’ｙ’ｚ’軸とすると（φ≠０°，１８０°のときのｘｙ平面とｘ’ｙ’平面は回転軸Ｎを交線として一つの直線で交わる）、ｘ軸と回転軸Ｎの為す角度をθとし、ｘ’軸と回転軸Ｎの為す角度をψとして表される。
【００９６】
オイラー角（θ  φ  ψ）を用いて回転を表した場合のＳＶＭ回帰の補正モデルの６変数（ｘ  ｙ  ｚ  θ  φ  ψ）の立式は、以下のように表される。
ｐｍ＝（ｘ  ｙ  ｚ），
Ｒｍ＝（θ  φ  ψ），
Δｐ＝（Δｘ  Δｙ  Δｚ），
ΔＲ＝（Δθ  Δφ  Δψ），
Δｘ＝ｆΔｘ（ｘ  ｙ  ｚ  θ  φ  ψ），
Δｙ＝ｆΔｙ（ｘ  ｙ  ｚ  θ  φ  ψ），
Δｚ＝ｆΔｚ（ｘ  ｙ  ｚ  θ  φ  ψ），
Δθ＝ｆΔθ（ｘ  ｙ  ｚ  θ  φ  ψ），
Δφ＝ｆΔφ（ｘ  ｙ  ｚ  θ  φ  ψ），
Δψ＝ｆΔψ（ｘ  ｙ  ｚ  θ  φ  ψ）
【００９７】
上記の６変数（ｘ  ｙ  ｚ  θ  φ  ψ）の立式で機械学習により非線形なＳＶＭ回帰の補正モデルを作成することにより、未知のｐｍ，Ｒｍが入力されたときに誤差（Δｐ，ΔＲ）を推定することができる。推定されたズレ量をキャンセルするようオフセットさせる補正値を加えることで、真値である位置姿勢基準データ（ｐｒ，Ｒｒ）に近い補正位置姿勢データを計算することができる。
【００９８】
一方、ニューラルネットワークの場合は複数の出力に対応しているので特別なことをする必要はなく、放送番組の制作上の実写映像から事前学習してニューラルネットワークに係るパラメータを予め決定しておくことで、実写映像のフレームが得られる度に真値である位置姿勢基準データ（ｐｒ，Ｒｒ）に近い補正位置姿勢データを計算することができる。
【００９９】
尚、上述した例では、位置姿勢誤差補正部１７は、実カメラ１０に設置されるモーションセンサ１０ａから取得した位置姿勢検出データ（ｐｍ，Ｒｍ）と、実写映像から推定した位置姿勢基準データ（ｐｒ，Ｒｒ）を真値として目標設定し、補正位置姿勢データを計算するための補正モデルを生成する例である。これは、実写映像から推定した位置姿勢基準データ（ｐｒ，Ｒｒ）自体を生成するのに計算コストがかかるためであり、オンラインでは実写映像から位置姿勢基準データ（ｐｒ，Ｒｒ）をリアルタイムに計算することが困難であるためである。一方、位置姿勢検出データ（ｐｍ，Ｒｍ）及び誤差（Δｐ，ΔＲ）については補正モデルを構成することで計算コストがかからず取得できるようになり、実写映像から推定した位置姿勢基準データ（ｐｒ，Ｒｒ）を単に用いるよりも処理速度は向上するようになる。
【０１００】
また、位置姿勢検出データ（ｐｍ，Ｒｍ）に補正を加える類似した別の補正モデルを形成して仮想カメラ１１からプレ補正後のＣＧ映像を出力する構成としてもよい。例えば、位置姿勢誤差補正部１７は、位置姿勢検出データ（ｐｍ，Ｒｍ）に基づいて形成した仮想モデルをレンダリングして仮のＣＧ映像を生成させて入力し（図１に示す破線矢印）、この仮のＣＧ映像と実写映像とを比較して誤差を最小化する最適化アルゴリズムを用いて、その位置姿勢検出データ（ｐｍ，Ｒｍ）に補正を加えながら得られる仮のＣＧ映像を実写映像に近づけるように最適化する。そして、位置姿勢誤差補正部１７は、最も近似したＣＧ映像をＣＧレンダリング部１１３から補完ＣＧ抽出・幾何学変換部１８に出力させるように構成してもよい。この場合には、予定されたカメラ軌跡を把握していなくても誤差推定が可能となるが、予定された放送番組のカメラ軌跡に基づく補正モデルとしておくと処理時間が短縮される。
【０１０１】
位置姿勢誤差補正部１７は、上記のいずれの補正モデルを用いるとしても、プレ補正として、モーションセンサ１０ａから取得した位置姿勢検出データと、実写映像とを用いた補正モデルに基づく所定の誤差推定法により、位置姿勢検出データの誤差を推定し補正した補正位置姿勢データを生成し、補正位置姿勢データを基に、ＣＧレンダリング部１１３に対して位置姿勢検出データの誤差を補正したＣＧ映像を生成させる。
【０１０２】
これにより、仮想カメラ１１は、実写映像に対応する実空間に対し仮想空間のずれが抑制されたＣＧ映像を生成することができる。
【０１０３】
（ポスト補正：補完ＣＧに関する変換法）
上述したように、ポスト補正として、補完ＣＧ抽出・幾何学変換部１８は、ＣＧ補完領域判定部１２から得られる補完領域データを基に抽出した当該補完ＣＧが実写映像上の不要被写体の領域の周辺画像に対し連続性誤差が最小となるよう所定の変換法により当該補完ＣＧを画素単位で幾何学変換し、当該連続性誤差を最小化した幾何学変換後の補完ＣＧを生成する。
【０１０４】
つまり、補完ＣＧ抽出・幾何学変換部１８は、補完ＣＧを画素単位で幾何学変換し、補完ＣＧの形状調整を行う。この変換法として、一般的な相似変換、ユークリッド変換、スケーリング変換、並進移動変換、及び回転変換がある。そこで、本実施形態では、相似変換、ユークリッド変換、スケーリング変換、並進移動変換、及び回転変換のうち１以上の幾何学変換を用いて、補完ＣＧを微小変化させながら、実写映像上の不要被写体の隠蔽領域の境界線上で、実写映像に対し最もシームレスに接続されるよう画素単位で連続性誤差を最小化する形状調整を行う。
【０１０５】
例えば、補完ＣＧ抽出・幾何学変換部１８は、まず、抽出した補完ＣＧを実写映像における不要被写体の領域にシームレスにはめ込むために、予め定めた変換処理として相似変換、スケーリング変換、ユークリッド変換、並進移動変換、及び回転変換を用いるとすると、これらを用いて当該連続性誤差を最小化する形状調整を行って、このうち実写映像に対し最も当該連続性誤差の小さい変換パラメータを計算する。
【０１０６】
そして、補完ＣＧ抽出・幾何学変換部１８は、画像特徴量のマッチングや画素輝度誤差の最小化などの手法をベースに、当該連続性誤差を最小化するパラメータ調整を行って、このうち実写映像に対し最も当該連続性誤差の小さい変換処理を行う。この処理はＧＰＵ（Graphics Processing Unit）による並列計算も可能であり、この場合には計算コストを圧縮することができる。
【０１０７】
このようにして、補完ＣＧ抽出・幾何学変換部１８は、ＣＧ補完領域判定部１２から得られる補完領域データを基に抽出した当該補完ＣＧが実写映像上の不要被写体の領域の周辺画像に対し連続性誤差が最小となるよう形状調整しながら補完ＣＧを生成する。
【０１０８】
以上のように、本実施形態の映像合成装置１においては、プレ補正に関して、放送番組の制作上、フレーム同期信号に従う予定されたカメラ軌跡に基づいた仮想空間を基準として、予め確度の高い実カメラ１０の実際のカメラ軌跡に近い仮想モデルを構成しているため、計算コストを大幅に省略して効率よく実カメラ１０の位置姿勢検出データを補正することが可能になる。このプレ補正は、リアルタイムで被写体の隠蔽を行う必要が生じるテレビ番組において重要な役割を果たす。
【０１０９】
更に、本実施形態の映像合成装置１においては、画素単位でのシームレスな合成が要求される不要被写体の隠蔽処理において、当該プレ補正でおおよその誤差補正が終了しており、補完ＣＧに関するポスト補正は微修正で済むようになる。そのため、計算コストがかかるVisual SLAMもしくはその他の画像処理技術による調整プロセスに比して処理コストを簡略化でき、且つ処理の高速化が可能となり、テレビ番組の被写体隠蔽技術に求められているリアルタイム性と高品質性を同時に満たすことができるようになる。
【０１１０】
このように、本実施形態の映像合成装置１では、上記のプレ補正及びポスト補正を行っているため、実カメラ１０の位置姿勢検出データに誤差がある場合でも、実写映像上の不要被写体を低処理負担で精度良く隠蔽した合成映像を生成することができる。
【０１１１】
図４（ａ）乃至（ｃ）は、本発明による一実施形態の映像合成装置１において、実カメラ１０の位置姿勢検出データが誤差を含んでいる場合でも補正して、実写映像における不要被写体を、対応するＣＧ映像から抽出した背景の補完ＣＧで隠蔽する際の処理動作を示す図である。
【０１１２】
まず、図４（ａ）に示すように、実カメラ１０による実写映像のフレームＦｒ内には、背景ＢＧ上で不要被写体ＵｎＳｕｂが写り込んでいる。
【０１１３】
そこで、図４（ｂ）に示すように、本実施形態の映像合成装置１においては、実カメラ１０の位置姿勢検出データが誤差を含んでいる場合でも、プレ補正により、その実カメラ１０の位置姿勢検出データが補正されて、その補正後の補正位置姿勢データを基に対応する位置関係となる３次元の仮想モデルからＣＧ映像を得る。このため、仮想空間のズレが抑制される。即ち仮想カメラ１１は、位置姿勢のズレが抑制された仮想モデルから２次元のＣＧ映像をレンダリングして背景ＢＧの補完ＣＧを抽出することができる。
【０１１４】
更に、本実施形態の映像合成装置１においては、補完ＣＧに誤差が残留している場合でも、ポスト補正により、当該補完ＣＧが実写映像上の不要被写体の領域の周辺画像に対し連続性誤差が最小となるよう当該補完ＣＧを画素単位で幾何学変換するため、精度の高い補完ＣＧを抽出・生成することができる。
【０１１５】
この結果、図４（ｃ）に示すように、上述した映像合成部１６により、実写映像のフレームＦｒ上の不要被写体ＵｎＳｕｂが映っている領域を切り抜いて補完ＣＧをはめ込むことで、シームレスに実写映像及び補完ＣＧを合成することができ、その補完部分のズレが抑制された合成映像のフレームＣＦｒを生成することができる。
【０１１６】
従って、本実施形態の映像合成装置１によれば、エンターテインメント番組等の番組制作において、実写映像上の不要被写体を高精度、且つリアルタイムに隠蔽することができる。
【０１１７】
上述した一実施形態における映像合成装置１は、コンピューターにより構成することができ、映像合成装置１の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、映像合成装置１の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、映像合成装置１の各処理部の有する機能を実現させることができる。更に、映像合成装置１の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、映像合成装置１の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、映像合成装置１の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。
【０１１８】
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では主として、実写映像上の不要被写体を隠蔽した合成映像を生成する映像合成装置について説明したが、この不要被写体の隠蔽処理に加えて実写映像上にＣＧキャラクターを付与して合成映像を生成する映像合成装置として構成することもできる。従って、本発明は、上述した実施形態の例に限定されず、特許請求の範囲の記載によってのみ制限される。
【産業上の利用可能性】
【０１１９】
本発明によれば、ＣＧを用いて実写映像上の不要被写体を精度よく低処理負担で隠蔽することができるため、エンターテインメントや教育などの番組制作の用途に有用である。
【符号の説明】
【０１２０】
１  本発明に係る映像合成装置
１０  実カメラ
１１  仮想カメラ
１２  ＣＧ補完領域判定部
１３  位置センサ
１４  補完ＣＧ抽出部
１５  遅延部
１６  映像合成部
１７  位置姿勢誤差補正部
１８  補完ＣＧ抽出・幾何学変換部
１００  従来技術に係る映像合成装置
１１１  仮想モデル構成部
１１２  仮想モデルデータベース（ＤＢ）
１１３  ＣＧレンダリング部
【図１】
2020096267.tif 000003
【図２】
2020096267.tif 000004
【図３】
2020096267.tif 000005
【図４】
2020096267.tif 000006
【図５】
2020096267.tif 000007
【図６】
2020096267.tif 000008
【図７】
2020096267.tif 000009