(57)【要約】【課題】第一の視点と第二の視点との間で、視点移動に伴う滑らかな映像効果を実現する。【解決手段】映像効果装置１の仮想視点設定部３は、制御信号ｃに対応するカメラパラメータｐ（ｃ）を生成する。第一仮想視点映像生成部４は、第一映像Ｉ1からカメラパラメータｐ（ｃ）の第一仮想視点映像Ｊ1を生成し、第二仮想視点映像生成部５は、第二映像Ｉ2からカメラパラメータｐ（ｃ）の第二仮想視点映像Ｊ2を生成する。第一射影変換部６は、第一映像Ｉ1を射影変換し、カメラパラメータｐ（０）の第一切出映像Ｉ1~を生成し、第二射影変換部７は、第二映像Ｉ2を射影変換し、カメラパラメータｐ（１）の第二切出映像Ｉ2~を生成する。映像切替・合成部８は、制御信号ｃに応じた第一仮想視点映像Ｊ1等の合成処理及び切り替え処理により、出力映像Ｊを出力する。【選択図】図１
2020178235.tif 000002
【特許請求の範囲】
【請求項１】
異なる視点で撮影された第一映像及び第二映像に基づいて、制御信号に応じた仮想的な視点の映像を出力映像として求める映像効果装置において、
外部から前記制御信号を入力し、前記制御信号に応じて前記仮想的な視点を設定する仮想視点設定部と、
前記第一映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第一仮想視点映像を、前記第一映像に基づいて生成する第一仮想視点映像生成部と、
前記第二映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第二仮想視点映像を、前記第二映像に基づいて生成する第二仮想視点映像生成部と、
前記第一映像を第一対象映像とし、前記第二映像を第二対象映像として、前記仮想視点設定部により設定された前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像生成部により生成された前記第一仮想視点映像、及び前記第二仮想視点映像生成部により生成された前記第二仮想視点映像に基づき、前記出力映像を求める出力映像処理部と、
を備えたことを特徴とする映像効果装置。
【請求項２】
請求項１に記載の映像効果装置において、
さらに、前記第一映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第一映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第一切出映像を生成する第一射影変換部と、
前記第二映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第二映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第二切出映像を生成する第二射影変換部と、を備え、
前記出力映像処理部は、
前記第一射影変換部により生成された前記第一切出映像を前記第一対象映像とし、前記第二射影変換部により生成された前記第二切出映像を前記第二対象映像として、前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像及び前記第二仮想視点映像に基づき、前記出力映像を求める、ことを特徴とする映像効果装置。
【請求項３】
請求項１または２に記載の映像効果装置において、
前記出力映像処理部は、
前記制御信号の値が当該制御信号の値域の最小値（または最大値）ｍである場合、前記第一対象映像を前記出力映像とし、
前記制御信号の値が前記値域の最大値（または最小値）Ｍである場合、前記第二対象映像を前記出力映像とし、
前記制御信号の値が前記最小値ｍよりも大きくかつ前記最大値Ｍよりも小さい場合（または前記最小値Ｍよりも大きくかつ前記最大値ｍよりも小さい場合）、前記第一仮想視点映像、前記第二仮想視点映像、または、前記第一仮想視点映像及び前記第二仮想視点映像の合成映像を前記出力映像として求める、ことを特徴とする映像効果装置。
【請求項４】
請求項１または２に記載の映像効果装置において、
実数ｍ，ｎ，Ｎ，Ｍが式：ｍ＜ｎ＜Ｎ＜Ｍ（またはＭ＜Ｎ＜ｎ＜ｍ）を満たし、前記実数ｍが前記制御信号の値域の最小値（または最大値）であり、前記実数Ｍが前記制御信号の値域の最大値（または最小値）であるとして、
前記出力映像処理部は、
前記制御信号の値が前記実数ｍである場合、前記第一対象映像を前記出力映像とし、
前記制御信号の値が前記実数Ｍである場合、前記第二対象映像を前記出力映像とし、
前記制御信号の値が前記実数ｍよりも大きくかつ前記実数ｎ以下である場合（または前記実数Ｍよりも大きくかつ前記実数Ｎ以下である場合）、前記第一仮想視点映像を前記出力映像とし、
前記制御信号の値が前記実数ｎよりも大きくかつ前記実数Ｎよりも小さい場合（前記実数Ｎよりも大きくかつ前記実数ｎよりも小さい場合）、前記第一仮想視点映像及び前記第二仮想視点映像を加重合成することで合成映像を生成し、当該合成映像を前記出力映像とし、
前記制御信号の値が前記実数Ｎ以上でありかつ前記実数Ｍよりも小さい場合（前記実数ｎ以上でありかつ前記実数ｍよりも小さい場合）、前記第二仮想視点映像を前記出力映像として求める、ことを特徴とする映像効果装置。
【請求項５】
コンピュータを、請求項１から４までのいずれか一項に記載の映像効果装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる視点で撮影された２つの映像の間で仮想的に視点移動した際に、視点変換効果を付与した映像を生成する映像効果装置及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の映像信号を切り替える手法として、例えばカット切替、クロスフェードが知られている。カット切替は、ある映像信号から別の映像信号へ瞬時に切り替える手法である。クロスフェードは、ある映像信号と別の映像信号とを重み付けにより合成し、この重み付けを時間的に変化させることで、映像信号を切り替える手法である。
【０００３】
このクロスフェードには、フェーダと呼ばれるユーザインタフェースの操作によって重み付けを変化させる方法、ボタン操作等によってトリガを与え、その後は所定の時間をかけて自動的に重み付けを変化させる方法等がある。
【０００４】
ビデオゲームまたはコンピュータグラフィックス制作による映像においては、ある視点から別の視点へ移動する場合に、映像を切り替えずに視点または視線を滑らかに移動する演出法が可能である。
【０００５】
実写映像においても、多数（３台以上）のカメラを順次切り替えることで、視点移動の効果を得るタイムスライス技法がある。また、タイムスライス技法においては、隣接するカメラ映像間で射影変換を用いた補間処理を行い、滑らかな視点移動を実現する技術が知られている（例えば、特許文献１を参照）。
【０００６】
また、実写映像に基づく仮想空間描画方法として、ビルボードモデルのような簡易な３次元モデルを用いて、仮想空間内の仮想物体の実写画像に基づく空間データを描く技術が知られている（例えば、特許文献２を参照）。
【０００７】
さらに、実写ベースレンダリングによって視点移動の効果を得る技術が知られている（例えば、非特許文献１を参照）。
【０００８】
この非特許文献１の技術は、複数のカメラで撮影された入力映像から被写体領域をそれぞれ抽出し、複数の被写体領域の対応付けを行い、フィールド平面上の２次元座標に基づくビルボードモデルを生成し、３次元ＣＧ空間を生成するものである。
【０００９】
これにより、撮影時点とは異なる視点位置から仮想的に撮影した映像を生成することができ、実写ベースのレンダリングによる写実的な仮想視点移動を実現することができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第６３３６８５６号
【特許文献２】特許第３４８６５７９号
【非特許文献】
【００１１】
【非特許文献１】三巧浩嗣、内藤整、“選手領域の抽出と追跡によるサッカーの自由視点映像生成”、映像情報メディア学会誌、Vol.68、No.3、pp.J125−J134（2014）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
前述のカットによる映像切替は、特に、切り替える映像を撮影したカメラの位置または姿勢が異なれば異なるほど、切り替え前後の被写体の見え方が異なるようになり、観視者が被写体の対応付けに混乱を生じる可能性がある。また、切り替えが瞬時に行われるため、観視者は、映像の不連続性を感じるほか、眼の明暗順応または眼球運動において疲労を生じる可能性がある。特に、カット切替を短時間に多数回（例えば、１秒間に３回超）行うと、カット前後の画面輝度差が大きい場合に疲労が顕著になる。
【００１３】
また、前述のクロスフェードによる映像切替は、画面の平均としての明暗が連続的に変化するようになるため、カット切替よりも切り替えのショックを感じ難くなる。しかし、切り替え途中においては、視点の異なる絵柄が重なり合って表示され、絵柄としてはより理解困難なものとなる。
【００１４】
また、前述のタイムスライス技法は、時々刻々と隣接カメラに映像を切り替えるため、観視者が被写体の対応付けに戸惑うことがない。しかし、より滑らかな視点移動を実現するためにはカメラ台数を増やす必要があり、コスト及び設置場所の観点で制約が大きい。
【００１５】
また、前述の特許文献１の技術は、隣接視点間で射影変換による内挿を行うため、単純なタイムスライス技法よりも少ないカメラ台数で滑らかな視点移動効果を実現することができる。しかし、内挿時には映像を平面として射影変換するものの、被写体の凹凸及び被写体間の遠近を反映した内挿は行われないため、隣接カメラ間の距離が極端に長いと、補間画像における幾何学的な歪みが目立つようになる。
【００１６】
また、前述の特許文献２及び非特許文献１の技術は、ビルボードモデルを用いることで、被写体間の遠近及び大まかな姿勢が反映されるため、仮想的な視点移動時の幾何学的な歪みを抑えることができる。しかし、実写映像からビルボードモデルを生成すると、被写体のモデル化の誤差または雑音に起因してアーチファクトが観測されることがある。また、実写ベースの仮想視点映像は、実写映像を撮影した際のカメラ位置と仮想視点とが離れれば離れるほど、アーチファクトが目立つという問題がある。
【００１７】
このように、前述のカットによる映像切替、クロスフェードによる映像切替、タイムスライス技法、特許文献１，２及び非特許文献１の技術では、異なる視点で撮影された複数の映像間の遷移において、視点移動に伴う十分な映像効果を実現することができないという問題があった。
【００１８】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、第一の視点で撮影された映像から第二の視点で撮影された映像へ遷移する際に、視点移動に伴う滑らかな映像効果を実現することが可能な映像効果装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
前記課題を解決するために、請求項１の映像効果装置は、異なる視点で撮影された第一映像及び第二映像に基づいて、制御信号に応じた仮想的な視点の映像を出力映像として求める映像効果装置において、外部から前記制御信号を入力し、前記制御信号に応じて前記仮想的な視点を設定する仮想視点設定部と、前記第一映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第一仮想視点映像を、前記第一映像に基づいて生成する第一仮想視点映像生成部と、前記第二映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第二仮想視点映像を、前記第二映像に基づいて生成する第二仮想視点映像生成部と、前記第一映像を第一対象映像とし、前記第二映像を第二対象映像として、前記仮想視点設定部により設定された前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像生成部により生成された前記第一仮想視点映像、及び前記第二仮想視点映像生成部により生成された前記第二仮想視点映像に基づき、前記出力映像を求める出力映像処理部と、を備えたことを特徴とする。
【００２０】
請求項１の発明によれば、第一の視点で撮影された第一映像から別の第二の視点で撮影された第二映像へ移動する際、視点位置が第一の視点と一致する場合、第一映像が出力映像として出力されるようにし、視点位置が第二の視点と一致する場合、第二映像が出力されるようにし、視点位置が第一の視点及び第二の視点のいずれにも一致しない場合、実写ベースのコンピュータグラフィックスによる仮想視点映像が出力されるようにすることができる。さらに、出力される仮想視点映像は、第一映像から生成した第一仮想視点映像と、第二映像から生成した第二仮想視点映像とを必要に応じて加重合成して生成することができる。視点位置が第一の視点または第二の視点と一致する場合、モデル化起因のアーチファクトのない実写映像を出力することができる。一方、視点位置が第一の視点及び第二の視点のいずれにも一致しない場合、より視点の近い（アーチファクトの小さい）第一仮想視点映像または第二仮想視点映像の重みが大きくなるように加重合成または切り替えた映像を出力することができる。その結果、カメラ台数が少ない（例えば２台）の場合であっても、歪みや劣化の少ない視点移動効果を実現することが可能となる。
【００２１】
また、請求項２の映像効果装置は、請求項１に記載の映像効果装置において、さらに、前記第一映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第一映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第一切出映像を生成する第一射影変換部と、前記第二映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第二映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第二切出映像を生成する第二射影変換部と、を備え、前記出力映像処理部が、前記第一射影変換部により生成された前記第一切出映像を前記第一対象映像とし、前記第二射影変換部により生成された前記第二切出映像を前記第二対象映像として、前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像及び前記第二仮想視点映像に基づき、前記出力映像を求める、ことを特徴とする。
【００２２】
請求項２の発明によれば、第一の視点の第一映像から第二の視点の第二映像へ移動する際、視点位置が第一の視点と一致する場合、第一切出映像が出力映像として出力されるようにし、視点位置が第二の視点と一致する場合、第二切出映像が出力映像として出力されるようにし、視点位置が第一の視点及び第二の視点のいずれにも一致しない場合、実写ベースのコンピュータグラフィックスによる仮想視点映像が出力されるようにすることができる。
【００２３】
また、請求項３の映像効果装置は、請求項１または２に記載の映像効果装置において、前記出力映像処理部が、前記制御信号の値が当該制御信号の値域の最小値（または最大値）ｍである場合、前記第一対象映像を前記出力映像とし、前記制御信号の値が前記値域の最大値（または最小値）Ｍである場合、前記第二対象映像を前記出力映像とし、前記制御信号の値が前記最小値ｍよりも大きくかつ前記最大値Ｍよりも小さい場合（または前記最小値Ｍよりも大きくかつ前記最大値ｍよりも小さい場合）、前記第一仮想視点映像、前記第二仮想視点映像、または、前記第一仮想視点映像及び前記第二仮想視点映像の合成映像を前記出力映像として求める、ことを特徴とする。
【００２４】
請求項３の発明によれば、制御信号がその値域の最小値または最大値である場合、仮想視点変換を行わない映像が出力されるため、アーチファクトは発生しない。仮想視点変換に伴うアーチファクトの発生は、視点間の遷移中に限定されるから、画質を向上することができる。
【００２５】
また、請求項４の映像効果装置は、請求項１または２に記載の映像効果装置において、実数ｍ，ｎ，Ｎ，Ｍが式：ｍ＜ｎ＜Ｎ＜Ｍ（またはＭ＜Ｎ＜ｎ＜ｍ）を満たし、前記実数ｍが前記制御信号の値域の最小値（または最大値）であり、前記実数Ｍが前記制御信号の値域の最大値（または最小値）であるとして、前記出力映像処理部が、前記制御信号の値が前記実数ｍである場合、前記第一対象映像を前記出力映像とし、前記制御信号の値が前記実数Ｍである場合、前記第二対象映像を前記出力映像とし、前記制御信号の値が前記実数ｍよりも大きくかつ前記実数ｎ以下である場合（または前記実数Ｍよりも大きくかつ前記実数Ｎ以下である場合）、前記第一仮想視点映像を前記出力映像とし、前記制御信号の値が前記実数ｎよりも大きくかつ前記実数Ｎよりも小さい場合（前記実数Ｎよりも大きくかつ前記実数ｎよりも小さい場合）、前記第一仮想視点映像及び前記第二仮想視点映像を加重合成することで合成映像を生成し、当該合成映像を前記出力映像とし、前記制御信号の値が前記実数Ｎ以上でありかつ前記実数Ｍよりも小さい場合（前記実数ｎ以上でありかつ前記実数ｍよりも小さい場合）、前記第二仮想視点映像を前記出力映像として求める、ことを特徴とする。
【００２６】
請求項４の発明によれば、視点の遷移中に、視点変化の小さい映像を出力映像とすることができるから、アーチファクトの発生を抑えることができる。また、制御信号が実数ｎよりも大きくかつ実数Ｎよりも小さい場合（実数Ｎよりも大きくかつ実数ｎよりも小さい場合）、第一仮想視点映像と第二仮想視点映像との間でクロスフェードを実行することができ、急激な画像変化を抑えて滑らかな画像遷移を実現することができる。
【００２７】
さらに、請求項５のプログラムは、請求項１から４までのいずれか一項に記載の映像効果装置として機能させることを特徴とする。
【発明の効果】
【００２８】
以上のように、本発明によれば、第一の視点で撮影された映像から第二の視点で撮影された映像へ遷移する際に、視点移動に伴う滑らかな映像効果を実現することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態による映像効果装置の構成例を示すブロック図である。
【図２】映像切替・合成部の動作例を説明する図である。
【図３】映像切替・合成部の処理例を示すフローチャートである。
【図４】第一仮想視点映像生成部の第一の構成例を示すブロック図である。
【図５】第一仮想視点映像生成部の第二の構成例を示すブロック図である。
【図６】第一仮想視点映像生成部の第三の構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、第一映像及び第二映像が異なる視点で撮影された映像であるとして、視点位置を含む制御信号に応じて、第一映像（または射影変換後の映像）と、第二映像（または射影変換後の映像）と、第一映像から生成した第一仮想視点映像と、第二映像から生成した第二仮想視点映像と、第一仮想視点映像及び第二仮想視点映像の合成映像との間で切り替えを行うことを特徴とする。
【００３１】
これにより、第一の視点で撮影された第一映像から第二の視点で撮影された第二映像へ（またはその逆へ）視点が遷移する際に、視点移動に伴う滑らかな映像効果を実現することができる。
【００３２】
〔映像効果装置〕
まず、本発明の実施形態による映像効果装置について説明する。図１は、本発明の実施形態による映像効果装置の構成例を示すブロック図である。この映像効果装置１は、仮想視点設定部３、第一仮想視点映像生成部４、第二仮想視点映像生成部５、第一射影変換部６、第二射影変換部７及び映像切替・合成部（出力映像処理部）８を備えている。
【００３３】
映像効果装置１は、第一映像Ｉ1、当該第一映像Ｉ1のカメラパラメータである第一カメラパラメータｐ1、第二映像Ｉ2、当該第二映像Ｉ2のカメラパラメータである第二カメラパラメータｐ2、及び視点位置を含む制御信号ｃを入力する。そして、映像効果装置１は、これらにデータに基づいて、視点変換効果を付与した出力映像Ｊを求め、出力映像Ｊを出力する。
【００３４】
尚、映像効果装置１は、第一射影変換部６及び第二射影変換部７のいずれか一方または両方を省略して構成するようにしてもよい。
【００３５】
制御信号ｃは、視点の移動具合を調整するための信号であり、その値域をｍ≦ｃ≦Ｍ（ｍは値域の最小値、Ｍは値域の最大値）とする。ｍ，Ｍは実数である。以下の実施形態では、ｍ＝０，Ｍ＝１とし、制御信号ｃの値域を０≦ｃ≦１とする。
【００３６】
制御信号ｃ＝０を第一の視点、制御信号ｃ＝１を第二の視点とし、０＜ｃ＜１の視点を仮想視点とする。制御信号ｃは、外部に接続されたユーザインタフェース（図１の場合はフェーダ２）によって、操作者が手動で制御信号ｃを設定するものであってもよいし、他の装置からの出力によって、手動でまたは自動的に設定するものであってもよい。
【００３７】
図１の例では、フェーダ２は、操作者の手動操作に従って視点位置を含む制御信号ｃを生成し、制御信号ｃを映像効果装置１に出力する。
【００３８】
仮想視点設定部３は、フェーダ２から制御信号ｃを入力すると共に、第一カメラパラメータｐ1及び第二カメラパラメータｐ2を入力する。そして、仮想視点設定部３は、制御信号ｃ、第一カメラパラメータｐ1及び第二カメラパラメータｐ2に基づいて、制御信号ｃに対応するカメラパラメータｐ（ｃ）を生成する。
【００３９】
仮想視点設定部３は、カメラパラメータｐ（ｃ）を第一仮想視点映像生成部４及び第二仮想視点映像生成部５に出力する。また、仮想視点設定部３は、第一カメラパラメータｐ1に対応するカメラパラメータｐ1~を生成し、カメラパラメータｐ（０）＝ｐ1~を第一射影変換部６に出力する。仮想視点設定部３は、第二カメラパラメータｐ2に対応するカメラパラメータｐ2~を生成し、カメラパラメータｐ（１）＝ｐ2~を第二射影変換部７に出力する。
【００４０】
ここで、仮想視点設定部３は、制御信号ｃに応じて、後述する第一仮想視点映像生成部４により生成される第一仮想視点映像Ｊ1及び後述する第二仮想視点映像生成部５により生成される第二仮想視点映像Ｊ2における視点位置等を生成する。つまり、仮想視点設定部３は、制御信号ｃに応じた視点位置を含むカメラパラメータｐ（ｃ）を生成する。
【００４１】
カメラパラメータｐ（ｃ）は、視点位置に加え、カメラの姿勢（例えば、パン、チルト及びロールの各角度）、画角（またはレンズの焦点距離）、レンズ歪み、露出値（アイリス、シャッター速度、感度等）、色補正値、ズーム倍率（拡大率及び縮小率）等の各データのうち、一部または全部を含むようにしてもよい。
【００４２】
また、仮想視点設定部３は、カメラパラメータｐ（０）＝ｐ1~として、第一カメラパラメータｐ1と同じ視点位置を含み、制御信号ｃ（０）に応じた所定の姿勢または／及びズーム倍率（姿勢、ズーム倍率、または姿勢及びズーム倍率）を含むカメラパラメータｐ1~を生成する。同様に、仮想視点設定部３は、カメラパラメータｐ（１）＝ｐ2~として、第二カメラパラメータｐ2と同じ視点位置を含み、制御信号ｃ（１）に応じた所定の姿勢または／及びズーム倍率を含むカメラパラメータｐ2~を生成する。
【００４３】
具体的には、仮想視点設定部３は、制御信号ｃ＝０の場合、以下の式のとおり、少なくとも視点位置に関しては第一カメラパラメータｐ1と一致し、所定の姿勢または／及びズーム倍率も含むカメラパラメータｐ1~を生成し、カメラパラメータｐ（０）＝ｐ1~を出力する。また、仮想視点設定部３は、制御信号ｃ＝１の場合、以下の式のとおり、少なくとも視点位置に関しては第二カメラパラメータｐ2と一致し、所定の姿勢または／及びズーム倍率も含むカメラパラメータｐ2~を生成し、カメラパラメータｐ（１）＝ｐ2~を出力する。
【数１】
2020178235.tif 000003
【００４４】
仮想視点設定部３は、制御信号ｃが０＜ｃ＜１の場合、少なくとも第一カメラパラメータｐ1に含まれる視点位置及び第二カメラパラメータｐ2に含まれる視点位置から補間値を算出し、補間値である視点位置を含むカメラパラメータｐ（ｃ）を生成する。
【００４５】
例えば仮想視点設定部３は、以下の式のとおり、第一カメラパラメータｐ1及び第二カメラパラメータｐ2を線形補間（内分）することで、カメラパラメータｐ（ｃ）を生成する。
【数２】
2020178235.tif 000004
【００４６】
尚、仮想視点設定部３は、制御信号ｃが０＜ｃ＜１の場合、第一カメラパラメータｐ1及び第二カメラパラメータｐ2に加え、他のパラメータ（経由すべきカメラパラメータ、カメラが指向すべき被写体等）を考慮した補間値を算出し、これをカメラパラメータｐ（ｃ）とするようにしてもよい。
【００４７】
第一仮想視点映像生成部４は、仮想視点設定部３からカメラパラメータｐ（ｃ）を入力すると共に、第一映像Ｉ1及び第一カメラパラメータｐ1を入力する。そして、第一仮想視点映像生成部４は、第一映像Ｉ1、第一カメラパラメータｐ1及びカメラパラメータｐ（ｃ）に基づいて、カメラパラメータｐ（ｃ）の視点で撮像した場合の実写ベースコンピュータグラフィックスを生成する。第一仮想視点映像生成部４は、実写ベースコンピュータグラフィックスを第一仮想視点映像Ｊ1として映像切替・合成部８に出力する。
【００４８】
具体的には、第一仮想視点映像生成部４は、第一カメラパラメータｐ1の示す視点位置をカメラパラメータｐ（ｃ）の示す視点位置へ移動したときの映像として、第一カメラパラメータｐ1の示す視点位置にて撮影された第一映像Ｉ1から、カメラパラメータｐ（ｃ）の示す視点位置にて撮影される仮想的な第一仮想視点映像Ｊ1を生成する。第一仮想視点映像生成部４の詳細については後述する。
【００４９】
第二仮想視点映像生成部５は、仮想視点設定部３からカメラパラメータｐ（ｃ）を入力すると共に、第二映像Ｉ2及び第二カメラパラメータｐ2を入力する。そして、第二仮想視点映像生成部５は、第二映像Ｉ2、第二カメラパラメータｐ2及びカメラパラメータｐ（ｃ）に基づいて、カメラパラメータｐ（ｃ）の視点で撮像した場合の実写ベースコンピュータグラフィックスを生成する。第二仮想視点映像生成部５は、実写ベースコンピュータグラフィックスを第二仮想視点映像Ｊ2として映像切替・合成部８に出力する。
【００５０】
具体的には、第二仮想視点映像生成部５は、第二カメラパラメータｐ2の示す視点位置をカメラパラメータｐ（ｃ）の示す視点位置へ移動したときの映像として、第二カメラパラメータｐ2の示す視点位置にて撮影された第二映像Ｉ2から、カメラパラメータｐ（ｃ）の示す視点位置にて撮影される仮想的な第二仮想視点映像Ｊ2を生成する。第二仮想視点映像生成部５の詳細については後述する。
【００５１】
第一射影変換部６は、仮想視点設定部３からカメラパラメータｐ（０）＝ｐ1~を入力すると共に、第一映像Ｉ1を入力する。そして、第一射影変換部６は、第一映像Ｉ1及びカメラパラメータｐ（０）＝ｐ1~に基づいて第一映像Ｉ1を射影変換し、射影変換後の映像から第一仮想視点映像Ｊ1に対応する所定領域を切り出すことで、第一切出映像Ｉ1~を生成する。第一射影変換部６は、第一切出映像Ｉ1~を映像切替・合成部８に出力する。
【００５２】
具体的には、第一射影変換部６は、第一映像Ｉ1に対し、カメラパラメータｐ（０）＝ｐ1~の示す姿勢または／及びズーム倍率に基づいて、第一映像Ｉ1の視点を変えることなく、射影変換処理及び切出処理を施す。そして、第一射影変換部６は、カメラパラメータｐ（０）＝ｐ1~の示す姿勢または／及びズーム倍率にて撮影される第一切出映像Ｉ1~を生成する。
【００５３】
カメラパラメータｐ（０）＝ｐ1~に含まれる視点位置は、第一映像Ｉ1を撮影したときの視点と同一である。このため、第一射影変換部６は、第一映像Ｉ1に対し、大きさ、遠近法及び切り出し位置のみの変換、すなわち姿勢、ズーム倍率、または姿勢及びズーム倍率に基づく射影変換を行い、射影変換後の映像から切り出しを行い、第一切出映像Ｉ1~を生成する。これにより、被写体の奥行きまたは立体形状に依らず、正確な幾何変換及び切り出しが行われ、精度の高い第一切出映像Ｉ1~が生成される。
【００５４】
尚、第一射影変換部６は、さらに、第一映像Ｉ1に対し、カメラパラメータｐ（０）＝ｐ1~の示すレンズ歪みに基づいて、射影変換処理及び切出処理を施すようにしてもよい。第一射影変換部６は、カメラパラメータｐ（０）＝ｐ1~の示すレンズ歪みにて撮影される第一切出映像Ｉ1~を生成する。
【００５５】
また、カメラパラメータｐ（０）＝ｐ1~が第一カメラパラメータｐ1と同一の場合（ｐ1~＝ｐ1の場合）、映像効果装置１の構成において、第一射影変換部６を省略するようにしてもよい。この場合、以下の式のとおり、第一映像Ｉ1と第一切出映像Ｉ1~は同一となる。
【数３】
2020178235.tif 000005
【００５６】
第二射影変換部７は、仮想視点設定部３からカメラパラメータｐ（１）＝ｐ2~を入力すると共に、第二映像Ｉ2を入力する。そして、第二射影変換部７は、第二映像Ｉ2及びカメラパラメータｐ（１）＝ｐ2~に基づいて第二映像Ｉ2を射影変換し、射影変換後の映像から第二仮想視点映像Ｊ2に対応する所定領域を切り出すことで、第二切出映像Ｉ2~を生成する。第二射影変換部７は、第二切出映像Ｉ2~を映像切替・合成部８に出力する。
【００５７】
具体的には、第二射影変換部７は、第二映像Ｉ2に対し、カメラパラメータｐ（１）＝ｐ2~の示す姿勢または／及びズーム倍率に基づいて、第二映像Ｉ2の視点を変えることなく、射影変換処理及び切出処理を施す。そして、第二射影変換部７は、カメラパラメータｐ（１）＝ｐ2~の示す姿勢または／及びズーム倍率にて撮影される第二切出映像Ｉ2~を生成する。
【００５８】
カメラパラメータｐ（１）＝ｐ2~に含まれる視点位置は、第二映像Ｉ2を撮影したときの視点と同一である。このため、第二射影変換部７は、第二映像Ｉ2に対し、大きさ、遠近法及び切り出し位置のみの変換、すなわち姿勢、ズーム倍率、または姿勢及びズーム倍率に基づく射影変換を行い、射影変換後の映像から切り出しを行い、第二切出映像Ｉ2~を生成する。これにより、被写体の奥行きまたは立体形状に依らず、正確な幾何変換及び切り出しが行われ、精度の高い第二切出映像Ｉ2~が生成される。
【００５９】
尚、第二射影変換部７は、さらに、第二映像Ｉ2に対し、カメラパラメータｐ（１）＝ｐ2~の示すレンズ歪みに基づいて、射影変換処理及び切出処理を施すようにしてもよい。第二射影変換部７は、カメラパラメータｐ（１）＝ｐ2~の示すレンズ歪みにて撮影される第二切出映像Ｉ2~を生成する。
【００６０】
また、カメラパラメータｐ（１）＝ｐ2~が第二カメラパラメータｐ2と同一の場合（ｐ2~＝ｐ2の場合）、映像効果装置１の構成において、第二射影変換部７を省略するようにしてもよい。この場合、以下の式のとおり、第二映像Ｉ2と第二切出映像Ｉ2~は同一となる。
【数４】
2020178235.tif 000006
【００６１】
映像切替・合成部８は、フェーダ２から制御信号ｃを、第一射影変換部６から第一切出映像Ｉ1~を、第一仮想視点映像生成部４から第一仮想視点映像Ｊ1をそれぞれ入力する。また、映像切替・合成部８は、第二仮想視点映像生成部５から第二仮想視点映像Ｊ2を、第二射影変換部７から第二切出映像Ｉ2~をそれぞれ入力する。
【００６２】
映像切替・合成部８は、第一切出映像Ｉ1~を第一対象映像とし、第二切出映像Ｉ2~を第二対象映像として、制御信号ｃに応じて、第一仮想視点映像Ｊ1及び第二仮想視点映像Ｊ2を加重合成して合成映像を生成し、第一対象映像、第一仮想視点映像Ｊ1、合成映像、第二仮想視点映像Ｊ2及び第二対象映像の間で切り替えを行う。そして、映像切替・合成部８は、切り替え後の映像を出力映像Ｊとして出力する。
【００６３】
例えば映像切替・合成部８は、制御信号ｃに応じて、予め設定されたゲイン（重み関数）ｇ1（ｃ），ｇ2（ｃ），ｇu（ｃ），ｇv（ｃ）を用いて出力映像Ｊを求める。具体的には、映像切替・合成部８は、第一切出映像Ｉ1~にゲインｇ1（ｃ）を乗算し、第一仮想視点映像Ｊ1にゲインｇu（ｃ）を乗算する。また、映像切替・合成部８は、第二仮想視点映像Ｊ2にゲインｇv（ｃ）を乗算し、第二切出映像Ｉ2~にゲインｇ2（ｃ）を乗算する。そして、映像切替・合成部８は、以下の式のとおり、それぞれの乗算結果を加算し、出力映像Ｊを求める。
【数５】
2020178235.tif 000007
【００６４】
図２は、映像切替・合成部８の動作例を説明する図である。横軸は制御信号ｃの値を示す。縦軸は、第一切出映像Ｉ1~に対するゲインｇ1（ｃ）、第一仮想視点映像Ｊ1に対するゲインｇu（ｃ）、第二仮想視点映像Ｊ2に対するゲインｇv（ｃ），第二切出映像Ｉ2~に対するゲインｇ2（ｃ）をそれぞれ示す。ｎ，Ｎは、０＜ｎ＜Ｎ＜１を満たす実数である。
【００６５】
図２の例を数式で示すと、以下のようになる。
【数６】
2020178235.tif 000008
【００６６】
図３は、映像切替・合成部８の処理例を示すフローチャートであり、図２に示したゲインｇ1（ｃ），ｇu（ｃ），ｇv（ｃ），ｇ2（ｃ）を用いた例である。
【００６７】
映像切替・合成部８は、制御信号ｃ、第一切出映像Ｉ1~、第一仮想視点映像Ｊ1、第二仮想視点映像Ｊ2及び第二切出映像Ｉ2~を入力し（ステップＳ３０１）、制御信号ｃの値を判定する（ステップＳ３０２）。
【００６８】
映像切替・合成部８は、ステップＳ３０２において、制御信号ｃが０である場合（ステップＳ３０２：ｃ＝０）、第一切出映像Ｉ1~を出力映像Ｊに設定する（ステップＳ３０３：Ｊ＝Ｉ1~）。
【００６９】
映像切替・合成部８は、ステップＳ３０２において、制御信号ｃが０よりも大きく、かつｎ以下である場合（ステップＳ３０２：０＜ｃ≦ｎ）、第一仮想視点映像Ｊ1を出力映像Ｊに設定する（ステップＳ３０４：Ｊ＝Ｊ1）。
【００７０】
映像切替・合成部８は、ステップＳ３０２において、制御信号ｃがｎよりも大きく、かつＮよりも小さい場合（ステップＳ３０２：ｎ＜ｃ＜Ｎ）、以下の式にて、制御信号ｃに応じたパラメータｎ，Ｎによる重みにて、第一仮想視点映像Ｊ1及び第二仮想視点映像Ｊ2を加重合成し、演算結果の合成映像を出力映像Ｊに設定する（ステップＳ３０５）。
【数７】
2020178235.tif 000009
【００７１】
映像切替・合成部８は、ステップＳ３０２において、制御信号ｃがＮ以上であり、かつ１よりも小さい場合（ステップＳ３０２：Ｎ≦ｃ＜１）、第二仮想視点映像Ｊ2を出力映像Ｊに設定する（ステップＳ３０６：Ｊ＝Ｊ2）。
【００７２】
映像切替・合成部８は、ステップＳ３０２において、制御信号ｃが１である場合（ステップＳ３０２：ｃ＝１）、第二切出映像Ｉ2~を出力映像Ｊに設定する（ステップＳ３０７：Ｊ＝Ｉ2~）。
【００７３】
映像切替・合成部８は、ステップＳ３０３〜Ｓ３０７から移行して、出力映像Ｊを出力する（ステップＳ３０８）。つまり、映像切替・合成部８は、制御信号ｃに応じて、ステップＳ３０３の第一切出映像Ｉ1~と、ステップＳ３０４の第一仮想視点映像Ｊ1と、ステップＳ３０５の第一仮想視点映像Ｊ1及び第二仮想視点映像Ｊ2の合成映像と、ステップＳ３０６の第二仮想視点映像Ｊ2と、ステップＳ３０７の第二切出映像Ｉ2~との間で切り替えを行い、切り替え後の映像を出力映像Ｊとして出力する。
【００７４】
これにより、制御信号ｃ＝０，１の場合、第一切出映像Ｉ1~または第二切出映像Ｉ2~が出力映像Ｊとして出力されるから、この視点位置においては、モデル化起因のアーチファクトがなく、かつ二重像のない実写映像を出力することができる。
【００７５】
また、制御信号ｃが０＜ｃ＜１の場合、制御信号ｃの示す視点に近い第一仮想視点映像Ｊ1または第二仮想視点映像Ｊ2の重みが大きくなるように加重合成または切り替えた映像を出力することができる。その結果、カメラ台数が少ない（例えば２台）の場合であっても、歪みや劣化の少ない視点移動効果を実現することができる。つまり、視点の遷移中に、視点変化の小さい映像を出力映像Ｊとすることができるから、アーチファクトの発生を抑えることができる。
【００７６】
この場合、制御信号ｃが０＜ｃ≦ｎの場合、第一仮想視点映像Ｊ1が出力映像Ｊとして出力され、制御信号ｃがＮ≦ｃ＜１の場合、第二仮想視点映像Ｊ2が出力映像Ｊとして出力されるから、この視点位置においては、二重像の発生を抑えることができる。
【００７７】
また、制御信号ｃがｎ＜ｃ＜Ｎの場合、第一仮想視点映像Ｊ1と第二仮想視点映像Ｊ2との間でクロスフェードを実行することができ、急激な画像変化を抑えて滑らかな画像遷移を実現することができる。
【００７８】
（第一仮想視点映像生成部４、第二仮想視点映像生成部５）
次に、図１に示した第一仮想視点映像生成部４及び第二仮想視点映像生成部５について詳細に説明する。第一仮想視点映像生成部４及び第二仮想視点映像生成部５は、以下に示す第一例、第二例及び第三例にて実現することができる。また、第一仮想視点映像生成部４及び第二仮想視点映像生成部５は、前述の非特許文献１等の既知の手法にて実現することができる。
【００７９】
以下、第一仮想視点映像生成部４の構成及び処理について、第一例、第二例及び第三例を挙げて説明するが、第二仮想視点映像生成部５についても同様である。
【００８０】
（第一例）
図４は、第一仮想視点映像生成部４の第一の構成例を示すブロック図である。この第一仮想視点映像生成部４−１は、第一カメラパラメータｐ1の視点から見た第一映像Ｉ1から、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータｐ（ｃ）の示す視点から見た第一仮想視点映像Ｊ1を生成する。
【００８１】
第一仮想視点映像生成部４−１は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、合成部（背景合成部）１３、第一射影変換部１４、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている。
【００８２】
第一仮想視点映像生成部４−１は、第一映像Ｉ1、第一カメラパラメータｐ1及びカメラパラメータｐ（ｃ）に基づいて、第一映像Ｉ1を幾何学的に変換する際に、被写体（第一被写体）の影（第二被写体）を背景映像Ｂに合成し、第一仮想視点映像Ｊ1を生成する。
【００８３】
以下、時刻ｔ及び画像座標（ｘ，ｙ）における映像の画素値は、映像を表す文字の後に（ｔ；ｘ，ｙ）を付して示すものとする。例えば、第一映像Ｉ1の時刻ｔ及び画像座標（ｘ，ｙ）における画素値をＩ1（ｔ；ｘ，ｙ）と記す。尚、画素値はスカラー量（例えば、モノクロ映像の場合）であってもよいし、ベクトル量（例えば、カラー映像の場合、赤、緑及び青の３成分からなるベクトル値）であってもよい。
【００８４】
背景生成部１０は、時系列の第一映像Ｉ1（第一映像Ｉ1の複数フレーム）から、動物体を除去した背景映像Ｂを生成し、背景映像Ｂを第一被写体抽出部１１及び合成部１３に出力する。背景映像Ｂの生成処理は既知であり、例えば背景差分法を用いることができる。背景差分法の詳細については、例えば特許第５２２７２２６号公報の段落４４及び数式８を参照されたい。
【００８５】
第一被写体抽出部１１は、背景生成部１０から背景映像Ｂを入力する。そして、第一被写体抽出部１１は、第一映像Ｉ1、及び背景生成部１０により第一映像Ｉ1の複数フレームから生成された背景映像Ｂに基づいて、被写体（第一被写体）とそれ以外の箇所（背景映像Ｂ）とを区別して被写体の領域を抽出し、被写体の形状を表し、かつ当該被写体の領域と他の領域とを区別する画素値を有するキー映像Ｋを生成する。そして、第一被写体抽出部１１は、キー映像Ｋをビルボード設定部１５及び第二射影変換部１６に出力する。以下、被写体は第一被写体を示すものとする。
【００８６】
キー映像Ｋは２値映像であってもよいし（例えば、被写体に属する画素の画素値を１とし、それ以外の画素の画素値を０とする）、多値映像であってもよい（例えば、被写体に属する画素の画素値を１とし、それ以外の画素の画素値を０とするが、被写体の境界部については０より大きく１未満の数値とする）。
【００８７】
例えば第一被写体抽出部１１は、以下の式にて、背景生成部１０により生成された背景映像Ｂと第一映像Ｉ1とを比較することで、キー映像Ｋを生成する。
【数８】
2020178235.tif 000010
関数φ（ｐ，ｑ）は、画素値ｐと画素値ｑとの差異に応じて被写体か否かを判定する関数である。
【００８８】
例えば関数φとして、以下の式のように、画素値ｐと画素値ｑとの間の差に対するノルム値（例えばユークリッド距離、マンハッタン距離、チェビシェフ距離）に応じて出力値を決定する関数が用いられる。この場合のφ（ｐ，ｑ）は、１（画素値ｐと画素値ｑとの間の差の絶対値が予め設定された閾値θよりも大きい場合）または０（画素値ｐと画素値ｑとの間の差の絶対値が閾値θ以下である場合）のいずれかの値となる。
【数９】
2020178235.tif 000011
【００８９】
第二被写体抽出部１２は、第一映像Ｉ1の単一フレームから、所定の映像特徴を有する領域（第二被写体の領域）を抽出し、当該領域の形状を表し、かつ当該領域と他の領域とを区別する画素値を有するキー映像Ｆを生成し、キー映像Ｆを合成部１３に出力する。
【００９０】
所定の映像特徴を有する領域とは、第一被写体抽出部１１により抽出される第一被写体に関連する物の領域であり、例えば、第一被写体と共に動く第一被写体の影の領域である。
【００９１】
第二被写体抽出部１２は、例えば、映像特徴として色ベクトルに関する情報を用いるクロマキー技術またはルミナンスキー技術を用いて、キー映像Ｆを生成する。
【００９２】
例えば、以下の式が用いられる。
【数１０】
2020178235.tif 000012
ここで、画素値が離散的である場合には、関数Ψの代わりに、３次元ルックアップテーブルが用いられる。関数Ψはキー映像Ｆの画素値を定める関数であり、例えば、第二被写体としたい色ベクトルｃ1に対し、Ψ（ｃ1）＝１とする。一方、第二被写体としたくない色ベクトルｃ0に対し、Ψ（ｃ0）＝０とする。
【００９３】
例えば第二被写体抽出部１２は、第一映像Ｉ1の各画素が緑色であるか否か（芝生であるか否か）を判定する。そして、第二被写体抽出部１２は、緑色である（芝生である）場合、キー映像Ｆの当該画素の画素値を０に設定し、緑色以外である（芝生でない）場合、キー映像Ｆの当該画素の画素値を１に設定する。
【００９４】
関数Ψは、画素が色ベクトルｃ＝［ｃ(r)  ｃ(g)  ｃ(b)］Ｔ（上付きのＴは、行列またはベクトルの転置を表す）なる３次元のベクトルで表される場合、以下の式が用いられる。
【数１１】
2020178235.tif 000013
θ0(r)，θ1(r)，θ0(g)，θ1(g)，θ0(b)，θ1(b)は、予め設定された閾値である。
【００９５】
尚、第二被写体抽出部１２は、クロマキー技術またはルミナンスキー技術を用いて、キー映像Ｆの画素値を２値以上の多値としてもよい。例えば、キー映像Ｆの画素値を０以上かつ１以下とし、画素値が大きいほど「第二被写体らしい」ものと定義するようにしてもよい。
【００９６】
合成部１３は、背景生成部１０から背景映像Ｂを入力すると共に、第二被写体抽出部１２からキー映像Ｆを入力する。そして、合成部１３は、背景映像Ｂに対し、キー映像Ｆに基づくキーイングにより第一映像Ｉ1の画素値を合成し、合成あり背景映像Ａ（第二被写体が合成された背景映像Ａ）を生成する。合成部１３は、合成あり背景映像Ａを第一射影変換部１４に出力する。
【００９７】
例えば、第二被写体抽出部１２により、第二被写体である影の部分の色をＦ（ｔ；ｘ，ｙ）＝１、それ以外をＦ（ｔ；ｘ，ｙ）＝０としてキー映像Ｆが生成された場合を想定する。この場合、合成部１３は、例えば以下の式にて、背景映像Ｂに対し、キー映像Ｆの示す映像（キー映像Ｆの示す第一映像Ｉ1の部分）を合成した合成あり背景映像Ａを生成する。
【数１２】
2020178235.tif 000014
前記式（１２）において、右辺の第一項は、第一映像Ｉ1におけるキー映像Ｆの示す影の領域の映像を示し、第二項は、背景映像Ｂにおけるキー映像Ｆの示す影以外の領域の映像を示す。
【００９８】
尚、合成部１３は、背景映像Ｂに対し、キー映像Ｆ及びキー映像Ｋに基づくキーイングにより第一映像Ｉ1の画素値を合成し、合成あり背景映像Ａを生成するようにしてもよい。
【００９９】
例えば、第二被写体抽出部１２により、第二被写体である日向の背景色（例えば、日向の芝生）をＦ（ｔ；ｘ，ｙ）＝０、それ以外をＦ（ｔ；ｘ，ｙ）＝１としてキー映像Ｆが生成された場合を想定する。この場合、合成部１３は、例えば以下の式にて、合成あり背景映像Ａを生成する。
【数１３】
2020178235.tif 000015
【０１００】
前記式（１３）において、Ｆ（ｔ；ｘ，ｙ）＝１の部分には日陰の背景領域及び前景（背景領域における影及び被写体領域における影）が含まれ、Ｋ（ｔ；ｘ，ｙ）＝１の部分には前景（被写体）が含まれる。したがって、右辺のＦ（ｔ；ｘ，ｙ）・（１−Ｋ（ｔ；ｘ，ｙ））＝１の部分には、日陰の背景領域（背景領域における影）のみが含まれることとなる。その結果、合成あり背景映像Ａは、背景映像Ｂに対し、影の映像のみを合成した絵柄となる。
【０１０１】
例えば、影の色が被写体の色と同じ場合には、影のみが反映されるべきキー映像Ｆは、被写体を含んでしまい、合成あり背景映像Ａは、被写体の映像も含んでしまう。前記式（１３）を用いることにより、合成あり背景映像Ａから被写体の映像を除外することができる。
【０１０２】
第一射影変換部１４は、合成部１３から合成あり背景映像Ａを入力すると共に、予め設定された第一カメラパラメータｐ1及びカメラパラメータｐ（ｃ）を入力する。
【０１０３】
第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における所定の面内（例えば、地上高０の平面内、実空間上の面Ｇ内）の一点（または部分領域）を第一カメラパラメータｐ1に応じて投影して撮像されたものと仮定する。そして、第一射影変換部１４は、被写界における所定の面内の一点（または部分領域）を、仮想視点（第一仮想視点映像Ｊ1）のカメラパラメータｐ（ｃ）に応じて、第一仮想視点映像Ｊ1の平面上に投影することで、背景の仮想視点映像Ｌを生成する。
【０１０４】
すなわち、第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における所定の面内に存在することを仮定した射影変換を実行し、背景の仮想視点映像Ｌを生成する。第一射影変換部１４は、背景の仮想視点映像Ｌを合成部１７に出力する。
【０１０５】
実装上は、第一射影変換部１４は、第一仮想視点映像Ｊ1の画像座標から第一映像Ｉ1の画像座標へと光線を逆にたどることで、第一仮想視点映像Ｊ1の平面上に投影された合成あり背景映像Ａの画素値を決定し、背景の仮想視点映像Ｌを生成する。
【０１０６】
ビルボード設定部１５は、第一被写体抽出部１１からキー映像Ｋを入力すると共に、第一カメラパラメータｐ1を入力する。そして、ビルボード設定部１５は、キー映像Ｋの示す被写体領域（例えば、Ｋ（ｔ；ｘ，ｙ）＝１を満たす領域）の各連結領域Ｃi（ｉは、連結領域の個々を区別するためのインデックスとする。）に対して、それぞれ所定のモデルによるビルボードの面Πiを設定する。所定のモデルによるビルボードの面Πiとは、例えば、平面、円筒面または球面とする。
【０１０７】
ビルボード設定部１５は、ビルボードの面Πiのパラメータ（例えば、面の方程式の各係数）をビルボードパラメータとして設定し、ビルボードパラメータを第二射影変換部１６に出力する。ここでは、ビルボード設定部１５は、連結領域Ｃiの総数（Ｄ個とする）のビルボードパラメータを出力するものとする。
【０１０８】
第二射影変換部１６は、第一カメラパラメータｐ1及びカメラパラメータｐ（ｃ）を入力する。また、第二射影変換部１６は、第一被写体抽出部１１からキー映像Ｋを入力すると共に、ビルボード設定部１５からＤ個のビルボードパラメータを入力する。
【０１０９】
第二射影変換部１６は、第一映像Ｉ1及びキー映像Ｋの各画素がビルボード（Ｄ個のビルボードパラメータが示す面Πi）上にあるという仮定の下で、第一カメラパラメータｐ1、カメラパラメータｐ（ｃ）及びビルボードを用いて射影変換を実行する。
【０１１０】
第二射影変換部１６は、前景の仮想視点映像（第一被写体の仮想視点映像）Ｍ1〜ＭD及びキーの仮想視点映像（第一キーの仮想視点映像）Ｎ1〜ＮDを生成する。第二射影変換部１６は、前景の仮想視点映像Ｍ1〜ＭD及びキーの仮想視点映像Ｎ1〜ＮDを合成部１７に出力する。ここで、キーの仮想視点映像Ｎ1〜ＮDは、第一被写体の形状を表し、かつ当該第一被写体の領域と他の領域とを区別する画素値を有するキー映像である。
【０１１１】
合成部１７は、第一射影変換部１４から背景の仮想視点映像Ｌを入力すると共に、第二射影変換部１６から前景の仮想視点映像Ｍ1〜ＭD及びキーの仮想視点映像Ｎ1〜ＮDを入力する。そして、合成部１７は、キーの仮想視点映像Ｎ1〜ＮDに基づいて、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ1〜ＭDを合成し、第一仮想視点映像Ｊ1を生成して出力する。
【０１１２】
合成部１７は、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ1〜ＭDを合成する際に、例えば以下の式で表す処理を行う。具体的には、合成部１７は、キーの仮想視点映像Ｎ1〜ＮDにおける当該画素位置の画素値を参照し、ｉ＝１〜Ｄの順番に、その画素値が大きいほど、前景の仮想視点映像Ｍ1〜ＭDを低い透明度で重畳し、その画素値が小さいほど、前景の仮想視点映像Ｍ1〜ＭDを高い透明度で重畳することで、映像ＪＪを生成し、これを第一仮想視点映像Ｊ1とする。
【数１４】
2020178235.tif 000016
【０１１３】
尚、合成部１７は、キーの仮想視点映像Ｎ1〜ＮDを用いることなく、背景の仮想視点映像Ｌを下地として、その上に前景の仮想視点映像Ｍ1〜ＭDを画素位置毎に重畳し、第一仮想視点映像Ｊ1を生成するようにしてもよい。
【０１１４】
また、合成部１７は、第一仮想視点映像Ｊ1の各画素について、当該画素の各ビルボード上の対応点Ｑiと光学主点ＯJとの間の距離を算出し、全ビルボード中最も距離の短いビルボードの画素値を特定し、この画素値を用いて第一仮想視点映像Ｊ1を生成するようにしてもよい。
【０１１５】
これにより、第一映像Ｉ1に含まれる背景及び第一被写体である前景に対し、異なる射影変換を適用することで、異なる視点から見た第一仮想視点映像Ｊ1を生成することができる。この場合、背景映像Ｂにおいて欠落してしまう影等の第二被写体を第二被写体抽出部１２にて抽出し、合成部１３にて背景映像Ｂに合成するようにしたから、合成部１７において、より自然な第一仮想視点映像Ｊ1を得ることができる。したがって、第一被写体の影等の第二被写体を有する領域を適切に合成することができ、一層自然な第一仮想視点映像Ｊ1を生成することが可能となる。
【０１１６】
（第二例）
次に、第一仮想視点映像生成部４の第二例について説明する。図５は、第一仮想視点映像生成部４の第二の構成例を示すブロック図である。この第一仮想視点映像生成部４−２は、第一カメラパラメータｐ1の視点から見た第一映像Ｉ1から、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータｐ（ｃ）の示す視点から見た第一仮想視点映像Ｊ1を生成する。
【０１１７】
第一仮想視点映像生成部４−２は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６、合成部１７及び第一射影変換部１８を備えている。
【０１１８】
図４に示した第一仮想視点映像生成部４−１とこの第一仮想視点映像生成部４−２とを比較すると、両第一仮想視点映像生成部４−１，４−２は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている点で共通する。一方、第一仮想視点映像生成部４−２は、合成部１３を備えておらず、第一射影変換部１４の代わりに第一射影変換部１８を備えている点で、合成部１３及び第一射影変換部１４を備えている第一仮想視点映像生成部４−１と相違する。
【０１１９】
第一射影変換部１８は、第二被写体（例えば影）が合成された合成あり背景映像Ａを入力する代わりに、第二被写体抽出部１２から第二被写体の形状等を表すキー映像Ｆを入力する。また、第一射影変換部１８は、第一映像Ｉ1を入力し、第一カメラパラメータｐ1及びカメラパラメータｐ（ｃ）を入力する。
【０１２０】
第一射影変換部１８は、第一映像Ｉ1からキー映像Ｆの示す映像を抽出し、第二被写体映像を生成する。つまり、第一射影変換部１８は、キー映像Ｆの示す第一映像Ｉ1の部分を第二被写体映像として生成し、第二被写体映像に対し、第一射影変換部１４と同様の処理を行い、第二被写体の仮想視点映像Ｌ’を生成する。
【０１２１】
具体的には、第一射影変換部１８は、第二被写体映像の各画素値が、実空間上の面Ｇ内の一点（または部分領域）を第一カメラパラメータｐ1に応じて投影して撮像されたものと仮定する。そして、第一射影変換部１８は、面Ｇ内の一点（または部分領域）を、カメラパラメータｐ（ｃ）に応じて、第一仮想視点映像Ｊ1の平面上に投影することで、第二被写体の仮想視点映像Ｌ’を生成する。
【０１２２】
すなわち、第一射影変換部１８は、第二被写体映像の各画素値が、面Ｇ内に存在することを仮定した射影変換を実行し、第二被写体の仮想視点映像Ｌ’を生成し、第二被写体の仮想視点映像Ｌ’を合成部１７に出力する。
【０１２３】
合成部１７は、背景の仮想視点映像Ｌの代わりに、第一射影変換部１８から第二被写体の仮想視点映像Ｌ’を入力し、前述した処理を行う。すなわち、合成部１７は、キーの仮想視点映像Ｎ1〜ＮDに基づいて、第二被写体の仮想視点映像Ｌ’及び前景の仮想視点映像Ｍ1〜ＭDを合成し、第一仮想視点映像Ｊ1を生成して出力する。
【０１２４】
これにより、第一映像Ｉ1に含まれる第一被写体及び第二被写体に対し、異なる射影変換を適用することで、異なる視点から見た第一仮想視点映像Ｊ1を生成することができる。この場合、第二被写体抽出部１２にて第二被写体の領域を抽出し、第一射影変換部１８にて第二被写体の仮想視点映像Ｌ’を生成するようにしたから、合成部１７において、より自然な第一仮想視点映像Ｊ1を得ることができる。したがって、第一被写体の影等の第二被写体を有する領域を適切に合成することができ、一層自然な第一仮想視点映像Ｊ1を生成することが可能となる。
【０１２５】
（第三例）
次に、第一仮想視点映像生成部４の第三例について説明する。図６は、第一仮想視点映像生成部４の第三の構成例を示すブロック図である。この第一仮想視点映像生成部４−３は、第一カメラパラメータｐ1の視点から見た第一映像Ｉ1から第一被写体を抽出すると共に、第一映像Ｉ1から背景映像Ｂを抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータｐ（ｃ）の示す視点から見た第一仮想視点映像Ｊ1を生成する。
【０１２６】
第一仮想視点映像生成部４−３は、背景生成部１０、第一被写体抽出部１１、第一射影変換部１４、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている。
【０１２７】
図４に示した第一仮想視点映像生成部４−１とこの第一仮想視点映像生成部４−３とを比較すると、両第一仮想視点映像生成部４−１，４−３は、背景生成部１０、第一被写体抽出部１１、第一射影変換部１４、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている点で共通する。一方、第一仮想視点映像生成部４−３は、第二被写体抽出部１２及び合成部１３を備えていない点で、第二被写体抽出部１２及び合成部１３を備えている第一仮想視点映像生成部４−１と相違する。
【０１２８】
第一射影変換部１４は、背景映像Ｂを入力すると共に、第一カメラパラメータｐ1及びカメラパラメータｐ（ｃ）を入力する。そして、第一射影変換部１４は、背景映像Ｂの各画素値が、実空間上の面Ｇ内の一点（または部分領域）を第一カメラパラメータｐ1に応じて投影して撮像されたものと仮定する。そして、第一射影変換部１４は、面Ｇ内の一点（または部分領域）を、カメラパラメータｐ（ｃ）に応じて、第一仮想視点映像Ｊ1の平面上に投影することで、背景の仮想視点映像Ｌを生成する。
【０１２９】
すなわち、第一射影変換部１４は、背景映像Ｂの各画素値が、面Ｇ内に存在することを仮定した射影変換を実行し、背景の仮想視点映像Ｌを生成し、背景の仮想視点映像Ｌを合成部１７に出力する。
【０１３０】
これにより、第一映像Ｉ1に含まれる第一被写体及び背景映像Ｂに対し、異なる射影変換を適用することで、異なる視点から見た第一仮想視点映像Ｊ1を生成することができる。したがって、自然な第一仮想視点映像Ｊ1を生成することが可能となる。
【０１３１】
以上のように、本発明の実施形態の映像効果装置１によれば、仮想視点設定部３は、制御信号ｃ、第一カメラパラメータｐ1及び第二カメラパラメータｐ2に基づいて、制御信号ｃに対応するカメラパラメータｐ（ｃ）を生成する。また、仮想視点設定部３は、第一カメラパラメータｐ1に対応するカメラパラメータｐ（０）＝ｐ1~を生成し、第二カメラパラメータｐ2に対応するカメラパラメータｐ（１）＝ｐ2~を生成する。
【０１３２】
第一仮想視点映像生成部４は、第一映像Ｉ1から、カメラパラメータｐ（ｃ）の示す視点位置にて撮影される第一仮想視点映像Ｊ1を生成する。また、第二仮想視点映像生成部５は、第二映像Ｉ2から、カメラパラメータｐ（ｃ）の示す視点位置にて撮影される第二仮想視点映像Ｊ2を生成する。
【０１３３】
第一射影変換部６は、第一映像Ｉ1に対し、カメラパラメータｐ（０）＝ｐ1~の示す姿勢または／及びズーム倍率に基づいて射影変換処理及び切出処理を施し、第一切出映像Ｉ1~を生成する。
【０１３４】
第二射影変換部７は、第二映像Ｉ2に対し、カメラパラメータｐ（１）＝ｐ2~の示す姿勢または／及びズーム倍率に基づいて射影変換処理及び切出処理を施し、第二切出映像Ｉ2~を生成する。
【０１３５】
映像切替・合成部８は、制御信号ｃに応じて、第一仮想視点映像Ｊ1及び第二仮想視点映像Ｊ2を加重合成して合成映像を生成し、第一切出映像Ｉ1~、第一仮想視点映像Ｊ1、合成映像、第二仮想視点映像Ｊ2及び第二切出映像Ｉ2~の間で切り替えを行う。そして、映像切替・合成部８は、切り替え後の映像を出力映像Ｊとして出力する。
【０１３６】
これにより、第一切出映像Ｉ1~及び第二切出映像Ｉ2~の両視点の間を移動しつつ、制御信号ｃに応じて、第一切出映像Ｉ1~と、第一仮想視点映像Ｊ1と、第一仮想視点映像Ｊ1及び第二仮想視点映像Ｊ2の合成映像と、第二仮想視点映像Ｊ2と、第二切出映像Ｉ2~との間で切り替えが行われ、出力映像Ｊとして出力される。
【０１３７】
したがって、第一の視点で撮影された第一映像Ｉ1から第二の視点で撮影された第二映像Ｉ2へ（またはその逆へ）視点が遷移する際に、視点移動に伴う滑らかな映像効果を実現することができる。
【０１３８】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【０１３９】
例えば、前記実施形態では、制御信号ｃの値域を０≦ｃ≦１とし、ｃ＝０を第一の視点として第一カメラパラメータｐ1及び第一映像Ｉ1に対応させ、ｃ＝１を第二の視点として第二カメラパラメータｐ2及び第二映像Ｉ2に対応させるようにした。これに対し、ｃ＝０を第二の視点として第二カメラパラメータｐ2及び第二映像Ｉ2に対応させ、ｃ＝１を第一の視点として第一カメラパラメータｐ1及び第一映像Ｉ1に対応させるようにしてもよい。
【０１４０】
この場合、映像効果装置１の映像切替・合成部８は、制御信号ｃが０である場合（ｃ＝０）、第二切出映像Ｉ2~を出力映像Ｊとして出力する。また、映像切替・合成部８は、制御信号ｃが０よりも大きく、かつｎ以下である場合（０＜ｃ≦ｎ）、第二仮想視点映像Ｊ2を出力映像Ｊとして出力する。
【０１４１】
また、映像切替・合成部８は、制御信号ｃがｎよりも大きく、かつＮよりも小さい場合（ｎ＜ｃ＜Ｎ）、以下の式にて、制御信号ｃに応じたパラメータｎ，Ｎによる重みにて、第二仮想視点映像Ｊ2及び第一仮想視点映像Ｊ1を加重合成し、演算結果の合成映像を出力映像Ｊとして出力する。
【数１５】
2020178235.tif 000017
【０１４２】
映像切替・合成部８は、制御信号ｃがＮ以上であり、かつ１よりも小さい場合（Ｎ≦ｃ＜１）、第一仮想視点映像Ｊ1を出力映像Ｊとして出力する。また、映像切替・合成部８は、制御信号ｃが１である場合（ｃ＝１）、第一切出映像Ｉ1~を出力映像Ｊとして出力する。
【０１４３】
また、図１に示した映像効果装置１において、第一射影変換部６及び第二射影変換部７が存在しない場合、映像切替・合成部８は、第一射影変換部６から第一切出映像Ｉ1~を入力する代わりに、第一映像Ｉ1を直接入力し、第二射影変換部７から第二切出映像Ｉ2~を入力する代わりに、第二映像Ｉ2を直接入力するようにしてもよい。
【０１４４】
この場合、映像切替・合成部８は、第一映像Ｉ1を第一対象映像とし、第二映像Ｉ2を第二対象映像として、制御信号ｃに応じて、第一仮想視点映像Ｊ1及び第二仮想視点映像Ｊ2を加重合成して合成映像を生成し、第一対象映像、第一仮想視点映像Ｊ1、合成映像、第二仮想視点映像Ｊ2及び第二対象映像の間で切り替えを行う。そして、映像切替・合成部８は、切り替え後の映像を出力映像Ｊとして出力する。
【０１４５】
また、前記実施形態では、フェーダ２は制御信号ｃを出力し、映像切替・合成部８は、制御信号ｃの値域が０から１まで遷移するに従い、第一切出映像Ｉ1~、第一仮想視点映像Ｊ1、第一仮想視点映像Ｊ1及び第二仮想視点映像Ｊ2の合成映像、第二仮想視点映像Ｊ2及び第二切出映像Ｉ2~を順番に出力映像Ｊとして出力するようにした。
【０１４６】
ここで、例えば制御信号ｃ＝０の場合、当該制御信号ｃにズームアウトを実現するズーム倍率（時間の経過と共にズーム倍率の縮小率が大きくなる値）を含むものとし、制御信号ｃ＝１の場合、当該制御信号ｃにズームインを実現するズーム倍率（時間の経過と共にズーム倍率の拡大率が大きくなる値）を含むものとした場合を想定する。
【０１４７】
この場合、映像切替・合成部８は、制御信号ｃ＝０の場合、ズームアウトの映像効果を実現する第一切出映像Ｉ1~を出力映像Ｊとして出力し、制御信号ｃ＝１の場合、ズームインの映像効果を実現する第二切出映像Ｉ2~を出力映像Ｊとして出力する。
【０１４８】
つまり、映像切替・合成部８は、制御信号ｃの値域が０から１まで遷移するに従い、ズームアウトの映像効果を実現する第一切出映像Ｉ1~を出力し、最後のズーム倍率が反映された被写体サイズの第一仮想視点映像Ｊ1を出力し、第一仮想視点映像Ｊ1及び第二仮想視点映像Ｊ2の合成映像を出力し、第二仮想視点映像Ｊ2を出力し、そして、ズームインの映像効果を実現する第二切出映像Ｉ2~を順番に出力する。
【０１４９】
尚、本発明の実施形態による映像効果装置１のハードウェア構成としては、通常のコンピュータを使用することができる。映像効果装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【０１５０】
映像効果装置１に備えた仮想視点設定部３、第一仮想視点映像生成部４、第二仮想視点映像生成部５、第一射影変換部６、第二射影変換部７及び映像切替・合成部８の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０１５１】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【０１５２】
１  映像効果装置
２  フェーダ
３  仮想視点設定部
４  第一仮想視点映像生成部
５  第二仮想視点映像生成部
６，１４，１８  第一射影変換部
７，１６  第二射影変換部
８  映像切替・合成部（出力映像処理部）
１０  背景生成部
１１  第一被写体抽出部
１２  第二被写体抽出部
１３  合成部（背景合成部）
１５  ビルボード設定部
１７  合成部
ｃ  制御信号
Ｉ1  第一映像
Ｉ2  第二映像
ｐ1  第一カメラパラメータ
ｐ2  第二カメラパラメータ
ｐ（ｃ），ｐ1~，ｐ2~  カメラパラメータ
Ｉ1~  第一切出映像
Ｉ2~  第二切出映像
Ｊ1  第一仮想視点映像
Ｊ2  第二仮想視点映像
Ｊ  出力映像
ｇ1（ｃ），ｇ2（ｃ），ｇu（ｃ），ｇv（ｃ）  ゲイン（重み関数）
Ｋ，Ｆ  キー映像
Ａ  合成あり背景映像
Ｂ  背景映像
Ｌ  背景の仮想視点映像
Ｌ’  第二被写体の仮想視点映像
Ｍ1〜ＭD  前景の仮想視点映像（第一被写体の仮想視点映像）
Ｎ1〜ＮD  キーの仮想視点映像（第一キーの仮想視点映像）
【図１】
2020178235.tif 000018
【図２】
2020178235.tif 000019
【図３】
2020178235.tif 000020
【図４】
2020178235.tif 000021
【図５】
2020178235.tif 000022
【図６】
2020178235.tif 000023