(57)【要約】【課題】仮想視点での映像を適切に生成できる仮想視点映像生成装置、仮想視点映像生成方法、およびプログラムを提供すること。【解決手段】仮想視点映像生成装置１は、オブジェクト分離部１０、カメラ間補間部２０、およびフレーム間補間部３０を備える。オブジェクト分離部１０は、オクルージョンを形成する複数のオブジェクトのそれぞれを分離して、これら複数のオブジェクトのそれぞれのテクスチャを取得する。カメラ間補間部２０は、複数の視点映像のうち、オクルージョンが発生している視点映像を除くものから、このオクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する。フレーム間補間部３０は、オクルージョンが発生しているフレームの前または後ろのフレームから、このオクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する。【選択図】図１
2014120093.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点映像から仮想視点での映像を生成する仮想視点映像生成装置であって、
前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンを形成する複数のオブジェクトのそれぞれを分離して、当該複数のオブジェクトのそれぞれのテクスチャを取得する第１のテクスチャ取得手段と、
前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、前記複数の視点映像のうち、当該オクルージョンが発生している視点映像を除くものから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第２のテクスチャ取得手段と、
前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンが発生しているフレームの前または後ろのフレームから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第３のテクスチャ取得手段と、
前記第１のテクスチャ取得手段により取得されたテクスチャと、前記第２のテクスチャ取得手段により取得されたテクスチャと、前記第３のテクスチャ取得手段により取得されたテクスチャと、の中から、前記オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定する判定手段と、
前記判定手段により判定されたテクスチャを用いて、前記仮想視点での映像を生成する映像生成手段と、を備えることを特徴とする仮想視点映像生成装置。
【請求項２】
前記判定手段は、前記オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものとして、前記第１のテクスチャ取得手段により取得されたテクスチャ、前記第２のテクスチャ取得手段により取得されたテクスチャ、前記第３のテクスチャ取得手段により取得されたテクスチャ、の優先度順で判定することを特徴とする請求項１に記載の仮想視点映像生成装置。
【請求項３】
前記第３のテクスチャ取得手段は、前記オクルージョンが発生している視点映像を構成する複数のフレームのうち、当該オクルージョンが発生しているフレームの前または後ろのフレームから、前記オブジェクトのテクスチャを取得することを特徴とする請求項１または２に記載の仮想視点映像生成装置。
【請求項４】
前記判定手段は、
前記第１のテクスチャ取得手段により取得されたテクスチャを用いるか否かを判定する第１の判定手順と、
前記第２のテクスチャ取得手段により取得されたテクスチャと、前記第３のテクスチャ取得手段により取得されたテクスチャと、のうちいずれを用いるかを判定する第２の判定手順と、を行うことを特徴とする請求項１から３のいずれかに記載の仮想視点映像生成装置。
【請求項５】
前記判定手段は、前記第１の判定手順では、前記第１のテクスチャ取得手段により取得されたテクスチャに対してオブジェクト検出を行って、オブジェクト検出の結果に基づいて判定することを特徴とする請求項４に記載の仮想視点映像生成蔵置。
【請求項６】
前記判定手段は、前記オブジェクト検出においてＨＯＧ特徴量を用いることを特徴とする請求項５に記載の仮想視点映像生成装置。
【請求項７】
前記判定手段は、前記第２の判定手順では、
前記オクルージョンにより隠れている部分を含むオブジェクトについて前記第２のテクスチャ取得手段によりテクスチャが取得された視点映像ではオクルージョンが発生しておらず、かつ、前記第２のテクスチャ取得手段によりテクスチャが取得された視点映像の視点と前記仮想視点との角度差が予め定められた閾値以下である場合に、前記第２のテクスチャ取得手段により取得されたテクスチャを用いると判定し、
前記オクルージョンにより隠れている部分を含むオブジェクトについて前記第２のテクスチャ取得手段によりテクスチャが取得された視点映像ではオクルージョンが発生している場合と、前記角度差が前記閾値より大きい場合と、の少なくともいずれかの場合に、前記第３のテクスチャ取得手段により取得されたテクスチャを用いると判定することを特徴とする請求項４から６のいずれかに記載の仮想視点映像生成装置。
【請求項８】
第１のテクスチャ取得手段、第２のテクスチャ取得手段、第３のテクスチャ取得手段、判定手段、および映像生成手段を備え、複数の視点映像から仮想視点での映像を生成する仮想視点映像生成装置における仮想視点映像生成方法であって、
前記第１のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンを形成する複数のオブジェクトのそれぞれを分離して、当該複数のオブジェクトのそれぞれのテクスチャを取得する第１のステップと、
前記第２のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、前記複数の視点映像のうち、当該オクルージョンが発生している視点映像を除くものから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第２のステップと、
前記第３のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンが発生しているフレームの前または後ろのフレームから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第３のステップと、
前記判定手段が、前記第１のステップにおいて取得されたテクスチャと、前記第２のステップにおいて取得されたテクスチャと、前記第３のステップにおいて取得されたテクスチャと、の中から、前記オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定する第４のステップと、
前記映像生成手段が、前記第４のステップにおいて判定されたテクスチャを用いて、前記仮想視点での映像を生成する第５のステップと、を備えることを特徴とする仮想視点映像生成方法。
【請求項９】
第１のテクスチャ取得手段、第２のテクスチャ取得手段、第３のテクスチャ取得手段、判定手段、および映像生成手段を備え、複数の視点映像から仮想視点での映像を生成する仮想視点映像生成装置における仮想視点映像生成方法を、コンピュータに実行させるためのプログラムであって、
前記第１のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンを形成する複数のオブジェクトのそれぞれを分離して、当該複数のオブジェクトのそれぞれのテクスチャを取得する第１のステップと、
前記第２のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、前記複数の視点映像のうち、当該オクルージョンが発生している視点映像を除くものから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第２のステップと、
前記第３のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンが発生しているフレームの前または後ろのフレームから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第３のステップと、
前記判定手段が、前記第１のステップにおいて取得されたテクスチャと、前記第２のステップにおいて取得されたテクスチャと、前記第３のステップにおいて取得されたテクスチャと、の中から、前記オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定する第４のステップと、
前記映像生成手段が、前記第４のステップにおいて判定されたテクスチャを用いて、前記仮想視点での映像を生成する第５のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点映像を生成する仮想視点映像生成装置、仮想視点映像生成方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、複数の視点映像から仮想視点での映像を生成する手法が提案されている。この手法として、例えば特許文献１には、大規模な空間で行われるイベントを複数台のカメラで撮影した映像から、各オブジェクトのテクスチャを生成し、オブジェクトごとに、生成したテクスチャを３次元空間内に配置した平面にマッピングする手法が示されている。
【０００３】
しかし、特許文献１に示されている上述の手法では、複数のオブジェクトが重なり合うオクルージョンが発生していると、１枚のテクスチャに複数のオブジェクトが含まれてしまう。このため、仮想視点での映像を適切には生成できないおそれがあった。
【０００４】
そこで、例えば非特許文献１には、オクルージョンが発生している視点映像とは視点の異なる他の視点映像を用いて、粗い３次元情報を復元し、手前に存在するオブジェクトを分離してテクスチャを取得する手法が示されている。この手法では、オクルージョンが発生している映像に平行な平面を３次元空間中のオブジェクト位置近傍に設定し、この平面に、他の視点映像から抽出された手前に存在するオブジェクトの領域を投影して、手前のオブジェクトのテクスチャ領域を獲得し、手前のオブジェクトのテクスチャを取得する。また、奥のオブジェクトについては、手前のオブジェクトにより隠れている部分が存在するため、視点の近接する視点映像からテクスチャを取得する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１７０４８７号公報
【非特許文献】
【０００６】
【非特許文献１】Y.  Ohta,  I.  Kitahara,  Y.  Kameda,  H.  Ishikawa,  and  T.  Koyama.  Live  3D  video  in  soccer  stadium.  IJCV,  75(1):173-187,  2007.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
また、非特許文献１には、自由視点映像の生成過程においてオクルージョンが発生している場合に、オブジェクトの分離処理と、カメラ間補間処理と、を併用する手法が示されている。
【０００８】
分離処理は、オクルージョンが小さい場合には有効である。しかし、オクルージョンが大きい場合には、テクスチャの欠損が大きくなり、視覚的品質が低下してしまう。
【０００９】
そこで、一番手前に存在するオブジェクトに対しては、テクスチャの欠損が生じないと判断して、分離処理を適用する。一方、一番手前に存在するオブジェクトよりも奥に存在するオブジェクトに対しては、テクスチャの欠損が発生する可能性があるため、分離処理ではなくカメラ間補間処理を一律に適用する。カメラ間補間処理では、視点の近接する視点映像からテクスチャを取得する。
【００１０】
しかし、視点の近接する視点映像でもオクルージョンが発生している場合には、カメラ間補間処理を適用すると、オクルージョンが発生したままの状態でテクスチャが取得されてしまうため、仮想視点映像の視覚的品質が低下してしまうおそれがあった。
【００１１】
また、仮想視点映像の向きと、カメラ間補間処理においてテクスチャが取得された視点映像の向きと、の差異が大きくなるに従って、取得されたテクスチャの向きが本来のオブジェクトの向きからかけ離れていってしまう。このため、これらの向きの差異が大きい場合にも、カメラ間補間処理を適用すると、仮想視点映像の視覚的品質が低下してしまうおそれがあった。
【００１２】
そこで、本発明は、上述の課題に鑑みてなされたものであり、仮想視点映像の視覚的品質を向上できる仮想視点映像生成装置、仮想視点映像生成方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）  本発明は、複数の視点映像から仮想視点での映像を生成する仮想視点映像生成装置（例えば、図１の仮想視点映像生成装置１に相当）であって、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンを形成する複数のオブジェクトのそれぞれを分離して、当該複数のオブジェクトのそれぞれのテクスチャを取得する第１のテクスチャ取得手段（例えば、図１のオブジェクト分離部１０に相当）と、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、前記複数の視点映像のうち、当該オクルージョンが発生している視点映像を除くものから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第２のテクスチャ取得手段（例えば、図１のカメラ間補間部２０に相当）と、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンが発生しているフレームの前または後ろのフレームから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第３のテクスチャ取得手段（例えば、図１のフレーム間補間部３０に相当）と、前記第１のテクスチャ取得手段により取得されたテクスチャと、前記第２のテクスチャ取得手段により取得されたテクスチャと、前記第３のテクスチャ取得手段により取得されたテクスチャと、の中から、前記オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定する判定手段（例えば、図１の判定部４０に相当）と、前記判定手段により判定されたテクスチャを用いて、前記仮想視点での映像を生成する映像生成手段（例えば、図１の映像生成部５０に相当）と、を備えることを特徴とする仮想視点映像生成装置を提案している。
【００１４】
この発明によれば、複数の視点映像から仮想視点での映像を生成する仮想視点映像生成装置に、第１のテクスチャ取得手段、第２のテクスチャ取得手段、第３のテクスチャ取得手段、判定手段、および映像生成手段を設けた。そして、第１のテクスチャ取得手段により、複数の視点映像のいずれかにおいてオクルージョンが発生すると、このオクルージョンを形成する複数のオブジェクトのそれぞれを分離して、これら複数のオブジェクトのそれぞれのテクスチャを取得することとした。また、第２のテクスチャ取得手段により、複数の視点映像のいずれかにおいてオクルージョンが発生すると、これら複数の視点映像のうち、オクルージョンが発生している視点映像を除くものから、このオクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得することとした。また、第３のテクスチャ取得手段により、複数の視点映像のいずれかにおいてオクルージョンが発生すると、このオクルージョンが発生しているフレームの前または後ろのフレームから、このオクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得することとした。また、判定手段により、第１のテクスチャ取得手段により取得されたテクスチャと、第２のテクスチャ取得手段により取得されたテクスチャと、第３のテクスチャ取得手段により取得されたテクスチャと、の中から、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定することとした。また、映像生成手段により、判定手段により判定されたテクスチャを用いて、仮想視点での映像を生成することとした。
【００１５】
このため、第１のテクスチャ取得手段により、オブジェクトを分離してテクスチャを取得する分離処理が行われ、第２のテクスチャ取得手段により、他の視点映像からテクスチャを取得するカメラ間補間処理が行われるとともに、第３のテクスチャ取得手段により、他のフレームからテクスチャを取得するフレーム間補間処理が行われる。したがって、仮想視点映像の生成を、分離処理およびカメラ間補間処理だけでなく、フレーム間補間処理も組み合わせて行うことができるので、仮想視点映像の視覚的品質を向上できる。
【００１６】
（２）  本発明は、（１）の仮想視点映像生成装置について、前記判定手段は、前記オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものとして、前記第１のテクスチャ取得手段により取得されたテクスチャ、前記第２のテクスチャ取得手段により取得されたテクスチャ、前記第３のテクスチャ取得手段により取得されたテクスチャ、の優先度順で判定することを特徴とする仮想視点映像生成装置を提案している。
【００１７】
この発明によれば、（１）の仮想視点映像生成装置において、判定手段により、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものとして、第１のテクスチャ取得手段により取得されたテクスチャ、第２のテクスチャ取得手段により取得されたテクスチャ、第３のテクスチャ取得手段により取得されたテクスチャ、の優先度順で判定することとした。
【００１８】
このため、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして、第１のテクスチャ取得手段、第２のテクスチャ取得手段、第３のテクスチャ取得手段の優先度順に、取得されたテクスチャを用いることができる。
【００１９】
（３）  本発明は、（１）または（２）の仮想視点映像生成装置について、前記第３のテクスチャ取得手段は、前記オクルージョンが発生している視点映像を構成する複数のフレームのうち、当該オクルージョンが発生しているフレームの前または後ろのフレームから、前記オブジェクトのテクスチャを取得することを特徴とする仮想視点映像生成装置を提案している。
【００２０】
この発明によれば、（１）または（２）の仮想視点映像生成装置において、第３のテクスチャ取得手段により、オクルージョンが発生している視点映像を構成する複数のフレームのうち、このオクルージョンが発生しているフレームの前または後ろのフレームから、オブジェクトのテクスチャを取得することとした。
【００２１】
このため、フレーム間補間処理においてテクスチャを取得する際に、他のフレームとして、オクルージョンが発生している視点映像を構成するフレームが用いられることになる。したがって、オクルージョンが発生している視点映像とは異なる他の視点映像を構成するフレームが用いられる場合と比べて、視点が同一であるため、仮想視点映像の視覚的品質をより向上できる。
【００２２】
（４）  本発明は、（１）〜（３）のいずれかの仮想視点映像生成装置について、前記判定手段は、前記第１のテクスチャ取得手段により取得されたテクスチャを用いるか否かを判定する第１の判定手順（例えば、図２のステップＳ９の処理に相当）と、前記第２のテクスチャ取得手段により取得されたテクスチャと、前記第３のテクスチャ取得手段により取得されたテクスチャと、のうちいずれを用いるかを判定する第２の判定手順（例えば、図２のステップＳ１１の処理に相当）と、を行うことを特徴とする仮想視点映像生成装置を提案している。
【００２３】
この発明によれば、（１）〜（３）のいずれかの仮想視点映像生成装置において、判定手段により、第１の判定手順および第２の判定手順を行うこととした。第１の判定手順では、第１のテクスチャ取得手段により取得されたテクスチャを用いるか否かを判定することとした。第２の判定手順では、第２のテクスチャ取得手段により取得されたテクスチャと、第３のテクスチャ取得手段により取得されたテクスチャと、のうちいずれを用いるかを判定することとした。
【００２４】
このため、第１の判定手順、第２の判定手順の順番に行うようにすることで、第１の判定手順において用いると判定された場合には、第２の判定手順を行わないようにすることができる。したがって、仮想視点映像生成装置の処理を軽減できる場合がある。
【００２５】
（５）  本発明は、（４）の仮想視点映像生成装置について、前記判定手段は、前記第１の判定手順では、前記第１のテクスチャ取得手段により取得されたテクスチャに対してオブジェクト検出を行って、オブジェクト検出の結果に基づいて判定することを特徴とする仮想視点映像生成蔵置を提案している。
【００２６】
ここで、非特許文献１では、上述のように、一番手前に存在するオブジェクトよりも奥に存在するオブジェクトに対しては、分離処理ではなくカメラ間補間処理を一律に適用する。しかし、奥に存在するオブジェクトであっても、オクルージョンが小さい場合には、テクスチャの欠損が小さいため、カメラ間補間処理よりも分離処理を適用した方が、フレーム間での視点の一貫性を保つことができ、仮想視点映像の視覚的品質が向上する。
【００２７】
そこで、この発明によれば、（４）の仮想視点映像生成装置において、判定手段により、第１の判定手順では、第１のテクスチャ取得手段により取得されたテクスチャに対してオブジェクト検出を行って、オブジェクト検出の結果に基づいて判定することとした。
【００２８】
このため、分離処理により取得されたテクスチャが、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして適正であるか否かを、オブジェクト検出を用いて判別することができる。これによれば、分離処理により取得されたテクスチャと、カメラ間補間処理またはフレーム間補間処理により取得されたテクスチャと、のどちらを用いるべきかをより適切に判別することができる。したがって、仮想視点映像の視覚的品質をさらに向上できる。
【００２９】
（６）  本発明は、（５）の仮想視点映像生成装置について、前記判定手段は、前記オブジェクト検出においてＨＯＧ特徴量を用いることを特徴とする仮想視点映像生成装置を提案している。
【００３０】
この発明によれば、（５）の仮想視点映像生成装置において、判定手段により、オブジェクト検出においてＨＯＧ特徴量を用いることとした。
【００３１】
このため、ＨＯＧ特徴量を用いてオブジェクト検出を行うことができる。
【００３２】
（７）  本発明は、（４）〜（６）のいずれかの仮想視点映像生成装置について、前記判定手段は、前記第２の判定手順では、前記オクルージョンにより隠れている部分を含むオブジェクトについて前記第２のテクスチャ取得手段によりテクスチャが取得された視点映像ではオクルージョンが発生しておらず、かつ、前記第２のテクスチャ取得手段によりテクスチャが取得された視点映像の視点と前記仮想視点との角度差が予め定められた閾値以下である場合に、前記第２のテクスチャ取得手段により取得されたテクスチャを用いると判定し、前記オクルージョンにより隠れている部分を含むオブジェクトについて前記第２のテクスチャ取得手段によりテクスチャが取得された視点映像ではオクルージョンが発生している場合と、前記角度差が前記閾値より大きい場合と、の少なくともいずれかの場合に、前記第３のテクスチャ取得手段により取得されたテクスチャを用いると判定することを特徴とする仮想視点映像生成装置を提案している。
【００３３】
この発明によれば、（４）〜（６）のいずれかの仮想視点映像生成装置において、判定手順により、第２の判定手順では、以下の第１の条件および第２の条件をともに満たしている場合には、第２のテクスチャ取得手段により取得されたテクスチャを用いると判定し、以下の第１の条件または第２の条件のうち少なくともいずれかを満たしていない場合には、第３のテクスチャ取得手段により取得されたテクスチャを用いると判定することとした。第１の条件は、オクルージョンにより隠れている部分を含むオブジェクトについて、第２のテクスチャ取得手段によりテクスチャが取得された視点映像ではオクルージョンが発生していない、というものである。第２の条件は、第２のテクスチャ取得手段によりテクスチャが取得された視点映像の視点と、仮想視点と、の角度差が予め定められた閾値以下である、というものである。
【００３４】
このため、第２のテクスチャ取得手段によりテクスチャが取得された視点映像でもオクルージョンが発生している場合と、上述の角度差が閾値より大きい場合とでは、カメラ間補間処理により取得されたテクスチャの代わりに、フレーム間補間処理により取得されたテクスチャが用いられることになる。したがって、仮想視点映像の視覚的品質をより一層向上できる。
【００３５】
（８）  本発明は、第１のテクスチャ取得手段（例えば、図１のオブジェクト分離部１０に相当）、第２のテクスチャ取得手段（例えば、図１のカメラ間補間部２０に相当）、第３のテクスチャ取得手段（例えば、図１のフレーム間補間部３０に相当）、判定手段（例えば、図１の判定部４０に相当）、および映像生成手段（例えば、図１の映像生成部５０に相当）を備え、複数の視点映像から仮想視点での映像を生成する仮想視点映像生成装置（例えば、図１の仮想視点映像生成装置１に相当）における仮想視点映像生成方法であって、前記第１のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンを形成する複数のオブジェクトのそれぞれを分離して、当該複数のオブジェクトのそれぞれのテクスチャを取得する第１のステップ（例えば、図２のステップＳ６の処理に相当）と、前記第２のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、前記複数の視点映像のうち、当該オクルージョンが発生している視点映像を除くものから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第２のステップ（例えば、図２のステップＳ７の処理に相当）と、前記第３のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンが発生しているフレームの前または後ろのフレームから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第３のステップ（例えば、図２のステップＳ８の処理に相当）と、前記判定手段が、前記第１のステップにおいて取得されたテクスチャと、前記第２のステップにおいて取得されたテクスチャと、前記第３のステップにおいて取得されたテクスチャと、の中から、前記オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定する第４のステップ（例えば、図２のステップＳ９、Ｓ１１の処理に相当）と、前記映像生成手段が、前記第４のステップにおいて判定されたテクスチャを用いて、前記仮想視点での映像を生成する第５のステップ（例えば、図２のステップＳ１２の処理に相当）と、を備えることを特徴とする仮想視点映像生成方法を提案している。
【００３６】
この発明によれば、第１のテクスチャ取得手段により、複数の視点映像のいずれかにおいてオクルージョンが発生すると、このオクルージョンを形成する複数のオブジェクトのそれぞれを分離して、これら複数のオブジェクトのそれぞれのテクスチャを取得することとした。また、第２のテクスチャ取得手段により、複数の視点映像のいずれかにおいてオクルージョンが発生すると、これら複数の視点映像のうち、このオクルージョンが発生している視点映像を除くものから、このオクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得することとした。また、第３のテクスチャ取得手段により、複数の視点映像のいずれかにおいてオクルージョンが発生すると、このオクルージョンが発生しているフレームの前または後ろのフレームから、このオクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得することとした。また、判定手段により、第１のテクスチャ取得手段により取得されたテクスチャと、第２のテクスチャ取得手段により取得されたテクスチャと、第３のテクスチャ取得手段により取得されたテクスチャと、の中から、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定することとした。また、映像生成手段により、判定手段により判定されたテクスチャを用いて、仮想視点での映像を生成することとした。このため、上述した効果と同様の効果を奏することができる。
【００３７】
（９）  本発明は、第１のテクスチャ取得手段（例えば、図１のオブジェクト分離部１０に相当）、第２のテクスチャ取得手段（例えば、図１のカメラ間補間部２０に相当）、第３のテクスチャ取得手段（例えば、図１のフレーム間補間部３０に相当）、判定手段（例えば、図１の判定部４０に相当）、および映像生成手段（例えば、図１の映像生成部５０に相当）を備え、複数の視点映像から仮想視点での映像を生成する仮想視点映像生成装置（例えば、図１の仮想視点映像生成装置１に相当）における仮想視点映像生成方法を、コンピュータに実行させるためのプログラムであって、前記第１のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンを形成する複数のオブジェクトのそれぞれを分離して、当該複数のオブジェクトのそれぞれのテクスチャを取得する第１のステップ（例えば、図２のステップＳ６の処理に相当）と、前記第２のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、前記複数の視点映像のうち、当該オクルージョンが発生している視点映像を除くものから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第２のステップ（例えば、図２のステップＳ７の処理に相当）と、前記第３のテクスチャ取得手段が、前記複数の視点映像のいずれかにおいてオクルージョンが発生すると、当該オクルージョンが発生しているフレームの前または後ろのフレームから、当該オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する第３のステップ（例えば、図２のステップＳ８の処理に相当）と、前記判定手段が、前記第１のステップにおいて取得されたテクスチャと、前記第２のステップにおいて取得されたテクスチャと、前記第３のステップにおいて取得されたテクスチャと、の中から、前記オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定する第４のステップ（例えば、図２のステップＳ９、Ｓ１１の処理に相当）と、前記映像生成手段が、前記第４のステップにおいて判定されたテクスチャを用いて、前記仮想視点での映像を生成する第５のステップ（例えば、図２のステップＳ１２の処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。
【００３８】
この発明によれば、コンピュータを用いてプログラムを実行することで、第１のテクスチャ取得手段により、複数の視点映像のいずれかにおいてオクルージョンが発生すると、このオクルージョンを形成する複数のオブジェクトのそれぞれを分離して、これら複数のオブジェクトのそれぞれのテクスチャを取得することとした。また、第２のテクスチャ取得手段により、複数の視点映像のいずれかにおいてオクルージョンが発生すると、これら複数の視点映像のうち、このオクルージョンが発生している視点映像を除くものから、このオクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得することとした。また、第３のテクスチャ取得手段により、複数の視点映像のいずれかにおいてオクルージョンが発生すると、このオクルージョンが発生しているフレームの前または後ろのフレームから、このオクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得することとした。また、判定手段により、第１のテクスチャ取得手段により取得されたテクスチャと、第２のテクスチャ取得手段により取得されたテクスチャと、第３のテクスチャ取得手段により取得されたテクスチャと、の中から、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定することとした。また、映像生成手段により、判定手段により判定されたテクスチャを用いて、仮想視点での映像を生成することとした。このため、上述した効果と同様の効果を奏することができる。
【発明の効果】
【００３９】
本発明によれば、仮想視点映像の視覚的品質を向上できる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態に係る仮想視点映像生成装置のブロック図である。
【図２】前記仮想視点映像生成装置が行う仮想視点映像生成処理のフローチャートである。
【図３】前記仮想視点映像生成装置が行う仮想視点映像生成処理のフローチャートである。
【発明を実施するための形態】
【００４１】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００４２】
［仮想視点映像生成装置１の構成］
図１は、本発明の一実施形態に係る仮想視点映像生成装置１のブロック図である。仮想視点映像生成装置１は、互いに異なる視点からの映像である複数の視点映像を入力とし、これら複数の視点映像から仮想視点での映像である仮想視点映像を生成する。この仮想視点映像生成装置１は、オブジェクト分離部１０、カメラ間補間部２０、フレーム間補間部３０、判定部４０、映像生成部５０、および制御部６０を備える。
【００４３】
オブジェクト分離部１０は、分離処理（後述の図２のステップＳ６の処理を参照）を行う。これによれば、複数の視点映像のいずれかにおいてオクルージョンが発生すると、オクルージョンを形成する複数のオブジェクトのそれぞれを分離して、これら複数のオブジェクトのそれぞれのテクスチャを取得することができる。
【００４４】
カメラ間補間部２０は、カメラ間補間処理（後述の図２のステップＳ７の処理を参照）を行う。これによれば、複数の視点映像のいずれかにおいてオクルージョンが発生すると、これら複数の視点映像のうち、オクルージョンが発生している視点映像を除くものから、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得することができる。
【００４５】
フレーム間補間部３０は、フレーム間補間処理（後述の図２のステップＳ８の処理を参照）を行う。これによれば、複数の視点映像のいずれかにおいてオクルージョンが発生すると、オクルージョンが発生しているフレームの前または後ろのフレームから、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得することができる。
【００４６】
判定部４０は、オブジェクト分離部１０により取得されたテクスチャと、カメラ間補間部２０により取得されたテクスチャと、フレーム間補間部３０により取得されたテクスチャと、の中から、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いるものを判定する。
【００４７】
映像生成部５０は、判定部４０により判定されたテクスチャを用いて、仮想視点映像を生成する。
【００４８】
制御部６０は、図２、３を用いて後述するように、種々の処理を行う。
【００４９】
［仮想視点映像生成装置１の動作］
以上の構成を備える仮想視点映像生成装置１の動作について、図２、３を用いて以下に説明する。
【００５０】
図２は、仮想視点映像生成装置１により行われる仮想視点映像生成処理のフローチャートである。
【００５１】
ステップＳ１において、制御部６０は、複数の視点映像のそれぞれについて、視点映像とフィールド座標との間で成立する平面射影行列Ｈと、視点映像の視点および仮想視点においてフィールド座標との間で成立する中心射影行列Ｐと、を推定し、ステップＳ２に処理を移す。平面射影行列Ｈについては、視点映像の４点以上の対応点をフィールド平面上で指定することにより、推定する。中心射影行列Ｐについては、視点映像の４点以上の対応点をフィールド平面上でそれぞれ指定するとともに、２点以上の対応点をフィールド空間上でそれぞれ指定することにより、推定する。
【００５２】
ステップＳ２において、制御部６０は、複数の視点映像のそれぞれにおいて、各フレーム画像を前景領域と背景領域とに分割し、ステップＳ３に処理を移す。具体的には、前景領域が写っていない背景領域を取得し、取得した背景領域と現在のフレーム画像とから背景差分を行って、前景領域と背景領域とを分割したマスク画像を生成する。なお、前景領域とは、時間とともに位置や形状の変化する領域のことであり、対象とする空間が例えばサッカーフィールドである場合には、サッカー選手や審判やボールなどのオブジェクト領域のことである。また、背景領域とは、前景領域以外の領域のことである。
【００５３】
ステップＳ３において、制御部６０は、現在のフレームにおいて、フレーム間の時系列的処理により、オブジェクトごとにパーティクルフィルタによるオブジェクト追跡処理を行い、ステップＳ４に処理を移す。このパーティクルフィルタによる時系列的なオブジェクト追跡処理について、図３を用いて以下に詳述する。
【００５４】
図３は、制御部６０が行う、パーティクルフィルタによる時系列的なオブジェクト追跡処理のフローチャートである。
【００５５】
ステップＳ３１において、制御部６０は、所定のフレームにおいて、ステップＳ２において生成したマスク画像の外接領域を、オブジェクトごとのパーティクルフィルタ外接枠として設定し、ステップＳ３２に処理を移す。なお、マスク画像の外接領域については、例えば、ステップＳ２において生成したマスク画像をユーザが目視で確認し、オクルージョンが発生しているオブジェクトに対してユーザが設定するものとしてもよい。
【００５６】
ステップＳ３２において、制御部６０は、時刻ｔにおいて各オブジェクトのパーティクルフィルタ内に存在する粒子ごとの状態量ｃ（ｔ）を、以下の式（１）のように定義し、ステップＳ３３に処理を移す。
【００５７】
【数１】
2014120093.tif 000003
【００５８】
式（１）において、ｘ（ｔ）およびｙ（ｔ）は、時刻ｔにおける粒子の２次元座標を示し、Δｘ（ｔ）は、時刻ｔにおける粒子の横方向の速度を示し、Δｙ（ｔ）は、時刻ｔにおける粒子の縦方向の速度を示す。なお、状態遷移関数については、フレーム間で粒子が等速直線運動を行うものと仮定し、ガウスノイズω（ｔ）を用いて以下の式（２）のように設定する。
【００５９】
【数２】
2014120093.tif 000004
【００６０】
ステップＳ３３において、制御部６０は、各粒子の尤度を求め、ステップＳ３４に処理を移す。具体的には、まず、各粒子の位置が、マスク画像において前景領域であるか背景領域であるかを判別する。そして、背景領域であると判別した粒子については、尤度をゼロとし、前景領域であると判別した粒子については、オブジェクトごとに付与された事前情報に基づいて尤度を設定する。
【００６１】
例えばオブジェクトがサッカー選手である場合には、ユニフォームの色情報Ｉｒｅｆに基づいて、閾値ｔｈｒｅｆを用いて、粒子位置の画素値Ｉが以下の式（３）を見たすか否かを判別する。そして、満たす場合には尤度をゼロとし、満たさない場合には尤度を「１」とする。
【００６２】
【数３】
2014120093.tif 000005
【００６３】
ステップＳ３４において、制御部６０は、ステップＳ３３において尤度をゼロとした粒子を消滅させ、尤度が「１」である粒子の近傍に粒子を再配置し、ステップＳ３５に処理を移す。
【００６４】
ステップＳ３５において、制御部６０は、オブジェクトごとに、ステップＳ３４において再配置した粒子群の外接領域を算出し、各オブジェクトのパーティクルフィルタ外接枠を更新し、ステップＳ３６に処理を移す。
【００６５】
ステップＳ３６において、制御部６０は、ステップＳ３２〜Ｓ３５の処理を最終フレームまで行ったか否かを判別する。そして、行っていないと判別した場合には、ステップＳ３７に処理を移し、行ったと判別した場合には、図２のステップＳ４に処理を移す。
【００６６】
ステップＳ３７において、制御部６０は、処理対象フレームを更新し、ステップＳ３２に処理を移す。
【００６７】
図２に戻って、ステップＳ４において、制御部６０は、オクルージョンが発生しているか否かを判別する。そして、発生していると判別した場合には、ステップＳ５に処理を移し、発生していないと判別した場合には、ステップＳ１２に処理を移す。
【００６８】
ステップＳ５において、制御部６０は、ステップＳ２において前景領域と背景領域とを分割した結果と、ステップＳ３におけるオブジェクト追跡処理による現在のフレームでの結果と、に基づいて、オクルージョン領域を検出し、ステップＳ６に処理を移す。具体的には、ステップＳ３におけるオブジェクト追跡処理により追跡した全てのオブジェクトについて、パーティクルフィルタの外接枠の位置により、オブジェクトがいずれの連結した前景領域に含まれるかを求めることによって、複数のオブジェクトが含まれる連結した前景領域を求め、求めた前景領域をオクルージョン領域とする。
【００６９】
ステップＳ６において、オブジェクト分離部１０は、ステップＳ５において検出されたオクルージョン領域について分離処理を行って、ステップ７に処理を移す。具体的には、ステップＳ５において検出されたオクルージョン領域について、このオクルージョンを形成する複数のオブジェクトのそれぞれを分離して、これら複数のオブジェクトのそれぞれのテクスチャを取得する。オブジェクトの分離には、例えば、複数の視点映像のうちこのオクルージョンが発生している視点映像を除くもの、すなわち他の視点での視点映像におけるテクスチャを投影することで分離する方法や、ステップＳ３におけるオブジェクト追跡処理による結果に基づいて分離する方法を、適用することができる。
【００７０】
ステップＳ７において、カメラ間補間部２０は、ステップＳ５において検出されたオクルージョン領域についてカメラ間補間処理を行って、ステップＳ８に処理を移す。具体的には、ステップＳ５において検出されたオクルージョン領域について、複数の視点映像のうちこのオクルージョンが発生している視点映像を除くもの、すなわち他の視点での視点映像から、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する。
【００７１】
ここで、ステップＳ３におけるオブジェクト追跡処理では、複数の視点映像の視点間で各オブジェクトを追跡するために、オブジェクトごとに、複数の視点映像の視点間で同一のＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）が割り当てられている。このため、ステップＳ７においても上述のＩＤを用いることによって、オクルージョンにより隠れている部分を含むオブジェクトについて、他の視点の視点映像においても判別でき、他の視点の視点映像からテクスチャを取得することができる。
【００７２】
ステップＳ８において、フレーム間補間部３０は、ステップＳ５において検出されたオクルージョン領域についてフレーム間補間処理を行って、ステップＳ９に処理を移す。具体的には、ステップＳ５において検出されたオクルージョン領域について、オクルージョンが発生しているフレームの前または後ろのフレームから、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャを取得する。
【００７３】
ここで、ステップＳ３におけるオブジェクト追跡処理では、フレーム間で各オブジェクトを追跡するために、オブジェクトごとに、フレーム間で同一のＩＤが割り振られている。このため、ステップＳ８においても上述のＩＤを用いることによって、オクルージョンにより隠れている部分を含むオブジェクトについて、他のフレームにおいても判別でき、他のフレームからテクスチャを取得することができる。
【００７４】
ステップＳ９において、判定部４０は、ステップＳ６における分離処理により取得されたテクスチャを、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いることが、適正か否かを判別し、ステップＳ１０に処理を移す。判別には、テクスチャごとにオブジェクト検出を適用する。そして、オブジェクトがただ１つ検出された場合、言い換えるとオブジェクトの欠損や過剰領域が閾値以下である場合には、適正であると判別する。一方、オブジェクトが検出されなかった場合や、オブジェクトが複数検出された場合、言い換えるとオブジェクトの欠損や過剰領域が閾値より大きい場合には、適正ではないと判別する。
【００７５】
なお、分離処理では、他のオブジェクトの一部または全部が連結したままの状態で、分離したいオブジェクトが分離されてしまうことが有り得る。この分離したいオブジェクトに対して連結している他のオブジェクトの領域のことを、上述のように過剰領域と呼ぶ。
【００７６】
また、上述のオブジェクトの検出では、例えば、対象とするオブジェクトの種類に応じて、オブジェクト群の画像のＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ）特徴量を正事例として学習し、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）などによる識別器を作成してもよい。
【００７７】
ステップＳ１０において、判定部４０は、ステップＳ９において適正であると判別した場合には、ステップＳ１２に処理を移し、ステップＳ９において適正ではないと判別した場合には、ステップＳ１１に処理を移す。
【００７８】
ステップＳ１１において、判定部４０は、ステップＳ７におけるカメラ間補間処理により取得されたテクスチャと、ステップＳ８におけるフレーム間補間処理により取得されたテクスチャと、のうち、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャとして用いることが適正であるものを、判別し、ステップＳ１２に処理を移す。判別には、以下の第１の条件および第２の条件を用いる。第１の条件は、オクルージョンにより隠れている部分を含むオブジェクトについて、カメラ間補間部２０によりテクスチャが取得された視点映像ではオクルージョンが発生していない、というものである。第２の条件は、カメラ間補間部２０によりテクスチャが取得された視点映像の視点と、仮想視点と、の角度差が予め定められた閾値以下である、というものである。第１の条件および第２の条件をともに満たしている場合には、ステップＳ７におけるカメラ間補間処理により取得されたテクスチャが適正であると判別する。一方、第１の条件または第２の条件の少なくともいずれかを満たしていない場合には、ステップＳ８におけるフレーム間補間処理により取得されたテクスチャが適正であると判別する。
【００７９】
なお、カメラ間補間部２０によりテクスチャが取得された視点映像の視点と、仮想視点と、の角度差は、カメラ間補間部２０によりテクスチャが取得された視点映像の視点の向きと、仮想視点の向きと、の内積に基づいて定義される類似度により求めることができる。類似度が閾値以上である場合には、上述の角度差が予め定められた閾値以下であると判別し、類似度が閾値より小さい場合には、上述の角度差が予め定められた閾値より大きいと判別する。カメラ間補間部２０によりテクスチャが取得された視点映像の視点の向きと、仮想視点の向きと、の内積は、仮想視点のベクトルと、ステップＳ１において推定された中心射影行列Ｐにより得られる光軸のベクトルと、から算出することができる。
【００８０】
ステップＳ１２において、映像生成部５０は、仮想視点映像を生成し、図２の処理を終了する。具体的には、映像中のテクスチャ位置と、ステップＳ１において推定された平面射影行列Ｈと、に基づいて、各テクスチャを３次元フィールド上に配置して、仮想視点の映像を合成する。
【００８１】
なお、ステップＳ９において、ステップＳ６における分離処理により取得されたテクスチャが適正であると判別された場合には、ステップＳ６における分離処理により取得されたテクスチャを、仮想視点映像の生成に用いる。また、ステップＳ１１において、ステップＳ７におけるカメラ間補間処理により取得されたテクスチャが適正であると判別された場合には、ステップＳ７におけるカメラ間補間処理により取得されたテクスチャを、仮想視点映像の生成に用いる。
【００８２】
一方、ステップＳ１１において、ステップＳ８におけるフレーム間補間処理により取得されたテクスチャが適正であると判別された場合には、ステップＳ８におけるフレーム間補間処理により取得されたテクスチャを、仮想視点映像の生成に用いる。また、この場合には、オクルージョンにより隠れている部分を含むオブジェクトのテクスチャについて、ステップＳ２における前景抽出処理またはステップＳ６における分離処理により適正に取得されている直近フレームのテクスチャを求め、ステップＳ３におけるオブジェクト追跡処理により推定された位置に、求めたテクスチャを配置する。
【００８３】
以上の仮想視点映像生成装置１によれば、以下の効果を奏することができる。
【００８４】
仮想視点映像生成装置１は、オブジェクトを分離してテクスチャを取得する分離処理と、他の視点映像からテクスチャを取得するカメラ間補間処理と、他のフレームからテクスチャを取得するフレーム間補間処理と、を行う。このため、仮想視点映像の生成を、分離処理およびカメラ間補間処理だけでなく、フレーム間補間処理も組み合わせて行うことができるので、仮想視点映像の視覚的品質を向上できる。
【００８５】
また、仮想視点映像生成装置１は、図２のステップＳ９において、分離処理により取得されたテクスチャが適正か否かを判別し、適正であると判別した場合には、このテクスチャを用いて仮想視点映像を生成する。一方、適正ではないと判別した場合には、図２のステップＳ１１において、カメラ間補間処理により取得されたテクスチャが適正か否かを判別し、適正であると判別した場合には、このテクスチャを用いて仮想視点映像を生成し、適切ではないと判別した場合には、フレーム間補間処理により取得されたテクスチャを用いて仮想視点映像を生成する。このため、分離処理により取得されたテクスチャ、カメラ間補間処理により取得されたテクスチャ、フレーム間補間処理により取得されたテクスチャ、の優先度順に、取得されたテクスチャを用いることができる。
【００８６】
また、仮想視点映像生成装置１は、図２のステップＳ９において、分離処理により取得されたテクスチャが適正か否かを判別し、適正であると判別した場合には、このテクスチャを用いて仮想視点映像を生成する。一方、適正ではないと判別した場合には、図２のステップＳ１１において、カメラ間補間処理により取得されたテクスチャが適正か否かを判別し、適正であると判別した場合には、このテクスチャを用いて仮想視点映像を生成し、適切ではないと判別した場合には、フレーム間補間処理により取得されたテクスチャを用いて仮想視点映像を生成する。このため、ステップＳ９において適正であると判別した場合には、ステップＳ１１は行わないことになる。したがって、仮想視点映像生成装置１の処理を軽減できる場合がある。
【００８７】
また、仮想視点映像生成装置１は、図２のステップＳ９において、分離処理により取得されたテクスチャが適正か否かを判別する際に、ＨＯＧ特徴量を用いたオブジェクト検出を用いる。このため、分離処理により取得されたテクスチャと、カメラ間補間処理またはフレーム間補間処理により取得されたテクスチャと、のどちらを用いるべきかをより適切に判別することができる。したがって、仮想視点映像の視覚的品質をさらに向上できる。
【００８８】
また、仮想視点映像生成装置１は、オクルージョンにより隠れている部分を含むオブジェクトについて、カメラ間補間部２０によりテクスチャが取得された視点映像でもオクルージョンが発生している場合と、カメラ間補間部２０によりテクスチャが取得された視点映像の視点と仮想視点との角度差が閾値より大きい場合とでは、カメラ間補間処理により取得されたテクスチャの代わりに、フレーム間補間処理により取得されたテクスチャが用いる。したがって、仮想視点映像の視覚的品質をより一層向上できる。
【００８９】
なお、本発明の仮想視点映像生成装置１の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを仮想視点映像生成装置１に読み込ませ、実行することによって、本発明を実現できる。
【００９０】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、仮想視点映像生成装置１に設けられたプロセッサによって行われる。
【００９１】
また、上述のプログラムは、このプログラムを記憶装置などに格納した仮想視点映像生成装置１から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００９２】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を仮想視点映像生成装置１にすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００９３】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【００９４】
例えば、上述の実施形態では、ステップＳ８におけるフレーム間補間処理において、オクルージョンにより隠れている部分を含むオブジェクトについて、他のフレームからテクスチャを取得することとした。ここで、他のフレームとは、オクルージョンが発生しているオブジェクトを含む視点映像と、同一の視点映像におけるフレームとしてもよいし、異なる視点映像におけるフレームとしてもよい。同一の視点映像におけるフレームとした場合には、異なる視点映像におけるフレームとした場合と比べて、視点が同一であるため、仮想視点映像の視覚的品質をより向上できる。
【００９５】
また、上述の実施形態では、分離処理（ステップＳ６）、カメラ間補間処理（ステップＳ７）、フレーム間補間処理（ステップＳ８）の順番に各処理を行うこととした。しかし、例えば、カメラ間補間処理およびフレーム間補間処理については、図２のステップＳ１１の処理の前に行うこととしてもよい。これによれば、ステップＳ９において適正であると判別した場合には、ステップＳ１１だけでなく、カメラ間補間処理およびフレーム間補間処理も行わないことになる。したがって、仮想視点映像生成装置１の処理をさらに軽減できる場合がある。
【符号の説明】
【００９６】
１・・・仮想視点映像生成装置
１０・・・オブジェクト分離部
２０・・・カメラ間補間部
３０・・・フレーム間補間部
４０・・・判定部
５０・・・映像生成部
６０・・・制御部
【図１】
2014120093.tif 000006
【図２】
2014120093.tif 000007
【図３】
2014120093.tif 000008