(57)【要約】【課題】オクルージョン領域についても主観品質を損なうことなくオブジェクトの3Dモデルを短時間で再現できる自由視点画像の生成表示方法、装置およびプログラムを提供する。【解決手段】２つのオブジェクトOj1，Oj2間にオクルージョンが発生すると、オクルージョン領域以外の画素ついては、矩形投影画像を抽出したカメラ画像の対応画素の画素値をテクスチャとして取得する。オブジェクトOj1の脚部のテクスチャは、その抽出元カメラ画像である視点２のカメラ画像からは取得できないので、オクルージョン領域（灰色）の画素については、光線探索により投影元ボクセルBtを特定する。そして、当該投影元ボクセルBtを他のカメラ画像に投影し、前記各オブジェクトOj1，Oj2の三次元形状モデルの位置関係に基づいて当該ボクセルの観測可否を判定すると、観測可能なカメラ画像から対応画素の画素値を取得する。【選択図】図４
2018163467.tif 000002
【特許請求の範囲】
【請求項１】
多視点画像から自由視点画像を生成して表示する装置において、
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手段と、
各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手段と、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手段と、
前記選択されたカメラに関して生成した全てのビルボードを表示する手段とを具備したことを特徴とする自由視点画像の生成表示装置。
【請求項２】
前記オブジェクトの３次元形状モデルを生成する手段は、
各カメラのカメラパラメータを推定する手段と、
各カメラ画像におけるオブジェクトのマスク画像を抽出する手段と、
前記カメラパラメータおよびマスク画像に基づく視体積交差法により３次元ボクセル空間における各オブジェクトのVisual Hullを復元する手段とを具備し、
前記Visual Hullを三次元形状モデルとして採用することを特徴とする請求項１に記載の自由視点画像の生成表示装置。
【請求項３】
前記ボクセル空間における幾何連結性に基づいて、前記復元されたVisual Hullをクラス分類する手段と、
前記クラス分類されたVisual Hullのうち所定の条件を満たすものを三次元形状モデルとして採用することを特徴とする請求項２に記載の自由視点画像の生成表示装置。
【請求項４】
前記矩形投影画像を視点ごとに抽出する手段が、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域を特定する手段を含むことを特徴とする請求項１ないし３のいずれかに記載の自由視点画像の生成表示装置。
【請求項５】
前記テクスチャを取得する手段は、
前記矩形投影画像の投影像部分のうち、オクルージョン領域以外の画素ついて、その抽出元カメラ画像の対応画素の画素値を取得する第１テクスチャ取得手段と、
前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素について、その抽出元カメラ画像以外のカメラ画像の対応画素の画素値を取得する第２テクスチャ取得手段とを具備したことを特徴とする請求項１ないし４のいずれかに記載の自由視点画像の生成表示装置。
【請求項６】
前記第２テクスチャ取得手段は、
オクルージョン領域の画素について、三次元形状モデル上の投影元ボクセルを特定する手段と、
前記投影元ボクセルを抽出元カメラ画像とは異なるカメラ画像に投影して当該ボクセルの観測可否を判定する手段とを具備し、
観測可能なカメラの画像から対応画素の画素値を取得することを特徴とする請求項５に記載の自由視点画像の生成表示装置。
【請求項７】
前記観測可能なカメラが複数台あると、当該複数台のカメラから抽出元カメラに最寄りのカメラを特定し、当該最寄りのカメラの画像の対応画素の画素値を取得することを特徴とする請求項６に記載の自由視点画像の生成表示装置。
【請求項８】
前記ビルボードを生成する手段は、
オブジェクトごとにテクスチャを含む矩形投影画像を抽出する手段と、
前記矩形投影画像の底辺に存在する画素の投影元ボクセルとカメラとの距離を算出する手段と、
前記距離および前記矩形投影画像の縦横比に基づいて各ビルボードのサイズを決定する手段と、
前記投影元ボクセルの3次元座標に前記決定されたサイズのビルボードを設置する手段とを具備したことを特徴とする請求項１ないし７のいずれかに記載の自由視点画像の生成表示装置。
【請求項９】
前記ビルボードを表示する手段は、
視点操作に関する入力情報に基づいて仮想視点を算出する手段と、
前記仮想視点に最寄りのカメラに関して生成された全てのビルボードを表示する手段とを含むことを特徴とする請求項１ないし８のいずれかに記載の自由視点画像の生成表示装置。
【請求項１０】
コンピュータが、多視点画像から自由視点画像を生成して表示する方法において、
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成し、
各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、
前記選択されたカメラに関して生成した全てのビルボードを表示することを特徴とする自由視点画像の生成表示方法。
【請求項１１】
多視点画像から自由視点画像を生成して表示するプログラムにおいて、
オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて各オブジェクトの３次元形状モデルを個別に生成する手順と、
各３次元形状モデルを各視点へ投影して各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、
オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、
前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、
自由視点を特定する情報に基づいてビルボードを表示するカメラを選択する手順と、
前記選択されたカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述した自由視点画像の生成表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自由視点画像の生成表示方法、装置およびプログラムに係り、特に、スポーツ競技等の比較的大きな空間で複数台のカメラを密に配置できない撮影条件に好適な自由視点画像の生成表示方法、装置およびプログラムに関する。
【背景技術】
【０００２】
自由視点映像の生成手法は、大きくモデルベース型とイメージベース型とに分類される。モデルベース型の代表的な手法が非特許文献１に開示されている。非特許文献１では、被写体の3次元形状を3Dモデルとして復元し、3Dモデル表面を細かなポリゴンに分割した後、各ポリゴンのテクスチャを複数の撮影カメラ映像から取得して視点位置に応じて適切な割合でブレンドすることで、撮影カメラが存在しない視点からの映像を合成する。
【０００３】
この手法は、理論的には任意視点での見え方を滑らかに再現することが可能であるが、最終的な合成画像が、ポリゴンの繋ぎ合わせとして表現される特性上、合成画像の品質が3Dモデルやカメラパラメータの精度に大きく依存するので、スポーツシーン等、カメラを密に配置できない場合の品質には限界がある。
【０００４】
一方、イメージベース型の代表的な手法が非特許文献２に開示されている。非特許文献２では、各撮影カメラ映像から被写体の存在領域を抽出し、1枚の矩形型ポリゴンとして表現するビルボード方式が提案されている。
【０００５】
ビルボード方式では、被写体の3次元形状は復元しないが、対象とする3次元空間においてビルボードを設置する座標を算出し、撮影カメラ映像から取得される被写体領域のテクスチャをマッピングすることで、被写体同士や、被写体と背景との位置関係を任意視点において再現することが可能である。
【０００６】
ビルボード方式では、3Dモデル方式のような滑らかな見え方の変化を再現することはできないが、撮影カメラ映像のテクスチャを加工することなく、そのまま利用するため、3Dモデル方式に比べて高精細な見え方を実現できる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2015-191538号公報
【非特許文献】
【０００８】
【非特許文献１】T. Kanade, P. W. Rander, and P. J. Narayanan, "Virtualized Reality: Constructing Virtual Worlds from Real Scenes," IEEE Multimedia, vol. 4, no. 1, pp. 34-47, 1997.
【非特許文献２】Y. Ohta, I. Kitahara, Y. Kameda, H. Ishikawa, and T. Koyama, "Live 3D Video in Soccer Stadium," International Journal of Computer Vision (IJCV), vol. 75, no. 1, pp. 173-187, 2007.
【非特許文献３】Hiroshi Sankoh and Sei Naito, "Free-viewpoint Video Rendering in Large Outdoor Space such as Soccer Stadium based on Object Extraction and Tracking Technology," The Journal of The Institute of Image Information and Television Engineers (ITE), Vol. 68, No. 3, pp. J125-J134, 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
モデルベース型およびイメージベース型に共通する最大の課題として、撮影カメラ映像における被写体同士の重なり等によって生じるオクルージョンがある。特にビルボード方式では、各カメラ映像における被写体領域から取得されるテクスチャを加工することなくそのまま利用するため、別の被写体との重なり等によって観測できない領域が生じる場合、当該領域の見え方を再現することは不可能である。
【００１０】
オクルージョン領域において、カメラに対して手前側に存在する被写体であっても、重なりの境界を適切に分離することは困難であるため、適切な被写体領域の抽出は難易度の高い課題であると言える。
【００１１】
このような技術課題に対して、各被写体に個別IDを与え、時間方向でIDが保持されるよう追跡を行うことで、オクルージョンの検出と、フレーム間での補間を行う手法が非特許文献３および特許文献１に開示されている。
【００１２】
これらの先行技術は、複数カメラの情報を用いることで、オクルージョン領域における各被写体のテクスチャと、ビルボードの設置座標の各々をフレーム間で補間する手法を提案する。しかしながら、オクルージョンの継続時間（フレーム数）が長い場合、補間性能に限界があるために主観品質を損なう問題がある。
【００１３】
また、追跡処理に誤りが含まれる場合、異なる被写体間でテクスチャや位置を補正することとなり、合成映像の主観品質を著しく損なうという課題もある。追跡誤りに対する頑健性を高める目的から、特許文献１では、目視による追跡IDの確認・修正を可能とする手法が提案されているが、非常に多くの時間を要するという課題がある。
【００１４】
本発明の目的は、上記の技術課題を解決し、ビルボード方式での合成過程において各カメラにおける各オブジェクトの存在領域を個別に抽出することにより、ビルボード方式の固有の高精細な見え方を維持しながら、特にオクルージョン領域についても主観品質を損なうことなくオブジェクトの3Dモデルを短時間で再現できる自由視点画像の生成表示方法、装置およびプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するために、本発明は、自由視点画像の生成表示方法、装置およびプログラムにおいて、以下のような構成を具備した点に特徴がある。
【００１６】
(1) 本発明の自由視点画像を生成して表示する装置は、オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて生成した３次元形状モデルを各視点へ投影し、各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手段と、オブジェクトごとに各視点における矩形投影画像のテクスチャを取得する手段と、各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手段と、自由視点を特定する情報に基づいてビルボードを表示するカメラを選択して、そのカメラに関して生成した全てのビルボードを表示する手段とを具備した。
【００１７】
(2) 本発明のコンピュータが自由視点画像を生成して表示する方法は、オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて生成した３次元形状モデルを各視点へ投影し、各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出し、オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得し、各矩形投影画像およびそのテクスチャに基づいてビルボードを生成し、自由視点を特定する情報に基づいてビルボードを表示するカメラを選択して、そのカメラに関して生成した全てのビルボードを表示するようにした。
【００１８】
(3) 本発明の自由視点画像を生成して表示するプログラムは、オブジェクトを異なる視点で撮影した複数のカメラ画像に基づいて生成した３次元形状モデルを各視点へ投影し、各オブジェクトの投影像部分を含む矩形投影画像を視点ごとに抽出する手順と、オブジェクトごとに各視点における矩形投影画像のテクスチャを対応するカメラ画像から取得する手順と、前記各矩形投影画像およびそのテクスチャに基づいてビルボードを生成する手順と、自由視点を特定する情報に基づいてビルボードを表示するカメラを選択し、そのカメラに関して生成した全てのビルボードを表示する手順とを、コンピュータが実行可能に記述した。
【発明の効果】
【００１９】
(1) 自由視点映像の最終的な表示およびレンダリングはビルボード方式により実施することを前提に、合成過程でオブジェクトの三次元形状モデルを復元し、当該モデルの各カメラへの投影像を利活用することで、各カメラにおけるオクルージョン領域を検出し、オブジェクトごとの存在領域およびテクスチャを抽出できるようになる。
【００２０】
すなわち、ビルボードを作成する際、非オクルージョン領域に関しては投影像の抽出元カメラ画像から対応画素のテクスチャを取得する一方、オクルージョン領域に関しては、抽出元カメラ以外のカメラ画像の対応画素からテクスチャを取得することができる。
【００２１】
したがって、主観品質を損なうことなくオブジェクトの3Dモデルを短時間で再現できるようになり、オクルージョンが頻繁に発生するようなシーンにおいても、手作業を必要とすることなく高品質な自由視点画像を自動生成することが可能となる。
【００２２】
(2) 特に大空間を対象とする場合、被写体の3次元形状の復元性能には限界があるが、本発明では、視体積交差法で復元されるVisual Hullの各カメラへの投影像に注目することで、各カメラにおける被写体の存在領域を個別に抽出できるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明の自由視点画像の生成表示方法、装置およびプログラムが適用されるシステムの一実施形態の構成を示した機能ブロック図である。
【図２】オブジェクトの三次元形状を推定する方法を示した図である。
【図３】オブジェクトごとに、その投影像を含む矩形投影画像を視点ごとに取得する方法を示した図である。
【図４】矩形投影画像の投影像部分に張り付けるテクスチャの取得方法を示した図である。
【図５】ビルボードの生成方法を示した図である。
【図６】ビルボードの表示方法を示した図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明に係る自由視点画像の生成表示方法、装置およびプログラムの一実施形態の構成を示した機能ブロック図である。
【００２５】
このようなシステムは、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装して構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。
【００２６】
多視点画像入力部１０は、オブジェクトObjを異なる視点で撮影する複数台のカメラCa（Ca1，Ca2，Ca3…）からカメラ画像をフレーム単位で取得する。以下の説明では、各カメラCaまたはそのカメラ画像を「視点１」、「視点２」…と表現する場合もある。三次元形状モデル生成部２０は、各カメラCaから取得したカメラ画像に基づいてフレーム単位でオブジェクトObjごとに三次元形状モデルを生成する。
【００２７】
前記三次元形状モデル生成部２０において、カメラパラメータ推定部２１は、各カメラCaの中心射影行列（カメラパラメータ）を推定する。マスク画像抽出部２２は、フレーム画像ごとに各オブジェクトの存在領域を示すマスク画像を抽出する。三次元形状推定部２３は、図２に示したように、各視点において抽出したマスク画像を実空間に投影した視体積の中にオブジェクトが含まれるという制約に基づいて、視体積交差法により、複数のマスク画像に対応する視体積の共通部分をオブジェクトの三次元形状（３次元ボクセルデータ）と推定し、３次元ボクセル空間におけるオブジェクトの存在領域を示すVisual Hullを復元する。
【００２８】
三次元形状モデル復元部２４は、前記ボクセル空間の幾何連結性に基づいて前記Visual Hullをクラス分類し、前記クラス分類されたVisual Hullのうち、大きさ（ボクセル数）や高さ（y座標）が所定の条件を満たすVisual Hullのみを各オブジェクトの三次元形状モデルとして復元する。
【００２９】
矩形投影画像抽出部３０は、図３に示したように、復元されたオブジェクトの三次元形状モデルを各視点のカメラ画像へ投影し、各オブジェクトの投影像を含む矩形画像（以下、矩形投影画像と表現する場合もある）を視点ごとに取得する。
【００３０】
前記矩形投影画像抽出部３０において、オクルージョン領域特定部３１は、各矩形投影画像の投影像部分の画素ごとに光線探索を行うことで、各視点のオブジェクトごとにオクルージョン領域（灰色）を特定する。
【００３１】
テクスチャ取得部４０は、各視点のカメラ画像からオブジェクトのテクスチャを取得して各矩形投影画像の投影像部分に張り付ける。図４は、前記テクスチャ取得部４０によるテクスチャの取得方法を、視点２のカメラ画像から抽出した矩形投影画像に注目して説明するための図である。
【００３２】
テクスチャ取得部４０において、第1テクスチャ取得部４１は、矩形投影画像の投影像部分のうち、オクルージョン領域以外（非オクルージョン領域）の画素ついて、当該矩形投影画像を抽出したカメラ画像（抽出元カメラ画像）の対応画素の画素値をテクスチャとして取得する。第２テクスチャ取得部４２は、前記矩形投影画像の投影像部分のうち、オクルージョン領域の画素ついて、抽出元カメラ画像以外のカメラ画像の対応画素の画素値をテクスチャとして取得する。
【００３３】
図４の例では、２つのオブジェクトOj1，Oj2間にオクルージョンが発生しており、オブジェクトOj1の脚部のテクスチャを、その抽出元カメラ画像である視点２のカメラ画像からは取得できない。
【００３４】
前記第２テクスチャ取得部４２は、矩形投影画像のオクルージョン領域（灰色）の画素について、光線探索により投影元ボクセルBtを特定する。そして、当該投影元ボクセルBtを他のカメラ画像に投影し、前記各オブジェクトOj1，Oj2の三次元形状モデルの位置関係に基づいて当該ボクセルの観測可否を判定すると、観測可能なカメラ画像から対応画素の画素値を取得する。
【００３５】
なお、観測可能なカメラが複数存在する場合には、抽出元のカメラに最寄りのカメラを特定し、当該最寄りのカメラから対応画素の画素値を優先的に取得する。図示の例では、視点２のカメラ映像からは取得できないオブジェクトOj1の脚部のテクスチャを、視点１および視点Nのいずれからも取得できるが、最寄りの視点１のカメラ画像から取得している。
【００３６】
ビルボード生成部５０は、視点ごとに全てのオブジェクトObjのビルボードを生成する。テクスチャ画像抽出部５１は、各視点のオブジェクトごとにテクスチャを含む前記矩形投影画像を抽出する。
【００３７】
ビルボードサイズ決定部５２は、図５に示したように、矩形投影画像の底辺に存在する画素の投影元ボクセルを特定し、当該投影元ボクセルと対象となるカメラとの距離および前記矩形投影画像の縦横比に基づいて各ビルボードのサイズを算出する。ビルボード設置部５３は、前記各投影元ボクセルの3次元座標に前記生成したビルボードを前記算出したサイズで設置する。
【００３８】
ビルボード表示部６０は、視点操作情報に基づいて仮想視点に最寄りのカメラを推定し、当該カメラに関して生成された全てのビルボードを選表示する。
【００３９】
前記ビルボード表示部６０において、仮想視点算出部６１は、各カメラから取得した注視点の変更、撮影カメラ視点への移動、前進後退、左右回転、上下回転などの視点操作情報に基づいて仮想視点の位置および向きを算出する。
【００４０】
ビルボード選択部６２、図６に示したように、隣接するカメラペア（A，B）ごとにカメラ選択に関する境界面を予め設定しておき、前記算出された仮想視点が一方のカメラAに割り当てられた領域を指向していれば当該カメラAの画像を抽出元とする全てのビルボードを表示する。また、他方のカメラBに割り当てられた領域を指向していれば当該カメラBを抽出元とする全てのビルボードを表示する。
【符号の説明】
【００４１】
１０…多視点画像入力部，２０…三次元形状モデル生成部，２１…カメラパラメータ推定部，２２…マスク画像抽出部，２３…三次元形状推定部，２４…三次元形状モデル復元部，３０…矩形投影画像抽出部，３１…オクルージョン領域特定部，４０…テクスチャ取得部，４１…第1テクスチャ取得部，４２…第２テクスチャ取得部，５０…ビルボード生成部，５１…テクスチャ画像抽出部，５２…ビルボードサイズ決定部，５３…ビルボード設置部，６０…ビルボード表示部，６１…仮想視点算出部，６２…ビルボード選択部
【図１】
2018163467.tif 000003
【図２】
2018163467.tif 000004
【図３】
2018163467.tif 000005
【図４】
2018163467.tif 000006
【図５】
2018163467.tif 000007
【図６】
2018163467.tif 000008