(57)【要約】【課題】運動視差を高い精度で再現できる運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置を提供する。【解決手段】距離画像センサ１は、固定位置Pからの視点で被写体Mのカメラ画像および深度マップを取得する。ポリゴンモデル生成部３は、カメラ画像および深度マップに基づいて被写体Mの三次元のポリゴンモデルを生成する。ポリゴンテクスチャモデル生成部４は、カメラ画像からポリゴンモデルの各ポリゴン位置のテクスチャを取得し、これをポリゴンモデルの対応する各ポリゴンに貼り付けることでポリゴンテクスチャモデルを生成する。レンダリング部５は、ポリゴンテクスチャモデルの画像に基づいて、被写体Mを仮想視点Pvから撮影した二次元画像をレンダリングすることで運動視差を再現する。【選択図】図２
2014067372.tif 000002
【特許請求の範囲】
【請求項１】
被写体を模した三次元モデルの運動視差を再現する運動視差再現装置の三次元モデル生成装置において、
被写体を固定位置からの視点で撮影したカメラ画像を取得する手段と、
被写体を前記固定位置から測定した深度マップを取得する手段と、
前記カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手段と、
前記ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手段とを具備したことを特徴とする運動視差再現装置の三次元モデル生成装置。
【請求項２】
前記深度マップを取得する手段は、カメラ画像の画素ごとに奥行き値を取得し、
前記ポリゴンモデルを生成する手段は、カメラ画像の各２×２の画素ブロックから選択される３つの画素の組み合わせごとに、各画素の二次元座標および奥行き値に基づいて三次元座標を取得し、各三次元座標を結んで三角形のポリゴンを生成することを特徴とする請求項１に記載の運動視差再現装置の三次元モデル生成装置。
【請求項３】
前記ポリゴンテクスチャモデルを生成する手段は、
各ポリゴンの各頂点座標を中心射影行列でカメラ画像に射影する手段と、
前記射影されたカメラ画像内の各画素を各ポリゴンへ逆射影する手段とを含むことを特徴とする請求項１または２に記載の運動視差再現装置の三次元モデル生成装置。
【請求項４】
前記深度マップ上の各画素の奥行き値を中心射影行列によりカメラ画像に投影することで対応画素を特定することを特徴とする請求項１ないし３のいずれかに記載の運動視差再現装置の三次元モデル生成装置。
【請求項５】
被写体を模した三次元モデルの運動視差を再現する運動視差再現装置の三次元モデル生成プログラムにおいて、
被写体を固定位置からの視点で撮影したカメラ画像を取得する手順と、
被写体を前記固定位置から測定した深度マップを取得する手順と、
前記カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手順と、
前記ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手順と、
をコンピュータに実行させるための運動視差再現装置の三次元モデル生成プログラム。
【請求項６】
被写体を模した三次元モデルの運動視差を再現する運動視差再現装置において、
被写体を固定位置からの視点で撮影したカメラ画像を取得する手段と、
被写体を前記固定位置から測定した深度マップを取得する手段と、
前記カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手段と、
前記ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手段と、
前記固定視点におけるポリゴンテクスチャモデルに基づいて仮想視点の二次元画像をレンダリングする手段とを具備したことを特徴とする運動視差再現装置。
【請求項７】
被写体を模した三次元モデルの運動視差を再現する運動視差再現装置において、
被写体を複数の異なる固定意位からの視点で撮影したカメラ画像をそれぞれ取得する手段と、
被写体を前記各固定位置から測定した深度マップをそれぞれ取得する手段と、
前記固定位置ごとに取得されたカメラ画像および深度マップに基づいて被写体のポリゴンモデルをそれぞれ生成する手段と、
前記各ポリゴンモデルの各ポリゴンに各カメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルをそれぞれ生成する手段と、
前記各固定視点におけるポリゴンテクスチャモデルの画像に基づいて仮想視点の二次元画像をレンダリングする手段とを具備したことを特徴とする運動視差再現装置。
【請求項８】
前記レンダリングする手段は、各固定視点におけるポリゴンテクスチャモデルの画像を、当該各固定視点と仮想視点との距離に応じた比率で統合することを特徴とする請求項７に記載の運動視差再現装置。
【請求項９】
被写体を模した三次元モデルの運動視差を再現する運動視差再現プログラムにおいて、
被写体を固定位置からの視点で撮影したカメラ画像を取得する手順と、
被写体を前記固定位置から測定した深度マップを取得する手順と、
前記カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手順と、
前記ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手順と、
前記固定視点のポリゴンテクスチャモデルに基づいて仮想視点の二次元画像をレンダリングする手順と、
をコンピュータに実行させるための運動視差再現プログラム。
【請求項１０】
被写体を模した三次元モデルの運動視差を再現する運動視差再現プログラムにおいて、
被写体を複数の異なる固定意位からの視点で撮影したカメラ画像をそれぞれ取得する手順と、
被写体を前記各固定位置から測定した深度マップをそれぞれ取得する手順と、
前記固定位置ごとに取得されたカメラ画像および深度マップに基づいて被写体のポリゴンモデルをそれぞれ生成する手順と、
前記各ポリゴンモデルの各ポリゴンに各カメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルをそれぞれ生成する手順と、
前記各固定視点のポリゴンテクスチャモデルの画像に基づいて仮想視点の二次元画像をレンダリングする手順と、
をコンピュータに実行させるための運動視差再現プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置に係り、特に、カメラ画像に加えて同一視点における奥行き値を活用することにより運動視差を再現する運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置三次元表示方法および装置に関する。
【背景技術】
【０００２】
多眼立体ディスプレイを対象とした運動視差再現を行う手法として、カメラ間隔が人間の目幅程度であるような、密なカメラ配置を前提に、カメラ間の対応点マッチングに基づく奥行推定、および奥行情報を用いた3D warpingによるカメラ間の補間画像生成方式が、非特許文献１に開示されている。
【０００３】
また、上記のカメラアレイに比べて比較的広く設置されるカメラ配置を対象に、オブジェクトの三次元モデルを構築可能な視体積交差法や、少なくとも1台のカメラからオブジェクトの簡易三次元モデルを構築可能なビルボードモデル等が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特願２０１１−０５００８１号
【非特許文献】
【０００５】
【非特許文献１】W.R.Mark et al. "Post-Rendering 3D Warping", in Proc of Symposium on Interactive 3D Graphics, pp.7-16, 1997.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１の提案手法では、人間の目幅と同程度の間隔で配置されたカメラアレイを対象に、カメラ間の対応点マッチングに基づき画素毎の奥行推定を行うと共に、視差補償によりカメラ間の補間画像を生成する手法が提案されている。しかしながら、オクルージョン領域に穴が生じる問題が避けられず、特に、カメラ間隔が大きくなると合成画質が大きく劣化するという技術課題があった。
【０００７】
特許文献１の提案手法では、最低1台のカメラからオブジェクトの簡易モデルを生成可能であり、サッカー等の大空間における仮想視点再現には有効であることが示されている。しかしながら、オブジェクトの三次元形状が「ビルボード」と呼ばれる長方形ポリゴンで近似されるため、オブジェクト表面の細かな凹凸等を再現することができず、運動視差再現が求められるような視聴には適さないという技術課題があった。
【０００８】
本発明の目的は、上記の技術課題を解決し、オブジェクト表面の細かな凹凸等を再現でき、セルフオクルージョンによる画質劣化の少ない運動視差を再現できる運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明は、被写体を模した三次元モデルの運動視差を再現する運動視差再現装置およびその三次元モデル生成装置において、以下のような手段を講じた点に特徴がある。
【００１０】
(1)本発明の三次元モデル生成装置は、被写体を固定位置からの視点で撮影したカメラ画像を取得する手段と、被写体を固定位置から測定した深度マップを取得する手段と、カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手段と、ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手段とを具備した。
【００１１】
(2)本発明の運動視差再現装置は、被写体を固定位置からの視点で撮影したカメラ画像を取得する手段と、被写体を固定位置から測定した深度マップを取得する手段と、カメラ画像および深度マップに基づいて被写体のポリゴンモデルを生成する手段と、ポリゴンモデルの各ポリゴンにカメラ画像の対応する各局所領域からテクスチャを射影して三次元のポリゴンテクスチャモデルを生成する手段と、固定視点におけるポリゴンテクスチャモデルに基づいて仮想視点の二次元画像をレンダリングする手段とを具備した。
【発明の効果】
【００１２】
本発明によれば、以下のような効果が達成される。
【００１３】
(1)被写体の三次元モデルが、そのカメラ画像および深度マップに基づいて、各ポリゴンの頂点が三次元座標で与えられるポリゴンテクスチャモデルとして構築されるので、三次元モデルの各局所領域（ポリゴン）に対して、その位置に応じて異なる固有の向き（法線）を定義できるようになる。
【００１４】
(2)上記のように、三次元モデルの各局所領域に対して、その位置に応じた固有の向きを定義できるので、各局所領域が全て同一の向き（正面）で定義されるビルボードモデルの場合に較べて、運動視差を精度良く再現できるようになる。
【００１５】
(3)上記のように、運動視差を精度良く再現できるので、複数の三次元モデルの画像を合成してレンダリング画像を取得する際に、セルフオクルージョン領域の画質劣化を抑えられるようになる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態に係る運動視差再現装置およびその三次元モデル生成装置の機能ブロック図である。
【図２】被写体のカメラ画像および深度マップの一例を示した図である。
【図３】ポリゴン決定方法を模式的に表現した図である。
【図４】ポリゴンモデルの生成方法を模式的に表現した図である。
【図５】ポリゴンテクスチャモデルの生成方法を模式的に表現した図である。
【図６】第１実施形態の効果を説明するための図である。
【図７】本発明の第２実施形態に係る運動視差再現装置およびその三次元モデル生成装置の機能ブロック図である。
【図８】第２実施形態におけるカメラ画像および深度マップを示した図である。
【図９】第２実施形態におけるレンダリング例を示した図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係る運動視差再現装置およびその三次元モデル生成装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００１８】
距離画像センサ１は、CCDまたはCMOSなどの画像センサを備え、固定位置Pからの視点で被写体Mを撮影してカラー（RGB）のカメラ画像を取得する撮像部１ａおよび当該固定位置Pまたはその近傍位置Ｐ'からの視点で被写体Mの深度マップを作成する深度マップ作成部１ｂを備える。
【００１９】
図２は、固定位置Pからの視点で被写体Mから取得、作成されたカメラ画像[同図(a)]および深度マップ[同図(b)]の一例を示した図であり、前記深度マップ作成部１ｂは、光源２からLED光またはレーザ光を被写体Mに向けて照射すると共に、その反射光を前記画像センサで検知し、到達時間を画素ごとに計測することにより深度マップを作成する。
【００２０】
なお、カメラ画像用の画像センサと深度測定用の画像センサとが異なり、両者の位置にズレがある場合には、深度マップ上の各画素の奥行き値を中心射影行列によりカメラ画像に投影することで対応画素を特定し、各位置のズレを調整することが望ましい。
【００２１】
ポリゴンモデル生成部３において、ポリゴン決定部３ａは、図３に示したように、カメラ画像の各２×２＝４の画素ブロックから選択される３つの画素の組み合わせごとに、各画素の三次元座標をカメラ画像上での二次元座標および奥行き値から算出し、各三次元座標を頂点座標とする三角形のポリゴンを生成する。ポリゴンモデル生成部３は、図４に一例を示したように、深度マップ[同図(a)]から生成された全てのポリゴンを連結してポリゴンモデル[同図(b)]を生成する。このとき、頂点座標間の距離が閾値以上のパターンはノイズと見なされて排除される。
【００２２】
ポリゴンテクスチャモデル生成部４は、図５に示したように、ポリゴンモデル[同図(b)]の各ポリゴン位置に、カメラ画像[同図(a)]の対応位置からテクスチャマッピングにより取得したテクスチャを貼り付けることで、三次元のポリゴンテクスチャモデル[同図(c)]を生成する。
【００２３】
本実施形態では、前記ポリゴンテクスチャモデル生成部４が、各ポリゴンの各頂点座標を中心射影行列でカメラ画像に射影する射影部４ａ、および前記射影されたカメラ画像内の各画素を各ポリゴンへ逆射影する逆射影部４ｂを備え、この逆射影により各ポリゴンにカメラ画像のテクスチャが貼り付けられる。
【００２４】
レンダリング部５は、前記ポリゴンテクスチャモデルに対して一般的なCGレンダリング技術を適用することにより、被写体Mの画像を仮想視点Pvから撮影したレンダリング画像を生成する。
【００２５】
本実施形態によれば、被写体Mの三次元モデルが、そのカメラ画像および深度マップに基づいて、各ポリゴンの頂点が三次元座標で与えられるポリゴンテクスチャモデルとして構築されるので、三次元モデルの各局所領域（ポリゴン）PGに対して、その位置に応じて異なる固有の向き（法線）を定義できるようになる。
【００２６】
その結果、図６に模式的に表現したように、仮想視点Pvにおいて対向する位置の局所領域PGの法線と視線との角度差θを、前記特許文献１のように各局所領域が全て同一の向きで定義されるビルボードモデル[同図(a)]により構成される場合と較べて、本実施形態[同図(b)]では小さくできる。その結果、各局所領域において被写体Mのテクスチャをより正確に表現できるようになるので、運動視差を精度良く再現できるようになる。
【００２７】
図７は、本発明の第２実施形態に係る運動視差再現装置およびその三次元モデル生成装置の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。
【００２８】
本実施形態では、距離画像センサ１が少なくとも二箇所P1，P2に設けられ、視点の異なる複数のカメラ画像および深度マップのペアに基づいて作成された複数のポリゴンテクスチャモデルに基づいて仮想視点Pvの二次元画像がレンダリングされる点に特徴がある。ここでは、２つの距離画像センサ１A，1Bを設けた場合を例にして説明する。
【００２９】
図８は、一方の距離画像センサ１Aにより取得されたカメラ画像I1[同図(a)]およびその深度マップD1[同図(b)]ならびに他方の距離画像センサ１Bにより取得されたカメラ画像I2[同図(c)]およびその深度マップD2[同図(d)]の一例を示した図である。
【００３０】
レンダリング部６は、各固定位置P1、P2で取得されたカメラ画像I1，I2および深度マップD1，D2のペア[I1，D1]、[I2，D2]に基づいて、固定位置P1、P2間の仮想位置Pvを視点とする二次元画像を、当該各固定視点P1、P2と仮想視点Pvとの距離に応じた比率で各ポリゴンテクスチャモデルの画像を統合することによりレンダリングする。
【００３１】
図９は、前記レンダリング部６によるレンダリング例を示した図であり、一方の距離画像センサ１Aにより取得されたカメラ画像I1およびその深度マップD1から生成されたポリゴンテクスチャモデルの画像[同図(a)]と、他方の距離画像センサ１Bにより取得されたカメラ画像I2およびその深度マップD2から生成されたポリゴンテクスチャモデルの画像[同図(b)]とを、固定位置P1と仮想位置Pvとの距離差(P1-Pv)および固定位置P2と仮想位置Pvとの距離差(P2-Pv)の比(P1-Pv)/(P2-Pv)に応じてアルファブレンディングすることによりレンダリング画像[同図(c)]が生成される。
【００３２】
本実施形態によれば、仮想視点Pvにおいて対向する位置の局所領域PGの法線と視線との角度差θを小さくできるので、複数の三次元モデルを合成してレンダリング画像を取得する際に、セルフオクルージョン領域の画質劣化を抑えられるようになる。
【００３３】
なお、本発明の目的は、上記実施形態の機能を実現するプログラムのコードを記録媒体に記録し、これをコンピュータが読み出して実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体およびプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００３４】
１…距離画像センサ，１ａ…撮像部，１ｂ…深度マップ作成部，２…光源，３…ポリゴンモデル生成部，３ａ…ポリゴン決定部，４…ポリゴンテクスチャモデル生成部，５，６…レンダリング部
【図１】
2014067372.tif 000003
【図２】
2014067372.tif 000004
【図３】
2014067372.tif 000005
【図４】
2014067372.tif 000006
【図５】
2014067372.tif 000007
【図６】
2014067372.tif 000008
【図７】
2014067372.tif 000009
【図８】
2014067372.tif 000010
【図９】
2014067372.tif 000011