(57)【要約】【課題】RGB-Dカメラ1セットで取得される情報から、オブジェクトの正面領域だけでなく、側面領域も含めた広範囲の３次元モデルを復元する。【解決手段】オブジェクト領域抽出部１０１は、深度マップの奥行データに基づいてオブジェクト領域を抽出する。３次元表面モデル生成部１０５は、オブジェクトの３次元表面モデルをその奥行データに基づいて生成する。拡張範囲設定部１０６は、３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する。３次元表面モデル拡張部１０７は、３次元表面モデルを内包するボクセル空間内の各ボクセルが前記拡張範囲内であるか否かを判定する。ポリゴンモデル生成部１０８は、拡張範囲内のボクセルに基づいてオブジェクトの３次元ポリゴンモデルを生成する。レンダリング部１０９は、３次元ポリゴンモデルを仮想視点でレンダリングして自由視点映像を出力する。【選択図】図１
2016071645.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを撮影したカメラ画像およびその深度マップに基づいて３次元モデルを復元するオブジェクト３次元モデル復元装置において、
深度マップの奥行データに基づいてオブジェクトの領域を抽出する手段と、
前記オブジェクトの３次元表面モデルをその奥行データに基づいて生成する手段と、
前記３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する手段と、
前記３次元表面モデルを内包するボクセル空間内の各ボクセルが前記拡張範囲内であるか否かを判定する手段と、
前記拡張範囲内のボクセルに基づいてオブジェクトの３次元ポリゴンモデルを生成する手段とを具備したことを特徴とするオブジェクト３次元モデル復元装置。
【請求項２】
前記３次元表面モデルを生成する手段は、
前記オブジェクトの領域をカメラ画像にマッピングしてオブジェクト画像を抽出する手段と、
前記オブジェクト画像のエッジ領域をカメラ画像の色情報に基づくエッジ抽出により補間する手段と、
補間後のオブジェクト画像に基づいて奥行データを補間する手段とを具備し、
前記補完後の奥行データに基づいて３次元表面モデルを生成することを特徴とする請求項１に記載のオブジェクト３次元モデル復元装置。
【請求項３】
前記奥行データを補間する手段は、補間後のオブジェクト画像に対応する値を示さない奥行データを、その近傍の奥行データにより補間することを特徴とする請求項２に記載のオブジェクト３次元モデル復元装置。
【請求項４】
前記３次元ポリゴンモデルを仮想視点でレンダリングして自由視点映像を出力する手段をさらに具備したことを特徴とする請求項１ないし３のいずれかに記載のオブジェクト３次元モデル復元装置。
【請求項５】
前記自由視点映像を出力する手段は、前記３次元ポリゴンモデルの各ポリゴンの法線ベクトルと仮想視点の方向とを比較して自由視点映像に陰影処理を施すことを特徴とする請求項４に記載のオブジェクト３次元モデル復元装置。
【請求項６】
オブジェクトを撮影したカメラ画像およびその深度マップに基づいてコンピュータが３次元モデルを復元するオブジェクト３次元モデル復元方法において、
深度マップの奥行データに基づいてオブジェクトの領域を抽出する手順と、
前記オブジェクトの３次元表面モデルをその奥行データに基づいて生成する手順と、
前記３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する手順と、
前記３次元表面モデルを内包するボクセル空間内の各ボクセルが前記拡張範囲内であるか否かに基づいてオブジェクトの３次元ポリゴンモデルを生成する手順とを含むことを特徴とするオブジェクト３次元モデル復元方法。
【請求項７】
オブジェクトを撮影したカメラ画像およびその深度マップに基づいて３次元モデルを復元するオブジェクト３次元モデル復元プログラムにおいて、
深度マップの奥行データに基づいてオブジェクトの領域を抽出する手順と、
前記オブジェクトの３次元表面モデルをその奥行データに基づいて生成する手順と、
前記３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する手順と、
前記３次元表面モデルを内包するボクセル空間内の各ボクセルが前記拡張範囲内であるか否かに基づいてオブジェクトの３次元ポリゴンモデルを生成する手順とを、コンピュータに実行させるオブジェクト３次元モデル復元プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトの３次元モデルを復元する方法、装置およびプログラムに係り、特に、自由視点映像の合成に好適なオブジェクトの３次元モデル復元方法、装置およびプログラムに関する。
【背景技術】
【０００２】
サッカーや野球等のチームスポーツ競技を対象とした自由視点（仮想視点）映像の生成では、人物に代表される各オブジェクトの厳密な３次元形状よりも、複数人物間の位置関係や、移動に伴う軌跡の提示が重要である。そのため、各オブジェクトの次元世界座標系における立ち位置を大まかに推定し、撮影カメラ映像から抽出されるテクスチャをマッピングするという、ビルボード方式に基づく合成が有効であった。
【０００３】
一方、ゴルフやダンスのような個人スポーツ競技においては、チームスポーツ競技に比べて、姿勢やフォームに関する情報がより重要であり、自由視点映像を生成する際にも、カメラが存在しない視点・アングルからの見え方の変化を細かく再現することが求められる。したがって、ビルボード方式では再現できない、視点・アングルの移動に伴う姿勢やフォームの細かな変化を滑らか再現することが重要であり、厳密な３次元形状のモデリングが必要となる。
【０００４】
人物等のオブジェクトの３次元モデルを復元する手法として、特許文献１には、複数カメラ映像を用いたステレオマッチングや視体積交差法が提案されている。また、近年ではMicrosoft Kinectのように安価な距離画像センサが急速に普及しており、特許文献２および非特許文献１には、映像・奥行データを活用した３次元モデル生成手法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2010-152771号公報
【特許文献２】特開2014-067372号公報
【非特許文献】
【０００６】
【非特許文献１】Shahram Izadi et al., "KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera*", UIST'11, pp 559-568, Oct. 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１には、複数のカメラ映像を用いることで、比較的安定して高精度な３次元モデルが復元可能であることが示されている。しかしながら、複数カメラを全周囲に配置する必要があるため、撮影コストやモデル復元の手間が大きいという課題があった。
【０００８】
非特許文献１では、奥行データを用いた３次元モデル復元手法が提案されているが、対象オブジェクトが静止している状態で、奥行センサを持ち運んで対象オブジェクトを取り囲むように撮影する必要があるため、人物のような動的に変化する対象オブジェクトの３次元モデルの復元には適さないという課題があった。
【０００９】
特許文献２には、１セットの固定された距離画像センサから取得される映像・奥行データを用いて、リアルタイムに自由視点映像を合成する手法が提案されている。しかしながら、撮影視点から一定範囲を超えて仮想視点を設定した場合、対象オブジェクトの側面情報が欠落してしまうため、個人スポーツ競技における姿勢やフォームを確認するという目的には適さないという課題があった。
【００１０】
本発明の目的は、上記の技術課題を解決し、映像および奥行データを同時に取得可能なRGB-Dカメラ1セットで取得される情報から、オブジェクトの正面領域だけでなく、側面領域も含めた広範囲の３次元モデルを復元できるオブジェクトの３次元モデル復元方法、装置およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、オブジェクトを撮影したカメラ画像およびその深度マップに基づいて３次元モデルを復元するオブジェクト３次元モデル復元装置において、以下の構成を具備した点に特徴がある。
【００１２】
(1) 深度マップの奥行データに基づいてオブジェクト領域を抽出する手段と、オブジェクトの３次元表面モデルをその奥行データに基づいて生成する手段と、３次元表面モデルにオブジェクトの厚み相当の拡張範囲を設定する手段と、３次元表面モデルを内包するボクセル空間内の各ボクセルが拡張範囲内であるか否かを判定する手段と、拡張範囲内のボクセルに基づいてオブジェクトの３次元ポリゴンモデルを生成する手段とを具備した。
【００１３】
(2) ３次元表面モデルを生成する手段は、オブジェクト領域をカメラ画像にマッピングしてオブジェクト画像を抽出する手段と、オブジェクト画像のエッジ領域をカメラ画像の色情報に基づくエッジ抽出により補間する手段と、補間後のオブジェクト画像に基づいて奥行データを補間する手段とを具備し、補完後の奥行データに基づいて３次元表面モデルを生成するようにした。
【００１４】
(3) ３次元ポリゴンモデルを仮想視点でレンダリングして自由視点映像を出力する手段をさらに具備し、３次元ポリゴンモデルの各ポリゴンの法線ベクトルと仮想視点の方向とを比較して自由視点映像に陰影処理を施すようにした。
【発明の効果】
【００１５】
本発明によれば、以下のような効果が達成される。
(1) オブジェクトを撮影したカメラ画像およびその深度マップを出力するRGB-Dカメラ1セットのみを用いて、従来技術では捉えきれなかった側面等の領域の３次元形状が復元可能となる。
【００１６】
(2) オブジェクト画像のエッジ領域をカメラ画像に基づいて補間し、補間後のオブジェクト画像に基づいて奥行データを補間し、補間後の奥行データに基づいてオブジェクト領域の三次元モデルが生成されるので、画像レンダリングに十分な奥行推定精度を確保し、画像合成によるアーティファクトを低減できるようになる。
【００１７】
(3) ゴルフ等の個人スポーツ競技における自由視点映像の合成を行う際に、従来のビルボード方式では再現することができなかった、細かな視点・アングルの移動に応じた見え方の変化を滑らかに再現可能となる。
【００１８】
(4) ポリゴンモデルの各ポリゴンの法線ベクトルと仮想視点の方向とを比較して自由視点映像に陰影処理を施すようにすれば、側面等の奥行部分を陰影により強調表示できるようになる。
【図面の簡単な説明】
【００１９】
【図１】オブジェクト３次元モデル復元装置の機能ブロック図である。
【図２】距離画像カメラから出力されるカメラ画像[同図(a)]および当該カメラ画像に対応する深度マップ[同図(b)]の一例を示した図である。
【図３】エッジ補間前後の各オブジェクト画像の一例を示した図である。
【図４】奥行データがデプス補間された深度マップを示した図である。
【図５】奥行データとその３次元ポリゴンモデルの例を示した図である。
【図６】ポリゴンモデルの作成方法を示した図である。
【図７】拡張範囲の設定例を示した図である。
【図８】３次元表面モデルの拡張方法を説明するための図である。
【図９】オブジェクトのRGBカラー画像およびその深度マップから生成されたポリゴンモデル（その１）を示した図である。
【図１０】オブジェクトのRGBカラー画像およびその深度マップから生成されたポリゴンモデル（その２）を示した図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るオブジェクトの３次元モデル復元装置の主要部の構成を示した図であり、３次元モデル復元部１および距離画像（RGB-D）カメラ２により構成される。
【００２１】
距離画像カメラ２において、撮像部２０１は、CCDまたはCMOSなどの画像センサ２０３からオブジェクトのカメラ画像（RGBカラー画像）を取得する。深度マップ作成部２０２は、光源２０４から照射されたLED光またはレーザ光の反射光を画像センサ２０３で検知し、到達時間を画素ごとに計測することにより、各画素と奥行データとを対応付ける深度マップを作成する。図２は、距離画像カメラ２から出力されるカメラ画像[同図(a)]およびその深度マップ[同図(b)]の一例を示している。
【００２２】
３次元モデル復元部１において、オブジェクト領域抽出部１０１は、前記深度マップに基づいてオブジェクト領域を抽出する。本実施形態では、深度マップの奥行データに閾値を設定し、奥行データが閾値以下の画素領域がオブジェクト領域（ここでは、人物領域）と判定され、それ以外の画素領域は背景領域と判定される。
【００２３】
オブジェクト画像抽出部１０２は、カメラ画像から前記オブジェクト領域に対応するオブジェクト画像（ここでは、人物画像）を抽出する。図３(a)は、カメラ画像[図２(a)]から前記オブジェクト領域に基づいて抽出されたオブジェクト画像を示している。
【００２４】
オブジェクト画像補間部１０３は、オブジェクト画像の輪郭部分をカメラ画像に基づいて補間する。本実施形態では、オブジェクト画像の輪郭近傍を一定の画素数だけ膨らませる形で探索し、色情報に基づくエッジ検出を行って、検出されたエッジの輪郭を正確なオブジェクト画像として再現する。
【００２５】
図３(b)は、エッジ補間後のオブジェクト画像を示した図であり、図３(a)の補間前と比較すれば、オブジェクト画像のエッジ部分、特に右手部分や胴体左側部分の画素が補間されて、より正確なオブジェクト画像が再現されていることが判る。
【００２６】
奥行データ補間部１０４は、エッジ補間後のオブジェクト画像に基づいて奥行データを補間する。本実施形態では、補間後のオブジェクト画像に対応する深度マップの領域を特定し、当該領域内でオブジェクト領域に対応する値を示さない奥行データを、その近傍でオブジェクト領域に対応する値を示す奥行データに基づいて補間（デプス補間）する。
【００２７】
図４は、デプス補間処理後の奥行データによる深度マップを示した図であり、オブジェクト領域の、特に破線で囲った腕や胴体のエッジ部分、頭頂部分および右手部分において奥行データが補間され、より正確な奥行データが再現されていることが判る。
【００２８】
３次元表面モデル生成部１０５は、補間後の奥行データに基づいてオブジェクト領域の３次元ポリゴンモデルを生成する。本実施形態では、図５に示したように、オブジェクト領域に対応する補間済み奥行データ[同図(a)]を対象に各画素の隣接関係に基づいて３次元ポリゴンモデル化を行うことで３次元ポリゴンモデル[同図(b)]が作成される。
【００２９】
例えば、図６に示したように、カメラ画像の各２×２＝４の画素ブロックから選択される３つの画素の組み合わせごとに、各画素の３次元座標をカメラ画像上での二次元座標および奥行データから算出し、各３次元座標を頂点座標とする三角形のポリゴンを生成する。そして、補完後の深度マップから生成された全てのポリゴンを連結してポリゴンモデルを生成する。このとき、頂点座標間の距離が閾値以上のパターンはノイズと見なされて排除される。
【００３０】
このように、本実施形態では、オブジェクト画像のエッジ領域をカメラ画像に基づいて補間し、補間後のオブジェクト画像に基づいて奥行データを補間し、補間後の奥行データに基づいてオブジェクト領域の三次元モデルが生成されるので、画像レンダリングに十分な奥行推定精度を確保し、画像合成によるアーティファクトを低減できる。
【００３１】
拡張範囲設定部１０６は、前記オブジェクトの３次元表面モデルを、当該オブジェクトの厚み相当だけ奥行方向に拡張する範囲を設定する。図７は、拡張範囲の設定例を示した図であり、ここでは、オブジェクトとして人物を想定し、その胴体部分の断面図を参照して説明する。
【００３２】
本実施形態では、３次元表面モデルの正面から深さ方向に所定の厚み相当の範囲が拡張範囲に設定される。オブジェクトが人物であれば、体の厚みが３０cm相当と仮定し、表面から深さ方向に３０cm以内が拡張範囲とされる。なお、輪郭部に近付くにつれて厚みが漸減するように拡張範囲を設定すれば、より自然な厚みを再現できているようになる。また、オブジェクトが人物であって、その頭部、胴体部、腕部、脚部等を識別できるならば、それらの部位ごと異なる厚み相当の拡張範囲を設定するようにしても良い。
【００３３】
３次元表面モデル拡張部１０７は、図８に示したように、前記３次元表面モデルを内包するボクセル空間を構築し、当該ボクセル空間内の各ボクセルを、前記拡張された３次元表面モデルの奥行データに投影することにより、各ボクセルが拡張範囲であるか否かを判断する。
【００３４】
本実施形態では、ボクセル空間の各ボクセル(X，Y，Z，1)と、当該ボクセルが中心射影行列に基づいて投影された深度マップの各画素(S，T)とが予め対応付けられており、次式(1)の対応関係が与えられ、拡張範囲内とされた全てのボクセルが前記拡張範囲であるか否かが判定される。
【００３５】
【数１】
2016071645.tif 000003
【００３６】
ポリゴンモデル生成部１０８は、拡張範囲内とされた各ボクセルデータの等値面を、例えばMarching cubes (マーチングキューブ法)によりポリゴンデータに変換してポリゴンモデルを生成する。
【００３７】
レンダリング部１０９は、前記ポリゴンモデルを別途に与えられる仮想視点でレンダリングして自由視点映像を出力する。この際、各ポリゴンの法線ベクトルと仮想視点の方向との角度差を求め、角度差の大きなポリゴン面に対して陰影処理を施すようにしても良い
【００３８】
このようなオブジェクト３次元モデル復元部１は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。
【００３９】
図９，１０はいずれも、オブジェクトのRGBカラー画像[同図(a)]およびその深度マップ[同図(b)]から生成されたポリゴンモデルを比較した図であり、いずれも同図(c)は、３次元表面モデルを奥行方向に拡張しない場合のポリゴンモデルであり、カメラと異なる自由視点（仮想視点）では側部のポリゴンが欠落している。
【００４０】
これに対して、同図(d)は、３次元表面モデルを奥行方向へ拡張した場合のポリゴンモデルの表示結果であり、カメラと異なる自由視点でも側部にポリゴンが存在し、オブジェクトの厚みを正確に表現できていることが判る。また、各ポリゴンの法線ベクトルと仮想視点の方向との角度差に応じた陰影処理を施したことにより、奥行が陰影により強調されていることが判る。
【００４１】
本実施形態によれば、オブジェクトを撮影したカメラ画像およびその深度マップを出力するRGB-Dカメラ1セットのみを用いて、従来技術では捉えきれなかった側面等の領域の３次元形状が復元可能となる。
【００４２】
また、本実施形態によれば、ゴルフ等の個人スポーツ競技における自由視点映像の合成を行う際に、従来のビルボード方式では再現することができなかった、細かな視点・アングルの移動に応じた見え方の変化を滑らかに再現可能となる。
【００４３】
さらに、本実施形態によれば、ポリゴンモデルの各ポリゴンの法線ベクトルと仮想視点の方向とを比較して自由視点映像に陰影処理を施すようにしたので、側面等の奥行部分を陰影により強調表示できるようになる。
【符号の説明】
【００４４】
１…３次元モデル復元部，２…距離画像カメラ，１０１…オブジェクト領域抽出部，１０２…オブジェクト画像抽出部，１０３…オブジェクト画像補間部，１０４…奥行データ補間部，１０５…３次元表面モデル生成部，１０６…拡張範囲設定部，１０７…３次元表面モデル拡張部，１０８…ポリゴンモデル生成部，レンダリング部１０９
【図１】
2016071645.tif 000004
【図２】
2016071645.tif 000005
【図３】
2016071645.tif 000006
【図４】
2016071645.tif 000007
【図５】
2016071645.tif 000008
【図６】
2016071645.tif 000009
【図７】
2016071645.tif 000010
【図８】
2016071645.tif 000011
【図９】
2016071645.tif 000012
【図１０】
2016071645.tif 000013