(57)【要約】【課題】オブジェクトの形状を維持しつつ、オブジェクトの動きに応じて最適化することによってデータサイズや演算量の増大を抑制した三次元メッシュモデルを得る。【解決手段】形状が変化するオブジェクトについて時系列で取得された複数のポイントクラウドデータから、オブジェクトを表す時系列の仮メッシュモデルを生成するステップと、仮メッシュモデルについて離散化解析を実施するステップと、離散化解析の結果によって示されるオブジェクトの時系列の形状変化に基づいて仮メッシュモデルを最適化することによって最終的なメッシュモデルを生成するステップとを含むメッシュモデル生成方法が提供される。【選択図】図３
2020194396.tif 000002
【特許請求の範囲】
【請求項１】
形状が変化するオブジェクトについて時系列で取得された複数のポイントクラウドデータから、前記オブジェクトを表す時系列の仮メッシュモデルを生成するステップと、
前記仮メッシュモデルについて離散化解析を実施するステップと、
前記離散化解析の結果によって示される前記オブジェクトの時系列の形状変化に基づいて前記仮メッシュモデルを最適化することによって最終的なメッシュモデルを生成するステップと
を含むメッシュモデル生成方法。
【請求項２】
前記離散化解析は、時系列において連続する前記仮メッシュモデルの間における前記オブジェクトの動きをメッシュ節点の相互変位によって表現することを含む、請求項１に記載のメッシュモデル生成方法。
【請求項３】
前記最終的なメッシュモデルを生成するステップでは、前記相互変位の変位量が大きい、または前記相互変位の頻度が高い領域について、前記最終的なメッシュモデルにおけるメッシュ密度を前記仮メッシュモデルよりも高くする、請求項２に記載のメッシュモデル生成方法。
【請求項４】
前記最終的なメッシュモデルを生成するステップでは、前記相互変位の変位量が小さい、または前記相互変位の頻度が低い領域について、前記最終的なメッシュモデルにおけるメッシュ密度を前記仮メッシュモデルよりも低くする、請求項２または請求項３に記載のメッシュモデル生成方法。
【請求項５】
前記離散化解析は、前記仮メッシュモデルにおけるメッシュまたはメッシュ節点を要素とする有限差分法（ＦＤＭ）、有限要素法（ＦＥＭ）、または粒子法である、請求項１から請求項４のいずれか１項に記載のメッシュモデル生成方法。
【請求項６】
前記オブジェクトを挟んで正対する少なくとも２つのカメラで前記オブジェクトを撮像することによって前記ポイントクラウドデータを取得するステップと、
前記ポイントクラウドデータを取得するステップの前に、前記少なくとも２つのカメラの中間に配置された両面チャートを前記少なくとも２つのカメラで撮像した画像を用いて前記少なくとも２つのカメラが撮像した画像間で三次元座標を整合させるステップと
をさらに含み、
前記両面チャートは、前記少なくとも２つのカメラにそれぞれ撮像される面の間で反転したパターンを有する、請求項１から請求項５のいずれか１項に記載のメッシュモデル生成方法。
【請求項７】
前記オブジェクトの形状が変化していない間に、１つのカメラで前記オブジェクトを撮像して第１の奥行き画像を得るステップと、
前記オブジェクトを前記１つのカメラの奥行き方向に対して垂直な軸の周りに１８０度回転させ、さらに前記オブジェクトの前記奥行き方向の最大座標が前記第１の奥行き画像と一致するように平行移動させた上で前記１つのカメラで前記オブジェクトを撮像して第２の奥行き画像を得るステップと、
前記第１の奥行き画像および前記第２の奥行き画像を、いずれか一方を前記奥行き方向について反転させた上で互いに重ね合わせることによって前記ポイントクラウドデータを取得するステップと
をさらに含む、請求項１から請求項５のいずれか１項に記載のメッシュモデル生成方法。
【請求項８】
形状が変化するオブジェクトについて時系列で取得された複数のポイントクラウドデータから、前記オブジェクトを表す時系列の仮メッシュモデルを生成する仮メッシュモデル生成部と、
前記仮メッシュモデルについて離散化解析を実施する離散化解析部と、
前記離散化解析の結果によって示される前記オブジェクトの時系列の形状変化に基づいて前記仮メッシュモデルを最適化することによって最終的なメッシュモデルを生成するメッシュモデル最適化部と
を備えるメッシュモデル生成装置。
【請求項９】
形状が変化するオブジェクトについて時系列で取得された複数のポイントクラウドデータから、前記オブジェクトを表す時系列の仮メッシュモデルを生成する仮メッシュモデル生成部と、
前記仮メッシュモデルについて離散化解析を実施する離散化解析部と、
前記離散化解析の結果によって示される前記オブジェクトの時系列の形状変化に基づいて前記仮メッシュモデルを最適化することによって最終的なメッシュモデルを生成するメッシュモデル最適化部と
を備えるメッシュモデル生成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メッシュモデル生成方法、メッシュモデル生成装置およびプログラムに関する。
【背景技術】
【０００２】
例えばコンピュータグラフィックスにおける描画のために、オブジェクトの三次元メッシュモデルを作成することは一般的である。三次元メッシュモデルを作成するための技術は、例えば特許文献１に記載されている。特許文献１に記載された技術では、複数の異なる視点からオブジェクトを撮影した複数の画像を用いてオブジェクトの表面をメッシュで表現した三次元メッシュモデルを生成するにあたり、各メッシュと画像撮影時のカメラまたは照明光源との位置関係に応じて各画像の重み係数を算出し、各メッシュに対応するテクスチャ画像を複数の画像から生成する場合に各画像の重み係数に応じた重み付けを行う。これによって、三次元メッシュモデルに対して適切なテクスチャ画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１９−０２０９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、三次元メッシュモデルは、上記の特許文献１に記載された例のように、オブジェクトの表面を所定の大きさの三角形や四角形のメッシュで表現したものとして説明される。メッシュ密度を高くすれば細かいオブジェクトの形状やその変化を表現できるが、データサイズや演算量が増大する。その一方で、メッシュ密度を低くすればデータサイズや演算量を削減できるが、オブジェクトの形状やその変化の表現力は低下する。例えば特許文献１に記載されたような従来の技術では、上記のようなメッシュ密度に関するトレードオフの問題には対処されていない。
【０００５】
そこで、本発明は、オブジェクトの形状を維持しつつ、オブジェクトの動きに応じて最適化することによってデータサイズや演算量の増大を抑制した三次元メッシュモデルを得ることが可能なメッシュモデル生成方法、メッシュモデル生成装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、形状が変化するオブジェクトについて時系列で取得された複数のポイントクラウドデータから、オブジェクトを表す時系列の仮メッシュモデルを生成するステップと、仮メッシュモデルについて離散化解析を実施するステップと、離散化解析の結果によって示されるオブジェクトの時系列の形状変化に基づいて仮メッシュモデルを最適化することによって最終的なメッシュモデルを生成するステップとを含むメッシュモデル生成方法が提供される。
【０００７】
本発明の別の観点によれば、形状が変化するオブジェクトについて時系列で取得された複数のポイントクラウドデータから、オブジェクトを表す時系列の仮メッシュモデルを生成する仮メッシュモデル生成部と、仮メッシュモデルについて離散化解析を実施する離散化解析部と、離散化解析の結果によって示されるオブジェクトの時系列の形状変化に基づいて仮メッシュモデルを最適化することによって最終的なメッシュモデルを生成するメッシュモデル最適化部とを備えるメッシュモデル生成装置が提供される。
【０００８】
本発明のさらに別の観点によれば、形状が変化するオブジェクトについて時系列で取得された複数のポイントクラウドデータから、オブジェクトを表す時系列の仮メッシュモデルを生成する仮メッシュモデル生成部と、仮メッシュモデルについて離散化解析を実施する離散化解析部と、離散化解析の結果によって示されるオブジェクトの時系列の形状変化に基づいて仮メッシュモデルを最適化することによって最終的なメッシュモデルを生成するメッシュモデル最適化部とを備えるメッシュモデル生成装置としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
本発明によれば、オブジェクトの形状を維持しつつ、オブジェクトの動きに応じて最適化することによってデータサイズや演算量の増大を抑制した三次元メッシュモデルを得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るシステムの概略的な構成を示す図である。
【図２】図１に示されたシステムにおけるメッシュモデル生成装置の構成例を示すブロック図である。
【図３】本発明の一実施形態に係るメッシュモデル生成方法の概略的な処理を示すフローチャートである。
【図４】本発明の一実施形態においてポイントクラウドデータを取得するカメラの校正方法の例を示す図である。
【図５】本発明の一実施形態において１台のカメラを用いてオブジェクトのポイントクラウドデータを取得する方法の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
図１は、本発明の一実施形態に係るシステムの概略的な構成を示す図である。図示された例において、システム１０は、オブジェクトｏｂｊのポイントクラウドデータ１０１を取得するカメラ１００と、メッシュモデル生成装置２００と、記憶装置３００とを含む。カメラ１００は、例えばオブジェクトｏｂｊの奥行き方向の距離を取得することが可能な２つ以上のデプスカメラ（ＲＧＢ−Ｄカメラ）であってもよい。カメラ１００として通常のカメラ（ＲＧＢカメラ）を２つ以上組み合わせて用いることも可能である。また、後述する例のように、１台のカメラ１００を用いてオブジェクトｏｂｊのポイントクラウドデータ１０１を取得することも可能である。ここで、ポイントクラウドデータ１０１は、オブジェクトｏｂｊが存在する空間の三次元座標を少なくとも含むデータであり、オブジェクトｏｂｊのポイントクラウドデータ１０１によって示される三次元座標を有する点の集合として表現される。
【００１３】
本実施形態では、オブジェクトｏｂｊの形状を変化させながら、時系列で複数のポイントクラウドデータ１０１が取得される。つまり、図１に概念的に示すように、オブジェクトｏｂｊ（ここでは人間の手）がさまざまな動きをすることによって形状が変化する間に、カメラ１００が例えば所定の時間間隔でポイントクラウドデータ１０１の取得を繰り返し実行することによって、形状が変化するオブジェクトｏｂｊについて時系列で複数のポイントクラウドデータ１０１が取得される。取得されたポイントクラウドデータ１０１は、メッシュモデル生成装置２００に入力される。メッシュモデル生成装置２００は、ポイントクラウドデータ１０１から後述するような手順で三次元メッシュモデル２０１を生成し、記憶装置３００に格納する。三次元メッシュモデル２０１は、例えばコンピュータグラフィックスによるオブジェクトｏｂｊの描画に利用することができる。
【００１４】
図２は、図１に示されたシステムにおけるメッシュモデル生成装置の構成例を示すブロック図である。図示された例において、メッシュモデル生成装置２００は、ポイントクラウドデータ取得部２１０と、仮メッシュモデル生成部２２０と、離散化解析部２３０と、メッシュモデル最適化部２４０とを含む。メッシュモデル生成装置２００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、ポイントクラウドデータ取得部２１０、仮メッシュモデル生成部２２０、離散化解析部２３０、およびメッシュモデル最適化部２４０の機能はプロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される。以下、各部の機能についてさらに説明する。
【００１５】
ポイントクラウドデータ取得部２１０は、形状が変化するオブジェクトｏｂｊについて時系列で取得された複数のポイントクラウドデータＰｔ（ｔ＝０，１，・・・，ｎ）を取得する。図１に示されたポイントクラウドデータ１０１について説明した通り、ポイントクラウドデータＰｔは各時刻においてオブジェクトｏｂｊの表面を構成する点の三次元座標を少なくとも含む。
【００１６】
仮メッシュモデル生成部２２０は、ポイントクラウドデータ取得部２１０が取得した時系列のポイントクラウドデータＰｔから、オブジェクトｏｂｊを表す時系列の仮メッシュモデルＭｔを生成する。仮メッシュモデルＭｔでは、例えば、オブジェクトｏｂｊの全体について、所定の密度でメッシュが配置される。なお、本明細書において、メッシュモデルは別途言及されない限り三次元メッシュモデルである。単一のポイントクラウドデータから三次元メッシュモデルを生成する手法については、公知の技術を利用することが可能であるため詳細な説明は省略する。仮メッシュモデルＭｔは例えば三角パッチベースで生成されてもよいが、この例には限定されない。
【００１７】
離散化解析部２３０は、仮メッシュモデル生成部２２０が生成した時系列の仮メッシュモデルＭｔについて離散化解析を実施する。ここで、本明細書において、離散化解析は、例えば流体解析において用いられる、連続的な現象を時間的および空間的に離散した複数の要素間の相互作用として表現する解析手法であり、具体的には仮メッシュモデルＭｔにおけるメッシュまたはメッシュ節点（制御点ともいう）を要素とする有限差分法（ＦＤＭ）、有限要素法（ＦＥＭ）、または粒子法などを含む。離散化解析は、例えば、時系列において連続する２つの仮メッシュモデルＭｔ，Ｍｔ＋１の間におけるオブジェクトｏｂｊの動きを、メッシュ節点の相互変位によって表現することを含む。
【００１８】
メッシュモデル最適化部２４０は、離散化解析部２３０における離散化解析の結果に応じて仮メッシュモデルＭｔを最適化することによって、最終的なメッシュモデルＭＦを生成する。最終的なメッシュモデルＭＦは、図１を参照して説明した三次元メッシュモデル２０１である。例えば、メッシュモデル最適化部２４０は、仮メッシュモデルＭｔ（ｔ＝０，１，・・・，ｎ）の離散化解析においてメッシュ節点の相互変位の変位量が大きい、または相互変位の頻度が高い領域について、メッシュモデルＭＦにおけるメッシュ密度を仮メッシュモデルＭｔよりも高くしてもよい。また、メッシュモデル最適化部２４０は、離散化解析においてメッシュ節点の相互変位が小さい、または相互変位の頻度が低い領域について、メッシュモデルＭＦにおけるメッシュ密度を仮メッシュモデルＭｔよりも低くしてもよい。
【００１９】
より具体的には、メッシュモデル最適化部２４０は、各領域において時系列（ｔ＝０，１，・・・，ｎ）の中で発生した相互変位の変位量（距離または角度）と、変位量が閾値を超える相互変位の発生頻度とに基づいて、メッシュ密度を大きく、または小さくすることを判定してもよい。例えば、変位量について比較的大きな閾値を設定し、発生頻度について比較的小さな閾値（例えば、１回）を設定することによって、頻度は低くても大きな相互変位が発生する可能性がある領域についてメッシュ密度を大きくすることができる。あるいは、変位量について比較的小さな閾値（例えば、不規則なノイズが除去できる程度）を設定し、発生頻度について比較的大きな閾値を設定することによって、変位量に関わらず相互変位の頻度が高い領域についてメッシュ密度を大きくすることができる。
【００２０】
上記のようなメッシュモデル生成装置２００によって生成されたメッシュモデルＭＦでは、オブジェクトｏｂｊの動きによる形状の変化が相対的に大きい領域において、より高い密度でメッシュが配置される。これによって、オブジェクトｏｂｊの動きを的確に表現することができる。一方、メッシュモデルＭＦでは、オブジェクトｏｂｊの動きによる形状の変化が相対的に小さい領域において、より低い密度でメッシュが配置される。これによって、メッシュモデルＭＦのデータサイズを削減し、オブジェクトｏｂｊの動きの表現力を高めつつ演算量の増大を抑制することができる。
【００２１】
図３は、本発明の一実施形態に係るメッシュモデル生成方法の概略的な処理を示すフローチャートである。まず、上記で図１を参照して説明したように、カメラ１００を用いてオブジェクトｏｂｊのポイントクラウドデータ１０１を時系列で取得する（ステップＳ１）。次に、図２を参照して説明したように、メッシュモデル生成装置２００において、仮メッシュモデル生成部２２０が、ポイントクラウドデータ取得部２１０が取得したポイントクラウドデータＰｔから時系列の仮メッシュモデルＭｔを生成する（ステップＳ２）。さらに、離散化解析部２３０が仮メッシュモデルＭｔについて離散化解析を実施し（ステップＳ３）、メッシュモデル最適化部２４０が離散化解析の結果に応じて仮メッシュモデルＭｔを最適化して最終的なメッシュモデルＭＦを生成する（ステップＳ４）。
【００２２】
なお、上記の処理フローにおいて、仮メッシュモデルＭｔを生成するステップＳ２、離散化解析を実施するステップＳ３、および仮メッシュモデルＭｔを最適化するステップＳ４は、部分的に並行して実行されてもよい。より具体的には、仮メッシュモデル生成部２２０が時系列の一部の仮メッシュモデルＭｔ（ｔ＝０，１，・・・ｍ；ｍ＜ｎ）を生成した時点で離散化解析部２３０が生成された仮メッシュモデルＭｔについて離散化解析を開始、残りの仮メッシュモデルＭｔ（ｔ＝ｍ＋１，・・・，ｎ）の生成と離散化解析とが並行して実行されてもよい。また、メッシュモデル最適化部２４０は、時系列の一部の仮メッシュモデルＭｔの離散化解析の結果に応じて仮メッシュモデルＭｔを最適化した中間的なメッシュモデルＭＭを作成し、残りの仮メッシュモデルＭｔの離散化解析の結果において中間的なメッシュモデルＭＭをさらに最適化して最終的なメッシュモデルＭＦを生成してもよい。
【００２３】
図４は、本発明の一実施形態においてポイントクラウドデータを取得するカメラの校正方法の例を示す図である。上記で図１を参照して説明したように、本実施形態においてオブジェクトｏｂｊのポイントクラウドデータ１０１を取得するカメラ１００は、２つ以上のカメラを組み合わせたものであってもよい。図４に示された例では、オブジェクトｏｂｊを挟んで正対する２つのカメラ１００Ａ，１００Ｂでオブジェクトｏｂｊを撮像することによってポイントクラウドデータ１０１を取得する。この場合、ポイントクラウドデータ１０１を取得する前に、カメラ１００Ａ，１００Ｂが取得した画像間で三次元座標を整合させる校正の手順が実施される。
【００２４】
上記の例において、カメラ１００Ａ，１００Ｂの校正の手順は、カメラ１００Ａ，１００Ｂの中間に配置された両面チャート１１０をカメラ１００Ａ，１００Ｂで撮像した画像を用いて画像間で三次元座標を整合させるステップを含む。ここで、両面チャート１１０は、図示されているように表面および裏面、すなわちカメラ１００Ａ，１００Ｂにそれぞれ撮像される面の間で反転したパターンを有する反射型チャートである。両面チャート１１０の厚さを薄くしてｚ軸方向（カメラ１００Ａ，１００Ｂのそれぞれの奥行き方向）の厚みを０とみなし、さらにカメラ１００Ａ，１００Ｂがそれぞれ撮像した両面チャート１１０の画像でパターンの座標位置が反転していることを前提条件として与えることによって、画像間で三次元座標を容易に整合させることができる。
【００２５】
図５は、本発明の一実施形態において１台のカメラを用いてオブジェクトのポイントクラウドデータを取得する方法の例を示す図である。図示された例では、１台のデプスカメラ１００Ｃを用いて、オブジェクトｏｂｊの形状が変化していない間に少なくとも２回の撮像を実施する。まず１回目の撮像では、デプスカメラ１００Ｃの奥行き方向をｚ軸とした場合に、オブジェクトｏｂｊの輪郭部分がｘ−ｙ平面に対して平行になるようにオブジェクトｏｂｊを配置した上で、オブジェクトｏｂｊを撮像して第１の奥行き画像を得る。このとき、オブジェクトｏｂｊの奥行き方向の最大座標（ｚ座標）をｚ１とする。次に、２回目の撮像で、同じくオブジェクトｏｂｊの輪郭部分がｘ−ｙ平面に対して平行になるようにオブジェクトｏｂｊを配置した上で、オブジェクトｏｂｊをｙ軸（ｚ軸に対して垂直な軸；ｘ軸でもよい）の回りに１８０度回転させ、さらにオブジェクトｏｂｊの奥行き方向の最大座標（ｚ座標）が１回目の撮像と同じｚ１になるようにオブジェクトｏｂｊを平行移動させた上で、オブジェクトｏｂｊを撮像して第２の奥行き画像を得る。上記の第１および第２の奥行き画像について、オブジェクトｏｂｊの輪郭部分がなるべく重なるように画像のｘ方向およびｙ方向の位置を合わせ、さらにいずれか一方をｚ座標について反転させた上で互いに重ね合わせることによって、オブジェクトｏｂｊのポイントクラウドデータ１０１を取得することができる。
【００２６】
なお、上記の例では奥行き方向の最大座標が１回目および２回目の撮像で同じｚ１になるようにオブジェクトｏｂｊを平行移動させているが、オブジェクトｏｂｊを平行移動させることなく、例えば１回目の撮像では奥行き方向の最大座標（図示された例では親指側）をｚ１とし、２回目の撮像では奥行き方向の最小座標（図示された例では小指側）をｚ１としてもよい。この場合、第１および第２の奥行き画像のいずれかをｚ＝ｚ１の軸の回りに１８０°回転させれば、奥行き方向について画像を重ね合わせることができる。
【００２７】
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００２８】
１０…システム、１００…カメラ、１００Ａ…カメラ、１００Ｂ…カメラ、１００Ｃ…デプスカメラ、１０１…ポイントクラウドデータ、１１０…両面チャート、２００…メッシュモデル生成装置、２０１…三次元メッシュモデル、２１０…ポイントクラウドデータ取得部、２２０…仮メッシュモデル生成部、２３０…離散化解析部、２４０…メッシュモデル最適化部、３００…記憶装置、ｏｂｊ…オブジェクト。
【図１】
2020194396.tif 000003
【図２】
2020194396.tif 000004
【図３】
2020194396.tif 000005
【図４】
2020194396.tif 000006
【図５】
2020194396.tif 000007