(57)【要約】【課題】被写体の３次元形状を復元する装置は、輪郭生成曲線上の微分幾何特徴（法線や接平面等）も拘束条件として用いることで、形状復元をさらに高精度化することを可能とする。【解決手段】被写体の３次元形状を復元する装置は、被写体を複数の視点位置で撮影した多視点画像において、被写体の表面における輪郭生成曲線と接線の情報が得られている場合に、被写体を複数の視点位置で撮影した多視点画像と、各カメラのカメラパラメータと、前記接線及び前記輪郭生成曲線の情報とを入力し、該接線の情報に基づいて該輪郭生成曲線における微分幾何特徴をあらかじめ求めておき、前記輪郭生成曲線および前記微分幾何特徴を被写体の表面上にある特徴点として被写体の形状を復元する。【選択図】図１
2013178113.tif 000002
【特許請求の範囲】
【請求項１】
被写体を複数の視点位置で撮影した多視点画像において、被写体の表面における輪郭生成曲線と接線の情報が得られている場合に、被写体の３次元形状を復元する装置であって、
被写体を複数の視点位置で撮影した多視点画像と、各カメラのカメラパラメータと、前記接線及び前記輪郭生成曲線の情報とを入力するデータ入力手段と、
該接線の情報に基づいて該輪郭生成曲線における微分幾何特徴をあらかじめ求めておく基準微分幾何特徴算出手段と、
前記輪郭生成曲線および前記微分幾何特徴を被写体の表面上にある特徴点として被写体の形状を復元する表面復元手段と、
を備えていることを特徴とする被写体の３次元形状を復元する装置。
【請求項２】
前記表面復元手段は、前記輪郭生成曲線を被写体の表面上にある特徴点として被写体の形状を復元する手段であり、
復元された形状の輪郭生成曲線における微分幾何特徴を求める復元微分幾何特徴算出手段と、
前記基準微分幾何特徴算出手段で得られた微分幾何特徴と前記復元微分幾何特徴算出手段で得られた微分幾何特徴とを比較して一致度を評価する微分幾何特徴比較手段と、
を備えていることを特徴とする請求項１に記載の装置。
【請求項３】
前記基準微分幾何特徴算出手段と前記復元微分幾何特徴算出手段において、微分幾何特徴として前記輪郭生成曲線における被写体の表面に対する法線を用いることを特徴とする請求項２に記載の装置。
【請求項４】
前記微分幾何特徴比較手段において、比較する一致度として、前記法線の内積を用い、該内積の値が閾値以上である場合に一致していると評価することを特徴とする請求項３に記載の装置。
【請求項５】
前記微分幾何特徴比較手段において、比較する一致度として、前記法線のなす角度を用い、該角度の値が閾値以下である場合に一致していると評価することを特徴とする請求項３に記載の装置。
【請求項６】
前記表面復元手段において、前記一致度をデータ項の１つとするエネルギー関数の最小化問題として定式化することを特徴とする請求項２から５のいずれか１項に記載の装置。
【請求項７】
被写体を複数の視点位置で撮影した多視点画像において、被写体の表面における輪郭生成曲線と接線の情報が得られている場合に、被写体の３次元形状を復元する方法であって、
被写体を複数の視点位置で撮影した多視点画像と、各カメラのカメラパラメータと、前記接線及び前記輪郭生成曲線の位置とを入力するデータ入力ステップと、
該接線の情報に基づいて該輪郭生成曲線における微分幾何特徴をあらかじめ求めておく基準微分幾何特徴算出ステップと、
前記輪郭生成曲線および前記微分幾何特徴を被写体の表面上にある特徴点として被写体の形状を復元する表面復元ステップと、
を備えていることを特徴とする被写体の３次元形状を復元する方法。
【請求項８】
前記表面復元ステップは、前記輪郭生成曲線を被写体の表面上にある特徴点として被写体の形状を復元するステップであり、
前記表面復元ステップにおいて、復元された形状の輪郭生成曲線における微分幾何特徴を求める復元微分幾何特徴算出ステップと、
前記基準微分幾何特徴算出ステップで得られた微分幾何特徴と前記復元微分幾何特徴算出ステップで得られた微分幾何特徴とを比較して一致度を評価する微分幾何特徴比較ステップと、
を備えていることを特徴とする請求項７に記載の方法。
【請求項９】
請求項１から６のいずれか１項に記載の装置としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像を用いて輪郭生成曲線（被写体の表面上にあり、カメラ画像上で輪郭を作る３次元曲線）が取得できている状況下で、３次元形状を高精度に復元する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来技術文献の非特許文献１における３次元形状復元の方法では、被写体の表面上のフロンティア点（異なる輪郭生成曲線の交点であり、遮蔽輪郭の情報からエピポーラ幾何学を用いて得ることができる）を通過することを拘束条件として、３次元形状を復元している。
【０００３】
従来技術文献の非特許文献２および非特許文献３における３次元形状復元の方法では、被写体の表面上の輪郭生成曲線を求め、表面が輪郭生成曲線を通過することを拘束条件として、３次元形状を復元している。輪郭生成曲線を求めるために、まずカメラの位置から被写体表面への接線を算出し、この接線上で接点を探索し、取得した接点の集合を輪郭生成曲線としている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】冨山，片山，折原，岩舘，“局所的形状特徴に拘束された３次元形状復元手法とそのリアルタイム動画表示”，映像情報メディア学会誌，ｖｏｌ．６１，Ｎｏ．４，ｐｐ．４７１−４８１（２００７）．
【非特許文献２】石川彰夫，三功浩嗣，内藤整，“遮蔽輪郭の位置推定による３次元形状復元の高精度化”，信学技報，ｖｏｌ．１１１，ｎｏ．２５９，ＩＥ２０１１−６７，ｐｐ．３７−４２（２０１１）．
【非特許文献３】石川彰夫，三功浩嗣，内藤整，“Ｖｉｓｕａｌ  Ｈｕｌｌ上における遮蔽輪郭の３次元位置の推定方法”，映像情報メディア学会冬季大会，（２０１１）．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の３次元形状復元の方法では表面が輪郭生成曲線を通過することを拘束条件としているが、通過する向きなどに対しては条件を与えておらず、輪郭生成曲線以外の領域では実際の形状とかけ離れた形状が復元される可能性があった。
【０００６】
したがって、本発明は、輪郭生成曲線上の微分幾何特徴（法線や接平面等）も拘束条件として用いることで、形状復元をさらに高精度化することを可能とする被写体の３次元形状を復元する装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため本発明の被写体の３次元形状を復元する装置は、被写体を複数の視点位置で撮影した多視点画像において、被写体の表面における輪郭生成曲線と接線の情報が得られている場合に、被写体の３次元形状を復元する装置であって、被写体を複数の視点位置で撮影した多視点画像と、各カメラのカメラパラメータと、前記接線及び前記輪郭生成曲線の情報とを入力するデータ入力手段と、該接線の情報に基づいて該輪郭生成曲線における微分幾何特徴をあらかじめ求めておく基準微分幾何特徴算出手段と、前記輪郭生成曲線および前記微分幾何特徴を被写体の表面上にある特徴点として被写体の形状を復元する表面復元手段とを備えている。
【０００８】
また、前記表面復元手段は、前記輪郭生成曲線を被写体の表面上にある特徴点として被写体の形状を復元する手段であり、復元された形状の輪郭生成曲線における微分幾何特徴を求める復元微分幾何特徴算出手段と、前記基準微分幾何特徴算出手段で得られた微分幾何特徴と前記復元微分幾何特徴算出手段で得られた微分幾何特徴とを比較して一致度を評価する微分幾何特徴比較手段とを備えていることも好ましい。
【０００９】
また、前記基準微分幾何特徴算出手段と前記復元微分幾何特徴算出手段において、微分幾何特徴として前記輪郭生成曲線における被写体の表面に対する法線を用いることも好ましい。
【００１０】
また、前記微分幾何特徴比較手段において、比較する一致度として、前記法線の内積を用い、該内積の値が閾値以上である場合に一致していると評価することも好ましい。
【００１１】
また、前記微分幾何特徴比較手段において、比較する一致度として、前記法線のなす角度を用い、該角度の値が閾値以下である場合に一致していると評価することも好ましい。
【００１２】
また、前記表面復元手段において、前記一致度をデータ項の１つとするエネルギー関数の最小化問題として定式化することも好ましい。
【００１３】
上記課題を解決するため本発明の被写体の３次元形状を復元する方法は、被写体を複数の視点位置で撮影した多視点画像において、被写体の表面における輪郭生成曲線と接線の情報が得られている場合に、被写体の３次元形状を復元する方法であって、被写体を複数の視点位置で撮影した多視点画像と、各カメラのカメラパラメータと、前記接線及び前記輪郭生成曲線の位置とを入力するデータ入力ステップと、該接線の情報に基づいて該輪郭生成曲線における微分幾何特徴をあらかじめ求めておく基準微分幾何特徴算出ステップと、前記輪郭生成曲線および前記微分幾何特徴を被写体の表面上にある特徴点として被写体の形状を復元する表面復元ステップとを備えている。
【００１４】
また、前記表面復元ステップは、前記輪郭生成曲線を被写体の表面上にある特徴点として被写体の形状を復元するステップであり、前記表面復元ステップにおいて、復元された形状の輪郭生成曲線における微分幾何特徴を求める復元微分幾何特徴算出ステップと、前記基準微分幾何特徴算出ステップで得られた微分幾何特徴と前記復元微分幾何特徴算出ステップで得られた微分幾何特徴とを比較して一致度を評価する微分幾何特徴比較ステップとを備えていることも好ましい。
【００１５】
上記課題を解決するため本発明のプログラムは、前記に記載の装置としてコンピュータを機能させる。
【発明の効果】
【００１６】
以上、本発明の３次元形状復元方法によれば、被写体表面上の点における微分幾何学的特徴を拘束条件として用いることにより、復元された３次元形状が実際の形状からかけ離れるという課題を解決し、従来よりも高精度な３元形状を復元するという効果を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態による３次元形状復元装置のシステム構成図を示す。
【図２】本発明の第２の実施形態による３次元形状復元装置のシステム構成図を示す。
【図３】第２の実施形態での３次元形状復元装置の動作フローチャートを示す。
【図４】接線の傾きｙｔ’算出の例を示す。
【図５】法線Ｎ’算出の例を示す。
【発明を実施するための形態】
【００１８】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明の第１の実施形態による３次元形状復元装置のシステム構成図であり、図１に示す様に、３次元形状復元装置は、データ入力部１、基準微分幾何特徴算出部２、および表面復元部３を備えている。
【００１９】
データ入力部１は、被写体を複数の視点位置で同期撮影して得られた画像データ（多視点画像）と各カメラのカメラパラメータと被写体の表面上の輪郭生成曲線及び接線の情報とを入力する。カメラパラメータと輪郭生成曲線及び接線の情報は、公知の技術を用いて求めてよい。
【００２０】
基準微分幾何特徴算出部２は、接線の情報に基づいて輪郭生成曲線における微分幾何特徴をあらかじめ求めておく。例えば、微分幾何特徴として、輪郭生成曲線における被写体の表面に対する法線の情報を用いてもよい。法線ベクトルＮは、下式で与えられる。
Ｎ＝Ｓ×Ｔ
ここで、Ｓは接線の向きベクトルであり、Ｔは輪郭生成曲線の接ベクトルである。また、微分幾何特徴として、輪郭生成曲線における被写体の表面に対する接平面を用いることも可能である。
【００２１】
表面復元部３は、被写体の表面が輪郭生成曲線を通過することおよび微分幾何特徴が一致することを拘束条件として被写体の形状を復元する。形状を復元する方法としては、例えば、グラフカットを用いてもよい。グラフカットでは、エネルギー関数Ｅが、
Ｅ＝平滑化項＋データ項
と表される。平滑化項は復元させる３次元形状の表面を連続にさせるための項であり、データ項は３次元形状の表面がどこに存在するのが尤もらしいかを表す項である。データ項に上記の拘束条件を付加して、３次元形状を復元する。
【００２２】
図２は、本発明の第２の実施形態による３次元形状復元装置のシステム構成図を示す。本実施形態では、表面復元部３は、復元微分幾何特徴算出部３１、および微分幾何特徴比較部３２を備えている。図３は、第２の実施形態での３次元形状復元装置の動作フローチャートを示す。以下本フローチャートにもとづいて説明する。
【００２３】
ステップ１：データ入力、データ入力部１は、第１の実施形態と同様に、画像データ（多視点画像）と各カメラのカメラパラメータと被写体の表面上の輪郭生成曲線及び接線の情報を入力する。
【００２４】
ステップ２：基準微分幾何特徴算出、基準微分幾何特徴算出部２は、第１の実施形態と同様に、接線の情報に基づいて輪郭生成曲線における微分幾何特徴をあらかじめ求めておく。
【００２５】
ステップ３：表面復元、本実施形態では、表面復元部３は、被写体の表面が輪郭生成曲線を通過することを拘束条件として被写体の形状を復元する。形状を復元する方法としては、例えば、グラフカットを用いてもよい。
【００２６】
ステップ４：復元微分幾何特徴算出、表面復元部３において、復元微分幾何特徴算出部３１は、復元された形状の輪郭生成曲線における微分幾何特徴を求める。基準微分幾何特徴算出部２で微分幾何特徴として法線を用いた場合は、復元微分幾何特徴算出部３１でも微分幾何特徴として法線を用いる。例えば、被写体の３次元形状を奥行きマップで記述している場合を考える。ある方向に着目し、その方向の標本点の位置座標をｉ、輪郭生成曲線との交点の位置座標をｔ、奥行き値をｙ、ｗ（ｉ−ｔ）をＬａｎｃｚｏｓ窓関数とすると、位置座標ｔにおける着目する方向の接線の傾きｙｔ’は、下式で与えられる。
【数１】
2013178113.tif 000003
【００２７】
この式において、総和は、標本点の位置座標［ｔ]−ｎ＋１から［ｔ]＋ｎまで行われ、ｙｔ，ｙｉは、位置座標ｔ、ｉでの奥行き値でzある。図４に、接線の傾きｙｔ’の算出の例を示す。ここで、［］は床関数であり、［ｘ］は実数ｘに対してｘ以下の最大の整数として定義される。
【００２８】
異なる２方向についてそれぞれ接線の傾きが求まれば、法線はこの２接線の両方に直交する向きとして求められる。例えば、直交する２方向ｘ、ｚについてそれぞれ接線の傾きがｙｘ，ｙｚであれば、法線Ｎ’は下式で求まる。図５に、法線Ｎ’算出の例を示す。
Ｎ’＝（１，ｙｘ，０）Ｔ×（０，ｙｚ，１）Ｔ
【００２９】
ステップ５：微分幾何特徴比較、表面復元部３において、微分幾何特徴比較部３２は、基準微分幾何特徴算出部２で得られた微分幾何特徴と復元微分幾何特徴算出部３１で得られた微分幾何特徴とを比較して一致度を評価する。基準微分幾何特徴算出部２と復元微分幾何特徴算出部３１で微分幾何特徴として法線を用いた場合は、一致度として両法線ＮおよびＮ’の内積を用いてもよい。一致度ｃは下式で表わされる。
ｃ＝Ｎ・Ｎ’
この場合、ｃの値が閾値以上である場合に一致していると評価してもよい。または、両法線のなす角を用いてもよい。一致度ｃ’は下式で表わされる。
ｃ’＝ａｒｃｃｏｓ（Ｎ・Ｎ’）
この場合、ｃ’の値が閾値以下である場合に一致していると評価してもよい。
【００３０】
また、基準微分幾何特徴算出部２と復元微分幾何特徴算出部３１で微分幾何特徴として接平面を用いた場合は、一致度として両接平面の傾きを用いてもよい。
【００３１】
ステップ６：一致度ｃの値が閾値以上である場合または一致度ｃ’の値が閾値以下である場合は、高精度な３元形状を復元されたため、終了する。一致度ｃが閾値未満または一致度ｃ’の値が閾値より大きい場合は、ステップ３に戻り、表面復元部３は、再度、被写体の表面が輪郭生成曲線を通過することを拘束条件として被写体の形状を復元する。この場合、エネルギー関数Ｅのデータ項を変えることによって、別の被写体の形状を復元する。例えば、上記の一致度ｃ、ｃ’の値をデータ項の１つとするエネルギー関数の最小化問題として定式化してもよい。
【００３２】
以上のように、本発明は、被写体表面の微分幾何学的な特徴を用いることにより、３次元形状復元を高精度化することができる。また、既知の３次元形状復元方法において、その方法で用いる特徴的な点や線と併せて用いることにより、３次元形状復元をさらに高精度化することができる。
【００３３】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【符号の説明】
【００３４】
１  データ入力部
２  基準微分幾何特徴算出部
３  表面復元部
３１  復元微分幾何特徴算出部
３２  微分幾何特徴比較部
【図１】
2013178113.tif 000004
【図２】
2013178113.tif 000005
【図３】
2013178113.tif 000006
【図４】
2013178113.tif 000007
【図５】
2013178113.tif 000008