(57)【要約】【課題】３次元形状復元時に不必要な点群の生成にかかる計算コストが膨大であった。【解決手段】対象物体を多視点に応じて設置された複数の撮像装置によって撮像した画像を入力画像として入力する（２０１）。次に、前記入力された入力画像から対象物体に応じた部分を抜き出し、その抜き出された部分の輪郭を計算し、該輪郭を多角形近似した多角形近似輪郭を抽出する（２０２１）。次に、前記入力された入力画像から対象物体のテクスチャの特徴を表す２次元点であるテクスチャ特徴点を抽出する（２０２２）。そして、前記抽出された多角形近似輪郭に基づいて３次元多面体を復元し、前記抽出されたテクスチャ特徴点に基づいてテクスチャに沿う３次元点である特徴点を追加し、ポリゴンを生成する（２０３）。【選択図】図１
2008310724.tif 000002
【特許請求の範囲】
【請求項１】
対象物体を多視点に設置された複数の撮影装置によって撮像した画像を入力画像取得部から取得し、該取得した画像を入力画像として入力する入力画像取得処理部を備え、
前記対象物体の３次元形状を復元する３次元形状復元装置であって、
前記入力画像取得処理部によって入力された入力画像から対象物体に応じた部分を抜き出し、その抜き出された部分の輪郭を計算し、該輪郭を多角形近似した多角形近似輪郭を抽出する輪郭情報抽出部と、
前記入力画像から対象物体のテクスチャの特徴を表す２次元点であるテクスチャ特徴点を抽出する表面特徴抽出部と、
前記輪郭情報抽出部で抽出された多角形近似輪郭を用いて３次元多面体を復元し、前記表面特徴抽出部で抽出されたテクスチャ特徴点に基づいてテクスチャに沿う３次元点である特徴点を追加し、前記復元された３次元多面体と追加されたテクスチャに沿う３次元点である特徴点に基づいてポリゴンを生成するポリゴン生成部と、
を備えることを特徴とする３次元形状復元装置。
【請求項２】
請求項１に記載の３次元形状復元装置において、
前記ポリゴン生成部が、
前記輪郭情報抽出部で抽出された多角形近似輪郭を用いて、ＰＶＨ法に基づき、対象物体の形状を示す３次元点から成る３次元多面体の形状を復元しつつ、
前記表面特徴抽出部で抽出されたテクスチャ特徴点を前記復元された３次元多面体の面上に投影する復元投影手段と、
該復元投影手段によって投影されてテクスチャに沿う３次元点である特徴点を追加し、
前記復元された３次元多面体の頂点と、前記投影されてテクスチャに沿う３次元点である特徴点を連結し、３次元多面体を分割してポリゴンを生成する、テクスチャに沿うポリゴン生成手段と、
を備える
ことを特徴とする３次元形状復元装置。
【請求項３】
請求項２に記載の３次元形状復元装置において、
前記復元投影手段が、
前記ＰＶＨ法における視体積を投影する過程において、前記表面特徴抽出部で抽出されたテクスチャ特徴点のうち、視体積を画像に投影して構成された面内に存在するテクスチャ特徴点を計算し、該計算されたテクスチャ特徴点を逆投影して、テクスチャに沿う３次元点である特徴点を計算する手段、
を備える
ことを特徴とする３次元形状復元装置。
【請求項４】
請求項１に記載の３次元形状復元装置において、
前記ポリゴン生成部が、
前記輪郭情報抽出部で抽出された多角形近似輪郭を用いて、ＰＶＨ法に基づき、対象物体の形状を示す３次元点から成る３次元多面体の形状を復元するＰＶＨ処理手段と、
前記表面特徴抽出部で抽出されたテクスチャ特徴点を前記復元された３次元多面体の面上に投影し、該投影されてテクスチャに沿う３次元点である特徴点を追加する特徴点追加処理手段と、
前記復元された３次元多面体の頂点と、前記投影されてテクスチャに沿う３次元点である特徴点を連結し、３次元多面体を分割して、ポリゴンを生成する手段と、
を備える
ことを特徴とする３次元形状復元装置。
【請求項５】
請求項４に記載の３次元形状復元装置において、
前記特徴点追加処理手段が、
前記ＰＶＨ法によって計算された視体積の交差を構成する面上に、前記表面特徴抽出部で抽出されたテクスチャ特徴点を投影することで、該視体積の交差との交点を計算し、該交点をテクスチャに沿う３次元点である特徴点と見做す手段、
を備える
ことを特徴とする３次元形状復元装置。
【請求項６】
対象物体を多視点に設置された複数の撮影装置によって撮像した画像を入力画像取得部から取得し、該取得した画像を入力画像として入力する入力画像取得処理部を備え、
前記対象物体の３次元形状を復元する装置に使用する３次元形状復元方法であって、
前記入力画像取得処理部によって入力された入力画像から対象物体に応じた部分を抜き出し、その抜き出された部分の輪郭を計算し、該輪郭を多角形近似した多角形近似輪郭を抽出する輪郭情報抽出ステップと、
前記入力画像から対象物体のテクスチャの特徴を表す２次元点であるテクスチャ特徴点を抽出する表面特徴抽出ステップと、
前記輪郭情報抽出ステップで抽出された多角形近似輪郭を用いて３次元多面体を復元し、前記表面特徴抽出ステップで抽出されたテクスチャ特徴点に基づいてテクスチャに沿う３次元点である特徴点を追加し、前記復元された３次元多面体と追加されたテクスチャに沿う３次元点である特徴点に基づいてポリゴンを生成するポリゴン生成ステップと、
を有することを特徴とする３次元形状復元方法。
【請求項７】
請求項６に記載の３次元形状復元方法において、
前記ポリゴン生成ステップが、
前記輪郭情報抽出ステップで抽出された多角形近似輪郭を用いて、ＰＶＨ法に基づき、対象物体の形状を示す３次元点から成る３次元多面体の形状を復元しつつ、
前記表面特徴抽出ステップで抽出されたテクスチャ特徴点を前記復元された３次元多面体の面上に投影する復元投影ステップと、
該復元投影ステップによって投影されてテクスチャに沿う３次元点である特徴点を追加し、
前記復元された３次元多面体の頂点と、前記投影されてテクスチャに沿う３次元点である特徴点を連結し、３次元多面体を分割してポリゴンを生成する、テクスチャに沿うポリゴン生成ステップと、
を有する
ことを特徴とする３次元形状復元方法。
【請求項８】
請求項７に記載の３次元形状復元方法において、
前記復元投影ステップが、
前記ＰＶＨ法における視体積を投影する過程において、前記表面特徴抽出ステップで抽出されたテクスチャ特徴点のうち、視体積を画像に投影して構成された面内に存在するテクスチャ特徴点を計算し、該計算されたテクスチャ特徴点を逆投影して、テクスチャに沿う３次元点である特徴点を計算するステップ、
を有する
ことを特徴とする３次元形状復元方法。
【請求項９】
請求項６に記載の３次元形状復元方法において、
前記ポリゴン生成ステップが、
前記輪郭情報抽出ステップで抽出された多角形近似輪郭を用いて、ＰＶＨ法に基づき、対象物体の形状を示す３次元点から成る３次元多面体の形状を復元するＰＶＨ処理ステップと、
前記表面特徴抽出ステップで抽出されたテクスチャ特徴点を前記復元された３次元多面体の面上に投影し、該投影されてテクスチャに沿う３次元点である特徴点を追加する特徴点追加処理ステップと、
前記復元された３次元多面体の頂点と、前記投影されてテクスチャに沿う３次元点である特徴点を連結し、３次元多面体を分割して、ポリゴンを生成するステップと、
有する
ことを特徴とする３次元形状復元方法。
【請求項１０】
請求項９に記載の３次元形状復元方法において、
前記特徴点追加処理ステップが、
前記ＰＶＨ法によって計算された視体積の交差を構成する面上に、前記表面特徴抽出ステップで抽出されたテクスチャ特徴点を投影することで、該視体積の交差との交点を計算し、該交点をテクスチャに沿う３次元点である特徴点と見做すステップ、
を有する
ことを特徴とする３次元形状復元方法。
【請求項１１】
コンピュータを請求項１乃至５のいずれかに記載の３次元形状復元装置における各部及び各手段として機能させることを特徴とする３次元形状復元プログラム。
【請求項１２】
請求項１１に記載の３次元形状復元プログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどの撮影装置で撮影もしくは撮像された画像に写った被写体の３次元形状を復元する技術に関するものである。
【背景技術】
【０００２】
物体における３次元表面の幾何構造（３次元形状）を記述する技術は、３次元計測分野やＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃ）作成分野で多くの研究が行われている。その３次元表面の幾何構造の記述には、ポリゴン表現がよく用いられている。
【０００３】
ボリゴンは対象物体（以下、単に対象）の表面形状を現しているが、ポリゴンの面が対象の表面に一致していることに加え、ポリゴンの頂点やエッジの位置が対象の表面テクスチャの特徴点やエッジと一致している場合、即ち、対象表面のテクスチャに沿うポリゴンを計算することはさまざまなメリットを有する。
【０００４】
例えば、ポリゴンが表面テクスチャの特徴と一致していれば、ポリゴンの面毎に色や反射特性などを解析することや、色や反射特性を修正することが容易となるため、解析やレンダリングを行い易くなる。
【０００５】
実世界の対象から上述のようなテクスチャに沿うポリゴンを獲得する従来方法を図１３の処理フローの一例に基づいて説明する。この従来方法は、カメラ（撮影装置の一種；例えば、デジタルカメラ）による入力か否かを判断するステップＳ１０１，ステップＳ１０２１〜Ｓ１０２５を有する点群形状獲得ステップＳ１０２，ステップＳ１０３１を有するポリゴン形状獲得ステップＳ１０３，ステップＳ１０４１〜Ｓ１０４５を有するポリゴン修正ステップＳ１０４を有する。
【０００６】
まず、ステップＳ１０１では、カメラによる入力か否かを判断し、カメラによる入力の場合、ステップＳ１０２２へ進む。カメラによる入力でない場合、ステップＳ１０２１へ進む。
【０００７】
点群形状獲得ステップＳ１０２では、既に知られている、実世界における対象の３次元形状を点群として獲得する。この獲得する手法にはいくつかの代表的な手法があり、例えば、カメラから得られた画像データ（以下、単に画像という）を入力として使う方法（Ｓ１０２２〜Ｓ１０２５）と、カメラを使わず対象表面の３次元位置を測定する方法（Ｓ１０２１）と、のいずれかを実行する。
【０００８】
前記カメラを使わず対象表面の３次元位置を測定する方法（Ｓ１０２１）は、例えば、３次元レーザスキャナ、レーザレンジファインダなどを用いる方法が知られており、レーザ光を対象表面に照射し、照射方向にある物体の表面点の位置を出力する。
【０００９】
カメラから得られた画像を入力として使う方法（Ｓ１０２２〜Ｓ１０２５）は、入力画像処理（Ｓ１０２２）を行った後、ユーザの手法選択（Ｓ１０２３）によって、マルチベースラインステレオ法（Ｓ１０２４）、視体積交差法（Ｓ１０２５）のいずれかを選択し実行する。いずれの方法も入力画像取得処理として、対象を複数のカメラを用いて撮影した画像を用いる。
【００１０】
マルチベースラインステレオ法（Ｓ１０２４）は、多数のカメラから得られた画像の中からステレオカメラ対を構成するカメラ２台毎に関して対象の距離画像（デプスマップ）を作成し、それを繋ぎ合わせることによって対象の３次元点群を計算する。
【００１１】
視体積交差法（Ｓ１０２５）は、複数のカメラから得られた画像を用いて、カメラの共通視野内の対象を復元する方法であって、非特許文献１に基づいた一例を以下に説明する。
【００１２】
非特許文献１における視体積交差法による形状復元は、復元範囲となる３次元空間の各ボクセルを全てのカメラの画像面に投影して評価することによって、ボクセル内に対象があるか否かを決定する方法を用いており、得られるデータは点群である。
【００１３】
この方法で生成されたポリゴン頂点は、対象のテクスチャ特徴点（テクスチャの特徴を表す２次元点）やエッジとは無関係な点である場合が多く、表面のテクスチャ特徴点やエッジからずれていたり、表面テクスチャ特徴上に頂点やエッジがなかったり、あるいは逆にテクスチャの特徴がない部分に多数の点が生成されるなどの現象が生じる。つまり、得られたポリゴンはテクスチャに沿うポリゴンという観点で見た場合、点の過不足や位置のずれが発生している。
【００１４】
この視体積交差法では、対象の形状を数ｍｍ（ミリメートル）〜数ｃｍ（センチメートル）の均一な密度で復元する方法を用いており、膨大な数の点が生成される。
【００１５】
ポリゴン形状獲得ステップ（Ｓ１０３）における点群−ポリゴン変換処理（Ｓ１０３１）は、ステップＳ１０２で得られた点群をポリゴンへ変換する処理であって、非特許文献１では点群を離散マーチングキューブ法によりポリゴンに変換する。
【００１６】
一般に点群を面の張り間違えのないようにポリゴンに変換するためには、密な点群であることが望ましい。そのため、点数をこの段階で削減することは困難であり、前記点群形状獲得ステップ（Ｓ１０２）において得られた膨大な点を処理するために必要とされる計算コストが高いといった問題がある。また、得られたポリゴンは、密なメッシュであるためポリゴン数が大きくデータ量が大きく、テクスチャを表現する観点からみた場合、不必要な点が多数含まれるといった問題がある。
【００１７】
ポリゴン修正ステップ（Ｓ１０４）における入力画像取得処理（Ｓ１０４１）は、前記のステップＳ１０２２と同じ処理であるため、説明を省略する。
【００１８】
表面特徴抽出処理（Ｓ１０４２）は、非特許文献１の場合、取得した画像中の画素の色を取得する処理である。
【００１９】
ポリゴン頂点評価処理（Ｓ１０４３）は、ポリゴン各頂点に対して動くエネルギー場を設定し、上記の画素の色に基づく拘束、シルエットに基づく拘束、ポリゴン交差を防ぐ拘束などに基づいて設計されたエネルギー場を評価し、頂点の修正値を計算する。
【００２０】
なお、ポリゴン頂点評価処理（Ｓ１０４３）においても、前記多数のポリゴンを処理する必要があるため計算量が膨大であることと、複数の拘束条件に基づく頂点の評価アルゴリズムは複雑であり、拘束条件の想定範囲からずれた頂点は安定した結果にならないといった問題がある。
【００２１】
ポリゴン修正処理（Ｓ１０４４）は、前記頂点の修正値にしたがってポリゴン頂点の座標を変更する処理であって、当該頂点の座標が修正されたポリゴンを出力する。
【００２２】
また、関連技術として、視体積交差法の一つとして知られるＰＶＨ（Ｐｏｌｙｈｅｄｒａｌ  Ｖｉｓｕａｌ  Ｈｕｌｌｓ）法をここで説明する。
【００２３】
視体積交差法の原理を実現する一つの方法であるＰＶＨ法を図１４に基づいて説明する。なお、以下の説明におけるＰＶＨ法は、多視点撮影された画像から抽出される多角形近似された輪郭（即ち、多角形近似輪郭）を入力とする。
【００２４】
図１４Ａにおいて、符号Ｃは対象物体、符号ＰAはカメラの投影中心、符号ＳＰはカメラの撮影面、符号ＤAはカメラの撮像面上で求められた２次元シルエットである。
【００２５】
図１４Ｂにおいて、符号ＶAは視体積（Ｖｉｓｕａｌ  Ｃｏｎｅ）と呼ばれ、カメラの投影中心ＰAからシルエットＤAの輪郭上の各点を通すように３次元空間中に広がる錐体であり、図１４Ｂ中では、カメラの投影中心ＰAとシルエットＤAを用いて生じている（構成されている）。符号Ｆ1，Ｆ2は、視体積を構成する面（Ｆａｃｅ）と呼ばれ、それぞれＶｉｓｕａｌ  Ｃｏｎｅのある一面である。
【００２６】
図１４Ｃにおいて、視体積ＶAと視体積ＶBは２つのカメラから求められたＶｉｓｕａｌ  Ｃｏｎｅである。符号ＶＨは視体積の交差（Ｖｉｓｕａｌ  Ｈｕｌｌ）であり、複数のＶｉｓｕａｌ  Ｃｏｎｅ、ここでは視体積ＶAと視体積ＶBの共通領域を求めることによって得られた対象の３次元形状である。
【００２７】
ＰＶＨ法において、図１４に示した視体積交差法におけるＶｉｓｕａｌ  Ｈｕｌｌのある一面を求める計算の原理を図１５に基づいて説明する。
【００２８】
図１５中の符号Ｐ1，Ｐ2は複数のカメラのそれぞれの投影中心である。符号ＳＰ1，ＳＰ2はそれぞれのカメラの撮像面である。符号Ｃは対象物体を示す。符号Ｄ1，Ｄ2はカメラの撮像面ＳＰ1，ＳＰ2上に求められた対象物体Ｃのシルエットである。符号Ｆはカメラの投影中心Ｐ2とシルエットＤ2のある一辺を用いて構成されるＦａｃｅである。符号ＰＦは、Ｆａｃｅ  Ｆをカメラの撮像面ＳＰ1上に投影した領域である。符号ＯＡはカメラの撮像面ＳＰ1上で求めた領域ＰＦとシルエットＤ1の重畳領域である。符号ＩＡは、重畳領域ＯＡをＦａｃｅ  Ｆに逆投影して得られた３次元面でありＦａｃｅ  Ｆの一部である。
【００２９】
そして、カメラが３台以上ある場合、３次元面ＩＡは複数のカメラの撮像面上で求めた重畳領域をＦａｃｅ  Ｆに逆投影し、それらの交差領域（共通領域）を求めることで得られる。即ち、３次元面ＩＡはＶｉｓｕａｌ  Ｈｕｌｌのある一面を指し示すものである。
【００３０】
複数のカメラを用いて、対象のＶｉｓｕａｌ  Ｈｕｌｌ全体を計算するまでのＰＶＨ法示す処理フローの一例を図１６に基づいて説明する。
【００３１】
まず、全てのカメラについてＶｉｓｕａｌ  Ｃｏｎｅを生成する処理であり、各カメラについてそれぞれＶｉｓｕａｌ  Ｃｏｎｅを生成する（Ｓ５０１〜Ｓ５０３）。
【００３２】
ステップＳ５０１は、全てのカメラについて繰り返しを行う処理である。
【００３３】
ステップＳ５０２は、Ｖｉｓｕａｌ  Ｃｏｎｅを計算する処理であり、カメラの投影中心から撮像面における対象の多角形近似輪郭の各辺を通るように面を張ることでＶｉｓｕａｌ  Ｃｏｎｅを生成する。
【００３４】
ステップＳ５０３は、全てのカメラについて繰り返しが終わったことを判定する処理である。
【００３５】
そして、Ｖｉｓｕａｌ  Ｃｏｎｅを構成する面を切り取り、Ｖｉｓｕａｌ  Ｃｏｎｅ上にＶｉｓｕａｌ  Ｈｕｌｌを計算する処理である（Ｓ５０４〜Ｓ５１３）。全てのＶｉｓｕａｌ  Ｃｏｎｅについて、ステップＳ５０５〜Ｓ５１２を繰り返すことによって対象全体のＶｉｓｕａｌ  Ｈｕｌｌが計算される。それぞれ以下のようなステップで計算される。
【００３６】
ステップＳ５０５は、処理対象のＶｉｓｕａｌ  Ｃｏｎｅの全てのＦａｃｅについて繰り返しを行う処理である。
【００３７】
ステップＳ５０６〜Ｓ５１０は、Ｆａｃｅを別のカメラの撮像面に投影し、シルエット（多角形近似輪郭とその内部を構成する２次元面）と投影されたＦａｃｅの重畳領域を求めＦａｃｅに逆投影する処理である。
【００３８】
ステップＳ５０６は、処理対象となっているＶｉｓｕａｌ  Ｃｏｎｅの属すカメラ以外のカメラについて繰り返しを行う処理である。
【００３９】
ステップＳ５０７はＦａｃｅをカメラのスクリーンに投影する処理であり、投影計算により、スクリーン上に投影されたＦａｃｅを計算する。
【００４０】
ステップＳ５０８は、投影されたＦａｃｅとシルエットの重畳領域を計算する処理であり、幾何学的な多角形の内外判定を用いて投影されたＦａｃｅとシルエットの２つの面の重畳領域を計算する。
【００４１】
ステップＳ５０９は、重畳領域をＦａｃｅに逆投影する処理であり、ステップＳ５０８で求めた重畳領域を投影計算により、Ｆａｃｅ上に逆投影し、逆投影された重畳領域を求める。
【００４２】
ステップＳ５１０は、ステップＳ５０６からの繰り返し処理において全てのカメラについて繰り返しが終わったことを判定する処理である。
【００４３】
ステップＳ５１１は、Ｆａｃｅ上で、逆投影された重畳領域全ての交差領域を求める処理であり、幾何学的な多角形の内外判定を用いて交差領域を計算する。
【００４４】
ステップＳ５１２は、ステップＳ５０５からの繰り返し処理において全てのＦａｃｅについて繰り返しが終わったことを判定する処理である。
【００４５】
ステップＳ５１３は、ステップＳ５０４からの繰り返し処理において全てのＶｉｓｕａｌ  Ｃｏｎｅについて繰り返しが終わったことを判定する処理である。
【００４６】
以上のＰＶＨ法の一例を示す処理によって、対象のＶｉｓｕａｌ  Ｈｕｌｌを構成する多面体形状が計算され、形状を表現する３次元点が多面体の各頂点として得られる。
【非特許文献１】延原章平，和田俊和，松山隆司，“弾性メッシュモデルを用いた多視点画像からの高精度３次元形状復元”，情報処理学会ＣＶＩＭ研究会論文誌，情報処理学会，２００２（平成１４）年１２月，Ｖｏｌ．４３，ＳＩＧ１１（ＣＶＩＭ５），ｐｐ．５３−６３。
【非特許文献２】Ｍａｔｕｓｉｋ，Ｗ．，Ｃ．Ｂｕｅｈｌｅｒ，ａｎｄ  Ｌ．ＭｃＭｉｌｌａｎ，”Ｐｏｌｙｈｅｄｒａｌ  Ｖｉｓｕａｌ  Ｈｕｌｌｓ  ｆｏｒ  Ｒｅａｌ−Ｔｉｍｅ  Ｒｅｎｄｅｒｉｎｇ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｔｗｅｌｆｔｈ  Ｅｕｒｏｇｒａｐｈｉｃｓ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｒｅｎｄｅｒｉｎｇ，Ｊｕｎｅ  ２００１（平成１３年６月），ｐｐ．１１５２２５．
【発明の開示】
【発明が解決しようとする課題】
【００４７】
上述の図１３のような従来方法では、不必要な点群の生成にかかる計算コスト（例えば、図１３中のステップＳ１０３１）
したがって、それらの計算コストを削減するために、不必要な点の生成を避けることが必要である。
【００４８】
さらに、ポリゴンの修正処理にかかるアルゴリズムの煩雑さと、結果の不確かさが大きな問題であり、安定した結果を得ることが可能なアルゴリズムを必要とする。
【００４９】
本発明は、前記課題に基づいてなされたものであって、対象物体の３次元多面体形状を表現する３次元点と、テクスチャに沿う３次元点を計算し、それらを用いてテクスチャに沿うポリゴンを計算する３次元形状復元装置，３次元形状復元方法，３次元形状復元プログラム及びそのプログラムを格納した記録媒体を提供することにある。
【課題を解決するための手段】
【００５０】
本発明は、前記課題の解決を図るために、前述のＰＶＨ法に加え、特徴点追加型ＰＶＨ法を用いる。
【００５１】
以下、ＰＶＨ法及び特徴点追加型ＰＶＨ法の詳細な原理を説明する。
【００５２】
本発明で提案する特徴点追加型ＰＶＨ法においてＶｉｓｕａｌ  Ｈｕｌｌの一面と、その面上に投影された対象表面の特徴点を求める過程を図１７に基づいて説明する。
【００５３】
図１７中の符号Ｐ1，Ｐ2は複数のカメラ（撮影装置もしくは撮像装置の一種）のそれぞれの投影中心である。符号ＳＰ1，ＳＰ2はそれぞれのカメラの撮像面である。符号Ｃは対象物体を示す。符号ＴＩ1はカメラの撮像面ＳＰ1上に求められた対象物体Ｃの前景であり、背景差分により対象物体Ｃを抜き出したものである。符号Ｄ2はカメラの撮像面ＳＰ2上に求められた対象物体Ｃのシルエットである。符号Ｆはカメラの投影中心Ｐ2とＤ2のある一辺を用いて構成されるＦａｃｅである。
【００５４】
符号ＰＦは、Ｆａｃｅ  Ｆをカメラの撮像面ＳＰ1上に投影した領域である。符号ＯＡはカメラの撮像面ＳＰ１上で求めた領域ＰＦとＤ1の重畳領域である。符号ＴＦは前景ＴＩ1から抽出したテクスチャ特徴点である。符号ＩＡは重畳領域ＯＡをＦａｃｅ  Ｆに逆投影して得られた３次元面でありＦａｃｅ  Ｆの一部である。
【００５５】
そして、カメラが３台以上ある場合、３次元面ＩＡは複数のカメラの撮像面上で求めた重畳領域をＦａｃｅ  Ｆに逆投影し、それらの交差領域（共通領域）を求めることで得られる。即ち、３次元面ＩＡはＶｉｓｕａｌ  Ｈｕｌｌのある一面を指し示すものである。
【００５６】
また、符号ＴＶは３次元面ＩＡ上に逆投影されたテクスチャ特徴点であり、テクスチャ特徴点ＴＦをＦａｃｅ  Ｆに逆投影し、３次元面ＩＡの内部にあるものを選択することで得られる。
【００５７】
上述の原理に基づき、前記課題の解決を図るために、請求項１記載の発明は、対象物体を多視点に設置された複数の撮影装置によって撮像した画像を入力画像取得部から取得し、該取得した画像を入力画像として入力する入力画像取得処理部を備え、前記対象物体の３次元形状を復元する３次元形状復元装置であって、前記入力画像取得処理部によって入力された入力画像から対象物体に応じた部分を抜き出し、その抜き出された部分の輪郭を計算し、該輪郭を多角形近似した多角形近似輪郭を抽出する輪郭情報抽出部と、前記入力画像から対象物体のテクスチャの特徴を表す２次元点であるテクスチャ特徴点を抽出する表面特徴抽出部と、前記輪郭情報抽出部で抽出された多角形近似輪郭を用いて３次元多面体を復元し、前記表面特徴抽出部で抽出されたテクスチャ特徴点に基づいてテクスチャに沿う３次元点である特徴点を追加し、前記復元された３次元多面体と追加されたテクスチャに沿う３次元点である特徴点に基づいてポリゴンを生成するポリゴン生成部と、を備えることを特徴とする。
【００５８】
請求項２記載の発明は、請求項１記載の発明において、前記ポリゴン生成部が、前記輪郭情報抽出部で抽出された多角形近似輪郭を用いて、ＰＶＨ法に基づき、対象物体の形状を示す３次元点から成る３次元多面体の形状を復元しつつ、前記表面特徴抽出部で抽出されたテクスチャ特徴点を前記復元された３次元多面体の面上に投影する復元投影手段と、該復元投影手段によって投影されてテクスチャに沿う３次元点である特徴点を追加し、前記復元された３次元多面体の頂点と、前記投影されてテクスチャに沿う３次元点である特徴点を連結し、３次元多面体を分割してポリゴンを生成する、テクスチャに沿うポリゴン生成手段と、を備えることを特徴とする。
【００５９】
請求項３記載の発明は、請求項２記載の発明において、前記復元投影手段が、前記ＰＶＨ法における視体積を投影する過程において、前記表面特徴抽出部で抽出されたテクスチャ特徴点のうち、視体積を画像に投影して構成された面内に存在するテクスチャ特徴点を計算し、該計算されたテクスチャ特徴点を逆投影して、テクスチャに沿う３次元点である特徴点を計算する手段、を備えることを特徴とする。
【００６０】
請求項４記載の発明は、請求項１記載の発明において、前記ポリゴン生成部が、前記輪郭情報抽出部で抽出された多角形近似輪郭を用いて、ＰＶＨ法に基づき、対象物体の形状を示す３次元点から成る３次元多面体の形状を復元するＰＶＨ処理手段と、前記表面特徴抽出部で抽出されたテクスチャ特徴点を前記復元された３次元多面体の面上に投影し、該投影されてテクスチャに沿う３次元点である特徴点を追加する特徴点追加処理手段と、前記復元された３次元多面体の頂点と、前記投影されてテクスチャに沿う３次元点である特徴点を連結し、３次元多面体を分割して、ポリゴンを生成する手段と、を備えることを特徴とする。
【００６１】
請求項５記載の発明は、請求項４記載の発明において、前記特徴点追加処理手段が、前記ＰＶＨ法によって計算された視体積の交差を構成する面上に、前記表面特徴抽出部で抽出されたテクスチャ特徴点を投影することで、該視体積の交差との交点を計算し、該交点をテクスチャに沿う３次元点である特徴点と見做す手段、を備えることを特徴とする。
【００６２】
請求項６記載の発明は、対象物体を多視点に設置された複数の撮影装置によって撮像した画像を入力画像取得部から取得し、該取得した画像を入力画像として入力する入力画像取得処理部を備え、前記対象物体の３次元形状を復元する装置に使用する３次元形状復元方法であって、前記入力画像取得処理部によって入力された入力画像から対象物体に応じた部分を抜き出し、その抜き出された部分の輪郭を計算し、該輪郭を多角形近似した多角形近似輪郭を抽出する輪郭情報抽出ステップと、前記入力画像から対象物体のテクスチャの特徴を表す２次元点であるテクスチャ特徴点を抽出する表面特徴抽出ステップと、前記輪郭情報抽出ステップで抽出された多角形近似輪郭を用いて３次元多面体を復元し、前記表面特徴抽出ステップで抽出されたテクスチャ特徴点に基づいてテクスチャに沿う３次元点である特徴点を追加し、前記復元された３次元多面体と追加されたテクスチャに沿う３次元点である特徴点に基づいてポリゴンを生成するポリゴン生成ステップと、を有することを特徴とする。
【００６３】
請求項７記載の発明は、請求項６記載の発明において、前記ポリゴン生成ステップが、前記輪郭情報抽出ステップで抽出された多角形近似輪郭を用いて、ＰＶＨ法に基づき、対象物体の形状を示す３次元点から成る３次元多面体の形状を復元しつつ、前記表面特徴抽出ステップで抽出されたテクスチャ特徴点を前記復元された３次元多面体の面上に投影する復元投影ステップと、該復元投影ステップによって投影されてテクスチャに沿う３次元点である特徴点を追加し、前記復元された３次元多面体の頂点と、前記投影されてテクスチャに沿う３次元点である特徴点を連結し、３次元多面体を分割してポリゴンを生成する、テクスチャに沿うポリゴン生成ステップと、を有することを特徴とする。
【００６４】
請求項８記載の発明は、請求項７記載の発明において、前記復元投影ステップが、前記ＰＶＨ法における視体積を投影する過程において、前記表面特徴抽出ステップで抽出されたテクスチャ特徴点のうち、視体積を画像に投影して構成された面内に存在するテクスチャ特徴点を計算し、該計算されたテクスチャ特徴点を逆投影して、テクスチャに沿う３次元点である特徴点を計算するステップ、を有することを特徴とする。
【００６５】
請求項９記載の発明は、請求項６記載の発明において、前記ポリゴン生成ステップが、前記輪郭情報抽出ステップで抽出された多角形近似輪郭を用いて、ＰＶＨ法に基づき、対象物体の形状を示す３次元点から成る３次元多面体の形状を復元するＰＶＨ処理ステップと、前記表面特徴抽出ステップで抽出されたテクスチャ特徴点を前記復元された３次元多面体の面上に投影し、該投影されてテクスチャに沿う３次元点である特徴点を追加する特徴点追加処理ステップと、前記復元された３次元多面体の頂点と、前記投影されてテクスチャに沿う３次元点である特徴点を連結し、３次元多面体を分割して、ポリゴンを生成するステップと、有することを特徴とする。
【００６６】
請求項１０記載の発明は、請求項９記載の発明において、前記特徴点追加処理ステップが、前記ＰＶＨ法によって計算された視体積の交差を構成する面上に、前記表面特徴抽出ステップで抽出されたテクスチャ特徴点を投影することで、該視体積の交差との交点を計算し、該交点をテクスチャに沿う３次元点である特徴点と見做すステップ、を有することを特徴とする。
【００６７】
請求項１１記載の発明は、３次元形状復元プログラムであって、コンピュータを請求項１乃至５のいずれかに記載の３次元形状復元装置における各部及び各手段として機能させることを特徴とする。
【００６８】
請求項１２記載の発明は、記録媒体であって、請求項１１に記載の３次元形状復元プログラムを記録したことを特徴とする。
【００６９】
前記請求項１または６に記載の発明は、３次元多面体を採用しているため、少ない点数で対象物体の形状を計算できる。テクスチャ特徴点に沿ったポリゴンを生成できる。
【００７０】
前記請求項２，４，７，９に記載の発明は、３次元多面体の形状を表現する３次元点が３次元多面体の各頂点であるため、少ない点数で対象の形状を計算できる。テクスチャ特徴点を３次元多面体の面上に投影して得られた３次元点の特徴点に沿ったポリゴンを生成できる。
【００７１】
前記請求項３，５，８，１０に記載の発明は、逆投影によって、テクスチャに沿う３次元点である特徴点をさらに限定できる。後からテクスチャに沿う３次元点である特徴点がどの面に投影されるかを探索する処理が不要とする。
【００７２】
前記請求項１１に記載の発明は、請求項１乃至５のいずれかに記載の３次元形状復元装置をコンピュータプログラムとして記載できる。
【００７３】
前記請求項１２に記載の発明は、請求項１１に記載の３次元形状復元プログラムを記録媒体に記録できる。
【発明の効果】
【００７４】
以上示したように請求項１または６の発明によれば、対象物体の形状を計算するコストを削減できる。安定した結果としてのポリゴンを得ることができる。
【００７５】
請求項２，４，７，９の発明によれば、対象物体の形状を計算するコストを削減できる。安定した結果としてのポリゴンを得ることができる。
【００７６】
請求項３，５，８，１０の発明によれば、ポリゴンを計算するコストを削減できる。
【００７７】
請求項１１の発明によれば、３次元形状復元装置としてコンピュータを動作させるコンピュータプログラムを提供できる。
【００７８】
請求項１２の発明によれば、３次元形状復元装置としてコンピュータを動作させるコンピュータプログラムを記録した記録媒体を提供できる。
【００７９】
これらを以ってコンピュータビジョン分野に貢献できる。
【発明を実施するための最良の形態】
【００８０】
本発明の実施形態における３次元形状復元装置の構成を図１に基づいて説明する。
【００８１】
図１中の３次元形状復元装置は、多視点で撮影（多視点撮影）された画像を取得する入力画像取得処理部２０１，多視点撮影された画像から対象物体（以下、単に対象という）の輪郭を抽出する輪郭情報抽出部２０２１，多視点撮影された画像から対象物体のテクスチャ特徴点（テクスチャ上の特徴）を抽出する表面特徴抽出部２０２２，輪郭情報抽出部２０２１で抽出された輪郭と表面特徴抽出部２０２２で抽出されたテクスチャ特徴に基づいてポリゴンを生成するポリゴン生成部２０３を備える。
【００８２】
入力画像取得処理部２０１は、入力画像取得部（図示省略）から多視点撮影された（複数のカメラ（撮影装置もしくは撮像装置）を多視点になるように設置して撮影された）画像を取得し、入力画像として入力する。前記入力画像取得部は、カメラもしくはハードディスク装置などの蓄積装置から前記多視点撮影された画像を読み込む機能部である。
【００８３】
なお、前記多視点撮影された画像は、全てのカメラにおいて共有視野を持つように配置されたカメラで撮影したものとする。また、画像は、同期撮影により獲得されたものであることが望ましい。
【００８４】
輪郭情報抽出部２０２１は、輪郭抽出処理によって、前記多視点撮影された画像から、該画像中に写る対象物体の輪郭を抽出する。
【００８５】
なお、前記輪郭抽出処理は、画像から対象を背景差分により抜き出し、抜き出された対象の輪郭を境界線追跡により計算する。その輪郭は、閉曲線であるものとし、本実施形態では閉曲線を任意の精度で多角形近似して用いる。
【００８６】
輪郭の精度は多角形近似された輪郭の画数に関係するため、画数が少ないと、計算コストを削減できるが結果が粗くなる。一方、画数が多すぎる場合、例えば、多角形近似された輪郭の画数が、近似前の輪郭の点数に近いような場合、結果は細かいが計算コストが大きくなる。本実施形態では、得たい結果の細かさに応じて、ユーザが精度を予め決定する。
【００８７】
表面特徴抽出部２０２２は、表面特徴抽出処理によって、前記多視点撮影された画像から対象のテクスチャ特徴点（テクスチャ上の特徴）を抽出する。
【００８８】
前記表面特徴抽出処理は、画像に対してコーナー検出を行い、特徴点を計算する処理である。なお、このコーナー検出以外に、一般的な特徴点抽出方法やエッジ抽出方法など画像処理で広く用いられている方法を用いてもよい。また、本実施形態において、特徴は、は点であるが、辺であってもよい。
【００８９】
ポリゴン生成部２０３は、ポリゴン生成処理によって、前記輪郭情報抽出部２０２１によって抽出された多角形近似輪郭と、前記表面特徴抽出部２０２２よって抽出されたテクスチャ特徴点を用いて、対象の３次元の表面形状をポリゴンとして計算する。
【００９０】
前記ポリゴン生成処理は、輪郭情報抽出部２０２１で生成された多角形近似輪郭を用いて、視体積交差法の一つである上述のＰＶＨ（Ｐｏｌｙｈｅｄｒａｌ  Ｖｉｓｕａｌ  Ｈｕｌｌｓ）法（非特許文献２参照）の原理に基づき、対象の３次元多面体（Ｖｉｓｕａｌ  Ｈｕｌｌ）形状（対象物体の形状を示す３次元点から成る３次元多面体形状）を復元し、前記復元された３次元多面体の面上にテクスチャ特徴点を投影し、３次元多面体の頂点と、その投影された特徴点（３次元の特徴点）を結び（連結し）、３次元多面体を分割して、ポリゴンを生成する。
【００９１】
なお、面の分割はドロネー分割などの分割方法を用いてもよく、ポリゴンデータの表現形式は、任意の形式を用いることができる。また、本実施形態では、ポリゴンを三角形パッチで表現することとする。
【００９２】
また、前記３次元形状復元装置は、各機能部を制御する制御部（例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ），ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ））を備えていても良い。
【００９３】
前記３次元形状復元装置は、各機能部で使用される情報もしくはデータを格納する記憶部（例えば、メモリ，ハードディスク装置）を備えていても良い。
【００９４】
前記３次元形状復元装置は、一般的なコンピュータ（例えば、パーソナルコンピュータ）で実現しても良い。
【００９５】
さらに、本実施形態では、前記ポリゴン生成処理において、特徴点追加型ＰＶＨ法を採用している。この特徴点追加型ＰＶＨ法に基づき、複数のカメラを用いて、対象のＶｉｓｕａｌ  Ｈｕｌｌ全体を計算（ステップＳ７０１〜Ｓ７１５）し、Ｖｉｓｕａｌ  Ｈｕｌｌ上に存在する特徴点を計算する（ステップＳ７０７〜Ｓ７１３）までの処理フローの一例を図２に基づいて説明する。
【００９６】
ステップＳ７０１〜Ｓ７０８は、図１６中のステップＳ５０１〜Ｓ５０８と同じ処理であるため、説明を省略する。
【００９７】
ステップＳ７０９は、重畳領域内にある特徴点を計算する処理であり、表面特徴抽出処理（表面特徴抽出部２０２２における処理）で求めた特徴点（テクスチャ特徴点）のうち重畳領域内部にあるものを選択する処理である。
【００９８】
ステップＳ７１０は、重畳領域と前記選択された特徴点をＦａｃｅに逆投影する処理であり、ステップＳ７０８で求めた重畳領域と、ステップＳ７０９で求めた重畳領域内部にある特徴点を投影計算により、Ｆａｃｅ上に逆投影し、逆投影された重畳領域と、逆投影された特徴点（３次元の特徴点）を求める処理である。
【００９９】
ステップＳ７１１は、図１６中のステップＳ５１０と同じ処理であるため、説明を省略する。
【０１００】
ステップＳ７１２は、図１６中のステップＳ５１１と同じ処理であるため、説明を省略する。
【０１０１】
ステップＳ７１３は、ステップＳ７１２で求めた交差領域の内部にある特徴点を計算する処理であって、ステップＳ７１０で求めた逆投影された特徴点のうち交差領域内部にあるものを選択する処理である。
【０１０２】
ステップＳ７１４は、図１６中のステップＳ５１２と同じ処理であるため、説明を省略する。
【０１０３】
ステップＳ７１５は、図１６中のステップＳ５１３と同じ処理であるため、説明を省略する。
【０１０４】
以上の特徴点追加型ＰＶＨ法の処理フローの一例によって、形状を表現する３次元点と、テクスチャに沿う３次元点（特徴点）が得られる。
【０１０５】
特徴点追加型ＰＶＨ法は、対象の多面体形状計算過程で、同一面上にある特徴点の算出と投影を行うため、特徴点を３次元多面体の面上に投影する処理において、後から特徴点がどの面に投影されるかを探索する処理が不要であるため、少ない計算コストで、特徴点を３次元多面体の面上に配置できる。
【０１０６】
本実施形態における３次元形状復元装置における３次元形状復元方法を説明する。なお、以下の説明における各ステップを、ステップ名と同じ名前の機能部が実行する。
【０１０７】
まず、入力画像取得部（図示省略）から多視点撮影された画像を取得し、入力画像として入力する。（入力画像取得処理ステップ）。
【０１０８】
次に、前記多視点撮影された画像から、該画像中に写る対象物体の輪郭を抽出する（輪郭情報抽出ステップ）。
【０１０９】
次に、前記多視点撮影された画像から対象のテクスチャ特徴点（テクスチャ上の特徴）を抽出する（表面特徴抽出ステップ）。
【０１１０】
そして、前記輪郭情報抽出ステップによって抽出された多角形近似輪郭と、前記表面特徴抽出ステップよって抽出されたテクスチャ特徴点を用いて、対象の３次元の表面形状をポリゴンとして計算する（ポリゴン生成ステップ）。
【０１１１】
なお、輪郭情報抽出ステップと表面特徴抽出ステップは並列に処理しても良い。
【０１１２】
以上のように、本実施形態は、対象の３次元多面体形状を表現する３次元点と、テクスチャに沿う３次元点を計算し、それらを用いてテクスチャに沿うポリゴンを計算することで、不必要な点が多数生成されることを回避し、計算コストの大幅な削減を図っている。
【０１１３】
また、図１３中のステップＳ１０４３では、多数の頂点を評価するためかかる計算コストが膨大であった。多数の頂点を評価することに関しても、不必要な点の評価を避け、評価に適した点のみを評価することが望ましい。
【０１１４】
それに対し、形状を表現する３次元点は画像から計算した対象の多角形近似輪郭の頂点に基づいており、テクスチャに沿う３次元点は画像から計算した対象のテクスチャ特徴点に基づいていることから、ポリゴン頂点の評価やポリゴン修正を行わなくても、テクスチャに沿った位置にポリゴン頂点を生成することができるため、アルゴリズムがシンプルであり、複雑な評価を行うことなく安定した結果を得ることができる。
【０１１５】
次に、本実施形態における特徴点追加型ＰＶＨ法を取り入れた実施例を以下に説明する。
【０１１６】
［実施例１］
実施例１における３次元形状復元装置の構成を図３に基づいて説明する。
【０１１７】
図３中の３次元形状復元装置は、入力画像取得部８０１，輪郭情報抽出部８０２１，表面特徴抽出部８０２２，ポリゴン生成部８０３を備える。
【０１１８】
なお、入力画像取得部８０１，輪郭情報抽出部８０２１，表面特徴抽出部８０２２は、図１中の入力画像取得部２０１，輪郭情報抽出部２０２１，表面特徴抽出部２０２２とそれぞれ同じ機能部であるため、説明を省略する。
【０１１９】
ポリゴン生成部８０３はポリゴン生成部２０３の機能に相当し、ＰＶＨ処理部８０３１，特徴点追加処理部８０３２，多角形パッチ生成処理部８０３３を備える。
【０１２０】
ＰＶＨ処理部８０３１は、ＰＶＨ法に基づく処理（以下、単にＰＶＨ処理という）によってＶｉｓｕａｌ  Ｈｕｌｌを計算する。即ち、ＰＶＨ処理部８０３１は、輪郭情報抽出部８０２１で計算された対象物体（以下、単に対象という）の多角形近似輪郭を入力としＰＶＨ処理によって、対象のＶｉｓｕａｌ  Ｈｕｌｌを計算することによって、形状を表現する３次元点を得る。
【０１２１】
なお、前記ＰＶＨ処理は、図１５における原理及び図１６におけるＰＶＨ法によって、対象のＶｉｓｕａｌ  Ｈｕｌｌを計算する処理である。
【０１２２】
特徴点追加処理部８０３２は、特徴点追加処理によりＶｉｓｕａｌ  Ｈｕｌｌを構成する面上へ特徴点追加する。そして、特徴点追加処理部８０３２は、そのＶｉｓｕａｌ  Ｈｕｌｌ上に特徴点を追加することで、テクスチャに沿う３次元点を得る。
【０１２３】
前記特徴点追加処理は、表面特徴抽出部８０２２において求めたテクスチャ特徴点を３次元空間へ投影し、Ｖｉｓｕａｌ  Ｈｕｌｌとの交点を計算することによって、Ｖｉｓｕａｌ  Ｈｕｌｌを構成する面上に投影された特徴点を求める処理である。
【０１２４】
多角形パッチ生成処理部８０３３は、多角形パッチ生成処理によって、前記特徴点の追加されたＶｉｓｕａｌ  Ｈｕｌｌ、すなわち３次元多面体形状を表現する３次元点と、テクスチャに沿う３次元点を入力として、ポリゴンを生成する。
【０１２５】
前記多角形パッチ生成処理は、Ｖｉｓｕａｌ  Ｈｕｌｌの面を構成する頂点とＶｉｓｕａｌ  Ｈｕｌｌの同一面上にある特徴点を連結する処理であり、ドロネー分割などの頂点連結方法によって、ポリゴンを生成する。
【０１２６】
図４中の表Ｔ２は、表Ｔ１に示す実験環境において、実施例１によって算出した頂点数と、非特許文献１に基づく方法によって算出した頂点数を比較する実験を行った結果である。条件を同様にして撮影した画像から、同等の解像度を有するポリゴンを生成する場合、表Ｔ２に示されたように、非特許文献１に基づく方法に比べて２分の１の頂点数で作成可能であり、処理時間も半分以下となった。
【０１２７】
以上のように、実施例１におけるＰＶＨ処理部８０３１のＰＶＨ処理によって計算されたＶｉｓｕａｌ  Ｈｕｌｌは多面体表現であり、形状を表現する３次元点は多面体の各頂点であることから、従来法のＶｉｓｕａｌ  Ｈｕｌｌを点群で表現する場合に比べ、少ない点数で対象の形状を計算できる。これにより、多数の点が生成される従来法に比べ計算コストを削減できる。
【０１２８】
また、テクスチャに沿う３次元点の計算は、特徴点追加処理部８０３２において多面体表現で計算されたＶｉｓｕａｌ  Ｈｕｌｌの面上に必要なテクスチャ特徴点を投影計算に追加するだけでよいためアルゴリズムをシンプルにできる。また、ポリゴン頂点の評価やポリゴンの修正処理を行わなくてもテクスチャに沿うポリゴン頂点が得られるため、安定した結果が得られる。
【０１２９】
テクスチャに沿うポリゴンは、形状を表現する３次元点であるＶｉｓｕａｌ  Ｈｕｌｌを構成する多面体頂点と、Ｖｉｓｕａｌ  Ｈｕｌｌの面上に追加したテクスチャに沿う３次元点を連結する処理により計算され、点群をポリゴンへ変換する処理を必要としないため、これにかかる計算コストは不要となる。
【０１３０】
［実施例２］
実施例２における３次元形状復元装置の構成を図５に基づいて説明する。
【０１３１】
図５中の３次元形状復元装置は、入力画像取得部９０１，輪郭情報抽出部９０２１，表面特徴抽出部９０２２，ポリゴン生成部９０３を備える。
【０１３２】
入力画像取得部９０１，輪郭情報抽出部９０２１，表面特徴抽出部９０２２は、図１中の入力画像取得部２０１，輪郭情報抽出部２０２１，表面特徴抽出部２０２２とそれぞれ同じ機能部であるため、説明を省略する。
【０１３３】
ポリゴン生成部９０３は図１中のポリゴン生成部２０３の機能に相当し、特徴点追加型ＰＶＨ処理部９０３１、多角形パッチ生成部９０３２を備える。
【０１３４】
特徴点追加型ＰＶＨ処理部９０３１は、特徴点追加型ＰＶＨ処理によって、輪郭情報抽出部９０２１で計算された対象の多角形近似輪郭と、表面特徴抽出部９０２２で計算された各カメラの画像上で求めたテクスチャ特徴点を用いて、Ｖｉｓｕａｌ  ＨｕｌｌとＶｉｓｕａｌ  Ｈｕｌｌ上に投影された特徴点、すなわち前記形状を表現する３次元点と、テクスチャに沿う３次元点を計算する。
【０１３５】
前記特徴点追加型ＰＶＨ処理は、図１７における原理，図２におけるＶｉｓｕａｌ  Ｈｕｌｌ全体とＶｉｓｕａｌ  Ｈｕｌｌ上に存在する特徴点を計算する方法によって、対象のＶｉｓｕａｌ  ＨｕｌｌとＶｉｓｕａｌ  Ｈｕｌｌ上に投影された特徴点を計算する処理である。
【０１３６】
多角形パッチ生成部９０３２は、前記多角形パッチ生成部８０３３と同じ機能部であるため、説明を省略する。
【０１３７】
実施例１及び実施例２をプログラムとして実装し、カメラと計算機（コンピュータ）を用いて実現した結果を以下に説明する。
【０１３８】
図６中の画像ｐ１１〜ｐ１４は入力画像の一例であって、多視点カメラを用いて対象を撮影した画像である。即ち、入力画像ｐ１１〜ｐ１４は、４つの異なる視点から得られた画像の例である。
【０１３９】
図７中の画像ｐｓ１１〜ｐｓ１４は、従来のシルエット抽出方法によるシルエット画像の一例であって、図６中の入力画像ｐ１１〜ｐ１４から背景差分によって対象を抜き出し、２値化処理を行ったものである。
【０１４０】
図８は、従来の多角形近似及び輪郭抽出方法を施した画像の一例であって、図７中のシルエット画像ｐｓ１１〜ｐｓ１４の輪郭を抽出し、それらを多角形近似し、シルエットに多角形近似した輪郭を重畳表示している。図８Ａ中の画像ｅ１１〜ｅ１３は３つのシルエット画像ｐｓ１１，ｐｓ１２，ｐｓ１４に応じた多角形近似輪郭を示している。図８Ｂは、シルエット画像ｐｓ１４における部分ｅ２１ａに対して、異なる近似精度で求めた多角形近似輪郭ｅ２２，ｅ２３を示している。
【０１４１】
図９中の画像ｐｔ１１中の白点は、従来のテクスチャ上の特徴を抽出する方法によるテクスチャ特徴点の一例であり、入力画像ｐ１２に対して特徴点抽出処理を行ったものである。図９中の画像ｐｔ１１では、ハリスオペレータを用いたコーナー検出を行って得られた特徴点を示している。また、画像ｐｔ１１は、入力画像ｐ１２に計算された特徴点を重畳表示している。
【０１４２】
図１０中の画像ｖｈ１１は、従来のＰＶＨ法によって計算したＶｉｓｕａｌ  Ｈｕｌｌの一例であり、７台のカメラから求めた対象の多角形近似輪郭を用いて計算したものである。
【０１４３】
図１１中の画像ｖｔ１１における黒点は、本実施形態及び実施例におけるテクスチャ特徴点をＶｉｓｕａｌ  Ｈｕｌｌ上に投影した一例であり、図１０中の画像ｖｈ１１のＶｉｓｕａｌ  Ｈｕｌｌ上に、図９中の画像ｐｔ１１の白点で示されるようなテクスチャ特徴点を投影したものである。実施例１及び実施例２のどちらを用いても同等の結果が得られる。
【０１４４】
図１２中の画像ｐｇ１１，ｐｇ１２は、実施例２における処理によって求められたポリゴンの一例である。図９中の画像ｐｔ１１にポリゴン頂点を投影している。特徴点（図１２中の画像ｐｇ１１，ｐｇ１２中の白点）上にポリゴン頂点が位置し、テクスチャに沿っていることが示されている。
【０１４５】
以上のように、実施例２によれば、特徴点追加型ＰＶＨにより、形状を表現する３次元点とテクスチャに沿う３次元点を同時に計算できる。実施例１では、Ｖｉｓｕａｌ  Ｈｕｌｌを求めた後に、特徴点を逆投影しＶｉｓｕａｌ  Ｈｕｌｌの面一つ一つと交わるかどうかを判別する処理が必要であるが、実施例２においてこれに相当する処理は、特徴点追加型ＰＶＨによりＶｉｓｕａｌ  Ｈｕｌｌの計算途中で行われるため投影計算の回数が少なく、実施例１に比べて計算コストは少なくなる。
【０１４６】
なお、本実施形態及び実施例の３次元形状復元装置における各部及び各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態及び実施例の３次元形状復元装置に関する方法（手順）をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体（記憶媒体）、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【０１４７】
さらに、上述の本実施形態及び実施例の３次元形状復元装置に関する方法を記述したコンピュータプログラムを、その方法に必要とされる入出力データを格納したメモリや外部記憶部等にアクセスするように実装してもよい。
【０１４８】
以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
【０１４９】
例えば、輪郭情報抽出部で抽出された対象の輪郭や表面特徴抽出部で抽出されたテクスチャ特徴点を予め備えられた記憶部に、一時的に記憶し、該記憶部にアクセスしてポリゴン生成を行っても良い。
【図面の簡単な説明】
【０１５０】
【図１】本実施形態における次元形状復元装置の構成図。
【図２】本実施形態における特徴点追加型ＰＶＨ法に基づき、対象のＶｉｓｕａｌ  Ｈｕｌｌ全体を計算し、Ｖｉｓｕａｌ  Ｈｕｌｌ上にある特徴点を計算する処理フローの一例を示す図。
【図３】実施例１における３次元形状復元装置の構成図。
【図４】実施例１の実験環境と実験結果を示す図。
【図５】実施例２における３次元形状復元装置の構成図。
【図６】入力画像の一例を示す図。
【図７】シルエット画像の一例を示す図。
【図８】多角形近似輪郭の一例を示す図。
【図９】テクスチャ特徴点の一例を示す図。
【図１０】従来のＰＶＨ法によって計算したＶｉｓｕａｌ  Ｈｕｌｌの一例を示す図。
【図１１】テクスチャ特徴点をＶｉｓｕａｌ  Ｈｕｌｌ上に投影した一例を示す図。
【図１２】実施例２における処理によって求められたポリゴンの一例を示す図。
【図１３】テクスチャに沿うポリゴンを獲得する従来方法を示す処理フローの一例を示す図。
【図１４】ＰＶＨ法の原理を示す図。
【図１５】Ｖｉｓｕａｌ  Ｈｕｌｌのある一面を求める計算の原理図。
【図１６】Ｖｉｓｕａｌ  Ｈｕｌｌ全体を計算する処理フローの一例を示す図。
【図１７】特徴点追加型ＰＶＨ法の原理を示す図。
【符号の説明】
【０１５１】
２０１，８０１，９０１…入力画像取得処理部
２０２１，８０２１，９０２１…輪郭情報抽出部
２０２２，８０２２，９０２２…表面特徴抽出部
２０３，８０３，９０３…ポリゴン生成部
８０３１…ＰＶＨ処理部
８０３２…特徴点追加処理部
８０３３…多角形パッチ生成処理部
９０３１…特徴点追加型ＰＶＨ処理部
９０３２…多角形パッチ生成部
Ｃ…対象物体
ＤA…カメラの撮像面上で求められた２次元シルエット
Ｄ1，Ｄ2…シルエット
Ｆ…Ｆａｃｅ
Ｆ1，Ｆ2…視体積を構成する面
ＩＡ…３次元面
ＯＡ…重畳領域
ＰA，ＰB，Ｐ1，Ｐ2…カメラの投影中心
ＰＦ…Ｆａｃｅをカメラの撮像面上に投影した領域
ＳＰ，ＳＰ1，ＳＰ2…カメラの撮像面
Ｔ１…実験環境を示す表
Ｔ２…実験結果を示す表
ＴＩ1…前景
ＴＦ，ＴＶ…テクスチャ特徴点
ＶA，ＶB…視体積
ＶＨ…視体積の交差
ｅ１１〜ｅ１３，ｅ２２，ｅ２３…多角形近似輪郭
ｅ２１ａ…シルエット画像における部分
ｐ１１〜ｐ１４…入力画像
ｐｇ１１，ｐｇ１２…ポリゴンの例を示す画像
ｐｓ１１〜ｐｓ１４…シルエット画像
ｐｔ１１…テクスチャ特徴点の例を示す画像
ｖｈ１１…Ｖｉｓｕａｌ  Ｈｕｌｌの例を示す画像
ｖｔ１１…Ｖｉｓｕａｌ  Ｈｕｌｌ上に投影されたテクスチャ特徴点の例を示す画像
【図１】
2008310724.tif 000003
【図２】
2008310724.tif 000004
【図３】
2008310724.tif 000005
【図４】
2008310724.tif 000006
【図５】
2008310724.tif 000007
【図７】
2008310724.tif 000008
【図８】
2008310724.tif 000009
【図１３】
2008310724.tif 000010
【図１６】
2008310724.tif 000011
【図６】
2008310724.tif 000012
【図９】
2008310724.tif 000013
【図１０】
2008310724.tif 000014
【図１１】
2008310724.tif 000015
【図１２】
2008310724.tif 000016
【図１４】
2008310724.tif 000017
【図１５】
2008310724.tif 000018
【図１７】
2008310724.tif 000019