(57)【要約】【課題】安価なシステム構成で、室内などのテクスチャー付き３次元サーフェスモデルを構築する。【解決手段】撮影システム２は、室内などの対象を分割撮影し、画像データ及び点群データを画像処理システム１に入力する。画像処理システム１は、グラフィカル・ユーザ・インターフェースを介した対話型処理により、シーン毎の画像データ及び点群データから対象の局所３次元サーフェスモデルを作成し、複数の局所３次元サーフェスモデルを統合した３次元サーフェスモデルを作成する。対話型処理には、各シーンの画像上で、ユーザが点群を選択することにより、この選択された点群に対応したモデル要素の候補面を作成する処理などが含まれる。【選択図】図１
2006098256.tif 000002
【特許請求の範囲】
【請求項１】
対象を、撮影エリアを部分的に重複させた複数のシーンに分割して各シーン毎に異なった２位置より撮影された画像データを入力するとともに、該各シーンの画像データから、隣接シーンとの撮影エリアの重複部分における点群を利用して共通の座標系に統合された、撮影エリア内の点群の３次元座標を表す点群データを求めて入力する撮影システムと、
グラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供するＧＵＩ手段と、前記撮影システムにより入力されたシーン毎の画像データ及び点群データから対象の局所３次元サーフェスモデルを作成する前記ＧＵＩを介した対話型処理、及び、この対話型処理により作成された複数の局所３次元サーフェスモデルを統合した３次元サーフェスモデルを作成する処理を実行する処理手段とを含む画像処理システムとからなり、
前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが点群を選択することにより、この選択された点群に対応したモデル要素の候補面を作成する処理が含まれることを特徴とする３次元サーフェスモデル作成システム。
【請求項２】
前記画像処理システムにおける対話型処理には、作成された候補面の妥当性を評価してその結果を表示し、それに対するユーザからの指示に応じて前記候補面の作成に用いられた点群中の特異点を除いて候補面を作成し直す処理が含まれることを特徴とする請求項１記載の３次元サーフェスモデル作成システム。
【請求項３】
前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが点群を選択するとともに該点群の含まれる面と隣接する作成済み候補面及び角度を指定することにより、該選択された点群に対応した候補面を作成する処理が含まれることを特徴する請求項１記載の３次元サーフェスモデル作成システム。
【請求項４】
前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが作成済み候補面、線及び角度を指定することにより、該候補面に該線を介して交差する候補面を作成する処理が含まれることを特徴とする請求項１記載の３次元サーフェスモデル作成システム。
【請求項５】
前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが作成済みの候補面を選択することにより、該選択された候補面の相互の交差位置にモデル要素の稜線を作成するとともに該稜線で面分割を行う処理が含まれることを特徴とする請求項１記載の３次元サーフェスモデル作成システム。
【請求項６】
前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが候補面に対応してプロパティを指定することにより、作成されるモデル要素にプロパティを付与する処理が含まれることを特徴とする請求項１記載の３次元サーフェスモデル作成システム。
【請求項７】
前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界線の、他の候補面又はモデル要素面によって途切れた部分を指定することにより、該注目候補面の連続した境界線を作成し、かつ該他の候補面又はモデル要素面を消去する処理が含まれることを特徴とする請求項１記載の３次元サーフェスモデル作成システム。
【請求項８】
前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界を、直接的に指定するか又は隣接する他の候補面を選択することによって間接的に指定することにより、該注目候補面に対応したモデル要素である立体の前面領域を決定し、ユーザが該立体の奥行きを直接的に指定するか又は隣接する候補面を選択することによって間接的に指定することにより、該立体を構築する処理が含まれることを特徴とする請求項１記載の３次元サーフェスモデル作成システム。
【請求項９】
前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界を、直接的に指定するか又は隣接する他の候補面を選択することによって間接的に指定することにより、該注目候補面に対応したモデル要素である面上領域を構築する処理が含まれることを特徴とする請求項１記載の３次元サーフェスモデル作成システム。
【請求項１０】
前記画像処理システムにおいて、対話型処理により構築された局所３次元サーフェスモデルの各要素面のシーン画像の縁より外側にある部分を消去するとともに、各要素面のシーン画像の縁との交差部に稜線を作成する処理が行われることを特徴とする請求項１乃至９のいずれか１項記載の３次元サーフェスモデル作成システム。
【請求項１１】
前記画像処理システムにおいて、対話型処理により構築された局所３次元サーフェスモデルの各要素面に対しシーンの画像データから合成したテクスチャーを貼り付ける処理が行われることを特徴とする請求項１乃至１０のいずれか１項記載の３次元サーフェスモデル作成システム。
【請求項１２】
同一又は類似のプロパティを持つ要素面には同一パターンのテクスチャーが貼り付けられることを特徴とする請求項１１記載の３次元サーフェスモデル作成システム。
【請求項１３】
同一又は類似のプロパティを持つ要素面に貼り付けられるテクスチャーは輝度又は色彩が略同等に調整されることを特徴とする請求項１２記載の３次元サーフェスモデル作成システム。
【請求項１４】
前記撮影システムは、対象を撮影するための少なくとも１台の撮像装置と、対象に対し点群指定用のスポット光を照射するための少なくとも３台のスポット光照射装置と、前記撮像装置の撮像動作及び前記スポット光照射装置のスポット光照射動作を制御するとともに前記撮像装置により取得された画像データを処理するための制御装置とを含み、対象を、撮影エリアを部分的に重複させた複数のシーンに分割してシーン毎に前記撮像装置によって異なった２位置より撮影することにより、スポット光により指定された点群を含む画像データを取得し、前記制御装置によって、前記撮像装置により取得された各シーンの画像データから、隣接シーンとの撮影エリアの重複部分における点群を利用して共通の座標系に統合した、撮影エリア内の点群の３次元座標を表す点群データを取得することを特徴とする請求項１乃至１３のいずれか１項記載の３次元サーフェスモデル作成システム。
【請求項１５】
前記撮影システムの前記制御装置は、前記撮像装置より撮影された各シーンの画像データ中の点群の個数について判定する判定手段と、この判定手段により異常と判定されたときに警告を発する警告手段とを含むことを特徴とする請求項１４記載の３次元サーフェスモデル作成システム。
【請求項１６】
前記撮影システムにおいて、２台の前記撮像装置が可動の支持部材により相対位置を調節可能に共通の支持体に支持され、該支持体に１台の前記スポット光照射装置及び前記制御装置が支持されていることを特徴とする請求項１４記載の３次元サーフェスモデル作成システム。
【請求項１７】
前記画像処理システム及び前記撮影システムの前記制御装置は、共通のコンピュータと、該コンピュータ上で動作するプログラムとにより実現されることを特徴する請求項１６記載の３次元サーフェスモデル作成システム。
【請求項１８】
対象を、撮影エリアを部分的に重複させた複数のシーンに分割して各シーン毎に異なった２位置より撮影された画像データ、及び、該各シーンの画像データから取得された、隣接シーンとの撮影エリアの重複部分における点群を利用して共通の座標系に統合された、撮影エリア内の点群の３次元座標を表す点群データを入力される画像処理システムであって、
グラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供するＧＵＩ手段と、
入力された各シーンの画像データ及び点群データから対象の局所３次元サーフェスモデルを作成する前記ＧＵＩ手段を介した対話型処理、及び、この対話型処理により作成された複数の局所３次元サーフェスモデルを統合した３次元サーフェスモデルを作成する処理を実行する処理手段とからなり、
前記対話型処理には、各シーンの画像上で、ユーザが点群を選択することにより、この選択された点群に対応したモデル要素の候補面を作成する処理が含まれることを特徴とする画像処理システム。
【請求項１９】
前記対話型処理には、作成された候補面の妥当性を評価してその結果を表示し、それに対するユーザからの指示に応じて前記候補面の作成に用いられた点群中の特異点を除いて候補面を作成し直す処理が含まれることを特徴とする請求項１８記載の画像処理システム。
【請求項２０】
前記対話型処理には、各シーンの画像上で、ユーザが点群を選択するとともに該点群の含まれる面と隣接する作成済み候補面及び角度を指定することにより、該選択された点群に対応したモデル要素の候補面を作成する処理が含まれることを特徴する請求項１８記載の画像処理システム。
【請求項２１】
前記対話型処理には、各シーンの画像上で、ユーザが作成済み候補面、線及び角度を指定することにより、該候補面に該線を介して交差するモデル要素の候補面を作成する処理が含まれることを特徴とする請求項１８記載の画像処理システム。
【請求項２２】
前記対話型処理には、各シーンの画像上で、ユーザが作成済みの候補面を選択することにより、該選択された候補面の相互の交差位置にモデル要素の稜線を作成するとともに該稜線で面分割を行う処理が含まれることを特徴とする請求項１８記載の画像処理システム。
【請求項２３】
前記対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界線の、他の候補面又はモデル要素面によって途切れた部分を指定することにより、該注目候補面の連続した境界線を作成し、かつ該他の候補面又はモデル要素面を消去する処理が含まれることを特徴とする請求項１８記載の画像処理システム。
【請求項２４】
前記対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界を、直接的に指定するか又は隣接する他の候補面を選択することによって間接的に指定することにより、該注目候補面に対応したモデル要素である立体の前面領域を決定し、ユーザが該立体の奥行きを直接的に指定するか又は隣接する候補面を選択することによって間接的に指定することにより、該立体を構築する処理が含まれることを特徴とする請求項１８記載の画像処理システム。
【請求項２５】
前記対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界を、直接的に指定するか又は隣接する他の候補面を選択することによって間接的に指定することにより、該注目候補面に対応したモデル要素である面上領域を構築する処理が含まれることを特徴とする請求項１８記載の画像処理システム。
【請求項２６】
前記対話型処理により構築された局所３次元サーフェスモデルの各要素面のシーン画像の縁より外側にある部分を消去するとともに、各要素面のシーン画像の縁との交差部に稜線を作成する処理を行うことを特徴とする請求項１８乃至２５のいずれか１項記載の画像処理システム。
【請求項２７】
請求項１４又は１５記載の制御装置及び画像処理システムとしてコンピュータを機能させるプログラム。
【請求項２８】
請求項１乃至１３，１８乃至２６のいずれか１項記載のＧＵＩ手段及び処理手段としてコンピュータを機能させるプログラム。
【請求項２９】
請求項２７又は２８記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には画像処理の分野に係り、より具体的には、建物の室内などの３次元サーフェスモデルを構築する技術に関する。
【背景技術】
【０００２】
近年、３次元形状モデルをPC等の計算機内で利用するＣＡＤ，３Ｄシミュレーション、ＣＧ等のアプリケーションが普及してきている。また、実体物を３次元モデルとして形状復元する研究開発も進展し徐々に普及してきた。
【０００３】
例えば人体や顔、粘土モデル、工業製品などの比較的小さい単体物をモデル化し、計測やCG用途で使用する場合には、一般にかなりの高コストではあるが対象物に光波や超音波を照射する能動的な手法を用いた様々なタイプの形状取得システムが市場に出回り、要素点の多い詳細・高精度かつ滑らかな３次元モデルを得て利用できるようになってきている。
【０００４】
一方、部屋や建築物のような、範囲が広く、多様なオブジェクトが多数存在するような対象を３次元サーフェスモデル化し、計測、CAD、シミュレーション、３次元マップ等の用途で利用したいとの要望が強まっている。このような対象の３次元サーフェスモデル化のためのシステムには、
・高い形状精度
・低コスト
・対象の撮影からモデル構築までの操作の簡便性
が要求される。また、CAD等を用途としたモデルの特性として、
・構造の特徴線がユーザの望むレベルで単純化されたモデルが得られること
・ユーザが望むレベルでオブジェクトが分離されたモデルが得られること
・不要物や障害物をモデルから除去し、見えない部分もモデル化できること（＝不要物や障害物を除去しなくても撮影し、モデルが得られること）
・凹凸のないオブジェクト（壁と比べて凹凸のない引き戸、ポスター等）をモデル化できること
・テクスチャーがあること（レイアウトシミュレーション等の用途）
・低コントラストのオブジェクト（コントラストのない壁など）や様々な表面特性をもつオブジェクト（光が十分返ってこないモノ、光沢物等）もモデル化できること、
・オクルージョン（ステレオ法の場合に視差の関係で映らない面が出てくること）の影響を回避したモデル化が可能であること
・限られたキャプチャーポイントからも形状が得られること
・近距離から中距離まで（１〜１０ｍ程度）の対象に対応できること
等が求められる。さらに、機動性があること（システムを簡単に移動してキャプチャーできること）も重要である。
【０００５】
３次元モデル化は、受動的な方式のものと能動的な方式のものとに大別することができる。
【０００６】
まず、受動的な方式の先行技術の例を挙げれば、
（１）異なった角度から撮影した２枚以上の写真に対して、手動で特徴点の指定・対応付けを行い、三角測量の原理により指定した特徴点の３次元距離を求めて、それを要素点としたテクスチャー付き形状モデルを作成するもの（非特許文献１，２参照）、
（２）異なった角度から撮影した２枚以上の写真に対して、手動で特徴点／線の指定・対応付けを行い、三角測量の原理により指定した特徴点／線の３次元位置を求め、これに基準指定形状をフィッティングすることにより形状モデルを作成するもの（非特許文献３参照）、
（３）１枚の写真を用いる単眼視法で、基準モデルを回転・変倍・変形して基準モデルと画像の合わせ込みを行うことにより、テクスチャー付きの３次元形状モデルを対話式に作成するもの（非特許文献４参照）、
などが知らせている。
【０００７】
これらの先行技術は、システムの低コスト化が容易であり、凹凸のない（ただしコントラストはある）オブジェクトにも対応可能であり、障害物・不要物を除去又は分離したモデル化が可能であり、キャプチャー距離も近距離から遠距離まで対応可能である。しかし、手動で点／線を指定するため、モデル作成に多大な手間を要し精度も安定しない。特に低コントラストの対象物は、エッジや頂点が明瞭でないため、精度が悪化する。
【０００８】
次に、能動的な方式の先行技術としては、
（４）スポット状のレーザを走査し、レーザが照射された位置の３次元距離を反射光が装置に戻るまでの時間あるいは三角測量の原理で求め、３次元点群モデルを作成し、さらに点群モデルに決まった形状のパーツをフィッティングすることにより３次元サーフェスモデルを構築するもの（非特許文献５，６参照）、
（５）レーザ距離測定装置により既設配管をレーザでスキャンし既設配管上の点群の３次元座標データを取得し、撮像装置で撮影した画像データの配管領域を抽出し、この配管領域に対応する点群の３次元座標データをグループ化し、それに円筒面を当てはめることにより既設配管の３次元モデルを作成するもの（特許文献２参照）、
（６）プラント構造物などをレーザスキャン距離計で距離測定するとともに同距離計と位置関係が既知のデジカメなどで画像撮影を行い、撮影画像を色差・輝度分布により領域分割し、領域毎に距離データをグループ化し、各グループの距離データに３次元基本立体をフィッティングするもの（特許文献３参照）、
（７）対象をレーザでスキャンして点群の距離データを取得し、また、ビデオカメラで対象を撮影し、撮影画像上に点群を表示し、投げ縄ツール等を利用し又は、自動で、点群のセグメント分割を行い、点群に円筒などの基本立体をフィッティングするもの（特許文献４参照）
（８）グリッド状レーザーパターンを照射した対象空間を撮影し、撮影画像をグリッド状パターン画像と通常画像とに分離し、パターン画像から対象空間の平面の位置及び傾きを検出するとともに通常画像を階調値の分散に基づいて領域分割し、構造解析により室内３次元モデルを作成するもの（特許文献１参照）、
などが知られている。
【０００９】
上記（４）〜（６）は全自動であり、上記（７）は点群のセグメントを手動又は自動で行うが、レーザスキャンなどに関連して高精度な制御が要求されるためシステムが非常に高価になるという共通の難点がある。上記（７）は、レーザ光をライン状に広げて照射するため、数メートル程度離れた対象物上のレーザパターンが暗くなってしまい（一般に使用可能なレーザの出力は制限されるので）、安定なモデル構築が困難になるといった弱点があり、また、離れた対象物でも明るいレーザパターンを得ようとするとレーザパターン照射装置が極めて高価になるなどの問題がある。
【００１０】
特許文献５に、複数のスポット光を同時に又は選択的に対象に照射して複数のカメラにより異なった位置より対象を撮影し、撮影した複数の画像のスポット光を特徴点として抽出し、それを対応付けする発明が記載されている。また、１台のカメラを用いて異なった位置で順次撮影する態様、個々のスポット光を色違いにする態様、スポット光を１つずつ順に点灯・消灯し、各スポット光点灯時に撮影することにより、画像間の特徴点の対応付けを容易にする態様も記載されている。さらに、ビデオカメラ、スポット光照射装置と制御装置との通信手段を備え、ビデオカメラで撮影しつつスポット光の点灯・消灯を行った後、記憶されているフレーム画像よりスポット光の点灯時のフレーム画像を自動的に取り出して特徴点の検出と対応付けを行う発明も記載されている。
【００１１】
【特許文献１】特許第３０９５４０６号公報
【特許文献２】特開２００３−１９４５３０号公報
【特許文献３】特開２０００−１４６５４６号公報
【特許文献４】特表２０００−５０９１５０号公報
【特許文献５】特開２００４−４６７２号公報
【非特許文献１】”PhotoModeler”，[online］，Eos  Systems社，［平成１６年９月２２日検索］，インターネット＜ＵＲＬ：http://www.photomodeler.com/index.html＞
【非特許文献２】”ImageModeler”，[online］，Realviz社，［平成１６年９月２２日検索］，インターネット＜ＵＲＬ：http://www.realviz.com/products/im/index.php＞
【非特許文献３】”3DM  Modeler”，[online］，三次元メディア社，［平成１６年９月２２日検索］，インターネット＜ＵＲＬ：http://www.3dmedia.co.jp/next/product/modeler.htm＞
【非特許文献４】”Realmodeler”，[online］，富士通インフォソフトテクノロジ社，［平成１６年９月２２日検索］，インターネット＜ＵＲＬ：http://www.ist.fujitsu.com/rmodeler/index.html＞
【非特許文献５】”Delta  Sphere-3000”，[online]，3rd  Tech社，［平成１６年９月２２日検索］，インターネット＜ＵＲＬ：http://www.3rdtech.com/DeltaSphere.htm＞
【非特許文献６】”Cyclone”，[online]，Leica  Geosysems社，［平成１６年９月２２日検索］，インターネット＜ＵＲＬ：http://www.leica-geosystems.com/jp/products/cyrax/cyclone_summary.htm＞
【発明の開示】
【発明が解決しようとする課題】
【００１２】
前述したような従来技術にはモデルの精度、作業の手間、システム価格などに難点がある。本発明は、このことに鑑みなされたものであり、広がりがあり多様なオブジェクトが存在する建物の室内などの対象に対しても、対象の画像データ及び点群データの取得からモデル構築までを安価なシステム構成で実現可能にし、かつ、対話型処理によって、ユーザが望むレベルに単純化された精度の良い３次元サーフェスモデルを容易に構築可能にすることを目的とするものである。
【課題を解決するための手段】
【００１３】
請求項１記載の発明は、
対象を、撮影エリアを部分的に重複させた複数のシーンに分割して各シーン毎に異なった２位置より撮影された画像データを入力するとともに、該各シーンの画像データから、隣接シーンとの撮影エリアの重複部分における点群を利用して共通の座標系に統合された、撮影エリア内の点群の３次元座標を表す点群データを求めて入力する撮影システムと、
グラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供するＧＵＩ手段と、前記撮影システムにより入力されたシーン毎の画像データ及び点群データから対象の局所３次元サーフェスモデルを作成する前記ＧＵＩを介した対話型処理、及び、この対話型処理により作成された複数の局所３次元サーフェスモデルを統合した３次元サーフェスモデルを作成する処理を実行する処理手段とを含む画像処理システムとからなり、
前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが点群を選択することにより、この選択された点群に対応したモデル要素の候補面を作成する処理が含まれることを特徴とする３次元サーフェスモデル作成システムである。
【００１４】
請求項２記載の発明は、請求項１記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおける対話型処理には、作成された候補面の妥当性を評価してその結果を表示し、それに対するユーザからの指示に応じて前記候補面の作成に用いられた点群中の特異点を除いて候補面を作成し直す処理が含まれることを特徴とする３次元サーフェスモデル作成システムである。
【００１５】
請求項３記載の発明は、請求項１記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが点群を選択するとともに該点群の含まれる面と隣接する作成済み候補面及び角度を指定することにより、該選択された点群に対応した候補面を作成する処理が含まれることを特徴する３次元サーフェスモデル作成システムである。
【００１６】
請求項４記載の発明は、請求項１記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが作成済み候補面、線及び角度を指定することにより、該候補面に該線を介して交差する候補面を作成する処理が含まれることを特徴とする３次元サーフェスモデル作成システムである。
【００１７】
請求項５記載の発明は、請求項１記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが作成済みの候補面を選択することにより、該選択された候補面の相互の交差位置にモデル要素の稜線を作成するとともに該稜線で面分割を行う処理が含まれることを特徴とする３次元サーフェスモデル作成システムである。
【００１８】
請求項６記載の発明は、請求項５記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが候補面に対応してプロパティを指定することにより、作成されたモデル要素にプロパティを付与する処理が含まれることを特徴とする３次元サーフェスモデル作成システムである。
【００１９】
請求項７記載の発明は、請求項１記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界線の、他の候補面又はモデル要素面によって途切れた部分を指定することにより、該注目候補面の連続した境界線を作成し、かつ該他の候補面又はモデル要素面を消去する処理が含まれることを特徴とする３次元サーフェスモデル作成システムである。
【００２０】
請求項８記載の発明は、請求項１記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界を、直接的に指定するか又は隣接する他の候補面を選択することによって間接的に指定することにより、該注目候補面に対応したモデル要素である立体の前面領域を決定し、ユーザが該立体の奥行きを直接的に指定するか又は隣接する候補面を選択することによって間接的に指定することにより、該立体を構築する処理が含まれることを特徴とする３次元サーフェスモデル作成システムである。
【００２１】
請求項９記載の発明は、請求項１記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおける対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界を、直接的に指定するか又は隣接する他の候補面を選択することによって間接的に指定することにより、該注目候補面に対応したモデル要素である面上領域を構築する処理が含まれることを特徴とする３次元サーフェスモデル作成システムである。
【００２２】
請求項１０記載の発明は、請求項１乃至９のいずれか１項記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおいて、対話型処理により構築された局所３次元サーフェスモデルの各要素面のシーン画像の縁より外側にある部分を消去するとともに、各要素面のシーン画像の縁との交差部に稜線を作成する処理が行われることを特徴とする３次元サーフェスモデル作成システムである。
【００２３】
請求項１１記載の発明は、１乃至１０のいずれか１項記載の発明による３次元サーフェスモデル作成システムであって、前記画像処理システムにおいて、対話型処理により構築された局所３次元サーフェスモデルの各要素面に対しシーンの画像データから合成したテクスチャーを貼り付ける処理が行われることを特徴とする３次元サーフェスモデル作成システムである。
【００２４】
請求項１２記載の発明は、同一又は類似のプロパティを持つ要素面には同一パターンのテクスチャーが貼り付けられることを特徴とする請求項１１記載の発明による３次元サーフェスモデル作成システムである。
【００２５】
請求項１３記載の発明は、同一又は類似のプロパティを持つ要素面に貼り付けられるテクスチャーは輝度又は色彩が略同等に調整されることを特徴とする請求項１２記載の発明による３次元サーフェスモデル作成システムである。
【００２６】
請求項１４記載の発明は、請求項１乃至１３のいずれか１項記載の発明による３次元サーフェスモデル作成システムであって、前記撮影システムは、対象を撮影するための少なくとも１台の撮像装置と、対象に対し点群指定用のスポット光を照射するための少なくとも３台のスポット光照射装置と、前記撮像装置の撮像動作及び前記スポット光照射装置のスポット光照射動作を制御するとともに前記撮像装置により取得された画像データを処理するための制御装置とを含み、対象を、撮影エリアを部分的に重複させた複数のシーンに分割してシーン毎に前記撮像装置によって異なった２位置より撮影することにより、スポット光により指定された点群を含む画像データを取得し、前記制御装置によって、前記撮像装置により取得された各シーンの画像データから、隣接シーンとの撮影エリアの重複部分における点群を利用して共通の座標系に統合した、撮影エリア内の点群の３次元座標を表す点群データを取得することを特徴とする３次元サーフェスモデル作成システムである。
【００２７】
請求項１５記載の発明は、請求項１４記載の発明による３次元サーフェスモデル作成システムであって、前記撮影システムの前記制御装置は、前記撮像装置より撮影された各シーンの画像データ中の点群の個数について判定する判定手段と、この判定手段により異常と判定されたときに警告を発する警告手段とを含むことを特徴とする３次元サーフェスモデル作成システムである。
【００２８】
請求項１６記載の発明は、請求項１４記載の発明による３次元サーフェスモデル作成システムであって、前記撮影システムにおいて、２台の前記撮像装置が可動の支持部材により相対位置を調節可能に共通の支持体に支持され、該支持体に１台の前記スポット光照射装置及び前記制御装置が支持されていることを特徴とする３次元サーフェスモデル作成システムである。
【００２９】
請求項１７記載の発明は、前記画像処理システム及び前記撮影システムの前記制御装置は、共通のコンピュータと、該コンピュータ上で動作するプログラムとにより実現されることを特徴する請求項１６記載の発明による３次元サーフェスモデル作成システムである。
【００３０】
請求項１８記載の発明は、対象を、撮影エリアを部分的に重複させた複数のシーンに分割して各シーン毎に異なった２位置より撮影された画像データ、及び、該各シーンの画像データから取得された、隣接シーンとの撮影エリアの重複部分における点群を利用して共通の座標系に統合された、撮影エリア内の点群の３次元座標を表す点群データを入力される画像処理システムであって、
グラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供するＧＵＩ手段と、
入力された各シーンの画像データ及び点群データから対象の局所３次元サーフェスモデルを作成する前記ＧＵＩ手段を介した対話型処理、及び、この対話型処理により作成された複数の局所３次元サーフェスモデルを統合した３次元サーフェスモデルを作成する処理を実行する処理手段とからなり、
前記対話型処理には、各シーンの画像上で、ユーザが点群を選択することにより、この選択された点群に対応したモデル要素の候補面を作成する処理が含まれることを特徴とする画像処理システムである。
【００３１】
請求項１９記載の発明は、請求項１８記載の発明による画像処理システムであって、前記対話型処理には、作成された候補面の妥当性を評価してその結果を表示し、それに対するユーザからの指示に応じて前記候補面の作成に用いられた点群中の特異点を除いて候補面を作成し直す処理が含まれることを特徴とする画像処理システムである。
【００３２】
請求項２０記載の発明は、請求項１８記載の発明による画像処理システムであって、前記対話型処理には、各シーンの画像上で、ユーザが点群を選択するとともに該点群の含まれる面と隣接する作成済み候補面及び角度を指定することにより、該選択された点群に対応したモデル要素の候補面を作成する処理が含まれることを特徴する画像処理システムである。
【００３３】
請求項２１記載の発明は、請求項１８記載の発明による画像処理システムであって、前記対話型処理には、各シーンの画像上で、ユーザが作成済み候補面、線及び角度を指定することにより、該候補面に該線を介して交差するモデル要素の候補面を作成する処理が含まれることを特徴とする画像処理システムである。
【００３４】
請求項２２記載の発明は、請求項１８記載の発明による画像処理システムであって、前記対話型処理には、各シーンの画像上で、ユーザが作成済みの候補面を選択することにより、該選択された候補面の相互の交差位置にモデル要素の稜線を作成するとともに該稜線で面分割を行う処理が含まれることを特徴とする画像処理システムである。
【００３５】
請求項２３記載の発明は、請求項１８記載の発明による画像処理システムであって、前記対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界線の、他の候補面又はモデル要素面によって途切れた部分を指定することにより、該注目候補面の連続した境界線を作成し、かつ該他の候補面又はモデル要素面を消去する処理が含まれることを特徴とする画像処理システムである。
【００３６】
請求項２４記載の発明は、請求項１８記載の発明による画像処理システムであって、前記対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界を、直接的に指定するか又は隣接する他の候補面を選択することによって間接的に指定することにより、該注目候補面に対応したモデル要素である立体の前面領域を決定し、ユーザが該立体の奥行きを直接的に指定するか又は隣接する候補面を選択することによって間接的に指定することにより、該立体を構築する処理が含まれることを特徴とする画像処理システムである。
【００３７】
請求項２５記載の発明は、請求項１８記載の発明による画像処理システムであって、前記対話型処理には、各シーンの画像上で、ユーザが注目した候補面の境界を、直接的に指定するか又は隣接する他の候補面を選択することによって間接的に指定することにより、該注目候補面に対応したモデル要素である面上領域を構築する処理が含まれることを特徴とする画像処理システムである。
【００３８】
請求項２６記載の発明は、前記対話型処理により構築された局所３次元サーフェスモデルの各要素面のシーン画像の縁より外側にある部分を消去するとともに、各要素面のシーン画像の縁との交差部に稜線を作成する処理を行うことを特徴とする請求項１８乃至２５のいずれか１項記載の発明による画像処理システムである。
【００３９】
請求項２７記載の発明は、請求項１４又は１５記載の発明による制御装置及び画像処理システムとしてコンピュータを機能させるプログラムである。
【００４０】
請求項２８記載の発明は、請求項１乃至１３，１８乃至２６のいずれか１項記載の発明によるＧＵＩ手段及び処理手段としてコンピュータを機能させるプログラムである。
【００４１】
請求項２９記載の発明は、請求項２７又は２８記載の発明によるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００４２】
本発明によれば、ユーザは、シーン画像上でパネルやブロックを組み立てる如き感覚で簡単な対話操作を行うのみで、候補面の点群、候補面同士の交差線・点、画像上で指定された候補面から逆算して求めた面・線・点、画像の縁の線・点を利用した高精度な、かつ、ユーザが望むレベルに単純化された３次元サーフェスモデルを構築可能になる。点群が存在しないか点群の個数が不足するオブジェクトについてもモデル化が可能である。それほど高密度・高精度の点群は必要がないので、点群データを取得するために従来の能動的な方式のような高精度・高価格のレーザスキャン装置等は不要であり、例えば請求項１４記載の如き簡易な構成の撮影システムを利用可能できるため、システム全体を安価に構築することができる、等々の効果を得られるものである。
【発明を実施するための最良の形態】
【００４３】
以下、図面を参照し、本発明の実施の形態について説明する。
【００４４】
＜システム概要＞
図１は、本発明の実施の形態を説明するためのシステム構成図である。この３次元サーフェスモデル作成システムは、画像処理システム１と撮影システム２から構成される。
【００４５】
画像処理システム１は、建物の室内などの対象のテクスチャー付き３次元サーフェスモデルの作成・編集・加工のための処理を行うシステムである。
【００４６】
撮影システム２は、画像処理システム１におけるモデル化の対象となる建物の室内などを撮影し、その画像データ及び点群データを取得するシステムである。
【００４７】
画像処理システム１は、撮影システム２により取得された画像データや点群データなどが格納される入力ファイル３と、この入力ファイル３より読み込んだデータに基づいてシーン毎の局所モデルを作成するための対話処理及び局所モデルの統合モデルを作成する処理などを実行する処理手段４と、ユーザとの対話のためのグラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供するＧＵＩ手段５と、処理手段４による処理結果が出力される出力ファイル６とを含む。
【００４８】
このような画像処理システム１は、具体的には、例えば図２に示すようなタッチパネル付きパソコン（ＰＣ）を用いてプログラムにより実現される。
【００４９】
図２に示すＰＣは、ＣＰＵ１０、メインメモリとしてのＳＤＲＡＭ（Synchronous  DRAM）１１、ハードディスク装置（ＨＤＤ）１２、各種入力装置を接続するための入力インターフェース１３、ディスプレイ装置を接続するための表示インターフェース１５、ＤＶＤ（Digital  Versatile  Disc）ドライブ１７、ＵＳＢポート１８がバス１９を介して相互接続され、表示インターフェース１５に液晶ディスプレイ装置（ＬＣＤ）１６が接続され、また、この液晶ディスプレイ装置１６の前面に設けられたポインティングデバイスとしてのタッチパネル１４が入力インターフェース１３に接続された一般的なハードウェア構成のものである。入力インターフェース１３には、マウスのようなポインティングデバイスやキーボードなどの他の入力デバイス２２も接続可能である。タッチパネル１４として抵抗膜式のものが用いられ、手指や入力用ペンデバイスをタッチすることによりポインティング入力が可能であるが、電磁誘導式タッチパネルなどを用いることも可能である。
【００５０】
ＨＤＤ１２は、オペレーティングシステム（ＯＳ）２０や、このＯＳ２０上で動作し３次元サーフェスモデルの作成・編集・加工の処理のための画像処理プログラム２１、各種データや入力，出力ファイル３，６（図１）などの記憶領域として利用される。なお、画像処理プログラム２１は、例えばＤＶＤドライブ１７にセットされたＤＶＤから読み込むことができる。このようなプログラム及び同プログラムが記録された各種情報記録（記憶）媒体も本発明に包含される。
【００５１】
画像処理システム１の動作時には、ＨＤＤ２０よりＯＳ２０の必要なプログラムと画像処理プログラム３２１がＳＤＲＡＭ１１にロードされ、ＯＳ２０の下で画像処理プログラムがＣＰＵ１０により実行されることにより、処理手段４（図１）の機能が実現される。また、ＧＵＩ手段５（図１）は、ＬＣＤ１６やタッチパネル１４などのハードウェア資源と、ＯＳ２０及び画像処理プログラム２１とによって実現される。
【００５２】
撮影システム２については後に詳細に説明するが、ここで撮影システム２による撮影方法などを簡単に説明する。
【００５３】
この撮影システム２においては、図１に示すように、例えば建物の室内やそこに配置された家具類などのような対象１００を、複数のシーンに分割してシーン毎に撮影する。各シーンの撮影エリア１０１は、図示のように、隣接したシーンの撮影エリアと一部重複させるように設定する。
【００５４】
各シーンの撮影は、例えば図４に示すように、２台のデジタルスチルカメラなどの撮像装置２０１，２０２を用いて異なった位置より行う。この撮影時に、特徴点用スポット光照射装置２０３により撮影エリア１０１の全域にわたって特徴点指定用の複数（例えば３０個）のスポット光を照射し、また、つなぎ合わせ点用スポット光照射装置２０４，２０５により撮影エリア１０１の隣接撮影エリアとの重複部分に撮影エリア間のつなぎ合わせ点を指定するための３個以上のスポット光を照射する。また、対象のサーフェスモデル作成のためのテクスチャー合成に画像データを利用する場合には、好ましくはスポット光を照射しない状態でも撮影が行われる。
【００５５】
撮影エリア１０１の例えば右隣の撮影エリア１０１’を撮影する場合には、撮影エリア１０１と隣接撮影エリア１０１’との重複部分のスポット光照射に用いられたつなぎ合わせ点用スポット光照射装置２０５は移動させない。もう一方のつなぎ合わせ点用スポット光照射装置２０４を、撮影エリア１０１’のその右隣撮影エリアとの重複部分にスポット光を照射する位置へ移動し、また、特徴点用スポット光照射装置２０３及び撮像装置２０１，２０２を撮影エリア１０１’に対応した位置へ移動し、撮影エリア１０１’に対する撮影を行う。
【００５６】
なお、図５に示すように、１台の撮像装置２０１だけを用い図示の位置で対象を撮影した後に、撮像装置２０１を破線２０１’の位置へ移動させて同じ撮影エリア１０１を撮影することもできる。スポット光照射については図４に説明したと同様である。
【００５７】
このような撮影によって、シーン毎に、異なった２位置からスポット光照射状態で撮影された画像（画像１，画像２）上の特徴点及びつなぎ合わせ点の２次元座標、最初に撮影したシーンを基準にした共通の座表系に統合された特徴点及びつなぎ合わせ点の３次元座標、各撮影エリアにおける撮像装置の位置や向きなどが求められる。このようなデータは撮像システム２より画像処理システム１へ転送され、入力ファイル３に格納される。
【００５８】
なお、後述するように、撮影システム２において撮像装置やスポット光発光装置の制御、撮影画像データからの特徴点などの検出や座標計算などの処理を行うための制御装置は、タッチパネル付きＰＣなどで実現することができる。本発明の好ましい一つの実施形態は、この制御装置と画像処理システム１を共通のＰＣにより実現する形態であり、ハードウェア的にも撮影システム２と画像処理システム１が統合される。この場合、撮影システム２のための処理プログラムも図２中のＨＤＤ１２に格納されることになる。
【００５９】
＜画像処理システム１の詳細＞
以下、画像処理システム１について詳細に説明する。
【００６０】
図１７にＧＵＩ手段５により提供されるインターフェース画面の一例を示す。画面の左側に作業用ボタンが縦方向に配され、上部には、この例では最大４つのシーンを撮影した画像データのサムネイル画像を表示する領域が配され、その下部には、選択されたシーンの画像を表示する領域とモデル化状況ビュー画面を表示するための領域が配されている。作業ボタンの選択や撮影画像上でのオブジェクト選択や線などの入力は、タッチパネルを介し図示の入力用ペンデバイスを用いて行われる。作業ボタンにタッチすることにより作業の種類を指定することができるが、それに代えて、画面の最上部にあるメニューのプルダウンメニューを表示させ、その該当項目を選択することにより作業を指示することもできる。
【００６１】
図６は、画像処理システム１における全体的処理フローを示すフローチャートである。このフローチャートに沿って説明すると、ステップ１０００において、システムのユーザがインターフェース画面上のファイル入力ボタンを選択することにより、処理手段４に入力ファイル３より必要なデータのファイルが読み込まれる。
【００６２】
各シーンに関し読み込まれるデータの内容を図１６に示す。ここに示す例では、当該シーンをスポット光非照射状態で異なった２つの位置より撮影して取得された画像１，画像２の画像データ（ここではＪＰＥＧ圧縮ファイル）、点群（特徴点及びつなぎ合わせ点）の個数（datacount）、撮像装置の画角（View_angle）や画像１撮影時の撮像装置の位置、光軸、視点、凝視点を示す３次元座標（View_fromなど）、画像１，２上の点群の２次元座標（data_2D1，data_2D2）、及び、最初のシーンの画像１を基準とした対象上の特徴点の３次元座標（data_3D)が読み込まれる。画像１又は画像２の一方の画像データのみ読み込むようにすることも可能であるが、モデルに貼り付けるテクスチャーの合成を考慮すると両方の画像データを利用できるのが好ましい。また、画像データをテクスチャー合成に利用しないのであれば、スポット光照射状態で撮影された画像データを読み込むようにすることも可能である。
【００６３】
ステップ１００１において、読み込まれたシーンのサムネイル画像がインターフェース画面に表示される。シーン１，２に関するデータが読み込まれた場合には、図１７に示すようにシーン１とシーン２のサムネイル画像が表示されることになる。
【００６４】
ステップ１００２において、ユーザがペンデバイスで希望するシーンのサムネイル画像にタッチすることにより、制御手段４はそのシーンをモデル化作業対象シーンとして選択し、そのシーンの画像を表示する。シーン１が選択された場合には、図１７に示すような画面表示となる。表示されたシーン画像には、特徴点の２次元座標データに基づいて特徴点が×印が表示される。この段階では、モデル化状況ビュー画面はクリアされた状態である。
【００６５】
ステップ１００３において、現在選択されているシーンに対するモデル（局所モデル）を作成するための対話処理が行われるが、その詳細については後述する。
【００６６】
モデル化を必要とする全てのシーンに対するモデル化が終了すると（ステップ１００４，ＹＥＳ）、ステップ１００５において、モデル出力対象シーンが選択される。この選択は、ペンデバイスでシーンにタッチすることにより行われる。
【００６７】
次に、ユーザインターフェース画面上でユーザがモデル統合ボタンを選択すると、ステップ１００６において、前ステップで選択されたシーンの局所モデルを統合する処理が行われる。そして、ユーザがファイル出力ボタンを選択すると、ステップ１００７において、統合された３次元サーフェスモデルのデータが出力ファイル６に書き出される。
【００６８】
シーン毎のモデル作成のステップ１００３の内容を図７にフローチャートとして示す。
【００６９】
まず、ステップ１１００において、既に言及したように、作業対象として選択されたシーンの画像が特徴点位置を示す×印とともに表示される。
【００７０】
ステップ１１０１において候補面作成のための対話処理が行われる。この処理は画面の候補面作成ボタン又はプルダウンメニューの該当項目を選択することにより開始することができる。
【００７１】
次のステップ１１０２において、モデルの要素を構築するための対話処理が行われる。この処理は、インターフェース画面の要素構築ボタン又はプルダウンメニューの該当項目を選択することにより開始することができる。
【００７２】
以上の処理を終了すると、ステップ１１０５において、モデルの最終形状の確定処理とテクスチャー貼付処理が行われる。この処理は、画面のテクスチャー貼付ボタン又はプルダウンメニューの該当項目を選択することにより開始することができる。
【００７３】
テクスチャー貼付処理が終了すると、ステップ１１０６において、当該シーンのモデル化完了処理が行われる。ここでは、モデルの保存処理のほか、当該シーンのサムネイル画像へモデル化終了パターンを表示する処理が行われる。
【００７４】
以下、ステップ１１０１の内容について説明する。このステップでは、３次元サーフェスモデルの要素の候補面を対話的に作成するが、３つの候補面作成手順（１）〜（３）を利用可能である。以下、各候補面作成手順毎に説明する。
【００７５】
図８は、ステップ１１０１における候補面作成手順（１）を説明するためのフローチャートである。この候補面作成手順（１）は、シーン画像上でユーザが特徴点群を選択することによって、フィッティングにより候補面を作成する基本的な手順である。この手順について、同フローチャートと図１８及び図１９を参照し説明する。
【００７６】
まず、ステップ１２００において、インターフェース画面に表示される面パターン（平面、球面、円柱面、円錐面等）の一つをペンデバイスで選択する。この選択をスキップすることもでき、その場合にはデフォルトの平面が選択される。ここでは、面パターンとして平面が選択され、平面の候補面が作成されるものとして説明する。
【００７７】
ステップ１２０１において、ペンデバイスにより、対象シーン画像の同一面に存在すると考えられる特徴点群を囲むようになぞって、３個以上の特徴点を選択する。この選択作業には周知の「投げ縄ツール」を用いることができる。以下の説明における特徴点選択も同様の方法による。対象シーン画像上に、選択された特徴点群を囲む閉曲線が破線で表示されるとともに、選択された特徴点の表示は×印から丸印に変更される。
【００７８】
ただし、選択された特徴点の個数が３個未満の場合（ステップ１２０２，ＮＯ）、その特徴点群選択は無効とされ、ステップ１２０１に制御が戻り、改めて特徴点群選択の作業を行う必要がある。
【００７９】
図１８に特徴点群の選択の様子を示す。（ａ）はシーン１の画像における特徴点群選択の例を示し、左側のパーティション、それに接して配置された家具の正面、天井、床、奥の壁における特徴点群がそれぞれ選択されている。（ｂ）はシーン２の画像における特徴点群選択の例を示し、左側の壁、天井、床、奥の壁、左側壁と奥の壁との間にある柱の正面における特徴点群がそれぞれ選択されている。
【００８０】
図８に戻る。選択された特徴点の個数が３個以上ならば（ステップ１２０２，ＹＥＳ）、ステップ１２０３で、選択された特徴点群の３次元座標データを用い、特徴点群にフィットする近似面（ここでは平面）が候補面として導出される。ステップ１２０４で、この近似面と、選択された特徴点との平均距離及び標準偏差（平均距離のみでもよい）が算出されて表示され、また、確認のためのＯＫボタンが表示される。
【００８１】
ユーザは、表示された平均距離及び標準偏差から特徴点群選択のやり直しが必要と判断した場合は対象シーン画像上の任意の位置にペンデバイスでタッチし、やり直しが必要でないと判断した場合にはＯＫボタンにタッチする。対象シーン画像にタッチしたときには（ステップ１２０５，ＹＥＳ）、直前の特徴点群選択は無効とされ、特徴点群選択をやり直すため制御はステップ１２０１に戻る。
【００８２】
ＯＫボタンにタッチしたときには（ステップ１２０６，ＹＥＳ）、ステップ１２０７で、近似面の候補面としての妥当性を確認するため、近似面との距離が閾値を越える特徴点があるかチェックされる。この閾値は、予め指定することができるが、指定されない場合にはデフォルト値（例えば５ｍｍ）が用いられる。近似面との距離が閾値を超える特徴点（特異点；エラー点）が存在するときには（ステップ１２０７，ＹＥＳ）、ステップ１２０８で、エラー点である可能性のある特徴点の位置が表示され、また、エラー点を除去して近似面を再計算するか、そのまま処理を進めるかの選択を求めるメッセージと選択のためのボタンが表示される。
【００８３】
ユーザが再計算の選択ボタンにタッチした場合（ステップ１２０９，再計算）、ステップ１２１０で、そのエラー点が除去され、エラー点以外の特徴点を用いた近似面の再計算のため制御はステップ１２０２へ戻る。
【００８４】
図１９は、近似面の妥当性確認、エラー点の除去、近似面再計算の手順の説明図である。図１９の（ａ）に示すような５個の特徴点が選択され、（ｂ）に示すような候補面としての近似面が計算される。（ｃ）に示すように５番目の特徴点と近似面との距離が閾値（ここでは５ｍｍとする）を越えるときには、その特徴点がエラー点として除去され、（ｄ）に示すようにエラー点を除いた４個の特徴点を用いて候補面としての近似面が再計算される。
【００８５】
このような手順により、利用者が不適当な特徴点を含めて特徴点群選択を行った場合にも、その修正を行い適切な候補面を作成することができる。
【００８６】
一方、ユーザが再計算せずに処理を進める選択ボタンをタッチした場合（ステップ１２０９，そのまま）、ステップ１２１１で、近似面を候補面として確定する処理が行われる。この確定処理では、候補面にＩＤが付与され、また、仮の有限範囲が設定され、これらの情報、候補面と特徴点との誤差情報などが、候補面の面方程式とともに保存される。また、必要に応じて確定した候補面であることを識別できように特徴点群を囲む閉曲線の表示色変更などが行われる。また、完了ボタンも表示される。
【００８７】
以上のようにして１つの候補面が作成されるが、ユーザは別の候補面を作成したい場合には対象シーン画像上の任意の点にタッチする（ステップ１２１２，ＹＥＳ）。そうすると、制御はステップ１２０１に戻り、特徴点群選択作業から候補面作成手順を繰り返すことができる。
【００８８】
ユーザは、対象シーン画像に対する候補面作成手順（１）を終了してよいと判断した場合にはインターフェース画面上の完了ボタンにタッチする（ステップ１２１３，ＹＥＳ）。そうすると、候補面作成手順（１）のための処理は終了する。
【００８９】
ステップ１１０１では、候補面作成手順（２）により候補面を作成することもできる。この候補面作成手順（２）は、既に作成された候補面に、それに隣接した、ある角度をなす新たな候補面を、角度の指定と特徴点群選択により作成する手順である。候補面を作成しようとする面上の特徴点群が狭い範囲に集中しているなど、特徴点群の情報のみに基づいたのでは高精度な候補面の作成が困難と予想される場合に有効な手順である。この手順について、図９に示すフローチャート及び図２０を参照し説明する。
【００９０】
まず、ステップ１３００において、インターフェース画面に表示される面パターン（平面、球面、円柱や円錐等の曲面）の一つをペンデバイスで選択する。この選択をスキップした場合にはデフォルトの平面が選択される。ここでは、面パターンとして平面が選択され、平面の候補面が作成されるものとして説明する。
【００９１】
ステップ１３０１において、ユーザは、対象シーン画像上の既に作成された候補面を選択する。この選択は、その面上の選択された特徴点群を囲む破線の閉曲線の内側にペンデバイスでタッチすることにより行う。
【００９２】
次のステップ１３０２で、ユーザは、前ステップで選択した候補面と、それに隣接する注目面（候補面を作成しようとしている面）とのなす角度を指定する。この指定は、インターフェース画面上に表示されるいくつかの角度ボタンの選択などにより行うことが出来るが、キーボードなどから角度を数値として直接入力するようにしてもよい。なお、角度指定をスキップすることもでき、この場合はデフォルトの９０゜が指定されたものとして処理される。
【００９３】
次のステップ１３０３で、ユーザは、候補面を作成しようとする注目面に存在する特徴点群を投げ縄ツールにより選択する。選択された特徴点の表示は×印から丸印に変更される。ただし、選択された特徴点の個数が３個未満の場合（ステップ１３０４，ＮＯ）、その特徴点群選択は無効とされ、改めて特徴点群を選択する作業を行う必要がある。
【００９４】
図２０に示す例により説明する。対象シーン画像中の左側の壁と奥の壁の間にある柱の正面に対応する候補面は既に作成済みであり、この柱の右側面の候補面を作成しようとしている。この場合、ステップ１３０１で、柱の正面の特徴点群を囲む閉曲線の内部にタッチして選択する。角度は９０゜であるので指定するか指定をスキップする。そして、ステップ１３０３で、柱の右側面上の特徴点群を選択することになる。
【００９５】
図９に戻る。選択された特徴点の個数が３個以上ならば（ステップ１３０４，ＹＥＳ）、ステップ１３０５において、ステップ１３０１で選択された候補面の面方程式、ステップ１３０２で指定された又はデフォルトの角度、及び、ステップ１３０３で選択された特徴点群の３次元座標データに基づいて、当該特徴点群の存在する面に対応した近似面（ここでは平面）が導出される。
【００９６】
ステップ１３０６で、この近似面と、選択された特徴点との平均距離及び標準偏差（平均距離のみでもよい）が算出されて表示され、また、確認のためのＯＫボタンが表示される。
【００９７】
ユーザは、表示された平均距離及び標準偏差から特徴点群選択のやり直しが必要と判断した場合は対象シーン画像上の任意の位置にペンデバイスでタッチし、やり直しが必要でないと判断した場合にはＯＫボタンにタッチする。対象シーン画像にタッチしたときには（ステップ１３０７，ＹＥＳ）、直前の特徴点群選択は無効とされ、特徴点群選択をやり直すため制御はステップ１３０３に戻る。
【００９８】
ＯＫボタンにタッチしたときには（ステップ１３０８，ＹＥＳ）、ステップ１３０９で、近似面の候補面としての妥当性を確認するため、近似面との距離が閾値を越える特徴点があるかチェックされる。近似面との距離が閾値を超える特徴点（エラー点）が存在するときには（ステップ１３０９，ＹＥＳ）、ステップ１３１０で、エラー点である可能性のある特徴点の位置が表示され、また、エラー点を除去し近似面を再計算するか、そのまま処理を進めるかの選択を求めるメッセージと選択のためのボタンが表示される。
【００９９】
ユーザが再計算の選択ボタンにタッチした場合（ステップ１３１１，再計算）、ステップ１３１２で、そのエラー点が除去され、そしてエラー点以外の特徴点を用いた近似面の再計算のため制御はステップ１３０４へ戻る。
【０１００】
一方、ユーザが再計算せずに処理を進める選択ボタンをタッチした場合（ステップ１３１１、そのまま）、ステップ１３１３で、近似面を候補面として確定する処理が行われる。
【０１０１】
以上のようにして１つの候補面が作成されるが、ユーザは別の候補面を作成したい場合には対象シーン画像上の任意の点にタッチする（ステップ１３１４，ＹＥＳ）。そうすると、制御はステップ１３０１に戻り、別の候補面の作成作業を行うことができる。
【０１０２】
ユーザは、対象シーン画像に対する候補面作成手順（２）を終了してよいと判断した場合にはインターフェース画面上の完了ボタンにタッチする（ステップ１３１５，ＹＥＳ）。そうすると、候補面作成手順（２）のための処理は終了する。
【０１０３】
ステップ１１０１では、候補面作成手順（３）により候補面を作成することもできる。この候補面作成手順（３）は、候補面作成手順（２）と同様に、既に作成済みの候補面に隣接し、かつ、その候補面に対する角度がわかっている面に対する候補面の作成手順であるが、その面上に３個以上の特徴点が存在しない場合に利用される。この手順によれば、例えば、小さな凹凸のある面、撮影の際に特徴点指定のためのスポット光を照射することが困難な面、スポット光を照射しても反射光が撮像装置へ的確に戻らないようなガラスや鏡のような反射面などに対する候補面を作成することができる。
【０１０４】
この手順について、図１０に示すフローチャート及び図２１を参照し説明する。まず、ステップ１４００において、インターフェース画面に表示される面パターン（平面、球面等）の一つをペンデバイスで選択する。この選択をスキップした場合にはデフォルトの平面が選択される。ここでは、面パターンとして平面が選択され、平面の候補面が作成されるものとして説明する。
【０１０５】
ステップ１４０１において、ユーザは、対象シーン画像上の既に作成された候補面を選択する。この選択は、その面上の選択された特徴点群を囲む破線の閉曲線の内側にペンデバイスでタッチすることにより行う。
【０１０６】
次のステップ１４０２で、ユーザは、前ステップで選択した候補面と、それに隣接する注目面（候補面を作成しようとしている面）とのなす角度を指定する。この角度指定をスキップすることもでき、この場合はデフォルトの９０゜が指定されたものとして処理される。
【０１０７】
次のステップ１４０３で、ユーザは、ペンデバイスを用いシーン画像上で、選択された候補面と注目面との交差線を引く。
【０１０８】
図２１に示す例では、柱の正面に対応する作成済みの候補面をステップ１４０１で選択する。そして、ステップ１４０２で、９０゜の角度を指定するかデフォルト指定する。ステップ１４０３で、柱の正面と右側面の稜線に対応する直線をペンデバイスで指定する。
【０１０９】
図１０に戻る。ステップ１４０５において、指定された交差線を選択された候補面上の線として、その交差線の３次元位置を逆算する。そして、この交差線の位置、選択された候補面の面方程式及び指定された角度を用いて、注目面に対応した候補面の面方程式を導出する。また、この作成した候補面を後に選択可能とするため、この候補面上の仮想の特徴点群を作成し、この仮想特徴点群とそれを囲む閉曲線を対象シーン画像中の注目面に表示する。ＯＫボタンも表示される。
【０１１０】
ユーザは、やり直しが必要と判断した場合は対象シーン画像上の任意の位置にペンデバイスでタッチし、やり直しが必要でないと判断した場合にはＯＫボタンにタッチする。対象シーン画像にタッチしたときには（ステップ１４０６，ＹＥＳ）、作成された候補面は無効とされ、作業をやり直すため制御はステップ１４０１に戻る。
【０１１１】
ＯＫボタンにタッチしたときには（ステップ１４０７，ＹＥＳ）、ステップ１４０８で、作成した候補面の確定処理が行われる。完了ボタンも表示される。
【０１１２】
以上のようにして１つの候補面が作成されるが、ユーザは別の面に対する候補面を作成したい場合には対象シーン画像上の任意の点にタッチする（ステップ１４０９，ＹＥＳ）。そうすると、制御はステップ１４０１に戻り、別の面について候補面作成作業を行うことができる。
【０１１３】
ユーザは、対象シーン画像に対する候補面作成手順（３）を終了してよいと判断した場合には完了ボタンにタッチする（ステップ１４１０，ＹＥＳ）。そうすると、候補面作成手順（３）のための処理は終了する。
【０１１４】
以下、図７のステップ１１０２の内容について説明する。ステップ１１０２においては、３次元サーフェスモデルの要素の作成とプロパティ指定を行うが、複数の手順を利用することができる。各手順について順に説明する。
【０１１５】
要素構築手順（１）は、候補面の交差する位置で面分割を行い、また、各面の存在しない側の領域を消去することによりモデルの要素である面を作成し、また、面の交差位置に稜線などを形成し、さらに、各面にプロパティ（例えば壁、天井、床など）を指定するための手順である。この手順について、図１１のフローチャート及び図２２を参照し説明する。
【０１１６】
ステップ１５００において、ユーザは、対象シーン画像上で候補面を順次選択するとともにプロパティ指定ボタンにより候補面のプロパティを指定する。例えば図２２の（ａ）に示す例では、壁に対応する候補面を左側より順にタッチして選択した後に壁プロパティボタンにタッチし、次に例えば天井に対応する候補面にタッチして天井プロパティボタンにタッチし、最後に床に対応する候補面にタッチして床プロパティボタンにタッチする。
【０１１７】
ユーザは、このような作業を終わった後、又はその途中で、作業をやり直したいときには対象シーン画像上の候補面以外の任意の位置をタッチすることができ、この場合（ステップ１５０１，ＹＥＳ）、それまでの作業内容は無効とされ、制御はステップ１５００に戻り、改めて候補面選択とプロパティ指定の作業を行うことができる。
【０１１８】
ユーザが、候補面の選択とプロパティ指定の作業が終わってＯＫボタンにタッチすると（ステップ１５０２，ＹＥＳ）、ステップ１５０３において、面分割、稜線作成、面の不要領域削除などの処理が行われ、その結果がインターフェース画面上のモデル化状況ビュー画面に表示される。図２２（ａ）の例では、（ｂ）に示すようなモデル化状況ビュー画面が表示されることになろう。
【０１１９】
ユーザは、モデル化状況ビュー画面を確認し、作業のやり直しが必要ならば対象シーン画像上の任意の点にタッチし（ステップ１５０４，ＹＥＳ）、それまでの処理結果を無効にさせ、制御をステップ１５００に戻し作業をやり直すことができる。
【０１２０】
ユーザは、問題がないと判断したときは完了ボタンにタッチする（ステップ１５０５，ＹＥＳ）。そうすると、ステップ１５０６に制御が移り、ステップ１５０３における処理結果が確定し、その保存処理が行われることにより、要素構築手順（１）の処理が終了する。なお、この際に、候補面の誤差情報に基づいて、作成された稜線あるいは頂点の位置の誤差レベルを算出し、それぞれの要素（線／点）に関連させて保存する。
【０１２１】
このように、パネルを順次立てていく如き要領で、簡単に各面にプロパティが定義された３次元サーフェスモデルの要素を構築することが出来る。また、この時点で、壁等の前に障害物（不要物等）があっても、それを無視してモデル要素を築できることがわかる。
【０１２２】
次に、要素構築手順（２）について説明する。この手順では、他の候補面又はモデル要素の面によって途中で途切れた候補面又はモデル要素の面を連続した面に修正し、また、途中を遮った候補面又はモデル要素面を消去することができる。この手順について、図１２のフローチャート及び図２３を参照し説明する。
【０１２３】
まずステップ１６００で、ユーザは対象シーン画像上でペンデバイスを消去したい候補面又はモデル要素面の特徴点を囲む閉曲線の内部にタッチすることにより、その候補面又はモデル要素面を選択する。
【０１２４】
次のステップ１６０１で、ユーザは、選択した候補面又はモデル要素面により遮られている他の候補面又はモデル要素面の境界線を、ペンデバイスを用いて対象シーン画像上で線を引くことにより指定する。次のステップ１６０２で、ユーザは、残す側の候補面又はモデル要素面にタッチし、その指定を行う。指定した面が候補面である場合には、そのプロパティをプロパティ選択ボタンにより指定する。
【０１２５】
このような作業が行われると、ステップ１６０３において、指定された境界線の３次元位置が当該面の情報から逆算され、また、不要な側とされた面は消去される。そして、このような修正の結果がモデル化状況ビュー画面に表示される。
【０１２６】
図２３の（ａ）に示す例で説明すると、左側のパーティションは、それに接して設置された家具に遮られ途中で途切れた形になっている。この場合、ステップ１６００で家具に対応した候補面又はモデル要素面を指定し、ステップ１６０１でパーティションの上稜線に対応した境界線を指定し、ステップ１６０２で残す面としてパーティションに対応した面を指定する。かくして、図２３（ｂ）に示すように、家具に対応した面は消去され、パーティションは奥まで連続した面に修正される。
【０１２７】
図１２に戻る。ユーザは、モデル化状況ビュー画面から作業結果を確認し、作業をやり直したいと判断するときには対象シーン画像上の候補面又はモデル要素面以外の任意の点にタッチし（ステップ１６０４，ＹＥＳ）、制御をステップ１６００に戻し作業をやり直すことができる。
【０１２８】
ユーザがＯＫボタンにタッチすると（ステップ１６０５，ＹＥＳ）、ステップ１６０６において、作業結果が保存される。ユーザは別の面に関し作業を続けたいときには対象シーン画像上の候補面又はモデル要素面以外の任意の点にタッチし（ステップ１６０７，ＹＥＳ）、制御をステップ１６００に戻し作業を続けることができる。
【０１２９】
ユーザが完了ボタンにタッチすると（ステップ１６０８，ＹＥＳ）、要素構築手順（２）の処理を終了する。
【０１３０】
以上の処理により、面が途中で切れ不連続になっている箇所についても、精度の良い境界線を有するサーフェスモデルを構築することが出来る（一般に、能動的な手法で得た点群のみから、このような不連続箇所を精度良く求めることは難しく、精度をあげるには点群密度をかなりあげる必要がある）。また、モデル化に不要な面を消去することができ、これによりモデル化の柔軟性が向上する。
【０１３１】
次に、要素構築手順（３）について説明する。この手順では、モデルの要素である立体（凸型立体、凹型立体もしくは開口部）を、少なくとも１つの候補面の情報に基づきフィッティングにより構築する。建物の部屋を想定した場合、凸型立体とは例えばタンスなどの家具であり、凹型立体とは押入や壁を切り抜いた造り付け棚のようなものであり、開口部とは出窓のようなものである。
【０１３２】
まず、凸型立体の構築の手順について、直方体を例に、図１３の概略フローチャート及び図２４を参照し説明する。
【０１３３】
ステップ１７００において、ユーザは、対象シーン画像上の対応する候補面を指定する。ここでは、図２４（ａ）に示したシーン画像の中央に位置する縦長家具に対応した凸型直方体を構築するとものとすると、この家具の前面に対応した候補面を指定することになる。
【０１３４】
次のステップ１７０１において、ユーザは、対象シーン画像上で、凸型直方体の前面領域を決定するための対話作業を行う。
【０１３５】
図２４を参照して具体的に説明すると、図２４（ｂ）に示すように、シーン画像上でペンデバイスを用いて、家具の前面側の交差する２本の稜線に沿って線を引く（なお、この線を意図的に家具の稜線からずらしてもよい）。これにより、目的とする凸型直方体の前面領域の１つの隅点（この例では左下隅点）とそれを通る２本の境界線の軸が決定したことになる。なお、これら境界線を介して隣接する候補面が存在する場合には、その候補面を指定することにより、交差する２本の境界線の軸を間接的に指定することもできる。
【０１３６】
このようにして２本の境界線が決定すると、図２４（ｃ）に示すように、これら境界線と平行な他の２本の境界線を持つ、指定候補面にフィットしたガイド枠が作成されてシーン画像上に表示される。ユーザは、そのガイド枠の未確定の２境界線の交わる隅点をペンデバイスを用いて家具の前面側の対応した隅点（この例では右上隅点）まで移動させる（なお、家具の隅点から意図的にずらした位置へ移動させることもできる）。これにより、凸型直方体の前面領域が決定したことになる。なお、この例で、右側境界線又は上側境界線を介して隣接する候補面が存在するときには、それを指定することにより右側又は上側の境界線を間接的に指定することもできる。この場合、ガイド枠の移動方向は左右方向又は上下方向に限定される。また、右側境界線を介して隣接する候補面及び上側境界線を介して隣接する候補面が存在するときには、それら候補面を指定することができる。この場合、自動的に前面領域の４本の境界線が決定されるため、ガイド枠の移動操作は不要となる。
【０１３７】
次のステップ１７０３において、ユーザは、対象シーン画像上で凸型直方体の奥行きを決定するための対話的作業を行う。図２４を参照し具体的に説明すると、図２４（ｄ）に示すように、凸型直方体の２次元画像上での見え方を考慮した、前面領域に対応したスライド枠が作成されシーン画像上に表示される。ユーザは、ペンデバイスを用いて、そのスライド枠を家具の奥行きにフィットさせるように移動させる。かくして、目的とする凸型直方体の奥行きが決定し、従って、凸型直方体の立体形状が確定したこととなり、モデル化状況ビュー画面には図２４（ｅ）に示すように当該凸型直方体が表示される。
【０１３８】
なお、家具の裏面に接する候補面が存在する場合、その候補面を指定することにより奥行きを間接的に指定することもでき、このときはユーザはスライド枠のスライド操作を行う必要がない。
【０１３９】
このようにして凸型直方体の形状が確定すると、ステップ１７０３において、ユーザは、インターフェース画面上のプロパティ選択ボタンにより、当該凸型立方体のプロパティを指定する。
【０１４０】
ユーザが、ＯＫボタンにタッチすると、ステップ１７０４において、作成された凸型直方体に関するデータが保存される。なお、この手順は必要な回数繰り返して行うことができる。また、作業を途中で打ち切ることも可能である。
【０１４１】
以上の手順により、裏面、側面等がほとんど写っていない、あるいは、写っていても特徴点群が存在しない家具等のオブジェクトについても、モデルの要素として構築することができる。
【０１４２】
凹型立体や開口部も同様の手順で構築することができる。凸型立体の構築の場合との違いは指定する面が内側か外側かの違いのみである。ただし、前面が存在しないモデルとする。さらに、開口部の場合は、奥の面も存在しないモデルとする。
【０１４３】
図２５の例で説明すると、（ａ）に示すシーン画像中の奥の壁に設けられた造り付け棚の場合、ステップ１７００で壁面に対応した候補面を指定し、ステップ１７０１で造り付け棚の前面領域を指定し、ステップ１７０２で奥行きを指定することになる。天井に設けられた出窓（天窓）の場合には、天井に対応した候補面を指定し、その前面領域を指定し、その奥行きを指定するという作業手順となる。かくして、造り付け棚と出窓は図２５（ｂ）のようにモデル化される。
【０１４４】
能動的方式だけでは、このような凹型立体や開口部などは、点群密度を増やさないとその抽出が難しいが、上に述べたような手順によればその抽出は容易である。
【０１４５】
次に、要素構築手順（４）について説明する。この手順では、壁に貼られたポスター、ドア、窓など、奥行きもしくは厚みがないか極めて小さく周囲の面と凹凸のないオブジェクト（面上領域）を、それが接する候補面の情報に基づいてフィッティングにより抽出する。この手順を、図２６に示すドアを例に説明する。図１４は説明のためのフローチャートである。
【０１４６】
ステップ１８００において、ユーザは、図２６（ａ）に示すように、対応する候補面を指定する。次のステップ１８０１において、ユーザは、図２６（ａ）に示すように、ドアの２本の稜線に対応する境界線を、ペンデバイスにより画像上に線を引くことによって指定する。
【０１４７】
次のステップ１８０２において、ユーザは、図２６（ｂ）に示すように、表示されたガイド枠をペンデバイスで移動させることにより、ガイド枠をドアにフィットさせる。これでドアの前面領域が決定した。
【０１４８】
次のステップ１８０２において、モデル上で厚みもしくは奥行きを感じさせない一定の奥行き（例えば１ｍｍ程度）が自動的に指定される。かくして、図２６（ｃ）に示すようにドアがモデル化される。
【０１４９】
ステップ１８０４で、ユーザはプロパティを指定する。ユーザがＯＫボタンにタッチすると、ステップ１８０５でドアに関するデータが保存される。
【０１５０】
このように、ポスターやドア、窓等の周囲の壁に比べて凹凸のないオブジェクト等についても容易にモデル化することが出来るが、これは能動的方式のみ利用した場合には極めて困難なことである。
【０１５１】
以上の要素構築手順の説明においては、立体要素の形状として直方体を例にしたが、それ以外の形状の要素であってもよく、また、要素面は平面のみに限定されるわけではなく、円柱面や円錐面などの曲面であってもよい。そのような要素も同様の手順により抽出可能である。
【０１５２】
次に、図７のステップ１１０５の内容について、図１５のフローチャート並びに図２７及び図２８を参照して説明する。
【０１５３】
１つのシーンに対する要素構築作業が終了し、ユーザがテクスチャー貼付ボタンにタッチすると、この手順が開始する。
【０１５４】
まず、ステップ１９００において、構築された要素面の境界線を画像の縁にあうように作成する。具体的には、構築した各要素面と画像の縁の線との交差部を新たに稜線として構築して各要素面を分割し、画像の外側にあたる部分を消去する。
【０１５５】
例えば図２７（ａ）に示すシーン画像より抽出された壁、天井、床などの要素面については、この処理結果は図２７（ｂ）に示すようになる。（ｃ）はテクスチャー貼付後の様子を示している。
【０１５６】
このような処理により、画像の端ぎりぎりまでモデルのテクスチャーとして利用可能となるため、表面積の大きな３次元サーフェスモデルの作成が可能になる。
【０１５７】
以上のモデル最終形状確定処理の後、シーン画像を基に、各要素面へのテクスチャー貼付（テクスチャー合成）を行う。
【０１５８】
具体的には、ステップ１９０１において、シーン画像を各要素面の領域にあわせて分割する。次に、ステップ１９０２で１つの要素面を選択し、ステップ１９０４で、選択された要素面に対応する分割画像の正面から見た画像（正射影画像）を作成して、当該要素面に貼り付ける。この処理を各要素面について順次行い、未処理の要素面がなくなると（ステップ１９０３，ＹＥＳ）、処理を終了する。
【０１５９】
ステップ１９０４において、立体の画像に写っていない面に対しては、その反対側の面が画像に写っているならば、その画像の鏡像を合成して貼り付ける。立体の画像に写っていない面で、その反対側の面も写っていないときには、前面側の画像の平均色を貼り付ける。
【０１６０】
なお、図１５には示さないが、要素面に、そのプロパティと関係なく画像より取得したテクスチャーを貼り付ける方法と、同一又は類似のプロパティが指定された要素面には同一パターンのテクスチャーを貼り付ける方法とを選択することができる。
【０１６１】
図２８はテクスチャー合成の説明のための図である。（ａ）はテクスチャー合成前の３次元モデルを示し、（ｂ）はシーン画像に基づいたテクスチャーを貼り付けた３次元モデルであり、（ｃ）はテクスチャーの置き換え（修正）や輝度・色彩調整を行ったモデルである。図１５には示されていないが、同一又は類似プロパティの要素面については輝度又は色彩をほぼ同等となるように貼り付けるテクスチャー画像の輝度又は色彩を調整することができる。また、テクスチャーの置き換え（修正）をすることもできる。（ｃ）はテクスチャーの置き換え（修正）や輝度・色彩調整を行ったモデルであり、テクスチャー置き換えによりカーテンが見えないようになっている。（ｄ）はプロパティ別にテクスチャー貼付を行ったモデルである。
【０１６２】
以上の処理により、画像に写っていない要素面も含めて、もっともらしいテクスチャーが合成された３次元サーフェスモデルを作成できる。このようなモデルは、部屋のレイアウト検討等の目的に好適である。
【０１６３】
次に、図６に戻って説明する。シーン別のモデル作成を終了すると、ユーザは、ステップ１００５において、インターフェース画面のモデルを出力したいシーンのサムネイル画像にタッチすることにより、モデル出力対象シーンを選択する。この選択後、ユーザがモデル統合ボタンにタッチすると、選択されたシーンのモデルを統合する処理がステップ１００６で行われる。
【０１６４】
このステップ１００６において、ユーザは２種類の合成方法のいずれかを選択することができる。第１の合成方法が選択された場合には、選択されたシーンのサーフェスモデル（局所モデル）をそれぞれの位置に単純に配置することにより合成モデルが作成され、それがモデル化状況ビュー画面に表示される。
【０１６５】
シミュレーションなどに用いる場合にシーン間の面が正しくつながったモデルが必要となるので、そのための第２の合成方法を選択する。第２の合成方法では、保存されているモデル構築の履歴情報に基づき、隣接するシーン間の同一であるはずの要素面が自動的に選択され（これは面が一定の距離以下の距離で接していることから検知できる）、一つの面として要素面の位置が再計算され、ついで、この要素面に関わる全ての稜線や面等が再計算され、また、プロパティの修正やテクスチャーの再合成が行われることにより、統合モデルが作成される。作成された統合モデルはインターフェース画面上のモデル化状況ビュー画面に表示される。
【０１６６】
図２９に、２シーンの局所モデルの統合の様子を示す。
【０１６７】
以上のようにして、広がりがある対象を複数のシーン（撮影エリア）に分割して撮影した画像データから作成したシーン別の複数の局所モデルを１つの統合したテクスチャー付き３次元サーフェスモデルを作成することができる。部屋などの全周のモデル等も作成することが出来る。また、分割して別々に撮影されたオブジェクトの相互間距離等をバーチャルに高精度に計測することも可能となる。
【０１６８】
モデル統合処理が終わった後、ユーザがファイル出力ボタンにタッチすることにより、ステップ１００７で、統合モデルのデータ（例えばＶＲＭＬファイル形式）と、それに付随する誤差情報等（例えばテキストファイル形式）が出力ファイル６（図１）に書き出される。なお、このデータ書き出しの際に、後の編集処理などにおいてモデルを扱いやすいように、同一あるいは類似のプロパティに関してデータをグループ化するのが望ましい。
【０１６９】
＜撮影システム２の詳細＞
次に、撮影システム２について説明する。図３０は撮影システム２の構成例を示すブロック図である。ここに示す撮影システム２は、特徴点用スポット光照射装置２０３、つなぎ合わせ点用スポット光照射装置２０４，２０５、撮像装置２０１，２０２、これら各装置と有線又は無線のインターフェース手段３０１，３０２，３０３，３０４，３０５を介して接続された制御装置３００から構成されている。
【０１７０】
なお、図５により説明したように１台の撮像装置２０１のみ撮影に使用する方法を採用する場合には撮像装置２０２をシステムから取り除くことができる。撮影した画像データ中に長さ基準点を指定するための長さ基準装置２０６を利用する場合には、これも撮影システムに含まれる。この場合、長さ基準装置２０６の半導体レーザ（図４０に関連して後述）の点灯、消灯を制御装置３００から遠隔制御することも可能であるが、ここに述べる例では、その制御は行わないものとして説明する。
【０１７１】
制御装置３００として、例えば図２にブロック図として示すような構成のタッチパネル付きパソコン（ＰＣ）が用いられる。このＰＣは、画像処理システム１を実現するためのＰＣと共通のものであってもよいこと、それが好ましい形態の一つであることは前述した通りである。
【０１７２】
インターフェース手段３０１〜３０５としてＵＳＢケーブルを用いることができ、この場合は、それぞれのＵＳＢケーブルをＰＣのＵＳＢポート（１８）に接続される。インターフェース手段３０１〜３０５として電波又は赤外光を利用することもでき、この場合は、電波又は赤外光による通信のための通信ユニットがＰＣのＵＳＢポートに接続され、他の各装置２０１〜２０５にも同様の通信ユニットが設けられる。
【０１７３】
図示しないが、ＰＣのＨＤＤ（１２）には、オペレーティングシステム（ＯＳ）や、このＯＳ上で動作し撮影システムの制御及びデータ処理を行う記録制御プログラムが格納されている。
【０１７４】
この撮影システムの動作時には、ＰＣのＨＤＤよりＯＳの必要なプログラムと記録制御プログラムがメインメモリにロードされ、ＯＳの下で記録制御プログラムに従ってＣＰＵは撮影のための制御、画像データの取り込み、特徴点等の検出、対象の三次元形状復元のための演算処理などを実行する。
【０１７５】
撮像装置２０１，２０２としては、例えば図３１にブロック図として示すようなデジタルスチルカメラが用いられる。図３１において、２３２は、当該デジタルスチルカメラ全体の制御を行うシステム制御部であり、ＣＰＵ、メモリ、タイマー等から構成されている。２３３は撮像部であり、撮像のための光学系（レンズ及びレンズ駆動モータ等）、ＣＣＤイメージセンサ、その駆動回路やＡ／Ｄ変換器等から構成されている。２３４は画像処理部であり、撮像部２３３より入力される画像データに対する種々の画像処理や圧縮伸長処理を行うほか、撮像部２３３のＣＣＤイメージセンサ等の駆動タイミング、レンズ駆動モータを制御してフォーカシング、露出調整等を行う。この画像処理部２３４はデジタル信号プロセッサ（ＤＳＰ）、メモリ等から構成される。
【０１７６】
２３５はＬＣＤ表示制御部２３５であり、液晶ディスプレイ装置（ＬＣＤ）２３６へプレビュー画像データ（撮像部２３３の撮影視野内のシーンを表す画像データ）を表示させるための信号処理や、ユーザーインターフェースのための種々のグラフィック画像を生成し表示させる処理を行う。液晶ディスプレイ装置２３６は、プレビュー画像やユーザーインターフェースのためのグラフィックなどの表示に利用される。
【０１７７】
２３８はビューファインダー内部に設けられた小型の液晶ディスプレイ装置などからなるファインダー表示器である。２３７はファインダー表示制御部であり、画像処理部２３４で処理された画像データをファインダー表示器２３８へ表示するための信号処理を行い、また、ユーザーインターフェースのための種々のグラフィック画像を生成しファインダー表示器２３８へ表示させる制御などを行う。
【０１７８】
２４０はフラッシュメモリ等からなるメモリカードのような着脱可能な記録メディアであり、画像データやその関連情報の記憶に利用される。２３９は記録メディアインターフェース部であり、記録メディア２３９の書き込みや読み出しを行う。
【０１７９】
２３１はハードキーインターフェース部であり、不図示のレリーズスイッチやダイアル類、その他のユーザーインターフェースのためのハードウェアの状態を検出する。２４２はＰＣなどの外部機器と接続するための外部機器インターフェース部である。この外部機器インターフェース部２４２にＵＳＢポートが含まれているならば、当該デジタルスチルカメラをＵＳＢケーブルを用いて制御装置３００と接続し、プレビュー画像データや撮影画像データを制御装置３００へ転送することができる。また、制御装置３００側から当該デジタルスチルカメラのレリーズ動作などを制御することができる。制御装置３００とのインターフェース手段として電波や赤外光などを利用する場合には、電波や赤外光の通信ユニットを外部機器インターフェース部２４２に備えるか、ＵＳＢポートなどに外付けすればよい。
【０１８０】
特徴点用光スポット照射装置２０３は、例えば図３２に模式的に示すように、支持体２５１に３０個の半導体レーザモジュール２５２がそれぞれ向き調節機構２５３によってレーザビーム（スポット光）照射方向を調節可能に取り付けられた構成である。この特徴点用光スポット照射装置２０３は制御装置３００との接続のための外部インターフェース部２５４を備えている。例えば、半導体レーザユニット２５２はＴＴＬレベル入力によりＯＮ／ＯＦＦ制御され、ＴＴＬ入力レベルがＯＮの時に波長６５０ｎｍ（赤色）、パワー５ｍWのレーザビームを出力するもので、この場合、外部インターフェース部２５４は３０チャンネル以上のデジタル入出力（ＤＩＯ）ポートにより構成され、ＵＳＢケーブルなどで制御装置３００と接続することにより、個々の半導体レーザユニット２５２の点灯／消灯を制御装置３００側から制御可能である。制御装置３００と無線で接続することも可能であり、この場合は通信ユニットを外部インターフェース部２５２に備えるか外付けすればよい。
【０１８１】
つなぎ合わせ点用光スポット照射装置２０４，２０５は、例えば図３３に模式的に示すように、支持体２６１に３個の半導体レーザモジュール２６２がそれぞれ向き調節機構２６３によってレーザビーム（スポット光）照射方向を調節可能に取り付けられた構成である。このつなぎ合わせ点用光スポット照射装置は制御装置３００との接続のための外部インターフェース部２６４を備えている。例えば、半導体レーザユニット２６２はＴＴＬレベル入力によりＯＮ／ＯＦＦ制御され、ＴＴＬ入力レベルがＯＮの時に波長５３２ｎｍ（緑色）、パワー５ｍWのレーザビームを出力するもので、この場合、外部インターフェース部２６４は３チャンネル以上のＤＩＯポートにより構成され、ＵＳＢケーブルなどで制御装置３００と接続することにより、個々の半導体レーザユニット２６２の点灯／消灯を制御装置３００側から制御可能である。制御装置３００と無線（電波、赤外光など）で接続することも可能であり、この場合は通信ユニットを外部インターフェース部２６２に備えるか外付けすればよい。
【０１８２】
次に、図５に関連して説明したように、１台の撮像装置２０１、特徴点用スポット光照射装置２０３及び２台のつなぎ合わせ点用スポット光照射装置２０４，２０５を用いて対象を撮影する場合について、撮影システムの動作を説明する。図３４は、この場合の制御装置（ＰＣ）３００における制御及び処理の流れを示すフローチャートである。このような制御及び処理は記録制御プログラムにより制御される。また、この場合の制御装置３００の液晶ディスプレイ装置の表示画面の一例を図３５に示す。
【０１８３】
制御装置３００において、撮影エリアの選択順に対応するシーン番号Ｊを１に初期化し（ステップ４００）、次に液晶ディスプレイ装置に図３５に示すような画面４３０を表示する（ステップ４０１）。この段階では、コントロールボタンの中で画像１撮影ボタン４３１と終了ボタン４４０だけが有効状態とされる（図３６参照）。
【０１８４】
撮像装置２０１よりプレビュー画像データが出力され、制御装置３００はこのプレビュー画像データをインターフェース手段３０４を介して受信し、それを画面４３０のプレビュー表示エリア４３３に表示する。このプレビュー画像データの受信と表示は、一定の時間間隔で定常的に繰り返される。ユーザは、表示されたプレビュー画像によって、撮像装置２０１の位置・向きの適否を容易に確認し、撮像装置２０１を適切な位置・向きに設定することができる。このように、制御装置３００はプレビュー画像データを受信する手段と、受信したプレビュー画像データを表示する手段を備えている。
【０１８５】
制御装置３００は、終了ボタン４４０又は画像１撮影ボタン４３１の状態のチェックを繰り返す（ステップ４０３，４０４）。
【０１８６】
ユーザが、タッチパネル３１４（図１０）により画像１撮影ボタン４３１を操作し（この操作はタッチパネルの当該ボタンの部分に指又はペンデバイスを触れることにより行われる。他のコントロールボタンも同様）、これを制御装置３００で検知すると（ステップ４０４，ＹＥＳ）、制御装置３００は、撮像装置２０１のレリーズ動作を行わせてスポット光が照射されない状態で１回撮影を行わせ、続いて撮像装置２０１のレリーズ動作とスポット光照射動作を同時に実行させる。すなわち、インターフェース手段３０１〜３０３を介して、まず撮像装置２０１に対しレリーズスイッチの操作を命令し、スポット光照射のない画像の撮影を行わせ、撮影データの記録メディア２４０への記録を確認した後、インターフェース手段３０１〜３０３を介して特徴点用スポット光照射装置２０３及びつなぎ合わせ点用スポット光照射装置２０４，２０５へスポット光の照射開始を命令するとともに、インターフェース手段３０４を介して撮像装置２０１へレリーズスイッチの操作を命令し、スポット光照射状態での撮影動作を行わせる（ステップ４０５）。このステップ４０５では、引き続き、撮像装置２０１により撮影された画像データ（画像１）の記録メディア２４０への記録を確認した後、特徴点用スポット光照射装置２０３及びつなぎ合わせ点用スポット光照射装置２０４，２０５へスポット光の照射停止を命令し、次に撮像装置２０１に対し、撮影された２枚の画像データ（画像１）のファイルの転送を要求し、その画像データのファイルを受信してＨＤＤ（１２）に保存する。
【０１８７】
このように画像１撮影ボタン４３１は各撮影エリアの第１の位置からの撮影の開始指示を入力する手段に相当する。すなわち、制御装置３００は、撮影開始指示入力手段と、それによる撮影開始指示入力に応答して撮影動作を制御する手段とを備えている。
【０１８８】
ここでは特徴点用のスポット光とつなぎ合わせ点用スポット光を異色としているが、それを同色とした場合には、ステップ４０５において、特徴点用スポット光のみを照射させて１枚撮影し、次につなぎ合わせ点用スポット光のみ照射させて１枚撮影し、スポット光を照射しない状態で撮影された１枚を加え合計３枚の画像データを取得し保存するようにしてもよい。また、特徴点用スポット光を何回かに分けて照射させつつ撮影を繰り返し行い、複数枚の画像データを保存するにしてもよい。実寸ベースの３次元モデルの作成を意図する場合には、撮影時に長さ基準装置２０６を撮影エリア内に配置し、撮影画像データ中に長さ基準点を指定する。
【０１８９】
次に、制御装置３００において、スポット光照射状態で撮影された画像１の画像データをメインメモリへ読み込み、特徴点及びつなぎ合わせ点の検出処理を実行する（ステップ４０６）。この点検出処理の詳細については後述する。そして、検出された特徴点及びつなぎ合わせ点の個数に問題がないか判定を行う（ステップ４０７）。例えば、特徴点（赤色レーザ点）の個数が１５個以上、かつ、つなぎ合わせ点（緑色レーザ点）の個数が６個であるときに判定結果はＯＫ（ＹＥＳ）となり、特徴点が１４個以下又はつなぎ合わせ点が５個以下のときには判定結果はＮＧ（ＮＯ）となる。
【０１９０】
ステップ４０７でＮＧと判定された場合は、処理エラーが起きたか、あるいは撮影位置が適切でなくスポット光の物体による遮蔽が起こったことなどが考えられるため、制御装置３００は画面４３０にオーバーラップさせて例えば図３７に示すような警告画面を表示させてシステムユーザに警告し、ＯＫボタン４４２の操作を待つともにとともに、直前に保存した画像１のファイルを消去する（ステップ４０８）。ＯＫボタン４４２が操作されると、画像１の撮影をやり直すためにステップ４０３に戻る。
【０１９１】
このように、制御装置３００は、取得した画像データから特徴点及びつなぎ合わせ点を検出する手段と、その個数の判定を行う手段と、この判定で特徴点又はつなぎ合わせ点の個数が所定値未満のときに警告を発する手段を備えている。このような構成とすることにより、スポット光の遮蔽や点検出処理のエラーを事前にチェックし、改めて撮影動作を行わせることにより、適切な画像データを確実に取得することができる。
【０１９２】
ステップ４０７でＯＫと判定されると、制御装置３００は画像２撮影ボタン４３２の操作待ちとなる（ステップ４０９）。この段階では、画像１撮影ボタン４３１は無効状態とされる（図３６参照）。ユーザは、撮像装置２０１を適当な位置・向きに設定し直してから、画像２撮影ボタン４３２を操作する。この際にも、プレビュー表示エリア４３３に表示されるプレビュー画像により、撮像装置２０１の位置・向きの適否を容易に確認することができる。
【０１９３】
画像２撮影ボタン４３２が操作されると、制御装置３００はステップ４０５と同様の制御を行うことにより画像２の撮影を行わせ、その画像データのファイルを取り込み保存する（ステップ４１０）。次に、スポット光照射状態で撮影された画像２のデータについて、ステップ４０６及びステップ４０７と同様の特徴点及びつなぎ合わせ点の検出とその個数判定を行う（ステップ４１１，４１２）。この判定の結果がＮＧならば、ステップ４０８と同様の警告表示処理を行い（ステップ４１３）、システムユーザによりＯＫボタン４４２（図４４２）が操作されると、画像２の撮影をやり直すためステップＳ４０９に戻る。
【０１９４】
ステップ４１２での判定結果がＯＫとなった場合には、制御装置３００は、今回撮影された画像１と画像２のサムネイル（縮小画像データ）を作成し、それをサムネイル表示エリア４３９（図３５）に画像表示する。この段階ではＪ＝１であるため、表示エリア４３８にはシーン番号４３８としてシーン１と表示される。Ｊが２以上ならば、２組以上のサムネイルが保存されているので、←ボタン４３６又は→ボタン４３７を操作することにより、保存されている任意のシーン番号（撮影エリア番号）のサムネイルを表示させることができる。システムユーザは、各シーン（撮影エリア）の撮影準備の際に、直前シーンのサムネイル４３４，４３５とプレビュー画像とを対比することにより、今回の撮影エリアの隣接撮影エリアとの重なり具合あるいは撮像装置２０１の位置・向きの適否を容易に確認することができる。なお、画面４３０のスペースに余裕があるならば、サムネイルに代えて、より大きな画像を表示するようにしてもよい。
【０１９５】
このように、制御装置３００は、撮像装置２０１より取得済みの画像データを表示（ここでは縮小表示）する手段とプレビュー画像データを表示する手段を備え、これにより上に述べたように撮影エリアもしくは撮像装置２０１の位置・向きの設定、確認が容易になる。
【０１９６】
次に、制御装置３００は、３次元形状の演算処理として、今回撮影された画像１と画像２の特徴点及びつなぎ合わせ点の対応付け処理（ステップ４１５）、その結果を用いた３次元計算処理４１６（ステップ４１６）を実行する。これらの処理の詳細については後述する。このように、制御装置３００は、取得した画像データを用いて対象の３次元形状復元のための演算処理を行う手段を備える。
【０１９７】
次に、制御装置３００は、シーン番号Ｊを１だけインクリメントし（ステップ４１７）、ステップ４０３に戻る。ユーザは、次の撮影エリアの撮影のために撮像装置２０１、特徴点用スポット光照射装置２０３及び一方のつなぎ合わせ点用スポット光照射装置２０４又は２０５を移動する。これ以降のシステムユーザの作業及び制御装置３００の動作は同様であるので、説明を繰り返さない。
【０１９８】
ユーザは、終了ボタン４４０を操作することにより一連の動作を終了させることができる。制御装置３００は、ステップ４０３で終了ボタン４４０の操作を検知すると、必要なデータの保存や処理に使用した資源の解放、表示画面の消去等の終了処理を行い（ステップ４１８）、動作を終了する。
【０１９９】
次に、図４に関連して説明したように、２台の撮像装置２０１，２０２、特徴点用スポット光照射装置２０３及び２台のつなぎ合わせ点用スポット光照射装置２０４，２０５を用いて対象を撮影する場合について、撮影システムの動作を説明する。図３８は、この場合の制御装置３００における制御及び処理の流れを示すフローチャートである。このような制御及び処理は記録制御プログラムにより制御される。また、この場合の制御装置３００の液晶ディスプレイ装置（１６）の表示画面の一例を図３９に示す。
【０２００】
制御装置３００において、撮影エリアの選択順に対応するシーン番号Ｊを１に初期化し（ステップ４５０）、次に液晶ディスプレイ装置（１６）に図３９に示すような画面４７０を表示する（ステップ４５１）。
【０２０１】
撮像装置２０１，２０２よりプレビュー画像データがそれぞれ出力され、制御装置３００はこのプレビュー画像データをインターフェース手段３０４，３０５を介して受信し、それを画面４７０のプレビュー表示エリア４７３に並べて表示する。このプレビュー画像表示は一定の時間間隔で定常的に繰り返される。ユーザは、プレビュー画像から、撮像装置２０１，２０２の位置・向きの適否を確認し、撮像装置２０１，２０２を適切な位置・向きに設定することができる。
【０２０２】
制御装置３００は、終了ボタン４８１又は画像撮影ボタン４７１（図３９）の状態のチェックを繰り返す（ステップ４５２，４５３）。
【０２０３】
ユーザが、画像撮影ボタン４７１を操作し（この操作はタッチパネルの当該ボタンの部分に指又はペンデバイスを触れることにより行われる。他のコントロールボタンも同様）、これを検知すると（ステップ４５３，ＹＥＳ）、制御装置３００は撮像装置２０１，２０２のレリーズ動作を行わせ、つづいて撮像装置２０１，２０２のレリーズ動作とスポット光照射動作を同時に実行させる。すなわち、インターフェース手段３０４，３０５を介して撮像装置２０１，２０２へレリーズスイッチの操作を命令し、スポット光を照射しない状態で撮影動作を行わせ、これに続いて、インターフェース手段３０１〜３０３を介して特徴点用スポット光照射装置２０３及びつなぎ合わせ点用スポット光照射装置２０４，２０５へスポット光の照射開始を命令するとともに、インターフェース手段３０４，３０５を介して撮像装置２０１，２０２へレリーズスイッチの操作を命令し、スポット光照射状態で撮影動作を行わせる（ステップ４５４）。このステップ４５４では、引き続き、撮像装置２０１，２０２により撮影された画像データ（画像１，２）の記録メディア（２４０）への記録を確認した後、特徴点用スポット光照射装置２０３及びつなぎ合わせ点用スポット光照射装置２０４，２０５へスポット光の照射停止を命令し、次に撮像装置２０１，２０２に対し、撮影された画像データ（画像１，２）のファイルの転送を要求し、その画像データのファイルを受信して保存する。
【０２０４】
このように画像撮影ボタン４７１は各撮影エリアの異なった２位置からの撮影の開始指示を入力する手段に相当する。すなわち、制御装置３００、撮影開始指示入力手段と、それによる撮影開始指示入力に応答して撮影動作を制御する手段とを備えている。
【０２０５】
なお、ここでは特徴点用のスポット光とつなぎ合わせ点用スポット光を異色としているが、それを同色とした場合には、ステップ４５４において、特徴点用スポット光のみを照射させて撮影させ、次につなぎ合わせ点用スポット光のみ照射させて撮影させねようにしてもよい。また、特徴点用スポット光を何回かに分けて照射させつつ撮影を繰り返し行い、複数枚の画像データを保存するにしてもよいことは前述の通りである。実寸ベースの３次元形状復元を意図する場合には、撮影時に長さ基準装置２０６を撮影エリア内に配置し、撮影画像データ中に長さ基準点を指定する。
【０２０６】
次に、制御装置３００において、スポット光照射状態で撮影された画像１，２の画像データから、特徴点及びつなぎ合わせ点を検出する処理を実行する（ステップ４５５）。この点検出処理の詳細については後述する。そして、画像１，画像２より検出された特徴点及びつなぎ合わせ点の個数に問題がないか判定を行う（ステップ４５６）。例えば、画像１及び画像２の両方について特徴点（赤色レーザ点）の個数が１５個以上、かつ、つなぎ合わせ点（緑色レーザ点）の個数が６個であるときに判定結果はＯＫ（ＹＥＳ）となり、画像１又は画像２における特徴点が１４個以下又はつなぎ合わせ点が５個以下のときには判定結果はＮＧ（ＮＯ）となる。
【０２０７】
ステップ４５６でＮＧと判定された場合は、処理エラーが起きたか、あるいは撮影位置が適切でなくスポット光の物体による遮蔽が起こったことなどが考えられるため、制御装置３００は画面４７０にオーバーラップさせて例えば図３７に示すような警告画面を表示させてユーザに警告し、ＯＫボタン４４２の操作を待つともにとともに、直前に保存した画像１，２のファイルを消去する（ステップ４５７）。ＯＫボタン４４２が操作されると、撮影をやり直すためにステップ４５２に戻る。
【０２０８】
ステップ４５６でＯＫと判定されると、制御装置３００は、今回撮影された画像１と画像２のサムネイル（縮小画像データ）を作成し、それをサムネイル表示エリア４７４（図３９）に表示する。この段階ではＪ＝１であるため、表示エリア４３８にはシーン１と表示される。Ｊが２以上ならば、２組以上のサムネイルが保存されているので、←ボタン４７８又は→ボタン４８０を操作することにより、保存されている任意のシーン番号（撮影エリア番号）のサムネイルを表示させることができる。ユーザは、各シーン（撮影エリア）の撮影準備の際に、直前シーンのサムネイル４７５，４７６とプレビュー画像とを対比することにより、撮影エリアの適否もしくは撮像装置２０１，２０２の位置・向きの適否を容易に確認することができる。なお、画面４７０のスペースに余裕があるならば、サムネイルに代えて、より大きな画像を表示するようにしてもよい。
【０２０９】
次に、制御装置３００は、３次元形状復元のための演算処理として、今回撮影された画像１と画像２の特徴点及びつなぎ合わせ点の対応付け処理（ステップ４５９）、その結果を用いた３次元計算処理４１６（ステップ４６０）を実行する。これらの処理の詳細については後述する。
【０２１０】
次に、制御装置３００は、シーン番号Ｊを１だけインクリメントし（ステップ４１７）、ステップ４５２に戻る。システムユーザは、次の撮影エリアの撮影のために撮像装置２０１，２０２、特徴点用スポット光照射装置２０３及び一方のつなぎ合わせ点用スポット光照射装置２０４又は２０５を移動する。これ以降のユーザの作業及び制御装置３００の動作は同様であるので、説明を繰り返さない。
【０２１１】
ユーザは、終了ボタン４８１を操作することにより一連の動作を終了させることができる。制御装置３００は、ステップ４５２で終了ボタン４８１の操作を検知すると、必要なデータの保存や資源解放、画面消去などの終了処理を行い（ステップ４６２）、動作を終了する。
【０２１２】
図４０及び図４１に、撮像システム２の物理的構成の一例を示す。なお、図４０は撮影システムの使用時の状態を示す簡略化された斜視図であり、図４１は撮影システムの不使用時の状態を示す簡略化された斜視図である。
【０２１３】
共通のタッチパネル付きＰＣを用いて制御装置３００と画像処理システム１を実現する好ましい形態では、図４０は撮影システム２と３次元画像処理システムの統合システム全体を示していることになる。かかるシステム形態は本発明に包含されることは当然である。
【０２１４】
この撮像システム２（もしくは統合画像処理システム）の例では、図４０に見られるように、カメラ用三脚５００に装着可能なねじ孔（不図示）などが下面に形成された支持テーブル５００上に、特徴点用スポット光照射装置２０３と制御装置３００（図２に示したようなタッチパネル付きコンピュータ）が固定されている。支持テーブル５００には、２枚のスライド板５０２，５０３が左右方向へスライド可能に取り付けられている。スライド板５０２，５０３の先端近傍に、撮像装置２０１，２０２が取り付けられている。したがって、スライド板５０２，５０３の支持テーブル５０１からの引き出し量を変えることにより、２台の撮像装置２０１，２０２の間隔を変更することができる。すなわち、撮像装置２０１，２０２は、共通の支持体である支持テーブル５０１に、可動部材であるスライド板５０２，５０３により相対位置を調節可能に支持されている。好ましくは、撮像装置２０１，２０２は、その左右上下に向きを調節可能にする適当な取り付け機構によってスライド板５０２，５０３に取り付けられる。
【０２１５】
支持テーブル５０１の幅は例えば６５ｃｍ、スライド板５０２，５０３の長さは例えば６０ｃｍである。この場合、撮像装置２０１，２０２の最大間隔は１６０ｃｍとなる。
【０２１６】
制御装置３００と特徴点用スポット光照射装置２０３は例えばＵＳＢケーブルにより接続される。制御装置３００とつなぎ合わせ点用スポット光照射装置２０４，２０５とのインターフェース手段としては、ＵＳＢケーブルなどのケーブル又は無線（電波、赤外光など）が利用される。
【０２１７】
図４０には長さ基準装置２０６の例も示されている。ここに示す長さ基準装置２０６は、ヒンジ部５１０により折り畳み可能に結合されたバー５１１，５１２の先端部に半導体レーザユニット５１３，５１４が取り付けられた構成である。半導体レーザユニット５１３，５１４を発光させると、半導体レーザユニット５１３，５１４からバー５１１，５１２の近傍位置へ向けてレーザビームが照射されることにより、所定間隔の２つの光点（レーザスポット）５１５，５１６が形成される。この光点の指向性を弱めるため、好ましくはバー５１１，５１２の少なくとも光点５１５，５１６が形成される部分は拡散面とされる。
【０２１８】
このような構成の撮影システム（もしくは統合画像処理システム）は、撮像装置２０１，２０２、特徴点用スポット光照射装置２０３及び制御装置３００を共通の三脚５００を用いて支持することができ、その全体を一括して移動させることができるため、図４に示したような方法による撮影に好都合である。また、スライド板５０２，５０３を支持テーブル５０１に押し込むことにより、図４１に示すように撮像装置２０１，２０２、特徴点用スポット光照射装置２０３及び制御装置３００をコンパクトに集合させることができるため、その運搬や収納に好都合である。また、長さ基準装置２０６も、図４１に示すように折り畳むことができるため、運搬及び収納に好都合である。
【０２１９】
次に、図３４のステップ４０６，４１１又は図３８のステップ４５５における特徴点及びつなぎ合わせ点の検出処理について説明する。図４２〜図４７は検出アルゴリズムの説明図である。
【０２２０】
ｓｔｅｐＡ：特徴点又はつなぎ合わせ点の候補となり得る色の画素を抽出するためのフィルター処理を画像データの全画素に施す（図４２参照）。ここでは、特徴点指定用の赤色レーザスポット光である特徴点を検出するものとして説明する。この場合、ＲＧＢ各画素の色強度（０〜２５５）において、Ｒ成分の色強度がＧ＋α、Ｂ＋αと同等以上で、Ｒ成分が２５５の画素のみ抽出し、それ以外の画素を削除する。なお、αの値は通常７〜１０程度に選ばれるが、実験的に最適値を選ぶのがよい。
【０２２１】
ｓｔｅｐＢ：ｓｔｅｐＡで抽出された画素についてＸ軸，Ｙ軸それぞれの方向の画素数のヒストグラム（周辺分布）を作成する（図４３参照）。ただし、ノイズとみなし得る所定値以下のヒストグラムは除去する。
【０２２２】
ｓｔｅｐＣ：ｓｔｅｐＢで得られたＸ，Ｙ軸のヒストグラムの連続する区間の交差矩形を抽出する（図４４）。
【０２２３】
ｓｔｅｐＤ：ｓｔｅｐＣで抽出された各交差矩形の内部に含まれる画素数を調べ、画素数が所定値未満の交差矩形は削除する（図４５参照）。
【０２２４】
ｓｔｅｐＥ：ｓｔｅｐＤで削除されずに残った各交差矩形の内部の周辺分布を作成し、各交差矩形をさらに小さな交差矩形に分割する。
【０２２５】
ｓｔｅｐＦ：ｓｔｅｐＥで細分化後の交差矩形の大きさや形状もしくは画素配置を分析し、特徴点指定用のレーザスポットと判断できる交差矩形のみ残す。
【０２２６】
ｓｔｅｐＧ：ｓｔｅｐＦで残った交差矩形の重心を特徴点として検出し、その座標（ｘ，ｙ）を求める（図４６参照）。特徴点の候補としての交差矩形内のＲ成分の色強度は図４７のような分布となるため、色強度の分布から重心を容易に検出することができる。
【０２２７】
以上のような検出アルゴリズムによれば、サブピクセルの精度で特徴点を検出することができる。
【０２２８】
緑色レーザによるつなぎ合わせ点についても、同様の検出アルゴリズムを適用できることは明らかである。ただし、ｓｔｅｐＡでは、Ｇ成分の色強度がＲ＋α、Ｂ＋αと同等以上で、Ｇ成分が２５５の画素のみ抽出し、それ以外の画素を削除する。
【０２２９】
なお、他の検出アルゴリズムを用いることも可能であることは当然である。
【０２３０】
次に、図３４のステップ４１５又は図３８のステップ４５９の対応付け処理について説明する。
【０２３１】
図４８に対応付け処理の全体的フローを示す。ステップ６０１において、シーンＪの画像１と画像２より検出されたつなぎ合わせ点の対応付けを行う。つなぎ合わせ点は画像両端部分に３個ずつしか存在しないため、位置関係から容易に対応付けることができる。
【０２３２】
ステップ６０２において、シーンＪの画像１と画像２の特徴点についての第１段階の対応付け処理を行う。その処理フローを図２９に示す。
【０２３３】
まず、ステップ６１０において画像１における「コーナー特徴の強度」を算出する。ここでは、コーナー特徴の強度を算出する方法として、文献（C．Harris  and  M．Stephens：”A  Combined  Corner  and  Edge  Detector”，Proceedings  of  The  Fourth  Alvey  Vision  Conference，Manchester，pp.147-151
(1988)）に記載されている方法を用いる。この文献によれば、画像上の各点（ｕ，ｖ）のコーナー強度を示す応答関数
Ｒ（ｕ，ｖ）は次式で表される。
【０２３４】
【数１】
2006098256.tif 000003
Ｉｕは画像のｕ軸方向の１次微分であり、Ｉｖは画像のｖ軸方向の１次微分である。またＧ（ｕ，ｖ）は２次元ガウス関数を示す。また、（１）式のｋは定数で、その値を０．０４とする。応答関数Ｒ（ｕ，ｖ）は、コーナーに対しては大きな正の値を、エッジに対しては負の値を、何の特徴もない平坦な部分に対しては０付近の値をとることが知られている。
【０２３５】
次のステップ６１１において、画像１より検出された特徴点のうち、周囲に強いコーナー特徴を有する上位８点を抽出する。具体的には、画像１における各特徴点（ｕ，ｖ）を中心とする大きさ（２ｄｕ＋１）×（２ｄｖ＋１）の窓を用意し、この窓内における応答関数Ｒ（ｕ，ｖ）の総和
【０２３６】
【数２】
2006098256.tif 000004
が大きい上位８点を抽出する。
【０２３７】
次に、抽出された８つの特徴点それぞれについて、画像１の特徴点を中心とする大きさ（２ｄｕ＋１）×（２ｄｖ＋１）の範囲を切り出し、これをテンプレートとする。ここでは、ｄｕ、ｄｖとも例えば３２、すなわちテンプレートの大きさを６５×６５とするものとする。
【０２３８】
次のステップ６１２において、前ステップで生成された８つのテンプレートについて、画像２においてテンプレートマッチングを行う。具体的には、画像１のテンプレートと、画像２における各特徴点（ｕ’，ｖ’）との正規化相互相関値Cを、次式に基づき計算する。
【０２３９】
【数３】
2006098256.tif 000005
（４）式において、Ｉ１（ｕ，ｖ）はテンプレート上の点（ｕ，ｖ）における画素値である。Ｉ２（ｕ’，ｖ’）は画像２上の点（ｕ’，ｖ’）における画素値である。
【０２４０】
各テンプレートに対し、以上の計算を画像２の全ての特徴点に対して実行し、その中で正規化相互相関値Cが最大となる特徴点（ｕ’，ｖ’）を対応点として選択する。これにより、画像１と画像２の８個の特徴点の対応付けがなされる。
【０２４１】
図４８のステップ６０３について説明する。このステップでは、ステップ６０１，６０２による対応付けの結果を用いて、画像１の撮影から画像２撮影に至るカメラ運動を計算する。その手順を、図５０のフローチャートに示す。
【０２４２】
まずステップ６２０においてカメラパラメータを取得する。具体的には、制御装置３００に保存されたシーンＪの画像１，２の画像データファイルのＥＸＩＦ（exchangeable  image  file  format）ヘッダを読み込み、撮像装置２０１，２０２（デジタルスチルカメラ）のメーカー名、機種名及び焦点距離情報を読み取る。次に、読み取られたこれらの情報を基に、制御装置３００のＨＤＤ（１２）に予め記憶されているカメラパラメータテーブルを検索し、該当するカメラパラメータ
・画面中心座標（ｕ０，ｖ０）
・画素換算焦点距離（ｆｕ，ｆｖ）
を読み出す。
【０２４３】
例えば、ＥＸＩＦヘッダに記載されているカメラメーカー名が”RICOH”、機種名が”Caplio  RR1”、焦点距離が”７．５０（ｍｍ）”である場合、記録制御プログラムは、例えば図５１に示す当該機種のカメラパラメータテーブルを見つけ出し、画面中心座標（１１３６．５２，８５５．３５）、画素換算焦点距離（２５７３．６５，２５６８．８７）という値を読み出す。これらのカメラパラメータの値は、予めカメラ校正（camera  calibration）を実施しておくことで容易に得ることができる。
【０２４４】
次のステップ６２１において、ステップ６０１，６０２の対応付けの結果と直前ステップ６２０で取得されたカメラパラメータを用いて、画像１の撮影から画像２撮影に至るカメラ運動を計算する。ここでは、８点アルゴリズムと射影変換アルゴリズムと呼ばれる２つの公知手法を組み合わせることによりカメラ運動を計算する手順を説明する。
【０２４５】
まず導入として、カメラ運動の計算に主要な役割を果たすエピポーラ幾何について説明する。ここで、図５２で定義される座標系及び図５３及び図５４に示される幾何学的な関係を説明に使用する。ここで
カメラ座標系（camera  coordinate  system）において
・ｘ軸：画面右向きを正
・ｙ軸：画面下向きを正
・ｚ軸：光軸、対象に向かう向きを正
・原点ｏ：カメラの光学中心
・ｆ：焦点距離
画像座標系（image  coordinate  system）において
・ｕ軸：画面右向きを正
・ｖ軸：画面下向きを正
とし、
Ｒ：画像1撮影時のカメラ座標系を基準にした、画像2撮影時のカメラの回転行列
ｔ：画像1撮影時のカメラ座標系を基準にした、画像2撮影時のカメラの並進ベクトル
とする。
【０２４６】
図３３においては、画像１における画像座標（ｕ，ｖ）と、画像２における画像座標（ｕ′，ｖ′）が対応関係にあることが示されている。
【０２４７】
まず、この２点に対応する以下のユークリッド座標系３次元ベクトルを定義する。
【０２４８】
【数４】
2006098256.tif 000006
ここで、
【０２４９】
【数５】
2006098256.tif 000007
は、カメラ座標系から画像座標系への変換を行うもので、カメラ内部行列（camera  intrinsic  matrix）と呼ばれる。また、各々のダッシュ付きの記号は画像２を撮影したときのカメラ設定に係るもので、意味は同じである。
【０２５０】
これらの行列Ａ、Ａ′を用いて生成されたベクトルｘ、ｘ′は、各々の画像上の点（ｕ，ｖ）、（ｕ′，ｖ′）に対応する視線の向きを、第３成分（ｚ成分）が１になるように正規化して表した３次元ベクトルであり、以後これらを視線ベクトルと呼ぶことにする。これに対し、ｍ、ｍ′は、画像座標に１を第３成分として付け加えたベクトルである。
【０２５１】
このとき、次の３つのベクトルｘ、ｔ、Ｒｘ′（ｘ′を画像１のカメラ座標系基準に変換したベクトル）は同一平面上に存在するので、その関係は次式で表される。
【０２５２】
【数６】
2006098256.tif 000008
但し、
【０２５３】
【数７】
2006098256.tif 000009
であり、［ｔ］×はｔを左辺とするベクトルの外積を表す３×３行列である。
【０２５４】
（８）式は、基本行列Ｅと視線ベクトルｘが確定すれば、ｘ′、ｙ′をパラメータとする直線の方程式となる。これは、画像２において、視線ベクトルｘに対応する視線ベクトルｘ′はこの直線上に存在することを意味する。この直線をエピポーラ線（epipolar  line）という。また、（８）式は３次元座標とは関係無く、２次元座標と並進ベクトルのみを変数とした方程式で、エピポーラ方程式（epipolar  equation）と呼ばれる。したがって、基本行列Ｅと視線ベクトルｘが与えられれば、対応する視線ベクトルｘ′は（８）式で規定されるエピポーラ線上に存在するという幾何学的拘束が与えられる。この幾何学的拘束を、エピポーラ拘束（epipolar  constraint）という。
【０２５５】
８点アルゴリズムは、カメラパラメータと８点またはそれ以上の対応点とを用いて、基本行列Ｅを算出する線形解法である。基本行列Ｅから並進ベクトルｔ、回転行列Ｒを求める方法は、公知文献（徐  剛，辻三郎：『３次元ビジョン』，共立出版（１９９８））に詳しく記載されている。ここでは、８点アルゴリズムによりカメラ運動を計算し、得られたカメラ運動を｛Ｒ８Ｐ，ｔ８Ｐ｝とおく。
【０２５６】
一方、８点アルゴリズムは、平面などの”critical  surface”と呼ばれる形状を持つ対象に対しては精度的に破綻することが知られている（参考文献：O.D.Faugeras，Q-T.Luong：The  Geometry  of  Multiple  Images，MIT  Press(2001)）。そのため、記録制御プログラムは、対象が平面であるときに有効に機能する３次元計算アルゴリズムも同時に実行する。以下、そのアルゴリズムについて説明する。
【０２５７】
一般に、２枚の画像の視線ベクトル間で成立する２次元射影変換から、カメラ運動及び対象平面の方程式（ｎ，ｘ）＋ｄ＝０を計算できることが知られている。ここで、ｎは画像１撮影時のカメラ座標系を基準にした、対象平面の向き（単位ベクトル）、ｄは画像１の撮影時のカメラ座標系を基準にした、対象平面までの距離を示す定数である（図５４参照）。
【０２５８】
今、視線ベクトルｘ、ｘ′との間で成立する２次元射影変換は、変換行列Ｈを用いて次のように記述されるとする。
【０２５９】
【数８】
2006098256.tif 000010
また、変換行列Ｈは、４点またはそれ以上の対応点を用いて計算可能である。このとき、変換行列Ｈと３次元パラメータ｛Ｒ，ｔ，ｎ，ｄ｝との間で次の関係式が成立する。
【０２６０】
【数９】
2006098256.tif 000011
ここで、Ｉは３×３単位行列である。
【０２６１】
変換行列Ｈから３次元パラメータ｛Ｒ，ｔ，ｎ，ｄ｝を求める方法は、公知文献（森尻智昭、小野寺  康浩、金谷  健一：“２画像からの平面の３次元運動の計算”、情報処理学会研究報告９０−ＣＶ−６７（１９９０））に詳しく記載されている。この文献に示されるように、｛Ｒ，ｔ，ｎ，ｄ｝の解は一般に２つ存在するが、大抵の場合、適切な３次元パラメータを判別することができる。
【０２６２】
以上に説明した２次元射影変換を用いたアルゴリズムを実行し、得られたカメラ運動を｛Ｒｐｒｏｊ，ｔｐｒｏｊ｝とおく。
【０２６３】
ステップ６２２において、以上で得られた、８点アルゴリズムにより計算されたカメラ運動｛Ｒ８Ｐ，ｔ８Ｐ｝、２次元射影変換により計算されたカメラ運動｛Ｒｐｒｏｊ，ｔｐｒｏｊ｝のうち、正しいと思われる計算結果を選択する。ここでは、エピポーラ幾何を用いた以下の方法を採用する。
【０２６４】
まず、｛Ｒ８Ｐ，ｔ８Ｐ｝及び｛Ｒｐｒｏｊ，ｔｐｒｏｊ｝を（９）式に代入し、それぞれの基本行列Ｅ８Ｐ、Ｅｐｒｏｊを算出する。
【０２６５】
次に、全ての特徴点及びつなぎ合わせ点の組ｘｉ、ｘｉ’（ｉ＝１，…，Ｎ）に対し、次式に示される「対応点とエピポーラ線との距離の２乗和」を計算する。
【０２６６】
【数１０】
2006098256.tif 000012
Ｅ８Ｐを用いて算出されたＬをＬ８Ｐ、Ｅｐｒｏｊを用いて算出されたＬをＬｐｒｏｊとおき、以下の判定ルール
・Ｌ８Ｐ≦Ｌｐｒｏｊの場合、Ｅ８Ｐを基本行列Ｅとして、Ｒ８Ｐ，ｔ８Ｐ｝を
カメラ運動｛Ｒ，ｔ｝として選択
・Ｌ８Ｐ＞Ｌｐｒｏｊの場合、Ｅｐｒｏｊを基本行列Ｅとして、｛Ｒｐｒｏｊ，ｔｐｒｏｊ｝を
カメラ運動｛Ｒ，ｔ｝として選択
に従い、最終的なカメラ運動を決定する。
【０２６７】
次に図４８のステップ６０４において、ステップ６０２で対応付けがされなかった残りの特徴点についての対応付けを行う。すなわち、画像１の残りの特徴点に対して、画像２の特徴点との対応付けを行う。具体的には、画像１の特徴点ｍに対し、画像２において、対応するエピポーラ線と特徴点ｍ′との距離
【０２６８】
【数１１】
2006098256.tif 000013
が、所定値（例えば１０画素）以内となる組を検出する。ここで、行列Ｆは基礎行列（fundamental  matrix）と呼ばれ、基本行列Ｅとの関係は次式で表される。
【０２６９】
【数１２】
2006098256.tif 000014
ここで、ｍに対して対応するｍ′が複数存在する場合には、テンプレートマッチングを更に行い、（４）式で示される正規化相互相関値Ｃが最も大きいものを対応点として選択する。
【０２７０】
以上の手順により、画像１と画像２のつなぎ合わせ点間及び特徴点間の対応関係が特定される。対応付けが完了すると、記録制御プログラムはその結果を対応点テーブルという形式でＨＤＤ（１２）に保存する。
【０２７１】
図５５は対応点テーブルの一例であり、「；特徴点」というタグの下には、特徴点の番号を示すインデックス番号、画像１の特徴点の画像座標（ｕ，ｖ）、それに対応する画像２の特徴点の画像座標（ｕ’，ｖ’）が順に記載されている。特徴点が無効な場合には（−１，−１）という画像座標が記載される。例えば、図５５のインデックス番号１５の場合、画像２における特徴点が物体による遮蔽や処理エラー等の事由により検出されなかったことを示している。つなぎ合わせ点の画像座標も同様の形式で、「；つなぎ合わせ点」というタグの下に記載される。ここで、インデックスＰｘ（ｘ：１〜３）は１つ前のシーンと共通に撮影されるつなぎ合わせ点、インデックスＮｘ（ｘ：１〜３）は１つ後のシーンと共通に撮影されるつなぎ合わせ点を示す。記録制御プログラムは、このような対応点テーブルをシーン毎に作成する。
【０２７２】
次に、図３４のステップ４１６又は図３８のステップ４６０の処理について説明する。図５６は、この処理の手順を示すフローチャートである。
【０２７３】
ステップ６３０において、前ステップで選択されたカメラ運動{Ｒ，ｔ}を用いて、三角測量の原理に基づき、全ての特徴点及びつなぎ合わせ点の組（ｘｉ、ｘｉ’）に対する３次元座標を計算する。
【０２７４】
理論的には、２つの対応点は３次元空間上の同一点の射影なので、２つの視線ベクトルｘｉ、Ｒｘｉ（両者とも画像を基準とする）を被写体に向かって延長すると、３次元空間上で１点に交わる。このとき、視線ベクトルｘｉのスケールをｒｉ、視線ベクトルｘｉ′のスケールをｒｉ′とおくと、次式が成立する。
【０２７５】
【数１３】
2006098256.tif 000015
【０２７６】
ところが、一般に、図５７のように、ベクトルｘｉを延長した直線とＲｘｉ′を延長した直線は、誤差の影響により交差しない。そこで、これらの２つの直線間の距離が最短となる位置を、求める３次元座標Ｘｉとすればよい。そこで、次の評価関数Ｅを定義する。
【０２７７】
【数１４】
2006098256.tif 000016
【０２７８】
Ｅをそれぞれｒｉ、ｒｉ′について微分したものを０とすると、ｒｉ、ｒｉ′は次のようになる。
【０２７９】
【数１５】
2006098256.tif 000017
【０２８０】
（１９）式、（２０）式を（１８）式に代入し、ＥをベクトルＸｉで微分した式を０にすると、Ｅを最小にするＸｉは、最終的に次式で算出される。
【０２８１】
【数１６】
2006098256.tif 000018
ただし、
【０２８２】
【数１７】
2006098256.tif 000019
である。したがって、（２１）式の１次方程式を解くことによりＸｉを求めることができる。
【０２８３】
なお、以上の計算では、並進ベクトルｔ８Ｐ、ｔｐｒｏｊの実際の長さを求めることができないため、通常は両者の長さを１に正規化しておく。したがって、上記計算により得られる３次元座標、及び２次元射影変換の結果得られるｄ（対象平面までの距離）の値も、並進の大きさが１であるという条件で算出されている。
【０２８４】
ただし、以下の条件（ａ），（ｂ）のいずれか満たされている場合、実際の距離を反映した並進ベクトル及び３次元座標を求めることができる。
（ａ）任意のシーンにおいて、特徴点又はつなぎ合わせ点の中のある１点までの実際の距離が既知である。
（ｂ）任意のシーンにおいて、２点の特徴点又はつなぎ合わせ点間の実際の距離が既知である。
【０２８５】
図４０に示すような長さ基準装置２０６を撮影時に設置して撮影画像データ中に長さ基準点を指定し、これを特徴点などと共に検出するならば、２つの長さ基準点の間隔は既知である。したがって、画像１又は画像２における２つの長さ基準点の３次元座標の計算値と、基準点間の既知の間隔を用いて、並進ベクトルｔ及び全ての３次元座標を実寸ベースに変換することができる。
【０２８６】
以上で計算された３次元座標Ｘｉは、シーンＪの画像１を撮影したカメラ座標系を基準としたものである。シーン番号Ｊの値が２以上の場合（ステップ６３１，ＹＥＳ）、ステップ６３２において、記録制御プログラムは、これらの３次元座標を、既に算出されているシーン番号Ｊ−１までの３次元座標と同一の座標系を基準としたものに変換する。
【０２８７】
具体的には、シーン番号Ｊ−１のインデックス番号Ｎ１〜Ｎ３のつなぎ合わせ点に対応する３次元座標と、シーン番号Ｊのインデックス番号Ｐ１〜Ｐ３のつなぎ合わせ点に対応する３次元座標とを用いて両者の間で成立する相似変換（conformal  transformation）を求める。
【０２８８】
ここで、既に算出されているシーン番号Ｊ−１までの３次元座標系から見たシーン番号Ｊ−１のつなぎ合わせ点の３次元座標を
【０２８９】
【数１８】
2006098256.tif 000020
それに対応するシーン番号Ｊのつなぎ合わせ点の３次元座標を
【０２９０】
【数１９】
2006098256.tif 000021
（ｉ＝１，２，３）とする。また、既に算出されているシーン番号Ｊ−１までの３次元座標系から見たシーン番号Ｊの３次元座標系への回転行列及び並進ベクトルをそれぞれＲＳ、ｔＳとすると、両者の間で以下の相似変換が成立する。
【０２９１】
【数２０】
2006098256.tif 000022
【０２９２】
ここで、ｓは３次元座標系のスケール比である。回転行列ＲＳ、並進ベクトルｔＳはそれぞれ３の自由度を持つ。また、スケール比ｓの自由度は１なので、（２４）式の自由度は７である。一方、対応する３次元座標の組が１つ与えられると３つの方程式が立つので、対応する３次元座標が３組以上あれば（２４）式を解くことができる。
【０２９３】
以上の３次元座標の計算・統合が完了すると、ステップ６３３において、記録制御プログラムは、その結果を３次元座標テーブルという形式でＨＤＤ（１２）に保存する。
【０２９４】
図５８は３次元座標テーブルの一例であり、「；特徴点」というタグの下に、特徴点の番号を示すインデックス番号、特徴点の３次元座標（ｘ，ｙ，ｚ）が順に記載されている。このインデックス番号は、図５５の対応点テーブルのものと一致している。
【０２９５】
ここで、特徴点が無効な場合には、（０，０，０）という画像座標が記載される。例えば、図５８のインデックス番号１５の場合、画像１と画像２の何れかにおいて、特徴点が物体による遮蔽や処理エラー等の事由により検出されなかったことを示している。
【０２９６】
つなぎ合わせ点の画像座標も同様の形式で、「；つなぎ合わせ点」というタグの下に記載される。このインデックスＰｘ（ｘ：１〜３）、Ｎｘ（ｘ：１〜３）の意味も、図５５の対応点テーブルのものと同様である。記録制御プログラムは、この３次元座標テーブルを各シーン毎に作成する。
【０２９７】
なお、図５８には示さなかったが、以上の処理過程において、シーン１の画像１の撮影位置を基準として、各シーンの画像１撮影時の撮像装置２０１の位置や視点などの３次元座標データも求められ、３次元座標テーブルと関連付けて保存される。このデータは、画像上の特徴点及びつなぎ合わせ点の２次元座標データ、対象上の特徴点及びつなぎ合わせ点の３次元座標データは画像処理システム１へ転送され、入力ファイル４に格納される。
【図面の簡単な説明】
【０２９８】
【図１】本発明の実施の形態を説明するためのシステム構成図である。
【図２】システムの実現に用いられるタッチパネル付きＰＣの一例を示すブロック図である。
【図３】対象の分割撮影の説明図である。
【図４】２台の撮像装置を用いる撮影方法の説明図である。
【図５】１台の撮像装置を用いる撮影方法の説明図である。
【図６】画像処理システムにおける処理フローを示すフローチャートである。
【図７】図６中のステップ１００３の処理フローを示すフローチャートである。
【図８】図７中のステップ１１０１における候補面作成手順（１）を説明するためのフローチャートである。
【図９】図７中のステップ１１０１における候補面作成手順（２）を説明するためのフローチャートである。
【図１０】図７中のステップ１１０１における候補面作成手順（３）を説明するためのフローチャートである。
【図１１】図７中のステップ１１０２における要素構築手順（１）を説明するためのフローチャートである。
【図１２】図７中のステップ１１０２における要素構築手順（２）を説明するためのフローチャートである。
【図１３】図７中のステップ１１０２における要素構築手順（３）を説明するためのフローチャートである。
【図１４】図７中のステップ１１０２における要素構築手順（４）を説明するためのフローチャートである。
【図１５】図７中のステップ１１０５の処理を説明するためのフローチャートである。
【図１６】モデル化のための各シーンの入力データの例を示す図である。
【図１７】３次元画像処理システムのインターフェース画面の一例を示す図である。
【図１８】候補面作成手順（１）の説明のための図である。
【図１９】候補面作成時のスラー点除去・再計算の説明図である。
【図２０】候補面作成手順（２）の説明のための図である。
【図２１】候補面作成手順（３）の説明のための図である。
【図２２】要素構築手順（１）の説明のための図である。
【図２３】要素構築手順（２）の説明のための図である。
【図２４】要素構築手順（３）の説明のための図である。
【図２５】要素構築手順（３）の説明のための図である。
【図２６】要素構築手順（４）の説明のための図である。
【図２７】モデル形状確定処理の説明図である。
【図２８】テクスチャー合成の説明図である。
【図２９】２シーンのモデルの統合処理の説明図である。
【図３０】撮影システムのブロック図である。
【図３１】撮像装置として用いられるデジタルスチルカメラのブロック図である。
【図３２】特徴点用スポット光照射装置の模式図である。
【図３３】つなぎ合わせ点用スポット光照射装置の模式図である。
【図３４】１台の撮像装置を用いる場合の撮影システムの動作を説明するためのフローチャートである。
【図３５】表示画面の一例を示す図である。
【図３６】画像１撮影前と画像１撮影後における画像１撮影ボタン、画像２撮影ボタン及び終了ボタンの状態を示す図である。
【図３７】警告画面の一例を示す図である。
【図３８】２台の撮像装置を用いる場合の撮影システムの動作を説明するためのフローチャートである。
【図３９】表示画面の一例を示す図である。
【図４０】撮影システムの物理的構成の一例を示す概略斜視図である。
【図４１】撮影システムの不使用時の様子を示す概略斜視図である。
【図４２】点検出処理の説明用の図である。
【図４３】点検出処理の説明用の図である。
【図４４】点検出処理の説明用の図である。
【図４５】点検出処理の説明用の図である。
【図４６】点検出処理の説明用の図である。
【図４７】点検出処理の説明用の図である。
【図４８】対応付け処理のフローチャートである。
【図４９】図４８中のステップ６０２のフローチャートである。
【図５０】図４８中のステップ６０３のフローチャートである。
【図５１】カメラパラメータテーブルの一例を示す図である。
【図５２】カメラ座標系及び画像座標系を示す図である。
【図５３】画像１と画像２の幾何学的関係を示す図である。
【図５４】画像１と画像２の幾何学的関係を示す図である。
【図５５】対応点テーブルの一例を示す図である。
【図５６】図３４中のステップ４１６又は図３８中のステップ４６０のフローチャートである。
【図５７】３次元座標の計算方法の説明図である。
【図５８】３次元座標テーブルの一例を示す図である。
【符号の説明】
【０２９９】
１    画像処理システム
２    撮影システム
３    入力ファイル
４    処理手段
５    ＧＵＩ手段
６    出力ファイル
１４    タッチパネル
１６    液晶ディスプレイ装置
１００  対象
１０１    撮影エリア
２０１，２０２    撮像装置
２０３    特徴点用スポット光照射装置
２０４，２０５    つなぎ合わせ点用スポット光照射装置
３００    制御装置
【図１】
2006098256.tif 000023
【図２】
2006098256.tif 000024
【図３】
2006098256.tif 000025
【図４】
2006098256.tif 000026
【図５】
2006098256.tif 000027
【図６】
2006098256.tif 000028
【図７】
2006098256.tif 000029
【図８】
2006098256.tif 000030
【図９】
2006098256.tif 000031
【図１０】
2006098256.tif 000032
【図１１】
2006098256.tif 000033
【図１２】
2006098256.tif 000034
【図１３】
2006098256.tif 000035
【図１４】
2006098256.tif 000036
【図１５】
2006098256.tif 000037
【図１６】
2006098256.tif 000038
【図１７】
2006098256.tif 000039
【図１８】
2006098256.tif 000040
【図１９】
2006098256.tif 000041
【図２０】
2006098256.tif 000042
【図２１】
2006098256.tif 000043
【図２２】
2006098256.tif 000044
【図２３】
2006098256.tif 000045
【図２４】
2006098256.tif 000046
【図２５】
2006098256.tif 000047
【図２６】
2006098256.tif 000048
【図２７】
2006098256.tif 000049
【図２８】
2006098256.tif 000050
【図２９】
2006098256.tif 000051
【図３０】
2006098256.tif 000052
【図３１】
2006098256.tif 000053
【図３２】
2006098256.tif 000054
【図３３】
2006098256.tif 000055
【図３４】
2006098256.tif 000056
【図３５】
2006098256.tif 000057
【図３６】
2006098256.tif 000058
【図３７】
2006098256.tif 000059
【図３８】
2006098256.tif 000060
【図３９】
2006098256.tif 000061
【図４０】
2006098256.tif 000062
【図４１】
2006098256.tif 000063
【図４２】
2006098256.tif 000064
【図４３】
2006098256.tif 000065
【図４４】
2006098256.tif 000066
【図４５】
2006098256.tif 000067
【図４６】
2006098256.tif 000068
【図４７】
2006098256.tif 000069
【図４８】
2006098256.tif 000070
【図４９】
2006098256.tif 000071
【図５０】
2006098256.tif 000072
【図５１】
2006098256.tif 000073
【図５２】
2006098256.tif 000074
【図５３】
2006098256.tif 000075
【図５４】
2006098256.tif 000076
【図５５】
2006098256.tif 000077
【図５６】
2006098256.tif 000078
【図５７】
2006098256.tif 000079
【図５８】
2006098256.tif 000080