(57)【要約】【課題】３次元点群データと画像データから対象物の３次元モデルを容易に構築することができる３次元モデル構築システムを提供する。【解決手段】画像データと３次元点群データとが関係付けられて記憶されており、これらのデータから３次元モデルを構築する３次元モデル構築システムであって、３次元モデルデータを記憶するデータファイルと、前記画像データ及び３次元点群データを画面に表示する表示手段と、前記画像データが表示された画面上において多角形の領域を指定する指定手段と、前記多角形領域内に含まれる３次元点群データを抽出する抽出手段と、抽出した前記３次元点群データに基づいて、前記多角形領域の３次元座標値を求めることにより面オブジェクトを特定して、前記データファイルへ書き込む面オブジェクト生成手段とを備える。【選択図】    図１
2004348575.tif 000002
【特許請求の範囲】
【請求項１】
画像データと３次元点群データとが関係付けられて記憶されており、これらのデータから３次元モデルを構築する３次元モデル構築システムであって、
３次元モデルデータを記憶するデータファイルと、
前記画像データ及び３次元点群データを画面に表示する表示手段と、
前記画像データが表示された画面上において多角形の領域を指定する指定手段と、
前記多角形領域内に含まれる３次元点群データを抽出する抽出手段と、
抽出した前記３次元点群データに基づいて、前記多角形領域の３次元座標値を求めることにより面オブジェクトを特定して、前記データファイルへ書き込む面オブジェクト生成手段と
を備えたことを特徴とする３次元モデル構築システム。
【請求項２】
前記３次元モデル構築システムは、
前記画像データが表示された画面上において線分の端点または屈曲点を指定する手段と、
前記３次元点群データに基づいて、前記線分の３次元座標値を求めることにより線オブジェクトを特定して、前記データファイルへ書き込む線オブジェクト生成手段と
をさらに備えたことを特徴とする請求項１に記載の３次元モデル構築システム。
【請求項３】
前記３次元モデル構築システムは、
前記画像データが表示された画面上において特徴点を指定する手段と、
前記３次元点群データに基づいて、前記特徴点の３次元座標値を求めることにより点オブジェクトを特定して、前記データファイルへ書き込む点オブジェクト生成手段と
をさらに備えたことを特徴とする請求項１または２に記載の３次元モデル構築システム。
【請求項４】
前記面オブジェクト生成手段は、前記多角形領域内の画像データを抽出し、該画像データをテクスチャとして前記データファイルへ書き込むことを特徴とする請求項１ないし３のいずれかに記載の３次元モデル構築システム。
【請求項５】
前記３次元モデル構築システムは、
前記画像データに基づいて、他の計測手段により生成された３次元多角形面データを補完するデータ補完手段をさらに備えたことを特徴とする請求項１ないし４のいずれかに記載の３次元モデル構築システム。
【請求項６】
画像データと３次元点群データとが関係付けられて記憶されており、これらのデータから３次元モデルを構築し、得られた３次元モデルデータをデータファイルに書き込む３次元モデル構築プログラムであって、
前記画像データ及び３次元点群データを画面に表示する表示処理と、
前記画像データが表示された画面上において多角形の領域を指定する指定処理と、
前記多角形領域内に含まれる３次元点群データを抽出する抽出処理と、
抽出した前記３次元点群データに基づいて、前記多角形領域の３次元座標値を求めることにより面オブジェクトを特定して、前記データファイルへ書き込む面オブジェクト生成処理と
をコンピュータに行わせることを特徴とする３次元モデル構築プログラム。
【請求項７】
前記３次元モデル構築プログラムは、
前記画像データが表示された画面上において線分の端点または屈曲点を指定する処理と、
前記３次元点群データに基づいて、前記線分の３次元座標値を求めることにより線オブジェクトを特定して、前記データファイルへ書き込む線オブジェクト生成処理と
をさらにコンピュータに行わせることを特徴とする請求項６に記載の３次元モデル構築プログラム。
【請求項８】
前記３次元モデル構築プログラムは、
前記画像データが表示された画面上において特徴点を指定する処理と、
前記３次元点群データに基づいて、前記特徴点の３次元座標値を求めることにより点オブジェクトを特定して、前記データファイルへ書き込む点オブジェクト生成処理と
をさらにコンピュータに行わせることを特徴とする請求項６または７に記載の３次元モデル構築プログラム。
【請求項９】
前記面オブジェクト生成処理は、前記多角形領域内の画像データを抽出し、該画像データをテクスチャとして前記データファイルへ書き込むことを特徴とする請求項６ないし８のいずれかに記載の３次元モデル構築プログラム。
【請求項１０】
前記３次元モデル構築プログラムは、
前記画像データに基づいて、他の計測手段により生成された３次元多角形面データを補完するデータ補完処理をさらにコンピュータに行わせることを特徴とする請求項６ないし９のいずれかに記載の３次元モデル構築プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、レーザスキャナなどにより取得した３次元点群データと画像データから対象物の３次元モデルを構築する３次元モデル構築システム及び３次元モデル構築プログラムに関する。
【０００２】
【従来の技術】
建造物や道路、看板、様々な施設からなる都市空間に代表されるように、実世界は多様で複雑な対象物からなっている。こうした対象物を３次元モデルとして計測して利用しようとする分野はコンピュータグラフィックスをはじめとして数多い。しかし多くの分野で、３次元モデルに投入できる費用は限られているため、３次元形状を効率的に計測し、モデル化する手法が必要不可欠である。都市に関していえば、古典的には航空写真測量などの技術を利用して、上空から都市の３次元データを取得する方法は実務的にも多く行われてきた。これは広域を効率よくカバーするためには、優れた方法である。しかし、今後の３次元空間データの利用では、地上にいる歩行者やドライバーの視点からの詳細な３次元表現が求められるケースも非常に多くなることが予測され、建物側面、地下空間、更に看板、信号機などの目印となる複雑な対象物をより正確にモデル化する事が必要になる。
【０００３】
一方、地上からステレオ写真や動画像などの技術によって３次元情報を獲得して、目印となる看板や標識、電柱や道路の白線を抽出するシステムはこれまでも開発されてきた（例えば、特許文献１、２）。また近年アイセーフレーザを用いるレーザレンジスキャナが低価格化し、市街地、大型屋内環境、遺跡などの３次元計測システムに適用されつつある。レーザレンジスキャナはオブジェクトの形状を点群データ（３次元点群データ）として直接かつ高精度に取得できるようになっているため、レーザレンジスキャナを利用して比較的スケールの大きい、形状の単純なオブジェクトのモデリングに適用されている（例えば、特許文献３）。
【０００４】
【特許文献１】
特開２００２−０８１９４１号公報
【特許文献２】
特開平０９−３１９８９６号公報
【特許文献３】
特開２００３−０２１５０７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、点群データを使用してモデリングを行うには空間解像度が限られるため、点群から面を生成し、３次元モデルを構築する過程の自動化は必ずしも容易ではない。さらに画像や点群データのなかから対象物を自動的に判読する処理を行うのは非常に困難である。そのため、こうした全自動を念頭においたモデル作成技術は、自動化作業が容易に行える対象に対しては大変効率化効果は大きいものの、ほとんどの場合においては簡単なものと複雑なものが混在するため、適用範囲はごく一部に限られているという問題がある。その結果、残された多くの対象物や、自動化が失敗した対象物を手作業でモデル化せざるを得ないため、自動化による効率化効果がほとんど発揮できないケースが大半である。このため、人間の作業を簡略化・効率化しつつ、人間の持つ優れた対象物識別・分類能力を生かす方法が望まれている。
【０００６】
本発明は、このような事情に鑑みてなされたもので、３次元点群データと画像データから対象物の３次元モデルを容易に構築することができる３次元モデル構築システム及び３次元モデル構築プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、画像データと３次元点群データとが関係付けられて記憶されており、これらのデータから３次元モデルを構築する３次元モデル構築システムであって、３次元モデルデータを記憶するデータファイルと、前記画像データ及び３次元点群データを画面に表示する表示手段と、前記画像データが表示された画面上において多角形の領域を指定する指定手段と、前記多角形領域内に含まれる３次元点群データを抽出する抽出手段と、抽出した前記３次元点群データに基づいて、前記多角形領域の３次元座標値を求めることにより面オブジェクトを特定して、前記データファイルへ書き込む面オブジェクト生成手段とを備えたことを特徴とする。
【０００８】
請求項２に記載の発明は、前記３次元モデル構築システムは、前記画像データが表示された画面上において線分の端点または屈曲点を指定する手段と、前記３次元点群データに基づいて、前記線分の３次元座標値を求めることにより線オブジェクトを特定して、前記データファイルへ書き込む線オブジェクト生成手段と
をさらに備えたことを特徴とする。
【０００９】
請求項３に記載の発明は、前記３次元モデル構築システムは、前記画像データが表示された画面上において特徴点を指定する手段と、前記３次元点群データに基づいて、前記特徴点の３次元座標値を求めることにより点オブジェクトを特定して、前記データファイルへ書き込む点オブジェクト生成手段とをさらに備えたことを特徴とする。
【００１０】
請求項４に記載の発明は、前記面オブジェクト生成手段は、前記多角形領域内の画像データを抽出し、該画像データをテクスチャとして前記データファイルへ書き込むことを特徴とする。
【００１１】
請求項５に記載の発明は、前記３次元モデル構築システムは、前記画像データに基づいて、他の計測手段により生成された３次元多角形面データを補完するデータ補完手段をさらに備えたことを特徴とする。
【００１２】
請求項６に記載の発明は、画像データと３次元点群データとが関係付けられて記憶されており、これらのデータから３次元モデルを構築し、得られた３次元モデルデータをデータファイルに書き込む３次元モデル構築プログラムであって、前記画像データ及び３次元点群データを画面に表示する表示処理と、前記画像データが表示された画面上において多角形の領域を指定する指定処理と、前記多角形領域内に含まれる３次元点群データを抽出する抽出処理と、抽出した前記３次元点群データに基づいて、前記多角形領域の３次元座標値を求めることにより面オブジェクトを特定して、前記データファイルへ書き込む面オブジェクト生成処理とをコンピュータに行わせることを特徴とする。
【００１３】
請求項７に記載の発明は、前記３次元モデル構築プログラムは、前記画像データが表示された画面上において線分の端点または屈曲点を指定する処理と、前記３次元点群データに基づいて、前記線分の３次元座標値を求めることにより線オブジェクトを特定して、前記データファイルへ書き込む線オブジェクト生成処理とをさらにコンピュータに行わせることを特徴とする。
【００１４】
請求項８に記載の発明は、前記３次元モデル構築プログラムは、前記画像データが表示された画面上において特徴点を指定する処理と、前記３次元点群データに基づいて、前記特徴点の３次元座標値を求めることにより点オブジェクトを特定して、前記データファイルへ書き込む点オブジェクト生成処理とをさらにコンピュータに行わせることを特徴とする。
【００１５】
請求項９に記載の発明は、前記面オブジェクト生成処理は、前記多角形領域内の画像データを抽出し、該画像データをテクスチャとして前記データファイルへ書き込むことを特徴とする。
【００１６】
請求項１０に記載の発明は、前記３次元モデル構築プログラムは、前記画像データに基づいて、他の計測手段により生成された３次元多角形面データを補完するデータ補完処理をさらにコンピュータに行わせることを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の一実施形態による３次元モデル構築システムを図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ラインＣＣＤカメラを使用して取得したモデル化対象物体の画像データが格納された画像データファイルである。符号２は、レーザレンジスキャナを使用して取得したモデル化対象物体の測距データを格納した測距データファイルである。符号３は、画像データ及び測距データを取得したときのラインＣＣＤカメラとレーザレンジスキャナの位置及び姿勢のデータを格納した位置姿勢データファイルである。符号４は、位置姿勢データに基づいて、測距データを地球座標系の座標値に変換するとともに、画像データと地球座標系の座標値との関連付けることにより取得したデータを統合するデータ統合部である。符号５は、データ統合部４により得られたモデル化対象物体の測定点群を地球座標系に変換したデータ（ここでは、３次元点群データと称する）を格納する３次元点群データファイルである。符号６は、データ統合部４により画像データファイル１に格納されている画像データを測距データファイル２に格納されている測距データと関連付けるともに、位置姿勢データファイル３に格納されている位置姿勢データに基づいて補正した画像データ（ここでは、統合画像データと称する）が格納する統合画像データファイルである。
【００１８】
符号７は、３次元点群データ及び統合画像データを使用して、３次元モデルデータを生成するモデル生成部である。符号８は、生成した３次元モデルデータを格納する３次元モデルデータファイルである。符号９は、キーボードやマウスで構成される入力部である。符号１０は、画面表示や画面上の位置指定の処理を行う画面処理部である。符号１１は、画像表示が可能なディスプレイである。符号１２は、３次元モデルを構成する面オブジェクトを生成する面オブジェクト生成部である。符号１３は、３次元モデルを構成する線オブジェクトを生成する線オブジェクト生成部である。符号１４は、３次元モデルを構成する点オブジェクトを生成する点オブジェクト生成部である。符号１５は、統合画像データに基づいて、データ補完を行うデータ補完部である。符号１６は、統合画像データ及び３次元点群データを統合画像データファイル６、３次元点群データファイル５から読み出すデータ読み込み部である。符号１７は、目印となる看板等のデータが予め記憶されたロゴデータベースである。符号１８は、他の計測手段によって生成された３次元多角形面データが記憶された３次元多角形面データファイルである。
【００１９】
次に、画像データファイル１、測距データファイル２及び位置姿勢データファイル３に格納される各データの取得方法について簡単に説明する。データの取得は、３台のレーザレンジスキャナと６台のラインＣＣＤカメラと航法装置（ＧＰＳ／ＩＮＳ／Ｏｄｏｍｅｔｅｒ）を計測車両のルーフに取り付け、計測車両が走行することにより、沿道の建造物等の計測データを取得することにより行う。ここで使用するレーザレンジスキャナは、シングルスキャン方式であり、計測レートが２０Ｈｚ（１秒間２０回転）、１回転で計測範囲３００度の間に距離範囲が７０ｍ以内の４８０個のレーザレンジポイントを計測できる。ラインＣＣＤカメラは、８ｍｍ、Ｆ４の魚眼レンズを装着し、計測レートは約８０Ｈｚ（１秒間８０ライン）。各ライン画像は１８０度の間に２０４８点のＲＧＢピクセルを計測できる。各レーザレンジスキャナとラインＣＣＤカメラの計測面をそれぞれ計測車の進行方向と４５、９０、１３５度の垂直面に配置し、計測車両が走行しながら沿道物の断面図を３方向から計測し、また航法装置が出力した位置姿勢と時刻データ、又は各センサ間の相対標定要素によって各地点を計測したレーザレンジデータとラインＣＣＤ画像を地球座標系に統合する。図７に３台のレーザレンジスキャナと６台のラインＣＣＤカメラと航法装置（ＧＰＳ／ＩＮＳ／Ｏｄｏｍｅｔｅｒ）を計測車両のルーフに取り付けた場合の配置図を示す。図１に示す画像データファイル１、測距データファイル２及び位置姿勢データファイル３に格納される各データの取得方法については、特開２００２−０３１５２８号公報に記載されているデータ取得方法を適用することができるので、詳細な動作等の説明は省略する。
【００２０】
次に、画像データファイル１、測距データファイル２及び位置姿勢データファイル３の各ファイルに格納されているデータから３次元点群データファイル５及び統合画像データファイル６を生成する動作を説明する。まず、データ統合部４は、位置姿勢データを参照して、画像データの歪みを補正する。計測車両にラインＣＣＤを搭載して計測した画像データは、車両が走行することにより２次元の画像を取得するものであるが、計測車両のロール、ピッチ、バウンド（上下振動）、さらには、走行速度の変化によって、歪んだ画像データとなってしまう。そこで、各画素データに対して、位置姿勢データに基づく補正を行うことによってこの歪みを補正することが可能となる。続いて、データ統合部４は、位置姿勢データを参照して、３台のレーザレンジスキャナで計測した各測定点の測距データのすべてを１つの地球座標系の座標値に変換して、３次元点群データとする。
【００２１】
次に、データ統合部４は、各測距データ（３次元点群データ）を同方向の計測面で撮影した画像データに投影する。例えば、２番のレーザレンジスキャンナが計測して得られた測距データ（３次元点群データ）を２番と５番のラインＣＣＤ画像に投影する。そして、各レーザレンジスキャンラインｉ（１回転のデータ）に対して、２番と５番のラインＣＣＤの画像データから最も一致する計側面で撮影した画像データｊ２とｊ５を探す。次に、各レーザレンジスキャンラインｉにある各レーザレンジポイントｓに対して、ｊ２とｊ５にある計測方向の最も一致するピクセルｔを探し、レーザレンジポイントｓをピクセルｔに投影すると、測距データと画像データが関連付けられ、その結果を統合画像データファイル６、３次元点群データファイル５へ格納する。
【００２２】
このデータ統合処理によって、３次元点群データファイル５には、地球座標系における測定点の座標値が格納され、この測定点と画像データが関連付けられ統合画像データファイル６に格納されることとなる。
なお、３次元点群データファイル５及び統合画像データファイル６の生成方法は、前述した方法に限らず他の方法で生成したデータであってもよい。
また、ＣＣＤ画像に基づいてその他の計測手段により生成された３次元多角形面データファイル１８を補完する場合には、データ統合部４は、３次元多角形面データをＣＣＤ画像データに投影する。まず、３次元多角形面データｆの中心点ｐに対して、各ラインＣＣＤ画像データから撮影方向の最も一致するピクセルｔを探す、ピクセルｔに関連付けられた測距データｓはピクセルｔの撮影中心からｐまでの距離ｄと一致するかどうかを検証する。投影の正当性が検証されたラインＣＣＤ画像データから距離ｄの最も短い且つ平面ｆへの入射角の最も大きいラインＣＣＤ画像データｊを３次元多角形面データｆと関連付けられる。次に、３次元多角形面データｆの各頂点に対して、ラインＣＣＤ画像データｊから撮影方向の最も一致するピクセルを探し、関連付ける。その結果を統合画像データファイル６へ格納する。
なお、その他の計測手段により生成された３次元多角形面データファイル１８と画像データファイル１の統合、また統合画像データファイル６の生成方法は、前述した方法に限らず他の方法で生成したデータであってもよい。
【００２３】
ここで、本発明の方法によって生成する３次元モデルについて説明する。本発明によって生成する３次元モデルは、多角形の平面で表現する面オブジェクト、線分で表現する線オブジェクト、特徴点で表現する点オブジェクトの組み合わせで構成されるものであり、面オブジェクトに関しては、画像データをテクスチャとして用いてより現実感を得るものである。
【００２４】
次に、図１に示すモデル生成部７が、３次元点群データファイル５及び統合画像データファイル６に格納されているデータから３次元モデルを生成する動作を説明する。ここでは、動作原理の説明を簡単にするために、図２、図３を例にして説明する。図２は、統合画像データファイル６に格納される画像データの一例を示す図である。図３は、図２に示す計測位置にレーザレンジスキャナを設置して、図２に撮像されている建造物を計測したレーザレンジデータを地球座標系においてプロットし、視点位置が計測位置より高くなるように視点位置を変更する座標変換を施した状態を表示部１１に表示した例である。図２の画像データは、建造物の状態を分かり易くするために、実際の画像データに比べて視点位置が高い位置になった状態の画像となっているが、実際には、図２に示す計測位置にラインＣＣＤカメラを設置し、レーザレンジスキャナがスキャンした計測範囲を撮像した画像が統合画像データファイル６には格納されている。
【００２５】
次に、各オブジェクトを生成する動作を説明する。まず、オペレータが入力部９から３次元モデル生成の指示を入力すると、モデル生成部７は、データ読み込み部１６に対して、画像データと３次元点群データを読み出すように指示する。これを受けて、データ読み込み部１６は、図２に示す画像データと図３に示す３次元点群データを読み出し、モデル生成部７へ受け渡す。そして、モデル生成部７は、この受け取ったデータを画面処理部１０へ出力する。このとき、画面処理部１０は、モデル生成部７より受け取った３次元点群データに対して、任意の視点位置変換を施した後に、表示部１１へ出力することによりデータの表示を行う。この操作によって、表示部１１には、図２、図３に示す画像が同時に表示されたこととなる。
【００２６】
次に、オペレータは、面オブジェクトの生成を入力部９より指定する。これを受けて、モデル生成部７は、多角形の頂点を指定するようにメッセージを表示部１１へ表示する。続いて、オペレータは画像データが表示されている画面（図２）上で面オブジェクトの範囲を示す多角形の頂点位置を入力部９のマウスを使用して指定する。ここでは、図４に示す符号Ａ，Ｂ，Ｃ，Ｄを順に指定したものとする。画面処理部１０は、この画面上の座標値を読み取り、モデル生成部７へ通知する。そして、モデル生成部７は、４つの座標値を面オブジェクト生成部１２へ受け渡す。これを受けて、面オブジェクト生成部１２は、頂点の座標値で特定される多角形領域内に投影されたレーザレンジポイントを抽出し、空間平面を当てはめる。図５に、頂点の座標値で特定される多角形領域内に投影されたレーザレンジポイントを抽出し、空間平面を当てはめた時の画面表示例を示す。
【００２７】
次に、面オブジェクト生成部１２は、該当多角形領域内にある画像データのピクセルをその投影方向線に沿って、空間平面に投影し、該当する平面のテクスチャを画像データから切り出す。続いて、該当多角形領域の頂点が対応する画像データのピクセルの投影方向線に沿って、平面へ投影し、空間平面多角形領域の頂点を求め、モデル作成部７へ受け渡す。
【００２８】
次に、モデル生成部７は、切り出したテクスチャー画像と既存のロゴデータベース１７に記憶されているデータとをマッチングして、ショップ看板や道路交通標識などの種類を見つけ、該当面オブジェクトに属性を付与する。マッチングが失敗した場合、モデル生成部７は、入力部９より入力された属性をこの面オブジェクトに付与する。そして、モデル生成部７は、ここで得られた面オブジェクトを３次元モデルデータファイル８へ書き込む。これにより面オブジェクトが３次元モデルデータファイル８へ書き込まれたことになり、この３次元モデルデータを表示すると図６の符号Ｐ１で示す面オブジェクトが表示される。この面オブジェクトは、単に多角形を表示しているだけでなく、画像データをテクスチャとして用いている。
【００２９】
なお、都市空間にある平面的なオブジェクトの大半はほぼ垂直かほぼ水平の２種類に分けられるため、特にスケールの小さい、また周囲に歩行者、通行車両、樹木、電柱、電線などのデータが混在している平面の当てはめについては、次のように求めるようにしてもよい。まず、ほぼ垂直な面オブジェクトに対して、抽出されたレーザレンジポイントをあるグリッド化した水平面に投影して、Ｚ−ｉｍａｇｅと呼ぶ画像を作る。Ｚ−ｉｍａｇｅにあるピクセルの値は該当するグリッドに投影されたレーザレンジポイント数である。Ｚ−ｉｍａｇｅにあるラインセグメントは空間上の垂直平面を表す。こうした過程で、垂直方向でポイント数の累積の多い垂直平面を強く強調し、その他のオブジェクトを弱める。次に、Ｚ−ｉｍａｇｅから最も鮮明且つ長いラインセグメントを抽出すし、ラインセグメントの周囲に投影されたレーザレンジポイントで、最小二乗法によって平面パラメータを求める。また、ほぼ水平な面オブジェクトに対して、抽出されたレーザレンジポイントの標高値によってヒストグラムを作って、最もピークになった標高値を求め、該当標高値を中心にある許容範囲内の標高値を持つレーザレンジポイントを抽出して、最小二乗法によって平面パラメータを求める。
なお、ここでは、面として平面のみを対象として説明したが、同様の処理を適用することにより、円柱や球等の曲面のオブジェクトを生成するようにしてもよい。
【００３０】
次に、オペレータは、線オブジェクトの生成を入力部９より指定する。これを受けて、モデル生成部７は、線オブジェクトの屈曲点または端点を指定するようにメッセージを表示部１１へ表示する。続いて、オペレータは画像データが表示されている画面（図２）上で線オブジェクトの屈曲点または端点位置を入力部９のマウスを使用して指定する。ここでは、図４の符号Ｊ、Ｋの位置（外灯）が指定されたものとする。これを受けて、画面処理部１０は、この画面上の座標値を読み取り、モデル生成部７へ通知する。そして、モデル生成部７は、指定された座標値を線オブジェクト生成部１３へ受け渡す。これを受けて、線オブジェクト生成部１３は、屈曲点または端点が対応する画像データのピクセルの周囲の所定許容範囲内に投影されたレーザレンジポイント（３次元点群データ）の中心点を取り、空間上の線オブジェクトの屈曲点または端点とする。ただし、こうした過程では、歩行者、通行車両、樹木、データ統合時に生じた誤差、また太陽直射などによる計測誤差により、間違ったポイントを抽出する可能性がある。そこで、次のような補助手順によって、雑多なデータが混在している環境でも確実にポイント抽出を行う。
【００３１】
線オブジェクト生成部１３は、指定された複数の線分の周囲に、所定許容範囲内に投影されたレーザレンジポイント（３次元点群データ）を抽出し、最小二乗法によって空間平面を求め、投影面とする。そして、得られた投影面をグリッド（格子）化し、抽出されたレーザレンジポイント（３次元点群データ）を投影面に投影して、ｈｙｂｒｉｄ  Ｚ−ｉｍａｇｅと呼ぶ画像を生成する。そこで、ｈｙｂｒｉｄ  Ｚ−ｉｍａｇｅにあるピクセルの値は対応するグリッドに投影されたレーザレンジポイント（３次元点群データ）の数である。こうした過程によって３次元空間にある複数の線分の形状が最大限で２次元画像に表現することができる。続いて、先に求めた屈曲点または端点をｈｙｂｒｉｄ  Ｚ−ｉｍａｇｅに投影して、レーザレンジポイント（３次元点群データ）で表す線分の形状と一致するかどうかを確認する。そして、一致しない場合、オペレータはｈｙｂｒｉｄＺ−ｉｍａｇｅ上で投影されたポリラインを修正する。修正された線分の屈曲点または端点に対して、対応するｈｙｂｒｉｄ  Ｚ−ｉｍａｇｅに投影されたレーザレンジポイント（３次元点群データ）の中心点を求めて、空間上の屈曲点または端点とする。この屈曲点または端点で特定される複数の線分が線オブジェクトである。
【００３２】
次に、線オブジェクト生成部１３は、この線オブジェクトのデータをモデル生成部７へ受け渡す。続いて、モデル生成部７は、この線オブジェクトとロゴデータベース７に記憶されているデータとマッチングして、路上灯や歩道界などを種類分けして、該当線オブジェクトに属性を付与する。また、マッチングが失敗した際には、入力部９より入力した属性を付与する。そして、モデル生成部７は、ここで得られた線オブジェクトを３次元モデルデータファイル８へ書き込む。これにより線オブジェクトが３次元モデルデータファイル８へ書き込まれたことになり、この３次元モデルデータを表示すると図６の符号Ｌ１で示す線オブジェクトが表示される。また、同様に、図４において、符号Ｇ、Ｈ、Ｉと符号Ｅ、Ｆと指定した場合には、それぞれ図６の符号Ｌ２、Ｌ３で示す線オブジェクトが生成されることになる。
なお、ここでは、直線を例にして説明したが、短い線オブジェクトの集まりによって、円弧等の曲線のオブジェクトを生成するようにしてもよい。
【００３３】
次に、オペレータは、点オブジェクトの生成を入力部９より指定する。これを受けて、モデル生成部７は、特徴点の位置を指定するようにメッセージを表示部１１へ表示する。続いて、オペレータは画像データが表示されている画面（図２）上で特徴点の位置を入力部９のマウスを使用して指定する。これを受けて、画面処理部１０は、この画面上の座標値を読み取り、モデル生成部７へ通知する。そして、モデル生成部７は、指定された座標値を点オブジェクト生成部１４へ受け渡す。これを受けて、点オブジェクト生成部１３は、この座標値が対応する画像データのピクセルの周囲に、所定許容範囲内に投影されたレーザレンジポイントの中心点を取って、点オブジェクトの空間座標値とする。点オブジェクト生成部１４は、この座標値をモデル生成部７へ受け渡す。これを受けて、モデル生成部７は、この空間座標値を３次元モデルデータファイル８へ書き込む。
【００３４】
次に、その他の計測手段による生成された３次元多角形面データファイル１８に記憶されている３次元多角形面データの補完を行う動作を説明する。測距データの計測エラーや既存の３次元モデルデータ製作手段の制限などによって、その他の計測手段により生成された３次元多角形面データファイル１８に記憶されている３次元多角形面データには誤差が含まれていることがあり、テクスチャデータがなく現実感を欠くことがあるため、ラインＣＣＤ画像データに基づいて補完する。まず、入力部９よりデータの補完の指示を受けると、モデル生成部７は、データ補完部１５に対して、データ補完の指示を出す。これを受けて、データ補完部１５は、その他の計測手段により生成された３次元モデルデータを画像データ上に投影して、それによって描いたオブジェクト形状が画像データ上に撮影されたものと一致するか否かを確認する。
【００３５】
次に、オペレータは画像データ上に投影された一致しない多角形の頂点に対して、正しい投影場所を画面上においてマウスで指定する。そして、対応する画像データのピクセルの撮影方向線と該当する頂点が属する多角形の空間平面との交点を求めることによって、頂点に対して新しい空間座標値を与える。続いて、投影された多角形に囲まれた画像データのピクセルを撮影方向線に沿って、該当多角形の空間平面に投影し、リサンプリングによって該当多角形のテクスチャー画像を生成する。
このようにして、その他の計測手段により生成された３次元多角形面データファイル１８に記憶されている３次元多角形面データの誤差が大きい場合においても画像データに基づいて補完することが可能となる。また、テクスチャーデータの生成によってより現実感を得ることも可能となる。
【００３６】
以上の動作を繰り返すことによって、面、線、点からなるオブジェクトの集合として、３次元モデルデータが生成されることとなる。図８、図９に、実際に市街地を計測車両で走行し、取得したデータに基づいて３次元モデルデータを生成し、画面表示した例を示す。本発明によれば、図８に示すように、建造物の表面は、ＣＣＤ画像をそのままテクスチャとして用いたため、現実感のある３次元モデルデータを作成することができる。また、平面、線等のオブジェクトを３次元点群データに基づいて位置関係を求めるようにしたため、正確な３次元モデルデータとすることが可能となる。また、図９に示すように、市街地内の目印となる看板などもＣＣＤ画像をそのまま用いることが可能となり、標識や信号さらには横断歩道等もリアルに表現することができるため、自動車に用いるナビゲーションシステムの表示データとして最適なデータを生成することが実現できる。
【００３７】
従来は、レーザスキャナなどによる距離画像や、ＣＣＤカメラなどによる多重立体視画像などを用いてさまざまな対象物の３次元計測を行い、３次元モデルを自動構築する開発事例は数多いが、対象物の形状や構造が複雑な場合、完全な自動構築はきわめて困難であり、結局手作業が多くなり、結局自動化システムを導入してもそれほどの省力化効果が得られないことが多かった。
【００３８】
しかし、本発明では、３次元点群データとＣＣＤ画像を重ね合わせたものを用意し、人間にとって判読しやすいＣＣＤ画像上で対象物の輪郭線をなぞるだけで、その対象物の３次元モデルを構築することを可能とし、手作業の大幅な効率向上を図ることができる。特に入力された輪郭線に対応する３次元点群データを切り出し、そこに面（サーフェス）や線分、点などを適宜あてはめることで、３次元モデルを構築するようにしたため、たとえば屋外画像に現れる建物や道路だけではなく、店舗の看板、信号機、道路交通標識、信号、歩道、ベンチなど、複雑な形状を含む幅広い３次元空間モデルを極めて効率的に構築することができる。これは、コンピュータグラフィックスや数値地図、測量、ＣＡＤなど実在する対象物の３次元モデルを計測したり、さらにはナビゲーションシステム用の表示データの作成に利用可能である。
【００３９】
なお、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより３次元モデルデータ生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、高精度３次元情報を持つレーザレンジデータから変換して得られた３次元点群データを、テクスチャー情報を持つ画像データに投影し、画像データの画面を作業画面として計測対象物の領域を手動で入力し、該当領域に統合された３次元点群データによって対象物の３次元形状を求めことによって、建物や道路だけではなく、ショップ看板、信号機、道路交通標識、歩道など幅広い３次元空間データを効率的にかつ容易に生成することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図３】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図４】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図５】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図６】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図７】３台のレーザレンジスキャナと６台のラインＣＣＤカメラと航法装置を計測車両のルーフに取り付けた場合の配置図である。
【図８】生成した３次元モデルデータの一例を示す説明図である。
【図９】生成した３次元モデルデータの一例を示す説明図である。
【符号の説明】
１・・・画像データファイル
２・・・測距データファイル
３・・・位置姿勢データファイル
４・・・データ統合部
５・・・３次元点群データファイル
６・・・統合画像データファイル
７・・・モデル生成部
８・・・３次元モデルデータファイル
９・・・入力部
１０・・・画面処理部
１１・・・表示部
１２・・・面オブジェクト生成部
１３・・・線オブジェクト生成部
１４・・・点オブジェクト生成部
１５・・・データ補完部
１６・・・データ読み込み部
１７・・・ロゴデータベース
１８・・・３次元多角形面データファイル
【図１】
2004348575.tif 000003
【図２】
2004348575.tif 000004
【図３】
2004348575.tif 000005
【図４】
2004348575.tif 000006
【図５】
2004348575.tif 000007
【図６】
2004348575.tif 000008
【図７】
2004348575.tif 000009
【図８】
2004348575.tif 000010
【図９】
2004348575.tif 000011