"対象とする物体を同一点で複数のカメラで各々異なる方向から撮影した複数の撮影画像及びその撮影位置並びに各々の姿勢並びに前記各々のカメラが撮影した方向からの前記物体に対して各々発射したレーザに基づいた各々の前記物体の表面の座標点が記憶された記録部と、物体の画像を複数の視点から撮影する撮影手段と、前記撮影時の撮影手段の位置姿勢を取得する位置姿勢取得手段と、物体の表面の測定点の座標を検出する形状測定手段と、前記位置姿勢取得手段によって取得した撮影手段の位置姿勢に応じて前記形状測定手段によって検出された各測定点の前記撮影された各画像中の位置を求める投影手段と、前記各画像毎に前記投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、各測定点毎に、当該測定点の座標を示す情報と、前記色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを作成する作成手段とを備えることを特徴とするデータ作成装置。各測定点毎に、当該測定点の座標を示す情報と、複数の画像から各々決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを保持する保持手段と、少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、該描画パラメータ指定手段によって指定された描画パラメータに応じて前記保持手段から描画に用いる測定点を抽出する抽出手段と、前記描画パラメータ指定手段によって指定された前記描画パラメータ中の視点の位置と、前記抽出した測定点に対応する前記撮影時の撮影位置に応じて、前記複数の色から描画に用いる色を決定する描画色決定手段と、前記描画パラメータ指定手段によって指定された描画パラメータと前記描画色決定手段によって決定された描画色を用いて、前記抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを特徴とするデータ再生装置。物体の画像を複数の視点から撮影する撮影手段と、前記撮影時の撮影手段の位置姿勢を取得する位置姿勢取得手段と、物体の表面の測定点の座標を検出する形状測定手段と、前記位置姿勢取得手段によって取得した撮影手段の位置姿勢に応じて前記形状測定手段によって検出された各測定点の前記撮影された各画像中の位置を求める投影手段と、前記各画像毎に前記投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、各測定点毎に、当該測定点の座標を示す情報と、前記色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置を示す情報とを対応付けた点群データを作成する作成手段と、該作成手段によって作成された点群データを保持する保持手段と、少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、該描画パラメータ指定手段によって指定された描画パラメータに応じて前記保持手段から描画に用いる測定点を抽出する抽出手段と、前記描画パラメータ指定手段によって指定された前記描画パラメータ中の視点の位置と、前記抽出した測定点に対応する前記撮影時の撮影位置に応じて、前記複数の色から描画に用いる色を決定する描画色決定手段と、前記描画パラメータ指定手段によって指定された描画パラメータと前記描画色決定手段によって決定された描画色を用いて、前記抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを特徴とする画像処理システム。しかしながら、座標点の色情報を1つの写真画像から求めていると、厚さが薄い座標点が厚さ方向に1つあるいは少数しかない対象物例えば図21Aに示すような看板[道路標識]等を、色情報を求めた写真画像を撮影した位置と反対側から見た場合に、同図Bに示すように、左右が反転した画像となってしまう可能性がある。このため、本発明は、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生可能なデータを作成することが望ましい。また、本発明は、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができるのが望ましい。上述の課題を解決するために、本発明に係る対象物複数画像対応付け装置は、物体の画像を複数の視点から撮影する撮影手段と、撮影時の撮影手段の位置姿勢を取得する位置姿勢取得手段と、物体の表面の測定点の座標を検出する形状測定手段と、位置姿勢取得手段によって取得した撮影手段の位置姿勢に応じて形状測定手段によって検出された各測定点の撮影された各画像中の位置を求める投影手段と、各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置撮影位置を示す情報とを対応付けた点群データを作成する作成手段とを備えることを要旨とする。また、本発明に係るデータ再生装置は、各測定点毎に、当該測定点の座標を示す情報と、複数の画像から各々決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置撮影位置を示す情報とを対応付けた点群データを保持する保持手段と、少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、描画パラメータ指定手段によって指定された描画パラメータに応じて保持手段から描画に用いる測定点を抽出する抽出手段と、描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色描画色を決定する描画色決定手段と、描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定された描画色を用いて、抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを要旨とする。また、本発明に係る画像処理システムは、物体の画像を複数の視点から撮影する撮影手段と、撮影時の撮影手段の位置姿勢を取得する位置姿勢取得手段と、物体の表面の測定点の座標を検出する形状測定手段と、位置姿勢取得手段によって取得した撮影手段の位置姿勢に応じて形状測定手段によって検出された各測定点の撮影された各画像中の位置を求める投影手段と、各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定する色決定手段と、各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置撮影位置を示す情報とを対応付けた点群データを作成する作成手段と、作成手段によって作成された点群データを保持する保持手段と、少なくとも視点の位置を含む描画パラメータを指定する描画パラメータ指定手段と、描画パラメータ指定手段によって指定された描画パラメータに応じて保持手段から描画に用いる測定点を抽出する抽出手段と、描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色描画色を決定する描画色決定手段と、描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定された描画色を用いて、抽出した測定点の三次元画像を生成するレンダリング手段とを備えることを要旨とする。本発明では、色決定手段が、各画像毎に投影手段によって求めた各測定点に対応する色を当該画像中の色に応じて決定し、作成手段が、各測定点毎に、当該測定点の座標を示す情報と、色決定手段によって決定した複数の色と当該色の決定に用いた画像の撮影時の撮影手段の位置撮影位置を示す情報とを対応付けた点群データを作成する。このため、表面の画像が反転することを避け、適切な画像として再生可能なデータを作成することができる。また、本発明では、描画色決定手段が、描画パラメータ指定手段によって指定された描画パラメータ中の視点の位置と、抽出した測定点に対応する撮影時の撮影位置に応じて、複数の色から描画に用いる色描画色を決定し、レンダリング手段が、描画パラメータ指定手段によって指定された描画パラメータと描画色決定手段によって決定されたた描画色を用いて、抽出した測定点の三次元画像を生成する。このため、表面の画像が反転することを避け、適切な画像を再生することができる。以下、例えば本発明対象物複数画像対応付け装置データ作成装置、データ再生装置を、例えば道路付近の物体表面の座標点を測定し、別途撮影した道路付近の写真画像中の画素の色を、各座標点にマッピングした色付き点群データの作成と、これらの色付き点群データに基づく3D-CG画像の表示を行う画像処理システムに適用した一実施形態について説明する。なお、以下に示す本実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。図面は模式的なものであり、装置やシステムの構成等は現実のものとは異なることに留意すべきである。構成この画像処理システムは、例えば道路付近の物体の形状の測定と画像の撮影を行う撮影装置10と、画像に基づく色情報を道路付近の物体の座標点にマッピングしたデータを作成するデータ作成装置20と、データ作成装置20が作成したデータに基づく画像の表示を行うデータ表示装置30とを備えている。撮影装置10は、例えば道路付近の物体の形状の測定を行うレーザースキャナ[形状測定手段]1112、13と、道路付近の画像の撮影を行うカメラ[撮影手段]1415、16と、レーザースキャナ1112、13とカメラ1415、16の位置及び姿勢を取得する位置姿勢取得部[位置姿勢取得手段]17と、レーザースキャナ1112、13とカメラ1415、16によって取得したデータを記録する記録部18と、撮影装置10全体を制御する制御部19とを備えている。位置姿勢取得部17は、例えばGPS受信機とハイブリット慣性航法装置等を備えており、自動車の位置姿勢を取得することができるようになっている。また、データ作成装置20は、記録部18からデータを取得するデータ取得部21と、取得したデータから色付き点群データを生成して色付き点群データ保持部23に格納する色付き点群生成部[投影手段、色決定手段]22と、各視点カメラ位置の色付き点群データを合成して拡張色付き点群データ保持部[保持手段]25に格納する合成部[作成手段]24とを備えている。また、データ表示装置30は、ユーザからの入力等に応じて視点等の描画パラメータを指定する描画パラメータ指定部[描画パラメータ指定手段]31と、描画パラメータに応じて拡張色付き点群データ保持部25からデータを取得するデータ取得部32と、取得したデータに応じて座標点に描画色を割り付ける描画色割り付け部[抽出手段、描画色決定手段]33と、描画色が割り付けられた座標点群に応じた画像を生成するレンダリング部[レンダリング手段]34と、生成された画像を表示する表示部35とを備えている。上述の記録部18には、例えば図2に示すように、例えば撮影位置及び姿勢毎に一意の番号m[m=1,2,,n]が割り当てられ、撮影を行ったカメラ14~16の画像カメラm画像と、当該カメラの位置と姿勢を示す情報カメラm位置姿勢と、レーザースキャナ11~13によって測定された座標点についての情報X,Y,Zが格納されている。データ作成装置20の色付き点群生成部22は、各々のカメラm画像毎に、当該カメラm画像内に写っている各座標点X,Y,Zの色RGB値を決定して色付き転群データを生成し、色付き点群データ保持部23に格納する。また、合成部24は、各色付き点群データから各座標点毎の色RGB値と当該色を決定した画像が撮影された位置を示す情報等を含む拡張色付き点群データを生成し、拡張色付き点群データ保持部25に格納する。撮影装置10のレーザースキャナ11~13とカメラ14~16は、例えば図3に示すように、自動車のルーフに設置される平板状の基台1の上に設置されている。レーザースキャナ12及びレーザースキャナ13は、各々レーザースキャナ11と水平方向に45度傾けて配置されている。また、カメラ14~16は、各々水平方向に90度程度の画角を有している。カメラ15及びカメラ16は、各々カメラ14と水平方向に90度傾けて配置されている。なお、これらのカメラ14~16の代わりに、球面ミラー等を用いた水平方向に360度の画角を有する全周囲カメラを用いてもよい。動作概要上述のように構成された画像処理システムでは、以下の3つの処理を、独立して実行する。1測定撮影処理この処理では、複数の位置姿勢から物体表面の座標点を測定し、複数の位置姿勢から物体の写真画像を撮影する。2拡張色付き点群データの生成処理この処理では、座標点毎に、撮影点の異なる複数の写真画像から求めた色と当該写真を撮影した位置を対応付けた拡張色付き点群データを作成する。3再生処理この処理では、外部のアプリケーション等から指定される視点等の描画パラメータに応じて、視点から座標点までのベクトルと、座標点から撮影位置までのベクトルの内積によって撮影方向と視点方向の一致度を判断し、一致度が高い撮影位置に対応する色を当該座標点の色として、CG画像を作成する。1測定撮影処理撮影装置10により、測定撮影を行う際には、例えば図4に示すように、所定のルートに従って自動車を走行させ、位置姿勢取得部17により、位置と姿勢を測定しながら、レーザースキャナ11~13による道路周辺の物体の測定点の座標座標点の測定と、カメラ14~16による道路周辺の写真画像の撮影を行う。各レーザースキャナ11~13は、各々パルス幅の非常に短い赤外線レーザをスキャナヘッドから照射し、このレーザが対象物の表面で反射して戻って来るまでの時間から距離を求める。スキャナヘッドは、所定の時間毎に、当該スキャナヘッドの軸方向に360度回転する。各レーザースキャナ11~13は、レーザを照射したときのスキャナヘッドの回転角度レーザ角度データと距離距離データを制御部19に供給する。制御部19は、位置姿勢取得部17から取得した測定時の各レーザースキャナ11~13の位置と姿勢に応じて、各々の距離データとレーザ角度データから、例えば図5に示すように、測定点測定した座標点のXYZ座標を求め、例えば図5に示すように、記録部18に格納する。なお、位置姿勢取得部17の位置姿勢は、厳密には、自動車の位置姿勢であるが、上述の図3に示すように、各レーザースキャナ11~13の位置姿勢は、自動車の位置姿勢と一定の関係にあるため、自動車の位置姿勢に応じて各レーザースキャナ11~13の位置姿勢を求める。また、座標点のXYZ座標を求める際には、自動車の走行による移動に応じた位置姿勢の補正を行う。なお、この例では3台のレーザースキャナ11~13を用いているが、水平方向360度、垂直方向180度の範囲の測定を行うことができるレーザースキャナであれば、1台のレーザースキャナを用いるだけで足りる。また、制御部19は、所定の時間間隔毎に、カメラ14~16によって写真画像の撮影を行わせ、例えば図6に示すように、撮影された画像データ写真画像を、位置姿勢取得部17から取得した撮影時のカメラ14~16の位置と姿勢に対応付けて、記録部18に格納する。上述のような測定動作と撮影を実行しながら、自動車が所定のルートを走行し終えると、自動車の移動に応じて、複数の視点からの写真画像が撮影される。なお、例えば同一のルートを往復し、道路付近の物体の前と後ろからといったように、物体に対する視点が大きく異なる位置姿勢からの複数の写真画像を取得するのが望ましい。2拡張色付き点群データの生成処理2-1色付き点群データの生成データ作成装置20は、まず、例えば図7に示すように、記録部18に格納されている写真画像から色情報がマッピングされた座標点の群色付き点群データを作成する。データ作成装置20の色付き点群生成部22は、データ取得部21を介して記録部18から写真画像カメラm画像と撮影時のカメラの位置姿勢カメラm位置姿勢を取得する。色付き点群生成部22は、取得したカメラの位置姿勢に応じて、写真画像の視野内にある座標点カメラmの視野に入っている座標点を抽出する。さらに、色付き点群生成部22は、抽出した座標点を、例えば図8に示すように、写真画像の座標系x,yに投影した座標を求める。さらに、色付き点群生成部22は、投影した座標に相当する、例えば図9に示す写真画像中の色RGB値を投影前の座標点の色とする。このとき、座標点の面サーフェースを考慮して隠れている座標点については無視するのが好ましい裏側の座標点にも色がつくのを防ぐ。当該写真画像の視野内にある全ての座標点について色を決定すると、色付き点群生成部22は、例えば図10に示すように、当該写真画像を撮影した位置Xcamm、Ycamm、Zcammと、各座標点の座標点位置と色RGB値の組み合わせを色付き点群データとして色付き点群データ保持部23に格納する。これにより、この図8に示すように、写真画像毎に、撮影時のカメラの位置Xcamm,Ycamm,Zcammと、各座標点の位置xn,yn,zn[n=1,2,3,]と当該位置に対応付けられた色情報Rn,Gn,Bn[n=1,2,3,]を有する色付き点群データが生成される。2-2拡張色付き点群データの生成上述のように色付き点群データが作成されると、合成部24は、各色付き点群データ内の座標点の色情報及び撮影位置を合成して、例えば図11及び図12に示すように、座標点毎に複数の色と撮影位置の組み合わせを含む拡張色付き点群データを作成する。まず、合成部24は、例えば各色付き点群データの撮影位置に撮影位置IDを付与して撮影位置IDテーブル25Bに登録する。これにより、例えば図12に示すように、写真画像の撮影位置毎に撮影位置IDが登録される。次に、合成部24は、各色付き点群データ内の座標点の中から同じ位置の座標点の色を抽出し、撮影位置IDと共に、座標点毎に固有の識別情報点位置IDに対応付けて拡張色付き点群データ保持部25に登録する。この際、合成部24は、同一の座標点に対応付けられた色情報の総数も登録する。これにより、例えば図11に示すように、1つの点位置IDに対応させて、位置X,Y,Z,色情報数,色情報1RGB,撮影位置ID1,色情報2RGB,撮影位置ID2,の情報が登録される。全ての座標点について以上の処理が終了すると、合成部24は、上述の図11及び図12に示すように、座標点の位置毎に、当該位置に対応付けられた色情報と当該色情報を求めた撮影画像を撮影した位置等を有する拡張色付き点群データが拡張色付き点群データ保持部25に登録された状態となる。なお、撮影位置は、写真画像毎に共通であるため、上述のように、撮影位置IDを用いた方がデータ容量を少なくすることができるが、撮影位置が判ればいいため、例えば、色情報毎に、位置X,Y,Z,その他の属性,色情報数,色情報1RGB,撮影位置1X,Y,Z,色情報2RGB,撮影位置2X,Y,Z,といったように、位置を示す情報を対応付けて登録しておくようにしてもよい。3再生処理上述のように生成された拡張色付き点群データは、例えばカーナビゲーションやウォークスルー等のアプリケーションにおいて、視点から見える2次元画像の画素値を求めるため等に用いることができる。データ表示装置30は、上述のアプリケーション等から指定される視点等の描画パラメータに応じて、視点から座標点までのベクトルと、座標点から撮影位置までのベクトルの内積により、撮影方向と視点方向の一致度を判断し、一致度が高い撮影位置に対応する色を当該座標点の色として、CG画像を作成する。図13は、この再生処理におけるデータ表示装置30全体の処理を示している。再生処理において、データ表示装置30は、所定の時間間隔毎に、S1~S5の処理を繰り返し、視点の変更等に応じたインタラクティブな画像の再生を行うようになっている。再生処理が開始されると、まず、描画パラメータ指定部31は、外部のアプリケーションから指定される描画パラメータ視点の位置、姿勢、画角等を取得するS1。描画パラメータを取得すると、描画パラメータ指定部31は、前回の描画時から視点等の描画パラメータから変更があるか否かを確認しS2、変更がなければ、レンダリング部34にそのままレンダリング処理S4を実行させる。一方、描画パラメータの変更がある場合には、描画パラメータ指定部31は、データ取得部32に、変更された描画パラメータに応じた点群のデータを拡張色付き点群データ保持部25から取得させ、描画色割り付け部33に、点群に対する描画色の割り付け処理を行わせるS3。割付処理が終了すると、描画パラメータ指定部31は、レンダリング部34に、描画色が割り付けられた点群についてレンダリング処理を行わせるS4。このレンダリング処理は、例えば図14に示すように、描画パラメータに応じて視点位置から見た画角内に含まれる座標点PX,Y,Zの色により画像中の座標px,yの画素の色を求めることによって行う。画角内に含まれる全ての座標点描画用点群データによって画像中の画素の色の算出が終了し、レンダリング処理が終了すると、描画パラメータ指定部31は、レンダリング部34に、レンダリング結果の画像を表示部35に表示させS5、次の描画パラメータの指定に戻るS1。上述の図13中のS3における描画色の割り付け処理は、さらに詳細には、例えば図15に示す処理によって実行する。まず、描画色割り付け部33は、データ取得部32を介して拡張色付き点群データ保持部25から、描画パラメータによって決まる視体積生成しようとしている2次元画像内に写る範囲内の座標点拡張色付き点群を抽出するS11。次に、描画色割り付け部33は、抽出した全ての拡張色付き点群のデータについて、描画色CviewRview,Gview,Bviewを算出するS12。具体的には、例えば、描画パラメータ指定部31によって指定された視点位置PeyeをXeye,Yeye,Zeyeとし、座標点Pの位置をX,Y,Zとし、色情報数をN、当該座標点のi番目の色CiをRi,Gi,Biとし、i番目の色Ciに対応する撮影位置PcamiをXcami,Ycami,Zcamiとすると、描画色割り付け部33は、当該座標点の描画色Cviewを次式によって決定する。色情報を1つのみ使用する場合ここで、色情報RGB値として再生時の視点と近い方向から撮影したもの一つを使うものとすれば、上記式1のGiは次式によって求めることができる。拡張色付き点群データ中の座標点Pの位置X,Y,Z、当該座標点のi番目の色Ciに対応する撮影位置PcamiXcami,Ycami,Zcami及び視点位置PeyeXeye,Yeye,Zeyeの位置関係を図示すると、例えば図16、図17及び図18に示すようになる。このような状態において、上述の式2により、Giを求めると、Pcam1のG1とPcam2のG2が0となり、Pcam3のG3が1となる。従って、このような状態では、描画色割り付け部33は、座標点Pの色をC3R3,G3,B3とする。複数の色情報を1つのみ使用する場合なお、色情報RGB値として再生時の視点と同じ方向から撮影したいくつかの値を、重み付けによって使うようにしてもよい。この場合は、Giを、上記式2の代わりに例えば次式によって求めるようにしてもよい。全ての描画用点群データについて、上述の描画色Cviewの割り付け処理が終了すると、描画色割り付け部33は、描画色を割り付け描画用点群データをレンダリング部34に供給する。この後、描画パラメータ指定部31からの指示に応じてレンダリング部34がレンダリング処理を実行して表示用の画像が生成される。具体的には、例えば上述の図16~図18に示す位置関係の場合では、再生時の視点位置PeyeXeye,Yeye,Zeyeから見た、描画用点群データ中の座標点P付近の画像は、例えば図19Bに示すようになる。また、座標点Pを挟んで視点位置PeyeXeye,Yeye,Zeyeとは逆の視点位置Peye’Xeye’,Yeye’,Zeye’から見た座標点P付近の画像は、例えば図19Aに示すようになる。このように生成された画像中では、上述のように、拡張色付き点群データ中の撮影位置IDに対応する撮影位置PcamiXcami,Ycami,Zcamiを用い、再生時の視点に近い撮影位置に対応する色に応じて、描画用点群データに描画色の割り付けを行っているため、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができるこれにより、この画像処理システムでは、厚さが薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができるデータを作成することができる。また、この画像処理システムでは、薄い対象物であっても表面の画像が反転することを避け、適切な画像を再生することができる。変形例上述の例では、レーザースキャナ11~13によって、道路付近の物体の形状を測定していたが、これらの代わりに、移動前後の画像内の物体の位置の変化を用いて物体の形状を測定してもよい。上述のように、カメラが取り付けられた自動車が移動している場合、移動の前後の写真画像中に写っている物体の位置厳密にはカメラの光軸に対する角度の変化により、カメラから物体までの距離を求めることができる。具体的には、例えば写真画像中の特徴点を抽出し、移動前後のカメラの位置姿勢の変化と、画像内の特徴点の位置の変化から三角測量と同じ原理により、当該特徴点までの距離を測定することができる。このため、移動に伴う自動車の位置姿勢当該写真画像を撮影したカメラの位置姿勢の変化と写真画像中の位置の変化とから、当該特徴点の座標を求め、上述の座標点としてもよい。また、上述の撮影位置IDテーブル25Bに撮影位置IDに対応させて登録しておくのは、撮影位置の座標ではなく、単位ベクトル等の撮影方向を示す情報としてもよい。このような単位ベクトルを用いた場合でも、視点と座標点の単位ベクトル等との内積から撮影方向との一致度を判断することができ、上述と同じ作用効果を奏することができる。"