(57)【要約】【課題】  ３次元画像生成において屋外の建物などを対象とした場合、複数回撮影を行う間に、通行人や車両などの障害物を撮影してしまうことがあり、テクスチャ選択の際に単純に最も解像度の高い画像を選択して貼り付けた場合に、人や車両といったものが建物側面の形状に写りこんでモデリングされてしまうという課題を解決する。【解決手段】  複数回撮影された各画像から、複数の形状データを生成し、これに基づいて最終形状データを算出する３次元形状復元手段１１、最終形状データと各撮影ごとに復元した複数の形状データとを比較し、最も適合する形状を検出する形状比較手段１２、検出した最終形状と最も適合する形状を、テクスチャ画像取得カメラにより撮影されたテクスチャ画像から選択するテクスチャ選択手段１３、選択された画像間の色補正を行うテクスチャ補正手段１４、色補正後の各画像を最終形状データに貼り付ける出力手段１５、を有する３次元画像生成装置。【選択図】  図１
2006163852.tif 000002
【特許請求の範囲】
【請求項１】
形状データ生成カメラにより撮影された画像から取得した形状データに、テクスチャ画像取得カメラにより撮影された画像から取得したテクスチャを貼り付けて３次元画像を生成する３次元画像生成装置であって、
前記形状データ生成カメラにより複数回撮影された各画像から、複数の形状データを生成し、当該形状データに基づいて最終形状データを算出する３次元形状復元手段と、
前記最終形状データと各撮影ごとに復元した複数の形状データとを比較し、前記最終形状データの最終形状と最も適合する形状を検出する形状比較手段と、
前記検出した最終形状と最も適合する形状を、前記テクスチャ画像取得カメラにより撮影されたテクスチャ画像から選択するテクスチャ選択手段と、
前記選択された画像間の色補正を行うテクスチャ補正手段と、
前記色補正後の各画像を前記最終形状データに貼り付ける出力手段と、を有することを特徴とする３次元画像生成装置。
【請求項２】
形状データ生成カメラにより撮影された画像から取得した形状データに、テクスチャ画像取得カメラにより撮影された画像から取得したテクスチャを貼り付けて３次元画像を生成する３次元画像生成装置であって、
前記形状データ生成カメラを用いて撮影された画像から形状データを生成する処理を複数回行って複数の形状データを取得し、当該複数の形状データの対応する各領域を比較して、各領域の最終形状データに最も適合する形状データを抽出し、当該抽出した各領域の形状データから最終形状データを生成する３次元形状復元手段と、
前記生成した最終形状データを区分けし、各区分内ごとに最終形状データの形状と前記各撮影ごとに取得した各形状データの形状とを比較して、前記最終形状データの形状に最も適合する形状データの形状を選択する形状比較手段と、
前記選択した各形状データの形状に係る形状データの生成に用いた画像の撮影と同時に前記テクスチャ画像取得カメラにより撮影された各テクスチャ画像から、前記各区分内の最終形状データの形状に貼り付ける各領域を切り出すテクスチャ選択手段と、
前記切り出した各領域画像間の色補正を行うテクスチャ補正手段と、
前記色補正後の各画像を前記最終形状データに貼り付ける出力手段と、を有することを特徴とする３次元画像生成装置。
【請求項３】
前記３次元形状復元手段は、
横軸が平行投影のステレオ画像を用いて前記形状データを生成することを特徴とする請求項１または２に記載の３次元画像生成装置。
【請求項４】
前記形状比較手段は、
前記最終形状データと重なる３次元点の量に基づいて、当該最終形状データの被写体に最も適合する前記形状データの被写体を選択することを特徴とする請求項１〜３いずれかに記載の３次元画像生成装置。
【請求項５】
形状データ生成カメラにより撮影された画像から取得した形状データに、テクスチャ画像取得カメラにより撮影された画像から取得したテクスチャを貼り付けて３次元画像を生成する３次元画像生成装置における３次元画像生成方法であって、
３次元形状復元手段が、前記形状データ生成カメラにより複数回撮影された各画像から、複数の形状データを生成し、当該形状データに基づいて最終形状データを算出する３次元形状復元ステップと、
形状比較手段が、前記最終形状データと各撮影ごとに復元した複数の形状データとを比較し、前記最終形状データの最終形状と最も適合する形状を検出する形状比較ステップと、
テクスチャ選択手段が、前記検出した最終形状と最も適合する形状を、前記テクスチャ画像取得カメラにより撮影されたテクスチャ画像から選択するテクスチャ選択ステップと、
テクスチャ補正手段が、前記選択された画像間の色補正を行うテクスチャ補正ステップと、
出力手段が、前記色補正後の各画像を前記最終形状データに貼り付ける出力ステップと、を有することを特徴とする３次元画像生成方法。
【請求項６】
形状データ生成カメラにより撮影された画像から取得した形状データに、テクスチャ画像取得カメラにより撮影された画像から取得したテクスチャを貼り付けて３次元画像を生成する３次元画像生成装置における３次元画像生成方法であって、
３次元形状復元手段が、前記形状データ生成カメラを用いて撮影された画像から形状データを生成する処理を複数回行って複数の形状データを取得し、当該複数の形状データの対応する各領域を比較して、各領域の最終形状データに最も適合する形状データを抽出し、当該抽出した各領域の形状データから最終形状データを生成する３次元形状復元ステップと、
形状比較手段が、前記生成した最終形状データを区分けし、各区分内ごとに最終形状データの形状と前記各撮影ごとに取得した各形状データの形状とを比較して、前記最終形状データの形状に最も適合する形状データの形状を選択する形状比較ステップと、
テクスチャ選択手段が、前記選択した各形状データの形状に係る形状データの生成に用いた画像の撮影と同時に前記テクスチャ画像取得カメラにより撮影された各テクスチャ画像から、前記各区分内の最終形状データの形状に貼り付ける各領域を切り出すテクスチャ選択ステップと、
テクスチャ補正手段が、前記切り出した各領域画像間の色補正を行うテクスチャ補正ステップと、
出力手段が、前記色補正後の各画像を前記最終形状データに貼り付ける出力ステップと、を有することを特徴とする３次元画像生成方法。
【請求項７】
前記３次元形状復元手段は、
横軸が平行投影のステレオ画像を用いて前記形状データを生成して前記３次元形状復元ステップを行うことを特徴とする請求項５または６に記載の３次元画像生成方法。
【請求項８】
前記形状比較手段は、
前記最終形状データと重なる３次元点の量に基づいて、当該最終形状データの被写体に最も適合する前記形状データの被写体を選択して前記形状比較ステップを行うことを特徴とする請求項５〜７いずれかに記載の３次元画像生成方法。
【請求項９】
上記の請求項１〜８のいずれか１項に記載の３次元画像生成装置又は３次元画像生成方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両などの移動体からの画像撮影により市街地などの３次元モデルを生成する技術において、同一場所を複数回測定して生成した形状データにテクスチャ画像を貼り付けることにより３次元画像を生成する技術に関するものである。
【背景技術】
【０００２】
同一場所を複数回測定して生成した形状データに画像を貼り付ける手法には、以下のものがある。
【０００３】
複数の異なる視点の撮影画像から、ある小さな面積の面（パッチ面という）ごとに最も解像度の高い画像を選択して、それぞれを各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを行う。さらに、各テクスチャ画像の光源条件の不一致による画像間（パッチ面の間）濃淡値の差の補正処理を実行する。これにより、最も解像度の高い画像を用いることができ、かつ、各パッチごとのつなぎ目をめだたなくする技術が開示されている (例えば、特許文献１参照。)。
【特許文献１】特開２００２−２４８５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、屋外の建物などを対象とした場合、複数回撮影を行う間に、通行人や車両などの障害物を撮影してしまうことが多々あり、テクスチャ選択の際に単純に最も解像度の高い画像を選択して貼り付けた場合、人や車両といったものが建物側面の形状に写りこんでモデリングされてしまうといった欠点がある。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、その目的は、上記課題を解決した３次元画像生成技術を提供することにある。
【課題を解決するための手段】
【０００６】
そこで、上記課題を解決するために、請求項１に記載の発明は、形状データ生成カメラにより撮影された画像から取得した形状データに、テクスチャ画像取得カメラにより撮影された画像から取得したテクスチャを貼り付けて３次元画像を生成する３次元画像生成装置であって、前記形状データ生成カメラにより複数回撮影された各画像から、複数の形状データを生成し、当該形状データに基づいて最終形状データを算出する３次元形状復元手段と、前記最終形状データと各撮影ごとに復元した複数の形状データとを比較し、前記最終形状データの最終形状と最も適合する形状を検出する形状比較手段と、前記検出した最終形状と最も適合する形状を、前記テクスチャ画像取得カメラにより撮影されたテクスチャ画像から選択するテクスチャ選択手段と、前記選択された画像間の色補正を行うテクスチャ補正手段と、前記色補正後の各画像を前記最終形状データに貼り付ける出力手段と、を有することを特徴とする。
【０００７】
また、請求項２に記載の発明は、形状データ生成カメラにより撮影された画像から取得した形状データに、テクスチャ画像取得カメラにより撮影された画像から取得したテクスチャを貼り付けて３次元画像を生成する３次元画像生成装置であって、前記形状データ生成カメラを用いて撮影された画像から形状データを生成する処理を複数回行って複数の形状データを取得し、当該複数の形状データの対応する各領域を比較して、各領域の最終形状データに最も適合する形状データを抽出し、当該抽出した各領域の形状データから最終形状データを生成する３次元形状復元手段と、前記生成した最終形状データを区分けし、各区分内ごとに最終形状データの形状と前記各撮影ごとに取得した各形状データの形状とを比較して、前記最終形状データの形状に最も適合する形状データの形状を選択する形状比較手段と、前記選択した各形状データの形状に係る形状データの生成に用いた画像の撮影と同時に前記テクスチャ画像取得カメラにより撮影された各テクスチャ画像から、前記各区分内の最終形状データの形状に貼り付ける各領域を切り出すテクスチャ選択手段と、前記切り出した各領域画像間の色補正を行うテクスチャ補正手段と、前記色補正後の各画像を前記最終形状データに貼り付ける出力手段と、を有することを特徴とする。
【０００８】
また、請求項３に記載の発明は、前記３次元形状復元手段は、横軸が平行投影のステレオ画像を用いて前記形状データを生成することを特徴とする。
【０００９】
また、請求項４に記載の発明は、前記形状比較手段は、前記最終形状データと重なる３次元点の量に基づいて、当該最終形状データの被写体に最も適合する前記形状データの被写体を選択することを特徴とする。
【００１０】
また、請求項５に記載の発明は、形状データ生成カメラにより撮影された画像から取得した形状データに、テクスチャ画像取得カメラにより撮影された画像から取得したテクスチャを貼り付けて３次元画像を生成する３次元画像生成装置における３次元画像生成方法であって、３次元形状復元手段が、前記形状データ生成カメラにより複数回撮影された各画像から、複数の形状データを生成し、当該形状データに基づいて最終形状データを算出する３次元形状復元ステップと、形状比較手段が、前記最終形状データと各撮影ごとに復元した複数の形状データとを比較し、前記最終形状データの最終形状と最も適合する形状を検出する形状比較ステップと、テクスチャ選択手段が、前記検出した最終形状と最も適合する形状を、前記テクスチャ画像取得カメラにより撮影されたテクスチャ画像から選択するテクスチャ選択ステップと、テクスチャ補正手段が、前記選択された画像間の色補正を行うテクスチャ補正ステップと、出力手段が、前記色補正後の各画像を前記最終形状データに貼り付ける出力ステップと、を有することを特徴とする。
【００１１】
また、請求項６に記載の発明は、形状データ生成カメラにより撮影された画像から取得した形状データに、テクスチャ画像取得カメラにより撮影された画像から取得したテクスチャを貼り付けて３次元画像を生成する３次元画像生成装置における３次元画像生成方法であって、３次元形状復元手段が、前記形状データ生成カメラを用いて撮影された画像から形状データを生成する処理を複数回行って複数の形状データを取得し、当該複数の形状データの対応する各領域を比較して、各領域の最終形状データに最も適合する形状データを抽出し、当該抽出した各領域の形状データから最終形状データを生成する３次元形状復元ステップと、形状比較手段が、前記生成した最終形状データを区分けし、各区分内ごとに最終形状データの形状と前記各撮影ごとに取得した各形状データの形状とを比較して、前記最終形状データの形状に最も適合する形状データの形状を選択する形状比較ステップと、テクスチャ選択手段が、前記選択した各形状データの形状に係る形状データの生成に用いた画像の撮影と同時に前記テクスチャ画像取得カメラにより撮影された各テクスチャ画像から、前記各区分内の最終形状データの形状に貼り付ける各領域を切り出すテクスチャ選択ステップと、テクスチャ補正手段が、前記切り出した各領域画像間の色補正を行うテクスチャ補正ステップと、出力手段が、前記色補正後の各画像を前記最終形状データに貼り付ける出力ステップと、を有することを特徴とする。
【００１２】
また、請求項７に記載の発明は、前記３次元形状復元手段は、横軸が平行投影のステレオ画像を用いて前記形状データを生成して前記３次元形状復元ステップを行うことを特徴とする。
【００１３】
また、請求項８に記載の発明は、前記形状比較手段は、前記最終形状データと重なる３次元点の量に基づいて、当該最終形状データの被写体に最も適合する前記形状データの被写体を選択して前記形状比較ステップを行うことを特徴とする。
【００１４】
また、請求項９に記載の発明は、上記の請求項１〜８のいずれか１項に記載の３次元画像生成装置又は３次元画像生成方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００１５】
請求項１〜９に記載の発明では、３次元形状復元手段で取得した最終形状データと各形状データとの対応する領域を比較して最終形状データに最も適合する形状データの各領域を検出し、この形状データの各領域に対応するテクスチャを選択して貼り付けを行うので、撮影時に対象物に対して障害物などを撮影していたとしても、このようなテクスチャ画像は３次元画像生成に使用されないようにできる。
【発明の効果】
【００１６】
請求項１〜９に記載の発明によれば、撮影時に対象物に対して障害物などを撮影していたとしても、このようなテクスチャ画像は３次元画像生成に使用しないので、通行人、車両といった障害物が生成した３次元画像に再現されるという不都合を解消できる。したがって、市街地等の障害物の多い場所の３次元画像生成を正確に効率よく行うことが可能となり、実際の市街地等の３次元都市空間の構築が可能となる。
【発明を実施するための最良の形態】
【００１７】
本発明の３次元画像生成装置の構成図を図１に示す。図１に示すように３次元画像生成装置は、複数枚の画像から３次元形状を取得する３次元形状復元手段１１、複数個の形状モデルを比較する形状比較手段１２、貼り付けるテクスチャを選択するテクスチャ選択手段１３、テクスチャの色補正を行うテクスチャ補正手段１４、及びテクスチャを貼り付けた３次元形状を出力する出力手段１５を有している。
【００１８】
３次元形状復元手段１１は、複数回対象物が撮影された画像に基づいて複数個の形状データを算出し、その結果を基に出力する最終形状を求める。
【００１９】
形状比較手段１２は、３次元形状復元手段１１により出力した最終形状と各撮影ごとに復元した形状データとを規定した領域ごとに比較し、最終形状と最も適合する形状データを検出する。
【００２０】
テクスチャ選択手段１３は、各領域ごとに、形状比較手段１２により検出した最終形状と適合する形状データの基となる画像を選択する。
【００２１】
テクスチャ補正手段１４は、テクスチャ選択手段１３で各領域ごとに選択された画像の色補正を行う。
【００２２】
出力手段１５は、補正済みの画像が貼り付けられた３次元画像を出力する。
【００２３】
これら３次元画像生成装置の各構成手段を図面を用いて以下に説明する。
【００２４】
まず、３次元形状復元手段１１について説明する。図２に３次元形状復元手段１１の処理フローチャートを示す。
【００２５】
３次元形状復元手段１１は、画像を取得する画像入力処理（Ｓ２１）、複数回撮影した画像を基に複数個の形状データを算出する各撮影モデル復元処理（Ｓ２２）、及び複数個の形状データから領域ごとに高品質の形状データを選択して最終形状データを生成する最終形状出力処理（Ｓ２３）を行う。
【００２６】
はじめに画像入力処理（Ｓ２１）について説明する。
【００２７】
本実施形態では、一例として３台のカメラを車両に設置して、主に道路脇の建物を撮影対象として、２台のカメラによる画像から建物の形状データを算出し、残りの１台のカメラにより形状データに貼り付けるテクスチャ画像を取得して、入力する場合について説明する。ここでは、カメラとしてラインセンサカメラを用いた場合について説明するが、画像を撮影して形状データを算出できれば、他のカメラを用いてもよい。
【００２８】
図３は、画像入力処理（Ｓ２１）を説明するための斜視図である。図３において、３台のカメラは同時に撮影を開始するものとし、その撮影開始地点を座標系の原点とする。車両の移動方向をｘ軸３５、移動方向に垂直で車両と建物を結ぶ方向をｙ軸３６、ｘｙ平面に垂直な方向をｚ軸３７とする。以後、図面においてｘ軸、ｙ軸、ｚ軸はこの設定とする。また、３１はある時点での被撮像物体３３（ここでは道路脇の建物）の撮影位置を示し、この撮影位置３１は時間と共に移動方向３２へ移動する。すなわち、カメラが搭載された車両はｘ軸上を直線に進む。
【００２９】
この３台のカメラは、ライン方向３４を移動方向３２に垂直に向ける。ここではライン方向３４をｚ軸に平行に向ける。さらにテクスチャ画像を取得するカメラの光軸が移動方向３２に垂直な方向になるように設置し、形状データを算出するための画像を取得する残りの２台は光軸が移動方向と垂直な面に対して対称になるように、ここではｙｚ面に対して対称になるように設置する。ライン方向はｚ軸に平行に向いているのでｙｚ面に対称になり、かつ、移動方向に平行ではないものとする。また、３台のラインセンサの光軸は、道路からの高さが同じになるように設置する。
【００３０】
このように設置した３台のカメラを移動させつつ、ロータリーエンコーダを用いて一定距離ごとに画像を１ライン単位で取り込む。それぞれのカメラから取得したライン画像を時系列にならべて長尺画像を作成する。この画像を取り込む距離間隔の大きさを画像移動量定数と呼ぶ。なおロータリーエンコーダとは車両等に取り付けることにより、一定距離ごとに特定信号を発生させる装置のことである。
【００３１】
図４は、図３においてラインセンサが搭載された車両が左から右へ進む状況を上方から見た図である。図４において、テクスチャ画像を取得して、入力するラインセンサは光軸がｙ軸方向を向くように設置し、残りの２台は光軸がｙｚ面から等角度傾いた方向を向くように設置する。すなわち、テクスチャ画像を取得するラインセンサをカメラＣ４３、ｙｚ平面から進行方向に傾いた方向を撮影しているラインセンサをカメラＡ４１、ｙｚ平面から進行方向と逆に傾いた方向を撮影しているラインセンサをカメラＢ４２とする。また、ｙｚ平面からカメラＡ４１の光軸までの角度をカメラ角度θ４４、ｙｚ平面からカメラＢ４２の光軸までの角度をカメラ角度θ４５とする。これらのカメラ角度θ４４とカメラ角度θ４５は同じ大きさとする。
【００３２】
図５は、同一物体を３台のラインセンサが撮影した様子を上から表している図である。これは、３台のラインセンサを載せた車両が移動経路５７上を、撮影位置５１，５２，５３と移動しながらそれぞれの位置で３台のラインセンサが撮影を行ったことを示している。図５においてカメラＡ、カメラＢ、カメラＣは図中には示しておらず、それぞれの撮影方向を３種類の線で示す。被撮影物体５４を、撮影位置５１でカメラＡにより撮影し、次に移動経路５７上を移動しながら撮影位置５２でカメラＣにより被撮影物体５４を撮影し、さらに撮影位置５３でカメラＢにより被撮像物体５４を撮影する。
【００３３】
ここで、カメラ角度θ５５とカメラ角度θ５６は、同じ角度とする。このため、撮影位置５１、撮影位置５３、及び被撮影物体５４で構成される三角形は二等辺三角形となる。
【００３４】
また、撮影位置５１と撮影位置５２との間の距離と、撮影位置５２と撮影位置５３との間の距離とは同じ距離となる。これにより、カメラＣが被撮像物体を撮影するのは、カメラＡが撮影する位置とカメラＢが撮影する位置の真中の位置であることがわかる。
【００３５】
次に各撮影モデル復元処理（Ｓ２２）について説明する。各撮影モデル復元処理（Ｓ２２）では画像取得処理（Ｓ２１）により取得した２枚の長尺画像の対応付けを行うことにより各撮影画像ごとに形状データを算出する。
【００３６】
図６を用いて具体的なモデル復元の方法を説明する。
【００３７】
６１、６２はそれぞれ図４におけるカメラＡ４１、及びカメラＢ４２により撮影された長尺画像である。これらの長尺画像の時間軸方向をａ軸６５、ライン方向をｂ軸６６とする。以後、図面においてａ軸、ｂ軸はこの設定とする。
【００３８】
６３は長尺画像Ａ６１上の（ｘA，ｙA）を中心とするテンプレートを示し、このテンプレートを長尺画像Ｂ６２上を移動させながら類似度を計算し、最も違いが少ないと判断された領域と対応付ける。図６では６３と６４とが対応付けられている。類似度の計算法は、一般的に２つの領域の対応する画素の画素値の差を取る方法がある。この他にも相互相関係数による方法（「画像解析ハンドブック」東京大学出版会  １９９１年）などがあげられる。
【００３９】
このようにして、（ｘA，ｙA）を中心とするテンプレート６３と（ｘB，ｙA）を中心とする領域６４とが対応付けられた場合、その地点の３次元座標は下記の式（１）〜（３）で求められる。なお（３）の導出にはピンホールカメラのモデルを用いている。
【００４０】
【数１】
2006163852.tif 000003
【００４１】
【数２】
2006163852.tif 000004
【００４２】
【数３】
2006163852.tif 000005
【００４３】
ここで、画像移動量定数は、画像を構成する縦方向のライン画像間の撮影間隔の距離である。またｆはピンホールカメラモデルにおける焦点距離である。
【００４４】
このように同時に撮影した２枚組みの長尺画像から、３次元座標を算出し、形状データを出力する。例えば５回走行しながら撮影を行った場合は、５個のモデルが作成できる。この各々のモデルを各撮影モデルと呼ぶ。
【００４５】
次に最終形状出力処理（Ｓ２３）について説明する。屋外の建物を対象として撮影する場合には、ほとんどの場合どこかの領域に人などのオクルージョン要因も撮影してしまうため、１回のみの撮影画像から復元した各形状データのみから建物側面全体を復元できることは少ない。そこで、最終形状出力処理（Ｓ２３）では、各撮影モデル復元処理（Ｓ２２）で出力した複数の形状データを重ねあわせることにより、より精度の高い最終形状を出力することを可能とする。
【００４６】
具体的には、まず、重ねあわせるために出力した複数の各撮影モデルの同じ場所同士について対応付けを行う。対応付けは、例えば、撮影時にＧＰＳを使って絶対座標を取得し、各モデルの座標を絶対座標で表現し、その座標を合わせることによって対応付けを行ってもよい。また、各モデルが相対座標で表現されている場合には、各モデルを回転・平行移動をさせ、重なる３次元点が最も多くなるように動かし、対応付けてもよい。
【００４７】
図７は、建物側面の撮影モデルが相対座標で表現された場合の位置合わせを示す図である。図７において、モデルは小さな面が集合した多面体で構成されているものとし、ある一方向から見たときの面が複数存在しているものとして扱うこととする。また、車両の移動経路から見た建物側面が小さな面の集合で表されている。
【００４８】
図７では、モデルＡ７４、モデルＢ７５は各撮影ごとに復元された同一物体群の形状データが示されている。このモデルＡ７４とモデルＢ７５とを全体として重ねるために、最も重なる３次元点が多くなるように、モデルＢをｘ軸方向７６にｍ、ｚ軸方向７７にｎの距離だけ平行移動させる。
【００４９】
次に最終形状を決定する際の投票処理について説明する。位置合わせをした各モデルを重ね、各３次元座標ごとに投票をおこなう。例えば、各３次元座標ごとに、その座標に存在するモデルの数に比例して票数を加算していき、ある閾値以上の票数の座標のみを抽出する。３回撮影を行い、３個の復元した撮影モデルがある場合には、最高で３次元座標に３回投票される。閾値を２とした場合には、２回以上投票された点のみを抽出する。このようにして抽出された３次元点群を最終形状とする。
【００５０】
ここで、図８(ａ)、(ｂ)、(ｃ)、及び(ｄ)に３つの撮影モデルを重ね合わせて最終形状を求める様子を示す。図８(ａ)は撮影された建物の形状モデルを、図８(ｂ)はモデルＡ、図８(ｃ)はモデルＢ、図８(ｄ)はモデルＣを示す。モデルＡ、Ｂ、及びＣは各撮影ごとに算出された建物イ８１、及び建物ロ８２の形状モデルを正面から見た図であり、ｘｚ平面で表現されている。モデルＡにおける建物イ８１、建物ロ８２の形状モデルをそれぞれ建物形状イ−Ａ８３、建物形状ロ−Ａ８４とする。同様に、モデルＢにおける建物イ８１、建物ロ８２の形状モデルをそれぞれ建物形状イ−Ｂ８５、建物形状ロ−Ｂ８６、モデルＣにおける建物イ８１、建物ロ８２の形状モデルをそれぞれ建物形状イ−Ｃ８７、建物形状ロ−Ｃ８８とする。
【００５１】
これらのモデルＡ、モデルＢ、及びモデルＣでは、人８９や車両９０といった建物を隠してしまうオクルージョン要因も復元してしまっている。これらのモデルを位置合わせし、各３次元座標ごとにモデルが存在すれば、票数１を投票していき、２回以上投票された座標を抽出する。
【００５２】
この抽出した最終形状を図８(ｅ)に示す。最終形状は対象とする建物側面のみの形状データとなっており、人８９や車両９０といった建物を隠してしまうオクルージョン要因については復元していない。
【００５３】
次に、形状比較手段１２について説明する。図８(ｅ)に示す最終形状は、形状データでありテクスチャはないので、、形状比較手段１２ではこの最終形状に対して、オクルージョンの要因となる物体が映りこんでいない画像を選択し、貼り付ける処理を行う。
【００５４】
具体的には、まず、最終形状をある区分ごとに区切る。例えば、ｘ軸方向のみ１ｍ間隔で区切る。この区切られた区間内で、最終形状と１回の撮影ごとに復元された各撮影モデルとを比較し、区間ごとに最も重なる撮影モデルを選択していく。最も重なっているかどうかの判定は、例えば、最終形状と重なる３次元点の個数が最も多いものを選んでもよい。
【００５５】
図９(ａ)、(ｂ)、(ｃ)、及び(ｄ)に各区間Ｉ、II、IIIごとに最終形状と最も重なる形状モデルを選択している様子を示す。図９(ａ)に示す最終形状を、ｘ軸方向に区間Ｉ９１、区間II９２、区間III９３に区切った場合を示す。区間Ｉ９１には建物イ９４が、区間II９２及び区間III９３には建物ロ９５の形状がそれぞれ含まれている。図９(ｂ)に示すモデルＡ、図９(ｃ)に示すモデルＢ、及び図９(ｄ)に示すモデルＣは各撮影ごとに算出された建物イ９４、建物ロ９５の形状モデルを正面から見た図であり、ｘｚ平面で表されている。
【００５６】
モデルＡにおける建物イ９４、建物ロ９５の形状モデルを、それぞれ建物形状イ−Ａ９６、建物形状ロ−Ａ９７とする。同様に、モデルＢにおける建物イ９４、建物ロ９５の形状モデルをそれぞれ建物形状イ−Ｂ９８、建物形状ロ−Ｂ９９、モデルＣにおける建物イ９４、建物ロ９５の形状モデルをそれぞれ建物形状イ−Ｃ１００、建物形状ロ−Ｃ１０１とする。
【００５７】
区間Ｉ９１における最終形状、つまり建物イ９４と最も重なるデータは、モデルＡにおける建物形状イ（建物形状イ−Ａ９６）である。そこで、区間Ｉの建物形状イ９４に貼り付ける画像は、モデルＡの建物形状イ−Ａ９６を復元するために撮影した画像を用いる。
【００５８】
最終形状と最も重なる撮影モデルの選択手法は、区間内の最終形状が存在する３次元点座標に各撮影モデルが存在すれば、存在した撮影モデルの票数に１を加算していき、加算した総票数が最も多い撮影モデルを選択すればよい。同様に、区間II９２内の最終形状にあたる建物形状ロ９５の一部と最も重なるモデルはモデルＢの建物形状ロ（建物形状ロ−Ｂ９９）である。区間III９３内の最終形状にあたる建物形状ロ９５の一部と最も重なるモデルは、モデルＢの建物形状ロ（建物形状ロ−Ｂ９９）である。このように各区間ごとに最終形状と最も重なる撮影モデルを選択し、その撮影モデルを復元するために撮影した画像を用いることで、人や車両といったオクルージョン要因の少ない画像を選択することができる。
【００５９】
なお、区切りはモデルの性質に最適になるように選べばよい。一般に区切り間隔を細かくするほど、人などのオクルージョン要因のない画像が得られる。
【００６０】
次に、テクスチャ選択手段１３について説明する。テクスチャ選択手段１３では、区間ごとに形状比較手段１２により選択された形状モデルの元となる画像撮影時において、図４におけるカメラＣ４３により取得したテクスチャ画像を選択する。このテクスチャ画像から形状データに該当する領域を切り出す。
【００６１】
図１０(ａ)、（ｂ）、及び（ｃ）にテクスチャ画像から該当する領域を切り出す様子を示す。図１０（ａ）に示す最終形状を、ｘ軸方向に区間Ｉ１０２、区間II１０３、及び区間III１０４に区切った場合をそれぞれ示す。区間Ｉ１０２には建物形状イ１０５、区間II１０３及び区間III１０４には建物形状ロ１０６がそれぞれ含まれている。
【００６２】
図１０（ｂ）に、区間Ｉ１０２の最終形状データである建物形状イ１０５と最も重なる建物形状（建物形状イ−Ａ１０７）を復元している形状モデルであるモデルＡ示す。最終形状データとモデルＡは、撮影カメラからの相対座標、つまり上記数式（１）〜（３）で表されているものとする。
【００６３】
図１０（ｃ）に、モデルＡを作成する基となる画像を撮影した時に取得した図４におけるカメラＣ４３によるテクスチャ画像を示す。このとき、モデルＡにおける建物形状上のある３次元座標（ｘA，ｙA，ｚA）のテクスチャは、テクスチャ画像上の（ａA，ｂA）に存在し、以下の数式（４）〜（５）で求められる。
【００６４】
【数４】
2006163852.tif 000006
【００６５】
【数５】
2006163852.tif 000007
【００６６】
ここで、画像移動量定数は、画像を構成する縦方向のライン画像間の撮影間隔の距離である。また、ｆは焦点距離である。
【００６７】
ここで、建物形状イ−Ａ１０７の各頂点が（０，ｙ1，０）、（０，ｙ1，ｚ1）、（ｘ1，ｙ1，ｚ1）、（ｘ2，ｙ1，ｚ2）、（ｘ3，ｙ1，ｚ2）、（ｘ3，ｙ1，０）の場合、建物形状イ−Ａ１０９のテクスチャは、テクスチャ画像上の（０，０）、（０，ｆ×ｚ1／ｙ1）、（ｘ1／画像移動量定数，ｆ×ｚ1／ｙ1）、（ｘ1／画像移動量定数，ｆ×ｚ2／ｙ1）、（ｘ2／画像移動量定数，ｆ×ｚ2／ｙ1）、（ｘ2／画像移動量定数，０）で囲まれた領域１０９となり、この領域を切り出す。この作業を全最終形状データにおいて実行する。
【００６８】
次に、テクスチャ補正手段１４について説明する。テクスチャ補正手段１４では、区間ごとに異なる時刻に撮影されたテクスチャ画像から切り出された画像をつなぎ合わせて３次元画像を生成するため、つなぎ目の色補正が必要となる。色補正は例えば、隣接する画像が接合される境界部において不連続な色調の変化がないように接合点周辺で濃度の平滑化を施す接合点周辺の濃度の平滑化（画像処理標準テキストブック  発行財団法人画像情報教育振興協会  Ｈ．９）や線形濃度変化法（画像処理標準テキストブック  発行財団法人画像情報教育振興協会  Ｈ．９）などを用いることができ、これにより濃度変換を行う。
【００６９】
次に、テクスチャ貼り付け手段１５について説明する。テクスチャ貼り付け手段１５では、各区間ごとに選択され補正されたテクスチャ画像を最終形状に貼り付けていく。最終形状上の３次元座標（ｘA，ｙA，ｚA）にあたるテクスチャ画像上の座標値を上記数式（４）〜（５）で求め、テクスチャ補正手段１４で補正して得られる画素値を貼り付ける。
【００７０】
以上のように、複数枚の画像から形状比較手段１２及びテクスチャ選択手段１３を用いて最終形状に貼り付ける画像を選択することにより、通行人や車、自転車といった障害物を除去した画像を最終形状に貼り付けることができる。
【００７１】
なお、３次元画像生成装置は、例えば、コンピュータ装置が有するＣＰＵによって実現され、必要とする３次元形状復元、形状比較、テクスチャ選択、テクスチャ補正などの処理をアプリケーションプログラムとして搭載することができる。
【００７２】
また、コンピュータ装置には上記説明した３次元形状復元、形状比較、テクスチャ選択、テクスチャ補正など行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【００７３】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【図面の簡単な説明】
【００７４】
【図１】本発明の３次元画像生成装置の構成図。
【図２】３次元形状復元手段の処理フローチャート。
【図３】画像入力処理の説明図。
【図４】画像入力処理の平面図。
【図５】同一物体におけるカメラ撮影の説明図。
【図６】モデル復元の説明図。
【図７】建物側面の撮影モデルが相対座標で表現された場合の位置合わせを示す図。
【図８】３つの撮影モデルを重ね合わせて最終形状を求める説明図。
【図９】各区間ごとに最終形状と最も重なる形状モデルを選択する説明図。
【図１０】テクスチャ画像から該当する領域を切り出す説明図。
【符号の説明】
【００７５】
１１…３次元形状復元手段
１２…形状比較手段
１３…テクスチャ選択手段
１４…テクスチャ補正手段
１５…出力手段
３１…撮影位置
３２…移動方向
３３…被撮像物体
３４…ライン方向
３５…ｘ軸
３６…ｙ軸
３７…ｚ軸
４１…カメラA
４２…カメラB
４３…カメラC
４４…カメラ角度
４５…カメラ角度
５１…撮影位置
５２…撮影位置
５３…撮影位置
５４…被撮像物体
５５…カメラ角度
５６…カメラ角度
５７…移動経路
６１…長尺画像A
６２…長尺画像B
６３…テンプレート
６４…領域
６５…ａ軸
６６…ｂ軸
７１…ｘ軸
７２…ｙ軸
７３…ｚ軸
７４…モデルＡ
７５…モデルＢ
７６…ｘ軸方向
７７…ｙ軸方向
８１…建物形状イ
８２…建物形状ロ
８３…建物形状イ−Ａ
８４…建物形状ロ−Ａ
８５…建物形状イ−Ｂ
８６…建物形状ロ−Ｂ
８７…建物形状イ−Ｃ
８８…建物形状ロ−Ｃ
８９…人
９０…車両
９１…区間I
９２…区間II
９３…区間III
９４…建物イ
９５…建物ロ
９６…建物形状イ−Ａ
９７…建物形状ロ−Ａ
９８…建物形状イ−Ｂ
９９…建物形状ロ−Ｂ
１００…建物形状イ−Ｃ
１０１…建物形状ロ−Ｃ
１０２…区間I
１０３…区間II
１０４…区間III
１０５…建物形状イ
１０６…建物形状ロ
１０７…建物形状イ−Ａ
１０８…建物形状ロ−Ａ
１０９…領域
【図１】
2006163852.tif 000008
【図２】
2006163852.tif 000009
【図３】
2006163852.tif 000010
【図４】
2006163852.tif 000011
【図５】
2006163852.tif 000012
【図７】
2006163852.tif 000013
【図６】
2006163852.tif 000014
【図８】
2006163852.tif 000015
【図９】
2006163852.tif 000016
【図１０】
2006163852.tif 000017