(57)【要約】【課題】３次元画像を精度よく生成できる画像処理方法、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体を提供する。【解決手段】撮影対象物を含む地上の所定エリアを異なる視点からラインセンサにより撮影し、画像データを取得する（Ｓ１）。そして、撮影対象物から抽出した特徴領域及び特徴線分から３次元領域及び３次元線分を生成する（Ｓ４及びＳ９）。３次元領域の近傍にある３次元線分をまとめて３次元線分群を生成し（Ｓ１２）、この３次元線分群を用いて３次元領域の高さを修正し、修正された３次元領域をもとに３次元画像である撮影対象物モデルを修正する（Ｓ１６）。【選択図】　図６
2004030440.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象物を含む地上の所定エリアを上空の異なる視点から撮影して得られた複数の２次元画像に基づいて３次元画像を生成する画像処理方法であって、
前記複数の２次元画像それぞれから、前記撮影対象物に対応する特徴領域を抽出する第１工程と、同一の前記撮影対象物に対応する前記特徴領域を前記２次元画像間で対応付ける第２工程と、対応付けられた前記特徴領域の形状及び空間位置を利用して撮影対象物の３次元モデルである撮影対象物モデルを推定する第３工程とを有するモデル推定ステップと、
前記複数の２次元画像それぞれから、前記撮影対象物に対応する特徴線分を抽出する第４工程と、同一の前記撮影対象物に対応する前記特徴線分を前記２次元画像間で対応付ける第５工程と、対応付けられた前記特徴線分の３次元座標を算出して３次元線分を生成する第６工程とを有する線分生成ステップと、
前記モデル推定ステップにより推定された前記撮影対象モデルの近傍に存在する複数の前記３次元線分をグルーピングして３次元線分群を生成する線分群生成ステップと、
前記線分群生成ステップにより生成された前記３次元線分群に基づいて、前記撮影対象物モデルを修正するフィッティングステップと
を備えることを特徴とする画像処理方法。
【請求項２】
前記フィッティングステップにより修正された前記撮影対象物モデルのうち、互いに近傍に位置する前記撮影対象物モデル同士を結合するモデルマージステップをさらに備えることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記線分群生成ステップは、前記所定エリアの高さ分布情報を利用して前記３次元線分群を生成することを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記３次元線分群生成ステップにより生成された前記３次元線分群に含まれる前記３次元線分のうち、前記撮影対象物に含まれる同一の辺に関する複数の前記３次元線分をまとめて１本の３次元線分を生成するスムージングステップをさらに備えることを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記モデル推定ステップの前記第３工程は、対応付けられた前記特徴領域の３次元座標を算出して３次元領域を生成することにより前記撮影対象物モデルを推定することを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記フィッティングステップは、前記３次元領域の高さを、当該３次元領域から推定された前記撮影対象物モデルによりグルーピングされた前記３次元線分群の高さに基づいて修正することにより前記撮影対象物モデルを修正することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記３次元線分群に含まれる前記３次元線分同士の高低差が所定の値以上であるときに、前記３次元線分群に対応する前記３次元領域に傾斜を与える傾斜ステップをさらに備えることを特徴とする請求項５に記載の画像処理方法。
【請求項８】
前記２次元画像に含まれる前記撮影対象物の画像を対応付ける際に得られる前記３次元領域または前記３次元線分の傾斜情報に基づいて、前記３次元線分群に対応する前記３次元領域に傾斜を与える傾斜ステップをさらに備えることを特徴とする請求項５に記載の画像処理方法。
【請求項９】
請求項１〜８のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１０】
請求項１〜８のいずれか１項に記載の画像処理方法をコンピュータに実行させる画像処理プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）分野において、特に都市部における３次元地図の需要が高まっている。その利用形態としては、カーナビゲーションなどに用いる道路情報、都市災害ＧＩＳなどが挙げられる。また、電波の伝播解析、氾濫解析等の解析にも詳細かつ精度が高い３次元地図が求められている。
【０００３】
【発明が解決しようとする課題】
そういった３次元地図の作成方法の一つとして、対象エリアを上空の異なる視点から撮影した複数の２次元画像を用いて、対象エリアの３次元画像を生成する方法があると発明者は考えた。
【０００４】
このような３次元画像を生成する場合、複数の２次元画像に含まれる同一の撮影対象物に関する画像に基づいて、該撮影対象物の屋根などの特徴部分の空間位置を求めた上で該撮影対象物の３次元画像を生成する。このように複数の２次元画像を用いて撮影対象物の３次元画像を生成する際には、３次元画像を精度よく生成することが好ましい。
【０００５】
本発明は、３次元画像を精度よく生成できる画像処理方法、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
このような目的を達成するために、本発明による画像処理方法は、撮影対象物を含む地上の所定エリアを上空の異なる視点から撮影して得られた複数の２次元画像に基づいて３次元画像を生成する画像処理方法であって、前記複数の２次元画像それぞれから、前記撮影対象物に対応する特徴領域を抽出する第１工程と、同一の前記撮影対象物に対応する前記特徴領域を前記２次元画像間で対応付ける第２工程と、対応付けられた前記特徴領域の形状及び空間位置を利用して撮影対象物の３次元モデルである撮影対象物モデルを推定する第３工程とを有するモデル推定ステップと、前記複数の２次元画像それぞれから、前記撮影対象物に対応する特徴線分を抽出する第４工程と、同一の前記撮影対象物に対応する前記特徴線分を前記２次元画像間で対応付ける第５工程と、対応付けられた前記特徴線分の３次元座標を算出して３次元線分を生成する第６工程とを有する線分生成ステップと、前記モデル推定ステップにより推定された前記撮影対象モデルの近傍に存在する複数の前記３次元線分をグルーピングして３次元線分群を生成する線分群生成ステップと、前記線分群生成ステップにより生成された前記３次元線分群に基づいて、前記撮影対象物モデルを修正するフィッティングステップとを備えることを特徴とする。
【０００７】
上記した画像処理方法は、撮影対象物モデルの近傍に存在する３次元線分をグルーピングして生成された３次元線分群を用いて撮影対象物モデルを修正している。３次元線分は３次元領域よりも空間位置精度が良いため、このように撮影対象物モデルを修正することで３次元画像である撮影対象物モデルを精度良く生成することができる。
【０００８】
また、画像処理方法は、フィッティングステップにより修正された撮影対象物モデルのうち、互いに近傍に位置する撮影対象物モデル同士を結合するモデルマージステップをさらに備えることを特徴としてもよい。これによって、複雑な形状を有する撮影対象物に対しても好適に撮影対象物モデルを生成することができる。
【０００９】
また、画像処理方法は、線分群生成ステップが、所定エリアの高さ分布情報を利用して３次元線分群を生成することを特徴としてもよい。これによって、３次元領域が、３次元領域に対応する撮影対象物の面の形状に対して大きな誤差を有するときでも、３次元線分を好適にグルーピングすることができる。
【００１０】
また、画像処理方法は、３次元線分群生成ステップにより生成された３次元線分群に含まれる３次元線分のうち、撮影対象物に含まれる同一の辺に関する複数の３次元線分をまとめて１本の３次元線分を生成するスムージングステップをさらに備えることを特徴としてもよい。撮影対象物が有する一辺に対し複数の３次元線分が生成されているときには、このスムージングステップによって一辺に対し１本の３次元線分を特定することができる。
【００１１】
また、画像処理方法は、モデル推定ステップの第３工程が、対応付けられた特徴領域の３次元座標を算出して３次元領域を生成することにより撮影対象物モデルを推定することを特徴としてもよい。これによって、撮影対象物モデルを好適に推定することができる。
【００１２】
また、画像処理方法は、フィッティングステップが、３次元領域の高さを、当該３次元領域から推定された撮影対象物モデルによりグルーピングされた３次元線分群の高さに基づいて修正することにより撮影対象物モデルを修正することを特徴としてもよい。これによって撮影対象物の上面を精度良くモデル化できるので、撮影対象物モデルをさらに精度良く生成することができる。
【００１３】
また、画像処理方法は、３次元線分群に含まれる３次元線分同士の高低差が所定の値以上であるときに、３次元線分群に対応する３次元領域に傾斜を与える傾斜ステップをさらに備えることを特徴としてもよい。あるいは、２次元画像に含まれる撮影対象物の画像を対応付ける際に得られる３次元領域または３次元線分の傾斜情報に基づいて、３次元線分群に対応する３次元領域に傾斜を与える傾斜ステップをさらに備えることを特徴としてもよい。これらのような傾斜ステップを備えることによって、傾斜した面を有する撮影対象物の撮影対象物モデルを好適に生成することができる。
【００１４】
また、本発明による画像処理プログラムは、上記した画像処理方法をコンピュータに実行させることを特徴とする。
【００１５】
また、本発明による記録媒体は、上記した画像処理方法をコンピュータに実行させる画像処理プログラムを記録したことを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面とともに本発明による画像処理方法、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１７】
図１は、本実施形態による画像処理方法を実施する画像処理装置１を説明する図である。画像処理装置１は、ワークステーション、パーソナルコンピュータ等の計算機１０、表示装置となるモニタ１１、入力装置であるキーボード１２、及びマウス１３を備えている。なお、計算機１０には、内部記録装置としてハードディスクを搭載するとともに、各種の外部記録装置が接続されていてもよい。
【００１８】
計算機１０の内部あるいは外部の記録装置には、後述する飛翔体に搭載される撮像装置２内のハードディスク２１に記録された画像データ及び高さ分布情報データが転送される。この転送は、撮像装置２と画像データ処理装置１とを無線、有線で接続して行うほか、脱着可能な記録媒体を介して行っても良い。
【００１９】
図２は、撮像装置２の構成を説明する図である。撮像装置２は、図２（ａ）に示されるように、航空機や飛行船、ヘリコプタといった飛翔体３の下部に取り付けられ、飛翔体３の飛行中に上空から撮影対象物を含む地上の所定エリアの２次元画像を取得するものである。
【００２０】
図２（ｂ）は、撮像装置２の構成を示す図である。図２（ｂ）では、飛翔体３の通常の進行方向を左向きとして示している。撮像装置２は、データ処理部２０、ハードディスク２１、撮影部（カメラ）２７、距離測定部２８を備えている。
【００２１】
撮影部２７は、撮影対象物を含む所定エリアの２次元画像を取得するための装置である。ここで、図３は、撮影部２７が上空から下方を撮影する概念を示す図である。ラインセンサ２７Ｂ、２７Ｆ、２７Ｎは、複数の画素ｂを一列に並べて構成されており、飛翔体３の進行に従って連続的に撮影する。また、各ラインセンサは飛翔体３の進行方向に対する垂直方向を長手方向として、所定の間隔をあけて設置されている。また、ラインセンサ２７Ｆの撮影方向ベクトルＡ１と、ラインセンサ２７Ｎの撮影方向ベクトルＡ２と、ラインセンサ２７Ｂの撮影方向ベクトルＡ３とは、ある一点で交わっている。この結果、ラインセンサ２７Ｆは飛翔体３の前寄りの下方の２次元画像データである画像データＤ１を、ラインセンサ２７Ｎは飛翔体３の直下の２次元画像データである画像データＤ２を、ラインセンサ２７Ｂは飛翔体３の後ろ寄り下方の２次元画像データである画像データＤ３をそれぞれ取得することができる。
【００２２】
図４は、撮影対象物３００上のある点Ｐを撮影する瞬間の各ラインセンサの位置を示している。図４に示すように、ラインセンサ２７Ｆは、飛翔体３の進行方向（図４の矢印ａ）に対して前寄りの下方（撮影方向ベクトルＡ１）に撮影対象物３００を捉える。ラインセンサ２７Ｎは、飛翔体３直下（撮影方向ベクトルＡ２）に撮影対象物３００を捉える。ラインセンサ２７Ｂは、飛翔体３の進行方向に対して後ろ寄りの下方（撮影方向ベクトルＡ３）に撮影対象物３００を捉える。図５（ａ）は、こうして撮影された画像データのうち、画像データＤ２の一例である。画像データＤ２は、撮影対象物３００を図４の撮影方向ベクトルＡ２の方向から撮影して得られた画像３００ａを含んでいる。また、図５（ｂ）は、画像データＤ３の一例である。画像データＤ３は、撮影対象物３００を図４の撮影方向ベクトルＡ３の方向から撮影して得られた画像３００ｂを含んでいる。なお、図５（ａ）、図５（ｂ）ともに、図中の矢印ａは飛翔体３の進行方向を示す。
【００２３】
また、図２（ｂ）に示す距離測定部２８は、撮像装置２から撮影対象物を含む地上の所定エリア内の複数のポイントまでの距離を測定する装置である。所定エリア内における複数のポイントの密度は、１ポイントの計測につき要する時間を考慮した上で必要な解像度を得るのに適した密度とするとよい。
【００２４】
距離測定部２８は、レーザプロファイラ２８ａを備えている。レーザプロファイラ２８ａは、地上へ向けてレーザを照射し、該レーザが反射して戻るまでの時間を検出することにより、撮影対象物を含む地上の所定エリア内に設定されたポイントからの距離を測定する。そして、レーザプロファイラ２８ａは、測定結果に基づいて当該所定エリアの高さ分布情報データＤ４を生成する。この高さ分布情報データＤ４は、３次元座標値を持つランダム点群データである。なお、レーザプロファイラ２８ａは、例えば高度３０００ｍ上空からの測定で２ｍ程度の解像度となるような密度でポイントを測定するとよい。
【００２５】
データ処理部２０は、撮影部２７により取得された画像データＤ１〜Ｄ３、及び距離測定部２８により生成された高さ分布情報データＤ４を入力する。そして、データ処理部２０は、画像データＤ１〜Ｄ３及び高さ分布情報データＤ４をハードディスク２１へ出力する。ハードディスク２１は、画像データＤ１〜Ｄ３及び高さ分布情報データＤ４を記録する。
【００２６】
以下、本実施形態による画像処理方法について具体的に説明する。本実施形態による画像処理方法は、画像データＤ１〜Ｄ３間からデータ間のマッチングにより生成された３次元領域及び３次元線分と、高さ分布情報データＤ４とを用いて３次元画像である撮影対象物モデルを生成する方法である。
【００２７】
図６は、本実施形態による画像処理方法を含む、３次元画像の生成方法を示すフローチャートである。最初のステップＳ１では、まず、ラインセンサ２７Ｆ、２７Ｎ、２７Ｂを備える撮像装置２を用い、上空から撮影対象物を含む地上の所定エリアを撮像して２次元画像データである画像データＤ１〜Ｄ３を生成する。そして、画像データＤ１〜Ｄ３を、ハードディスク２１といった記録装置に一旦記録させた後、計算機１０に取り込む。
【００２８】
続くステップＳ２では、計算機１０に取り込まれた画像データＤ２及びＤ３を用いて、撮影対象物に対応する特徴領域を抽出し、特徴領域に関する領域データＤ２ａ及びＤ３ａを生成する（第１工程）。図７は、ステップＳ２において生成される（ａ）領域データＤ２ａ及び（ｂ）領域データＤ３ａを示す図である。ステップＳ２では、画像データＤ２に含まれている画像３００ａといった撮影対象物の画像から、一定の濃淡レベルで特徴付けられる特徴領域を抽出する。このとき、特徴領域の抽出方法として次の２種類のいずれか一方の方法を用いるとよい。１つの方法は、画像データを特徴が一様と考えられる小領域に分割しておき、その後に隣接する小領域間の特徴を調べ、類似した特徴を持つ小領域に逐次統合する領域拡張法である。他の方法は、画像データに基づく濃淡ヒストグラムの谷部を特徴領域の境界とすることでクラスタリングを行うレベルスライシング法である。図７（ａ）では特徴領域の一例として、略一定の濃淡レベルである画像３００ａの屋根部分を特徴領域３０１ａとしている。
【００２９】
このようにして、ステップＳ２では、画像データＤ２に特徴領域に関する情報を付加した領域データＤ２ａを生成する。また、ステップＳ２では、画像データＤ３についても画像データＤ２と同様に、例えば図７（ｂ）に示す画像３００ｂといった撮影対象物の画像から特徴領域３０１ｂといった特徴領域を抽出する。そして、画像データＤ３に特徴領域に関する情報を付加した領域データＤ３ａを生成する。
【００３０】
ステップＳ３では、領域データＤ２ａと領域データＤ３ａとの双方に含まれる、同一の撮影対象物の特徴領域をデータ間で対応付ける（第２工程）。例えば、図７（ａ）に示した領域データＤ２ａには、画像３００ａから抽出された特徴領域３０１ａが含まれている。一方、図７（ｂ）に示した領域データＤ３ａには、画像３００ｂから抽出された特徴領域３０１ｂが含まれている。画像３００ａ及び画像３００ｂは、同一の撮影対象物である建造物３００（図４に示す）に関する画像であるので、これらの画像から抽出された特徴領域３０１ａ及び３０１ｂは、その形状や大きさなどによって対応付けられる。このとき、対応する特徴領域を探索する方法として、２つの画像の投影中心と対象点とが同一平面内に含まれる（共面条件）ことを利用して、該平面と画像とが交わる直線（エピポーラライン）上を探索する方法を用いるとよい。こうして、特徴領域３０１ａ及び３０１ｂは同一の撮影対象物の特徴領域として互いに対応付けられる。
【００３１】
ステップＳ４では、ステップＳ３により対応付けられた特徴領域から、対象領域の３次元座標が領域データＤ２ａ及び領域データＤ３ａに基づいて前方後会法により算出される。こうして３次元座標が求められた対象領域をもとに、特徴領域の空間位置が求められて３次元領域が生成される。そして、この３次元領域から、該３次元領域を含む撮影対象物の３次元画像（ソリッドモデル）である撮影対象物モデルを推定する（第３工程）。例えば、３次元領域が有する辺を含んで地面に垂直な平面を発生させて撮影対象物モデルを推定するとよい。
【００３２】
以上の第１工程ないし第３工程によって、モデル推定ステップＳ５が構成される。
【００３３】
ステップＳ６では、計算機１０に取り込まれた画像データＤ２及びＤ３を用いて、撮影対象物の画像の濃淡により生じるエッジに関するエッジ画像を生成する。エッジ画像の生成方法としては、Ｇａｕｓｓｉａｎフィルタの微係数を使って、画像の濃淡レベルの勾配の極大を求めることによりエッジの抽出を行うＣａｎｎｙ法などを用いるとよい。また、濃淡レベルの勾配が小さいものについては、濃淡レベルの勾配が大きいエッジに繋がっているものをエッジとするとよい。
【００３４】
ステップＳ７では、ステップＳ６により生成されたエッジ画像から、所定の長さを有するエッジである特徴線分を抽出する（第４工程）。特徴線分の抽出方法としては、例えば複数の画素が２次元状に配列されてその一部の画素が線分の一部分を示すようなテンプレートを数種類用意し、エッジをテンプレートに照合して特徴線分であることを判別し、抽出するとよい。図８は、ステップＳ７によって生成される（ａ）画像データＤ２から特徴線分を抽出した線分データＤ２ｂ、及び（ｂ）画像データＤ３から特徴線分を抽出した線分データＤ３ｂを示す図である。図８（ａ）では特徴線分の一例として、画像３００ａにおいて濃淡レベルの変化が大きい屋根部分の周囲の直線成分であるところの辺を特徴線分３０２ａ１〜３０２ａ４として抽出している。また、図８（ｂ）でも同様に、画像３００ｂにおいて濃淡レベルの変化が大きい屋根部分の周囲の辺を特徴線分３０２ｂ１〜３０２ｂ４として抽出している。
【００３５】
ステップＳ８では、線分データＤ２ｂと線分データＤ３ｂとの双方に含まれる、同一の撮影対象物の特徴線分が対応付けられる（第５工程）。例えば、図８（ａ）に示した線分データＤ２ｂには、画像３００ａから抽出された特徴線分３０２ａ１〜３０２ａ４が含まれている。一方、図８（ｂ）に示した線分データＤ３ｂには、画像３００ｂから抽出された特徴線分３０２ｂ１〜３０２ｂ４が含まれている。画像３００ａ及び画像３００ｂは、同一の撮影対象物である建造物３００（図４に示す）に関する画像であるので、これらの画像から抽出された特徴線分３０２ａ１〜３０２ａ４と３０２ｂ１〜３０２ｂ４とは、同一の撮影対象物の、同一箇所の特徴線分として互いに対応付けられる。この対応付けの方法としては、特徴線分の形状、特徴線分の両側の濃淡レベル、特徴線分の傾き、周囲の特徴領域との位置関係、特徴線分の長さ等が一致するような特徴線分同士を対応付ける。このとき、特徴領域の対応付けと同様に、対応する特徴線分をエピポーララインを用いて探索するとよい。
【００３６】
また、ステップＳ８では、ステップＳ４によって生成された３次元領域を利用して特徴線分を対応付けるとよい。すなわち、特徴線分は画像データ中に比較的多く存在するため、その対応付けに時間がかかり、対応付けの間違いも多い。これを解決するため、特徴線分をエピポーララインを用いて探索するときに該特徴線分に対応する撮影対象物と同一の撮影対象物に関する３次元領域の３次元座標の高さ成分を利用して探索範囲を狭めるとよい。
【００３７】
ステップＳ９では、ステップＳ８により対応付けられた特徴線分から、撮影対象物の特徴点（特徴線分の端点など）に対応する点が抽出される。そして、特徴点の３次元座標が線分データＤ２ｂ及び線分データＤ３ｂに基づいて前方後会法により算出される。こうして３次元座標が求められた特徴点をもとに、特徴線分の空間位置が求められて３次元線分が生成される（第６工程）。
【００３８】
以上の第４工程ないし第６工程によって、線分生成ステップＳ１０が構成される。
【００３９】
ここで、図２（ｂ）に示した距離測定部２８を用いて、撮影対象物を含む地上の所定エリアの高さ分布情報を取得する。ステップＳ１１では、地上へ向けてレーザを照射し、該レーザが反射して戻るまでの時間を検出することにより、撮影対象物を含む地上の所定エリア内の複数のポイントからの距離が測定される。そして、この測定結果から所定エリアの高さ分布に関する高さ分布情報データＤ４が生成される。
【００４０】
ステップＳ１２では、ステップＳ５によって推定された撮影対象物モデルを用いて、ステップＳ１０によって生成された３次元線分のうち１つの撮影対象物に関する３次元線分であると推定されるものを対応するグループにまとめ（グルーピング）、３次元線分群を生成する（線分群生成ステップ）。すなわち、撮影対象物モデルの近傍に存在する複数の３次元線分をグルーピングして３次元線分群とする。このとき、ステップＳ１１によって生成された高さ分布情報データＤ４を利用して、３次元線分群を生成するとよい。例えば、ある撮影対象物モデルの一部が欠けており、実際の撮影対象物と形状が異なっているとする。こういった場合でも、高さ分布情報データＤ４に含まれる、当該撮影対象物付近の高さ分布は実際の撮影対象物の形状を良く表している。よって、その高さ分布にあわせて３次元線分群を生成するといったように高さ分布情報データＤ４を利用するとよい。こうすれば、撮影対象物モデルが正確でない場合でも好適に３次元線分群を生成できる。
【００４１】
ステップＳ１３では、ステップＳ４によって生成された３次元領域と、ステップＳ１０によって生成された３次元線分とを３次元座標空間へ投影する。図９は、３次元座標空間に投影された３次元線分及び３次元領域を示す図である。なお、この図の中で、３次元線分３０２１〜３０２４は、３次元領域３０１の近傍であると判断されてグルーピングされ、３次元線分群を構成している。なお、図９では３次元線分をそれぞれ１本の線分３０２１〜３０２４として明示しているが、実際の３次元線分は細かな線分であり、線分３０２１〜３０２４の付近に散在している。
【００４２】
ステップＳ１４では、ステップＳ１２により生成された３次元線分群に含まれる３次元線分のうち、撮影対象物に含まれる同一の辺に関する複数の前記３次元線分をまとめて１本の３次元線分が生成される（スムージングステップ）。図１０は、ステップＳ１３において３次元座標空間に投影された、同一の撮影対象物についての３次元領域及び３次元線分群を、Ｘ方向から見たときの空間位置の一例を示す図である。図１０に示す図は、横軸にＹ座標、縦軸にＺ座標をとり、３次元領域３０１及び３次元線分を示している。図１０では、３次元線分群に含まれる３次元線分は高さ約４２ｍ〜約４７ｍの範囲で散在している。ステップ１４では、この散在した３次元線分に対して、所定の方法により１本の線分を決定してその線分を新たな３次元線分とする（スムージング）。所定の方法としては、例えばある３次元線分群に含まれる複数の３次元線分それぞれの高さの最頻値を、スムージングされた３次元線分の高さとするとよい。図１０に示す３次元線分群の場合、新たな３次元線分を点線Ａの高さ（約４３ｍ）に生成するとよい。
【００４３】
このとき、ステップＳ１４によってスムージングされた３次元線分のうち、同一の撮影対象物に対応する複数の３次元線分に高さが互いに異なるものが含まれる場合がある。こういった場合は、該当する撮影対象物の面が傾斜していることが考えられる。そこで、ステップＳ１５として、複数の３次元線分それぞれの中点の高さをその３次元線分の平均高さとし、そのそれぞれの平均高さ同士の高低差が所定の値より大きいときに、面が傾斜していると判別するとよい。そして、この高低差から求まる傾斜を、対応する３次元領域に与えるとよい（傾斜ステップ）。
【００４４】
また、ステップＳ１５としては、以下の方法を用いてもよい。すなわち、ステップＳ３において特徴領域を対応付ける際に得られる傾斜情報に基づいて、３次元領域に傾斜を与える。あるいは、ステップＳ８において特徴線分を対応付ける際に得られる傾斜情報に基づいて、３次元領域に傾斜を与える。このうち特徴線分の対応付けの際には、互いの位置がほぼ等しくて画像データ上での傾きが異なる特徴線分が存在する場合に、例えば対応する３次元線分の傾斜角を推定しつつ対応付けて、両端の特徴点の座標が合致する傾斜角を求める。こうして、３次元線分の傾斜が求められる。また、３次元領域についても同様に求めることができる（傾斜ステップ）。
【００４５】
ステップＳ１６では、ステップＳ５によって生成された撮影対象物モデルを修正し（フィッティングステップ）、建物を構成する要素を加えて撮影対象物の３次元画像（ソリッドモデル）を生成する。その方法の一例として、まず３次元線分群の高さに基づいて、対応する３次元領域の高さを修正する。図１０に示したとおり、３次元領域の高さは、実際の高さ（スムージングされた３次元線分の高さ）に比べて、メートルオーダーでずれている。そこで、３次元画像を生成する際には、３次元領域の高さを改めて求める必要がある。ステップＳ１６では、ステップＳ１３によってスムージングされた３次元線分を利用して、この３次元線分の高さと同じ高さになるように３次元領域を修正する。図１０に示した３次元領域３０１の場合、スムージングされた３次元線分の高さ（点線Ａ）と同じ高さへ３次元領域３０１の高さを修正する。
【００４６】
そして、３次元線分群の高さに基づいて修正された３次元領域を用いて、ステップＳ５によって推定された撮影対象物モデルを修正し、建物を構成する要素を加えて撮影対象物の３次元画像（ソリッドモデル）を生成する。図１１に、修正された撮影対象物モデルの一例を示す。撮影対象物モデル３０５は、修正された３次元領域３０３に、３次元領域３０３の一辺を含み、地面（Ｚ＝０の平面）に垂直な平面である側壁３０４を加えて形成されている。なお、３次元線分３０２１ａ〜３０２４ａは、３次元領域３０３を修正するときに用いられるスムージング後の３次元線分である。
【００４７】
ステップＳ１７では、ステップＳ１６によって生成されたソリッドモデルのうち、近接する位置関係にあるソリッドモデル同士を結合する（モデルマージステップ）。複数のソリッドモデルがＸ方向及びＹ方向に近接しているような場合、それらのソリッドモデルは同一の撮影対象物に関するものであると言える。ステップＳ１７では、そのようなソリッドモデル同士を結合して、実際の撮影対象物の形状と略等しいモデルを生成する。このとき、同一の撮影対象物に関するソリッドモデルであると判別するための近接距離を、建築工事施工上等の制約により、５０ｃｍ以上の間隔を設けるのが通例であり、５０ｃｍを基準とするとよい。
【００４８】
以上に詳述した、本実施形態による画像処理方法は、以下の効果を有する。すなわち、本実施形態による画像処理方法は、撮影対象物モデルの近傍に存在する３次元線分をグルーピングして生成された３次元線分群を用いて撮影対象物モデルを修正している。３次元線分は３次元領域よりも空間位置精度が良いため、このように撮影対象物モデルを修正することで３次元画像である撮影対象物モデルを精度良く生成することができる。
【００４９】
また、本実施形態による画像処理方法は、フィッティングステップにより修正された撮影対象物モデルのうち、互いに近傍に位置する撮影対象物モデル同士を結合するモデルマージステップを備えることが好ましい。これによって、複雑な形状を有する撮影対象物に対しても好適に撮影対象物モデルを生成することができる。
【００５０】
また、本実施形態による画像処理方法は、線分群生成ステップが、高さ分布情報を利用して３次元線分群を生成することが好ましい。これによって、３次元領域が、該３次元領域に対応する撮影対象物の面の形状に対して大きな誤差を有するときでも、３次元線分を好適にグルーピングすることができる。
【００５１】
また、本実施形態による画像処理方法は、３次元線分群生成ステップにより生成された３次元線分群に含まれる３次元線分のうち、撮影対象物に含まれる同一の辺に関する複数の３次元線分をまとめて１本の３次元線分を生成するスムージングステップを備えている。画像処理方法はスムージングステップを備えることが好ましく、撮影対象物が有する一辺に対し複数の３次元線分が生成されているときには、これによって一辺に対し１本の３次元線分を特定することができる。
【００５２】
また、本実施形態による画像処理方法は、モデル推定ステップの第３工程が、対応付けられた特徴領域の３次元座標を算出して３次元領域を生成している。そして、この３次元領域から撮影対象物モデルを推定している。画像処理方法はこのような第３工程を備えることが好ましく、これによって、撮影対象物モデルを好適に推定することができる。
【００５３】
また、本実施形態による画像処理方法は、３次元領域の高さを、当該３次元領域から推定された撮影対象物モデルによりグルーピングされた３次元線分群の高さに基づいて修正することが好ましい。これによって撮影対象物の上面を精度良くモデル化できるので、撮影対象物モデルをさらに精度良く生成することができる。
【００５４】
また、本実施形態による画像処理方法は、３次元線分群に含まれる３次元線分同士の高低差が所定の値以上であるときに、３次元線分群に対応する３次元領域に傾斜を与える傾斜ステップを備えることが好ましい。あるいは、傾斜ステップは、２次元画像に含まれる撮影対象物の画像を対応付ける際に得られる３次元領域または３次元線分の傾斜情報に基づいて、３次元線分群に対応する３次元領域に傾斜を与えてもよい。これらのような傾斜ステップを備えることによって、傾斜した面を有する撮影対象物の撮影対象物モデルを好適に生成することができる。
【００５５】
ここで、上記した実施形態に係る画像処理プログラム、および当該画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体（以下、単に記録媒体という）について説明する。ここで、記録媒体とは、コンピュータのハードウェア資源に備えられている読み取り装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読み取り装置にプログラムの記述内容を伝達できるものである。このような記録媒体としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されるメモリなどが該当する。
【００５６】
図１２は、本実施形態による記録媒体の構成図である。記録媒体５０は、プログラム領域５０ａを備えている。このプログラム領域５０ａには、画像処理プログラム５１が記録されている。画像処理プログラム５１は、撮影対象物を含む地上の所定エリアを上空の異なる視点から撮影して得られた複数の２次元画像に基づいて３次元画像を生成するための画像処理プログラムである。
【００５７】
画像処理プログラム５１は、図１２に示すように、処理を統括するメインモジュール５１ａと、複数の２次元画像それぞれから、撮影対象物に対応する特徴領域を抽出する第１処理、同一の撮影対象物に対応する特徴領域を２次元画像間で対応付ける第２処理、及び、対応付けられた特徴領域の３次元座標を算出して３次元領域を生成することにより撮影対象物の３次元モデルである撮影対象物モデルを推定する第３処理を有するモデル推定処理をコンピュータに実行させるモデル推定モジュール５１ｂと、複数の２次元画像それぞれから、撮影対象物に対応する特徴線分を抽出する第４処理、同一の撮影対象物に対応する特徴線分を２次元画像間で対応付ける第５処理、及び、対応付けられた特徴線分の３次元座標を算出して３次元線分を生成する第６処理を有する線分生成処理をコンピュータに実行させる線分生成モジュール５１ｃと、モデル推定処理により推定された撮影対象モデルの近傍に存在する複数の３次元線分を所定エリアの高さ分布情報を利用しつつグルーピングして３次元線分群を生成する線分群生成処理をコンピュータに実行させる線分群生成モジュール５１ｄと、３次元線分群生成処理により生成された３次元線分群に含まれる３次元線分のうち、撮影対象物に含まれる同一の辺に関する複数の３次元線分をまとめて１本の３次元線分を生成するスムージング処理をコンピュータに実行させるスムージングモジュール５１ｅと、３次元線分群に含まれる３次元線分同士の高低差が所定の値以上であるときに、３次元線分群に対応する３次元領域に傾斜を与える傾斜処理をコンピュータに実行させる傾斜モジュール５１ｆと、３次元領域の高さを、当該３次元領域から推定された撮影対象物モデルによりグルーピングされた３次元線分群の高さに基づいて修正することにより撮影対象物モデルを修正するフィッティング処理をコンピュータに実行させるフィッティングモジュール５１ｇと、フィッティング処理により修正された撮影対象物モデルのうち、互いに近傍に位置する撮影対象物モデル同士を結合するモデルマージ処理をコンピュータに実行させるモデルマージモジュール５１ｈとを備えて構成される。
【００５８】
ここで、傾斜モジュール５１ｆは、上記した傾斜処理の代わりに、３次元線分群に含まれる３次元線分同士の高低差が所定の値以上であるときに、３次元線分群に対応する３次元領域に傾斜を与える傾斜処理をコンピュータに実行させても良い。
【００５９】
上記した画像処理プログラムをコンピュータに読みとらせてこれを実行させることにより、前述した画像処理方法が実行される。
【００６０】
本発明による画像処理方法、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体は、上記した実施形態に限られるものではなく、様々な変形が可能である。例えば、図６に示したフローチャートにおいて、ステップＳ１２では、ステップＳ５により推定された撮影対象物モデルの近傍にある３次元線分をグルーピングして３次元線分群を生成している。３次元線分をグルーピングする際には、撮影対象物モデルとして、ステップＳ４により生成された３次元領域の近傍に存在する３次元線分をグルーピングしてもよい。
【００６１】
また、上記した実施形態では、画像データＤ２及びＤ３を画像処理に用いている。画像データはこの組み合わせ以外にも、Ｄ１及びＤ３や、Ｄ１及びＤ２を用いてもよい。Ｄ１〜Ｄ３のうち好適な組み合わせを選択することで、本画像処理方法を実施することができる。
【００６２】
【発明の効果】
本発明による画像処理方法、画像処理プログラム及びそれを記録する記録媒体は、撮影対象物モデルの近傍に存在する３次元線分をグルーピングして生成された３次元線分群を用いて撮影対象物モデルを修正している。３次元線分は３次元領域よりも空間位置精度が良いため、このように撮影対象物モデルを修正することで３次元画像である撮影対象物モデルを精度良く生成することができる。
【図面の簡単な説明】
【図１】本実施形態による画像処理方法の実施形態を実施する画像処理装置１を説明する図である。
【図２】図２（ａ）は、飛翔体上の撮像装置の配置を説明する図である。図２（ｂ）は、撮像装置２の内部構成を示す図である。
【図３】撮影部が上空から下方を撮影する概念を示す図である。
【図４】建造物上のある点を撮影する瞬間の各ラインセンサの位置を示す図である。
【図５】図５（ａ）は、画像データＤ２の一例である。図５（ｂ）は、画像データＤ３の一例である。
【図６】本実施形態による画像処理方法を含む、３次元画像の生成方法を示すフローチャートである。
【図７】図７（ａ）は、ステップＳ２において生成される領域データＤ２ａを示す図である。図７（ｂ）は、ステップＳ２において生成される領域データＤ３ａを示す図である。
【図８】図８（ａ）は、ステップＳ７によって生成される画像データＤ２から特徴線分を抽出した線分データＤ２ｂを示す図である。図８（ａ）は、ステップＳ７によって生成される画像データＤ３から特徴線分を抽出した線分データＤ３ｂを示す図である。
【図９】３次元座標空間に投影された３次元線分及び３次元領域を示す図である。
【図１０】ステップＳ１２において３次元座標空間に投影された、同一の撮影対象物についての３次元領域及び３次元線分群を、Ｘ方向から見たときの空間位置の一例を示す図である。
【図１１】修正された撮影対象物モデルの一例を示す図である。
【図１２】本実施形態による記録媒体の構成図である。
【符号の説明】
１…画像処理装置、１０…計算機、１１…モニタ、１２…キーボード、１３…マウス、２…撮像装置、２０…データ処理部、２１…ハードディスク、２７…撮像部、２７Ｆ、２７Ｎ、２７Ｂ…ラインセンサ、２８…距離測定部、２８ａ…レーザプロファイラ。
【図１】
2004030440.tif 000003
【図２】
2004030440.tif 000004
【図３】
2004030440.tif 000005
【図４】
2004030440.tif 000006
【図５】
2004030440.tif 000007
【図６】
2004030440.tif 000008
【図７】
2004030440.tif 000009
【図８】
2004030440.tif 000010
【図９】
2004030440.tif 000011
【図１０】
2004030440.tif 000012
【図１１】
2004030440.tif 000013
【図１２】
2004030440.tif 000014