Automatic Recognition and 3D Reconstruction of Buildings through Computer Vision and Digital Photogrammetry (2000)

In recent years, the fields of photogrammetry and computer vision have naturally grown towards each other. Computer vision seeks to develop algorithms for automatic extraction of information from imagery, while photogrammetric routines force algorithms to obtain required information as precisely as possible. The conuence of these two disciplines promises to produce results much greater than the contributions of either field alone. The present work is an attempt for integrating the contribution of both fields for the collection of buildings from complex scenes of aerial images. It is mainly concerned with introducing the new concepts and development of robust methods in a hierarchical framework, for a data-driven reconstruction of generic plane-face building objects through the integration of computer vision and digital photogrammetric techniques. The proposed approach is based on the pragmatic assumption that building roofs are composed of generic planesurfaces, so that a plane-face solid model, commonly called polyhedral, can approximate a complex building and is used to support the reconstruction process. In addition, there is a strong coupling between 2D image and 3D object space in order to achieve reliable and precise results. This is realized by a mutual design approach. A boundary representation (b-rep) of a coarse building hypothesis is generated in a bottom-up, data-driven approach from simple qualitative geometric primitives in image domain to more complex quantitative model primitives in object domain. Subsequently, the hypothesis model verification is performed in a top-down modeldriven process to determine a reliable and accurate geometric description of the 3D structure elements of a reconstructed coarse building model. Conceptually, the entire spectrum of this research work can be divided into three fundamental steps of recognition, reconstruction, and hypothesis verification. Although this subdivision has no definitive boundaries, it does provide a useful framework for categorizing and describing the various processes that are essential components of an autonomous image analysis system. The recognition part starts with a coarse segmentation of DSM in order to label areas (regions of interest)within aerial images, which have a high expectancy of representing individual buildings. This process is based on a morphological top-hat transformation. Furthermore, geometric characteristics of surfaces are used to extract at-pixel surface type within detected regions of interest. The extracted pixels serve as the seed regions to a least squares planar fit region growing algorithm to partition the image surface into meaningful plane-roof regional primitives. To move to the more model-oriented representation of the buildings, which is carried out in the reconstruction part, the intermediate extracted 2D plane-roof regions are projected back into the object space, called 3D plane-roof polygons. This is performed using a synthesis robust parameter estimator technique developed in this thesis. In order to describe the interrelation between these 3D geometric primitives, the Polygons Adjacency Relationships (PAR) is computed. The adjacency relationships are defined based on Voronoi diagrams and describe the topological properties, in particular the neighborhood relationships between the basic elements of the roof structure. Based on the computed PAR the compatible adjacent 3D polygons are merged into the larger 3D plane-roof polygon and its symmetry with respect to their adjacent polygons is also defined and stored as its attributes for further processes. These 3D primitives along their adjacency relationships information and derived attributes are input to the POLY-MODELER, where they are geometrically and/or topologically combined to generate the coarse building model. The POLY-MODELER is a new model generator tool, which is originally developed in this study. It generates the boundary representation (b-rep) of a coarse hypothesis building model using the 3D intersection of adjacent polygons. Finally, the modified, highly accurate building model is generated in the hypothesis verification process in a top-down fashion. The reconstructed coarse building undergoes a refinement process based on FBMV (Feature Based Model Verification) concept. Treating the generated coarse building hypothesis as evidence leads to a set of confidence intervals in image space that can be used as the search space to find the corresponding 2D image primitives and performing a consistency verification of the reconstructed coarse model. An important component of the FBMV method is the ability to solve the model parameters by simultaneously fitting all the geometric primitives of the 3D model into the corresponding 2D image features while at the same time the geometrical and topological model information is imposed into the process as external and/or internal constraints. 
Innerhalb der letzten Jahre haben sich die Bereiche Computer Vision und Photogrammetrie immer starker angenahert. Computer Vision zielt vor allem auf die Entwicklung von Algorithmen zur automatischen Gewinnung von Information aus Bildern; in photgrammetrische Prozesse wird haufig noch versucht, die benotigte Information so genau wie moglich zu extrahieren. Die Verbindung und gegenseitige Befruchtung beider Disziplinen verspricht dabei deutlich bessere Resultate als dies nur einem allein Bereichmoglich ware. Die vorgestellte Arbeit setzt deshalb auf die Integration von Methoden aus beiden Bereichen. Das Ziel ist es dabei Gebaude aus komplexen Luftbildszenen zu extrahieren. Der Schwerpunkt liegt somit auf der Entwicklung neuer Konzepte und robuster Verfahren zu einem hierarchischen, datengetriebenen Prozess zur Rekonstruktion allgemeiner polyedrischer Gebaudemodelle durch die Integration von Prozessen der Photogrammetrie und der Computer Vision. Der vorgeschlagene Ansatz basiert zunachst auf der pragmatischen Annahme, dass sich nahezu alle Dacher von Gebauden durch eine Kombination ebener Flachen darstellen lassen. Aus diesem Grund kann ein sogenanntes polyedrisches Modell zur naherungsweisen Reprasentation auch komplexer Gebaude im Rahmen des Rekonstruktionsprozessen verwendet werden. Um zuverlassige und genaue Ergebnisse zu gewinnen wird in dem Verfahren eine starke Verknupfung zwischen dem 2D Bild und dem 3D Objektraum eingesetzt. Zunachst wird eine Randwertbeschreibung einer ersten Gebaudehypothese in einem datengetriebenen Bottom-up Ansatz ausgehend von einfachen qualitativen geometrischen Primitiven im Bildraum hin zu komplexeren quantitativen Modellprimitiven im Objektraum generiert. Anschliesend erfolgt die Verifikation der ersten, groben Gebaudehypothese in einem modellgetriebenen Top-down Ansatz, um dadurch zu einer verfeinerten, zuverlassigeren und genaueren geometrischen Beschreibung zu gelangen. Konzeptuell kann das gesamte Spektrum der Arbeit in die drei grundlegenden Schritte Erkennung, Rekonstruktion und Verifikation der Gebaudehypothesen unterteilt werden. Obwohl diese Unterteilung keine scharf definierten Grenzen festlegt, liefert sie doch eine nutzliche Rahmen zur Kategorisierung und Beschreibung der einzelnen Prozesse, die die wesentlichen Komponenten des autonomen Bildanalysesystems bilden. Die Erkennung beginnt mit einer groben Segmentierung eines Digitalen Hohenmodells (DHM) auf der Basis eines morphologischen Dilatationsverfahrens. Dadurch werden Regionen innerhalb der Luftbilder zu bestimmen, in denen mit groser Wahrscheinlichkeit einzelne Gebaude enthalten sind (Interessensgebiete). Anschliesend werden geometrische Eigenschaften der Flachenelemente genutzt, um ebene Bereiche innerhalb der Interessensgebiete zu detektieren. Die extrahierten Pixel dienen dann als Saatpunkte eines Bereichswachstumsverfahrens, das mit Hilfe einer Kleinsten-Quadrate-Schatzung ebene Bereiche selektiert. Dadurch wird die Bildoberflache in Regionen unterteilt, die ebene Dachflachen reprasentieren. Die Rekonstruktion zielt auf eine modellorientierte Reprasentation der Gebaude. Dazu werden zunachst die zuvor segmentierten 2D Bildbereiche in den 3D Objektraum projiziert, um dreidimensional bestimmte Dachpolygone zu erhalten. Dies geschieht durch einen robustes Verfahren zur Parameterschatzung, das im Rahmen dieser Arbeit entwickelt wurde. Anschliesend werden die topologischen Beziehungen zwischen den 3D Dachpolygonen bestimmt. Die Nachbarschaftsbeziehungen werden basierend auf Voronoi Diagrammen berechnet und beschreiben die Nachbarschaftsbeziehungen zwischen den Grundelementen der Dachstruktur. Basierend auf den berechneten Topologien werden zunachst kompatible d.h. koplanare, benachbarte 3D Polygone zu groseren ebenen 3D Dachpolygonen vereinigt. Daruber hinaus werden Symmetrien bezuglich benachbarter Polygone definiert und als Attribute fur die weitere Prozessierung gespeichert. Die resultierenden 3D Polygone mit ihren topologischen Beziehungen und daraus abgeleiteten Attributen werden innerhalb des Programmpakets POLY-MODELER zu einem ersten groben Gebaudemodells kombiniert. Dabei wird eine Randwertbeschreibung der vorlaufigen Gebaudehypothese durch die Verschneidung benachbarter Polygonflachen generiert. Abschliesend wird ein verfeinertes Gebaudemodell im Rahmen der Hypothesenverifikation in einem Top-Down Prozess generiert. Dabei dient die grobe Gebaudehypothese zur Erzeugung von Vertrauensintervallen im Bild, die einen Suchraum fur korrespondierende 2D Bildelemente definieren und so die Verifikation und Verbesserung der groben Gebaudehypothese ermoglichen. Die Modellparameter werden durch eine simultane Einpassung der geometrischen 3D Modellprimitive an die 2D Bildprimitive bestimmt, wobei gleichzeitig die geometrische und topologische Modellinformation als externe und/oder interne Zwangsbedingung einbezogen wird.