Bundle Adjustment with Self–Calibration Using Straight Lines

Increased use of digital imagery has facilitated the opportunity to use features, in addition to points, in photogrammetric applications. Straight lines are often present in object space, and prior research has focused on incorporating straight-line constraints into bundle adjustment for frame imagery. In the research reported in this paper, object-space straight lines aw used in a bundle adjustment with self-calibration. The perspective projection of straight lines in the object space produces straight lines in the image space in the absence of distortions. Any deviations from straightness in the image space are attributed to various distortion sources, such as radial and decentric lens distortions. Before incorporating straight lines into a bundle adjustment with self-calibration, the representation and perspective transformation of straight lines between image space and object space should be addressed. In this investigation. images of straight lines are represented as a sequence of points along the image line. Also, two points along the object-space straight line are used to represent that line. The perspective relationship between image- and object-space lines is incorporated in a mathematical constraint. The underlying principle in this constraint is that the vector from the perspective centre to an image point on a straight-line feature lies on the plane defined by the perspective centre and the two object points defining the straight line. This constraint has been embedded in a software application for bundle adjustment with self-calibration that can incorporate point as well as straight-line features. Experiments with simulated and real data have proved the feasibility and the eficiency of the algorithm proposed. Resume Le developpement de l'imagerie numerique a fourni l'occasion de recourir davantage aux details des objets, et non pas seulement aux points qui les constituent, duns toute application photogrammetrique. C'est ainsi que les objets presentent souvent des lignes droites qu'il etait tentant, dans une recherche anterieure, d'introduire pour contraindre la compensation par faisceaux d'imageries photographiques. On presente dans cet article cette recherche ou les lignes droites de l'espace objet sont utilisees dans une compensation par faisceaux avec auto-etalonnage. En l'absence de distorsions, la projection de lignes droites de l'espace objet dans l'espace image s'opere egalement sous forme de lignes droites. Tout ecart a une droite sur l'image peut done etre attribuea toutes sortes de distorsions, comme la distorsion radiale ou cello due au decentrement de l'objectif. Avant d'utiliser ces lignes droites dans une compensation par faisceaux avec auto-etalonnage, il faut efectuer la representation et la transformation perspective des lignes droites entre les espaces objet et image. Dans cette demarche, on considere les images des lignes droites comme constituees d'une suite de points jalonnant cette image tandis que duns l'espace objet cette ligne droite n'est definie que par deux points seulement. La relation de perspective qui relie les droites des espaces objet et image est alors introduite comme contrainte mathematique. Le principe de base de cette contrainte est que le vecteur issu du centre perspectif vers un point image d'une ligne droite de l'objet appartient au plan defini par re centre perspectif et les deux points retenus dans la definition de cette droite. On a incorpore cette contrainte dans un logiciel appliquea la compensation par faisceaux avec auto-etalonnage prenant en compte les points ainsi que les elements en ligne droite de l'objet. Des essais avec des donnees simulees puis reelles ont montre la faisabilite et l'efficacite de l'algorithme propose. Zusummenfussung Durch die zunehmende Nutzung digitaler Bilder wurde die Moglichkeit geschaffen, neben Punkten auch Objektmerkmale in photogrammetrischen Anwendungen zu nutzen. Oftmals finden sich Geraden in Objektraum, und fruhere Forschung hat sich darauf konzentriert, Linienbedingungen in die Bundelausgleichung fur Flachenkameras zu entwickeln. In den hier vorgestellten Forschungen werden Geraden im Objektraum in einer Bundelausgleichung mit Selbstkalibrierung eingesetzt. Wenn keine Verzeichnungen vorliegen, werden bei einer perspektiven Abbildung Geraden im Objektraum in Geraden im Bildraum abgebildet. Jegliche Abweichung von einer Gerden m Bildraum kann mit verschiedenen Ursachen fur Verzeichnung in Verbindung gebracht werden, wie zum Beispiel radiale order asymmetrische Objektivverzeichung. Bevor Gerden in die Bundelausgleichung mit Selbstakalibrierung eingehen konnen, sollte die Reprasentation und die perspektive Transformation der Gerden zwischen Bild- und Objektraum geklart werden. In dieser Untersuchung werden die Abbildungen der Geraden als eine Sequenz von Punkten entlang einer Bildlinie dargestellt. Zwei Punkte entlang der Objektgeraden werden genutzt, um diese darzustellen. Die perspektive Beziehung zwischen Bild- und Objektgeraden wird mit Hilfe einer mathematischen Bedingung formuliert. Das Prinzip, das dieser Beziehung zugrunde liegt, geht davon aus, dass ein Vektor vom Projektionszentrum zu einem Bildpunkt auf einer Geraden auf einer Ebene liegt, die durch das Projektionszentrum und die zwei Objektpunkte, die die Gerade definieren, bestimmt wird. Diese Bedingung wurde in ein Anwendungsprogramm zur Bundelausgleichung mit Selbstakalibrierung eingbaut, das sowohl Punkt- als auch Geradenmerkmale verarbeiten kann. Experimente mit simulierten und echten Datensatzen belegen die Anwendbarkeit und die Effizienz des vorgeschlagenen Algorithmus.