Sequential filtering for multi-frame visual reconstruction

Al~a'aet. We describe an extension of the single-frame visual field reconstruction problem in which we consider how to efficiently and optimally fuse multiple frames of measurements obtained from images arriving sequentially over time. Specifically we extend the notion of spatial coherence constraints, used to regularize single-frame problems, to the time axis yielding temporal coherence constraints. An information form variant of the Kalman filter is presented which yields the optimal maximum likelihood estimate of the field at each time instant and is tailored to the visual field reconstruction problem. Propagation and even storage of the optimal information matrices for visual problems is prohibitive, however, since their size is on the order of 104 x 104 to 106 x 106. To cope with this dimensionality problem a practical yet near-optimal filter is presented. The key to this solution is the observation that the information matrix, i.e. the inverse of the covariance matrix, of a vector of samples of a spatially distributed process may be precisely interpreted as specifying a Markov random field model for the estimation error process. This insight leads directly to the idea of obtaining low-order approximate models for the estimation error in a recursive filter through the recursive approximation of the information matrix by an appropriate sparse, spatially localized matrix. Numerical experiments are presented to demonstrate the efficacy of the proposed filter and approximations. Zumummeng~. Wir beschreiben eine Erweiterung des Problems der Einzelrahmen-Rekonstruktion des Gesichtsfeldes, bei weicber wir die effiziente und optimale Verschmelzung mehrerer Mel3rahmen betrachten, die wir aus zeitlich sequentiell angekommenen Bildern erhalten haben. Insbesondere erweitern wir den Begriff der Randbedingungen an die r~iumliche Koh/irenz, wie man sic zur Regularisierung yon Einzelrahmen-Problemen benutzt, auf die Zeitachse, womit wir Randbedingungen an die zeitliche Koh~irenz erhalten. Eine Informationsform-Variante des Kalmanfilters wird vorgestellt, welcbe die optimale Maximum-Likelihood-Seh/itzung des Feldes in jedem Augenblick liefert und auf das Gesichtsfeld-Rekonstruktionsproblem zugeschnitten ist. Die Weitergabe oder gar Speicherung der optimalen Informationsmatrizen ist beit visuellen Problemen jedoch nicht durchfiihrbar, da ihre GrOge sich im Bereich von 104 x 104 bis zu 106 x 106 bewegt. Zur Bew~iltigung dieses Dimensionsproblems wird ein praktikables und dennoch nahezu optimales Filter vorgestellt. Der Schliissel zu dieser Lfsung besteht in der Beobachtung, dab die Informationsmatrix, d.h. die Inverse der Kovarianzmatrix, zu einem Vektor von Abtastwerten eines r/iumlich verteiiten Prozesses exakt interpretiert werden kann als Spezifikation eines Markov-Zufallsfeld-Modells fiir den Sch~tzfehlerprozefl. Diese Erkenntnis fiihrt unmittelbar zu der Idee, dab man N~iherungsmodelle niedrigerer Ordnung f'tir den Sch,~tzfehler in einem rekursiven Filter erhalten kann durch die rekursive Approximation der Informationsmatrix durch eine passende sp/irlich besetzte, r~iumlich lokalisierte Matrix. Numerische Versuche werden vorgestellt, die die Wirksamkeit des vorgesehlagenen Filters und der Approximationen zeigen.