Learning and Evaluating Markov Random Fields for Natural Images

Many problems of computer vision are (mathematically) ill-posed in the sense that there are many solutions; those problems are therefore in need of some form of regularization that guarantees a sensible and unique solution. This is also true for problems in low-level vision, which are addressing visual information at a basic level (e.g. pixels of an image), and are of interest for this work. Markov Random Fields (MRFs) are widely used probabilistic models of "prior knowledge", which are used for regularization in a variety of computer vision problems, in particular those in low-level vision; we focus on generic MRF models for natural images and apply them to image restoration tasks. Learning MRFs from training data with a popular approach like the generic maximum likelihood (ML) method is often difficult, however, because of its computational complexity and the requirement to draw samples from the MRF. Because of these difficulties, a number of alternative learning methods have been proposed over the years, of which score matching (SM) is a promising one that has not been properly explored in the context of MRF models. Armed with an efficient sampler, we propose a flexible MRF model for natural images that we train under various circumstances. Instead of evaluating MRFs using a specific application and inference technique, as is common in the literature, we compare them in a fully application-neutral setting by means of their generative properties, i.e. how well they capture the statistics of natural images. We find that estimation with score matching is problematic for MRF image priors, and tentatively attribute this to the use of heavy-tailed potentials, which are required for MRF models to match the statistics of natural images. Hence, we also take a different route and exploit our efficient sampler to improve learning with contrastive divergence (CD), an efficient learning method closely related to ML, which has successfully been applied to MRF parameter learning in the past. We let score matching and contrastive divergence compete to learn the parameters of MRFs, which enables us to better understand the weaknesses and strengths of both methods. Using contrastive divergence, we learn MRFs that capture the statistics of natural images very well. We additionally find that popular MRF models from the literature exhibit poor generative properties, despite their good application performance in the context of maximum a-posteriori (MAP) estimation; they surprisingly even outperform our good generative models. By computing the posterior mean (MMSE) using sampling, we are able to achieve excellent results in image restoration tasks with our applicationneutral generative MRFs, that can even compete with application-specific discriminative approaches. Viele Probleme des Maschinellen Sehens sind (mathematisch) nicht korrekt gestellt in dem Sinne, dass es meist viele Losungen gibt; solche Probleme benotigen deshalb eine gewisse Form der Regularisierung, die eine vernunftige und eindeutige Losung garantiert. Das gilt auch fur Probleme im Bereich "Low-Level Vision", die sich mit visuellen Information auf einem niedrigen Level befassen (z.B. Pixel eines Bildes) und von Belang fur diese Arbeit sind. Markov Random Fields (MRFs) sind weithin genutzte probabilistische Modelle von "Vorwissen", die fur Regularisierung in vielfaltigen Problemen des Maschinellen Sehens verwendet werden, insbesondere jene in "Low-Level Vision"; wir konzentrieren uns auf generische MRF-Modelle fur naturliche Bilder und wenden diese auf Probleme der Bildwiederherstellung an. MRFs mit beliebten Ansatzen wie der allgemeinen Maximum-Likelihood (ML) Methode von Trainingsdaten zu lernen ist jedoch oft schwer, angesichts des Rechenaufwands und der Anforderung Stichproben des MRF-Modells zu produzieren ("Sampling"). Diese Schwierigkeiten haben dazu gefuhrt dass im Laufe der Jahre einige alternative Lernverfahren vorgeschlagen wurden, von denen Score Matching (SM) ein vielversprechendes ist, das jedoch im Kontext von MRFs nicht grundlich erforscht wurde. Ausgerustet mit einem effizienten Sampler schlagen wir ein flexibles MRF-Modell fur naturliche Bilder vor, welches wir unter verschiedenen Gegebenheiten trainieren. Anstatt MRFs anhand einer Kombination von spezifischer Anwendung und Inferenzverfahren zu bewerten, wie in der Literatur ublich, vergleichen wir sie in einem vollkommen anwendungsneutralem Rahmen durch ihre generativen Eigenschaften, d.h. wie gut sie die statistischen Eigenschaften von naturlichen Bildern modellieren. Wir stellen fest dass Score Matching problematisch fur das Lernen von MRF-Modellen von Bildern ist, und schreiben dies vorlaufig der Verwendung von Heavy-tailed-Verteilungen zu, welche benotigt werden um die statistischen Eigenschaften von naturlichen Bildern mit MRFs zu modellieren. Deshalb schlagen wir auch einen anderen Weg ein und verwenden unseren effizienten Sampler um das Lernen mit Contrastive Divergence (CD) zu verbessern, welches ein effizientes Lernverfahren ahnlich der ML-Methode ist und bereits in der Vergangenheit erfolgreich zum Lernen von MRFs verwendet wurde. Wir lassen Score Matching und Contrastive Divergence gegeneinander antreten die Parameter von MRFs zu lernen, was uns ermoglicht die Starken und Schwachen beider Verfahren besser zu verstehen. Mittels Contrastive Divergence lernen wir MRFs welche die statistischen Eigenschaften von naturlichen Bildern sehr gut modellieren. Wir stellen zudem fest dass populare MRF-Modelle aus der Literatur schlechte generative Eigenschaften aufweisen, ungeachtet ihrer guten Anwendungs-Ergebnisse im Zusammenhang mit Maximum-A-Posteriori (MAP) Schatzung; sie sind erstaunlicherweise sogar besser als unsere guten generativen Modelle. Durch Berechnung des Erwartungswertes der A-posteriori- Verteilung (MMSE) mittels Sampling erzielen unsere anwendungsneutralen generativen MRFs exzellente Resultate in Bildwiederherstellungs-Aufgaben und konnen sogar mit anwendungsspezifischen diskriminativen Ansatzen konkurrieren.