Using Constraint Satisfaction Techniques and Variational Methods for Probabilistic Reasoning

RESUME Cette these presente un certain nombre de contributions a la recherche pour la creation de systemes efficaces de raisonnement probabiliste sur les modeles graphiques de problemes issus d'une variete d'applications scientifiques et d'ingenierie. Ce theme touche plusieurs sous-disciplines de l'intelligence artificielle. Generalement, la plupart de ces problemes ont des modeles graphiques expressifs qui se traduisent par de grands reseaux impliquant determinisme et des cycles, ce qui represente souvent un goulot d'etranglement pour tout systeme d'inference probabiliste et affaiblit son exactitude ainsi que son evolutivite. Conceptuellement, notre recherche confirme les hypotheses suivantes. D'abord, les techniques de satisfaction de contraintes et methodes variationnelles peuvent etre exploitees pour obtenir des algorithmes precis et evolutifs pour l'inference probabiliste en presence de cycles et de determinisme. Deuxiemement, certaines parties intrinseques de la structure du modele graphique peuvent se reveler benefiques pour l'inference probabiliste sur les grands modeles graphiques, au lieu de poser un defi important pour elle. Troisiemement, le re-parametrage du modele graphique permet d'ajouter a sa structure des caracteristiques puissantes qu'on peut utiliser pour ameliorer l'inference probabiliste. La premiere contribution majeure de cette these est la formulation d'une nouvelle approche de passage de messages (message-passing) pour inferer dans un graphe de facteurs etendu qui combine des techniques de satisfaction de contraintes et des methodes variationnelles. Contrairement au message-passing standard, il formule sa structure sous forme d'etapes de maximisation de l'esperance variationnelle. Ainsi, on a de nouvelles regles de mise a jour des marginaux qui augmentent une borne inferieure a chaque mise a jour de maniere a eviter le depassement d'un point fixe. De plus, lors de l'etape d'esperance, nous mettons a profit les structures locales dans le graphe de facteurs en utilisant la coherence d'arc generalisee pour effectuer une approximation de champ moyen variationnel. La deuxieme contribution majeure est la formulation d'une strategie en deux etapes qui utilise le determinisme present dans la structure du modele graphique pour ameliorer l'evolutivite du probleme d'inference probabiliste. Dans cette strategie, nous prenons en compte le fait que si le modele sous-jacent implique des contraintes inviolables en plus des preferences, alors c'est potentiellement un gaspillage d'allouer de la memoire pour toutes les contraintes a l'avance lors de l'execution de l'inference. Pour eviter cela, nous commencons par la relaxation des preferences et effectuons l'inference uniquement avec les contraintes inviolables. Cela permet d'eviter les calculs inutiles impliquant les preferences et de reduire la taille effective du reseau graphique. Enfin, nous developpons une nouvelle famille d'algorithmes d'inference par le passage de messages dans un graphe de facteurs etendus, parametrees par un facteur de lissage (smoothing parameter). Cette famille permet d'identifier les epines dorsales (backbones) d'une grappe qui contient des solutions potentiellement optimales. Ces epines dorsales ne sont pas seulement des parties des solutions optimales, mais elles peuvent egalement etre exploitees pour intensifier l'inference MAP en les fixant de maniere iterative afin de reduire les parties complexes jusqu'a ce que le reseau se reduise a un seul qui peut etre resolu avec precision en utilisant une methode MAP d'inference classique. Nous decrivons ensuite des variantes paresseuses de cette famille d'algorithmes. Experimentalement, une evaluation empirique approfondie utilisant des applications du monde reel demontre la precision, la convergence et l'evolutivite de l'ensemble de nos algorithmes et strategies par rapport aux algorithmes d'inference existants de l'etat de l'art.----------ABSTRACT This thesis presents a number of research contributions pertaining to the theme of creating efficient probabilistic reasoning systems based on graphical models of real-world problems from relational domains. These models arise in a variety of scientific and engineering applications. Thus, the theme impacts several sub-disciplines of Artificial Intelligence. Commonly, most of these problems have expressive graphical models that translate into large probabilistic networks involving determinism and cycles. Such graphical models frequently represent a bottleneck for any probabilistic inference system and weaken its accuracy and scalability. Conceptually, our research here hypothesizes and confirms that: First, constraint satisfaction techniques and variational methods can be exploited to yield accurate and scalable algorithms for probabilistic inference in the presence of cycles and determinism. Second, some intrinsic parts of the structure of the graphical model can turn out to be beneficial to probabilistic inference on large networks, instead of posing a significant challenge to it. Third, the proper re-parameterization of the graphical model can provide its structure with characteristics that we can use to improve probabilistic inference. The first major contribution of this thesis is the formulation of a novel message-passing approach to inference in an extended factor graph that combines constraint satisfaction techniques with variational methods. In contrast to standard message-passing, it formulates the Message-Passing structure as steps of variational expectation maximization. Thus it has new marginal update rules that increase a lower bound at each marginal update in a way that avoids overshooting a fixed point. Moreover, in its expectation step, we leverage the local structures in the factor graph by using generalized arc consistency to perform a variational mean-field approximation. The second major contribution is the formulation of a novel two-stage strategy that uses the determinism present in the graphical model's structure to improve the scalability of probabilistic inference. In this strategy, we take into account the fact that if the underlying model involves mandatory constraints as well as preferences then it is potentially wasteful to allocate memory for all constraints in advance when performing inference. To avoid this, we start by relaxing preferences and performing inference with hard constraints only. This helps avoid irrelevant computations involving preferences, and reduces the effective size of the graphical network. Finally, we develop a novel family of message-passing algorithms for inference in an extended factor graph, parameterized by a smoothing parameter. This family allows one to find the ”backbones” of a cluster that involves potentially optimal solutions. The cluster's backbones are not only portions of the optimal solutions, but they also can be exploited for scaling MAP inference by iteratively fixing them to reduce the complex parts until the network is simplified into one that can be solved accurately using any conventional MAP inference method. We then describe lazy variants of this family of algorithms. One limiting case of our approach corresponds to lazy survey propagation, which in itself is novel method which can yield state of the art performance. We provide a thorough empirical evaluation using real-world applications. Our experiments demonstrate improvements to the accuracy, convergence and scalability of all our proposed algorithms and strategies over existing state-of-the-art inference algorithms.