(Hyper)-Graphs Inference via Convex Relaxations and Move Making Algorithms: Contributions and Applications in artificial vision

Computational visual perception seeks to reproduce human vision through the combination of visual sensors, artificial intelligence and computing. To this end, computer vision tasks are often reformulated as mathematical inference problems where the objective is to determine the set of parameters corresponding to the lowest potential of a task-specific objective function. Graphical models have been the most popular formulation in the field over the past two decades where the problem is viewed as an discrete assignment labeling one. Modularity, scalability and portability are the main strength of these methods which once combined with efficient inference algorithms they could lead to state of the art results. In this tutorial we focus on the inference component of the problem and in particular we discuss in a systematic manner the most commonly used optimization principles in the context of graphical models. Our study concerns inference over low rank models (interactions between variables are constrained to pairs) as well as as higher order ones (arbitrary set of variables determine hyper-cliques on which constraints are introduced) and seeks a concise, self-contained presentation of prior art as well as the presentation of the current state of the art methods in the field. Key-words: MRFs, optimization, computer vision, convex programming, linear programming ∗ Equally contributing authors † Oxford University, UK. ‡ Universite Paris-Est, École des Ponts ParisTech, France. § CentraleSupelec, Inria, University of Paris Saclay, France. Inférence dans les (hyper)-graphes à laide de relaxations convexes et dalgorithmes de coups optimisés : contributions et applications en vision par ordinateur Résumé : La perception numérique visuelle cherche à reproduire la vision humaine grâce à une combinaison de senseurs visuels, dintelligence artificielle et de calcul numérique. Dans ce but, les problèmes de vision numériques sont souvent posés comme des problèmes dinférence mathématiques, dans lesquels lobjectif est de déterminer lensemble de paramètres correspondant au minimum dune énergie adaptée à la tâche visuelle. Les modèles graphiques ont constitué loutil de modélisation le plus populaire du domaine de ces deux dernières décennies ; le problème y est vu comme un problème dassignation de labels discrets. La modularité, lextensibilité et la portabilité sont les atouts majeurs de ces modèles, qui combinées à des méthodes dinférence efficaces peuvent mener à létat de lart en matière de résultats. Dans ce tutoriel nous nous focaliseront sur le problème dinférence ; en particulier, nous discuterons de façon systématique les schémas doptimisation les plus utilisés dans le contexte des modèles graphiques. Notre étude concerne linférence sur des modèles de rang faible (où les interactions entre les variables sont limités aux paires), ainsi que les modèles de rang supérieur (où des sous-ensemble arbitraires de variables déterminent des hyper-cliques sur lesquels des contraintes peuvent être introduites) et vise à présenter un aperçu concis et autonome des méthodes éprouvées et à létat de lart du domaine. Mots-clés : MRFs, optimization, computer vision, convex programming, linear programming (Hyper)-Graphs Inference via Convex Relaxations and Move Making Algorithms 3