Markov Random Field based Methods for Cluttered Scene Stereo

This thesis studies the performance of different Markov Random Field (MRF) based stereo formulations for cluttered scenes. Cluttered scenes have objects of a specific size distribution placed randomly in 3D space. Real-world examples of such scenes include forest canopy, bushes or foliages in general. One characteristic of such scenes is that they contain a lot of depth discontinuities and partially visible pixels. A natural question which is addressed in this thesis is how well the existing stereo algorithms perform for such scenes. The scenes used in some of the widely used benchmark dataset do not contain stereo pairs with dense clutter. Therefore, we use a cluttered scene model [1] to generate synthetic scenes with different scene parameters such as size and density of objects, and range of depth. In our experiments we apply algorithms with basic and visibility constraints. In the basic category we use: Expansion, Swap, Max Product Belief Propagation (BP-M), Sequential Tree Reweighted Message Passing (TRW-S) and Sequential Belief Propagation (BP-S) with different forms of data and smoothness terms. In the visibility constraint category we use: KZ1 and KZ2 proposed in [2, 3, 4]. The algorithms are applied to the input dataset with different parameter settings. To compare the performance, we consider the percentage of mislabeled pixels, errors in certain regions and the contribution of the errors in those regions to the total error. We also analyze the cause of those errors using the underlying scene statistics. For the basic formulation, Potts model performs surprisingly well in all the experiments, in the sense that binocularly visible surface points are correctly labeled. In particular, Expansion, TRW-S, and BP-M perform equally well. Algorithms with visibility constraints also perform equally well for binocular pixels and in some cases slightly better than basic formulation. We did not observe any clear improvement in labeling binocular pixels. However, visibility constraints perform largely better than basic formulation when all the pixels are considered. This is also reflected in the energy measure. Algorithms based on basic formulation shows large gap between the ground truth and output energy. However, formulations with visibility constraints have energy values closer to the ground truth. This is because the visibility constraint restricts the search space to disparity labels that are consistent. We conclude that methods like KZ1 can primarily improve labeling of monocular pixels. For binocular pixels, there is still room for improvement in both formulations, especially in the case of off-by-one errors (i.e. cases where the assigned labels differ from the ground truth by a single disparity). Resume Ce memoire vise a comparer la performance de differents modeles stereo par champs aleatoires de Markov sur des scenes encombrees. Ces scenes sont composees d’objets dont les grandeurs suivent une distribution specifique et dont les positions sont aleatoires dans l’espace 3D. Elles se caracterisent par la presence de plusieurs discontinuites de profondeur et d’occlusions partielles. Des buissons, des feuillages ou une foret en sont des exemples. Les scenes de reference generalement utilisees ne contiennent pas d’images stereo de scenes encombrees. Il nous apparâit donc important de verifier la performance des algorithmes stereo existants sur ce type de scenes. Par conequent, nous utilisons un modele de scenes encombrees pour generer des scenes synthetiques selon differents parametres tels que la taille et la densite des objets, et l’intervalle des profondeurs. Nos tests appliquent des algorithmes avec contraintes de base et de visibilite. Parmi les algorithmes avec contraintes de base, nous utilisons: Expansion, Swap, Max Product Belief Propagation (BP-M), Sequential Tree Reweighted Message Passing (TRWS) et Sequential Belief Propagation (BP-S) avec differentes fonctions de cout et de lissage. Parmi les algorithmes avec contraintes de visiblite, nous utilisons: KZ1 et KZ2 proposes dans [2, 3, 4]. Les algorithmes sont appliques aux images synthetiques avec differentes valeurs de parametres. Pour comparer la performance, nous considerons dans toute l’image le pourcentage de pixels errones, c’est-a-dire n’ayant pas la bonne etiquette de profondeur, ainsi que le pourcentage d’erreurs dans certaines regions et sa contribution dans l’erreur totale. Nous analysons la cause de ces erreurs a l’aide des statistiques de la scene. Pour les algorithmes avec contraintes de base, le modele de Potts performe bien pour tous les tests, en ce sens que les points visibles dans les deux images (pixels binoculaires) sont associes a la bonne etiquette. Plus particulierement, les algorithmes Expansion, TRW-S et BP-M donnent des resultats similaires. Les algorithmes avec contraintes de visibilite donnent aussi de bons resultats pour les pixels binoculaires, mais sans amelioration significative. Par contre, ils performent beaucoup mieux lorsque tous les pixels sont consideres, ce qui se reflete aussi dans la mesure d’energie. Les algorithmes avec contraintes de base donnent de grandes differences entre les energies reelle et en sortie. Mais les algorithmes avec contraintes de visibilite donnent une energie de sortie beaucoup plus similaire a l’energie reelle, a cause des contraintes de visibilite qui restraignent l’espace de recherche des etiquettes de disparite. Nous concluons que les methodes, comme KZ1, ameliorent l’etiquetage des pixels monoculaires. Pour les pixels binoculaires, les algorithmes des deux categories peuvent encore etre ameliores, plus specifiquement dans le cas ou l’etiquette differe de la valeur reelle d’une seule disparite.