[ca] La segmentació de una seqüència de vídeo consisteix en agrupar de forma coherent regions que són similars tant en aparença com en moviment al llarg de un vídeo. Aquesta tasca es un pas fonamental en l'anàlisi de vídeo y té importants aplicacions en codificació, indexació y recuperació de vídeo, reconstrucció 3D, reconeixement d'accions, etc. En concret, en aquest Projecte final de Carrera s'analitza la tècnica de co-clustering multiresolució jeràrquica per segmentació de vídeo (MRHC) amb l'objectiu de introduir la informació de profunditat per millorar la segmentació. Aquesta informació facilita la tasca de segmentació perquè és invariant als canvis de il•luminació i/o textura i a la posició de la càmera. Per això, permet corregir alguns errors que produeixen les tècniques de segmentació basades en el color de la imatge i del moviment que es produeix a l'escena. Es poden fer dues consideracions en quant als valors de profunditat d'una escena. Per una banda, els valors d'un objecte no varien bruscament. Per l'altre, els valors de profunditat presenten discontinuïtats a la frontera entre objectes. Segons aquestes consideracions es pot determinar si dos regions corresponen al mateix pla de profunditat o no. En aquest projecte s'han estudiat tres manera de incorporar la informació de profunditat a MRHC. La primera pondera la similitud entre regions en funció de la diferencia de profunditat entre aquestes. Aquest coeficient penalitza la similitud a mesura que la diferencia augmenta. La segona determina el veïnat entre regions en 3D. Per últim, la tercera combina les dues anteriors. S'ha utilitzat la base de dades Occlusion/Object Boundary per avaluar la inclusió de la profunditat a MRHC i per comparar MRHC amb les tècniques del estat del art en segmentació de vídeo. Els resultats obtinguts mostren que la inclusió de la profunditat obté millora els resultats obtinguts amb MRHC, superant les tècniques del estat del art.

[en] Video segmentation aims to consistently group regions that are similar in appearance and movement along a sequence. This task is an essential step of video analysis and it has important applications in video coding, indexing and retrieval, 3D reconstruction, action recognition, etc. In particular, in this thesis, a multiresolution hierarchical co-clustering technique (MRHC) is analyzed in order to include depth information for improving image segmentation in sequences with small variations. This information is invariant to changes on brightness and/or texture and camera position. Thus, it may correct some errors that are present when segmentation techniques based on color and movement are used, because this information is independent of color information of the image and the movement that occurs in the scene. Two considerations can be made. Firstly, all the regions of the same object should share similar depth values and, secondly, depth values from regions that do not belong to the same object show discontinuities. Three different ways of coding depth information in MRHC have been studied in this project. In the first approach, the similarity between regions is weighted according to the depth difference between them. The second approach determines the 3D-neighborhood between regions. Finally, a combination of the previous approaches is considered. The Video Occlusion/Object Boundary Dataset has been used to evaluate the inclusion of the depth on MRHC and to compare this method with the state-of-the-art techniques in the field of video segmentation. The results obtained show that the use of depth information improves the outcome video techniques obtained with the MRHC, outperforming the state-of-the-art methods in this scenario.