[en] This project is about tracking of objects or regions in video sequences. There are many tracking techniques and we are going to focus on one of them to follow the participants of TV show's faces. This work is a participation in "Camomile"'s project from the Image Processing Group of UPC, where the main goal is to summarize TV programs, detecting every moment which persons are being part of the sequence. One of the parts to get this summary is to locate the speakers or TV presenter faces in order to be able to track it and recognize people. To make the tracking, which is the main goal of the project, it has been used a generic algorithm about graph cuts that minimizes some energy functions. The one that have been utilized in this project to work with graph cuts is the one that allows us to find the optical flow between two images. Therefore, if we start with a rectangular zone where the face is placed (bounding box) we can use this algorithm to know the optical flow of this region between two consecutives images. Once achieved the optical flow, we have the motion vectors information of all pixels from the region of interest. As we use a rectangular bounding box, we need to do a processing of this information to make a good estimation of the face position in the following image. Also, to determinate how the rectangle moves. We have to take into consideration that the bounding box can increase or decrease its size, apart from displacing. A lot of tests have been done to prove the algorithm performance (available as Open Source), and then several techniques have been tested to process the movement vectors previously obtained. Eventually, the obtained results have been composed with the results obtained by using other technique based on particle filter, an algorithm that also allows us to do face tracking.

[es] En este proyecto se trabaja en lo que se conoce como tracking o seguimiento de objetos o regiones. Existen muchas técnicas de tracking, y nosotros nos hemos centrado en utilizar una de ellas para seguir las caras de participantes de programas de televisión. El trabajo se enmarca en el proyecto "Camomile" del Grupo de Procesado de Imagen de la UPC, donde el objetivo es poder resumir o anotar programas de televisión, detectando en cada momento qué personas participan en la secuencia. Una de les partes para poder conseguir éste resumen es tener localizadas las caras de los tertulianos o del presentador para poder realizar un seguimiento a lo largo del tiempo y también reconocer a las personas. Para el seguimiento, objetivo de este trabajo, se ha utilizado un algoritmo genérico de graph cuts que sirve para minimizar algunas funciones de energía. La función de energía utilizada en este proyecto para trabajar con graph cuts es la que nos permite encontrar el flujo óptico entre dos imágenes. Así pues, si partimos de una zona inicial rectangular dónde se encuentre la cara (bounding box) podemos utilizar este algoritmo para poder conocer el flujo óptico de esta región entre dos imágenes consecutivas. Una vez conseguido el flujo óptico, tenemos la información de los vectores de movimiento de todos los píxeles de la región de interés. Al utilizar un bounding box rectangular, es necesario hacer un procesado de esta información para obtener una buena estimación de la posición de la cara en la siguiente imagen y poder determinar cómo se mueve el rectángulo, teniendo en cuenta que aparte de desplazarse, puede reducir o aumentar su tamaño. Se han realizado diversas pruebas para comprobar el funcionamiento del algoritmo disponible como código libre, y posteriormente se han probado diversas técnicas y definido los parámetros para procesar la información de los vectores de movimiento obtenidos. Finalmente se han comparado los resultados obtenidos con los resultados utilizando otra técnica basada en el filtro de partículas, un algoritmo que también permite hacer el seguimiento de caras.