Reconocimiento de acciones en videos de profundidad

El problema de reconocer automaticamente una accion llevada a cabo en un video esta recibiendo mucha atencion en la comunidad de vision por computadora, con aplicaciones que van desde el reconocimiento de personas hasta la interaccion persona-computador. Podemos pensar al cuerpo humano como un sistema de segmentos rigidos conectados por articulaciones, y al movimiento del cuerpo como una transformacion continua de la configuracion espacial de dichos segmentos. La llegada de camaras de profundidad de bajo costo hizo posible el desarrollo de un algoritmo de seguimiento de personas preciso y eficiente, que obtiene la ubicacion 3D de varias articulaciones del esqueleto humano en tiempo real. Esta tesis presenta contribuciones al modelado de la evolucion temporal de los esqueletos. El modelado de la evolucion temporal de descriptores de esqueleto plantea varios desafios. En primer lugar, la posicion 3D estimada para las articulaciones suele ser imprecisa. En segundo lugar, las acciones humanas presentan gran variabilidad intra-clase. Esta variabilidad puede encontrarse no solo en la configuracion de los esqueletos por separado (por ejemplo, la misma accion da lugar a diferentes configuraciones para diestros y para zurdos) sino tambion en la dinamica de la accion: diferentes personas pueden ejecutar una misma accion a distintas velocidades; las acciones que involucran movimientos periodicos (como aplaudir) pueden presentar diferentes cantidades de repeticiones de esos movimientos; dos videos de la misma accion puede estar no-alineados temporalmente; etc. Por ultimo, acciones diferentes pueden involucrar configuraciones de esqueleto y movimientos similares, dando lugar a un escenario de gran similaridad inter-clase. En este trabajo exploramos dos enfoques para hacer frente a estas dificultades. En el primer enfoque presentamos una extension a Edit Distance on Real sequence (EDR), una medida de similaridad entre series temporales robusta y precisa. Proponemos dos mejoras clave a EDR: una funcion de costo suave para el alineamiento de puntos y un algoritmo de alineamiento modificado basado en el concepto de Instancia-a-Clase (I2C, por el termino en ingles: Instance-to-Class). La funcion de distancia resultante tiene en cuenta el ordenamiento temporal de las secuencias comparadas, no requiere aprendizaje de parametros y es altamente tolerante al ruido y al desfasaje temporal. Ademas, mejora los resultados de metodos no-paramotricos de clasificacion de secuencias, sobre todo en casos de alta variabilidad intra-clase y pocos datos de entrenamiento. En el segundo enfoque, reconocemos que la cantidad de esqueletos discriminativos en una secuencia puede ser baja. Los esqueletos restantes pueden ser ruidosos, tener configuraciones comunes a varias acciones (por ejemplo, la configuracion correspondiente a un esqueleto sentado e inmovil) u ocurrir en instantes de tiempo poco comunes para la accion del video. Por lo tanto, el problema puede ser naturalmente encarado como uno de Aprendizaje Multi Instancia (MIL por el termino en ingles Multiple Instance Learning). En MIL, las instancias de entrenamiento se organizan en conjuntos o bags. Cada bag de entrenamiento tiene asignada una etiqueta que indica la clase a la que pertenece. Un bag etiquetado con una determinada clase contiene instancias que son caracteristicas de la clase, pero puede (y generalmente asi ocurre) tambien contener instancias que no lo son. Siguiendo esta idea, representamos los videos como bags de descriptores de esqueleto con marcas de tiempo, y proponemos un framework basado en MIL para el reconocimiento de acciones. Nuestro enfoque resulta muy tolerante al ruido, la variabilidad intra-clase y la similaridad inter-clase. El framework propuesto es simple y provee un mecanismo claro para regular la tolerancia al ruido, a la poca alineacion temporal y a la variacion en las velocidades de ejecucion. Evaluamos los enfoques presentados en cuatro bases de datos publicas capturadas con camaras de profundidad. En todos los casos, se trata de bases desafiantes. Los resultados muestran una comparacion favorable de nuestras propuestas respecto al estado del arte.