[ca] La problemàtica comú en Computer Vision és aplicar algoritmes desenvolupats en conjunts de dades controlats a problemes del món real, on els vídeos no tenen guions ni estan controlats. Aquesta tesi de grau aborda el problema de la segmentació d'accions, que implica dividir un vídeo en segments, cadascun representant una acció diferent. Explorem l'ús de Transformers i l'estimació de transcripcions, permetent la permutació i repetició d'accions per classificar-les dins de vídeos. Cal aclarir que les transcripcions essencialment defineixen l'ordre de les accions dins de cada vídeo. L'estudi es centra específicament en el conjunt de dades Breakfast, que inclou vídeos de persones preparant diferents esmorzars (com ous fregits, cereals, etc.) en diverses cuines. Aquest conjunt de dades inclou dos tipus d'etiquetes: etiquetes d'activitat per a cada vídeo i etiquetes d'acció per a cada fotograma. En aquest treball, investiguem diversos mètodes per a la classificació d'accions i proposem una arquitectura innovadora que empra dos perceptrons multicapa (MLP). Un MLP s'entrena per trobar la millor estimació de les transcripcions, mentre que l'altre extreu els millors embeddings i els seus corresponents prototips, representant cada acció, basant-se en la transcripció prèviament estimada. Ambdues etapes d'entrenament impliquen realitzar simultàniament l'aprenentatge de representacions i el clustering online, que es combinen utilitzant Transport Òptim Temporal. La solució proposada demostra la capacitat d'aquest enfocament per millorar la nostra comprensió d'esdeveniments i accions complexes en dades de vídeo. A més, aquesta tesi avalua l'efectivitat dels Transformers en comparació amb els MLP per a la tasca de segmentació temporal d'accions, amb l'objectiu de determinar quina arquitectura ofereix un rendiment superior en la comprensió i classificació d'accions en seqüències de vídeo.

[en] A common challenge in Computer Vision is applying algorithms developed on controlled datasets to real-world problems, where videos are unscripted or uncontrolled. This bachelor's thesis addresses the problem of action segmentation, which involves partitioning a video into segments, each representing a different action. We explore the use of Transformers and estimated transcripts, allowing for permutation and repetition of actions for classifying these actions within video data. It is worth clarifying that transcripts essentially define the order of actions within each video. The study specifically focuses on the Breakfast dataset, which includes videos of people preparing different breakfasts (such as scrambled eggs, cereals, etc.) in various kitchens. This dataset includes two types of labels: activity labels for each video and action labels for each frame. In this work, we investigate various methods for action classification and propose a novel architecture that employs two multi-layer perceptrons (MLPs). One MLP is trained to find the best transcript estimation, while the other extracts the best embeddings and their corresponding prototypes, representing each action, based on the previously estimated transcript. Both training stages involve simultaneously performing representation learning and online clustering, which are combined using Temporal Optimal Transport. The proposed solution demonstrates the capability of this approach to enhance our understanding of complex events and actions in video data. Furthermore, this thesis evaluates the effectiveness of Transformers in comparison to MLPs for the task of temporal action segmentation, aiming to determine which architecture offers superior performance in understanding and classifying actions in video sequences.