[ca] L'aparició de noves aplicacions com màquines autònomes (per exemple, robots o cotxes autònoms) i RE (Realitat Estesa) promet revolucionar la interacció de la societat amb la tecnologia una era digital. Aquestes aplicacions, desplegades en dispositius edge, sovint depenen de SoCs mòbils que operen amb pipelines de VC (Visió Contínua) per capturar i analitzar la llum ambiental. Un SoC típic de VC consta de dos components principals: un frontend per a la captura d'imatges i un backend per al processament dels algoritmes de visió. El frontend inclou un sensor d'imatges i un ISP (Image Signal Processor), que converteix les dades sense processar del sensor en imatges d'alta qualitat. El backend, que inclou components com la CPU, GPU o acceleradors, analitza les imatges emmagatzemades en un buffer de la memòria principal per permetre la presa de decisions. Les investigacions actuals identifiquen la localització i la detecció i seguiment d'objectes com els principals colls d'ampolla en les aplicacions emergents de visió. Aquests algorismes s'enfronten a dos desafiaments en sistemes mòbils de VC: latència i consum d'energia. La latència pot causar marejos als usuaris d'un casc de RE que utilitzi la localització per estimar la posició del cap i renderitzar els frames. En els cotxes autònoms, la localització assegura una precisió de centímetres, de manera que un error o retard compromet greument la seguretat. A més, el consum d'energia limita l'operació dels sistemes alimentats per bateries. Aquesta tesi emprèn un viatge estratègic per millorar el rendiment i l'eficiència energètica dels sistemes mòbils de VC a través de diverses contribucions clau: Comencem analitzant un motor de localització visual d'avantguarda en una CPU. El motor de localització processa imatges de càmera, extraient i seguint característiques per estimar la posició de la càmera. Les nostres avaluacions revelen que l'extracció de característiques és el principal coll d'ampolla, representant del 60% al 90% de la latència total de localització. Més tard, investiguem dissenys d'acceleradors hardware per a imatges. La primera contribució és LOCATOR, un accelerador dissenyat per a l'extracció de característiques ORB. LOCATOR processa les imatges amb dos pipelines paral·leles per a la detecció i descripció de característiques, emprant tècniques com patrons d'accés optimitzats, mecanismes de caché i replicació selectiva de ports. LOCATOR aconsegueix un speedup de 16.8× en l'extracció d'ORB, de 1.9× de punta a punta i una reducció del 2.1× en el consum d'energia respecte a una CPU mòbil. Reconeixent la necessitat de solucions més programables, la nostra segona contribució, SLIDEX, introdueix una extensió vectorial per a CPUs enfocada a processament d'imatges. SLIDEX explota el dataflow sliding window, interpretant registres vectorials com grups d'elements superposades per maximitzar el paral·lelisme a nivell de dades. SLIDEX redueix l'accés i moviment de dades, millorant les convolucions i stencils, resultant en un speedup de 1.2× i una reducció del 19% en l'energia. La tercera contribució, δLTA, desacobla el mostreig de frames de la càmera del processament del backend. δLTA permet al frontend identificar i ometre regions d'imatges redundants, enfocant el processament només en canvis significatius. δLTA redueix accessos innecessaris a la memòria i càlculs redundants, disminuint la latència de cua i la latència mitjana en un 7.2% i 15.2%, respectivament, i el consum d'energia en un 17%. Finalment, IRIS reutilitza els càlculs realitzats pel ISP del frontend, segmentant i prioritzant regions de la imatge basades en el detall i el moviment. IRIS permet que el backend processi primer les regions rellevants, reduint la latència i el consum d'energia fins a un 9% en latència de cua, un 20% en latència mitjana i un 16% en estalvi d'energia sense costos addicionals.

[en] The emergence of new applications such as autonomous machines (e.g., robots or self-driving cars) and XR (Extended Reality) promises to revolutionize how society interacts with technology in the rapidly advancing digital era. These technologies, deployed on edge devices, often rely on mobile or embedded SoCs (Systems-on-a-Chip) operating CV (Continuous Vision) pipelines that periodically capture and analyze environmental light. A typical CV SoC comprises two main components: a frontend for image capture and a backend for processing vision algorithms. The frontend usually includes an off-chip camera sensor and an ISP (Image Signal Processor), which processes the pixel stream, converting raw sensor data into high-quality images. The backend—comprising components such as the CPU, GPU, or specialized accelerators—analyzes the images stored in the main memory's framebuffer to extract perception insights and enable advanced decision-making. Existing research identifies visual localization, object detection, and tracking as the primary bottlenecks in these emerging applications. Those algorithms face two principal challenges when deployed in mobile CV systems: latency and energy consumption. For example, an XR headset uses visual localization to track head motion for accurate frame rendering, where latency can cause discomfort. In self-driving cars, localization ensures centimeter-level precision, with delays compromising safety, especially at higher speeds. Additionally, high energy consumption limits the operation of battery-powered mobile systems. This thesis embarks on a strategic journey to elevate mobile CV systems' performance and energy efficiency through several key contributions: We begin by analyzing a state-of-the-art visual localization engine on a CPU. The localization engine processes camera images, extracting and tracking features to estimate camera pose. Our evaluations reveal feature extraction as the primary bottleneck, accounting for 60% to 90% of total localization latency. Next, we investigate highly specialized hardware accelerator designs for image processing. The first contribution is LOCATOR (Low-power ORB Accelerator for Autonomous Cars), a hardware accelerator designed for ORB (Oriented FAST and Rotated BRIEF) feature extraction. LOCATOR processes image tiles with two parallel pipelines for feature detection and description, employing techniques like optimal static bank access patterns, caching mechanisms, and selective port replication. These optimizations yield a 16.8× speedup for ORB feature extraction, 1.9× end-to-end speedup, and 2.1× energy reduction per frame compared to a baseline mobile CPU. Realizing the need for more programmable and versatile solutions, our second contribution, SLIDEX (Sliding Window Extension for Image Processing), introduces a domain-specific vector ISA extension for CPUs. SLIDEX exploits the sliding window processing model, interpreting vector registers as overlapping windows to maximize data-level parallelism. SLIDEX reduces data access and movement, enhancing tasks like 2D convolutions and stencil operations, resulting in a 1.2× speedup and up to 19% energy reduction. The third contribution, δLTA (δon't Look Twice, It's Alright), decouples camera frame sampling from backend processing. δLTA allows the frontend to identify and skip redundant image regions, focusing processing only on significant changes. δLTA reduces unnecessary memory accesses and redundant computations, lowering localization tail and average latency by 7.2% and 15.2%, respectively, and energy consumption by 17%. Finally, IRIS (Image Region ISP-Software Prioritization) repurposes computations performed by the frontend ISP, segmenting and prioritizing image regions based on detail and motion. IRIS allows the backend to process relevant regions first, reducing latency and energy consumption by up to 9% in tail latency, 20% in average latency, and 16% in energy savings without additional overhead.