Allineamento RGB-ToF: Uno studio comparativo CPU/GPU
Creators: name: Crugnola, Fabio
Publisher: name: Scuola Universitaria della Svizzera Italiana (SUPSI)
Year: 2023
Subjects: RGB camera
virtual reality
robotics

description: In questo rapporto vengono confrontate due diverse implementazioni di una procedura di allineamento di immagini provenienti da una telecamera RGB e una telecamera Time-of-Flight, catturate da punti di vista (PoV) diversi. L’allineamento è necessario per ottenere una rappresentazione 3D accurata della scena catturata dalla telecamera ToF. La telecamera ToF, infatti, non è in grado da sola di fornire una rappresentazione 3D a colori, che può diventare necessaria in diverse situazioni come, ad esempio, il riconoscimento delle caratteristiche chiave di un volto, dove il colore può facilitarne la distinzione. Le applicazioni d’uso delle telecamere ToF sono diventate, con la costante evoluzione dell’hardware di elaborazione presente sul mercato, sempre più esigenti, e tali da richiedere tempi di esecuzione ridottissimi così da poter godere di risultati di qualità immediati. Per cercare di soddisfare queste necessità, la procedura è stata implementata garantendo che tra il tempo di acquisizione delle due immagini e l’elaborazione dell’allineamento ci sia una latenza molto bassa, in grado di garantire il funzionamento in tempo reale con, ad esempio, un flusso video. La procedura è stata implementata sfruttando inizialmente hardware tradizionale (CPU multicore) e successivamente hardware dedicato (GPU Nvidia). Sono poi stati confrontati i tempi di esecuzione della procedura sulle due architetture per analizzare quale tra le due implementazioni impiegasse meno tempo ad essere eseguita. Dalle misurazioni è stato rilevato un netto incremento prestazionale nella versione parallelizzata su GPU. Si è poi testato in condizioni controllate la validità della procedura, cercando di generare una mappa 3D in tempo reale di un ambiente, sfruttando così con successo quanto realizzato. La procedura di allineamento realizzata può essere utilizzata in diversi contesti spaziando dalla realtà virtuale alla robotica. _____ This report compares two different implementations of an image alignment procedure from an RGB camera and a Time-of-Flight camera, captured from different viewpoints (PoV). Alignment is necessary to obtain an accurate 3D representation of the scene captured by the ToF camera. In fact, the ToF camera alone is not capable of providing a 3D color representation, which may become necessary in various situations such as, for example, recognition of key features of a face, where color may facilitate its distinction. Implementation’s contexts of ToF cameras have become, with the constant evolution of processing hardware in the market, increasingly demanding, and such that they require very short run times so that immediate quality results can be enjoyed. To meet these needs, the procedure was implemented by ensuring that there is a very low latency between the time of the acquisition of the two images and the processing of the alignment, capable of ensuring real-time operation with, for example, a video stream. The procedure was implemented by initially exploiting traditional hardware (multicore CPUs) and then dedicated hardware (Nvidia GPUs). The execution times of the procedure on the two architectures were then compared to find out which of the two implementations took the least time to execute. Measurements revealed a marked performance increase in the GPU-parallelized version. The validity of the procedure was then evaluated under controlled conditions by attempting to generate a real-time 3D map of an environment by exploiting what was realized. The alignment procedure thus realized can be used in different contexts ranging from virtual reality to robotics.