Sistema di Visione Multicamera per l'Analisi del Comportamento nella Micromobilità
Creators: name: Agudelo Ledezma, Diego Fernando
Publisher: name: Scuola Universitaria della Svizzera Italiana (SUPSI)
Year: 2024
Subjects: computer science
micromobility
python

description: Il presente progetto introduce un sistema avanzato di visione per l'analisi delle dinamiche interattive in ambienti di micromobilità, quali biciclette, monopattini elettrici e altri piccoli veicoli. Utilizzando una configurazione innovativa di telecamere RGB e Depth disposte circolarmente attorno ai mezzi di trasporto, il sistema è in grado d’analizzare in dettaglio la presenza di persone e altri mezzi nelle vicinanze. Questo permette un'interpretazione tridimensionale dell'ambiente circostante, migliorando la comprensione delle interazioni tra utenti e mezzi di micromobilità. L'obiettivo è fornire una piattaforma affidabile per lo studio comportamentale in contesti urbani. A tale scopo, è stata sviluppata un'app capace d’identificare oggetti e di stabilire la loro distanza approssimativa dalla telecamera. L'applicazione è strutturata in due componenti principali: il backend e il frontend. Il backend è implementato in Python utilizzando il framework Django, che facilita la gestione e la fornitura dei dati al frontend attraverso REST API. La funzionalità chiave del backend è il riconoscimento degli oggetti, realizzato mediante l'algoritmo YOLO (You Only Look Once). Questo processo non si limita al solo riconoscimento degli oggetti: una volta identificato un oggetto, viene misurata la sua distanza dalla telecamera. Questa misurazione sfrutta le capacità di cattura di profondità di una telecamera Intel RealSense. I dati rilevati, inclusi tipo dell'oggetto, distanza e le coordinate spaziali, sono poi archiviati in un database MongoDB per la persistenza. Il frontend, sviluppato con React e arricchito da componenti Bootstrap, offre una interfaccia utente interattiva che permette di visualizzare i frame e i dati associati elaborati dal backend. Gli utenti possono filtrare i risultati visualizzati in base a criteri quali la distanza e la categoria dell'oggetto. In aggiunta, durante la cattura di ogni frame, viene registrata anche la posizione GPS, che consente di mappare e visualizzare l'ubicazione precisa di ogni cattura sulla mappa. ___ This project introduces an advanced vision system for analyzing interactive dynamics in micromobility environments, such as bicycles, electric scooters, and other small vehicles. Utilizing an innovative configuration of RGB and Depth cameras arranged circularly around the transport means, the system is capable of analyzing in detail the presence of people and other vehicles nearby. This allows for a three-dimensional interpretation of the surrounding environment, enhancing the understanding of interactions between users and micromobility devices. The goal is to provide a reliable platform for behavioral studies in urban contexts. To this end, an app has been developed capable of identifying objects and determining their approximate distance from the camera. The application is structured into two main components: the backend and the frontend. The backend is implemented in Python using the Django framework, which facilitates the management and provision of data to the frontend through REST APIs. The key functionality of the backend is object recognition, performed using the YOLO (You Only Look Once) algorithm. This process is not limited to mere object recognition: once an object is identified, its distance from the camera is measured. This measurement leverages the depth-capture capabilities of an Intel RealSense camera. The detected data, including object type, distance, and spatial coordinates, are then stored in a MongoDB database for persistence. The frontend, developed with React and enhanced by Bootstrap components, offers an interactive user interface that allows for the visualization of frames and associated data processed by the backend. Users can filter the displayed results based on criteria such as the distance and category of the object. Additionally, during the capture of each frame, the GPS position is also recorded, which enables mapping and displaying the precise location of each capture on the map.