title: Τρισδιάστατη ανακατασκευή αντικειμένων σε πραγματικό χρόνο μέσω ενσωματωμένου συστήματος
title: Real time object reconstruction in embedded systems
Creators: name: Μαλεφιουδακης Βενιαμιν
Publisher: name: Technical University of Crete
Year: 2022

description: Η τρισδιάστατη ανακατασκευή αντικειμένων εξελίσσεται ολοένα και περισσότερο στο πεδίο της μηχανικής όρασης. Μέσω κατάλληλων αλγορίθμων, υπάρχει πλέον η δυνατότητα να παραχθούν συνθέτες τρισδιάστατες σκηνές σε πραγματικό χρόνο. Σε αυτή την κατεύθυνση, η σύνθεση ρεαλιστικών τρισδιάστατων μοντέλων παραμένει απαιτητική και χρονοβόρα, αυξάνοντας σημαντικά το υπολογιστικό κόστος. Στη παρούσα διπλωματική εργασία, βασικό αντικείμενο αποτέλεσε η ανάπτυξη και υλοποίηση μιας ολοκληρωμένης εφαρμογής για τη τρισδιάστατη ανακατασκευή εικόνων (χάρτης ανισοτιμίας – disparity map) σε ενσωματωμένο σύστημα, με τη χρήση οπτικών αισθητήρων πολύ χαμηλού κόστους. Η εφαρμογή σχεδιάστηκε και υλοποιήθηκε με σκοπό να διαθέτει γραφικό περιβάλλον που να επιτρέπει στο χρήστη να εκτελέσει εύκολα όλες τις διαδικασίες που απαιτούνται για τη τρισδιάστατη ανακατασκευή της σκηνής. Μπορεί επίσης να προσφέρει τη δυνατότητα επιλογής ενός εκ των δύο στερεοσκοπικών αλγορίθμου που ενσωματώθηκαν για τη δημιουργία του χάρτη βάθους της σκηνής, καθώς και τη ρύθμιση των παραμέτρων τους σε πραγματικό χρόνο. Η εφαρμογή έχει αναπτυχθεί με βέλτιστο τρόπο ως προς την αποτελεσματική αξιοποίηση της υπολογιστή ισχύς του συστήματος. Ο χρήστης μπορεί να επιλέξει είτε την υπολογιστική μονάδα επεξεργασίας (CPU) ή τη μονάδα επεξεργασίας γραφικών (GPU) για τον υπολογισμό των τρισδιάστατων γραφικών σε πραγματικό χρόνο. Οι υπολογισμοί και συγκρίσεις που πραγματοποιήθηκαν σε αυτή τη διπλωματική εστιάζονται στη χρήση συμβατού σταθερού υπολογιστή (Desktop PC) και στη χρήση του ενσωματωμένου συστήματος Nvidia Jetson NX Xavier (Jetson). Οι συγκρίσεις μεταφράζονται σε όρους χρονικών υπολογισμών με είσοδο εικόνες των 640 ή 1080 Pixel, μεταξύ των δύο διαφορετικών αλγορίθμων, μεταξύ των CPU και GPU και μεταξύ των δύο υπολογιστικών συστημάτων (Desktop PC vs Jetson). Από αυτές τις συγκρίσεις, παρουσιάζεται ότι η χρήση Jetson για τον υπολογισμό disparity map σε πραγματικό χρόνο είναι πάρα πολύ κοντά στους χρόνους του Desktop PC (διαφορά 8 ms για υπολογισμούς σε GPU και χρήση 640 Pixel και 100 ms για υπολογισμούς σε CPU και χρήση 1080 Pixel). Μέσα από αυτά τα αποτελέσματα, γίνεται αντιληπτό ότι η χρήση ενσωματωμένων συστημάτων με χαμηλού κόστους οπτικούς αισθητήρες είναι πλέον σε θέση να μπορούν να υποστηρίξουν φορητά και επανδρωμένα ή (μη) συστήματα με ένα ευρύ φάσμα εφαρμογής όπως είναι η εναέρια ανακατασκευή τρισδιάστατου χώρου.
description: The three-dimensional reconstruction of objects is evolving more and more in the
the field of machine vision. Through appropriate algorithms, it is now possible to
produce synthetic 3D scenes in real time. In this direction, the synthesis of realistic 3D models remains demanding and time-consuming, significantly increasing the
computational cost. In this thesis, the main purpose is the development and implementation of a integrated application for 3D image reconstruction (disparity map) in an embedded system, using optical sensors at very low cost. The application is designed and implemented to have a graphical interface that allows the user to easily perform all the procedures required for the 3D reconstruction of the scene. In addition, it offers the possibility of selecting one of the two stereoscopic algorithms incorporated to create the depth map of the scene and to adjust their parameters in real time. The application has been optimally developed in terms of the efficient use of computer system power. The user can select either the computing processing unit (CPU) or the graphics processing unit (GPU) for the calculation of the 3D graphics in real time. The calculations and comparisons performed in this thesis are focused on the use of a compatible desktop PC and the use of the embedded system Nvidia Jetson NX Xavier (Jetson). Comparisons with input images of 640 or 1080 pixels have been made, between the two different algorithms, between the CPU and GPU and between the two computing systems (Desktop PC vs. Jetson). From these comparisons, it is shown that using Jetson for real-time disparity map computation is very close to the Desktop PC times (8 ms difference for GPU calculations and using 640 pixels and 100 ms for CPU calculations using 1080 pixels). From these results, it can be seen that the use of embedded systems with low optical sensors are now able to support portable and manned or unmanned systems with a wide range of applications such as airborne 3D space reconstruction.