CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator
Creators: name: Πάσιος, Στέφανος Νικολάου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Χάσμα Προσομοιωτή-Πραγματικότητας
Αυτόνομη Οδήγηση
Προσομοιωτής CARLA
Sim2Real Gap
Autonomous Driving
CARLA Simulator

description: Simulators are indispensable for research in autonomous systems such as self-driving cars, autonomous robots, and drones. Despite significant progress in various simulation aspects, such as graphical realism, an evident gap persists between the virtual and real-world environments. Since the ultimate goal is to deploy such systems in the real world, closing the sim2real gap is of utmost importance. In this thesis, we employ a state-of-the-art approach to enhance the photorealism of simulated data, aligning it with the visual characteristics of real-world datasets. Based on this, we developed an easy-to-use, publicly available tool (plug-in) for the widely used and open-source CARLA simulator. This tool enhances the output of the CARLA simulator in real-time, achieving a frame rate of 13 FPS, thus aligning with the visual style and realism of real-world datasets such as Cityscapes, KITTI, and Mapillary Vistas. By employing this tool, we generated synthetic datasets from both the simulator and the enhancement model outputs, including their corresponding ground truth annotations for tasks related to autonomous driving. Then, we performed a number of experiments to evaluate the proposed approach’s impact on semantic segmentation, object detection, and feature extraction methods when trained on the enhanced synthetic data. The results demonstrated that the sim2real gap is significant and can indeed be reduced by the introduced approach.
description: Οι προσομοιωτές είναι απαραίτητοι για την έρευνα σε αυτόνοµα ερευνητιϰά συστήµατα, συµπεριλαµβανοµένων των αυτόνοµων αυτοϰινήτων, ροµπότ ϰαι µη επανδρωµένων αεροχηµάτων. Παρά τη σηµαντιϰή πρόοδο σε διάφορες πτυχές των προσοµοίωσεων, όπως ο ρεαλισµός των γραφιϰών, υπάρχει ένα έντονο χάσµα µεταξύ των ψηφιαϰών ϰαι των πραγµατιϰών περιβαλλόντων. ∆εδοµένου ότι ο απώτερος στόχος είναι η ανάπτυξη τέτοιων συστηµάτων στον πραγµατιϰό ϰόσµο, η συρρίϰνωση του χάσµατος µεταξύ προσοµοιωτή ϰαι πραγµατιϰού ϰόσµου είναι υψίστης σηµασίας. Σε αυτή τη διπλωµατιϰή, χρισηµοποιήσαµε µια προσέγγιση αιχµής για την βελτίωση του φωτορεαλισµού των δεδοµένων προσοµοίωσης, ευϑυγραµµίζοντάς τα µε τα οπτιϰά χαραϰτηριστιϰά των συνόλων δεδοµένων του πραγµατιϰού ϰόσµου. Με βάση αυτό, αναπτύξαµε ένα εύχρηστο δηµοσίως διαϑέσιµο εργαλείο (plug-in) για τον ευρέως χρησιµοποιούµενο ϰαι ανοιχτού ϰώδιϰα προσοµοιωτή CARLA. Αυτό το εργαλείο ενισχύει την έξοδο του προσοµοιωτή CARLA σε πραγµατιϰό χρόνο, επιτυγχάνοντας 13 ϰαρέ ανά δευτερόλεπτο (FPS), ευϑυγραµµίζοντας έτσι το οπτιϰό στυλ ϰαι εποµένως τον ρεαλισµό των συνϑετιϰών συνόλων δεδοµένων µε αυτά του πραγµατιϰού ϰόσµου όπως τα Cityscapes, KITTI ϰαι Mapillary Vistas. Χρησιµοποιώντας αυτό το εργαλείο, δηµιουργήσαµε συνϑετιϰά σύνολα δεδοµένων τόσο από τις εξόδους του προσοµοιωτή όσο ϰαι από τις εξόδους του µοντέλου ενίσχυσης του φωτορεαλισµού, συµπεριλαµβανοµένων των αντίστοιχων ετιϰετών βάσιµης αλήϑειας για εργασίες που σχετίζονται µε την αυτόνοµη οδήγηση. Στη συνέχεια, πραγµατοποιήσαµε µια σειρά πειραµάτων για να αξιολογήσουµε το αντίϰτυπο της προτεινόµενης προσέγγισης στη σηµασιολογιϰή τµηµατοποίηση, την ανίχνευση αντιϰειµένων ϰαι τις µεϑόδους εξαγωγής χαραϰτηριστιϰών όταν αυτές εϰπαιδευτούν στα βελτιωµένα συνϑετιϰά δεδοµένα. Τα αποτελέσµατα έδειξαν ότι το χάσµα µεταξύ προσοµοιωτή ϰαι πραγµατιϰού ϰόσµου είναι σηµαντιϰό ϰαι µπορεί πράγµατι να µειωϑεί µε την εισαγόµενη προσέγγιση.