Processing of real-time images captured by a high frame-rate camera and comunication protocols for ATLAS(CERN) realised with FPGA
Creators: name: Τσιακίρης, Θεόδωρος Βασιλείου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Υπέρυθρη κάμερα
Μετασχηματισμός Φουριέ
Επεξεργασία εικόνας
FPGA
ATLAS
Fast Fourier Transform FFT

description: Τhe first half of this Thesis encapsulates the processing of a real time image captured by a high frame-rate camera on behalf of Campera-Electronic Systems Srl. The design is part of PhAST - Photonic-based AeroSpace Technologies, a research program that aims to develop new Photonic-based technologies serving a wide spectrum of new aerospace applications. The purpose of the design is to process high frame rate thermal video using Discrete Fourier Transform. At the first stage, the module receives the frames using a variation of HDMI protocol and calculates averages of pixel data according to configuration. At the second stage, there is the DFT processing which was realised with Xilinx FFTs. The system decomposes not only the pixel data but also the outputs of the first FFT into sines and cosines. To realize this, a corner turner logic and a second FFT was used. The utilization of an FFT comes with secondary utilities such as windowing and zero padding. The system provides various degrees of freedom in the form of generics and interface. Some of them are the frame dimension, the pixel data width, the windowing function, the windowing and the input data channels. The design operablility was tested using conventional testbeching methods with non synthesizable VHDL code. The means of configuring the thermal camera as well as signal sampling from hardware through ILA cores are also displayed. The second part is about the development of Smbus and Pmbus communication protocols for the purpose of driving an LT3884 DC-DC converter. The converter in turn powers up a Stratix-10 FPGA which is part of a mezzanine card burdened with the task of particle trajectory detection in ATLAS.
description: Αυτή η διπλωματική εργασία έχει ως περιεχόμενό της δύο εφαρμογές οι οποίες αφορούν τη σχεδίαση συστημάτων επεξεργασίας δεδομένων ή πρωτοκόλλων επικοινωνίας σε FPGA. Το πρώτο μέρος αφορά την ανάπτυξη ενός συστήματος για την επεξεργασία εικόνων αληθινού χρόνου (real time) με τη χρήση μιας υπέρυθρης κάμερας υψηλής ταχύτητας. Η εκπόνηση αυτή έγινε στο πλαίσιο της υποτροφίας HiPEAC στην εταιρία Campera-Electronic Systems Srl και του ερευνητικού προγράμματος Ph.A.S.T. (Photonic Based AeroSpace Technologies) στη περιοχή της Τοσκάνης που σκοπό έχει να αναπτύξει εφαρμογές για ένα ευρύ φάσμα αεροδιαστημικών εφαρμογών. Αρχικά, το σύστημα λαμβάνει τα πλαίσια (frames), χρησιμοποιώντας μια παραλλαγή του πρωτοκόλλου HDMI. Η επιλογή του πρωτοκόλλου HDMI βασίστηκε σε υποθέσεις καθώς στην αρχή της σχεδίασης του συστήματος δεν είχαμε κάποια ένδειξη για το πρωτόκολλο λήψης. Για αυτό το λόγο σχεδιάστηκε ένας μη συνθέσιμος HDMI προσομοιωτής (emulator) ο οποίος προσωμοιώνει τη κάμερα υψηλής ταχύτητας. Στη συνέχεια το σύστημα χωρίζει την λαμβανόμενη εικόνα σε περιοχές και διαλέγει συγκεκριμένα pixels για κάθε περιοχή. Για κάθε περιοχή της εικόνας υπολογίζεται μια μέση τιμή των αντίστοιχων pixel. Στη συνέχεια γίνεται η επεξεργασία με FFT. Για την επεξεργασία αυτή επιλέχθηκε ο FFT της Xilinx ως μια δοκιμασμένη επιλογή για λειτουργία με τις πλακέτες της Xilinx. Λόγω της θεωρίας του μετασχηματισμού Fourier είναι απαραίτητη η προ-επεξεργασία των δεδομένων του FFT με τη χρήση zero-padding και widowning. Oι σταθερές που προκύπτουν από το μετασχηματισμό του πρώτου FFT αναλύονται εκ νέου από δεύτερο FFT. Για το σκοπό αυτό αναπτύχθηκαν Ping pong buffers και FSMs που διαχειρίζονται τη μεταφορά δεδομένων από και προς τη μνήμη. Το σύστημα επιτρέπει στο χρήστη μεγάλη ευελιξία όντας πλήρως παραμετροποιημένο μέσω generics για παράγοντες όπως η διάσταση των frames, η μορφή των pixel, την συνάρτηση που χρησιμοποιείται ως συνάρτηση windowing και τον αριθμό των καναλιών από τα οποία λαμβάνεται η εικόνα. Η λειτουργικότητα του συστήματος τεσταρίστηκε μέσω testbenches γραμμένα σε γλώσσα VHDL. Η θερμική κάμερα και μία κάρτα για τη λήψη δεδομένων μαζί με το reference design μας διατέθηκαν από τρίτους. Στη παρούσα εργασία παρουσιάζονται επίσης τρόποι για τη ρύθμιση της υπέρυθρης κάμερας καθώς και στιγμιότυπα (screenshots) από τη δειγματοληψία την ώρα της λειτουργίας του συστήματος (ILA cores). Το δεύτερο μέρος αφορά τη σχεδίαση προτοκόλλων επικοινωνίας Pmbus και Smbus. Ο λόγος της σχεδίασης είναι ο έλεγχος της ορθής εκκίνησης ενός Stratix-10 FPGA μέσω ενός dc-dc converter LT3884. Ο Stratix-10 αποτελεί μέρος μιας κάρτας μεζανίνης με σκοπό την ανίχνευση τροχιών σωματιδίων στο πείραμα ATLAS του CERN.