Large models in dialogue for active perception and anomaly detection
Creators: name: Chamiti, Tzoulio M.
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Ενεργή ανίχνευση ανωμαλιών
LLM
VQA
Active anomaly detection

description: Η αυτόνομη επιτήρηση με μη επανδρωμένα αεροσκάφη είναι ένα σημαντικό έργο που ως σκοπό έχει τη συλλογή πληροφοριών από άγνωστες περιοχές, οι οποίες δεν είναι εύκολα προσβάσιμες από τον άνθρωπο. Στην παρούσα εργασία, διερευνούμε την ικανότητα ενός Large Language Model να ελέγχει ένα εναέριο drone, να συλλέγει πληροφορίες σε ένα συγκεκριμένο περιβάλλον μέσω εναέριας επιτήρησης και τελικά να παρέχει εξηγήσεις σχετικά με τα ευρήματά του. Διεξάγουμε τα πειράματά μας σε ένα περιβάλλον προσομοίωσης όπου το LLM εφοδιάζεται με ένα προκαθορισμένο σύνολο εντολών κίνησης σε φυσική γλώσσα που αντιστοιχίζονται σε εκτελέσιμες λειτουργίες κώδικα. Επιπλέον, χρησιμοποιούμε ένα μοντέλο Visual Question Answering που παρέχει απαντήσεις σε ερωτήσεις βάσει εικόνων και δημιουργεί λεζάντες. Εμπλέκοντας τα δύο μοντέλα σε συνομιλία, το LLM θέτει διερευνητικές ερωτήσεις, ενώ ταυτόχρονα πετάει το drone σε διάφορα μέρη της σκηνής με τη μορφή ενεργής αντίληψης. Κατά συνέπεια, καταγράφονται στιγμιότυπα οθόνης σε διαφορετικά σημεία στα οποία πλοηγείται το drone και τροφοδοτούνται στο μοντέλο VQA με ένα διαφορετικό ζεύγος ερώτησης-εικόνας κάθε φορά, ώστε να εξάγονται πολύτιμες πληροφορίες για τη σκηνή σε φυσική γλώσσα. Αξιοποιώντας την ικανότητα συλλογισμού του LLM και τη μονάδα επεξηγηματικότητας του VQA, εξάγουμε μια επεξηγήσιμη λεπτομερή περιγραφή της σκηνής. Εκτός από τη συλλογή πληροφοριών, η προσέγγισή μας χρησιμοποιείται και για την πιθανή ανίχνευση ανωμαλιών στο περιβάλλον επιτήρησης ενώ τα αποτελέσματά μας αποδεικνύουν την αποτελεσματικότητα του συστήματος στην ενημέρωση και την προειδοποίηση σχετικά με πιθανούς κινδύνους.
description: Autonomous drone surveillance is an important task aimed at gathering information from unknown areas, oftentimes not easily accessible by humans. In this thesis, we explore Chat-GPT’s ability to control an aerial drone, gather information about a specific scene in the form of aerial surveillance and ultimately provide explanations about its findings. We conduct our experiments in a simulation environment where ChatGPT is provided with a predetermined set of natural language movement commands mapped into executable code functions. Additionally, we deploy a Visual Question Answering model charged with the task of visual question answering and captioning. By engaging the two models in conversation, ChatGPT asks exploratory questions while simultaneously flying the drone into different parts of the scene in the form of active perception. Consequently, we capture screenshots at different parts the drone navigates and feed the VQA model a different question-image pair each time, to extract valuable information about the scene in natural language. By leveraging ChatGPT’s reasoning ability and VQA’s explainability module, we output an explainable detailed description of the scene. In addition to information gathering, our approach is utilized for anomaly detection within the surveillance environment and our results demonstrate the system’s effectiveness in informing and alerting about potential hazards.