Enhancing Personalized Travel Assistance with Retrieval-Augmented Generation: A Context-Aware Approach
Creators: name: Μαλαματινός, Μάριος Χρήστος Π.
Publisher: name: Aristotle University of Thessaloniki
Year: 2025
Subjects: Μεγάλα Γλωσσικά Μοντέλα
Επεξεργασία Φυσικής Γλώσσας
Ενίσχυση Ανάκτησης
Large Language Models
Natural Language Processing
Retrieval Augmented Generation

description: multiple state-of-the-art retrieval methodologies, such as Hybrid Vector Retrieval, AutoMerge, HyDE, and GraphRAG each evaluated through extensive experimentation on a synthetic domain-specific dataset for improving the accuracy and relevance of tourism-related information. By leveraging domain-specific knowledge the framework aims to provide dynamic, personalized, and contextual recommendations for travelers. This work also incorporates a personalization component that dynamically constructs a user profile through prompt engineering, enhancing the system's ability to tailor responses based on individual characteristics and preferences such as age range, nationality, travel group, purpose of travel, etc. thus delivering a personalized travel assistance experience. Moreover, it emphasizes on an End-to-End automated, open-source approach, making it adaptable and accessible for future research and real-world applications in tourism. To evaluate the effectiveness of the framework, extensive experimentation was conducted using domain-specific generated dataset, with the help of retrieval and generative quality metrics. The results of this research clearly demonstrate that the HyDE architecture consistently outperforms all the others both for locally hosted, lightweight open source models (Llama3.2 3B Instruct, BGE-M3) as well as for models provided by external Large Language Model (LLM) providers such as OpenAI (GPT-4o-mini, text-embedding-3-small). Additionally, experiments comparing the local and the OpenAI models for the HyDE approach, reveal that locally hosted BGE-M3 outperforms text-embedding-3-small model in retrieval while OpenAI’s GPT-4o-mini compensates for retrieval limitations by generating more accurate, fluent, and contextually enriched responses than the locally hosted "Llama3.2 3B Instruct" (Quantized) effectively bridging gaps in retrieval inaccuracies. Finally, this research underscores the critical role of domain adaptation techniques and persona-based retrieval augmentation in optimizing AI travel assistants with RAG architectures, paving the way for future advancements in personalized, context-aware, and highly adaptable tourism recommendation systems.
description: Η παρούσα διπλωματική εργασία παρουσιάζει ένα προηγμένο σύστημα παραγωγής κειμένου με ενίσχυση ανάκτησης (Retrieval-Augmented Generation, RAG), σχεδιασμένο για τη βελτίωση των συστημάτων συστάσεων που σχετίζονται με τον τουρισμό. Το προτεινόμενο σύστημα ενσωματώνει πολλαπλές σύγχρονες μεθοδολογίες ανάκτησης, όπως η Υβριδική Ανάκτηση Διανυσμάτων (Hybrid Vector Retrieval), AutoMerge, HyDE και GraphRAG, καθεμία από τις οποίες αξιολογήθηκε μέσω εκτενών πειραμάτων σε ένα συνθετικό, ειδικά προσαρμοσμένο σύνολο δεδομένων, με στόχο τη βελτίωση της ακρίβειας και της σχετικότητας των πληροφοριών που αφορούν τον τουρισμό. Εκμεταλλευόμενο τις ειδικές γνώσεις του πεδίου του τουρισμού, το σύστημα στοχεύει να παρέχει δυναμικές και εξατομικευμένες συστάσεις για τους ταξιδιώτες. Επιπλέον, η εργασία ενσωματώνει ένα κομμάτι εξατομίκευσης που κατασκευάζει δυναμικά ένα προφίλ χρήστη μέσω της διαδικασίας σχεδιασμού και βελτίωσης προτροπών (prompt engineering), ενισχύοντας έτσι την ικανότητα του συστήματος να προσαρμόζει τις απαντήσεις βάσει ατομικών χαρακτηριστικών και προτιμήσεων, όπως η ηλικιακή ομάδα, η εθνικότητα, η ταξιδιωτική ομάδα, ο σκοπός του ταξιδιού κ.ά., προσφέροντας μια εξατομικευμένη εμπειρία ταξιδιωτικής υποστήριξης. Επιπρόσθετα, δίνεται έμφαση σε μια αυτοματοποιημένη, ανοικτού κώδικα προσέγγιση από άκρο σε άκρο (End-to-End), καθιστώντας το σύστημα προσαρμόσιμο και προσβάσιμο, για μελλοντικές έρευνες και εφαρμογές «σε πραγµατικές συνθήκες», στον τομέα του τουρισμού. Για την αξιολόγηση της αποτελεσματικότητας του, διεξήχθη εκτενής αριθμός πειραμάτων χρησιμοποιώντας ένα σύνολο δεδομένων που δημιουργήθηκε ειδικά για τον τομέα του τουρισμού και με τη βοήθεια μετρικών ποιότητας ανάκτησης και γενεσιουργίας. Σε αυτήν τη βάση, η παρούσα διπλωματική εργασία, διερευνά περαιτέρω τη σύνθετη σχέση μεταξύ των στοιχείων ανάκτησης και γενεσιουργίας, αναλύοντας πώς διάφορες στρατηγικές ανάκτησης επηρεάζουν την ακρίβεια, τη συμφραζόμενη συνοχή και την προσαρμοστικότητα των παραγόμενων απαντήσεων. Η έρευνα επεκτείνει τις διάφορες μεθοδολογίες ανάκτησης, συμπεριλαμβανομένων των διανυσματικών, υβριδικών και βασισμένων σε γράφους προσεγγίσεων, αξιολογώντας την αποτελεσματικότητά τους στον τομέα του τουρισμού και στη δυναμική προσαρμογή σε ποικίλα ερωτήματα χρηστών. Επιπλέον, η έρευνα εξετάζει τον αντίκτυπο των στρατηγικών διαχωρισμού εγγράφων (document segmentation) και των μηχανισμών συμφραζόμενης ανακατάταξης (context re-ranking) στην ενίσχυση της σχετικότητας των ανακτημένων πληροφοριών, ενώ παράλληλα ελαχιστοποιεί τις ψευδαισθήσεις (hallucinations) στα παραγόμενα αποτελέσματα. Μέσω της συστηματικής αξιολόγησης αυτών των προσεγγίσεων, το πλαίσιο στοχεύει στην καθιέρωση πρακτικών για τη βελτιστοποίηση της ανάκτησης στις εφαρμογές τουρισμού που στηρίζονται από τη τεχνητή νοημοσύνη. Τα αποτελέσματα της έρευνας δείχνουν ξεκάθαρα ότι η αρχιτεκτονική HyDE υπερέχει έναντι των άλλων, τόσο για μικρά σε υπολογιστικό κόστος μοντέλα ανοιχτού κώδικα που φιλοξενούνται τοπικά (Llama3.2 3B Instruct, BGE-M3), όσο και για μοντέλα που παρέχονται από εξωτερικούς παρόχους Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ) όπως η OpenAI (GPT-4o-mini, text-embedding-3-small). Επίσης, τα πειράματα που συγκρίνουν τα τοπικά μοντέλα με αυτά της OpenAI για την προσέγγιση HyDE αποκαλύπτουν, ότι το τοπικά φιλοξενούμενο BGE-M3 υπερτερεί του μοντέλου text-embedding-3-small στην ανάκτηση πληροφορίας, ενώ το GPT-4o-mini της OpenAI αντισταθμίζει τους περιορισμούς στην ανάκτηση παράγωντας πιο ακριβείς, ρέουσες και συμφραζόμενα εμπλουτισμένες απαντήσεις από ό,τι το τοπικό “Llama3.2 3B Instruct” (Quantized), γεφυρώνοντας αποτελεσματικά τις ελλείψεις που προκύπτουν από τις ανακρίβειες στην ανάκτηση. Πέραν των ποσοτικών συγκρίσεων επιδόσεων, η παρούσα έρευνα διεξάγει μια λεπτομερή ποιοτική ανάλυση των απαντήσεων που εμπλουτίζονται με ανάκτηση, εστιάζοντας στην παραγματολογική ακρίβεια (factual correctness) και στην προσαρμοστικότητα του συστήματος σε ποικίλες καταστάσεις συζητήσεων με χρήστες. Εξετάζοντας τη σχέση μεταξύ της ανάκλησης (recall) στην ανάκτηση και της ποιότητας της γενεσιουργίας, η μελέτη αποδεικνύει ότι οι αρχιτεκτονικές με υψηλότερα ποσοστά ανάκλησης (recall), όπως η HyDE, επιτρέπουν την παραγωγή απαντήσεων που είναι περισσότερο τεκμηριωμένες και σχετικές με τα συμφραζόμενα, ενώ τα μοντέλα με χαμηλότερη την μετρική αυτή, όπως το AutoMerge, δυσκολεύονται να διατηρήσουν τη συνοχή των απαντήσεων. Το προτεινόμενο σύστημα έχει σχεδιαστεί να είναι αρθρωτό (modular) και επεκτάσιμο, διευκολύνοντας την απρόσκοπτη ενσωμάτωση εξωτερικών πηγών γνώσης και επιτρέποντας ενημερώσεις σε πραγματικό χρόνο, ώστε οι απαντήσεις του να προσαρμόζονται δυναμικά στις μεταβαλλόμενες πληροφορίες που αφορούν τον τουρισμό. Αυτό αντιμετωπίζει άμεσα τους περιορισμούς των στατικών συνόλων δεδομένων, εξασφαλίζοντας ότι οι ταξιδιωτικές συστάσεις που βασίζονται στην τεχνητή νοημοσύνη παραμένουν ακριβείς και ενημερωμένες. Τέλος, τα ευρήματα υπογραμμίζουν τη σημαντικότητα των τεχνικών προσαρμογής στον συγκεκριμένο τομέα, ως προς τη βελτιστοποίηση των συστημάτων συστάσεων που βασίζονται σε ενίσχυση ανάκτησης (RAG), ανοίγοντας τον δρόμο για περαιτέρω προόδο στην υποβοήθηση του ταξιδιωτικού τομέα με τη βοήθεια της τεχνητής νοημοσύνης. Μερικές μελλοντικές κατευθύνσεις αυτής της διπλωματικής εργασίας μπορούν να περιλαμβάνουν την εξερεύνηση προσαρμοστικών μηχανισμών ανάκτησης (adaptive retrieval mechanisms) που ρυθμίζουν δυναμικά τις στρατηγικές ανάκτησης βάσει της πολυπλοκότητας του ερωτήματος του χρήστη, εξασφαλίζοντας πιο ακριβείς συστάσεις. Επιπλέον, μπορεί να εξεταστεί η περεταίρω εκπαίδευση (fine-tuning) των μοντέλων ανάκτησης και γενεσιουργίας σε δεδομένα ειδικά για το πεδίο του τουρισμού, με στόχο τη βελτίωση των απαντήσεων σε εξειδικευμένες εφαρμογές τουρισμού. Μπορεί επίσης να γίνει επέκταση του συστήματος ώστε να υποστηρίζει πολυγλωσσική και δια-τομεακή (π.χ.τομέα υγείας) λειτουργικότητα, έτσι ώστε να βελτιώσει την προσβασιμότητα για τους ταξιδιώτες. Επιπλέον, μια μελλοντική κατεύθυνση είναι η χρήση του συστήματος σε "πραγματικές συνθήκες" και αξιολόγηση του από τους χρήστες για την εκτίμηση της απόδοσης σε πρακτικά σενάρια, συγκεντρώνοντας ανατροφοδότηση (feedback). Αυτές οι εξελίξεις έχουν τη δυνατότητα να βελτιώσουν την εμπειρία υποστήριξης και υποβοήθησης χρηστών με τη χρήση τεχνητής νοημοσύνης, καθιστώντας τα συστήματα συστάσεων όχι μόνο πιο ακριβή, αλλά και πιο προσαρμοστικά, κλιμακούμενα και προσανατολισμένα στον χρήστη.