Περιβάλλον προσομοίωσης και εκπαίδευσης αλγορίθμων ενισχυτικής μάθησης για την επίλυση δυναμικών προβλημάτων δρομολόγησης σε εφαρμογές last-mile logistics
Creators: name: Μαλέας, Ζήσης Μηνά
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Δυναμική Δρομολόγηση
Ενισχυτική Μάθηση
Διανομές τελευταίου μιλίου
Dynamic Routing
Reinforcement Learning
Last-mile Logistics

description: Το πρόβλημα της διανομής σε υπηρεσίες last-mile Logistics αποτελεί ένα από τα σημαντικότερα προβλήματα της εφοδιαστικής αλυσίδας και οφείλεται για περίπου το μισό των δαπανών διανομής ενός τελικού προϊόντος. Το συνεχόμενα αυξανόμενο μέγεθος των πόλεων, σε συνάρτηση με την επιθυμία των πελατών να αγοράζουν προϊόντα μέσω διαδικτύου, αλλά και το στόχο των εταιρειών διανομής για πιο γρήγορη παράδοση στον πελάτη, οδηγούν στην ανάγκη διαχείρισης του στόλου πιο δυναμικά. Η μεταστροφή του μοντέλου διανομών από στατικό σε δυναμικό αποτελεί ένα σημαντικό πλεονέκτημα που μπορεί να αυξήσει την παραγωγικότητα και να προσδώσει ανταγωνιστικά πλεονεκτήματα σε μια εταιρία. Παράλληλα , η ανάπτυξη και ωρίμανση των επιστημονικών κλάδων όπως η βαθιά μάθηση, η ενισχυτική μάθηση, και η επιχειρησιακή έρευνα δίνουν την δυνατότητα ανάπτυξης νέων καινοτόμων συστημάτων. Ομοίως, οι τεχνολογικές εξελίξεις σε τεχνολογίες όπως το ίντερνετ των πραγμάτων και το υπολογιστικό νέφος μπορούν να υποστηρίξουν αυτή την μεταστροφή. Στην εργασία αυτή αρχικά παρουσιάζεται το πρόβλημα δυναμικής δρομολόγησης στόλο οχημάτων οι διαδικασίες διανομής last Mile. Στόχος είναι η ανάπτυξη ενός περιβάλλοντος προσομοίωσης για την εκπαίδευση και επαλήθευση αλγορίθμων ενισχυτικής μάθησης στο πρόβλημα τις δυναμικής δρομολόγησης. Το περιβάλλον αυτό παρουσιάζει ένα καινοτόμο τρόπο αναπαράστασης του προβλήματος και μία αρχιτεκτονική που μπορεί να επεκταθεί εύκολα και σε άλλες υποπεριπτώσεις προβλημάτων δρομολόγησης. Τέλος παρουσιάζονται μερικά παραδείγματα για την επίδειξη του εργαλείου μέσω της σύγκρισης τεσσάρων στρατηγικών δρομολόγησης μεταξύ των οποίων η μία κάνει χρήση μεθόδων βαθιάς ενισχυτικής μάθησης.
description: The problem of distribution in last-mile Logistics services is one of the most important of the supply chain as it estimated the near the half of the distribution costs of a final product produced in urban operations. The continuously increasing size of cities, in relation to the e-commerce trend, and the goal of distribution companies for faster delivery, leads emerges the management of the fleet in a dynamical manner. The shift of the distribution models from static to dynamic, is an important advantage that can increase productivity as well as, companies’ competitive advantage. At the same time, the progress and maturation of computer science technologies such as deep learning, reinforcement learning, and operations research enables the development of new innovative systems. Likewise, advances in hardware technologies such as the Internet of Things and the cloud computing can support this shift. This study first presents the problem of dynamic fleet routing of the last Mile distribution processes. The aim is to develop a simulation environment for training and validation of reinforcement learning algorithms in the dynamic vehicle routing problem. The environment presents an innovative way of representing the problem in a way that can be easily extended to other instances of routing problems. Lastly, a series of examples are presented for demonstration purposes by comparing four routing strategies, one of which uses deep reinforcement learning methods.