Ρομποτική λαβή και χειρισμός αντικειμένων με επαφή με το περιβάλλον
Authors: Σαραντόπουλος Ιάσων 
Published: April 2022

Η ρομποτική λαβή και ο χειρισμός αντικειμένων σε αβέβαια περιβάλλοντα αποτελεί ένα από τα μέχρι στιγμής άλυτα προβλήματα της ρομποτικής. Η παρούσα διατριβή επικεντρώνεται σε δύο υποπροβλήματά του: στη ρομποτική λαβή αντικειμένων με χρήση επαφής με το περιβάλλον και στο χειρισμό αντικειμένων σε ένα περιβάλλον αταξίας με σκοπό την απομόνωση ενός αντικειμένου-στόχου προς διευκόλυνση της λαβής. Αρχικά, προτείνονται τρεις στρατηγικές ρομποτικής λαβής που χρησιμοποιούν επαφή με το περιβάλλον για τη λαβή αντικειμένων μικρού ύψους από μία υποστηρικτική επιφάνεια. Όσο πιο μικρό ύψος έχει το αντικείμενο (π.χ. ένα κινητό τηλέφωνο ή ένα πιάτο) τόσο πιο δύσκολο είναι να ληφθεί χωρίς να υπάρξει επαφή με την επιφάνεια. Εμπνεόμενες από την ανθρώπινη λαβή, οι προτεινόμενες στρατηγικές χρησιμοποιούν υποχωρητική επαφή του ρομποτικού χεριού με την επιφάνεια, κάτι το οποίο οδηγεί σε ευρωστία ενάντια σε αβεβαιότητες που πιθανά εισάγονται από το σύστημα όρασης και καλύπτουν ένα μεγάλο εύρος περιπτώσεων. Επίσης, προτείνεται ένας μηχανισμός λήψης αποφάσεων ώστε να επιλέγεται η κατάλληλη κατά περίπτωση στρατηγική. Οι στρατηγικές υλοποιήθηκαν σε ένα εύρος ρομποτικών συστημάτων και αξιολογήθηκαν πειραματικά σε διάφορα σενάρια χρήσης. Συγκεκριμένα, χρησιμοποιήθηκαν ο ρομποτικός βραχίονας KUKA LWR4+ σε συνδυασμό με πολυδάκτυλα ρομποτικά χέρια όπως το Barrett-Hand BH8-282, το Shadow-Hand Lite, καθώς και το Smart Grasping System. Επίσης, οι μέθοδοι ενσωματώθηκαν στην ρομποτική πλατφόρμα RAMCIP όπου δοκιμάστηκαν σε ρεαλιστικά σενάρια χρήσης, που έλαβαν χώρα σε πραγματικές κατοικίες. Για την εφαρμογή των παραπάνω στρατηγικών σε περιβάλλοντα αταξίας προτείνονται δύο μέθοδοι απομόνωσης αντικειμένου, οι οποίες προηγούνται της ρομποτικής λαβής και, προς διευκόλυνσή της, απελευθερώνουν το γειτονικό χώρο του αντικειμένου-στόχου από τα περιβάλλοντα αντικείμενα-εμπόδια. Οι μέθοδοι χρησιμοποιούν ενισχυτική μάθηση και δύο στρατηγικές ώθησης, ώστε να απομονώσουν το αντικείμενο-στόχο χρησιμοποιώντας τον ελάχιστο δυνατό αριθμό ρομποτικών δράσεων. Η πρώτη προτεινόμενη μέθοδος ονομάζεται SplitDQN και τροποποιεί τον αλγορίθμο Deep Q-Network (DQN), ώστε να χρησιμοποιεί πολλαπλά νευρωνικά δίκτυα για την εκτίμηση της αξίας-Q, με το καθένα να αντιστοιχεί σε μία στρατηγική ώθησης. Όπως δείχνουν τα πειραματικά αποτελέσματα, η προτεινόμενη μέθοδος οδηγεί σε αυξημένο ποσοστό επιτυχίας σε σχέση με τον DQN, αυξάνει την ταχύτητα εκμάθησης και επιτρέπει την προσθήκη επιπλέον στρατηγικών χωρίς την ανάγκη επανεκπαίδευσης των υπαρχόντων δικτύων. Η δεύτερη προτεινόμενη μέθοδος αποτελεί μία μέθοδο τμηματοποιημένης ενισχυτικής μάθησης (ΤΕΜ) που χρησιμοποιεί συνεχείς δράσεις, σε αντίθεση με τη SplitDQN. Μία πολιτική λήψης αποφάσεων υψηλού επιπέδου εκπαιδεύεται με χρήση ενισχυτικής μάθησης ώστε να επιλέγει μεταξύ διαφορετικών στρατηγικών πολιτικών (δηλαδή πολιτικών που κάθε μία αντιστοιχεί σε μία στρατηγική ώθησης), οι οποίες εκπαιδεύονται ξεχωριστά. Αυτή η μέθοδος επιτρέπει την χρήση στρατηγικών πολιτικών ακόμα και αν αυτές έχουν παραχθεί με διαφορετικό τρόπο, είτε μέσω εκπαίδευσης με ενισχυτική μάθηση, είτε μέσω εκπαίδευσης με επιτηρούμενη μάθηση, είτε μέσω αλγοριθμικών λύσεων. Επίσης, δίνεται έμφαση στην ενσωμάτωση πρότερης γνώσης μέσω της σχεδίασης των στρατηγικών ώθησης και των αναπαραστάσεων της κατάστασης κάτι που οδήγησε σε περαιτέρω αύξηση του ποσοστού επιτυχίας της μεθόδου σε σχέση με state-of-the-art μεθόδους. Επιπλέον, η μέθοδος επιτρέπει την απομόνωση αντικειμένου σε διαφορετικά περιβάλλοντα που παραδοσιακά απαιτούν διαφορετικές προσεγγίσεις. Οι πολιτικές μεταφέρονται ικανοποιητικώς σε ένα πραγματικό σύστημα, με την ΤΕΜ να επιτυγχάνει βελτιωμένο ποσοστό επιτυχίας σε σχέση με τη SplitDQN.