Robotic grasping and manipulation of unknown objects in clutter
Authors: Κιάτος Μάριος 
Published: April 2023

Τα ρομπότ γενικής χρήσης χρειάζονται την ικανότητα να χειρίζονται αντικείμενα σε μη δομημένα περιβάλλοντα. Παρά το ενδιαφέρον της ερευνητικής κοινότητας και παρά την πρακτική του αξία, ο χειρισμός νέων αντικειμένων σε περιβάλλοντα με αταξία, παραμένει σε μεγάλο βαθμό, ένα άλυτο πρόβλημα. Η παρούσα διατριβή εστιάζει σε δύο προβλήματα: στην ρομποτική λαβή άγνωστων αντικειμένων και στο χειρισμό αντικειμένων σε ένα περιβάλλον αταξίας με σκοπό την απομόνωση ενός αντικειμένου στόχου προς διευκόλυνση της λαβή του.Αρχικά, εξετάζεται το πρόβλημα της σχεδίασης ευσταθής λαβής αγνώστων αντικειμένων με πολυδάχτυλα χέρια. Σε αντίθεση με προηγούμενες μεθόδους, που αναζητούν λαβές ακριβείας και έτσι προσπαθούν να επιτύχουν ευσταθή λαβή μόνο με λίγα σημεία επαφής, η παρούσα διατριβή εστιάζει σε περιβάλλουσες λαβές, εξαιτίας της ευρωστίας που παρέχουν σε σφάλματα. Για να το επιτύχουμε αυτό, εκμεταλλευόμαστε την ικανότητα του ρομποτικού χεριού να συμπληρώνει την γεωμετρία του αντικειμένου, αγκαλιάζοντας το, δείχνοντας περιαματικά ότι όσο μεγαλύτερη είναι αυτή η συμπληρωματικότητα τόσο πιο πιθανό να είναι ευσταθής η λαβή. Η μέθοδος αναπαριστά την σκήνη και το ρομποτικό χέρι με δύο νέφη σημείων και ορίζει μια μετρική συμπληρωματικότητας μεταξύ αυτών των δύο νεφών. Ένα πρακτικό πρόβλημα που πρέπει να αντιμετωπιστεί όταν τα αντικείμενα είναι άγνωστα, είναι ότι το νέφος σημείων του αντικειμένου μπορεί να είναι ελλιπές λόγβ της οπτικής γνωίας της κάμερα βάθους. Έτσι, η προτεινόμενη μέθοδος εκπαιδεύει και χρησιμοποιεί ένα νευρωνικό δίκτυο το οποίο προβλέπει την χαμένη πληροφορία, δίνοτας τη δυνατότα να συμπληρωθεί τοπικά το ελλιπές νέφος σημείων. Τέλος, η προτεινόμενη μέθοδος επιδεικνύει υψηλό ποσοστό επιτυχίας τοσό σε περιβάλλον προσομοίωσης όσο και σε πραγματικό σύστημα, ακόμη και σε σκηνές με αταξία. Αν και η προτεινόμενη μέθοδος μπορεί να παράξει ευσταθής λαβές ακόμη και σε περιβάλλοντα αταξίας, προβλήματα προκύπτουν σε περιβάλλοντα υψηλής αταξίας, όπου τα αντικείμενα βρίσκοντα πολύ κόντα το ένα με το άλλο. Για να αντιμετωπιστεί το πρόβλημα της λαβής ενός αντικειμένου σε περιβάλλον υψηλής αταξίας, προτείνονται τρεις μέθοδοι απομόνωσης αντικειμένου, οι προηγούνται της ρομποτικής λαβής και απελευθερώνουν το γειτονικό χωρό του αντικειμένου στόχου από τα περιβάλλον εμπόδια. Οι προτεινόμενες μέθοδοι χρησιμοποιούν ενισχυτική μάθηση για να εκπαιδεύσουν πολιτικές που χρησιμοποιούν δύο στρατηγικές ώθησης για τη απόμονωση ενός αντικείμενου στόχου με τον ελάχιστο αριθμό δράσεων. Συγκεκριμένα, η πρώτη μέθοδος χρησιμοποιεί τον αλγόριθμο Deep Q-Network (DQN) και επιτυγχάνει απομόνωση ενός αντικειμένου-στόχου με δεδομένα βάθους. Για την βελτίωση της εκμάθησης, τροποποιείται ο αγόριθμος DQN, διαχωρίζοντας το Q-Network (Split-DQN) σε δύο δίκτυα, ένα για κάθε στρατηγική ώθησς. Όπως δείχνουν τα αποτελέσματα, η προτεινόμενη μέθοδος οδηγεί σε ταχύτερη σύγκλιση και αυξημένο ποσοστό επιτυχίας για την απομόνωση αντικειμένων και επιτρέπει την προσθήκη επιπλέον στρατηγικών χωρίς επανεκπαίδευση των υπαρχόντων δικτύων. Στη συνέχεια, προτείνεται μια μέθοδος τμηματοποιημένης ενισχυτικής μάθησης, η οποία σε αντίθεση με τις προηγούμενες μεθόδους, χρησιμοποιεί συνεχείς δράσεις. Αυτή η μέθοδος επιτρέπει τον συνδυασμό διαφορετικών στρατηγιών πολιτικών, οι οποίες μπορούν να παραχθούν ανεξάρτητα, είτε μέσω ενισχυτικής μάθησης, είτε μέσω εκπαίδευσης με επιτηρούμενη μάθηση είτε μέσω αλγοριθμικών λύσεων. Επιπλέον, η προτεινόμενη μέθοδος ενσωματώνει αποτελεσματικά πρώτερη γνώση μέσω της σχεδίασης των στρατηγικών ώθησης και των αναπαραστάσεων της κατάστασης και επιτρέπει την απομόνωση σε διαφορετικά περιβάλλοντα, τα οποία παραδοσιακά απαιτούν διαφορετικές προσεγγίσεις. Όλες οι παραπάνω πολιτικές είναι εκπαιδευμένες στην προσομοίωση και μεταφέρονται αποτελεσματικά σε πραγματικό περιβάλλον. Τέλος, αποδεικνύεται ότι απλοί αλγοριθμικοί κανόνες που μετακινούν το αντικείμενο στόχο προς τον κενό χώρο είναι αποτελεσματικοί για την απομόνωση και ότι η ενσωμάτωση τους στην εκπαίδευση πολιτικων με χρήση ενισχυτικής μάθησης, οδηγεί σε αυξημένα ποσοστάς επιτυχίας. Τέλος παρουσιάζεται μια μέθοδος η οποία επιτυγχάνει σταθερή περιβάλλουσα λαβή ενός αντικειμένου σε περιβάλλον υψηλής αταξίας με μία μόλις δράση, μειώνοντας τον συνολικό αριθμό δράσεων που χρειάζονται από τις παραπάνω μεθόδους. Συγκεκριμένα, η μέθοδος εκμεταλλεύεται την μηχανική της ώθησης έτσι ώστε να ανακατανείμει τα αντικείμενα με τελικό στόχο να βρεθεί ένα αντικείμενο μέσα στο ρομποτικό χέρι. Στη συνέχεια το ρομποτικό χέρι κλείνει τα δάκτυλα πραγματοποιώντας μια σταθερή περιβάλλουσα λαβή. Η στρατηγική αυτή έχει ως στόχο την κύλιση ενός αντικειμένου μέσα στο ρομποτικό χέρι ή την κύλιση των αντικειμένων-εμποδίων έξω από το ρομποτικό χέρι. Τέλος, η προτεινόμενη μέθοδος εκπαιδεύτηκε στην προσομοίωση αλλά μεταφέρθηκε με επιτυχία σε πραγματικό ρομποτικό σύστημα.