Ο πατέρας του Καρόλου Β΄ του Χωλού, ο Κάρολος Α΄ δούκας του Ανζού, ιδρυτής του Ανδεγαυικού βασιλείου της Σικελίας, κατέλαβε το νησί ύστερα από πρόσκληση του πάπα (1262). Ο Κάρολος ο Ανδεγαυός ανατράπηκε στη Σικελία από τον εχθρό του Πέτρο Γ΄ της Αραγωνίας, όταν ξέσπασε ο Σικελικός Εσπερινός, όπου ακολούθησε μεγάλη σφαγή των Γάλλων στο νησί (1282) και ο 7χρονος Ροβέρτος έγινε όμηρος των Αραγωνέζων. Ο παππούς του πέθανε τρία χρόνια αργότερα (1285) αφήνοντας τον Κάρολο Β΄ τον Χωλό βασιλιά της Νεαπόλεως· διάδοχός του ήταν ο μεγαλύτερος αδελφός του Ροβέρτου, ο Κάρολος Μαρτέλος, που απέκτησε γιο τον Κάρολο (1288), όταν ο θείος του Ροβέρτος ήταν 13 ετών.