Dziad Roberta, Karol I z poparciem papiestwa i Francji walczył o odzyskanie Sycylii, która po powstaniu w 1282 znalazła się w ręku władców Aragonii. Politykę Karola I kontynuował jego syn, Karol II Kulawy. W 1288 doszło do podpisania rozejmu z królem Aragonii Alfonsem III i jego bratem, królem Sycylii Jakubem I (w Aragonii Jakub II). Na mocy porozumienia Karol Kulawy, więziony dotychczas przez Jakuba I, miał odzyskać wolność w zamian za okup, nadto jako zakładników miał dać swoich synów, w tym Roberta. Wolność odzyskał dopiero w 1295 na mocy traktatu z Anagni. Jednym z punktów traktatu miał być ślub Roberta z księżniczką aragońską Jolantą, siostrą Alfonsa III i Jakuba I, do którego ostatecznie doszło w 1297.