Under den sicilianske vesper, et siciliansk opprør mot den franske øvrighet, var Robert fengslet som gissel av Peter III av Aragon. Etter at storebror Karl Martell døde ble han arving av kongedømmet Napoli. Hans brorson hadde også rett til kronen men var opptay av ungsrsk politikk, og ble senere også konge som Karl I Robert. For å styrke arveretten giftet han seg med Jakob II av Aragons datter Jolanda, i bytte mot at Jakob frasa seg tittelen. Likevel motsatte de napolitanske lederne seg ham og utså istedent Jakob Is bror Fredrik III. Krigen fortsatte og i freden i Caltabellotta tapte Robert og huset Anjou Sicilia for alltid. Kongedømmet Napoli begrenset seg fra da til søndre del av det italienske fastland.