Zijn grootvader Karel I van Anjou, werd na de Slag bij Benevento (1266) koning van Zuid-Italië. Na de tegen zijn grootvader gerichte Siciliaanse Vespers van 1282 was de toen zevenjarige Robert een gijzelaar van Peter III van Aragón, zijn grootvaders vijand. Karel I behield enkel nog het koninkrijk Napels. Toen drie jaar later (1285) zijn grootvader op 59-jarige leeftijd kwam te sterven bij Foggia in Italië – Robert was slechts tien jaar oud – werd zijn vader (die toentertijd een gijzelaar was) Karel II koning van Napels. Zijn vader Karel II werd in 1288 vrijgelaten, na het betalen van losgeld. Roberts broer, Karel Martel van Anjou stierf in 1295 aan de pest. Zijn andere broer Lodewijk zag van zijn aanspraken op de troon af (hij had zich aangesloten bij de spiritualen, de radicale stroming binnen de Orde van de Franciscanen die de armoederegel van Franciscus van Assisi strikt wilde navolgen), en stierf in 1297 als bisschop van Toulouse.