Han var sønn av Robert Guiscard, den normanniske adelsmannen som erobret store deler av Sør-Italia og Sicilia, og etterfulgte ham som hertug av Puglia og Calabria. Hans mor var Roger Guiscards andre hustru, Sichelgaita fra en lombardisk fyrsteslekt.