Gerald var sønn av William FitzOdo de Barry (eller Barri), felles stamfar til Barry-familien i Irland og en av de mektigste anglo-normanniske baronene i Wales på denne tiden. Gerald var søstersønn av David fitzGerald, biskopen i St. David's og sønnesønn av Gerald de Windsor (også kjent som FitzWalter) gjennom hans (de Windsors) ekteskap med den beryktede Nest, datter av Rhys ap Tewdwr. Familien hevder også å være i slekt med adelsfamilien Rhys (Rhys ap Gruffydd).