Han var sønn av Walter FitzOther og Gwladys ferch Ryall. Etter at kong Henrik I av England hadde satt barn på den walisiske prinsessen Nesta eller Nest ferch Rhys fra Deheubarth, kjent for sin skjønnhet, fikk kongen sin mann i Wales til å gifte seg med henne en gang rundt 1095. Hun brakte med seg en sønn fra forholdet til kongen, Henry FitzRoy.