Robert de Limesey kan ha vært av baronfamilie, ettersom navnet hans angir et territorium. Robert de Limesey fikk flere barn, formodentlig før han ble biskop. Hans datter Celestria grunnla senere Ronton Priory i Staffordshire. En annen datter, hvis navn er ukjent, giftet seg med Ralph de la Mare, og grunnla senere et priorat i Fillongley i Warwickshire. Moren av hans sønn Richard fikk til sitt medgift en eiendom ved Frankton i Warwickshire.