Entrambi i suoi figli maschi gli premorirono, incluso Frederick Hugh Sherston Roberts (1872– 1899), che venne ucciso durante la Battaglia di Colenso nella seconda guerra anglo-boera. Il suo titolo baronale venne, per speciale concessione, passato alla sua figlia maggiore.