Da seine Söhne vor ihm starben, erlosch mit seinem Tod der Baronstitel. Bei der Verleihung der Earls- und Viscounttitel war bereits bestimmt worden, dass diese auch auf weibliche Nachkommen übergehen können, weshalb seine Tochter Aileen sie erbte. Sein Sohn, Leutnant Frederick Hugh Sherston Roberts, erhielt das Viktoria-Kreuz für seinen Einsatz in der Schlacht von Colenso, in der er tödlich verwundet wurde.