En 1837, cuando tenía tres años, murió su padre y su madre se volvió a casar con el político Granville Leveson-Gower, conde Granville, tres años después.