Carnarvon se casó con Almina Victoria Maria Alexandra Wombwell, hija de Marie Boyer, esposa de Frederick Charles Wombwell, pero su padre pudo ser Alfred Rothschild, miembro de la familia, quien hizo a Lady Carnarvon su heredera.