En 1829 contrajo matrimonio con Lady Anne Brudenell, séptima hija de Robert Brudenell, 6º conde de Cardigan, y hermana de James Thomas Brudenell, con la que tuvo seis hijos.