Tras escandalizar a la sociedad de la época con el abandono de su primera esposa, contrajo matrimonio con Adeline de Horsey, a quien la Reina Victoria se negó a recibir.