A la muerte de éste en 1885, cayó en desgracia frente a su viuda, la reina María Cristina de Habsburgo-Lorena, por lo que se alejó de la corte y durante los últimos años de su vida retomó la política y se dedicó a negocios empresariales y a viajar por Europa en compañía de su esposa.