La pareja hizo construir un espléndido palacio en la Ringstrasse de Viena, para estar más cerca de su suegro viudo. Se mudaron en 1865, pero como a su esposa nunca le gustó el palacio, fue vendido a un banquero e inversor en 1871. Dos años más tarde, el palacio renovado se inauguró con motivo de la Exposición Universal de Viena de 1873 como el Hotel Imperial. Hasta el día de hoy sigue siendo uno de los hoteles más famosos del mundo y, aunque se renovó varias veces, ha conservado muchos elementos de los elementos neorrenacentistas originales del Palacio Ducal.