Los trabajos de transformación definitiva fueron ordenados por el Duque Ercole II después de que un incendio, en 1544, dañara las habitaciones existentes.