El edificio fue empleado como cárcel hasta el reinado de Felipe V, que lo convirtió en palacio.