El edificio se va deteriorando, durante un prolongado período de la época moderna.