En 1567 Felipe II ordena que se derribe parte de la antigua fortaleza, y que se pasen las armas a la torre Albarrana, para proseguir las obras de la iglesia que se termina en 1602.