Posteriormente, en 1537 la obra fue continuada por frailes agustinos; pero a principios del siglo XVII se derrumba quedando en pie únicamente la torre campanario y la portería del convento.