Debido a algunas disputas que los frailes franciscanos tuvieron con la autoridad episcopal, estos dejaron el convento un siglo después y desde ese entonces, el lugar estuvo abandonado.