A los frailes fundadores se les acusó de conspirar contra el movimiento emancipador, y se vieron obligados a salir de la villa y dejar la obra en mitad de camino.