En los primeros tiempos algunas autoridades de la época consideraban que este pueblo debía ser destruido, por los hábitos beligerantes de sus habitantes y por la imposibilidad de que un solo cura lo pudiera dominar y someter, así el 27 de agosto del año 1792 el Arzobispo Carvajal y Rivera escribía al Rey que el pueblo San Lorenzo de los Negros convenía ser demolido, porque se compone de algunos negros bárbaros que no hay forma de enseñarlos, ni reducirlos a venir a la doctrina, ni a los oficios.