La colonia fue creciendo poco a poco, gracias al trabajo ejemplar de sus habitantes quienes se constituyeron como los primeros pobladores de San Rafael; perseguidos durante la guerra con Francia en el siglo XIX fueron declarados enemigos de México, por lo que en 1839 viajaron a pie hasta el Puerto de Veracruz, donde después de varios días se entrevistaron con el entonces presidente Antonio López de Santa Anna; quien al ver las condiciones tan precarias del grupo, les extendió un salvoconducto y así evitaron los hostigamientos de caciques locales.