Si bien en sus inicios era una ciudad de españoles, pronto contó con numerosas familias mestizas, además en las afueras de su sector occidental se formó el pueblo indígena de San Juan de Herrera de los Naboríos, y en el sector occidental un barrio de negros, mulatos y zambos conocido como la Puebla de los Pardos o la Puebla de los Ángeles, debido a que allí se halló una imagen de la Virgen de los Ángeles que lo hizo centro de peregrinaciones.