Hasta la llegada de los garífunas —grupo mestizo producto de la mezcla de indígenas caribes con esclavos africanos, deportado de las Antillas Menores bajo el control del Reino Unido—, Toledo permaneció prácticamente despoblado, puesto que los ingleses habían deportado a los indios ch'ol al Petén.