Karl May ble født inn i en fattig veverfamilie i Ernstthal, som var en del av kongeriket Sachsen. Han var det femte barnet av 14, ni av disse døde i ung alder. Ifølge hans egen selvbiografi led May av synshemming kort tid etter fødselen og han fikk tilbake synet etter behandling da han var fem år. I skoleårene fikk May undervisning i musikk og komposisjon. I 1856 begynte han på lærerutdannelse i Waldenburg, men ble utvist i 1859, fordi han hadde underslått seks stearinlys. Etter en underskriftskampanje fikk han lov til å fortsette sin utdannelse i Plauen. Hans karriere som lærer endte brått i 1861 etter kun noen få uker etter at han ble anklaget av sin egen romkamerat for å ha stjålet et lommeur. May ble fengslet i seks uker, og hans tillatelse til å undervise ble inndratt permanent.