Karl Maier var født i byen Hrob (tysk: Klostergrab) i Sudetland i Tsjekkoslovakia. Han vokste opp i en sudettysk arbeiderfamilie, der faren var gruvearbeider. De fleste familiemedlemmene hadde sympati for arbeiderbevegelsen, for sosialistisk og anti-nazistisk politikk. Broren Ernst var et unntak, han ble nazist og omkom på østfronten.