Erzgebirge er et resultat av platebevegelser som fant sted i tertiær for rundt 30 millioner år siden, da hele området ble hevet mer enn 1000 meter og skråstilt mot nordvest. Gjennom de siste 1–2 millioner årene har elvene som renner mot nord over dette skråstilte platået, skåret seg dypt ned i underlaget. Særlig markert er Flöhadalen, som deler Erzgebirge i en østlig og en vestlig del. Virkelig fjellkjedepreg har området der erosjonen har etterlatt kun smale høyderygger mellom nabodaler.