Erzgebirge strekker seg i nordøst-sørvestlig retning i en lengde av ca. 150 km og en bredde på gjennomsnittlig 40 km. I øst går Erzgebirge over i Elbsandsteingebirge, mot vest i Elstergebirge og den saksiske delen av Vogtland. Mot sør er det en markant overgang mot det böhmiske lavlandet, mens Erzgebirge i nord heller slakt mot lavere områder omkring Elben. Lavere land omkring elvene Zschopau og Flöha deler Erzgebirge i en østlig (Osterzgebirge) og en vestlig (Westerzgebirge) del.