En tidlig forvaltningsenhet på territoriet til Landkreis Annaberg var distriktet . Etter oppdagelsen av sølv i Schreckenberg og grunnleggelsen av i 1496 (omdøpt til St. Annaberg i 1501) ble den oppløst av herskapet Pöhlberg i 1499 og omdannet til et amt. Stedet befant seg i Herrenmühle Annaberg i Sehma. I 1533 ble amtet forpaktet av byrådet i byen Annaberg, som fra 1590 til 1704 hadde ansvaret for de tre byene Frohnau, Geyersdorf og Kleinrückerswalde. I 1754 ble Mühlenamt Annaberg oppløst, og dens funksjoner overført til justisamt Wolkenstein. Frem til 1830 forble likevel forskjellige ansvarsområder tilknyttet stedet. Som Mühlenamt var det en del av Erzgebirgischer Kreis i Kurfyrstedømmet Sachsen.