V roce 1547 ale bylo panství Pluhům zkonfiskováno. Šlo o přímý důsledek účasti Kašpara Pluha ve Šmalkaldské válce na straně protestantských stavů. Po jejich porážce je Pluh donucen katolickým císařem Ferdinandem I. odejít do exilu a město přechází pod přímou správu koruny. To mu téhož roku vynese i titul "královské horní město" a s ním i další výhody. Stejně tak se rozrůstají majetky města, které kupuje okolní dvory i obce.