Im Schmalkaldischen Krieg nahmen 1547 kaiserliche Soldaten die Burg ein und verwüsteten sie. Unter dem Grafen Christoph I. von Mansfeld-Mittelort (1520–91) wurde zwischen 1574 und 1591 ein schlossartiger Neubau in der Residenz errichtet. Noch 1571 hatte man die Burg als „itzo an sich selbst wüste genug“ bezeichnet.