Con la vittoria delle truppe imperiali nella battaglia di Mühlberg, nel 1547, fu decisa la Guerra di Smalcalda e Giovanni Federico venne catturato. In seguito alla firma della resa di Wittenberg, il generale Lazzaro von Schwendi fu incaricato di difendere la fortezza di Grimmenstein. Il 1º giugno 1547 la torre del castello fu fatta saltare in aria, con precisione militare, da 700 soldati, e furono create quattro brecce nei bastioni. Tuttavia, gli edifici residenziali e di presidio all'interno del complesso vennero conservati.