Efter Schmalkaldiska kriget 1547, då kurfursten Johan Fredrik I av Sachsen fråntogs kurfurstevärdigheten och Torgau, övergick slottet till Moritz av Sachsen och den albertinska grenen av huset Wettin. Dessa förlade sitt huvudsakliga residens till Dresden, och därmed kom slottet att huvudsakligen få en administrativ funktion, vilket det fortfarande har idag.