Na začátku sedmileté války od 8. září 1756 zámek znovu chránila císařská posádka s hejtmanem Mittelstetterem. Ještě v září však Děčín dobyl a obsadil pruský generál Christoph Hermann von Manstein. Prusy později vystřídali Chorvaté, ale v roce 1757 zámek na krátkou dobu opět padl do pruských rukou, a po nich znovu císařským Chorvatům. Prusové zámek obsadili také v roce 1778 během války o bavorské dědictví. V té době už děčínské opevnění nevyhovovalo potřebám tehdejšího válečnictví, a proto císař Josef II. po osobní návštěvě raději založil novou pevnost Terezín.