Častá přítomnost vojska během sedmileté války v letech 1756–1763 zámek těžce postihla, a roku 1768 dokonce vyhořel, ale tehdejší majitel, Jan ze Schwarzenbergu, ho nechal ihned opravit. Rekonstrukce však skončila až roku 1790, protože rozestavěný zámek poničili pruští vojáci během války o bavorské dědictví. Schwarzenbergům panství zůstalo až do roku 1945.