Roku 1574 se novým majitelem stal Jan z Valdštejna († 1576) a po něm syn Adam z Valdštejna, za kterého byly Lovosice povýšeny na městečko a panství se výrazně rozrostlo. Po hraběnce Sylvii Kateřině Černínové, které Lovosice patřily od roku 1655, panství zdědila bádenská markrabata. Na počátku sedmileté války po bitvě u Lovosic na zámku určitou dobu pobýval pruský král Fridrich II. Od roku 1803 se vlastníky panství stali Schwarzenbergové, kterým patřilo až do druhé světové války. Roku 1809 zámek vyhořel, a při pozdější obnově zanikly renesanční štíty a lunety. Býval zde uložen schwarzenberský archív, ale mezi lety 1949–1960 se zámek stal sídlem okresního národního výboru a později školy.