Jiří statek vlastnil jen do roku 1609, kdy jej koupil Jan Mylner z Mylhauzu a na Mimoni. Zvoleněves po něm zdědil syn Petr Mylner z Mylhauzu, který se během stavovského povstání v letech 1618–1620 stal jedním z direktorů za vladycký stav. Po porážce v bitvě na Bílé hoře utekl ze země, aby unikl trestu smrti. Jeho zkonfiskovaný majetek koupila roku 1621 Zuzana Chrotová, rozená z Ober-Neuchynku. Za třicetileté války byla tvrz poškozena vojenskými akcemi, a dokonce vyhořela, ale majitelé ji alespoň provizorně opravili. Ve Zvoleněvsi se v té době vystřídalo několik dalších majitelů, až ji roku 1668 koupil Julius František Sasko-Lauenburský, který panství rozšířil o Mikovice a Slatinu. Po otcově smrti statek zdědila jeho dcera velkovévodkyně Anna Marie Františka Toskánská. Za ní se Zvoleněves stala součástí buštěhradského panství. Tvrz přestala sloužit jako panské sídlo a využívala ji pouze správa panství. Mezi jeho další majitele patřil císař Ferdinand I. Dobrotivý a jeho dědic František Josef I. Zvoleněves byla zařazena mezi císařské velkostatky, u kterých zůstala až do roku 1918. Po druhé světové válce zámek sloužil potřebám státního statku, ale nebyl udržován, a dostal se havarijního stavu.