V roce 1490 zdědil Václav z Vartenberka panství Rybnov (dnes součást městyse Holany) jižně od České Lípy po svém strýci Kryštofovi. Pak měl i Chudý hrádek u Holan, Jestřebí a část města Česká Lípa. Protože se zúčastnil povstání proti králi Ferdinandovi I. v roce 1547, celé panství se stalo manstvím. Václav zemřel roku 1552. Vdova po něm, Kateřina z Hungerkoštu, se psala dál z Vítkovce, starala se o dva nezletilé syny Jana a Kryštofa, zemřela roku 1560. Dva roky předtím přikoupila k panství další část České Lípy a se synem Janem začala stavět nový Vítkovec, později přejmenovaný na Nový zámek (dnes Zámek Zahrádky). Zámek dostavěli v roce 1550. Jan zemřel roku 1595. Jeho syn Jan Jiří se zapletl do událostí kolem bitvy na Bílé hoře a o panství novozámecké přišel konfiskací a roku 1622 musel emigrovat do ciziny, kde později zemřel. Statek Rohozec, panství Nový zámek a Česká Lípa odkoupil jako pobělohorský konfiskát po svobodném pánovi Janu Jiřím z Vartenberka Albrecht z Valdštejna.