Ve druhé polovině 16. století pak Kryštof Vencelík nechal tvrz přestavět na renesanční zámek, přičemž realizací pověřil italského stavitele M. Grimma, vnitřní nádvoří v té době dostalo renesanční arkády a sgrafitovou fasádu. V držení Vencelíků zůstal do roku 1626, kdy o něj v rámci pobělohorské konfiskace přišli, Kryštof Adam Vencelík se totiž zúčastnil stavovského povstání v letech 1618 - 1620. Panství do vlastnictví získal rakouský hrabě Kryštof z Herberštejnu. V letech 1657-1669 je zmiňován jako majetek Gayerů z Edelbachu, kteří nechali v roce 1660 provést částečnou přestavbu zámku. V roce 1669 se vrací do majetku Herberštejnů. Další přestavby se zámek dočkal v roce 1714 za Václava Eberharda, kdy byl upraven v duchu baroka.