Roku 1574 po smrti Jindřicha připadla tvrz jeho manželce Elišce a poté byl jejím dědicem Kryštof ze Švamberka. Od roku 1534 po jeho smrti patří Kestřany Borské větvi. Roku 1588 prodal Jan Vilém část majetku Píseckým a část Drahonickým pánům. Jeho syn Jiří Ernreich se nepřidal k stavovskému odboji a přesto po bitvě u Záblatí byl poškozen na svém majetku. Stejně jako ostatní vesnice byly Kestřany vypleněny a drancovány. Po smrti Jana Viléma si dědictví rozdělily jeho tři dcery. Kestřany připadly Františce Polyxeně z Paaru, která se svým manželem nechala postavit nový zámek. Po smrti svého manžela vše prodala roku 1685 Zuzaně z Gerštorfu.