В периода на хуситските войни, през 1427 г. Жлеби е завладян и разрушен от войските на хуситите, макар и по-късно армията на крал Сигизмунд да превзема замъка с щурм. Новият собственик на замъка, Иржи от Дуби и Визмбурк (през 40-те години на 15 век) го възстановява и преустроява в късноготически стил. През 17 век замъкът е преустроен в духа на Ренесанса, а през 1734 г. придобива вид на резиденция в стил барок. Накрая, в периода 1849—1868 г. под ръководството на архитектите Фр. Шморанц и Б. Шквори, замъкът е реконструиран в модното по това време неоготическо направление, частично възвръщайки първоначалния си вид.