Đầu thế kỉ 14 và 15, diện tích tòa thành dần thu hẹp lại, cho đến năm 1397, Lãnh chúa của Kunštát (tiền thân của Nhà Podiebrad) nắm quyền cai trị nơi đây. Sau đó không lâu, Smil từ Kunštát biến thành trì thành căn cứ quân sự để làm bàn đạp xâm chiếm các khu vực xung quanh. Ngay khi bắt đầu Cách mạng Hussite từ năm 1420 đến năm 1436, hoàng gia nắm quyền kiểm soát tòa thành, đứng đầu là Vua Sigismund của Luxembourg. Đến giữa thế kỷ 15, gia đình quý tộc Moravian, Tunklové của Brníčko mua lại tòa thành. Nhưng do sự trung thành mù quáng của Jiří Tunkl từ Brníčko với Vua George "dị giáo" Hussite của Poděbrady, tất cả các thành trì của ông (bao gồm cả Bludov năm 1471) cùng với các điền trang trở thành đống đổ nát dưới bàn chân của quân đội hoàng gia Hungary do Vua Matthias Corvinus chỉ huy trong thời gian diễn ra Chiến tranh Bohemian – Hungary.