În timpul Războaielor Husite Trosky a fost un centru al taberei pro-catolice. Prin urmare, nu este surprinzător faptul că, după toate probabilitățile, castelul nu a fost niciodată cucerit complet de husiți sau de alți dușmani. Probabil prin 1428, la scurt timp după ce castelul a ars, el a fost  asediat de către Jan Kralovec, căpitanul Armatei Táborite. Începând din 1438 cavalerul tâlhar Kryštov Šov de Helfenburg și tovarășul său Švejkar s-au stabilit în castel, terorizându-i pe sătenii din împrejurimi, înainte ca oamenii din Zhořelec și Žitavy (în germană Görlitz și Zittau, membre ale Ligii Lusațiene) să se unească pentru a-i captura. Margareth de Bergov, văduva proprietarului inițial Ota de Bergov, a transformat castelul Trosky în reședința sa prin 1444. În 1468 castelul  se afla în proprietatea lui Wilhelm de Hasenburg care l-a păstrat până în anul 1497. Mai multe familii nobile au stăpânit castelul, deși importanța sa a scăzut. În 1648, în timpul Războiului de Treizeci de Ani, el a fost incendiat de Armata Imperială și a ars complet, rămânând în ruine. În 1681 iezuitul luminat Bohuslav Balbín l-a vizitat; aceasta este posibil primul exemplu documentat al unei excursii, ce a avut ca singur scop o cercetare a obiectivelor istorice din zonă.