La începutul secolului al XIV-lea, când Sfântul Împărat Roman Carol al IV-lea a început să extindă Cetatea Pragăi la dimensiunile actuale, castelul Vyšehrad, care începuse să se deterioreze, a fost abandonat și nu a mai fost folosit ca reședință regală. Mai târziu, întregul complex a fost refăcut de către Carol al IV-lea, fiind construite fortificații noi, cu două porți și un palat regal, în timp ce palatul Sfinților Petru și Pavel urma să fie reparat. La începutul Războaielor Husite, Vyšehrad a fost cucerit și jefuit de către husiți în 1420 și apoi din nou în 1448 de către trupele regelui George de Poděbrady. Castelul a fost apoi abandonat și a devenit o ruină. El a trecut printr-o serie de lucrări de renovare în secolul al XVII-lea, atunci când Monarhia Habsburgică a preluat controlul asupra ținuturilor cehe după Războiul de Treizeci de Ani și l-a refăcut în 1654 ca fortăreață în stil baroc, transformându-l într-un centru de instruire pentru Armata Austriacă și încorporându-l mai târziu în zidurile de apărare din jurul orașului Praga.