В началото на XIV век Карл IV – чешки крал и император на Свещената римска империя започва да преустройва Пражкия замък в сегашните му измерения. По-късно идва ред и на Вишеград, където целият комплекс е подновен, построени нови укрепления с две порти, кралски дворец с разкошна зала, а базиликата на Св. Петър и Павел е реновирана. В началото на хуситските войни Вишехрад е завладян и ограбен от хуситите през 1420 г., а след това отново през 1448 г. от войските на крал Иржи от Подебради. След това замъкът е изоставен и е разрушен. Реновиран е през XVII век, когато Хабсбургската монархия превзема чешките земи след Тридесетгодишната война. Вишеград е преустроен през 1654 г. като барокова крепост, превръщайки я в център за обучение на австрийската армия, след което я включва бароковите градски стени.