Када је цар Римског царства Карло IV почео да гради Прашки замак у данашњим размерама почетком 14. века, пропадајући Вишеград напуштен је као краљевско седиште. Касније је читав комплекс обновио Карло IV и изграђена су нова утврђења, са две капије и краљевском палатом, док је базилика светих Петра и Павла чекала поправку. На почетку Хуситских ратова, Хусити су освојили и опљачкали Вишехрад 1420. године. То су учиниле и трупе краља Јиржија Подјебрадског 1448. Дворац је тада напуштен и пропао. Обновљен је у 17. веку, када је Хабзбуршка монархија заузела Чешку након Тридесетогодишњег рата и преуредила замак 1654. године као барокну тврђаву, претворивши је у центар за обуку аустријске војске, а касније уградивши у барокне градске зидине.