Za husitských válek 1. listopadu 1420 husité hrad Vyšehrad vyplenili a proměnili v ruiny. V následujícím období byl Vyšehrad s podhradím osídlen chudými řemeslníky a změnil se v malé městečko. Vyšehradské kapitule patřily i nadále rozsáhlé pozemky, dvory a vsi v okolí – na území dnešních Nuslí, Podolí a Braníka. Jako samostatná pevnost v následujícím období nesloužil, ale jeho opevnění zůstala úloha v obranném systému Prahy. Vyšehrad byl již od 15. století královským městem v Kouřimském kraji. Začátkem 16. století se Podvyšehradí právně oddělilo od hradiště a připadlo kapitule, pevnost s osídlením připadla kapitule v roce 1528.