Vyšehrad er knyttet til en rekke legender fra begynnelsen av tsjekkisk historie; den ble sagt å ha blitt grunnlagt av den legendariske hertug Krok. Ifølge legendene regnes som den som setet til de første tsjekkiske fyrstene. Den faktiske opprinnelsen til den befestede bosetningen går tilbake til andre halvdel av 1000-tallet. På slutten av 1000-tallet bodde den første böhmiske kongen, Vratislav II, her og etablerte Vyšehrad-kapittelet. Vyšehrad ble en del av Praha under Karl IV, som ombygde den og koblet den til festningsverkene til den nystiftede Nové Město. I 1420 ble slottet brent ned av husittene, og på midten av 1600-tallet ble den bygget om til en barokk festning som en del av utvidelsen av byens festningsverk. Fra 1400- til 1800-tallet var Vyšehrad en selvstyrt by, frem til 1848 da den ble underordnet Vyšehrad-kapittelet. I 1883 ble den annektert til Praha. Samtidig ble det opprettet en nasjonal gravplass og Vyšehrad ble modifisert til sin nåværende form.