Slottets historie strekker seg tilbake til ca. 870 da høydedraget ble befestet av fyrst Borivoj I, og han bygget her en kirke, Vår Frues kirke, inne på området. På begynnelsen av 900-tallet ble ytterligere to kirker bygget; St. Georg og St. Vitus. Ved Georgskirken kom også det første tsjekkiske klosteret. På 1100-tallet ble det bygget et slott i romansk stil, som ble vesentlig ombygd til gotisk stil på 1300-tallet av keiser Karl IV. Han fikk også styrket festningsanleggene. St. Vituskirken ble revet og erstattet av en stor gotisk katedral, som først ble ferdigstilt nesten seks århundrer senere. Gjennom husitterkrigene var slottet ikke bebodd. I 1485 begynte kong Vladislav II å gjenoppbygge og restaurere slottet. Da ble det også bygd en gedigen festhall som fremdeles står og som den dag i dag kalles Vladislav-hallen. Det ble også bygget flere forsvarstårn på nordsiden av festningsanleggene. Slottet ble delvis rasert av en stor brann i 1541, og ble under habsburgernes styre erstattet av renessansebygninger. Ferdinand I bygde et sommerpalass til sin dronning Anna, kalt Belvedere, nord for slottet, og i tilknytning til dette store hageanlegg. Rudolf II brukte slottet som sin hovedresidens. Han fikk bygget på en nordfløy i slottet, blant annet med den spanske hall for hans kunstsamling.