Budowla powstała dzięki królowi Przemysławowi Ottokarowi II. Prace rozpoczęto w 1264 roku a zakończono w 1278 roku, już po śmierci władcy. Brak zabudowań zewnętrznych wskazuje, iż miała to być przede wszystkim forteca oraz reprezentacyjna siedziba króla. Po bitwie na Moravskim polu w 1278 roku, Otton Brandenburski więził tu królową Kunhutę i jej syna, późniejszego króla Wacława II. W połowie XIV wieku posiadłość przeszła w ręce Karola IV, a zamek stracił na znaczeniu zajmując drugie miejsce w hierarchii czeskich zamków. Podczas wojen husyckich zamek był punktem oporu katolików. Dzięki nowym umocnieniom, skutecznie odstraszał oddziały wroga od prób zdobycia go. Za czasów Albrechta von Wallenstein planowano budowlę przeistoczyć w prawdziwą twierdzę, jednak z zakładanych planów nic nie wyszło. Od 1627 roku budynki służyły mnichom, początkowo augustianom, a od 1632 roku benedyktynom z Montserrat i zamek stał się miejscem pielgrzymek.