У XII ст. на гэтым месцы Сабеславам II была ўзведзена першая каралеўская рэзідэнцыя. З часам паўднёвыя сцены квадратнага раманскага будынка зліліся з крапаснымі сценамі Пражскага Граду. У 1185 годзе да палаца прыбудавана Капэла Усіх Святых. Палац быў пашыраны ў другой палове XIII ст. Отакарам II. Пры Карле IV былі значна пашыраны паўночная і заходняя часткі палаца, ім нададзены рысы сапраўднай готыкі, таксама былі павялічаны памяшканні, прызначаныя для прадстаўніцтва. Рэканструкцыя мела на мэце ператварыць палац і камфартабельную рэзідэнцыю для каралеўскай сям'і. Пры Венцэславе IV быў выпрастаны праход, які злучае палац з Саборам Святога Віта. Падчас працяглых Гусіцкіх войн у Чэхіі палац быў закінуты. Зноў каралеўская сям'я заняла яго пры ўзыходжанні Уладзіслава Ягелона на трон. З 1483 г. кароль уласна курыраваў усе перабудовы, які кранулі, у асноўным, ніжні паверх, дзе была створана Уладзіслаўская зала.