Postupně nahrazen kamenným opevněním vydržel hrad během první baronské války na počátku 13. století delší obléhání. V polovině století postavil Jindřich III. Plantagenet na hradě luxusní královský palác a Eduard III. šel ještě dále a přestavěl palác, aby vytvořil ještě velkolepější sadu budov, které se stanou „nejdražším světským stavebním projektem celého středověku“ v Anglii. Eduardův základní design trval během tudorovského období, během něhož Jindřich VIII. Tudor a Alžběta I. stále více využívali hrad jako královský dvůr a centrum diplomatické zábavy.