Henry III built a luxurious royal palace within the castle during the middle of the century, and Edward III went further, rebuilding the palace to make an even grander set of buildings in what would become "the most expensive secular building project of the entire Middle Ages in England".
Henry III kemudian membangun istana mewah di dalam kastil selama abad pertengahan, dan Edward III selanjutnya mengembangkan kembali istana menjadi lebih megah, bahkan pembangunannya saat itu disebut sebagai "proyek bangunan yang paling mahal pada Abad Pertengahan di seluruh Inggris".