Pada awalnya istana ini dirancang untuk melindungi dominasi Norman dari sekitar pinggiran kota London, dan untuk mengawasi bagian strategis penting dari Sungai Thames. Secara bertahap, struktur bangunan kemudian diganti dengan benteng batu, dan benteng ini bertahan selama pengepungan berkepanjangan dalam Perang Baron Pertama pada awal abad ke-13. Henry III kemudian membangun istana mewah di dalam kastil selama abad pertengahan, dan Edward III selanjutnya mengembangkan kembali istana menjadi lebih megah, bahkan pembangunannya saat itu disebut sebagai "proyek bangunan yang paling mahal pada Abad Pertengahan di seluruh Inggris". Selama periode Tudor, Henry VIII dan Elizabeth I meningkatkan penggunaan kastil sebagai istana resmi kerajaan dan pusat hiburan diplomatik