Questa fortificazione fu disegnata originariamente su una motta e con tre mura intorno ad un monte centrale per servire come roccaforte dei conquistatori normanni nella periferia di Londra e dominare una zona strategicamente importante del fiume Tamigi. La sua struttura fu gradualmente costituita da pietre, e a partire del XIII secolo subì un lungo assedio durante la Prima Guerra dei Baroni (1215-17). Enrico III costruì un lussuoso palazzo reale dentro a queste mura a metà del secolo e Edoardo III ricostruì il palazzo, creando un complesso di edifici che diventerà il «progetto architettonico secolare più caro di tutto il Medioevo in Inghilterra». Il nucleo dell'opera di Edoardo durò fino al periodo Tudor (XVI secolo), quando Enrico VIII e Elisabetta I diedero al castello una destinazione d'uso di corte reale e centro di rappresentanza diplomatica.