Vince认为，伦敦塔被精心设计成以最为坚固和威严的守卫俯视着整个早期伦敦。在周遭环境中它十分突出，自泰晤士河上望去显而易见。伦敦塔由三重“城堡”，或者说防御围墙组成。最内层围墙围绕着城堡的最早期建筑——白塔；第二重围墙自东北西三个方向环绕，修建于狮心王理查一世在位期间（1189–1199）；最外层围墙护卫着整个城堡，由爱德华一世下令修建。伦敦塔由征服者威廉建造，尽管经过了多次扩建，但基本布局自1285年爱德华一世之后便没有太大变化。整个城堡占地约12英亩（4.9公顷），连同周围6英亩（2.4公顷）土地共同