管经过了多次扩建，但基本布局自1285年爱德华一世之后便没有太大变化。整个城堡占地约12英亩（4.9公顷），连同周围6英亩（2.4公顷）土地共同组成了伦敦塔区。这片土地直接处于伦敦塔的控制范围之内，因军事目的保持空旷。伦敦塔区的前身确立于13世纪，当时亨利三世要求城堡周围的区域保持空旷。与通俗小说中的描述不同的是，伦敦塔并未设有长期的刑讯室，尽管白塔的地下室在后期曾有一个刑架。位于泰晤士河岸的伦敦塔码头修建于爱德华一世时期，在理查二世在位期间（1377–1399）扩建至如今的规模。