El castillo ocupa un área de 4,9 hectáreas, más otras 2,4 alrededor de la Torre de Londres que constituye la Torre de las Libertades ("Tower Liberties", en inglés), situada bajo la influencia directa del castillo y despejada por razones militares.