Der Tower liegt direkt an der Themse am östlichen Rand der City of London und bildet damit den östlichen Eintrittspunkt in die Londoner Innenstadt. Dominierte der Tower optisch über viele Jahrhunderte die Stadt um ihn herum, begann sich dies nach dem Großen Brand von London 1666 zu ändern. Die von Christopher Wren erbaute St Paul’s Cathedral hatte ein ähnlich eindrucksvolles Format. Neue größere Gebäude ersetzten die mittelalterlichen Bauten, die bis dahin das Stadtbild geprägt hatten. Die großen Kaianlagen des 19. Jahrhunderts waren in ähnlichem Maßstab gebaut wie der Tower, die Tower Bridge von 1894 überragte diesen. Seit dem 20. Jahrhundert begann die City zahlreiche Bürohochhäuser in der Nähe des Towers zu erlauben, die sukzessive durch größere Gebäude ersetzt wurden. Im Südosten der Festung liegt die Tower Bridge. Im Osten führt deren stark befahrene Auffahrt – Teil des inneren Stadtrings von London – direkt am Tower vorbei; eine weitere Hauptstraße, die Byward Street (eine Verlängerung der Lower Thames Street) liegt im Norden des Towers. An diese viel befahrenen Straßen grenzen enge Gehwege, von deren Benutzung Fußgängern abgeraten wird. Die Freiflächen des Tower Hills im Westen und das Ufer der Themse im Süden erlauben jedoch noch einen Eindruck von der Festung, der nicht von tosendem Verkehr bestimmt ist.