Nach der Eroberung Englands 1066 errichteten die Normannen unter Wilhelm dem Eroberer eine Reihe von Festungen, um ihre Macht im Land zu sichern. Nachdem es anlässlich der Krönung Wilhelms zum englischen König in der Westminster Abbey an Weihnachten 1066 zu Unruhen in der Stadt gekommen war, ordnete Wilhelm den Bau einer Burg auf einem an der Themse gelegenen Hügel am östlichen Rand der City of London an. Die etwa 200 Fuß mal 400 Fuß (etwa 70 Meter × 140 Meter) große Festung lag in der südöstlichen Ecke der römischen Stadtmauer Londiniums und wurde im Süden und Osten von der erhaltenen römischen Mauer, im Westen und Norden von einem Graben mit Erdwällen und hölzernen Palisaden geschützt. Diese erste Festung wurde ab 1077/78 durch einen massiven Steinbau, den späteren White Tower, ersetzt. Während Richard I. auf Kreuzzüge zog, begann Wilhelm von Longchamp, der Lordkanzler von England, Ende des 12. Jahrhunderts mit dem Ausbau des Towers zur Festung mit mehreren Gebäuden. Er verstärkte die weiteren Mauern um den White Tower herum, baute die Mauern nach Westen aus und versah sie erstmals mit kleineren Wachtürmen. Longchamp versuchte als Erster, einen Wassergraben um den Tower zu errichten. Er scheiterte aber noch an den Strömungsverhältnissen in der Themse.