Основание крепости Тауэр приписывается Вильгельму I. После нормандского завоевания Англии Вильгельм I принялся возводить оборонительные замки для устрашения покорённых англосаксов. Одним из самых больших в 1078 году стал Тауэр. Деревянный форт заменили громадной каменной постройкой — Великим Тауэром, представляющим собой четырёхугольное сооружение размерами 32 х 36 метров, высотой около 30 метров. Когда позднее новый король Англии приказал побелить здание, оно получило название Белый Тауэр (White Tower), или Белая башня. Впоследствии, при короле Ричарде Львиное сердце, были возведены ещё несколько башен различной высоты и два ряда мощных крепостных стен. Вокруг крепости был вырыт глубокий ров, делающий её одной из самых неприступных крепостей в Европе.