Թաուեր ամրոցի հիմնումը կապվում է Վիլհելմ Առաջինի անվան հետ։ Նորմանդացիների կողմից Անգլիան գրավելուց հետո Վիլհելմ Ա-ն ձեռնամուխ եղավ պաշտպանական ամրոցների կառուցմանը՝ ի սարսափ նվաճված անգլոսաքսերի։ Մեծագույններից մեկը 1078 թվականին դարձավ Թաուերը։ Փայտյա նավահանգիստը փոխարինեցին հսկայական քարե կառույցով՝ Մեծ Թաուերով, որն իրենից ներկայացնում էր քառանկյուն կառույց՝ 32մ х 36մ, 30 մետր բարձրությամբ։ Երբ ավելի ուշ Անգլիայի նոր թագավորը հրամայեց սպիտակ ներկել կառույցը, այն ստացավ Սպիտակ Թաուեր (White Tower) կամ Սպիտակ աշտարակ անվանումը։ Արդյունքում Ռիչարդ Առյուծասրտի օրոք կառուցվեցին տարբեր բարձրության ևս մի քանի աշտարակներ և երկու շարք ամուր պարսպապատեր։ Ամրոցի շուրջը փորվեց խորունկ խրամ, որը այն դարձրեց Եվրոպայի ամենաանառիկ ամրոցներից մեկը։