I begynnelsen var Tower et mindre fort av tre. Vilhelm beordret etter hvert at fortet av tre skulle rives og erstattes av noe mer solid. Det skulle, som han uttrykte det, være et symbol på hans makt, en festning som forsvar og et fengsel for hans fiender. White Tower stod klart omkring 20 år senere. I det neste århundret bestod Tower of London bare av denne ene bygningen med en liten borggård og en enkel ringmur.