Byggingen av det sentrale borgtårnet ble begynt i 1078 på ordre av Vilhelm Erobreren. Det skulle bli reist på innsiden av Londons bymurer i sørøstvinkelen vendt mot elven Thames. Dette var like mye for å beskytte normannerne mot byborgerne som byborgerne av London mot angrep utenfra. Vilhelm krevde at tårnet skulle bli bygd av stein fra Caen, såkalt eller , en lys kremgulstein som han hadde fått spesielt importert fra Frankrike. Han utpekte Gundulf, biskop av Rochester, som arkitekt. Tårnet ble ferdiggjort en gang rundt 1087 av Vilhelms sønner og etterfølgere, Vilhelm Rufus og Henrik I av England.