For å bygge tårnet ansatte kong Henrik III mestermureren Henry de Rayns, som organiserte arbeidet, og sjefssnekkeren Simon fra Northampton. Begge disse hadde betydelige roller i bygging av Windsor Castle. Interessant nok hadde mester Henry tidligere arbeidet i Paris som ligger nær festningen i Etampes.