Tårnet er 27,4 m høyt, og 35,9 m fra øst til vest og 32,6 m fra nord til sør. Murene er 4,6 m tykke ved bakken, og 3,3 m på toppen. Materialet er såkalt , en kraftig kalkstein fra området rundt Maidstone. I noen deler av bygningen er det brukt en finere kalkstein fra Caen i Normandie. Veggene ble hvitkalket, hvilket er opphavet til navnet.