De stupbratte kalksteinsklippene langs elven utgjorde gode muligheter for å etablere et forsvarsverk. Byggingen startet under William FitzOsbern i 1067 eller umiddelbart etter. Det store tårnet («Great Tower») ble sannsynligvis ferdigstilt rundt 1090, antakelig for å vise styrke fra kong Vilhelms side i forhold til den walisiske kongen Rhys ap Tewdwr. Det ble bygget i stein fra begynnelsen, og ikke i tre som var vanlig på den tiden, og dette markerte viktigheten som støttepunkt på grensen mellom England og Wales. Selv om mye av stein virker å ha blitt brutt ut lokalt, tyder det også på at også stein fra de romerske ruinene ved Caerwent ble gjenbrukt.