I 1468 var anlegget en del av de eiendommene som inngikk i en byttehandel mellom jarlen av Norfolk med William Herbert, 1. jarl av Pembroke i bytte for landområder i det østlige England. I 1508 gikk det over til sir Charles Somerset, senere jarl av Worcester, som sørget for omfattende ombygginger av anleggets bygninger for å bruke dem som privatboliger. Fra 1500-tallet, etter innføringen av Laws in Wales Acts 1535–1542 og overgangen til mer direkte engelsk styre i Wales, og Chepstows innlemming i det nye county Monmouthshire, ble anlegget mer utformet som et slott og herskapsbolig.