I 1270 gikk anlegget i arv til Roger Bigod, 5. jarl av Norfolk, som var sønn av William Marshalls eldste datter, Matilda. Han bygget en hel rekke bygninger i den nedre borggården, som boligkvarter for seg selv og sin familie. Bigod sto også for byggingen av Chepstows bymur, kalt «Port Wall», rundt 1274-78. Slottet ble besøkt av kong Edvard I i 1284, på slutten av hans triumfferd gjennom Wales. Rett etter bygde Bigod et nytt tårn, senere kjent som «Marten's Tower», som nå dominerer fronten av slottet mot land, samt han bygget om det store tårnet.