Die Familie Bigod baute ihren Einfluss auf die Region aus, wobei sie ihre starken Burgen in Thetford, Framlingham, Bungay und Walton nutzte. Roger Bigods Sohn, Hugh Bigod, spielte eine entscheidende Rolle im Bürgerkrieg Die Anarchie, in dem er von seinen Burgen in East Anglia aus gegen König Stephan rebellierte. Höchstwahrscheinlich wurde damals eine Steinmauer um die Vorburg gebaut, und jüngste Untersuchungen legen nahe, dass auch ein steinerner Donjon in der Burg errichtet wurde. Am Ende des Bürgerkriegs aber kam Heinrich II. auf den Thron Englands und festigte die königliche Macht in dieser Region wieder. Im Jahre 1157 konfiszierte Heinrich II. die Burgen der Bigods. Er gab schließlich Framlingham Castle und Bungay Castle an die Familie zurück, behielt aber Thetford Castle für seine eigenen Zwecke. Hugh Bigod schloss sich dann der Revolte von Heinrichs Söhnen an und eroberte Thetford Castle zurück, aber im Laufe des Jahres 1173 nahmen die Truppen Heinrichs die Burg erneut ein und zerstörten die Befestigungen. Der Erdhügel aber erwies sich als effektiv unzerstörbar.