In ogni caso nel XII secolo i Bigod dominavano il Suffolk, detenevano il titolo di Conti di Norfolk ed oltre al castello di Farmlingham possedevano anche quelli di Bungay, Clevedon e Thetford. Attorno al 1160 si cominciò la costruzione di mura di pietra vere e proprie ed in quel periodo si segnarono molte tensioni fra i Bigod e la corona. Durante il periodo dell'Anarchia Hugh Bigod era stato fra i baroni che quando Stefano I d'Inghilterra era stato catturato si era prontamente schierato contro di lui e in tutto quel periodo cambiò bandiera diverse volte. Quando alla fine al trono salì Enrico II d'Inghilterra, figlio di Matilde d'Inghilterra (1102-1167) unica figlia legittima di Enrico I d'Inghilterra, cercò di ristabilire nel regno e anche nel Suffolk il potere regio. Questo significò che i castelli dei Bigod vennero confiscati dalla corona nel 1157 e solo nel 1166 riebbero quello di Framlingham e Bungay dietro il pagamento di 666£.