Ende des 12. Jahrhunderts dominierte die Familie Bigod Suffolk. Sie hatte den Titel eines Earl of Norfolk und besaß neben Framlingham Castle drei andere Burgen, Bungay Castle, Walton Castle und Thetford Castle. Die erste Gruppe steinerner Gebäude, wie z. B. der erste Rittersaal, wurden in den 1160er-Jahren im Inneren der Burg gebaut. Die Spannungen zwischen der Krone und den Bigods setzten sich aber über die gesamte Periode frot. Hugh Bigod gehörte während der Anarchy in der Regierungszeit von König Stephan einer Gruppe abtrünniger Barone an und nachdem Heinrich II. König wurde, versuchte dieser, die gesamte Region wieder unter königlichen Einfluss zu bringen. Als Teil dieser Bemühungen konfiszierte Heinrich 1157 alle vier Burgen der Bigods, gab aber Framlingham Castle und Bungay Castle nach Zahlung einer hohen Strafe von £ 666 an Hugh Bigod zurück.