Révolte des paysans
Cependant, le château et ses dépendances continuèrent de prospérer et, à la mort de Thomas en 1138, ce fut tout d'abord sa veuve Mary qui en hérita, puis la famille Ufford en 1362. C'était William d'Ufford, comte de Suffolk, qui dirigeait le château pendant la Révolte des paysans de 1381 et, ce fut aux environs de Framlingham que l'essentiel de cette révolte se produisit. Après la famille Ufford, ce fut d'abord Marguerite de Brotherton, la prétendue « comtesse Marshall », qui devint propriétaire du château, puis ce fut au tour de Thomas de Mowbray, duc de Norfolk. C'est du château de Framlingham que la famille de Mowbray semble avoir principalement exercé son autorité pendant une grande partie du .