William de Ufford, II conte di Suffolk tenne il castello durante la Rivolta dei contadini del 1381 giacché buona parte di essa si tenne nelle vicinanze e da lui il castello finì nelle mani di Thomas de Mowbray, I Duca di Norfolk (22 marzo 1366-22 settembre 1399) e la famiglia lo usò come centro del proprio potere per tutto il XV secolo.