Grevskapet svarte til den tidligere , et administrativt område som ble opprettet av Edvard bekjenneren i 1044 og som var under abbeden av Bury St. Edmunds inntil oppløsningen av Englands klostre i det 16. århundre.