Beliggende ved østkysten lå Norfolk utsatt til fra invasjoner fra Norden og nordlige Europa. Det ble bygget festninger for å forsvare seg mot anglere og saksere. Ved 400-tallet hadde anglerne, som har gitt navn til East Anglia og England, etablert kontroll over regionen, og senere ble kjent som «nordfolket» og «sørfolket», derav «Norfolk» og «Suffolk». Det som ble kongedømmet East Anglia var områdene Norfolk, Suffolk og tilstøtende områder. Det ble senere slått sammen med kongedømmet Mercia og deretter Wessex. Innflytelsen til de tidlige engelske bosetterne kan bli sett i stedsnavn som ender med «-ton» og «-ham». Endinger som «-by» eller «-thorpe» er også vanlig, men indikerer senere bosetning fra daner: på 800-tallet kom regionen på nytt under press, denne gangen fra daner som invaderte landet og tok seg til rette. De drepte kongen, Edmund av East Anglia, den 20. november 869, og han ble deretter helgenerklært for å ha bli drept av hedninger, og siden kjent som Edmund martyren.