Det eldste dokument hvor Taverham nevnes er datert til Edvard Bekjennerens tid. Deler av St. Edmunds kirke er antatt å være fra angelsaksisk tid, og (1086 nevner en kirke der som muligens er denne. Kirken er en av mange rundtårnkirker i Norfolk. Stedet hadde en skole fra svært tidlig av, den var etablert fra minst 1200-tallet.