Byen har sitt noe uvanlig navn etter Edmund martyren, som i 870 falt i slaget ved Hoxne og ble gravlagt i abbediet. «Bury» er avledet fra borough, som er beslektet med borg. Det formelle navnet på både borough og bispedømmet er «St Edmundsbury». Byens innbyggere omtaler ofte byen kun for «Bury» av enkelthetshensyn. Byen vokste opp rundt abbediet, som ble et pilegrimsmål siden Edmund ikke bare var en helgen, men også den siste angelsaksiske kongen av East Anglia.