Ælfgar oppnådde fordeler da Godwin, jarl av Wessex, og sønnene hans ble sendt i eksil av kong Edvard Bekjenneren i 1051. Ælfgar kunne overta jarldømmet East Anglia som tidligere ble holdt av Harald Godwinson, nest eldste sønn av Godwin. Det påfølgende året kom derimot kongen Godwin til en forsoning slik at Harald fikk tilbake sitt jarldømme og øvrige privilegier – men ikke for lenge.