Fram til midten av 1050-tallet var Edvard i stand til å strukturere sine jarledømmer for å forhindre slekten til Godwin å bli for dominerende. Godwin selv døde i 1053 og selv om Harald Godwinson overtok hans jarledømme i Wessex, var ingen av hans brødre jarler etter denne tiden. Hans slekt var deretter svakere enn det hadde vært siden Edvard ble konge, men en rekke av dødsfall i tiden 1055–1057 endret dette bildet. I 1055 døde Siward, men hans sønn var for ung til styre Northumbria, og Haralds bror Tostig (i norsk tradisjon kalt Toste). I 1057 døde Leofric og Ralf, og Leofrics sønn Ælfgar etterfulgte som jarl av Mercia, mens Haralds bror Gyrth etterfulgte Ælfgar som jarl av East Anglia. Den fjerde overlevende av Godwins sønner, Leofwine, ble gitt et jarledømme i sørøst som ble tatt fra Haralds område, men Harald fikk Ralfs område som erstatning. Ved 1057 kontrollerte sønnene til Godwin hele England med unntak av Mercia. Det er ikke kjent om Edvard faktisk aksepterte den endringen, eller om han ble tvunget til å godta den, men fra denne tiden synes han å ha begynt å trekke seg tilbake fra aktiv politikk, henga seg til å gå på jakt, noe han gjorde hver dag etter å ha vært i kirken.