Den mektige gruppe av anglo-danske krigere og statsmenn som aksepterte Edvard som konge ved folkelig valg og fødselsrett, hadde ingen hengivenhet for den slekt han tilhørte. Historikeren Frank Stenton er bestemt på at det aldri kan ha vært noe godt forhold mellom Godwin og Edvard. Godwin hadde overgitt hans bror Arthur til hans død. Selv om Edvard ble nødt til å gifte seg med Godwins datter ble det virkelige vesen av deres forhold vist ved den energi som viste ved å velte jarlen fra hans maktposisjon ved den første muligheten som dukket opp. Første tilbakeslag for Godwins familie kom i 1047 da Svein ble forvist for å ha bortført abbedisse av Leominster. Først i 1049 kom han tilbake for å forsøke å gjenvinne sitt jarldømme, men det ble sagt at det ble bekjempet av Harald og Bjørn, antagelig ettersom de hadde mottatt Sveins landområder i hans fravær. Svein drepte sin fetter Bjørn i et sammenstøt og måtte på nytt dra landflyktighet til Flandern, og Edvards nevø Ralf av Mantes (også kalt for med tilnavnet det fryktsomme) ble gitt Bjørns jarldømme. Året etter greide imidlertid Godwin å sikre at Svein igjen ble tatt til nåde.