Etter et voldelig sammenstøt mellom folk i Dover og den besøkende Eustace II, greve av Boulogne, kong Edvards nye svoger (gift med Goda av England, Edvards søster), ga Edvard ordre til at folket i Dover skulle straffes, noe han og jarl Leofric fra Mercia hadde gjort i Worcester (Leofrics jarldømme). Denne gangen nektet Godwin og valgte å utfordre kongen og en besøkende utenlandsk hersker på vegne av sine landsmenn. Edvard innså at dette var en prøve på hvem som satt med makten, og fikk støtte fra de andre jarlene, jarl Siward (Sigurd Danske) fra Northumbria og ikke minst jarl Leofric fra Mercia. Godwin og hans sønner ble straffet med landsforvisning fra kongedømmet i september 1051. I tiden da Godwin var landsforvist mistet også dronning Edith, Godwins datter, sin maktposisjon. Edvard fikk henne plassert i et nonnekloster.