Det brå fallet til Englands mektigste stormann i 1951 viser antagelig graden av fiendskap som Godwin og hans sønner hadde skaffet seg. Vanskelighetene begynte, i henhold til en skribent i Canterbury, i en affære mellom menn i Dover og en gruppe franskmenn tilhørende grev Eustace II av Boulogne som var på besøk hos kong Edvard. Greven og hans følge tok seg til rette i Dover som førte til en strid hvor rundt tjue menn ble drept eller såret. Greven reiste tilbake til kong Edvard og klagde, og Edvard krevde uten undersøkelser eller dom at Godwin skulle herje Dover som straff. Godwin nektet å lyde kongens direkte ordre, muligens for at han ikke ville herje sitt eget jarldømme, men kanskje også mente han at tiden var inne for sette styrkeforholdet på en prøve ved trosse kongen. Innen september samlet Godwin og hans sønner Svein og Harald en stor hær rundt 24 km unna Gloucester hvor Edvard oppholdt seg, og kongen innkalte til et råd den 8. september hvor også jarlene Leofric og Siward møtte med egne soldater. Ingen av hærene ønsket å slåss mot sine landsmenn, og det ble avtalt å møtes i London den 28. september hvor Godwin og sønnene hans måtte svare for anklagene som var rettet mot dem. Godwin krevde ytterligere utveksling av gisler og garantier om trygghet, som kongen nektet å innfri, og det endte med at de fikk fem dager på å forlate riket. Godwin og hans hustru sammen med Svein, Tostig og Gyrth dro til Bosham i Sussex og videre til Brugge i Flandern hvor de søkte beskyttelse hos sin slektning grev Boudewijn. Harald og hans bror Leofwine red til Bristol og seilte derfra til Irland.