Da Godwin forlot England dro han til Flandern og der samlet han en flåte og skaffet leiesoldater for å kunne tvinge kong Edvard til å godkjenne at han kom tilbake til England. Sommeren 1052 kom Godwin tilbake til England og ble møtte av sine sønner som hadde invadert fra Irland. Ved september hadde de kommet til London, og i møte med den store hæren som Godwin kommanderte kom det i gang forhandlinger mellom jarlen og kongen, ledet ved hjelp av Stigand, da biskop av Winchester. Da det ble åpenbart at Godwin ville få sin vilje hos kongen og bli gjeninnsatt til sin tidligere status og makt var Robert rask til å flykte fra England. Sammen med ham dro biskop Ulf av Dorchester og biskop William av London, og muligens tok de igjen med seg Wulfnoth og Håkon som gisler. Robert ble da erklært som fredløs og avsatt fra sitt erkebispesete den 14. september 1052 ved et kongelig råd, hovedsakelige for at Godwin mente at Robert, sammen med en rekke andre normannere, hadde vært drivkraften bak at han ble nødt til å flykte til Flandern. Robert reiste til Roma for å klage til paven for sin landflyktighet, og Leo IX og de påfølgende pavene fordømte biskop Stigand, som Edvard hadde utpekt til erkebiskop av Canterbury da posisjonen ble ledig. Roberts personlige formue ble delt mellom jarl Godwin, hans sønn Harald Godwinson og dronningen Edith som var kommet tilbake til hoffet.