En 1051, Godwin cayó en desgracia ante el rey Eduardo el Confesor, y tuvo que exiliarse junto con su familia, pero se le permitió volver y recuperar sus posesiones un año después.