En 1049 volvió para intentar recuperar su condado, pero se dice que se enfrentó a la oposición de Haroldo y Beorn, probablemente porque se les había otorgado la tierra de Svend en su ausencia.