Da Svein kom tilbake til England i 1049 var hans egen bror Harald Godwinson og Bjørn Estridsson, kong Svein Estridssons bror, imot at han skulle få tilbake sitt jarldømme, sannsynligvis ettersom de begge hadde delt eiendommene mellom seg. Harald skal ha informert kong Edvard om andre forbrytelser som Svein skulle ha stått bak. Da kongen hørte dette nektet han gi Svein jarldømmet tilbake. Harald Godwinsons egne maktambisjoner fikk ham til å forråde sin egen bror på samme måte som han senere skulle forråde sin andre bror Toste Godwinson.