I 1047 ble Haralds eldre bror Svein forvist for å ha forført og rømt med Ædgifu, abbedissen av klosteret Leominster i Hereford. Sveins landområder ble tatt fram ham og fordelt mellom Harald og en fetter, Bjørn Estridsson (bror av kong Svein Estridsson av Danmark). I 1049 hadde Harald ledelsen over et skip eller en flåte med skip som ble sendt for å gi støtte til keiser Henrik III av Det tysk-romerske rike i kampen mot grev Boudewijn V av Flandern som var i opprør mot keiseren. Svein hadde søkt tilflukt hos greven, dro deretter til Danmark, før han seilte tilbake England og forsøkte å trygle en tilgivelse hos kongen, men Harald og Bjørn nektet å gi fra seg hans tidligere landområder som de hadde mottatt. Etter at Svein forlot hoffet oppsøkte han Bjørn, krevde at han skulle tale hans sak, men endte opp med å drepe ham. Kong Edvard sammenkalte hæren og utropte Svein til , en mann uten ære. Likevel ser det ut som om at Svein til tross for hans forbrytelser en gang i 1050 ble delvis restituert i England og gjeninnsatt i sine posisjoner, antagelig grunnet påtrykk fra jarl Godwin og Harald som dominerte Edvards hoff.