Det var også på den tiden da Harald ble gjort til jarl at han begynte et forhold til en kvinne ved navn Edith, som synes å ha vært arvingen til landområder i Cambridgeshire, Suffolk og Essex, det vil si land innenfor hans jarldømme. Hennes egentlige navn er Ældgyth eller Ædgifu, men som med mange andre kvinner med likelydende navn har det ført til forveksling. Hun ble kalt for Edith Svanenakke, en oversettelse fra Edith , igjen avvikende avledet fra angelsaksiske , som faktisk betyr vakre eller edle svane. Hun ble også omtalt som Edith , den lyse eller blonde. Edith Svanenakke ble forvekslet med en senere hustru av Harald, også hetende Ældgyth, datter av ealdorman Ælfgar av Mercia. Forholdet til førstnevnte, Edith Svanenakke, var et ekteskap som ikke ble velsignet av kirken. Hun har blitt beskrevet som «common-law wife» (samboer) eller «ugift gemalinne» eller , «på dansk vis», en sedvaneskikk ble akseptert av folk fleste på denne tiden, og hvor barna ikke ble betraktet som illegitime. Det er blitt antatt Harald inngikk i forhold for å sikre støtte for sitt nye jarldømme, men synes som ikke var utelukkende fornuftsgrunner: de levde sammen i tjue år og fikk seks barn.