Ælfgifu ble født i en betydningsfull adelsfamilie i Mercia (dagens Midlands) som datter av Ælfhelm, ealdorman av sørlige Northumbria, og hans hustru Wulfrune. Ælfhelm ble drept i 1006 av Eadric Streona, antagelig på ordre av kong Æthelred II av England. Ælfgifus brødre Ufegeat og Wulfheah ble blindet. Wulfric Spot, en rik adelsmann og beskytter av klosteret i Burton, var bror av Ælfhelm eller Wulfrune. Familien kom under hardt vær på nytt under invasjonen av England ved danske kong Svein Tjugeskjegg i tiden 1013-1014, og flere familiemedlemmer ble anklaget for forræderi og drept.