Margarets far Harald var gift med Ingerid Ragnvaldsdatter, en svensk prinsesse. Ingerid var mor til Margarets halvbror, den senere kong Inge Haraldsson Krokrygg, men kildene nevner ikke hvem som var Margarets mor. Trolig var det en frille, en fast elskerinne. Faren Harald hadde flere barn utenfor ekteskap og mange friller.