Haroldo fue el hijo de Godwin, el poderoso conde de Wessex, y su esposa Gytha Thorkelsdóttir, cuyo supuesto hermano Ulf Jarl fue el yerno de Svend I y el padre de Svend II de Dinamarca.