Det er mulig at Harald hadde en hustru, eller kvinne som han levde med. Hennes navn er oppgitt som Ælfgifu, som var et vanlig navn. De hadde en sønn, Ælfwine, som ble munk på det europeiske fastlandet da han ble eldre. Hans klosternavn var Alboin. Han er nedtegnet i chartere fra klosterkirken Saint Foy i den franske byen Conques for årene 1060 og 1062, og omtaler ham som sønn av «Heroldus rex fuit Anglorum» (latin for «Harald, som var konge av det engelske folk»). Harald Harefot er den mest sannsynlige faren da den eneste andre engelske konge med dette navn var Harald Godwinson som ikke ble konge før i 1066. I uansett tilfelle var den unge gutten ute av stand til å kreve tronen i 1040, og hans mulige arverett var ikke nok for å skaffe støtte fra de ledende stormenn mot den voksne Hardeknut.