Harald var gift med den svenske Ingrid Ragnvaldsdatter, datter av kong Ragnvald Knaphövde, og fikk sønnen Inge Krokrygg med henne rundt 1135. Gilles eldste sønn, Øystein Haraldsson (født rundt 1125), fikk han med Biadoc (norrønt Bjaðok), datter av Gilledomnan mac Solam og søster til Gillebride som var far til Somerled (død 1164), kjent som regent over Argyll, konge av Suderøyene og Kintyre og stamfar til MacDonald-ætten – noe som sannsynliggjør Haralds påstander om egen høye byrd. I norsk tradisjon ble Biadoc likevel hetende Haralds frille. Den tredje etterfølgersønnen, Sigurd Munn (født rundt 1134), var sønn av den høyættede frillen Tora Guttormsdatter, datter av Guttorm Gråbarde. Den fjerde sønnen med kongsnavn var Magnus. Han ble kongekåret i 1142 da Øystein kom til landet. Magnus døde i 1145, ti år gammel.