Med dronning Ingrid Ragnvaldsdatter hadde Harald Gille sønnen Inge (f. 1135). Med Tora Guttormsdatter hadde han datteren Brigida Haraldsdatter, som giftet seg første gang etter 1137 med Karl Suneson, jarl i Västergötland, andre gang rundt 1160 med Magnus Henriksson, konge av Östergötland (1160-61) etter å ha drept Erik den hellige, og tredje gang før 1174 med Birger Brosa (ca 1134-1202). Tora Guttormsdatter var også mor til Sigurd (f. 1135). Med Bjadok hadde Harald Gille fått sønnene Øystein og Magnus i Skottland. Øystein kom til Norge i 1142, mens Magnus døde som liten. Gilles døtre Maria og Margareta giftet seg rundt 1155 med to av Hallkjell Huks sønner, Simon Skalp Hallkjellsson med Maria og Jon Hallkjellsson med Margareta. En datter av Harald Gille vi ikke kjenner navnet på, ble gift med lendmannen Åle Ivarsson Varg.