Harald var sønn av Maddad, eller Matad, mormaer av Atholl og Margaret Håkonsdatter, datter av Håkon Pålsson jarl (1103–1122). Med røtter i begge leirer, og i slekt med de skotske konger var Harald en betydelig skikkelse i det nordlige Skottland navngir Harald som en av de tre mest mektige jarlene på Orknøyene sammen med Sigurd Øysteinsson og Torfinn Sigurdsson. I skotske annaler nevnes Harald Maddadsson som .