Skule ble født ca. 1189 som sønn av Bård Guttormsson (1150–1194) fra Rein og dennes andre kone, en stormannsdatter fra Valdres. Søster hans Ingeborg ble gift med lendmann Alv Erlingsson av Tornberg. Farens første kone var Cecilia Sigurdsdatter, datter av kong Sigurd Munn Haraldsson, og deres sønn, Skules halvbror, var kong Inge Bårdsson.