Como su padre murió en 1194, Skule y su hermano Guttorm fueron a vivir bajo la tutoría de Erling de Kviden, pero poco después se mudaron a la corte del nuevo rey, su medio hermano Inge Bårdsson, quien accedió al trono en 1204 como representante de la facción de los birkebeiner.