Skule ble først gang nevnt i 1204, sammen med sin bror, Guttorm, som fostersønner hos morfaren Erling på Kviden. De flyttet straks etter til den nyvalgte kongen, halvbroren Inge Bårdsson.