Sven Aggesen ble født i en magnatfamilie som teller flere kjente navn. Den eldste kjente familiemedlem etter hva vi vet med viss sikkerhet er Svens oldefar, Thrugot som var gift med Torgunna, datter av Vagn Åkesson, en sønnesønn av den legendariske Palnatoke, en sagnhelt fra Fyn som ble omtalt hos Saxo Grammaticus og i den islandske . Thrugot og Torgunna fikk to sønner, Sven og Vagn.