Vagn var sønn av Åke Tokesson og Torgunn Vesetesdatter fra Bornholm. Allerede i 12-årsalderen var Vagn en bråmoden kriger som søkte å bli opptatt blant de legendariske jomsvikingene, et antatt broderskap av leiesoldater med strenge regler. Imponert over den unge mannens mot og selvhevdelse lot jomsvikingenes høvding Palnatoke ham bevise sin dyktighet i en duell mot Sigvalde jarl, som Vagn beseiret. Vagn fikk da lov til å bli jomsviking til tross for regelen om at ingen mann under 18 år kunne bli medlem.