Absalon vokste opp på en stormannsgård i Fjenneslev med sin storebror Esbern Snare og sin lillesøster Ingegerd, i lag med fosterbroren, den senere kong Valdemar den store. Asser Rigs far, jarlen Skjalm Hvide, hadde hatt Valdemars far Knud Lavard som fostersønn. Slik ble det naturlig at Skjalms sønn Asser oppdro Knud Lavards sønn, etter at Lavard var drept av sin fetter Magnus Nilsson 8 dager før Valdemar ble født, i kampen om kongemakten. Absalon og fosterbroren forble nære venner hele livet. Alt fra fødselen var nok Absalon som yngste sønn tiltenkt en karriere innenfor kirken. Trolig ble han likevel opplært til å forsvare seg med sverd og pil og bue. I attenårsalderen ble han sendt til Sorbonne i Paris for å studere teologi.