Åberg var født i Ila, og vokste opp på Elgeseter gård på Øya i Trondheim. I tillegg til boksing, drev han også med fotball og bryting. Han var murer av yrke, og jobbet bl.a. i firmaene Ola Frost og Bugge. Han bodde også ti år i Borås i Sverige. Han flyttet tilbake til Trondheim i 1971. I 1973 ble han utsatt for en arbeidsulykke under byggingen av det nye politihuset i Kongens gate. Skadene fra denne ulykken gjorde at han måtte førtidspensjoneres i en alder av 58 år.