Han vokste opp i en religiøs og musikalsk familie i Oslo. Foreldrene var Joel og Helga Eberson. Han var bror av jazzmusikeren Leif Eberson og farbror til Jon Eberson. Han giftet seg i 1959 med Gunborg Hansen fra Mandal. De bodde en del år i Mandal og Kristiansand, men flyttet til Fredrikstad i 1985.