I 1969 var han med på å starte Aunt Mary sammen med Bjørn Kristiansen og Jan Groth. De ga ut sitt første album (1970), senere fulgte (1972) og ikke mins (1973). På alle albumene var Gundersen i tillegg til å være bassist også komponist, på var han medkomponist eller komponist på 8 av 9 spor og på på samtelige 9 spor sammen med Christiansen. Etter å ha vært oppløst siden 1973 ga de ut et bluesalbum, , i 1992 hvor Gundersen også var produsent.