Sosialt tilhørte familien Thorsen småborgerskapet i Mandal, som drivere av et fremgangsrikt snekkerverksted med flere svenner og læregutter. Faren var aktiv i den pietistiske vekkelsesbevegelsen i byen, og hjemmet var stadig en samlingsplass for religiøse møter. Dette skulle imidlertid forandre seg; Elisæus tapte i begynnelsen av 1880-årene mye penger på noen skipsinvesteringer, og etter hvert begynte han å ty til alkoholen. Moren tok da sønnene med seg og flyttet til Mjunebrokka, dog uten å få innvilget skilsmisse. Gustav er ført inn i skoleprotokollen på Vigeland 19. februar 1883.