Aage var den tredje av i alt åtte søsken, og vokste opp i trange kår i bydelen Bakken i Skien. Som barn var han mye syk og lærte seg først å gå i fem-seksårs-alderen. Moren var musikalsk og kjøpte gitar til ham da han var 15 år. Aage lærte seg å spille både munnspill og gitar. Han sang og komponerte sanger hele sitt liv. Som 18-åring var han med og startet danse- og jazzband som reiste rundt og spilte, blant annet med Excelsior Band. Aage hadde i perioder problemer med alkoholmisbruk.