Andersen var sønn av Knut Severin Andersen f. Grothaug (1882–1948) bondesønn fra Hornindal i Nordfjord og gartner i Stavanger, og Elise Andersen f. Rafoss (1890–1987) fra Stavanger (Kvinesdal) og tok examen artium ved Stavanger katedralskole i 1944. Som gartnersønn fikk han reise mye fordi en gartner hadde bil og det var ikke vanlig på denne tiden. Andersen likte spesielt godt skiturer om vinteren og fisketurer om sommeren oftest i fjellområdene ved Stavanger. Ved flere anledninger krysset han Trollgaren i Ryfylke, denne fantastiske morenen som passer så godt til sitt navn. Han undret seg over hvordan den var dannet, og var ikke fornøyd når bonden på gården mente trollene hadde plassert den der.