Gundersen tok examen artium i 1927 og studerte deretter jus ved Universitetet i Oslo. I 1931, samme år som han tok juridisk embetseksamen, ble han sendt til Trondheim for å overta ledelsen av Mot Dags avdeling der. Han startet straks sakførerpraksis og ble en meget aktiv deltaker i Studentersamfundet (høstsemesteret 1934 og høstsemesteret 1936 ble han valgt til formann) og en fryktet debattant. Etter at Mot Dag var oppløst 1936, åpnet det seg muligheter til å komme med i lokalpolitikken. 1937 gikk han over i kommunens tjeneste som kontorsjef i ligningsvesenet. 1939 ble han utnevnt til rådmann, og samme år fikk han bevilling som høyesterettsadvokat. I periodene 1953–1958 og 1967–1977 var han høyesterettsdommer. I mellomtiden hadde han blant annet vært Norges ambassadør i Moskva (1958–1961).