Gundersen begynte sitt politiske arbeid som formann i Grimstad Unge Høyre og Aust-Agder Unge Høyre i siste halvdel av 1950-årene. Han var viseformann i Aust-Agder Høyre 1959–1965, så formann 1966–1970. Han var medlem av Grimstad kommunestyre 1960–1983, 1988–1991, 1999–2003 og 2007–2011, medlem av formannskapet i flere perioder, varaordfører 1960–1961 og 1978–1981 samt Grimstads ordfører 1982–1983. Gundersen var medlem av Aust-Agder fylkesting 1968–1970 og 1. vararepresentant til Stortinget fra Aust-Agder 1973–1981; han møtte i 116 dager på Stortinget.