Før Gundersen kom med i rikspolitikken, var han aktiv i student- og lokalpolitikken i Trondheim. Mellom 1936 og 1938 satt han i formannskapet i byen. I 1939 ble han rådmann i Trondheim.