Etter frigjøringen i 1945 gikk Gundersen tilbake i jobben som rådmann i Trondheim. Senere på året ble han utnevnt til justisminister i Einar Gerhardsens andre regjering i 1945 (deretter i Oscar Torps regjering). Han fikk særlig ansvar for gjennomføringen av landssvikoppgjøret etter andre verdenskrig samt utarbeidelse av beredskapslovgivningen, som skulle forebygge et nytt fremmed angrep på Norge. Han gikk av som justisminister i 1952. Gundersens rolle i begynnelsen av okkupasjonen og etter krigen var noen av temaene for kritikken av rettsoppgjøret fremmet av blant andre Oliver H. Langeland. Svein Blindheim mente Gundersen var medansvarlig for å skaffe arbeidere til Værnes.