Gundersen ble europamester på skøyter tre ganger – i 1901, 1904 og 1906. Under EM i Davos i 1906 satte han verdensrekord på 500 m med 44,8, og ble den første som gikk under 45 sekunder på distansen. Under VM i Helsingfors i 1902 vant Gundersen de to korte distansene og finnen Jussi Wiinikainen de to lengste, og det kunne ikke kåres noen mester. Også i VM i 1900, 1901, 1904 og 1906 plasserte Gundersen seg blant de fremste.