Han satte tre ganger verdensrekord på 500 m og to ganger på 5000 m. Halvorsen var den første som gikk under 2.30 på 1500 m, da han 24. februar 1894 oppnådde 2.29,6 på Hamar.