Halvorsen tilbrakte brorparten av sin spillerkarriere i Pors. I perioden 1982–1984 spilte han imidlertid på Moss og ble cupmester for klubben i 1983. Han spilte 17 kamper for det norske U21-landslaget i tillegg til 12 kamper for yngre landslag. Halvorsen spilte dessuten bandy for Pors og fikk en rekke ungdomslandskamper i denne idretten.