Halvorsen hadde fagbrev som rørlegger. Fra 1962 var han fastlønnet tillitsmann i Herøya Arbeiderforening, hvor han var formann fra 1965 til 1968. Fra 1968 til 1969 var han instruktør i Arbeidernes Opplysningsforbund (AOF) i Telemark. Deretter ble han valgt inn i LOs toppledelse som sekretær.