Halvorsen var son til ein bakar. Han tok eksamen på elektrolina ved Risør yrkesskole i 1962 og ved Arendal maskinistskole i 1964. Deretter gjekk han Sørlandets tekniske fagskole i Grimstad og tok i 1968 fagbrev som elektromontør. Sidan var han elektroinstallatør i Åmli, med eige firma frå 1972. Han var områdesjef 1985-94 i Heimevernet, med kapteins grad.