Halvorsen var utdannet lærer, med en særlig interesse for språk. Allerede i oppveksten i Trondheim ble han opptatt av finsk og praktiserte dette språket i sitt første år som lærer i en grensebygd i Finnmark. Deretter begynte han på lærerskolen i Tromsø som eneste norskspråklige student på den samiske linjen. Etter et nytt praksisår i Finnmark, og tilleggsundervisning i finsk, fullførte han lærerskolen i 1956 og tok deretter fatt på sin lærergjerning. På 1960-tallet utdannet han seg videre til adjunkt ved Norges Lærerhøgskole, med grunnfag i tysk og norsk. Han studerte også finsk på universitetet i Helsingfors. Halvorsen arbeidet ved flere skoler rundt om i Trøndelag; Byneset, Lysøya i Jøssund, Ørland statsrealskole, Verdal interkommunale skole, Sverresborg skole og Melhus kommunale realskole. Han avsluttet lærergjerningen ved Eid skole, hvor han var ansatt fra midten av 1970-tallet og til begynnelsen av 1990-tallet.