Halvorsen er oppvokst i Haugesund, der han ledet eget storband omkring 1970, før han flyttet til Bergen for studier ved byens musikkonservatorium (til 1978). I Bergen hadde han en kvintett sammen med saksofonisten Øystein Søbstad (1971-73) som blant annet deltok i Norsk Jazzforbunds jubileumskonserter 1973. Han var også medlem av gruppen Lyderhorn (fra 1972), ledet Bergen Ballade Orkester (1973-74) som hadde sin festivaldebut på Kongsberg Jazzfestival 1974. Han hadde sin egen kvartett fra 1974, foruten deltakelse i gruppen Octopus (til 1976), Bergen Band, Dag Arnesen septett og annet.