Hausten 1993 fekk Halvorsen andreplassen på Aust-Agder Arbeidarparti si valliste til Stortinget. Han var då nærast «sikra» stortingsplass, etter to periodar som fyrste vararepresentant. Med attval i 1997 og 2001 hadde han sete i Stortinget til hausten 2005. Dei fyrste fire åra var han medlem i Næringskomiteen, medan han i tida 1997-2005 var medlem i Forsvarskomiteen. Arbeidarpartiet sin fylkessekretær i Aust-Agder omtala han som «en sterk forkjemper for å bevare forsvarsanlegg i landsdelen» til NRK i 2006.