Da Sosialistisk Valgforbund ble grunnlagt i kjølvannet av folkeavstemningen om medlemskap i EEC, var Halvorsen sammen med flere tidligere Furubotn-tilhengere blant de uavhengige sosialistene som sluttet seg til forbundet. I 1974 ble han daglig leder, og da Sosialistisk Venstreparti ble stiftet i 1975 ble han valgt til nestleder. Han gikk av i 1977. Etter dette var han blant annet leder av Den Norske Fredsforening, og han engasjerte seg i den offentlige debatten, blant annet uttrykte han støtte til de anti-amerikanske styrkene i Irak. I 1997 ga han ut boka .