Haldorsen tilhørte venstreoppsisjonen i Sosialistisk Folkeparti, og var blant dem som i 1969 brøt med partiet og dannet Sosialistiske Arbeids- og Studiegrupper. Han ble formann i SASG, og fortsatte som formann da organisasjonen i 1970 omdannet seg til Marxist-Leninistiske Grupper, forløperen til AKP(m-l). Haldorsen hadde vervet fram til august 1971 da Sigurd Allern overtok.