I forbindelse med dannelsen av Sosialistisk Venstreparti støttet Kleven flertallet rundt Martin Gunnar Knutsen, og i 1976 ble han nestformann, og i 1982 ble han formann for partiet. I 1987 takket han av, men ble sittende i ledelsen frem til 1990. I kjølvannet av Sovjetunionens sammenbrudd trakk Kleven seg ut av aktiv partipolitikk, men var fortsatt aktiv i studiegruppen Marxistisk Forum.