Gustavsen var sentral i kretsen rundt avisa , som radikale krefter innen Arbeiderpartiet begynte å gi ut i 1953. I 1961 ble Gustavsen og flere andre ekskludert fra Arbeiderpartiet, og de dannet Sosialistisk Folkeparti (SF). Ved valget samme år ble Gustavsen valgt inn på Stortinget fra Oslo. Fra Nordland ble også Asbjørn Holm valgt inn på SFs liste. Tomannsgruppa kom i vippeposisjon og bidro til at regjeringen Gerhardsen ble felt på Kings Bay-saken i 1963. Dette førte til at Lyng-regjeringen kom til makten. Tre uker senere bidro de to SF-representantene til å felle også denne regjeringen, og Gerhardsen kom tilbake.