Med venstredreiningen som rådet i svensk politikk fra slutten av 1960-årene og gjennom det meste av 1970-årene, ble partiet marginalisert, og ble ansett som ekstremt av mange. Under partilederen Gösta Bohman greide man imidlertid å snu denne trenden, og partiet fikk økende velgertilslutning.