I 1961 ble sentrale partimedlemmer ekskludert fra partiet på grunn av sin fraksjonsvirksomhet i NATO-spørsmålet. Disse var samme år blant stifterne av Sosialistisk Folkeparti (forløperen til Sosialistisk Venstreparti). I 1961 mistet Arbeiderpartiet sitt flertall på Stortinget, men det var fortsatt et sosialistisk flertall med Sosialistisk Folkepartis to stortingsrepresentanter. I 1963 skulle imidlertid disse to felle regjeringen Gerhardsen på Kings Bay-saken da flertallet av Stortinget støttet et mistillitsforslag mot regjeringen. Samme året var det derfor duket for den første borgerlige regjeringen i etterkrigstiden under John Lyng. Men denne regjeringen satt bare noen uker før Gerhardsen tok over igjen. Årsaken var at et sosialistisk flertall på Stortinget ikke ville støtte Lyngs regjeringserklæring. Gerhardsen satt ytterligere to år før det i 1965 ble borgerlig flertall på Stortinget. Gerhardsen gikk derfor av for siste gang samme året.