EF-spørsmålet gjorde at regjeringen etterhvert gikk opp i limingen, og etter den såkalte lekkasjesaken der Borten ble beskyldt for å ha lekket et fortrolig notat til ble han tvunget til å gå av. Tilbake på Stortinget markerte Borten seg som en tidlig kritiker av de hemmelige tjenestenes politiske overvåkning, og senere i livet var han også aktiv i kampen for et internasjonalt forbud mot kjernefysiske våpen.