Ellefsen var et politisk ubeskrevet blad da han ble innvalgt på Lagtinget i 1974, men hadde vakt oppsikt i valgkampen med sine korte debattinnlegg med enkle og tydelige budskap. For Sambandsflokkurin som helhet var resultatet imidlertid svært nedslående, og partiet gikk fra nest til fjerde størst på Lagtinget. Partiformannen Trygve Samuelsen tapte gjenvalg til Lagtinget, og kort tid etter valget ble Ellefsen valgt til hans etterfølger. Han ble sittende som partiformann frem til 1991.