Ved lagtingsvalget i 1980 sprakk samarbeidet mellom partiene fra Atli Dams tredje regjering, og Pauli Ellefsen ble den 5. januar 1981 statsminister i en borgerlig regjering bestående av Sambandsflokkurin, Fólkaflokkurin og Sjálvstýrisflokkurin. Dette var den første rene, borgerlige regjeringen på Færøyene siden 1959. Ellefsens partikollega Eilif Samuelsen ble skole-, sosial- og energiminister, mens Johannes Martin Olsen møtte for Ellefsen i Folketinget. Ved lagtingsvalget i 1984 tapte regjeringspartiene i alt to mandater, og tapte flertallet til samarbeidspartnerne i Atli Dams fjerde regjering. Ellefsens regjering gikk av den 10. januar 1985, og i 1990 søkte han heller ikke gjenvalg til Lagtinget. De siste årene som parlamentariker tiltragte han som Lagtingets ubestridte opposisjonsleder.