Ellefsen ble Høyres 1. vararepresentant til Stortinget fra Sør-Trøndelag ved valget i 1981. Han møtte fast etter at representanten Hermund Eian døde i 1983. Ellefsen satt som stortingsrepresentant frem til 1997, da han ikke stilte til gjenvalg. Han var medlem av Stortingets forbruker- og administrasjonskomité 1983–1985, nestleder i Stortingets justiskomité 1985–1989 og medlem av Stortingets finanskomité 1989–1997.