Etter at Ellefsen fullførte jusstudiet, var han politifullmektig ved Trondheim politikammer 1977–1978, dommerfullmektig ved Onsøy sorenskriverembete i Fredrikstad 1978–1979, politiadjutant ved Trondheim politikammer 1980–1988 og politiinspektør ved Trondheim politikammer 1988–1997, men hadde permisjon så lenge han satt på Stortinget. Han var også styremedlem i Politiembetsmennenes Landsforening og redaktør i 1979–1983 samt sekretær i granskningskommisjonen for Reksten-saken 1981–1982.