Ellefsen er utdannet ved Statens Teaterhøgskole, hvor han var elev fra 1974 til 1977. Etter endt utdannelse jobbet han to år ved Sogn og Fjordane Teater, før han i 1979 begynte som freelance skuespiller i Oslo. Han spilte i en rekke oppsetninger på Oslo Nye Teater, bl.a rollen som kammerherren i "Fyrtøyet". Videre ble han raskt engasjert ved Nationaltheatret hvor han blant annet spilte «Peter» i . Han har vært fast ansatt her siden 1997. Ellefsen har spilt i en rekke filmer og TV-serier og fikk Gullruten 2001 som beste tv-skuespiller for sin innsats i serien . I 2008 spilte han i musicalen «Little Me» med Riksteatret. I 2012 spilte han hovedrollen i sommermusicalen i Svelvik, med musikk og tekst av Christin Grilstad Prøis og regi av Ole Christian Øen.