Ellefsen var utdannet lærer (adjunkt) og var bestyrer (senere rektor) på Mesterfjellet skole 1967–1977. Han var leder for det lokale programråd for NRK – Østlandssendingen fra 1980-1981. Han var dessuten vararepresentant på Stortinget for Vestfold i periodene 1961–1965, 1965–1969 og 1969–1973. Ellefsen var medlem av Larvik bystyre fra 1960, av Larvik formannskap fra 1968 og ordfører i Larvik 1972–1983.