Ennen keskittymistään maastohiihtoon Ellefsæter menestyi myös yleisurheilijana. Hän voitti Norjan mestaruuden 3 000 metrin estejuoksussa vuosina 1960 ja 1962. Belgradin EM-kilpailuissa hän karsiutui alkuerissä. Hänen ennätyksensä 3 000 metrin esteissä oli 8.43,8 vuodelta 1962.