Bei den Olympischen Winterspielen 1968 in Grenoble wurde Ellefsæter sowohl über die 50 km als auch mit der norwegischen Staffel Olympiasieger. Zwei Jahre später errang er bei den Nordische Skiweltmeisterschaften in Štrbské Pleso den 37. Platz über 50 km und den 20. Platz über 15 km. Im Jahr 1971 gewann er als erster Norweger den Wasalauf. Bei den Olympischen Winterspielen 1972 in Sapporo belegte er den 31. Platz über 30 km und den zehnten Rang über 50 km. Im März 1972 wurde er Dritter und im folgenden Jahr Sechster beim Holmenkollen Skifestival über 50 km. Bei norwegischen Meisterschaften siegte er zweimal über 50 km (1965, 1967) und einmal über 15 km (1964).