Ellefsæter est aussi actif en athlétisme, remportant six titres nationaux de suite sur le steeple et participant aux Championnats d'Europe 1962. Ses performances dans un deuxième sport lui vaut le Prix Egebergs Ærespris. En 1967, il reçoit la Médaille Holmenkollen. Une statue lui représentant est construite dans sa ville à Brumunddal.