Olsen, der für den Alta IF startete, trat international erstmals bei den Nordischen Skiweltmeisterschaften 1954 in Falun in Erscheinung. Dort belegte er den 42. Platz über 15 km. Bei den Olympischen Winterspielen 1956 in Cortina d’Ampezzo errang er den 19. Platz über 30 km und den vierten Platz mit der Staffel. Zwei Jahre später lief er bei den Nordischen Skiweltmeisterschaften in Lahti auf den 15. Platz über 30 km. Bei norwegischen Meisterschaften wurde er über 15 km zweimal Zweiter (1955, 1957) und einmal Dritter (1954) und jeweils einmal Zweiter über 30 km (1957) und mit der Staffel (1961).