Für die USA nahm Olson an den Olympischen Winterspielen 1956 in Cortina d’Ampezzo sowie 1960 in Squaw Valley teil. Bei den Winterspielen 1956 gewann er mit seiner Mannschaft die Silber-, bei den Winterspielen 1960 die Goldmedaille. Zudem stand er im Aufgebot seines Landes bei den Weltmeisterschaften 1957, 1958 und 1959.