Olson vant en olympisk sølvmedalje i ishockey under vinter-OL 1956 i Cortina d'Ampezzo. Han var med på det amerikanske ishockeylaget som kom på andreplass i turneringen bak Sovjetunionen. Det var ti lag som deltok, etter gruppespillet spilte de seks beste lagen en enkeltserie der alle lagene møttes en gang. USA vant fire kamper og tapte en, 0-4 til Sovjetunionen i sluttspillsserien. Sovjetunionen vant alle fem kampene og vant serien med maksimale ti poeng foran USA med åtte og Canada med seks.