Olsen fikk sine første kamper for Vålerenga i illegale kamper under andre verdenskrig, og fra Hovedserien ble opprettet i 1948 spilte han 146 toppseriekamper og skåret åtte mål. Kun Henry «Tippen» Johansen har flere sesonger i Vålerenga. «Toffa» fikk 34 landskamper for . Han var i 1954 Norges første «Gullklokkemann» på 15 år. Han har også vært kåret til «Årets spiller».