I sin aktive karriere fikk Olsen profftilbud fra en fransk klubb som tilbød ham 50 000 kroner i lønn, men han valgte å takke nei til dette tilbudet. I en kamp mot Kapp en varm sommerdag på Bislett, på stillingen 8–0 til VIF, skal Olsen angivelig ha bedt om å bli byttet ut. «Er du skadet?», spurte trener Helmuth Steffens. «Nei, jeg må ha en dusj», skal Olsen ha svart.