Som spiller var Olsen aktiv for Fredrikstad-laget , Oslo-lagene , og , og . Som aktiv fikk han også 16 landskamper. I tillegg var han aktiv bandyspiller i blant annet Frigg. Tilnavnet «Drillo» fikk han i sin tid som spiller i Vålerenga. Det skyldtes hans stadige iver etter å drible.