Olsen er sammen med Rune Hansen kjent for å være en av hovedårsakene til rivaliseringen mellom Vålerenga og Lillestrøm. Foran 1976-sesongen meldte de begge overgang fra Vålerenga til Lillestrøm, etter at Vålerenga hadde rykket ned fra den øverste divisjonen. Olsen ble seriemester med Lillestrøm i 1976 og 1977, og norgesmester i 1977, før han vendte tilbake til Vålerenga. Han ble norgesmester med Vålerenga i 1980.