For enklere å kunne kombinere fotball med studier i Oslo gikk Olsen til Skeid i 1972. Han ble der i to sesonger før han vendte tilbake til Strømsgodset. Olsen la opp etter 1975-sesongen. Til sammen spilte han 160 kamper for Strømsgodset og skåret 25 mål. For Skeid spilte han 43 toppseriekamper og skåret 5 mål. Olsen spilte for det meste på midtbanen, men han kunne også spille i angrep.