I sin siste hele sesong som spiller, i 1975, var Olsen spillende trener i i 4. divisjon. De neste sesongene trente han Østsiden, og av og til spilte han, som innbytter. I 1978 ble Olsen også igjen trener for Frigg, som da spilte i 2. divisjon. Frigg knivet med om førsteplass i avdeling B som ville sikret opprykk, men måtte til slutt ta til takke med tredjeplassen, da Hamkam kom på andreplass. Olsen fortsatte som trener også i sesongen 1979. Samtidig var han også trener for U-landslaget.