Olsen var lærer på Skjeberg Folkehøyskole skoleåret 1980/81 og samtidig var han landslagstrener for U-landslaget. I 1981 ble Olsen ansatt som amanuensis ved Idrettshøgskolen, og begynte da også å trene Frigg igjen. I 1983 trente han også femtedivisjonslaget . Etter 1983-sesongen gav Olsen seg som trener i Frigg og fortsatte i Fossum.