Olsen representerte sin moderklubb Lyngdal IL fram til 1979, representerte IF Kamp-Vestheim de to neste årene og var medlem av Tønsberg FIK fra 1982 til 1986. Han avsluttet sin aktive karriere som medlem av IK Tjalve.