Han startet fotballkarrieren i hjembyens klubber og . Deretter gikk han til og (1988–89). Han var juniortrener (2001) og senere hovedtrener (2004–05) i . Sammen med assistenten Hans Knutsen ledet han klubben til sølvmedalje i NM i 2004. Han har i lang tid hatt et engasjement ved Norges Toppidrettsgymnas i Bærum. Olafsen har hovedfag i fotball fra Norges idrettshøgskole.