Olafsen spilte hele sin fotballkarriere i Skeid, hvor han ble cupmester tre ganger (i 1963, 1965 og 1974), og seriemester i 1966. Han spilte til sammen 194 toppseriekamper for Skeid. Som ishockeyspiller spilte han 11 offisielle landskamper, og deltok på det norske laget under vinter-OL i 1964 i Innsbruck. I bandy spilte han for landslaget under Bandy-VM i Moskva i 1973. Han spilte 12 landskamper i bandy.