Olsen wychował się w Næstved BK. W latach 80. grał w klubach: AFC Ajax i Manchester United, później wrócił do Næstved by w 1989 przenieść się do Francji, gdzie grał w Girondins Bordeaux oraz SM Caen. W czterech występach na Mistrzostwach Świata w 1986 strzelił trzy bramki. Zagrał również w półfinale Mistrzostw Europy 1984, gdzie w serii rzutów karnych on wykorzystał swą „jedenastkę”, lecz mimo to Dania przegrała z Hiszpanią. W 1988 roku uczestniczył w Mistrzostwach Europy 1988. Łącznie w reprezentacji Danii zagrał w 43 meczach i strzelił 5 goli.