Olsen flyttet fra Ajax til England i 1984 og sluttet seg til Manchester United. Han hjalp United til seier i FA-cupen i 1985 og scoret totalt 24 mål i løpet av sine fem år i klubben. Han ble tatt med i Danmarks tropp for VM i 1986 og scoret to ganger i de tre innledende kampene, men han vil alltid bli husket for tabben i åttendedelsfinalen mot Spania. Han gav Danmark ledelsen på straffespark, men rett før pause fikk han ballen fra målvakten Lars Høgh. Da han forsøkte å spille ballen tilbake til Høgh, endte hans pasning i stedet opp rett foran Emilio Butragueño. Den spanske angriperen utlignet og scoret til slutt fire mål i kampen som Danmark tapte 1–5.