In juli 1984 vertrok Olsen naar Engeland waar hij vier jaar speelde voor Manchester United. Olsen speelde in vier seizoenen 139 wedstrijden voor de club en scoorde 24 maal. De enige prijs die hij met de Engelse club won was de FA Cup in 1985. Olsen had moeite met het Engelse voetbal, en dit kwam ook tot uiting in zijn spel in het nationale Deense elftal. In de wedstrijd tegen Spanje gaf hij een 1-0-voorsprong weg door een verkeerde terugspeelbal op de keeper. De Spaanse aanvaller Emilio Butragueño wist te bal te onderscheppen en de stand gelijk te trekken. Denemarken verloor de wedstrijd met 1-5. Olsen was wel mee naar het EK 1988, maar kwam niet in actie.