В июле 1984 года Ольсен перешёл из «Аякса» в английский «Манчестер Юнайтед». В первом же сезоне он выиграл Кубок Англии 1985 года.