Olsen fant det vanskelig å tilpasse seg det engelske spillet, og hans fotballutvikling stagnerte. Han var med i troppen for Danmark i EM i 1988, men spilte ingen kamper i turneringen. Karrieren i Manchester United tok slutt i 1988 og han gikk til FC Girondins de Bordeaux i Frankrike, hvor han senere fortsatte til SM Caen hvor han spilte som vingback. Han forlot Caen etter at han fikk en alvorlig skade og la opp i 1992. Han ble tilbudt kontrakter fra engelske klubber, inkludert Blackburn Rovers og Nottingham Forest, men følte ikke at han trengte fotballen i livet sitt.