Olsen fant det vanskelig å tilpasse seg det engelske spillet, og hans fotballutvikling stagnerte. Han var med i troppen for Danmark i EM i 1988, men spilte ingen kamper i turneringen. Karrieren i Manchester United tok slutt i november 1988 da han gikk til FC Girondins de Bordeaux i Frankrike for £400 000. Akutte økonomiske problemer gjorde at Bordeaux på høsten i 1989 valgte å gå inn for å selge Olsen. Sportslig gjorde Bordeaux det bra, og Olsen var i god form. Men klubben hadde én utlending mer i spillerstallen enn reglene tillot, og antok at de ville få best betalt for Olsen. I 1990 ble Olsen solgt til SM Caen, hvor han spilte som venstre vingback. Han forlot Caen etter at han fikk en alvorlig skade og la opp i mars 1992. Han ble tilbudt kontrakter fra engelske klubber, inkludert Blackburn Rovers og Nottingham Forest, men følte ikke at han trengte fotballen i livet sitt.