Tanskan vuoden pelaajaksi 1986 valittu 36-vuotias Olsen jätti RSC Anderlechtin MM-kilpailuiden jälkeen ja siirtyi Saksaan ja 1. FC Kölnin joukkueeseen. Maajoukkueessa Olsen jatkoi edelleen ja kantoi kapteenin nauhaa EM-kilpailuissa 1988. Elokuussa 1989 Olsen ylitti 100 A-maaottelun rajan. FC Kölnissä Olsen sijoittui 1. bundesliigassa sijoille kaksi ja kolme. 1989 Olsen päätti aktiiviuransa 39-vuotiaana.