RSC:n vuosinaan Olsen pelasi myös maajoukkueessa ja 1981 hän saavutti seitsemäntenä tanskalaisena 50 A-maaottelun rajan. 1983 maajoukkuevalmentaja Sepp Piontek teki Olsenista maajoukkueen kapteenin. 1984 Olsen oli mukana, kun Tanska selvisi kahdenkymmenen vuoden jälkeen arvoturnaukseen, Ranskan EM-kilpailuihin 1984. Tanska eteni aina välieriin saakka, joissa se hävisi Espanjalle rangaistuspotkukilpailussa. Olsen oli yksi Tanskan onnistujista rp-kilpailussa. Lokakuussa 1985 Olsen ylitti toisena tanskalaisena 75 A-maaottelun rajan. Olsen oli maajoukkueen kapteenina Tanskan ensimmäissä MM-kilpailuissa 1986, joissa joukkue eteni 1. pudotuspelikierrokselle, jossa hävisi jälleen Espanjalle.