Han vant seriemesterskaper i Eredivisie i 1982 i sitt andre år i klubben. Sesongen etterpå forsvarte Ajax seriemesterskaper og vant også KNVB Cup og fullførte The Double. Olsen scoret to ganger i EM – kvalifiseringen for EM i 1984, inkludert en utligning i siste minutt i 2–2 kampen mot Sovjetunionen. Han ble tatt med i EM – troppen til Danmark i 1984 og spilte to kamper, inkludert Danmarks semifinale mot . Kampen endte uavgjort, og selv om Olsen scoret i straffesparkkonkurransen, ble Danmark utslått da Preben Elkjær bommet på sitt forsøk.