Első szezonjában bajnok lett, a következő évben bajnok és kupagyőztes. A válogatottban kétszer is gólt szerzett az 1984-es Eb-selejtezőkön, köztük Anglia ellen egy utolsó perces egyenlítést is. A tornára kijutó csapatban is helyet kapott, és kétszer játszott az Európa-bajnokságon, köztük a Spanyolország elleni elődöntőben is. A mérkőzés döntetlennel zárult, Olsen pedig belőtte tizenegyesét, Preben Elkjær hibája miatt azonban nem jutott döntőbe a csapat.