Olsen fu chiamato per la prima volta in Nazionale dal CT Sepp Piontek nell'aprile del 1986 e debuttò contro la Bulgaria (0-3). Fu convocato per l'Europeo 1988, dove partì come riserva. Olsen entrò come sostituto nella prima partita disputata dalla Danimarca e giocò come titolare le altre due del girone, che si concluse con l'eliminazione dei danesi. Nel 1992 fu chiamato per l'Europeo 1992 disputatosi in Svezia. Olsen fu scelto come capitano della squadra che, sotto la guida di Møller Nielsen vinse quella competizione, primo successo della Nazionale danese.