В апреле 1986 года в матче против сборной Болгарии Ольсен дебютировал за сборную Дании. В 1988 году был включён в заявку на участие в чемпионате Европы. На турнире провёл три матча: против сборных Италии, Германии и Испании. Через четыре года в Швеции Ольсен в составе национальной команды во второй раз принял участие в чемпионате Европы и стал победителем турнира. На турнире он сыграл во всех матчах: против сборных Англии, Швеции, Нидерландов, Франции и Германии. В 1996 году в третий раз поехал на чемпионат Европы. В Англию он ехал в качестве запасного и на турнире не сыграл ни минуты.