Во время игры в Бельгии, Ольсен выступал за сборную Дании. В 1981 году он стал 7-м датчанином, сыгравшим за сборную 50 игр. В апреле 1983 года Ольсен стал капитаном сборной Дании, а спустя год участвовал на чемпионате Европы, первом, с 1964 года, крупном международном футбольном турнире, в котором Дания принимала участие. В 1986 году Ольсен принимал участие в чемпионате мира, где Дания вышла из группы. В возрасте 36 лет, по окончании чемпионата мира, Ольсен принял решение завершить карьеру в сборной, однако вскоре вернулся в национальную команду.