Первый матч за сборную Норвегии Ольсен провёл 6 февраля 1995 года против команды Эстонии (норвежцы выиграли 7:0). В следующем матче норвежский вратарь пропустил три мяча от команды Тринидада и Тобаго и больше не выступал за сборную до 1999 года. Начиная с 1999 года Фруде Ольсен часто выходил в основе сборной, участвовал в отборочных матчах к чемпионатам Европы 2000 и 2004, в отборочном турнире чемпионата мира 2002. В 2000 году он вместе со сборной Норвегии поехал на чемпионат Европы 2000, но место в основе команды доверили другому вратарю — Томасу Мюре. Последним матчем Ольсена за сборную стала игра с испанцами 19 ноября 2003 года (счёт 0:3).