Olavsson har spilt landslagshåndball for Island, hvor han står notert med 174 kamper og 375 mål. Olavsson deltok også for Island i OL i 1992.