Þorvarðarson, som var målvakt, har spilt landslagshåndball for Island, hvor han står notert med 227 kamper. Þorvarðarson deltok også for Island i OL i 1984 og i 1988.