Olsen spilte 79 offisielle landskamper i ishockey for Norge, og vant Gullpucken i 1966. Han deltok i vinter-OL for Norge i 1964 i Innsbruck med tiendeplass i ishockey, og i 1968 i Grenoble med ellevteplass i ishockey.