Elvenes var med i fire olympiader 1952, 1956, 1960 og 1964 og var også aktuell som deltager på 500 meter i OL i Grenoble i 1968. Så seint som i 1966 vant han 500 meter under NM allround.