I 1964 var han bare 2/10-sekund fra å ta olympisk gull på meter i Innsbruck. Moe hadde ledelsen med 7,38,6. Knut «Kupper'n» Johannesen var den eneste som tuktet Moes rundetider. Johannesen trodde seg først slått med 1/10-sekund, men tiden ble rettet fra 7.38,7 til 7.38,4. Fred A. Maier tok 3.-plass med tiden 7,42,0. Det var en enestående norsk olympisk skøytetriumf, som siden ikke er gjentatt i hurtigløp på skøyter for Norge. Moe ble norgesmester på skøyter i Tønsberg 1964, og brøt dermed Knut Johannesens rekke på sju titler i strekk. Moe ble på nytt nr. 3 i EM i Oslo 1964, og var en av favorittene i VM i Helsingfors, Finland, men Knut Johannesen tok sin andre VM-tittel etter en gigantisk innsats på meter.